متن‌کاوی نور از نگاه پژوهشی و فنی

مرکز تحقیقات کامپیوتری علوم اسلامی، در بیش از بیست سال فعالیت خود، تاکنون توانسته است با رقومی نمودن منابع مکتوب، حجم عظیمی از دادگان متنی را فراهم آورد. در مرحله بعد، به فرآوری و غنی‌سازی متون پرداخت و سپس با به کارگیری فناوری‌های رایانه‌ای، محیط پژوهشی مناسبی را در ارائه محتوای این متون به گونه‌ای کارآمد ایجاد نمود و در این مسیر، همواره به توسعه این امکانات می‌اندیشد. روایات مشابه، صرف ماشینی، برچسب‌گذاری، خلاصه‌ساز، خوشه‌بندی، اِعراب‌گذاری، رده‌بندی متن و نیز تحلیل صرفی و نحوی قرآن، از جمله محصولات نور است که تا کنون در حوزه متن‌کاوی تولید و عرضه شده است.

 

نظر به جایگاه و اهمیت بحث متن‌کاوی (Text Mining) در پردازش و تحلیل اطلاعات، خاصه مقوله جدید نظام هوشمند واژگان، مناسب دیدیم گفت وگویی با متولیان این امر در مرکز تحقیقات کامپیوتری علوم اسلامی داشته باشیم. حجت الاسلام مسیح توحیدی، مدیر گروه ادبیات و متن‌کاوی معاونت پژوهشی، و مهندس احمد ربیعی‌زاده، مسئول بخش متن‌کاوی معاونت فنی، هر یک از منظر حوزه کاری و حیطه فعالیت خویش، توضیحات مفیدی را در این‌باره ارائه نمودند که امید است مورد استفاده علاقه‌مندان و کارشناسان قرار گیرد.

 

نگاه اوّل: نظام هوشمند واژگان، پروژه طلایی مرکز

 

حجت الاسلام والمسلمین مسیح توحیدی: اتفاقی که طی این چندساله در مرکز تحقیقات کامپیوتری علوم اسلامی افتاده، این بوده است که متون اسلامی در حال دیجیتالی شدن است. گام بعدی، کارهای پژوهشی است که توسط متخصصان و مهندسان نور، روی این متون انجام شده است؛ مثل فرمت‌های تخصصی یا چکیده‌نویسی و موضوع‌برداری. گام دیگر، عرضه این اطلاعات در قالب‌های مختلف، مانند: موبایل، وب و دسکتاپ می‌باشد.

 

به هر حال، بعد از گذشت بیش از دو دهه از فعالیت مرکز، حجم عظیمی از اطلاعات فراهم شده و اساساً کار متن‌کاوی، از سال 1389 در مرکز کلید خورد و گروهی که از معاونت فنی و پژوهشی بودند، به این کار مبادرت ورزیدند. اگر بخواهیم به طور خاص به متن‌کاوی نگاه کنیم، از دو جنبه قابل تحلیل است: یکی اینکه به صورت متمرکز، روی محتوا و اطلاعاتی که داریم، چه کارهایی می‌توانیم به شکل هوشمندانه و ماشینی انجام دهیم؛ یعنی نگاه ما روی دیتا یا اطلاعات است. دوم اینکه ببینیم چه فضاهای علمی و فناورانه‌ای فراهم شده تا بتوانیم این اطلاعات را عمومی‌سازی و عرضه کنیم. در قسمت دوم، نگاه ما بیشتر به جنبه فنی قضیه است؛ مانند آنچه در موتور جست وجوی پایگاه نورمگز شاهد آن هستیم. به همین جهت، روند کار متن‌کاوی در دو معاونت پژوهشی و فنی مورد تجزیه و تحلیل قرار گرفته و به طور جدی دنبال می‌شود. به هر صورت، کار متن‌کاوی که در مرکز از سال 89 آغاز شده، در زمینه ادبیات نتایج خوبی داشته و این مسئله، بستر خوبی را برای پژوهش‌های بعدی فراهم نموده است.

 

از جمله فعالیت‌های ما که با کمک گروه متن‌کاوی فنی سامان یافت و حدود شش سال به طول انجامید، آماده‌سازی و تولید موتور صرف است؛ یعنی قواعد صرفی را که در ادبیات عربی وجود دارد، کدنویسی کردیم و به مرور زمان فرایند اصلاح و تکمیل انجام گرفت و البته هنوز هم در فرایند رفع ابهام آن قرار داریم و به عنوان متکفل این کار، به دنبال تکمیل و ارتقای آن هستیم. به هر حال، این کار را در مرکز ماشینی کردیم و الآن هم در پروژه‌هایمان از این موتور صرف بهره می‌بریم.

 

از آنجایی که آنچه تاکنون در معاونت پژوهشی در حوزه متن‌کاوی انجام گرفته، مرتبط با ادبیات بوده، این گروه، به عنوان «گروه ادبیات و متن کاوی» نام گرفت؛ ولی آنچه ایده‌آل می‌باشد، این است که ان‌شاءالله مباحث متن‌کاوی در همه حوزه‌های پژوهشی مورد دقت و توجه قرار گیرد.

 

توضیح بیشتر آنکه گروه ادبیات، متکفل تمامی فعالیت‌هایی است که پیش از این، به صورت مجزا تحت عناوین «گروه اعراب»، «گروه لغت» و «گروه ریشه» در معاونت پژوهشی صورت می‌گرفت که به این مجموعه، فعالیت‌های متن‌‌کاوی در حوزه ادبیات نیز اضافه گردیده و گروهی با نام «ادبیات و متن کاوی» تشکیل شده است.

 

از آنجایی که محتوای ما، از مجموعه کلمات و واژگان تشکیل شده، باید فرایندی را ترسیم کنیم که ماشین به بهترین شکل ممکن بتواند روی این محتوا به تجزیه و تحلیل بپردازد و زمینه‌های لازم را برای فرآوری اطلاعات فراهم سازد.

 

این نگرش، یک نگاه فرابخشی است و کاری به نوع دیتا ندارد و در هر حوزه‌ای باشد، این اتفاق باید بیفتد. برای این منظور، باید واژگانمان را ساماندهی کنیم که قدم‌های مختلفی دارد. اگر بخواهیم مفهومی را از متن استخراج نماییم، باید ارتباط واژگان ما با لغت‌نامه‌ها برقرار باشد؛ یعنی بدانیم این کلمه در هر جایی که باشد، چه مفهومی دارد. وقتی یک استخراج مفهومی را از ماشین مطالبه می‌کنیم، طبیعتاً باید زمینه‌های آن را نیز برایش فراهم کرده باشیم.

 

در گذشته، گروه لغت و ریشه‌ای داشتیم که تعدادی از کتب حدیثی را به صورت دستی ساماندهی کردند؛ یعنی هر کلمه را به یک ریشه پیوند دادند و از طریق آن ریشه که در کتب لغت فرمت داشت، به کتاب لغت مربوطه متصل می‌شدند. مجموعه لغاتِ اتصال داده شده به ریشه در آن زمان، چیزی حدود پانصد هزار کلمه غیرتکراری بود.

 

با گذشت زمان و به تدریج بر تعداد کلمات در دیتای مرکز افزوده شد؛ به صورتی که هم اکنون بعد از گذشت بیست سال، تعداد کلمات غیرتکراری ما به بیش از دو میلیون و ششصد هزار کلمه رسیده است که لازم است علاوه بر بازبینی پانصد هزار کلمه کارشده، نسبت به تعیین تکلیف بیش از دو میلیون کلمه جدید نیز اقدامی صورت گیرد.

 

عمده فعالیت مجموعه گروه ادبیات و متن‌کاوی، معطوف به همین قسمت است و ابزاری تهیه شده تا از طریق آن، به ساماندهی و تعیین تکلیف بیش از دو میلیون و ششصد هزار کلمه غیرتکراری از متون عربی بپردازد. هر یک از کلمات غیرتکراری، اگر دارای ریشه باشد، آن ریشه برای کلمه ثبت می‌شود و چنانچه ریشه نداشته باشد، برچسب زده می شود که این چه کلمه‌ای است؛ ادات است، کلمه دخیل در عربی است یا چیز دیگری است.

 

به منظور هر چه بالاتر رفتن دقت و آسان‌سازی کار، در این ابزار، متناسب با هر کلمه، پیشنهادهایی در خصوص ریشه به محقق ارائه می‌شود. این پیشنهادها، از دو بانک استخراج می شوند: یکی بانک پانصد هزار کلمه تعیینِ ریشه شده توسط گروه ریشه سابق، و دیگری بانکی که از تحلیل موتور صرف بر روی کلمات تهیه گردیده است.

 

از جمله فواید این ساماندهی، شناسایی و برچسب‌گذاری اغلاط متنی است. این غلط‌های متنی را می‌‌توان به سه دسته تقسیم کرد: برخی غلط‌ها، اشتباهات تایپی هستند؛ مثل اینکه حرف «س»، «ص» تایپ شده باشد. البته این نوع اغلاط، تعدادش محدود است. دسته دیگر از غلط‌ها هستند که به حوزه فونت کلمات مربوط می شود. برخی واژگان باید از نظر فونتی تفکیک شوند؛ مثلاً «عَلی» (اسم) با «عَلی» (حرف جر) متفاوت است؛ ولی به یک شکل نوشته شده است که باید تفکیک شوند. و بالأخره، دسته سوم از اغلاط، به اتصال یا انفصال کلمات از یکدیگر مربوط می‌باشند؛ به این معنا که مثلاً دو کلمه به واسطه متصل شدن به همدیگر، یک کلمه لحاظ شده‌اند که باید با تفکیک کردن آنها از هم، هر کلمه را به صورت مستقل لحاظ کرد.

 

شایان ذکر است، آنچه هم اکنون در گروه ادبیات در خصوص اغلاط متنی در حال انجام می‌باشد، صرفاً برچسب‌گذاری و تشخیص این‌گونه کلمات است که در تکمیل این فرایند، لازم است اقدام جدی در اداره کل آماده‌سازی اطلاعات نسبت به اعمال اصلاحات در دیتای اصلی مرکز صورت گیرد.

 

قدم بعدی، پس از ساماندهی و تعیین تکلیف واژگان، آن است که این کلمات را به لغت‌نامه‌‌ها اتصال دهیم. گاهی با اضافه شدن پیشوند یا پسوند به یک کلمه، ممکن است شکل آن عوض شود و در آن فهرستِ دو میلیون و ششصد هزارتایی، جای جداگانه ای به خودش اختصاص دهد؛ اما از نظر معنایی، این پیشوندها و پسوندها، در مفهوم اصلی کلمه که ماشین می‌خواهد تحلیل کند، دخالتی ندارند. بنابراین، باید این دو میلیون و ششصد هزار کلمه را پیراسته کنیم و یک سری «سرواژه» یا «مدخل» یا «کلمات نماینده» از میان اینها انتخاب نماییم و آنها را به بانک واژگان لغت‌نامه‌ها متصل سازیم؛ نتیجه این می‌شود که وقتی کاربر در یک متن، معنای کلمه‌ای را می‌خواهد، برنامه در وهله نخست، واژه اصلی و پیراسته شده را پیدا می‌کند؛ به بیان دیگر، در لغت‌نامه‌ها همه استعمالات معنا نشده‌اند؛ بلکه مداخل اصلی معنا شده‌اند.

 

از دیگر سو، لازم است تا ساماندهی دیگری در فهرست ریشه و مشتقاتِ استخراج شده از کتب لغت نیز انجام گیرد. کاری که در مرکز تاکنون روی کتاب‌های لغت شده، این است که تمامی مشتقاتی که ذیل یک ریشه در کتاب لغت ذکر گردیده، فرمت خورده و فهرست شده‌اند؛ در حالی که بسیاری از این مشتقات، دارای توصیف مشخصی در آن کتاب لغت نبوده و مثلاً ممکن است در خلال یک شاهد مثال، استعمال شده باشند و به عبارت دیگر، بسیاری از این مشتقات، «مدخل» و «سرواژه» نمی‌باشند. به همین جهت، فهرست مشتقات نیز نیازمند پیراسته‌سازی و استانداردسازی است.

 

قدم بعدی که در پروژه نظام هوشمند واژگان باید برداشته شود، استخراج توصیفات ارائه شده در کتب لغت از هر واژه است. از آنجایی که مؤلفان کتب لغت، از شیوه واحدی در نگارش کتب خود پیروی نکرده‌اند، فرایند استخراجِ این توصیفات، فرایندی دقیق و در عین حال، زمان‌بر خواهد بود که کمک گرفتن از ماشین در انجام این مهم، می‌تواند سهم بسزایی در کاهش زمان و افزایش دقت داشته باشد.

 

بحمدالله، آغازبه کارِ پروژه کتابخوان نور و نیاز به آماده‌سازی فرهنگ «عربی به فارسی» و «عربی به عربی» برای این پروژه، موجب شد تا فرایند استخراج اطلاعاتِ دو کتاب «قاموس المحیط» و «فرهنگ ابجدی»، زودتر از موعد مقرر و در کنار فعالیت‌های دیگر گروه آغاز شود. به منظور استفاده حداکثری از وقت و بالابردن دقت و کاهش زمان کار محققان، متن این دو کتاب مورد بررسی قرار گرفت و قواعدی برای استخراج ماشینی اطلاعات مبتنی بر علایم ویرایشیِ به کاررفته در دو کتاب به دست آمد و در اختیار همکاران فنی قرار گرفت که هم اکنون مشغول بازبینی اطلاعات استخراج‌شده هستیم.

 

در ادامه مسیر، باید مجموعه اطلاعاتِ استخراج شده از کتب لغت را درون بانک اطلاعاتی با ساختار استاندارد قرار داد تا زمینه‌ای برای تولید یک لغت‌نامه استاندارد فراهم آید.

 

مراحل اجراییِ بیان شده، می‌تواند دورنمایی از پروژه نظام هوشمند واژگان را که از پروژه‌های طلایی مرکز و با بالاترین اولویت می‌باشد، در اختیارمان قرار دهد.

 

نگاه دوم: تکمیل‌کننده فرایند متن‌کاوی هستیم

 

مهندس احمد ربیعی‌زاده: ضمن تشکر از مجموعه دست‌اندرکاران فصلنامه ره‌آورد نور، در خصوص موضوع متن‌کاوی در مرکز تحقیقات کامپیوتری علوم اسلامی باید عرض کنم که اساساً متن‌کاوی (Text Mining) یعنی به‌کارگیری تکنیک‌های هوشمند پردازش متن جهت کشف اطلاعات نهفته از متون برای کاربردهای مختلف. به طور کلی، متن‌کاوی، یکی از شاخه‌های داده‌کاوی (Data Mining) است که در دو دهه اخیر، پیشرفت‌های چشمگیری داشته است و با به‌کارگیری آن در کنار فناوری‌های دیگری از قبیل پردازش زبان‌های طبیعی (Natural Language Processing) و یادگیری ماشین (Machine Learning)، فرآورده‌های بسیار ارزشمندی برای آن قابل تصور خواهد بود.

 

با توجه به نیازهای موجود در حوزه پردازش متون علوم اسلامی و انسانی در زبان‌های فارسی و عربی، این تکنیک‌ها را توسعه داده، برای ارتقای کمی و کیفی محصولات نور، از آنها بهره می‌بریم. به طور کلی، می‌توان روال اصلی جریان اطلاعات در مرکز را در سه مرحله ذیل خلاصه نمود:

 

«ورود اطلاعات» و یا رقومی‌سازی محتوای موجود در زمینه علومی، از قبیل: قرآن، حدیث، فقه، لغت و علوم انسانی؛
«غنی‌سازی محتوا» و یا فرآوری متون تولیدشده با به‌کارگیری متخصصان هر حوزه کاربردی؛
«عرضه محتوای فرآوری شده» در بسترهای مختلف، از جمله: نرم‌افزارهای تحت ویندوز، موبایل و یا پایگاه‌های تحت وب.
در گذشته، حجم عظیمی از هر یک از فرآیندهای دو مرحله ابتدایی، به صورت دستی سامان می‌یافت و امروزه، تلاش ما و تمامی همکاران بر این است که این فرآیند تا جای ممکن، با بهره‌گیری از تکنیک‌های هوشمند و به صورت ماشینی انجام شود. به همین جهت، در چند سال اخیر، در مرکز نور بیش از پیش به فناوری‌های نوین در حوزه متن‌کاوی بها داده شده و برای پیشبرد کارهای جاری، از آنها بهره‌برداری می‌شود.

 

از جمله اهداف و مزایای به‌کارگیری این تکنیک‌ها می‌توان به موارد ذیل اشاره نمود:

 

• افزایش سرعت تولید اطلاعات، تصحیح و غنی‌سازی محتوا و کاهش هزینه‌های مرتبط؛
• افزایش دقت و کیفیت نهایی محتوا؛
• استخراج دانش و کشف اطلاعات نهفته از متون؛
• ارائه امکانات و محصولات جدید، جهت آسان‌سازی فرآیندهای بازیابی اطلاعات توسط پژوهشگران.
در ادامه، برای آشنایی هرچه بیشتر با جایگاه تکنیک‌های هوشمند پردازش متن در فعالیت‌های مرکز، به معرفی اجمالی نمونه‌هایی از دستاوردهای مربوطه می‌پردازیم. برخی از این دستاوردها عبارت‌اند از:

 

• اِعراب‌گذاری خودکار متون؛
• استخراج خودکار آیات از متون؛
• مشابه‌یابی متون؛
• سیستم‌های بازیابی اطلاعات و جست و جوی هوشمند؛
• استخراج خودکار اَعلام از متون؛
• استخراج متن از تصاویر متون؛
• دسته‌بندی موضوعی متون؛
• استخراج خودکار کلیدواژه‌ها؛
• تجزیه صرفی کلمات عربی؛
• همترازی متن و ترجمه.
نقش متن‌کاوی در فرآیندهای اصلی مرکز، از همان ابتدای امر با به‌کارگیری در ورود اطلاعات شروع می‌شود. برای تولید محتوای دیجیتالی می توان از تکنیک‌هایی مثل OCR استفاده نمود. در این زمینه، ابزارهای بنامی جهت استخراج متن از تصاویر متون وجود دارند؛ اما به دلیل ضعف آنها در زبان‌هایی مثل فارسی و عربی و همچنین کیفیت بالای مورد انتظار در نرم‌افزارهای مرکز، نمی‌توان به طور مستقیم از داده‌هایی که از این‌گونه ابزارها تولید شده‌اند، در نرم‌افزارهای مرکز استفاده نمود. به همین دلیل، همکاران ما با فراهم کردن تکنیک‌هایی بومی و اعمال پردازش‌های ماشینی متعدد، توانستند کیفیت خروجی این‌گونه سیستم‌ها را به حد قابل قبول برسانند. البته حتی در این‌گونه سیستم‌های ماشینی هم به منظور بی‌اشکال بودن متن نهایی، در مورد کلمات مشکوک، اعمال نظر نهایی انسان در حد بسیار محدود مورد نیاز می‌باشد. مجموعه این ابزار، هم‌اکنون در سطح آزمایشگاهی در حال تست می‌باشد و با استقرار نهایی آن در چرخه تولید محتوای مرکز، قادر خواهیم بود در عین حفظ کیفیت مطلوب، سرعت فرآیند تولید محتوا را به شدت افزایش دهیم.

 

در مورد تصحیح متون، پیش از این، رویه‌های مختلفی طی می‌شد و عملیات تصحیح و مقابله صورت می‌گرفت؛ یعنی ابتدا مثلاً دو نفر یک متن واحد را تایپ می‌کردند و بعد، سیستم این دو متن را با هم مقابله می‌نمود و مواردی را که با هم فرق داشت، گزارش می‌داد و همکاران ما باید موارد گزارش شده را بررسی نموده، مورد صحیح را انتخاب می‌کردند و پس از آن نیز رویه‌هایی جهت تصحیح کل فهرست غیرتکراری کلمات طی می‌شود. مجموعه این روش‌ها، در مقایسه با یک بار تایپ، از کیفیت بالاتری برخوردار می‌باشد؛ اما به هر حال، این مراحل نیز از نظر زمانی و هزینه‌ای، مطلوب نمی‌باشد. در حال حاضر، کار خوبی معاونت تهران انجام داده و آن، نرم‌افزار ویراستیار است که کاربر می‌تواند با استفاده از این ابزار، متن خودش را تصحیح کند و خطاها و اشکالات متنش را کشف و اصلاح نماید. البته این نرم‌افزار در متون فارسی کوتاه کاربرد دارد و با توجه به اینکه درصد بالایی از متون مرکز، عربی و در حجم بالا می‌باشد، نیازمند برنامه‌ای خاص برای این منظور بودیم. ازاین رو، بحث تصحیح متون را به صورت ماشینی دنبال کردیم که بحمدالله تاکنون پیشرفت‌های خوبی هم داشته‌ایم و ان‌شاءالله به این سَمت پیش می‌رویم که تصحیح دستی نداشته باشیم یا آن را به حداقل برسانیم؛ زیرا کشف خطا و تصحیح دستی و موردی اغلاط توسط انسان، فرآیند بسیار پُرهزینه و زمان بری خواهد بود و در نهایت نیز احتمال خطا برای کار انسان وجود دارد. البته این پروژه، فعلاً در مرحله آزمایشی است و هنوز به مرحله بهره‌برداری نهایی نرسیده است.

 

آن‌گاه، بحث غنی‌سازی و فرآوری متون مطرح می‌شود و با توجه به حجم عظیم داده‌های نور که روز به روز نیز افزایش می‌یاید و نیز گستره مخاطبان محصولات نور و انتظاراتی که از نرم‌افزارهای مرکز دارند، نیاز به استفاده از فنون متن‌کاوی برای تولید متون غنی، بیش از پیش احساس می شود.

 

به طور مثال، در مورد فرآیند اِعراب گذاری، برای سهولت کاربر در جهت شناسایی معنای اصلی کلمه با توجه به اِعراب متن، در گذشته محققان ما باید به صورت دستی کلمات احادیث و سایر متون را اِعراب گذاری می‌کردند که این فرآیند، طبیعتاً بسیار وقت‌گیر و پُرهزینه بود و احتمال خطای انسانی نیز در آن وجود داشت؛ اما با استفاده از فناوری‌های جدید و یادگیری ماشین از دیتای آماده‌شده انسانی، توانسیتم این روند را در زمان خیلی کوتاه‌تر و با کیفیت بالاتر تحقق بخشیم.

 

بحث شناسایی آیات، از دیگر کاربردهای متن‌کاوی در زمینه غنی‌سازی اطلاعات متون است. یکی از نیازهای برنامه‌های دسکتاپی مرکز، این بود که آیات در متون مشخص می‌شدند تا کاربر بتواند در بخش نمایش، از این امکان استفاده کند و همچنین با استفاده از بخش «آیات در کتب»، موارد اشاره شده به آیه مورد نظر را از بین متون کتب استخراج کند. شما تصور کنید که مثلاً در متون تفسیری در هر صفحه از کتاب، یک یا چند آیه از قرآن به کار رفته باشد. در این گونه موارد، در صورت عدم وجود نشانه‌های خاص از آیه بودن متن، محقق ما باید متن را مطالعه می‌نمود و زمان بسیاری را صرف می‌کرد تا آیات را تشخیص دهد و آنها را در متن مشخص نموده، فرمت بزند؛ اما با ماشینی شدن این نیاز، هم اکنون با صرف زمان اندک قادر خواهیم بود حتی در صورت تفاوت نگارشی و رسم‌الخط، آیات را به صورت خودکار شناسایی و نشانی‌گذاری کنیم.

 

البته باید عرض کنم که در اغلب موارد، مسائل متن کاوی نور، به دو نوع دیدگاه خاص نیاز دارد: 1. شناخت ماهیت علمی آن مسئله در حوزه کاربردی خاص و حتی در برخی موارد استخراج قوانین و قواعد مربوطه، مثل: ادبیات، حدیث، تفسیر، فقه و اصول فقه؛ 2. شناخت تمامی ابعاد تکنیک‌های پردازش هوشمند در مورد آن مسئله. در برخی مسائل نیز باید متون مورد نظر ابتدا توسط پژوهشگران حوزه مربوطه، مثلاً علوم اسلامی و متخصصان ادبیات عرب، غنی سازی شود و پیکره و دادگان مورد نیاز برای پردازش‌های هوشمند مهیا گردد؛ مانند کاری که در موتور صرفی نور انجام شد.

 

در این موتور، به دنبال این مطلب بودیم که ماشین به طور خودکار و بدون دخالت انسان، بتواند تجزیه صرفی کلمه را تشخیص دهد. شناسایی و تجزیه ساخت واژی کلمه، از جمله پیش نیازهای بسیاری از پردازش‌های هوشمند به شمار می‌آید. دستاورد این کار، برای اوّلین بار خود را در قسمت جست وجوی نرم‌افزارهای دسکتاپی مرکز، از جمله جامع‌الأحادیث نشان داد؛ به این صورت که با زدن تیک مربوط به پیراسته‌سازی، سیستم با دانشی که در مورد تجزیه صرفی کلمات دارد، از پیشوندها و پسوندهای کلمات متون و کلمات جست و جوی کاربر صرف نظر کرده و در نتیجه، این قابلیت برای کاربر فراهم می‌آمد که اشکال گوناگون کلمه در دامنه جست وجوی او قرار گیرد و به نوعی کنترل شده و محدود تحقیق کاربر گسترش یابد.

 

از دیگر کاربردهای پیراسته‌سازی کلمات، شناسایی هسته کلمه و اتصال کلمه به مدخل مربوطه از کتاب لغت می‌باشد که از قابلیت‌های بسیار کاربردی به شمار می‌آید و در آینده‌ای نزدیک، در نرم‌افزارهای نهایی ارائه خواهد شد.

 

پیش از این، برای اتصال بین کلمات متن و معنای متناظر آنها در داخل لغت‌نامه، بانکی تهیه شده بود مبنی بر اینکه هر کلمه، چه ریشه‌ای دارد و بر اساس این اندوخته و فهرست کلمات، کاربر نهایی به مدخل مربوطه در لغت‌نامه منتقل می‌شد. چون این بانک، به صورت دستی تهیه شده بود، همه کلمات را پوشش نمی‌داد و کامل نبود و حتی در موارد محدودی، اشتباه بود که البته این مقدار اشتباه، در کارهای دستی اجتناب ناپذیر بوده است. با این حال، در صورت برقراری اتصال صحیح بین کلمه متن و مدخل کتاب لغت، کاربر نهایی، خود باید روند فهم معنا در لغت‌نامه را به صورت دستی دنبال می‌کرد و از بین مشتقات مربوطه ذیل آن ریشه، مشتق مورد نظرش را پیدا می‌کرد.

 

برای حل این مشکل، با زحمات بسیاری که پژوهشگران و متخصصان متن‌کاوی مرکز نور کشیدند، موتور صرفی پیاده‌سازی شد که به صورت ماشینی، ریشه صرفی واژگان را استخراج می‌کند و ریشه‌های مرتبط با واژه مذکور را به کاربر پیشنهاد می‌دهد و با وجود قابلیت پیراسته‌سازی وندها، ارتباط بین کلمه متن و مدخل کتاب لغت به شکل خودکار و فراگیر تحقق پیدا خواهد کرد.

 

کاربرد دیگری که موتور تجزیه صرفی نور دارد، هماهنگ‌سازی کلیدواژگان است که در نرم افزارهای معجم موضوعی، از این قابلیت استفاده شده است؛ چون گاهی کلیدواژه‌ای به شکل‌های مختلف در متن آمده است، گاهی مفرد است، گاهی جمع و در بعضی موارد نیز تثنیه است و یا با پیشوند یا پسوند خاص آمده است. با کمک این موتور، در کنار مشابه‌یابی لفظی کلمات و بهره‌گیری از بانک لغات مترادف، توانستیم این کلیدواژگان را در قالبی واحد، یکپارچه و دسته‌بندی کنیم.

 

از دیگر ارزش‌های متن‌کاوی، این است که با به‌کارگیری فناوری‌های جدید، قابلیت‌ها و ارزش افزوده‌های جدیدی قابل تصور خواهند بود که تا کنون وجود نداشته است؛ مثلاً سیستم کشف تقلب که هم اینک در پایگاه سمیم نور پیاده‌سازی شده است، از جمله نمونه‌های به کارگیری پردازش هوشمند متون است که تصور چنین سیستمی برای کشف استناددهی بدون ذکر منبع با استفاده از انبوهی از مقالات در کمترین زمان ممکن، بدون به کارگیری تکنیک‌های نوین متن کاوی امکان‌پذیر نیست. با استفاده از این سامانه، کاربر قادر خواهد بود استناددهی میان مقالات را مورد بررسی قرار دهد، سرقت‌های علمی و ادبی یک مقاله را شناسایی کند و در مقالات مشابه یک مقاله، به پژوهش بپردازد.

 

بحث خوشه‌بندی اسناد متنی و شناسایی اسناد مشابه، با تلاش همکاران ما در ابتدای امر در نرم‌افزار جامع الأحادیث و در بخش «احادیث مشابه» به کارگرفته شد و به دلیل کاربردی بودن آن، با استقبال زیاد پژوهشگران این حوزه مواجه گردید. کشف دستی نسخه‌های متعدد یک حدیث نیز به صورت فراگیر قابل تصور نیست و خیلی هزینه بر و وقت گیر است. با استفاده از این قابلیت، پژوهشگر حدیثی قادر خواهد بود تمامی نسخه‌های تقریباً برابر با یک حدیث را یکجا بررسی کرده، روند نقل یک حدیث در طول تاریخ را مورد کاوش قرار دهد و بدین ترتیب، حتی زمینه برای شناسایی اوّلین روایتگر یک حدیث نیز در طول تاریخ وجود دارد. این مقوله نیز رهاورد به کارگیری فناوری‌های ماشینی متن‌کاوی است که البته فاز نخست کار، کشف احادیث مشابه از نظر لفظی است و ما در حال توسعه این محصول می‌باشیم و می‌خواهیم در گام بعدی، از لایه‌های لفظ عبور کنیم و به سمت معنا برویم و سامانه مشابه یابی نور را در حوزه معنایی نیز پدید آوریم و احادیثی را که از نظر مفهومی نیز مشابه حدیث انتخابی کاربر است، گزارش بدهیم؛ چون خیلی اوقات هست که روایتی از نظر لفظی، کاملاً با روایت دیگر متفاوت است؛ ولی از نظر معنایی، دقیقاً به یک مفهوم اشاره می‌کنند. این اقدام، جهشی در حوزه داده‌پردازی متون علوم اسلامی به شمار می‌رود و خیلی به ما و محققان کمک می‌کند. ان‌شاءالله در آینده به کمک این قابلیت، دریچه جدیدی را فراسوی مخاطبان محصولات نور خواهیم گشود.

 

یکی دیگر از دستاوردهای متن کاوی، موتور جست وجو نور می باشد که فعلاً در محصولات برخط ما، از جمله پایگاه نورمگز، بروز پیدا کرده و با تلاش همکارانمان، امیدواریم به زودی در نرم‌افزارهای دسکتاپی نیز بتوانیم از آن بهره‌مند شویم؛ همان‌طور که می‌دانید، موتورهای جست و جو سهم بسزایی در پژوهش و بازیابی اطلاعات ایفا می‌کنند.

 

در اینجا به چند نمونه از قابلیت‌های اصلی این موتور اشاره می‌کنم؛ همانند امکان پیراسته‌سازی در جست و جوی نرم‌افزار جامع‌الأحادیث. این قابلیت، به صورت پیش‌فرض در این موتور جست و جو اعمال می‌شود و جست و جوی کاربر در کنار جست و جوی دقیق عبارات کاربر، قادر است از وندهای کلمات جست و جو شده توسط کاربر و کلمات متون صرف نظر کرده و فرآیند جست و جو را به صورت فراگیر انجام دهد. از دیگر قابلیت‌های آن می‌توان به انعطاف در برابر خطای املایی کاربر و محتوای متون اشاره کرد که با تلاش همکاران ما این قابلیت هم‌اکنون در حال توسعه و بهبود می‌باشد. ویژگی دیگر، بهبود معیار رتبه‌بندی نتایج در این موتور جست و جوست؛ با این تفاوت که در اینجا قابلیت مذکور برای زبان فارسی پیاده‌سازی شده است و با وجود این قابلیت‌ها، کاربر با صرف کمترین زمان در سامانه، به محتوای مورد نظر خود هدایت می‌شود. در همین راستا، این امکان فراهم آمده که به ازای هر مقاله، مقالات مرتبط با آن نیز ارائه شوند. مقالات مرتبط، به دو گونه شناسایی می‌شوند؛ در شیوه اوّل، بر اساس تشابه لفظی عناوین مقالات، مقاله‌های مرتبط شناسایی می‌شوند و در شیوه دوم، بر این اساس که کاربران دیگری که این مقاله را خوانده یا دانلود کرده‌اند، چه مقالات مرتبط دیگری را مطالعه یا دریافت نموده‌اند، امر شناسایی صورت می‌گیرد. اگر تعداد رخداد این موضوع بالا باشد، درصد قابل قبولی از اطمینان بخشی را به ما می‌دهد که این مقاله با چه مقالاتی ارتباط نزدیک دارد. چنین قابلیتی، نتیجه داده‌کاوی متون و تحلیل متنی است که توسط گروه متن‌کاوی مرکز در معاونت پژوهشی و فنی انجام شده است.

 

استخراج خودکار کلیدواژگان متن، از جمله دستاوردهای دیگر تحلیل هوشمند متون است که فعلاً در پایگاه حوزه‌نت به کار گرفته شده است و محقق می‌تواند به کمک این قابلیت، پژوهش خود را به سایر مقالات و متون مرتبط گسترش بدهد. چالش موجود در بحث استخراج کلیدواژه از متون، در معتبر بودن کلیدواژه از نظر لفظی و زبان‌شناسی، خود را نشان می‌دهد؛ چراکه در حالت ساده ممکن است برخی کلیدواژه‌های پیشنهادی سیستم، معتبر نباشند یا ناقص باشند؛ مثل عبارت «سبک زندگی» که در آن، هریک از واژگان به تنهایی، معنای مورد نظر ما را ندارند و فقط وقتی با هم جمع می‌شوند، مفهوم خاصی را می‌رسانند و سیستم باید مجموعه آنها را در کنار هم به عنوان کلیدواژه پیشنهاد دهد. در اینجا سیستم با استفاده از تحلیل‌های پیچیده زبان‌شناسی، از جمله تحلیل کسره اضافه، سعی می‌کند عبارت صحیح و کامل را به محقق پیشنهاد بدهد.

 

از دستاوردهای دیگر، همترازی ماشینی متن و ترجمه است. در برخی نرم‌افزارهای نور، بخشی به نام «متن و ترجمه» یا «متن و شرح» وجود دارد. گاهی برخی کتب، ترجمه‌های متعدد دارند و محقق نیاز دارد یک قسمت از یک کتاب را در کنار چند ترجمه بررسی کند؛ برای برطرف کردن این نیاز، پیش‌تر این پیوند و ارتباط میان قسمت‌های متن اصلی و ترجمه یا شرح آن، به صورت دستی انجام می‌شد که این کار، زمان بسیاری از اُپراتورها خواهد برد. بحمدالله، امکان این کار نیز به همت همکاران ما در متن‌کاوی به شکل ماشینی فراهم شده تا کاربر با کیفیت بیشتر و سریع‌تر به ترجمه یا شرح متن مورد نظر خویش دسترسی داشته باشد. این قابلیت، به طور خاص، در نرم‌افزار کتابخوان نور در حال توسعه است تا بتوانیم پاسخگوی نیاز محققان و کاربران در این زمینه باشیم.

 

از دیگر غنی سازی‌های ممکن بر روی متون، مشخص کردن اَعلام و اسامی خاص یا به طور کلی، موجودیت‌های اسمی است؛ این موضوع، از این نظر اهمیت پیدا می‌کند که غالباً اسم افراد و یا مکان‌ها، نقش ویژه‌ای در پژوهش‌ها ایفا می‌کنند و به همین دلیل، مشخص بودن آنها برای کاربر، می‌تواند در گسترش صحیح دامنه پژوهش به آنها کمک کند. همچنین، این قابلیت می‌تواند خدمتی کاربردی برای ناشران باشد و با استفاده از آن قادر خواهند بود اَعلام پایانی کتب را با سرعت و دقت بالا تنظیم کنند. به هر حال، امیدوار هستیم در آینده‌ای نزدیک بتوانیم این قابلیت را در برخی نرم‌افزارها و پایگاه‌ها از قبیل کتابخانه دیجیتال نور (نورلایب) به کارگیریم.

 

یکی دیگر از شاخه‌های مرتبط با متن‌کاوی یا به عبارت بهتر، پردازش زبان‌های طبیعی، پردازش صوت است که فعلاً با توجه به اولویت محتوای متنی، در این مسیر گام بر نداشته‌ایم؛ چون هنوز در حوزه متن و داده‌کاوی متون اسلامی، کارهای بسیاری داریم که باید انجام دهیم و بعد از این، می‌توانیم به سوی پردازش صوت هم پیش برویم؛ مثلاً بحث همترازی میان صوت و متن، در پژوه‌هایی مثل نرم افزار «حافظ»، به صورت دستی انجام شده و ارتباط بین قطعه‌های صوتی و محدوده‌های متن، برقرار گردیده است که باید ان‌شاءالله در برنامه‌های آینده‌مان، به این مقوله هم بپردازیم و تطبیق بین متن و صوت را در تولیدات خودمان به صورت ماشینی انجام دهیم تا با صرف وقت و هزینه کمتر بتوانیم این امکان را در حجم بالایی از منابع پیاده‌سازی کنیم.

 

در پایان، به نوبه خود، از زحمات تمامی همکارانی که در جهت بهبود فرآیندهای پژوهش در حوزه علوم اسلامی تلاش می کنند، تشکر می‌کنم. باید اضافه کنم که نمونه عملیاتی برخی از این دستاوردها و اخبار مربوطه نیز در پایگاه متن‌کاوی نور به نشانی: http://textmining.noorsoft.org قابل مشاهده و استفاده عموم می‌باشد.

 

منبع: نشریه ره‌آورد نور