بررسی و تست مجموعه پرسش و پاسخ های بخش پایتون سایت استک آورفلوو با استفاده از الگوریتم های فضای برداری، تخصیص پنهان دیریکله و ارتباط معنی نهفته

یکی از شاخه های متن کاوی سیستم پرسش و پاسخ می باشد. در این سیستم با استفاده از روش های مختلف پرسش ها تحلیل و پاسخ آن ها استخراج می شود. سایت استک آور فلوو نیز یک سایت از نوع پرسش و پاسخ های تخصصی است و نیاز به یک سیستم پرسش و پاسخ برای چنین سایت هایی احساس می شود. در این مقاله دیتا ست های سایت مذکور را با سه الگوریتم بازیابی اطلاعات تست و نتایج مورد بررسی قرار گرفته. تست الگوریتم ها بر روی 500 زوج پرسش و پاسخ که به صورت تصادفی انتخاب شده اند انجام گرفته. زوج ها براساس نمونه گیری تصادفی از میان هزاران سوال و جواب جدا شده است. طبق نتایج الگوریتم فضای برداری همراه با پیش پردازش هایی نظیر ریشه یابی، حذف کلمات و حروف اضافه، یافتن نقش کلمه (POS tag) و... بهترین نتیجه را در جستجو و یافتن پاسخ پرسش ها به دنبال داشت. الگوریتم ها به زبان برنامه نویسی پایتون بوده و نتایج نهایی حاصل از اجرا در یک فایل متنی ذخیره می شد. بعد از تست داده ها با استفاده از دیگر الگوریتم ها نتایج به دست آمده را با یکدیگر بررسی کرده. نتیجه هر الگوریتم در شرایط مختلف مورد بررسی قرار گرفت و در پایان الگوریتم فضای برداری بهترین نتیجه را در بر داشت.

Keywords:

استک آورفلوو , فضای برداری , پرسش و پاسخ , بازیابی اطلاعات , پیش پردازش , ارتباط معنی نهفته