پیمایش هوشمند وب با کمک تحلیل پیوندی سند و مدل مارکوف

با توجه به افزایش حجم وب، پیمایش و جستجوی آن از اهمیت بالایی برخوردار است. در پیمایش این حجم وسیع از صفحات بهتر آن است، صفحاتی ابتدا پیمایش شوند که مرتبط با موضوع مورد نظر می باشند. "پیمایش هوشمند" روشی است که برای پیمایش صفحات مرتبط با یک موضوع به کار می رود. در این روش سعی بر آن است که در هنگام پیمایش، صفحات hub (صفحاتی ست که به صفحات مهمی اشاره می کنند) خوب تشخیص داده شوند تا از آن ها به عنوان منبعی برای رسیدن به صفحات authoriry (صفحاتی هستند که محتوای مهمی دارند) استفاده شود. در این تحقیق از "الگوریتم Page Rank" که یکی از الگوریتم مبتنی بر مدل های مارکوف است استفاده می شود و همچنین از تکنیک ها وب کاوی نظیر "تحلیل پیوند" و "کاوش استفاده از وب" برای ساخت پروفایل کاربران استفاده می شود. اساس کار اینگونه است که برای استخراج الگوهای حرکتی با استفاده از معیار های "مدت زمان مشاهده صفحه" و "فرکانس مشاهده صفحه" که به خوبی میزان اهمیت و علاقه کاربران به آن صفحه را نشان می دهد وزن صفحات را محاسبه می کند. برای پیدا کردن صفحاتی که بیشتر "مدت زمان مشاهده صفحه" و "فرکانس مشاهده صفحه" را دارد از الگوریتم (GEW) Gradual Extra Weight استفاده می شود. سپس برای حل مشکل کیفیت پایین پیشنهاد بیش از یک صفحه، از معیار "تحلیل پیوند صفحات" از الگوریتم (c۳) Contextual Concept Clustering برای خوشه بندی استفاده شده است. در نهایت با استفاده ازالگوریتم page rank که لیستی از صفحات دلخواه کاربر را به وی پیشنهاد می دهد.

Keywords:

پیمایش هوشمند , تحلیل پیوندی , الگوریتم c۳ , الگوریتم GEW , مدل مارکوف.