پیمایش موضوعی وب با استفاده از اتوماتای یادگیر توزیع شده و پارتیشن بندی گراف

پیمایش وب جهت یافتنی صفحاتی که توسط موتور جستجو شاخص گذاری شوند، از اهمیت بالایی برخوردار است. از آن جا که حجم صفحات وب بسیار بالا و همواره رو به افزایش است، موتورهای جستجو قادر به شاخص گذاری صفحات محدودی هستند. پیمایشگرهای موضوعی با پیمایشگرهای متمرکز، در روند پیمایش خود به صورت انتخاب گر عمل می کنند و صفحاتی را برای پیمایش انتخاب می کنند که تا حد ممکن در ارتباط با موضوعی خاص باشند. در این مقاله روشی ترکیبی مبتنی بر اتوماتای یادگیر توزیع شده و پارتیشن بندی گراف برای پیمایش موضوعی صفحات وب پیشنهاد می گردد. روش پیشنهادی با استفاده از الگوریتم HITSو ساختار پیوند بین صفحات که از طریق رفتار کاربر در مشاهده این صفحات به دست آمده است، صفحاتی را برای پیمایش انتخاب می کند. در این مقاله از پارتیشن بندی گراف وب برای بهبود کارایی استفاده شده است. به منظور ارزیابی، نتایج روش پیشنهادی با نتایج الگوریتم عرض اول، Best Firstو الگوریتمی دیگری مبتنی بر اتوماتای یادگیر توزیع شده مقایسه شده است. نتایج آزمایش ها حاکی از کارایی روش پیشنهادی دارد

Keywords:

پیمایش موضوعی وب , اتوماتای یادگیر توزیع شده , پارتیشن بندی گراف , داده های استفاده از وب , الگوریتم HITS