بررسی خزنده های وب و انواع مختلف آن

وب مجموعه ی عظیمی از داده های امروزی است که روز به روز در حال افزایش است.با توجه به اندازه فعلی وب و ماهیت پویای آن، ایجاد یک مکانیسم جستجوی کارآمد بسیار مهم است. تعداد گسترده ای از صفحات وب هر روز در حال اضافه شدن هستند و اطلاعات نیز به طور مداوم در حال تغییر هستند. موتورهای جستجو برای استخراج اطلاعات ارزشمند از اینترنت استفاده می شود خزنده وب که بخش اصلی موتور جست و جو می باشد، یک برنامه نرم افزاری کامپیوتر است که شبکه جهانی وب را با یک روش علمی، به شیوه خود کار و در مد منظمی مرور می کند. خزنده وب باعث ایجاد ترافیک زیادی در وب می شود، برای کم کردن اثرات منفی این ترافیک بر روی وب سایت ها، رفتارهای خزنده وب ما که مثل یک وب سرور شخصی به وسیله پیاده سازی پروتکل استثنای روبات در یک فایل robot.txt تنظیم شوند. این مقاله به طور خلاصه مفاهیم خزنده وب ، معماری و انواع مختلف آن مورد بررسی قرار می دهد.

Keywords:

خزنده ی وب , موتور جستجو , خزیدن , الگوریتم های خزیدن