اسماء قیصری گودرزی - دانشجوی کارشناسی ارشد دانشگاه پیام نور
مهدی جوانمرد - استادیار دانشگاه پیام نور

خزش فرآیندی ست که اطلاعات را از وب جمع آوری و اندیس گذاری می کند تا بعدا توسط موتورهای جست و جو به عنوان منبعداده استفاده شوند. هدف فرآیند خزش این است که تا حد امکان، مفیدترین و مرتبطترین صفحات را با سرعت بالا و به صورتبهینه جمع آوری کند. با افزایش حجم اطلاعات در وب، اهمیت دسترسی به این اطلاعات هم بسیار افزایش پیدا کرده است. داشتنیک خزنده ی قوی، یعنی داشتن یک موتور جست و جوی قوی. سرعت بالای به روز رسانی اطلاعات و محدودیت منابعی نظیرزمان و حافظه باعث شده است تا تنها 8 تا 12 درصد از حجم عظیم صفحات وب توسط خزنده ها در مخزن محلی ذخیره شوند.عملیات خزش همیشه در عمق محدودی متوقف می شود، دلیل آن هم بسیار واضح است: محدودیت منابع. پس یک الگوریتمخوب باید پیش از اینکه به محدودیت منابع برخورد کند، بیشترین و مرتبط ترین صفحات را پیدا کند. در نتیجه پس از توقففرآیند خزش می توان مطمئن بود که بهترین مخزن محلی را در اختیار داریم. در این متن الگوریتمی بهینه با اهداف مذکورطراحی شده است که در ادامه به آن می پردازیم.

خزش ، الگوریتم ، موتور جست و جو ، خزنده ، بهینه سازی