زهرا طیبی قصبه - کارشناسی ارشد مهندسی کامپیوتر، دانشگاه پیام نور
پروین قنبری نمین - کارشناسی ارشد مهندسی کامپیوتر، دانشگاه علوم و تحقیقات گیلان
آناهیتا غلامین - دانشجوی کارشناسی مهندسی کامپیوتر، موسسه غیرانتفاعی کادوس رشت

در طی پیشرفت فناوری های پایگاه داده و تکنیک های جمع آوری داده ها، حجم بسیار وسیعی از داده ها تجمیع و انباشته شده است. داده کاوی به استخراج اطلاعات ضمنی، ناشناخته و مفید از دادهها گفته می شود. ملیون ها پایگاه داده در مدیریت تجارت ها، ادارات دولتی، علم و مهندسی و بسیاری دیگر از برنامه های کاربردی مورد استفاده هستند، رشد بیش از حد داده ها در پایگاه دادهها و تولیدات فوری نیازمند تکنولوژی ها و ابزارهای جدیدی است که به طور هوشمندانه واتوماتیک می توانند داده های مورد پردازش را به اطلاعات سودمند و دانش تبدیل کنند. استخراج اطلاعات و دانش از پایگاه های داده ی بزرگ به وسیله تعداد زیادی کمپانی صنعتی به عنوان یک حوزه مهم و یک فرصت درآمدزایی اصلی تلقی می شود. مهمترین ابزار برای دسترسی به این اقیانوس بی کران اطلاعات، موتورهای جستجو می باشند که یکی از مهمترین بخش های آن کاوشگر وب است، در واقع موتور جستجو برای کشف اطلاعات ارزشمند از وب سایت ها از کاوشگر وب بهره می گیرد. در این مقاله به موتور جستجو و انواع آن که شامل: عنکبوت، کاوشگر، بایگانی کننده، پایگاه داده، سیستم رتبه بندی می باشد را خواهیم پرداخت و سپس کاوشگر وب را به عنوان یک نوع موتور جستجو گر به صورت دقیق تر بررسی کرده و معماری کاوشگر وب، استراتژی های خزیدن یا حرکت کاوشگر، نحوه عملکرد کاوشگر و همچنین به چالش های کاوشگر وب را نیز می پردازیم.

داده کاوی، کاوشگر وب، موتور جستجو