پیاده سازی یک کراولر کار آمد و سریع به نامFurious Spider
Publish place: 3nd National Conference on Computer Science
Publish Year: 1394
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 634
This Paper With 8 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
NCCOS03_075
تاریخ نمایه سازی: 9 مرداد 1395
Abstract:
امروزه بارشد سریع صفحات وب استفاده ازموتورهای جستجو برای یافتن اطلاعات مرتبط اهمیت فراوانی پیدا می کند باتوجب ه این که درصداطلاعات مرتبط با نیازهای اطلاعاتی کاربران درمیان انبوهی ازمیلیون ها صفحه وب بسیارکم است لذا پیدا کردن صفحات مرتبط با پرس وجوی کاربران بیش ازپیش حائزاهمیت می باشد ازطرفی با توجه به این که بخش مهمی ازیک موتور جستجو را کراولرآن تشکیل میدهد لذا طراحی کراولرهای سریع و با کیفیت بسیارحائزاهمیت است دراین مقاله ابتدا به بررسی مفاهیم پایه ای درزمینه کراولرها خواهیم پرداخت سپس به پیاده سازی و تشریح یک کراولر به نام Furious Spider خواهیم پرداخت که بصورت عمقی صفحات وب را جستجو می کند این کراولر به منظور جلوگیر یازکراول کردن مجدد صفحات کراول شده لیستی ازلینکهای صفحات کراول شده دریک لینک لیست ذخیره می کند ازطرفی باتوجه به اینکه لینکهای داخل صفحات میتواند بسیارزیاد باشد درنتیجه مدت زمان زیادی برای کراول کردن صفحات موردنیاز باشد لذا الگوریتم جستجوی عمقی رابااستفاده ازیک محدودیت عمق تبدیل به جستجوی عمقی محدود شده می کنیم درنهایت نتایج بدست آمده ازاعمال کراولر طراحی شده برروی سایت www.cloob.comبررسی خواهیم کرد
Keywords:
Authors
رضا حسینی پور دالنجان
دانشگاه اصفهان دانشکده مهندسی کامپیوتر
فرهاد ظفری
دانشگاه اصفهان دانشکده مهندسی کامپیوتر
مراجع و منابع این Paper:
لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :