استخراج محتوای مفید صفحات وب بر اساس DOM و تکنیک ها

شبکه جهانی وب به عنوان یک سرویس جهانی است که به طور گسترده ای توزیع شده است ویک مرکز سرویس اطلاعات جهانی برای اخبار، آگهی ها، اطلاعات مصرف کننده، مدیریت مالی، آموزش و پرورش، دولت، تجارت الکترونیک و خیلی از سرویس های اطلاعاتی دیگر است؛ بنابراین صفحات وب اینترنت به طور معمول شامل مقدار زیادی از محتوای بی ارزش نظیر تبلیغات، جستجو، فیلترکردن پانل، هدرها، پاصفحه ها، لینک های ناوبری، اطلاعات کپی رایت و... است. محتوای مفید، محتوای اصلی از صفحه وب است که اطلاعات مورد نیاز را به کاربر می دهد. بیشتر دریافت کننده ها و کاربران نهایی فقط محتوای مفید را جستجو می کنند و نیاز به استخراج محتوای مفید از صفحات وب دارند. برای استخراج محتوای مفید از صفحه وب به طور صحیح، محتوای مفید و محتوای بی ارزش از صفحه وب باید به وضوح شناخته شده باشند. برای تمایز بین محتوای مفید و بی ارزش در یک صفحه وب، نیاز به تقسم بندی صفحه وب به بلوک های معنایی است.دراین مقاله روش های اتوماتیک استخراج محتوای مفید وب از صفحات وب از جمله استخراج محتوا از طریق لینک ها، صفات، کلمات و مدل های یادگیری مورد بررسی قرار میگیرند.

Keywords:

وب کاوی , استخراج محتوای مفید , مدل شی سند , استانداردسازی صفحه وب , مدل یادگیری وب