استخراج اطلاعات از وب سایت های خبری فارسی با استفاده از ترکیب روش DOM و آنتولوژی

استخراج محتوای با کیفیت بالا، از صفحات خبری وب برای بسیاری از برنامه های کاربردی مانند بازیابی اطلاعات، طبقه بندی خودکار متن، ترجمه ماشین، خلاصه سازی چکیده و کمک به کاربران گوشی های تلفن همراه برای دسترسی آسان به اطلاعات، بسیار مهم است. از این رو فراهم سازی تدابیری با چنین قابلیتی، ارزش و اهمیت بالایی در عصر ارتباطات و اطلاعات امروزی دارد. بر همین اساس تحقیقات گسترده ای در این حوزه مهم ارائه شده اند. اما اکثر این تحقیقات تمرکزشان وب کاوی و بازیابی سایت های انگلیسی زبان بوده و پژوهش های اندکی برای استخراج محتوا از صفحات فارسی وب معرفی شده اند. هدف از پژوهش پیشنهادی بهبود این حوزه و به طور تخصصی تر بهبود استخراج محتوا از صفحات فارسی وب سایت های خبری می باشد. در پژوهش پیش رو جهت حذف نویز از درخت DOM استفاده شده است. یکی از روش های استخراج اطلاعات استفاده از آنتولوژی می باشد. با استفاده از پیکره متنی همشهری به ساخت آنتولوژی در حوزه اخبار ورزشی می پردازیم. سپس با استفاده از آنتولوژی ساخته شده اخبار فارسی را از تعدادی وب سایت خبری استخراج می نمائیم. نتایج حاصل از این پژوهش نشان می دهد که این روش، متن اصلی صفحات خبری وب را با دقت بالایی استخراج می کند.

Keywords:

وب کاوی , استخراج اطلاعات , وب سایت های خبری فارسی , روش DOM , آنتولوژی