ارزیابی و پیاده سازی برچسب گذاری اجزای کلام زبان فارسی به روش تخمین درست نمایی بیشینه

امروزه با توجه به گسترش سریع حجم مستندات تولید شده، لزوم طبقه بندی، پردازش، تحلیل نحوی متون بیش از پیش بازنمایی می کند. یکی از اقدامات اساسی برای تحلیل نحوی متون، برچسب گذاری اجزای کلام می باشد. برچسب گذاری اجزای کلام یکی از ابزارهای پایه ای در حوزه ی پردازش زبان طبیعی بوده که وظیفه ی انتساب برچسب های دستوری به کلمات در جمله یا پیکره را برعهده دارد. در این مقاله از پیکره ی متنی بی جن خان برای برچسب گذاری اجزای کلام زبان فارسی استفاده شده است. همچنین برای ابهام زدایی کلمات شناخته شده، از روش تخمین درست نمایی بیشینه و برای برچسب گذاری کلمات ناشناخته نیز از دو مدل مختلف بهره می گیرد. برای ارزیابی عملکرد روش، دو نوع آزمایش انجام داده شده و در نهایت نتایج آزمایش با سایر کارهایی که به روش تخمین درست نمایی بیشینه انجام شده، بررسی و مقایسه گردیده است. میزان موفقیت آزمایش ها به حجم داده ی آموزش و آزمون، و نیز به مدل استفاده شده در روش تخمین درست نمایی بیشینه بستگی دارد. نتایج حاصل شده از آزمایش ها نشان میدهد که دقت کلمات شناخته شده با افزایش داده ی آموزش در آزمایش دوم، که از نسبت های توزیعی داده ها برای جلوگیری از نتایج تصادفی به کار گرفته شده افزایش یافته و استفاده از برچسب « اسم مفرد» در کنار روش تخمین درست نمایی بیشینه برای تشخیص کلمات ناشناخته، موفقیت آمیز بوده و دقت کلی کلمات را نیز افزایش میدهد.

Keywords:

پردازش نحوی متون زبان طبیعی , برچسب گذاری اجزای کلام , روش تخمیین درست نمایی بیشیینه , زبان فارسی