Unsupervised Persian Morphemes Discovery: An Improved Approach
Publish place: 11th Annual Conference of Computer Society of Iran
Publish Year: 1384
نوع سند: مقاله کنفرانسی
زبان: English
View: 1,204
متن کامل این Paper منتشر نشده است و فقط به صورت چکیده یا چکیده مبسوط در پایگاه موجود می باشد.
توضیح: معمولا کلیه مقالاتی که کمتر از ۵ صفحه باشند در پایگاه سیویلیکا اصل Paper (فول تکست) محسوب نمی شوند و فقط کاربران عضو بدون کسر اعتبار می توانند فایل آنها را دریافت نمایند.
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ACCSI11_282
تاریخ نمایه سازی: 5 آذر 1390
Abstract:
This paper presents a method for unsupervised Persian morpheme discovery that automatically discover the morphemes of Persian through the analysis of corpora. We utilized a Minimum Description Length (MDL) based algorithm with some improvement and applied it to Persian corpus. Our improvements include utilizing a heuristic function to compute cost more precisely, using threshold to prevent splitting high frequency chunks, exerting penalty for first and last letters, and distinguish between prefixes and suffixes. In comparison with the simple initial algorithm, our approach has raised precision and recall from (48.24, 45.53) to (63.29, 53.19).
Keywords:
Authors
Mohsen Arabsorkhi
Computer Engineering Department, Shiraz University, Shiraz, Iran
Mehrnoush Shamsfard
Computer Engineering Department,Shahid Beheshti University, Tehran, Iran
مراجع و منابع این Paper:
لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :