Unsupervised Persian Morphemes Discovery: An Improved Approach

Publish Year: 1384
نوع سند: مقاله کنفرانسی
زبان: English
View: 1,204

متن کامل این Paper منتشر نشده است و فقط به صورت چکیده یا چکیده مبسوط در پایگاه موجود می باشد.
توضیح: معمولا کلیه مقالاتی که کمتر از ۵ صفحه باشند در پایگاه سیویلیکا اصل Paper (فول تکست) محسوب نمی شوند و فقط کاربران عضو بدون کسر اعتبار می توانند فایل آنها را دریافت نمایند.

  • Certificate
  • من نویسنده این مقاله هستم

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این Paper:

شناسه ملی سند علمی:

ACCSI11_282

تاریخ نمایه سازی: 5 آذر 1390

Abstract:

This paper presents a method for unsupervised Persian morpheme discovery that automatically discover the morphemes of Persian through the analysis of corpora. We utilized a Minimum Description Length (MDL) based algorithm with some improvement and applied it to Persian corpus. Our improvements include utilizing a heuristic function to compute cost more precisely, using threshold to prevent splitting high frequency chunks, exerting penalty for first and last letters, and distinguish between prefixes and suffixes. In comparison with the simple initial algorithm, our approach has raised precision and recall from (48.24, 45.53) to (63.29, 53.19).

Authors

Mohsen Arabsorkhi

Computer Engineering Department, Shiraz University, Shiraz, Iran

Mehrnoush Shamsfard

Computer Engineering Department,Shahid Beheshti University, Tehran, Iran

مراجع و منابع این Paper:

لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :
  • K. Megerdoomian, Persian Computational ...
  • Morphology: A un ification-based approach, NMSU, CLR, Memoranda in Computer ...
  • Christian Monson- 2002. A Framework for ...
  • Unsupervised Natural Language Morphology Induction. ...
  • P. Schone and D Jurafsky. 2000. Kno wldedge-free induction of ...
  • /4] Sabine Deligne and Fr ed erc Bimbot. 1997. Inference ...
  • A. Norman Redlich. 1993. Redundancy reduction as a strategy for ...
  • Goldsmith, John 2001. Unsupervised learning of the morphology of a ...
  • Goldsmith, John, Yu Hu, Irina Matveeva, and Colin Sprague. 2005. ...
  • /9] Creutz, M.; Lagus, K. 2002. Unsupervised discovery of morphemes. ...
  • Jorma Rissanen 1989, Stochastic Complexity in ...
  • HARRIS, Z. 1967. Morpheme Boundaries within ...
  • Creutz, Mathias; Lagus, Krista 2004. Induction of ...
  • نمایش کامل مراجع