بررسی روش های تشخیص زبان نوشتاری متن

تشخیص زبان نوشتار مقوله نسبتا جدیدی است که طی سال های اخیر با اهداف مختلف مطرح شدهاست. این فرآیند می تواند در دسته بندی کاربران شبکه های اجتماعی (بر اساس زبان نوشتاری)، ترجمههای خودکار، تجزیه تحلیل های هوشمند متون و ... کاربرد داشته باشد. در این پژوهش سعی شده استروش های تشخیص زبان نوشتار مورد بررسی قرار گیرد. نتایج بررسی ها نشان می هد؛ روش های مبتنیبر الگوریتم های طبقه بندی، علیرغم داشتن دقت و سرعت اجرای مناسب به مجموعه آموزشی وابستههستند. این در حالی است که رویکردهای مبتنی بر آمار محدودیت داده ندارد؛ ولی با اینکه دقت مطلوبیدارند سرعت اجرای آنها نسبت به روش های مبتنی بر یادگیری ماشین پایین بوده و پیچیدگیمحاسباتی زیادی دارند. بعضی پژوهشگران نیز از رویکرد های ترکیبی برای تشخیص زبان نوشتار استفادهکرده اند که این رویکردها در مقایسه با روش های آماری و یادگیری ماشین نتایج مطلوبتری به دنبال دارند.

Keywords:

پردازش زبان طبیعی , زبان نوشتار , متن کاوی , طبقه بندی متن , روش های آماری