ارائه یک روش جدید برای مدل سازی زبانی مبتنی بر گرمی ها

مدل سازی زبانی یکی از مهمترین مراحل آماده سازی اطلاعات برای استفاده در انواع روشهای مبتنی بر هوش مصنوعی است. مدل سازی ممکن است ریاضی، فیزیکی، تجسمی و یا به هر گونه دیگر متناسب با ماهیت شبیه سازی یا حل مسئله باشد. یکی از پرکاربردترین و پرقدرت ترین مدل ها در زمینه شبیه سازی زبان انسان که از آمار کلاسیک و احتمال بهره برده است مدل n-gram یا گرمی هاست که از آن میتوان در بسیاری از زمینه های هوش مصنوعی، مانند پیش بینی کلمات، بازشناسی گفتار، درک زبان طبیعی، ترجمه ماشینی، بازشناسی نویسه های نوری، پردازش سیگنال، تصویر و ... استفاده کرد. از گرمی ها تابحال بصورت سنتی و با تعداد خاصی از مجموعه رویدادها مثلا 6 گرمی ها استفاده میشده است، در این مقاله روش جدیدی برای استفاده از گرمی ها پیشنهاد می شود. نتایج تجربی بدست آمده نشان میدهد استفاده از این روش علاوه بر اینکه باعث افزایش شدید ابعاد مسئله نشده بلکه باعث بهبود عملکرد الگوریتم های خوشه بندی میشود.

Keywords:

مدل سازی زبانی , گرمی ها , N-gram , متن کاوی , خوشه بندی