ارایه یک مدل دسته بندی اسناد متنی فارسی بر مبنای ترکیب مدل های موضوعی ومدل N-Gram

با توجه به افزایش روز افزون دادههای موجود در فضای اینترنت، که درصد بسیار بالایی از این دادهها به صورت متنی هستند،طراحی و پیاده سازی سیستمهایی که بتوانند انواع عملیات پردازشی را روی این دادهها با کارایی مناسب ارایه دهند از اهمیتخاصی برخوردار است. یکی از روشهای ساماندهی این حجم عظیم اسناد متنی، کلاسبندی یا دسته بندی است. کلاسبندی جزو مهمترین روشها در حوزه یادگیری ماشین و دادهکاوی است در آن با استفاده از اسناد برچسبدار مدلی بر اساسمحتوای اسناد آموزش داده میشود و متون جدید با استفاده از مدل آموزش داده شده به کلاسهای از پیشتعریف شدهانتساب داده میشود. تاکنون روشهای متعددی برای دستهبندی اسناد متنی ارایه شده که بیشتر این روشها مبتنی بر روش کولهپشتی کلمات هستند که در آن هر سند به صورت کیسهای از کلمات بیربط نشان داده می شود. نمایش فضای برداری بهکمک کوله پشتی کلمات دارای مشکلاتی است که از آن جمله میتوان به عدم لحاظ کردن ارتباط معنایی کلمات و حجم بسیار بالای فضای برداری اشاره کرد. در این پایان نامه با استفاده از مدلهای موضوعی ابعاد فضای ویژگیها به مقدار قابلتوجهی کاهش پیدا کرده است. LDA یکی از موفقترین مدلهای موضوعی است که با خوشهبندی کلمات مرتبط در یکموضوع، اسناد را به صورت توزیعی بر روی موضوعات ساخته شده نمایش میدهد. همچنین یکی دیگر از مشکلات نمایشفضای برداری که عدم در نظر گرفتن ارتباط بین کلمات متوالی است، در این پایان نامه به کمک مدل N-Gram حل شده است. در نهایت روش ترکیبی LDA و N-Gram برای نمایش اسناد و استخراج ویژگی استفاده شده است و همچنین کلاس بند SVM بر روی مجموعه ای از اسناد خبری عصر ایران اعمال شده است.

Keywords:

کلاسبندی , LDA , N-Gram , ماشین بردار پشتیبان , پیکره خبری عصر ایران