ارائه یک روش جدید در فاز آماده سازی داده های آموزشی دسته بندی سلسله مراتبی برای دسته بندی متون فارسی

امروزه حجم انبوهی از اطلاعات در قالب اسناد ذخیره می شوند. دسته بندی متون فرآیندی است که در آن، متن ها به یک یا چند دسته از قبل تعریف شده تقسیم می شوند. در بسیاری از موارد، دسته هایی که باید تشخیص داده شوند از یک ساختار سلسله مراتبی برخوردار بوده و شامل تعداد زیادی دسته می باشند. از جمله مشکلات روش دسته بندی سلسله مراتبی داده های آموزشی نامتعادل ( جایی که سندهای منفی بیشتر از سندهای مثبت هستند) می باشند. همچنین در اغلب کارهای انجام شده روی دسته بندی سلسله مراتبی محدودیت هایی اعمال شده است. به عنوان مثال ارتباط دسته ها به صورت درخت در نظر گرفته شده است( نمی تواند گراف بدون دور جهت دار DAG باش) ، یا یک مثال (سند) حتماً باید در گره های برگ متوقف شود( نمی تواند در هر گرهی از هر کدام از سطوح سلسله مراتب متوقف شود) و یا هر مثال باید به یک کلاس تعلق داشته باشد (نمی تواند همزمان به بیش از یک کلاس تعلق داشته باشد) . در این مقاله یک روش جدید برای فاز آماده سازی داده های آموزشی در روش دسته بندی سلسله مراتبی محلی ارائه شده است که محدودیت های فوق را نداشته و سعی در رفع مشکل داده های آموزشی نامتعادل کرده است. نتایج حاصل از آزمایشات انجام شده نشان دهنده دقت و F1 در روش پیشنهادی می باشد.

Keywords:

دسته بندی سلسله مراتبی , دسته بندی محلی , فازآماده سازی داده های آموزشی , DAG , پیش بینی غیر اجباری گره برگ