یادگیری مجموعه داده محدود برای طبقه بندی مقصود با استفاده از مدل پیش آموزش داده شده BERT

طبقه بندی مقصود یکی از مسائل مهم در فهم زبان طبیعی است که هدف آن طبقه بندی پرسشها بر اساس مقصود، هدف، یا منظوری است که در محتوا بیان شده است. اما مشکلی که در این نوع مسائل وجود دارد کمبود داده هایی است که توسط عامل انسانی برچسب گذاری شده باشند. این مشکل باعث ضعف در جامعسازی مدلها میشود، مخصوصا وقتی که مدلها با کلمات نادر مواجه میشوند. استفاده از مدلهای از پیش آموزش داده شده میتواند در ارائهای جامع از زبان مفید واقع شوند. مدل زبانی از پیش آموزش داده شده BERT که اخیرا منتشر شده است اثر مهمی در حوزه پردازش زبان طبیعی گذاشته است. این مدل زبانی که با استفاده از یک پیکره زبانی بسیار بزرگ بدون برچسب پیش آموزش داده شده است، با تنظیم دقیق توانسته است در بسیاری از مسائل پردازش زبان طبیعی مانند سیستم های پرسش و پاسخ و تحلیل احساس نتایج بسیار خوبی کسب کند. در این مقاله سعی شده است که مدل زبانی BERT با مدلهای رایج یادگیری ماشین برای طبقه بندی مقصود مقایسه شود و نشان داده شده است که برای یادگیری مجموعه داده محدود مدل BERT عملکرد بهتری نسبت به مدلهای رایج یادگیری ماشین دارد.

Keywords:

پردازش زبان طبیعی , فهم زبان طبیعی , طبقه بندی مقصود , عوامل مکالمه ای , یادگیری عمیق , یادگیری ماشین , انتقال یادگیری