برآورد عدم قطعیت MC-Dropout برای تحلیل احساسات

در سالهای اخیر تعداد زیادی از روشهای کمی سازی عدم قطعیت ۲ معرفی شده اند مثل حذف نورونها (Dropout) که یک روش منظم سازی برای جلوگیری از بیش برازش مدل است . در شبکه های عمیق ۳ با حجم کم داده یا پیچیدگی در شبکه ، احتمال به خاطر سپردن دادهها توسط ماشین در مرحله آموزش بسیار زیاد است و این باعث می شود تا ماشین با دادههای جدید و دیده نشده نتایج ضعیفی را پیش بینی کند. هدف در این پژوهش برآورد عدم قطعیت در ماشین توسط روش آماری مونت کارلو (MonteCarlo) برای تحلیل احساسات۴ با استفاده از معماری حافظه کوتاه مدت ماندگار۵ است . در شبکه های عمیق حذف نورونها به صورت عادی در مرحله آموزش اتفاق می افتد، به این صورت که در هر تکرار نورونها به صورت تصادفی انتخاب و حذف می شوند (بر اساس نرخ حذف نورونها در آن لایه ). در این روش علاوه بر حذف نورونها به صورت عادی در فاز آموزش، حذف نورونها با روش نمونه گیری مونت کارلو در زمان آزمایش هم انجام می گیرد. این اقدام باعث می شود به جای تنها یک پاسخ بدون قطعیت نهایی ، از مجموعه پاسخ هایی که مدل به دست می آورد، متوسط گرفت و به عدم قطعیت مدل اطمینان خاطر بخشید. از مزایای دیگر این روش می توان به پویای آن اشاره کرد به این صورت که با حذف نورونها در گذشت زمان معماری مدل تغییر می کند پس می توان نتایج را به عنوان مجموعه ای از چندین شبکه عصبی مشاهده کرد. نتایج حاصل از این پژوهش با بیش از ۸ الگوریتم ماشین لرنینگ و همچنین با خود معماری حافظه کوتاه مدت ماندگار مقایسه شده است که در همه موارد MC-Dropout مونت کارلو دقت بیشتری به دست آورده است .

Keywords:

عدم قطعیت , الگوریتم مونت کارلو , حافظه کوتاه مدت طولانی , پردازش زبان طبیعی , تحلیل احساسات.