بررسی و ارزیابی الگوریتم های تطبی قدهنده در حل مسئله استنتاج متن

یکی از مهم ترین تمایزهایی که بین انسان و کامپیوتر وجود دارد قدرت تحلیل و استنتاج از داده و دانشی است که اختیار دارند. امروزه کامپیوترها مقدار زیادی فضای نگهداری داده های باارزش و قدرت پردازشی بسیار بالا در اختیار دارند. اگر قدرت استنتاج به کامپیوتری که به این منابع دسترسی دارد، اضافه شود شاید در آینده ای نزدیک بتوان با کمک آنها به تصمیماتی بهتر و جامع تر از تصمیمات امروز انسانی رسید . استنتاج متن یکی از مسائلی است که به فهم کامپیوترها از متن کمک می کند. استنتاج متن جزء مسائل کلاسیک در پردازش زبان طبیعی است. در سال های اخیر راهکار رایج برای حل این مسائل استفاده از روش انتقال دانش از طریق شبکه از پیش آموزش دیده است. درحالی که این روش دقتی مطابق با آخرین پیشرفت های حاصل شده را به همراه دارد اما دارای معایبی است. از جمله این معایب می توان به حجم بالای پارامترهایی که باید یادگیری و نگهداری شوند، هزینه بر بودن یادگیری مناسب این پارامترها و زمان بر بودن آن اشاره کرد. در این مقاله سعی بر این است مسئله استنتاج متن با تکیه بر روش های مبتنی بر تطبیق دهنده ها حل شود که از این طریق هم بتوان از مزایای شبکه های از پیش آموزش دیده بهره برد و هم معایب آن را برطرف کرد. استفاده از این الگوریتم ها در مسئله استنتاج متن این نتیجه را حاصل کرد که تنها با استفاده از ۳.۶ % پارامترهای موجود در شبکه های مبتنی بر مبدل به دقتی بیشتر از آموزش کل پارامترهای شبکه، دست پیدا کرد و دقت شبکه را ۵.۰۷ % افزایش داد .

Keywords:

Adapter , Natural Language Processing , BERT , Natural Language Inference , Deep Learning