طبقه بندی متون با استفاده از الگوریتم های یادگیری ماشین و مدلBERT

طبقه بندی خودکار متون از موارد کاربرد الگوریتم های یادگیری ماشین در بازیابی اطلاعات می باشدکه در حوزه های مختلف پردازش زبان طبیعی از جمله تحلیل های پرکاربرد است . یکی از مشکلات رایج امروزدر علوم کتابخانه ای و علوم کامپیوتری طبقه بندی اسناد است . در طول چندین سال گذشته اسناد متنی دیجیتال به صورت تصاعدی رشد یافته است یکی از نتایج این رشد تصاعدی اهمیت پیدا کردن دسته بندی اسناد بر اساس محتوا می باشد. در این تحقیق عملکرد مدلBERT و یادگیری عمیق در مقایسه با سایر الگوریتم های یادگیری ماشین بر روی دو مجموعه داده BBC news summery و Consumer Complaint Database مورد بررسی قرار گرفته است . نتایج آزمایش ها انجام شده حاکی از آن است که عملکرد الگوریتم های یادگیری عمیق در مجموعه ای با داده های کلان دقت بهتر و زمان آموزش بیشتری داشتند ولی با ارزیابی معیار دقت در مجموعه داده کوچک ، الگوریتم های سنتی یادگیری ماشین عملکرد بهتری داشتند.

Keywords:

یادگیری ماشین , پردازش زبان طبیعی , یادگیری عمیق , طبقه بندی اسناد , مدل BERT