استفاده از یادگیری عمیق پیش آموز در پردازش زبان طبیعی

در سال های اخیر، با توسعه ی سریع یادگیری عمیق، استفاده از تکنیک های پیش آموز در پردازش زبان طبیعی پیشرفت زیادی داشته اند. زمینه های پردازش اولیه ی زبان طبیعی مدت هاست که از روش های برداری کلمه ای و برداری برای کدگذاری متن استفاده می کنند. بااین حال این روش ها که به دامنه وابسته نیستند، یک دروش حساس به متن را پیشنهاد داد که می تواند به طور موثری با مشکل کلمات چند همسانی مقابله کند. پس از آن، مدل های پیش آموز دیگری مانند BERT,GPT نیز ارائه شده اند. در میان آن ها، مدل BERT به طور قابل توجهی کارایی بسیاری از کارهای پایین دستی را بهبود بخشیده و توانایی پردازش زبان طبیعی را ارتقا داده است. در همین راستا، فناوری های پیش آموز پویا مانند BERT و XLNET نیز به تدریج معرفی شده اند به طوری که امروزه فناوری های پیش آموز به یک جریان اصلی ضروری در زمینه ی پردازش زبان طبیعی تبدیل شده اند. این مقاله ابتدا به تشریع فناوری یادگیری پیش آموز و تاریخچه ی توسعه ی آن پرداخته و سپس به تفصیل به معرفی تکنیک های کلاسیک آن در زمینه ی پردازش زبان طبیعی، از جمله تکنیک های اولیه ی ایستا و پویا می پردازد. در انتها، مشکلات پیش روی این نوع از یادگیری نیز مورد بحث و بررسی قرار می گیرد.

Keywords:

پردازش زبان طبیعی , یادگیری عمیق , یادگیری پیش اموز , بردار کلمات , مدل زبان