بررسی جایگاه نام ترنسفورمر Transformer در هوش مصنوعی و یادگیری عمیق

Publish Year: 1403
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 48

This Paper With 18 Page And PDF Format Ready To Download

  • Certificate
  • من نویسنده این مقاله هستم

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این Paper:

شناسه ملی سند علمی:

ICECM08_006

تاریخ نمایه سازی: 7 مهر 1403

Abstract:

مدل های پیشرو در تبدیل دنباله بر اساس شبکه های عصبی عمیق بازگشتی یا کانولوشنی پیچیده ساختهمی شوند که شامل یک رمزگذار و یک رمزگشا هستند . بهترین مدلها هم رمزگذار و رمزگشا را ازطریق مکانیسم توجه به هم متصل می کنند. ما یک ساختار شبکه جدید و ساده به نام ترنسفورمر(Transformer) را ارائه می دهیم که فقط بر مکانیسم های توجه (attention mechanisms)استوار است و دیگر از بازگشت و کانولوشن استفاده نمیکند. آزمایش ها انجام شده روی دو وظیفهترجمه ماشینی نشان می دهند که این مدلها علاوه بر برخورداری از کیفیت بالاتر، قابلیت همزمان سازیبیشتری دارند و زمان آموزش را نیز به طور قابل توجهی کاهش می دهند. مدل ما با دست یافتن بهBLEU برابر با ۴.۸۲ در وظیفه ترجمه انگلیسی به آلمانی WMT ۲۰۱۴ ، عملکرد این کار را نسبتبه بهترین نتایج موجود، از جمله نتایج حاصل از مدل های ترکیبی، بیشتر از ۴ BLEU ارتقا می دهد

Authors

محمدعرب انواری

فارغ التحصیل مقطع کارشناسی مهندسی مکانیک دانشگاه تبریز