بررسی جایگاه نام ترنسفورمر Transformer در هوش مصنوعی و یادگیری عمیق

مدل های پیشرو در تبدیل دنباله بر اساس شبکه های عصبی عمیق بازگشتی یا کانولوشنی پیچیده ساختهمی شوند که شامل یک رمزگذار و یک رمزگشا هستند . بهترین مدلها هم رمزگذار و رمزگشا را ازطریق مکانیسم توجه به هم متصل می کنند. ما یک ساختار شبکه جدید و ساده به نام ترنسفورمر(Transformer) را ارائه می دهیم که فقط بر مکانیسم های توجه (attention mechanisms)استوار است و دیگر از بازگشت و کانولوشن استفاده نمیکند. آزمایش ها انجام شده روی دو وظیفهترجمه ماشینی نشان می دهند که این مدلها علاوه بر برخورداری از کیفیت بالاتر، قابلیت همزمان سازیبیشتری دارند و زمان آموزش را نیز به طور قابل توجهی کاهش می دهند. مدل ما با دست یافتن بهBLEU برابر با ۴.۸۲ در وظیفه ترجمه انگلیسی به آلمانی WMT ۲۰۱۴ ، عملکرد این کار را نسبتبه بهترین نتایج موجود، از جمله نتایج حاصل از مدل های ترکیبی، بیشتر از ۴ BLEU ارتقا می دهد

Keywords:

شبکه های عصبی , ترنسفورمر , یادگیری عمیق , هوش مصنوعی