بررسی جایگاه نام ترنسفورمر Transformer در هوش مصنوعی و یادگیری عمیق
عنوان مقاله: بررسی جایگاه نام ترنسفورمر Transformer در هوش مصنوعی و یادگیری عمیق
شناسه ملی مقاله: ICECM08_006
منتشر شده در هشتمین کنفرانس بین المللی پژوهش های نوین در مهندسی برق، کامپیوتر، مکانیک و مکاترونیک در ایران و جهان اسلام در سال 1403
شناسه ملی مقاله: ICECM08_006
منتشر شده در هشتمین کنفرانس بین المللی پژوهش های نوین در مهندسی برق، کامپیوتر، مکانیک و مکاترونیک در ایران و جهان اسلام در سال 1403
مشخصات نویسندگان مقاله:
محمدعرب انواری - فارغ التحصیل مقطع کارشناسی مهندسی مکانیک دانشگاه تبریز
خلاصه مقاله:
محمدعرب انواری - فارغ التحصیل مقطع کارشناسی مهندسی مکانیک دانشگاه تبریز
مدل های پیشرو در تبدیل دنباله بر اساس شبکه های عصبی عمیق بازگشتی یا کانولوشنی پیچیده ساختهمی شوند که شامل یک رمزگذار و یک رمزگشا هستند . بهترین مدلها هم رمزگذار و رمزگشا را ازطریق مکانیسم توجه به هم متصل می کنند. ما یک ساختار شبکه جدید و ساده به نام ترنسفورمر(Transformer) را ارائه می دهیم که فقط بر مکانیسم های توجه (attention mechanisms)استوار است و دیگر از بازگشت و کانولوشن استفاده نمیکند. آزمایش ها انجام شده روی دو وظیفهترجمه ماشینی نشان می دهند که این مدلها علاوه بر برخورداری از کیفیت بالاتر، قابلیت همزمان سازیبیشتری دارند و زمان آموزش را نیز به طور قابل توجهی کاهش می دهند. مدل ما با دست یافتن بهBLEU برابر با ۴.۸۲ در وظیفه ترجمه انگلیسی به آلمانی WMT ۲۰۱۴ ، عملکرد این کار را نسبتبه بهترین نتایج موجود، از جمله نتایج حاصل از مدل های ترکیبی، بیشتر از ۴ BLEU ارتقا می دهد
کلمات کلیدی: شبکه های عصبی ، ترنسفورمر ، یادگیری عمیق ، هوش مصنوعی
صفحه اختصاصی مقاله و دریافت فایل کامل: https://civilica.com/doc/2088132/