شبکه مولد تخاصمی چند توجه نظارت نشده برای ترجمه تصویر به تصویر

در این مقاله یک روش جدید برای ترجمه تصویر به تصویر نظارت نشده ارائه شده است که شامل دو ماژول توجه جدید و یک تابع نرمال سازی قابل یادگیری به صورت سر به سر است. ماژول توجه داخلی، مدل را راهنمایی می کند تا بین مناطق مهمتر بین حوزه منبع و هدف تمایز قائل شود. ابتدا به صراحت اطلاعات معنایی و نتایج اولیه درشت حاصل می شود، سپس با استفاده از مکانیسم توجه چند کاناله نتایج اولیه اصلاح می شود. علاوه بر این نقشه های عدم قطعیت به طور خودکار از نقشه های توجه آموخته می شود تا برای بهینه سازی بهتر شبکه استفاده شود. برخلاف روش های قبلی توجه که نمی تواند تغییرات هندسی بین حوزه ها را کنترل کند مدل ما می تواند تصاویری که نیاز به تغییرات جامع دارند و تصاویری که نیاز به تغییرات بزرگ دارند را ترجمه کند و منجر به حفظ همزمان سبک و محتوا گردد. همچنین با استفاده از توجه مجزا، از تغییرات شدید پسزمینه جلوگیری می کند و منجر به کیفیت بهتر پس زمینه و تصویر می شود. درنهایت با ترکیب نقاط قوت چند روش برگزیده یک شبکه مولد با قابلیت بهتر ارائه شده است. مدل ترکیبی منجر به حفظ محتوا و اعمال تغییرات هندسی می گردد. با استفاده از ترکیب ۷ تابع اتلاف معرفی شده در این روش ها به آموزش قدرتمند مدل پرداخته شده است. آزمایش هایی بر روی مجموعه داده های ارائه شده در pix۲pix با استفاده از معیارهای ارزیابی KID,FID,IS انجام شد نشان می دهد مدل ما قادر به تولید نتایج بهتری نسبت به روش های موجود است.

Keywords:

ترجمه تصویر به تصویر , توجه چندکاناله , انتقال سبک , انتقال محتوا