ادغام تصاویر مادون قرمز و مرئی با استفاده از معماری چندمقیاسی عمیق

ادغام تصویر یک تکنیک مهم در پردازش تصویر با هدف تولید یک تصویر واحد حاوی ویژگی های برجسته و اطلاعات تکمیلی از تصاویر منبع، با استفاده از روش های استخراج ویژگی مناسب و استراتژی های ادغام است. در سال های اخیر، روش های مبتنی بر یادگیری عمیق، پتانسیل بسیار زیادی را در کاربردهای ادغام تصویر نشان داده اند و پژوهشگران متعددی در تلاش هستند، با استفاده از روش های یادگیری عمیق، کیفیت مطلوب تری از تصویر ادغام شده را ارائه کنند. در این پژوهش، شبکه عصبی پیچشی چندمقیاسی، جهت ادغام تصاویر مرئی و مادون قرمز به نام، MSCNN-VIF پیشنهاد شده است که در آن، ویژگی ها و اطلاعات مختلف موجود در تصاویر، با استفاده بلوک های پیچشی ادغام می شود. علاوه براین، مدل پیشنهادی، شامل معماری چندمقیاسی(MS)، برای اسکن بهتر قسمت های مختلف تصویر است که هدف اصلی آن ها بهبود عملکرد سامانه ادغام تصویر پیشنهادی است. به طورکلی، مدل پیشنهادی، از یک رمزگذار و یک رمزگشا تشکیل شده است و شامل سه بخش اصلی: استخراج ویژگی، ادغام و بازسازی تصویر مرئی و تصویر مادون قرمز است. در این روش، تصاویر مادون قرمز و مرئی به رمزگذار داده می شود و نگاشت های پس زمینه و جزئیات نگاشت های ویژگی تولید می گردد. سپس، شبکه دو نوع لایه را در امتداد کانال ها به هم متصل می-کند. در نهایت، نگاشت های ویژگی به هم پیوسته از رمزگشا عبور می کنند تا تصویر اصلی بازیابی شود. متفاوت از مرحله آموزش، در مرحله آزمایش، یک لایه ادغام قرار می گیرد که نگاشت های پس زمینه و ویژگی های جزئیات را به طور جداگانه ادغام می کند. همچنین، روش پیشنهادی برروی سه پایگاه داده شناخته شده و در دسترس، آزمایش شده است. نتایج به دست آمده نشان می دهد که روش پیشنهادی عملکرد بهتری براساس معیارهای ارزیابی مختلف، نسبت به روش های دیگر از خود نشان داده است.

Keywords:

ادغام تصاویر , یادگیری عمیق , شبکه های عصبی پیچشی , چندمقیاسی , رمزگذار , رمزگشا