شناسایی صحنه، مبتنی بر همجوشی در دادگان جدید چندطیفی (مرئی-فروسرخ) و شبکه های پیچشی ژرف، با رویکرد یادگیری

 در دهه ­های اخیر، تکنیک­های مختلفی در حوزه بینایی کامپیوتر، برای طبقه­ بندی و شناسایی صحنه­ ها در فضاهای مختلف، بر روی تصاویر طیف مرئی ارائه شده است. در این مقاله، ابتدا یک پایگاه داده تصویری چند طیفی، شامل زوج تصاویر طیف مرئی رنگی  و فروسرخ  ایجاد می­شود. سپس با تجزیه تصاویر طیف مرئی و فروسرخ، به وسیله تبدیل موجک  و استفاده از یک روش وزن­ دهی مبتنی بر آموزش شبکه ­های عصبی پیچشی ژرف، همجوشی تصاویر انجام می­شود. همچنین این رویکرد، با چندین روش همجوشی دیگر و با استفاده از معیارهای ارزیابی کمی، مقایسه می­شود. در نهایت، با استفاده از معماری­های مبتنی بر شبکه ­های عصبی پیچشی ژرف  آموزش دیده­، تصاویر صحنه­ های مختلف، طبقه­ بندی می­شوند. برای آموزش این شبکه­ ها بر روی مجموع تصاویر این پایگاه داده کوچک، از رویکرد یادگیری انتقالی، استفاده می­شود تا طبقه­ بندی صحنه، با کمترین هزینه محاسباتی انجام گیرد. نتایج تجربی نشان می­دهند که روش پیشنهادی، در طبقه­ بندی صحنه، که به صورت همجوشی تصاویر چهارکاناله (RGB-IR) صورت گرفته است، کارآمد بوده و ضمن داشتن معیارهای کمی همجوشی بالاتر، منجر به عملکرد بهتر، در مقایسه با سایر رویکردهای همجوشی تصاویر چندطیفی و با دقت طبقه ­بندی ۹۶.۶۷% می­شود.

Keywords:

شناسایی صحنه , تصاویر چندطیفی , همجوشی , شبکه های عصبی پیچشی ژرف , یادگیری انتقالی , تبدیل موجک