ویژگی های آگاه به محتوا برای قطعه بندی معنایی تصویر

قطعه ­بندی معنایی تصویر مبتنی بر شبکه­­ های عصبی عمیق، از رویکردهای مهم محققان بینایی ماشین می باشد. در روش های مبتنی بر شبکه­ های عصبی عمیق، بطور کلی از یک شبکه پایه که برای کاربرد شناسایی تصویر، آموزش دیده است، بمنظور استخراج ویژگی از تصویر استفاده می­شود. از آنجا که ابعاد ویژگی­ های خروجی از این شبکه ­های پایه کوچکتر از تصویر ورودی­ می­ باشد، لذا با اضافه کردن چندین لایه کانولوشنی به انتهای این شبکه­ های پایه، ابعاد ویژگی­های خروجی از این شبکه­ ها را به اندازه ابعاد تصویر ورودی می­رسانند. استفاده از ویژگی­ های­ محلی خروجی از شبکه­ های پایه، بدون در نظر گرفتن ارتباط کلی بین این ویژگی­ های محلی، منجر به قطعه ­بندی ضعیف و ناهموار می ­شود. بر این اساس، در این تحقیق واحدی با نام­ "واحد ویژگی­های آگاه­ به محتوا" پیشنهاد می ­شود. این واحد با کمک ویژگی­ های محلی خروجی از شبکه­ های پایه، ویژگی­ های سطح-تصویر ایجاد می­ کند. واحد­ پیشنهادی را می­توان در معماری ­های مختلف قطعه­ بندی معنایی تصویر قرار داد. در این تحقیق، با اضافه کردن واحد پیشنهادی CAF به معماری های پایه FCN و DeepLab-v۳-plus، به ترتیب معماری های FCN-CAF و DeepLab-v۳-plus-CAF پیشنهاد شده است. بمنظور آموزش معماری های پیشنهادی از دادگان PASCAL VOC۲۰۱۲ استفاده شده است. نتایج آزمایش ها نشان می دهد که معماری های پیشنهادی نسبت به معماری های پایه مربوطه، به ترتیب ۷/۲ و ۸۱/۱درصد بهبود دقت (mIoU) دارد.