تشخیص تعاملات انسان و شیء بر مبنای ویژگی های استخراج شده از داده های عمیق با استفاده از شبکه عصبی سیامی

تشخیص تعامل انسان و شیء (HOI) مجموعه ای از سه تایی های (انسان، شیء، تعامل) از یک تصویر را استخراج می کند. این حوزه، یکی از زمینه های تحقیقاتی رو به رشد در بینایی کامپیوتر است. علاوه بر اطلاعات دو بعدی مانند ظاهر انسان و اشیاء و موقعیت مکانی آن ها، وضعیت سه بعدی به خصوص در پیکربندی بدن انسان می تواند نقش مهمی در یادگیری تعاملات میان انسان و شیء داشته باشد. در این مقاله، مشخصه های بصری انسان ، زمینه و شیء که به ترتیب از وضعیت های انسانی و پیکربندی های فاصله ای انسان و شیء به دست می آید، استخراج می شود. علاوه بر این، یک شبکه سیامی برای یادگیری ویژگی های ساختاری جفت های انسان- شیء استفاده می شود. شبکه سیامی بهبود یافته برای استخراج ویژگی های مشابه هدف، از ابرهای نقطه پیشنهاد می شود. شبکه سیامی بهبود یافته برای یافتن شباهت دو ورودی و استخراج ویژگی های مربوط به انسان و شیء پیشنهاد شده است این شبکه، توانایی تمایز را برای مرحله دوم که مرحله تشخیص تعاملات است، بهبود می بخشد. ما از یک بازنمایی داده بر اساس نگاشت سه بعد به دو بعد به صورت چند دیدی استفاده می کنیم، سپس از شبکه سیامی برای استخراج ویژگی های مربوط به این نگاشت به همراه جعبه شیء در یک توصیف گر محلی ۳۲ بعدی استفاده می کنیم. نتایج آزمایش ها روی مجموعه داده HICO-DET نشان می دهد که روش ما توانسته است نتیجه تعاملات را بهبود بخشد و معیار mAP را نسبت به روش DJ-RN به میزان ۷۸/۲ افزایش دهد

Keywords:

تعامالت انسان و شیء , مشخصههای سه بعدی , شبکه سیامی , توانایی تمایز , نگاشت سه بعدی به دو بعدی