استفاده از مکانیزم توجه بر روی داده های اسکلتی با ساختار گرافی، برای تشخیص حرکت انسان مبتنی بر چند نما

سیستم های تشخیص حرکت انسان به دلیل کاربردهای زیاد، از جمله نظارت تصویری، بازیابی تصاویر و تعامل انسان با رایانه، به یکی از حوزه های مهم در بینایی ماشین تبدیل شده اند. تحقیقات صورت گرفته در زمینه ی تشخیص حرکت انسان نشان داده که داده های اسکلتی به نسبت سایر داده ها از مقاومت زیادی در برابر تغییرات پس زمینه و تغییرات نماهای دوربین برخوردار هستند. از این رو استفاده از داده های اسکلتی برای تشخیص حرکت، به یک حوزه ی مهم در دهه ی گذشته تبدیل شده است.در سال های اخیر، استفاده از کانولوشن گرافی برای تشخیص حرکت مبتنی بر داده های اسکلتی به نتایج قابل قبولی دست یافته اند، اما بسیاری از این روش ها فقط از اطلاعات محلی هر مفصل استفاده کردند و از اطلاعات ضمنی بین مفاصل غافل می شدند. از آنجایی که یک حرکت، دارای تغییرات زمانی زیادی می باشد، لذا برای توصیف یک حرکت باید همبستگی های بین حوزه های مکانی و زمانی تحلیل شوند. در این مقاله، شبکه ای به نام AT-AR پیشنهاد شده است، که از کانولوشن مکانی-زمانی و ماژول توجه برای یادگیری همبستگی های بین مفاصل در فریم های زمانی مختلف استفاده می کند، تا عملیات تشخیص حرکت به درستی انجام پذیرد. استفاده از این شبکه بر روی مجموعه داده ی NTU RGB+D به دقت ۹۶.۰ درصدی دست یافته است.

Keywords:

تشخیص حرکت انسان , داده اسکلتی , مکانیسم توجه , شبکه کانولوشن گرافی , یادگیری عمیق.