ارائه یک روش دو جریانه مبتنی بر ویژگی های مکمل سنتی و عمیق برای تشخیص فعالیت انسان در ویدئو

تشخیص فعالیت انسان، امروزه به ­عنوان یک حوزه مهم در کاربردهای مختلفی مورد استفاده قرار گرفته است و مورد توجه بسیاری از محققان حوزه بینایی ماشین است تا بتوانند فعالیت اجرا شده در یک ویدئو را با دقت بالا طبقه ­بندی نمایند. در این مقاله یک روش دو جریانه با ساختاری جدید معرفی می­گردد که از دو ویژگی­ مکانی در هر دو جریان استفاده می­کند به­ گونه ­ای که این ویژگی­ها بتوانند به پوشش نقاط ضعف همدیگر بپردازند. استفاده از این ساختار در نهایت می­تواند به صورت دقیق­تری منجر به پیش­بینی برچسب فعالیت شود. در جریان اول ضرایب موجک با چندریزگی مناسب و در جریان دیگر ویژگی­های عمیق از قاب­ها استخراج می­شوند. ویژگی­های حاصل در دو نقشه ویژگی­های مکانی قرار می­گیرند و با استفاده از یک شبکه عمیق جدید تغییرات زمانی در نقشه­ها یاد گرفته می­شوند و با ترکیب اطلاعات طبقه بندی دو جریان برچسب نهایی تعیین می­گردد. دقت روش پیشنهادی روی ۳ مجموعه داده واقعی UCFYT، UCF-Sport، و JHMDB برابر با ۹۸.۷، ۹۹.۸۳ و ۹۲.۸۶ بوده که عملکرد روش به طور میانگین نسبت به بهترین روش معرفی شده قبلی ۴.۶ درصد بهتر است.