یادگیری عمیق ویژگی های مکانی-زمانی برای بازشناسی کنش های انسانی در ویدیو

در این مقاله برای یادگیری ویژگی های مکانی-زمانی و به منظور بازشناسی کنش های انسانی از روی توالی های ویدیویی، یک مدل سلسله مراتبی و عمیق بدون ناظر پیشنهاد شده است. در بلوک سازنده این مدل سلسله مراتبی، دو معیار تنک بودن و کند بودن ، به عنوان تنظیم کننده در یک تابع هدف با یکدیگر ترکیب شده اند. همچنین محدودیت متعامدسازی نرمال نیز با شرط بازساخت جایگزین شده است که این جایگزینی امکان یادگیری بازنمایش های بیشتر از کامل و همچنین سریعتر شدن فرآیند بهینه سازی، به خصوص در مورد داده های با ابعاد بالا مانند توالی های ویدیویی را فراهم می آورد. سپس برای یادگیری ویژگی های سطح بالا، این بلوک سازنده را با تکنیکهای یادگیری عمیق، کانولوشن و پشته ای قرار دادن لایه ها ترکیب می کنیم. بکارگیری این مدل برای استخراج ویژگی های مکانی-زمانی منجر به دقت 5/94 % بر روی پایگاه داده KTH و میانگین متوسط صحت ، 8/54 % بر روی پایگاه داده Hollywood2 شده است که بهبود کارایی آن نسبت به معیار تنک بودن، به ترتیب 3% و 5/1 % و نسبت به معیار کند بودن، به ترتیب حدود 3/1 % و 6% است

Keywords:

بازشناسی کنش های انسانی , پردازش ویدیو , یادگیری عمیق بازنمایش ها , تنک بودن , کند بودن