ارایه ی بازنمایی جدید برای شناسایی فعالیت های انسانی در ویدیو با استفاده از نقشه ی برجستگی

امروزه با توجه به گسترش سریع دوربین ها و داده های ویدیویی در تمامی جوانب زندگی، درک و استخراج اطلاعات ازتصاویر و ویدیوها از اهمیت به سزایی برخوردار شده است. در دهه های اخیر، محققین زیادی به ارایهی الگوریتم هاییبرای تجزیه وتحلیل محتوایی این داده ها برای کاربردهای مختلف پرداخته اند. این مسیله زمینه ی توسعه ی روشهایی کهتوانایی شناسایی فعالیتهای رخ داده در یک توالی ویدیویی را دارند، فراهم ساخته است. در این مقاله نیز مسیله یشناسایی فعالیتهای انسانی با ارایه ی روشی جدید برای بازنمایی ویدیو مورد بررسی قرار گرفته است. با استفاده یهمزمان از اطلاعات ظاهری و حرکتی درون ویدیو، روشی برای استخراج نواحی بالقوه ی رخداد فعالیت ارایه شده، کهتوانایی استخراج مناطق پیش زمینه مرتبط با فعالیت را داشته و بازنمایی جدیدی ارایه شده که می تواند از این اطلاعات درترکیب با اطلاعات و ساختار کلی پس زمینه، با میزان اهمی تهای متفاوت استفاده کند. در مدل پیشنهادی برای شناساییفعالیت، از یک معماری دو جریانه از شبکه های عصبی پیچشی (CNN) برای اطلاعات مکانی و زمانی، به منظور استخراج ویژگی های فریمی، استفاده شده و سپس این ویژگیها برای ادغام بهینه با در نظر گرفتن روابط زمانی، برای تولید بازنمایی نهایی ویدیو و برچسبزنی، در اختیار یک شبکه ی حافظه ای طولانی کوتاه-مدت (LSTM) قرار می گیرند. برای ارزیابی مدل پیشنهادی از مجموعه داده ی معتبر و چالشی jHMDB استفاده شده و نشان خواهیم داد که روش پیشنهادی توانسته از دقت بهتری نسبت به سایر روشهای موجود بر روی این مجموعه داده برخوردار باشد.

Keywords:

شناسایی فعالیت , حرکت , اطلاعات پیش زمینه , شبکه های عصبی پیچشی , نقشه ی برجستگی