استفاده از ویژگی های دست ساز اسکلت سه بعدی بدن انسان برای شناسایی خودکار عمل انسان در ویدئو

در این مقاله هدف شناسایی فعالیت های روزمره انسان به طور خودکار میباشد و برای شناسایی اعمال انسان از سنسورهای عمق استفاده می کند. که می تواند در سیستم های جاسازی شده استفاده شود. روش پیشنهادی در این مقاله با استفاده از استخراج دو دسته از ویژگی ها از اطلاعات مفاصل کار خود را پیش می برد. اولین دسته ویزگی تصاویر تاریخچه حرکت از اسکلت دودویی و دیگری که پیشنهاد ما می باشد، فاصله نسبی مفاصل از پنج مفصل مرجع از اسکلت انسان در نظر گرفته شده است. سپس شناسایی اعمال با استفاده از شبکه ۳D - DCNN فراهم می شود. با در نظر گرفتن مفصل ناحیه سر به عنوان مفصل مرجع پنجم توانستیم موفقیت بیشتری در اعمالی که توسط دست و در ناحیه سر انجام می شود مانند آب خوردن و مسواک زدن و اعمالی که مفاصل ناحیه دست نسبت به مفصل ناحیه سر در موقعیتهای متفاوت تری قرار می گیرد مانند پرتاب کردن و هل دادن یا برداشتن کسب نماییم. تمامی آموزش ها و آزمایشات با استفاده از مجموعه داده های UTKinect و CAD۶۰ انجام شده است که منجر به نرخ صحت بالاتری نسیت به دیگر همتایان خود شد. دیتاست CAD۶۰ شامل اعمالی است که در ناحیه سر انجام می شود و مفاصل دست در آن نقش بیشتری دارند نرخ صحت ۲% افزایش یافت.

Keywords:

شناسایی اعمال انسان , مفاصل اسکلت , یادگیری عمیق , ویژگی های دست ساز , شبکه کانوولوشن , سیستم های نظارتی.