بازشناسی کلمات پویای مجزای زبان اشاره فارسی با استفاده از حسگر کینکت

در این مقاله روشی برای بازشناسی زبان اشاره فارسی با استفاده از اطلاعات اسکلتی و فریم های عمق بدست آمده از حسگر کینکت ارائه می شود. ویژگی های استخراج شده شامل ویژگی های مربوط به نوع حرکت دست وویژگی های مربوط به شکل دست می باشند. ابتدا با استفاده از مدل مخفی مارکوف HMM اشاراتی که ویژگی های حرکتی مشابه با اشاره آزمون دارند انتخاب و سپس در مرحله بعد ازمیان اشارات انتخاب شده و با استفاده از طبقه بند ماشین بردار پشتیبان SVM اشاره ای که از لحاظ شکل دست به اشاره آزمون مشابه تر است انتخاب می گردد. در روش ارائه شده محدودیت های ناشی از همپوشانی دو دست و همپوشانی دست و صورت برطرف شده، و نیازی به اعمال محدودیت هایی نظیر پوشیدن لباس آستین بلند ، پوشیدن لباس با رنگ متفاوت با پوست، پس زمینه ثابت و متفاوت با رنگ پوست و ثابت بودن روشنایی محیط نیست. استفاده از روش ارائه شده در شرایط طبیعی و بدون اعمال محدودیت نشان می دهد که این روش قادر است با دقت متوسط 97/25% کلمات پویای مجزای زبان اشاره فارسی را در پایگاه داده ای متشکل از سی کلمه پویا طبقه بندی نماید.

Keywords:

حسگر حرکتی کینکت , زبان اشارهفارسی , ماشین بردار پشتیبان SVM , مدل مخفی مارکوف , HMM همپوشانی occlusion