تشخیص مفهوم حرکات دست با استفاده از توصیف گر (زمینه شکل) جهت استفاده در موشواره مجازی

تشخیص حرکات دست مبتنی بر بینایی ماشین به عنوان راهی کارآمد جهت ایجاد ارتباط انسان و کامپیوتر شناخته می‌شود که شبیه‌سازی موش وارد با دست یکی از نمودهای آن می‌باشد. در این مقاله یک روش مبتنی بر توصیف گر زمینه شکل برای بازشناسی حرکات دست پیشنهاد می‌گردد. برای این منظور از یک دستکش سفید که سر انگشتان دارای پنج رنگ متفاوت است استفاده می‌کنیم. بر اساس کارکردهای موش وارد، 11 حرکت دینامیک تعریف می‌گردد. در هر فریم با استفاده از روش‌های GMM و Optical Flow دست را ردیابی کرده و سپس منحنی خط سیر سر انگشتان را پیدا می‌کنیم و برآیند حاصل از این پنج خط سیر را نیز محاسبه می‌کنیم. جهت استخراج اطلاعات از منحنی‌ها از توصیف گر (زمینه شکل) الهام گرفته شده است. ابتدا هر هفته سیر را نرمالیزه کرده و سپس هیستوگرام بردار منتج از منحنی نرمالیزه شده را در یک نمودار لگاریتمی - قطبی محاسبه می‌کنیم. به این ترتیب سده 12 ویژگی برای شش منحنی (یعنی 672 ویژگی) به دست می‌آید. با استفاده از گاز به حرکت ترغیب شده، پایگاه داده‌ای شامل 220 مشاهده تشکیل داده و با کمک آنالیز مؤلفه‌های اصلی ابعاد ویژگی‌ها را تا عدد 10 (با نرخ بازشناسی بسیار خوب) کاهش دادیم. برای کلاس بندی، طبقه‌بندی های KNN ،LDA ،SVM Naive Bayes را به کار بردیم که در پی سنجش میزان خطای تعمیم آب پایگاه داده، نرخ بازشناسی صحیح تا 99/5 در صد به دست آمد.

Keywords:

حرکت و اشاره دست , ردیابی دست , زمینه شکل , اسپیلاین مکعبی , بازشناسی , آنالیز مؤلفه اصلی , طبقه بندی حرکت