کوانتیزاسیون چند رقمی ترنری جهت بهبود تنکی و محاسبات شبکه های عصبی عمیق در کاربردهای نهفته

شبکه های عصبی عمیق به دلیل موفقیت در کاربردهای مختلف، به جذابیت فوق العاده ای دست یافته اند. اما پیچیدگی محاسبات و حجم حافظه از موانع اصلی برای پیاده سازی آن ها در بسیاری از دستگاه های نهفته تلقی می شود. از مهم ترین روش های بهینه سازی که در سال های اخیر برای برطرف نمودن این موانع ارائه شده، می توان به کوانتیزاسیون و هرس کردن اشاره کرد. یکی از روش های معروف کوانتیزاسیون، استفاده از نمایش اعداد چندرقمی باینری است که علاوه بر بهره بردن از محاسبات بیتی، افت صحت شبکه های باینری را در مقایسه با شبکه های دقت کامل کاهش می دهد. اما به دلیل نداشتن قابلیت نمایش عدد صفر در آن ها، مزایای تنکی داده ها را از دست می دهند. از طرفی، شبکه های عصبی عمیق به صورت ذاتی تنک هستند و با تنک کردن پارامترهای شبکه عصبی عمیق، حجم داده ها در حافظه کاهش می یابد و همچنین به کمک روش هایی می توان انجام محاسبات را تسریع کرد. در این مقاله می خواهیم هم از مزایای کوانتیزاسیون چند رقمی و هم از تنکی داده ها بهره ببریم. برای این منظور کوانتیزاسیون چند رقمی ترنری برای نمایش اعداد ارائه می دهیم که علاوه بر افزایش صحت شبکه نسبت به شبکه چندرقمی باینری، قابلیت هرس کردن را به شبکه می دهد. سپس میزان تنکی در شبکه کوانتیزه شده را با استفاده از هرس کردن افزایش می دهیم. نتایج نشان می دهد که تسریع بالقوه شبکه ما در سطح بیت و کلمه می تواند به ترتیب ۱۵ و ۴۵ برابر نسبت به شبکه چند رقمی باینری پایه افزایش یابد.

Keywords:

شبکه های عصبی عمیق , کوانتیزاسیون چند رقمی ترنری , شبکه عصبی تنک , هرس کردن , دستگاه های نهفته