ارائه روشی برای تولید sparsity در شبکه های عصبی کانولوشنی به منظور فشرده سازی ساختار شبکه و عملیات کانولوشن

شبکه های عصبی امروزه با دستیابی به عملکردی مطلوب و رشدی چشم گیر به یکی از رایج ترین الگوریتم های برای استفاده در برنامه های تشخیص تصویر، تشخیص گفتار و پردازش زبان های طبیعی تبدیل شده اند. با این حال، معماری های شبکه عصبی کانولوشنی بسیار عمیق و حجیم هستند و بار محاسباتی زیادی را به وجود می آورند که پیاده سازی های نرم افزارهای را دچار مشکل می کند. از این رو، استفاده از سخت افزارهایی مانند GPU در این حوزه امری رایج است. اما این موضوع باعث ایجاد هزینه بالا در محصول نهایی و حتی قابل استفاده نبودن در بسیاری از کاربردها مانند سیستم های نهفته و سیستم های کم توان می شود. در سال های اخیر استفاده کردن از FPGA برای پیاده سازی معماری های خاص شبکه عصبی کانولوشنی با رویکردهای مختلفی همچون فشرده سازی شبکه، افزایش توان محاسباتی وکاهش توان مصرفی انجام شده است. هدف این مقاله ارائه راهکاری برای تولید مقادیر صفر بیشتر در شبکه به منظور فشرده سازی و استفاده از ماتریس های اسپارس برای ذخیره سازی ساختار شبکه است. که در نتیجه، با تاثیر کمتر از 1% روی دقت بالای تولید 96% صفر در وزن های شبکه LeNet5 و بیش از 94% برای شبکه AlexNet شده است.همچنین انجام عمیات کانولوشن روی داده های فشرده تا 95% محاسبات در لایه کانولوشن را کاهش داده است.

Keywords:

یادگیری عمیق , شبکه عصبی کانولوشنی , فشرده سازی , ماتریس اسپارس