فشرده سازی شبکه های عصبی عمیق با استفاده از چندی سازی پارامترهای مبتنی بر نواحی غیرهم پوشان و تعداد بیت متغیر

در سال های اخیر استفاده از شبکه های عصبی عمیق در دستگاه های لبه۱ در حوزه های مختلف مانند اتومبیل های خودران، اینترنت اشیاء و تلفن های همراه هوشمند مورد توجه زیادی قرار گرفته است. این شبکه ها برای ذخیره سازی نیازمند حافظه ذخیره سازی انبوه برای انجام محاسبات میباشند؛ در حالی که دستگاه های لبه دارای محدودیت حافظه و توان مصرفی میباشند. لذا یکی از مشکالت اصلی شبکه های عصبی عمیق، فضای ذخیره سازی عظیم می باشد که برای حل این مشکل تکنیک های فشرده سازی شبکه عصبی معرفی شدند. یکی از مهم ترین روش های فشرده سازی شبکه عصبی، چندی سازی پارامتر های شبکه عصبی میباشد. در این مقاله تکنیک چندی سازی با استفاده از نواحی غیرهم پوشان با تعداد بیت متغیر معرفی می شود. در این روش نواحی مختلفی پارامترهای شبکه را براساس توزیع وزن نورون ها ایجاد میکنیم. هر کدام از این نواحی دارای تعداد بیت چندی سازی متغیری میباشند. استفاده از تکنیک پیشنهادی اندازه شبکه عصبی عمیق کاهش چشم گیری مییابد در حالی که دقت شبکه را تغییر نمی دهد. نتایج شبیه سازی نشان می دهد روش پیشنهادی با استفاده از مدل ResNet۵۰ [۱] بر روی مجموعه داده ی ImageNet [۲] به دقت ۷۴.۷۸% دست یافته است، در حالی که اندازه مدل از ۸۱۶ میلیون پارامتر به ۹۶ میلیون پارامتر کاهش یافته است .

Keywords:

یادگیری عمیق , مدل های شبکه عصبی , فشرده سازی شبکه عصبی , چندی سازی شبکه عصبی