به سوی تحمل پذیری اشکال در شبکه های عصبی عمیق با کمک هرس مدل

افزایش اندازه مدل و تعداد پارامترها در شبکه های عصبی عمیق، از یک سو موجب پیشرفت های زیادی در عملکرد این شبکه ها شده و از سوی دیگر باعث بروز چالش هایی از قبیل افزایش اندازه حافظه میگردد . در هرس مدل، با حذف برخی پارامترهای شبکه، ضمن حفظ دقت مدل، اندازه آن کاهش داده میشود. با به کارگیری این شبکه ها در سیستم های حساس-از-منظر-ایمنی، تاثیر هرس مدل که به طور سنتی با هدف کاهش اندازه شبکه استفاده میشود، بر تحمل پذیری اشکال شبکه ها مورد سوال جدی قرار گرفته است. در این مقاله، به کمک آزمایش های گسترده تزریق اشکال، تحلیل جامعی بر میزان تاثیر روش های مختلف هرس بر تحمل پذیری اشکال شبکه های عصبی عمیق ارائه میشود. مدل اشکال مورد مطالعه، خطاهای نرم واژگونی بیتی است که در حافظه ذخیره ساز وزن های شبکه رخ میدهد و باعث تغییر مقدار وزن های شبکه میگردد. باتوجه به نتایج به دست آمده از آزمایش های متنوع تزریق اشکال بر روی شبکه AlexNet که به روشهای مختلف هرس شده است، میتوان نتیجه گرفت که به طور کلی، هرس کردن مدل باعث بهبود تحمل پذیری اشکال میشود و میتوان از آن به منظور بهبود تحمل پذیری شبکه های عصبی عمیق هم بهره گرفت. از میان روش های مختلف هرس مدل، هرس وزنی بیشترین میزان بهبود تحمل پذیری اشکال را دارد

Keywords:

شبکه های عصبی عمیق , قابلیت اطمینان , خطاهای نرم , فشرده سازی , هرس