تحلیل و مقایسه ۲۱ قید محدودسازی در الگوریتم گرادیان نزولی اتفاقی به روش کرنل
Publish place: Journal of Iranian Association of Electrical and Electronics Engineers، Vol: 19، Issue: 3
Publish Year: 1401
نوع سند: مقاله ژورنالی
زبان: Persian
View: 173
This Paper With 8 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
این Paper در بخشهای موضوعی زیر دسته بندی شده است:
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
JR_JIAE-19-3_015
تاریخ نمایه سازی: 16 مهر 1401
Abstract:
مقیدسازی الگوریتم گرادیان نزولی باهدف آموزش شبکه عصبی با وزنهایی محدودشده در کاربردهایی نظیر شفاف سازی شبکه، کاهش حجم شبکه ازنظر ذخیره سازی و افزایش سطح عمومیت پذیری آن موثر است. همچنین می تواند در افزایش سرعت همگرایی، سرعت استنتاج و یافتن جوابی بهینه نیز مناسب باشد. در این نوشتار با استفاده از ترفند کرنل به عنوان روشی برای تحمیل انواع قیود بر الگوریتم آموزش، تعداد ۲۱ قید مختلف با یکدیگر مقایسه شده است که تعداد ۱۶ قید آن با الهام از عدم قطعیت موجود در شبکه های عصبی زیستی برای اولین بار در این مقاله ارائه شده است. مقایسه قید ها بدون هیچ گونه افزایش داده و منظم سازی، صورت گرفته است تا اثر قید ها بر فرآیند بهینه سازی واضح باشد. به منظور ارزیابی، برای هر قید در حل مسائل طبقه بندی MNIST، CIFAR-۱۰ و CIFAR-۱۰۰ با شبکه های عصبی عمیق مختص آن، ۶۳ آزمایش شبیه سازی شده است. نتایج نشان می دهد هر قید در هر مجموعه داده تاثیر متفاوتی بر فرآیند آموزش دارد و به طور مشخص قیدهای پیشنهادی که از عدم قطعیت حاضر در شبکه های عصبی زیستی الهام گرفته شده است، میتواند بهتر از قیدهای ارائه شده در تحقیقات پیشین باشد و باعث بهبود عملکرد شبکه عصبی عمیق ازنظر دقت طبقه بندی شود.
Keywords:
Authors
حسین علی غیاثی راد
Department of Computer Engineering, Science & Research Branch, Islamic Azad University
مهدی علیاری شوره دلی
Faculty of Electrical Engineering, Department of Mechatronics Engineering, Industrial Control Center of Excellence, APAC Research Group, K. N. Toosi University of Technology
فائزه فریور
Department of Computer Engineering, Science & Research Branch, Islamic Azad University
مراجع و منابع این Paper:
لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :