تخمین توابع غیرخطی بر پایه شبکه های عصبی با آموزش گردایان مرتبه اول و دوم

الگوریتم گرادیان نزولی پایه بسیاری از الگوریتم های بهینه سازی است و از آن در یادگیری شبکه های عصبی و حداقل سازی مقدار خطای شبکه برای تنظیم پارامتر های شبکه استفاده می شود. دسته وسیعی از تحقیقات برای افزایش سرعت این الگوریتم در آموزش شبکه های عصبی چندلایه پیشرو انجام شده است؛ که از نتایج آن می توان به انواع روش های گرادیان مرتبه اول و دوم اشاره کرد. این مقاله ی مروری به جزئیات دقیق این روش ها نمی پردازد؛ بلکه هدف آن مشخص کردن ویژگی های اصلی این روشها و ارتباطشان است. در این گزارش ، از چهار روش گرادیان مرتبه اول و سه روش مرتبه دوم برای چهار تابع استاندارد جهت تخمین استفاده شد. در بین روش های گرادیان مرتبه اول ، همگرایی سریعتر در روش RPROP و در روش های مرتبه دوم در الگوریتم لونمارکوت (LM) دیده شد. واضح است که روش های مرتبه اول حجم محاسبات کمتری دارند و مقدار فضای کمتری نیاز دارند؛ در عوض برای بسیاری از مسائل بزرگ قابل استفاده نیستند.

Keywords:

تخمین توابع , شبکه عصبی چند لایه پشرو , گرادیان مرتبه اول و دوم