بکارگیری آموزش تقویتی گسسته در فضای پیوسته با استفاده از ایده گسسته سازی تطبیقی

از آنجا که فضای حالت و عمل در آموزش تقویتی استانداردگسسته است، در بکارگیری آموزش تقویتی در مسائل با فضای حالت وعمل پیوسته لازم است که فضای حالت و عمل گسسته سازی شو ند.گسسته سازی نرم منجر به افزایش ابعاد فضای حالت و مشکلات منتجه از آن همچون کندی سرعت آموزش و تنگنای ابعاد می شود . در این مقاله یک راهکار جدید به نام گسسته سازی تطبیقی بر روی فضای عمل در آموزش تقویتی ارائه می شود. ایده مطرح شده از گسسته سازی با فواصل کوچک در کل فضا که منجر به افزایش سایز مجموعه عملها می گردد جلوگیری کرده و با کاوش های متوالی، دامنه مناسب برای گسسته سازی را می یابد. گسسته ساز یهای هوشمند و پی در پی ضمن جلوگیری از افزایش تعداد مجموعه عملها، منجر به یافتن مقدار بهینه عمل در هر حالت می شو د. لذا ضمن ثابت ماندن تعداد عملها درهرحالت، یک مقدار نزدیک به بهینه برای هرحالت پیدا می شود . ایده ارائه شده در الگوریتم آموزش کیو (Q_learning) در دو محیط قطعی و تصادفی بکار رفته و مورد تحلیل قرار می گیرد.

Keywords:

آموزش تقویتی , گسسته سازی تطبیقی , آموزش کیو