توسعه منطق خودتطبیقی سیستم های خودتطبیق به کمک یادگیری تقویتی عمیق

یک سیستم خودتطبیق می تواند ساختار و رفتار خود را در زمان اجرا، بر اساس درکش از محیط و از خودش و نیازمندی هایش، اصلاح کند. یکی از عناصر کلیدی در توسعه این سیستم ها، منطق خودتطبیقی آن است که زمان و نحوه تطبیق سیستم را رمزگذاری می کند. هنگام توسعه منطق تطبیق، مهندسان با چالش عدم قطعیت زمان طراحی مواجه اند. برای تعریف زمان تطبیق سیستم، باید تمام حالات محیطی بالقوه را پیش بینی کنند. پیش بینی تمام تغییرات محیطی بالقوه اغلب به دلیل اطلاعات ناقص در زمان طراحی، غیرممکن است. یادگیری تقویتی برخط، با یادگیری اثربخشی عملیات تطبیق، از طریق تعامل سیستم با محیط در زمان اجرا، مشکل عدم قطعیت زمان طراحی را برطرف، و توسعه منطق خودتطبیقی را بطور خودکار درمی آورد. عناصر یادگیری تقویتی، در حلقه MAPE-K سیستم های خودتطبیق ادغام می شود.روشهای یادگیری تقویتی برخط موجود در سیستم های خودتطبیق، دانش آموخته شده را در قالب تابع ارزش نمایش می-دهند و دو نقص دارند که درجه خودکارسازی و توسعه را محدود می کند: ۱- نیازمند تنظیم دقیق نرخ اکتشاف بصورت دستی هستند ۲- برای تقویت توسعه پذیری، ممکن است نیاز به کمی سازی حالت های محیط به صورت دستی باشد. در این مقاله برای خودکارسازی فعالیت های فوق از یادگیری تقویتی عمیق، استفاده شد. در این یادگیری، دانش در قالب یک شبکه عصبی، در وزن های شبکه عصبی پنهان است. نتایج آزمایشات از سرعت همگرایی بالای یادگیری حکایت دارد.

Keywords:

یادگیری تقویتی عمیق , عدم قطعیت , منطق خود تطبیق , سیستم خودتطبیق