کاربرد یادگیری تقویتی در جهت یابی حرکت سرپنتین ربات مارمانند

هدف این مقاله هدایت و کنترل ربات مارمانند با استفاده از یادگیری تقویتی (Reinforcement learning) می باشد. این مقاله به مدل سازی و شبیه سازی ربات مارمانند می پردازد و سپس نتایج آن را روی ربات واقعی پیاده سازی می نماید. در ابتدا معادلات دینامیک یک ربات مارمانند با n عضو (Link) در حرکت سرپنتین (Serpentine Locomotion) با استفاده از روش گیبس-اپل (Gibbs-Appell) به صورت ساده، جامع و کارآمد به دست آمده است. روش ارایه شده در این مطالعه حجم محاسبات برای دینامیک ربات مارمانند را تا حد قابل توجهی نسبت به کارهای پیشین کاهش می دهد. سپس مدل فیزیکی ربات در نرم افزار سیم مکانیک (SimMechanics) مدل سازی گشته و از آن برای تایید معادلات دینامیک استفاده شده است. در این مقاله از یادگیری Q (Q learning) برای آموزش ربات مارمانند و جهت یابی آن استفاده شده است. همچنین تاثیر پارامترهای منحنی سرپنوید و منحنی بدن مار روی سرعت یادگیری بررسی شده است. نتایج نشان می دهند پارامترهای فیزیکی که شکل ربات مار را تغییر نمی دهند، بر روی یادگیری ربات تاثیر محسوسی نمی گذارند. در انتها، نرم افزار شبیه سازی وباتس و ربات مارمانند FUM-Snake II برای تصدیق نتایج حاصل از یادگیری به کار گرفته شده است. نتایج به دست آمده از ربات آزمایشگاهی نشان می دهد که مسیر حرکت این ربات پس از یادگیری به روش Q، با مسیر پیش بینی شده توسط حل دینامیکی پیشنهادی و نتایج شبیه سازی در نرم افزار وباتس همگی دارای مطابقت خوبی می باشند.

Keywords:

ربات مارمانند , روش گیبس-اپل , یادگیری تقویتی , یادگیری Q