رانندگی خودکار در محیط بزرگراه مبتنی بر یادگیری سیاست با استفاده از روش های یادگیری تقویتی توزیعی

این مقاله به ارائه یک روش یادگیری مبتنی بر یادگیری تقویتی جهت طراحی یک ناظر به منظور رانندگی خودکار در محیط بزرگراه می پردازد. با توجه به تصادفی بودن شرایط رانندگی در بزرگراه و همچنین درنظر گرفتن شرایط واقعی تر رانندگی، از مزایای یادگیری تقویتی توزیعی عمیق بهره گرفته شده است. در این مقاله برای اولین بار جهت یادگیری سیاست های رانندگی استفاده از روش های یادگیری تقویتی توزیعی تابع کمی تمام پارامتری شده (FQF) و شبکه کمی ضمنی  (IQN) پیشنهاد شده است. برای آموزش عامل، استفاده از داده های دوربین، لیدار و ترکیب آن دو پیشنهاد شده است. به منظور استفاده از ترکیب دو نوع داده، ساختار شبکه چند ورودی را به خدمت گرفته ایم. جهت ارزیابی روش های پیشنهاد شده، از شبیه ساز رانندگی در بزرگراه استفاده کرده ایم که در نرم افزار unity توسعه یافته است. تحقق خودروی خودران در شبیه ساز مورد نظر به کمک سیستم های کمک راننده صورت پذیرفته است. ارزیابی عامل براساس یادگیری سیاست رانندگی که قادر به انتخاب عمل صحیح برای هدایت خودور باشد انجام شده است. به منظور ارزیابی بهتر روش ها دو معیار تغییرات سرعت و تغییرات لاین را برای یادگیری سیاست رانندگی بررسی کرده ایم. نتایج بدست آمده از مقاله با روش هایی نظیر شبکه Q عمیق (DQN)، شبکه Q عمیق رگرسیون کمی (QR-DQN) که پیش تر ارائه شده بود مقایسه گردید. نتایج بدست آمده نشان دهنده آن است که الگوریتم های پیشنهادی توانایی یادگیری سیاست های مناسب رانندگی در محیط بزرگراه را دارند. همچنین روش FQF عملکرد بهتری نیز نسبت به IQN و سایر روش هایی که در گذشته پیاده سازی شده اند از خود نشان می دهد.

Keywords:

distributional reinforcement learning , autonomous vehicle , driver assistance system , یادگیری تقویتی توزیعی , خودرو خودران , سیستم های کمک راننده‬‬‬‬‬‬