شبکه دوئل دوگانه و کاربرد آن در یادگیری تقویتی عمیق برای کنترل تطبیقی چراغ راهنمایی

تقاطع های مجهز به چراغ های راهنمایی نقش مهمی در بهبود جریان ترافیک در شبکه های شهری ایفا می کنند. با افزایش تقاضا و پیچیدگی شرایط ترافیکی، کنترل مرسوم چراغ های ترافیکی دیگر کافی نیست و باید به سمت کنترلی تطبیق پذیر حرکت کرد. روش کنترل تطبیقی که با استفاده از هوش مصنوعی و الگوریتم های یادگیری ماشین مسئله بهینه سازی را حل می کند، نتایج قابل توجهی ارائه داده است. این مطالعه بر روی کنترل تطبیقی چراغ های راهنمایی با فازبندی منعطف گردش به چپ تمرکز دارد، که در برخی موارد می تواند ایمنی و کارایی تقاطع های چراغ دار را افزایش دهد. این مطالعه با تمرکز بر نرخ جریان حرکات گردشی و با استفاده از یادگیری تقویتی، زمان سبز بهینه برای هر فاز در یک تقاطع چهارراه را مشخص می کند. علاوه بر این، با هدف کاهش تداخل حرکات گردشی خودروها با جریان های مخالف، نوع فازبندی منعطف در نظر گرفته شده است که موجب می شود یک عامل دیگر یادگیری تقویتی، مناسب ترین نوع فازبندی را در هر سیکل انتخاب کند. فازبندی منعطف گردش به چپ به این معناست که کنترل تقاطع می تواند از هر دو نوع فازبندی محافظت شده و مجاز استفاده کند. با این روش، نوع فازبندی تقاطع بر اساس نرخ جریان خودروهای گردش به چپ و حرکات متقابل روبرو در تقاطع تغییر می کند. در این مقاله، عملکرد شبکه Q عمیق دوگانه و شبکه Q معمولی در یادگیری تقویتی مورد مقایسه قرار گرفته است. برای ارزیابی عملکرد الگوریتم دوئل دوگانه در کنترل تطبیقی چراغ راهنمایی، مقادیر Q نه تنها از شبکه ۳DQN برداشت شده اند، بلکه از شبکه DQN نیز استخراج گردیده اند. این کار به منظور تحلیل و بررسی عملکرد این الگوریتم در کنترل چراغ ترافیکی انجام شده است. نتایج نشان می دهند که کنترل پیشنهادی در الگوریتم یادگیری نوع اول، نتایج بهتری را از نظر کاهش طول صف خودروها ارائه می دهد.

Keywords:

کنترل تطبیقی چراغ ترافیکی , یادگیری تقویتی , شبکه عمیق دوئل دوگانه