کنترل هوشمند میکروربات به منظور ناوبری روی سطح سیال و شبیه سازی کاربرد آن برای از بین بردن میکروپلاستیک ها

در سال های اخیر میکروپلاستیک های موجود در مواد غذایی و آشامیدنی به یک معضل جهانی تبدیل شده اند. میکروربات های مغناطیسی به عنوان یک رویکرد نوین در حل این مشکل، پتانسیل خوبی برای جداسازی و از بین بردن میکروپلاستیک ها نشان داده اند. بااین حال، هدایت و ناوبری خودکار، هوشمند و دقیق میکروربات ها برای اجرای چنین وظایفی، همچنان یک چالش اصلی محسوب می شود. روش های مرسوم برای دستیابی به چنین سطحی از کنترل، اغلب به مدل سازی های پیچیده ای از دینامیک میکروربات، محیط و سیستم تحریک نیاز دارند. به عنوان یک رویکرد جایگزین، در این پژوهش یک سیستم کنترل مبتنی بر الگوریتم یادگیری تقویتی عمیق بدون مدل برای کنترل میکروربات مغناطیسی روی سطح سیال ارائه شد. هدف سیستم، آموزش میکروربات برای هدایت آن از یک نقطه در محیط واقعی به سمت موقعیت هدف بود تا فرآیند ناوبری به سوی موقعیت میکروپلاستیک شناور روی سطح سیال شبیه سازی شود. برای کنترل موقعیت میکروربات، یک سیستم تحریک مغناطیسی شامل دو آهنربای ثابت و یک سیم پیچ هلمهولتز تک محوره ساخته شد. نتایج آموزش میکروربات نشان داد که میکروربات توانست با دقت و سرعت بالایی به موقعیت هدف برسد. نتایج ارزیابی مدل آموزش یافته نیز حاکی از موفقیت میکروربات در رسیدن به نقطه هدف با میانگین پاداش ۰۲/۳۹ از ۴۰، و انحراف معیار ۷۱/۰ در تمام اپیزودها بود. این نتایج نشان می دهد که سیستم کنترل مبتنی بر الگوریتم یادگیری بدون داشتن هیچ گونه دانش قبلی از دینامیک محیط یا سیستم تحریک، یک سیاست بهینه را با استفاده از تعامل با محیط برای هدایت میکروربات کشف کرد.

Keywords:

کنترل , میکروپلاستیک , میکروربات , یادگیری تقویتی عمیق