طراحی الگوریتم آمیختگی بر مبنای مدل یادگیری عمیق PointNet در ابر نقاط سه بعدی و داده های تصویری در خودروهای خودران

با توجه به لزوم تشخیص زمان حقیقی اشیاء و موانع در خودروهای خودران و سیستمهای کمک راننده ی پیشرفته، در این مقاله با استفاده از آمیختگی اطلاعات به دست آمده از تصاویر RGB دوربین های طیف مرئی و ابر نقاط حاصل از لیدار، اشیاء موردنظر به صورت کاملا موثر شناسایی، طبقه بندی و ردگیری می شوند. در این مقاله به منظور کاهش میزان بار محاسباتی و افزایش سرعت شناسایی با حفظ صحت عملکرد، علاوه بر اجرای روال های متعارف، دو عملکرد کلی نیز به صورت توامان در روال تشخیص اجرا می شوند. در مرحله ی اول و در زمان استفاده از ابر نقاط، به جای به کارگیری وکسل های حاصل از تقسیم بندی ابر نقاط، از تمامی ابر نقاط به عنوان ورودی استفاده می شود که در این صورت زمان لازم برای اجرای محاسبات سه بعدی (نسبت به روش های پیشین) کاهش میابد. در مرحله ی دوم نیز به جای اجرای روال های جستجوی زمان بر در کل ابر نقاط ورودی، تمامی پیشنهادات اشیاء ابتدا از شناساگر دوبعدی دریافت می شوند و بر مبنای این پیشنهادات، فقط در محل های با پتانسیل بالای حضور اشیاء، عملیات جستجو و تطبیق اجرا می شود و بدین گونه در این مرحله نیز زمان اجرا بهبود میابد. در این مقاله با استفاده از مدل PointNet روشی مطرح می گردد که قادر است بدون نیاز به انجام پیش پردازش های معمول در حوزه ی ابر نقاط (وکسل بندی ابر نقاط و یا تصویر کردن کل ابر نقاط در صفحه ی XY) با استفاده از توانمندی های مدل های یادگیری عمیق در ابر نقاط سه بعدی، اشیاء را شناسایی و طبقه بندی نماید. این مشخصه که باعث افزایش میزان FPS و کاهش حجم محاسبات می گردد، در کاربردهای عملی کاملا مفید است. به منظور ارزیابی الگوریتم از معیار دقت متوسط (AP) استفاده می گردد. (این معیار در مقایسه ی روش های مختلف تشخیص اشیاء از ابر نقاط به کار می رود.) کارایی الگوریتم مطرح شده نسبت به روش های مقایسه شده در بخش ارزیابی نشان داده شده است.

Keywords:

یادگیری عمیق , ابر نقاط سه بعدی , آمیختگی داده , خودروهای خودران