یک روش مبتنی بر انتخاب ویژگی با الگوریتم بهینه سازی پروانه به منظور پیش بینی زمان اجرای Job های مبتنی بر نگاشت-کاهش

یکی از بسترهای مهم برای پردازش کلان داده استفاده از معماری هدوپ است که میتوان با استفاده از عملیات نگاشت-کاهش، داده های بزرگ را در زمان واقعی مورد پردازش قرار داد. یکی از چالشهای مهم پردازش کلان داده در هدوپ زمان بندی دقیق jobهایی است که در این بستر اجراء میشوند و نیاز است که قبل از اجرای jobها زمان اجرای آن را پیش بینی نمود تا به درستی و به صورت بهینه زمانبندی شوند. در این مقاله برای تخمین زمان اجرای دقیق jobها از الگوریتم بهینه سازی پروانه برای انتخاب ویژگی های مهم jobها و از شبکه عصبی مصنوعی برای یادگیری استفاده شده است. تجزیه و تحلیل ها نشان می دهد که این الگوریتم، از الگوریتم بهینه سازی ذرات، الگوریتم بهینه سازی کفتار و الگوریتم کرم شبتاب خطای کمتری دارد. آزمایشات نشان میدهد مقدار تابع هدف انتخاب ویژگی، در روش پیشنهادی بر حسب تکرار، یک روند نزولی و کاهشی است. به منظور پیش بینی زمان اجرای jobها، افزایش جمعیت اولیه در این روش، متوسط مجذور خطا را در حدود %۲۵.۸۵ کاهش میدهد. مقایسه روش پیشنهادی با روشهای دیگر نشان میدهد خطای تخمین زمان اجرا در روش پیشنهادی از شبکه عصبی چند لایه، شبکه عصبی بازگشتی، درخت تصمیم گیری و جنگل تصادفی کمتر است.

Keywords:

نگاشت - کاهش , الگوریتم بهینه سازی پروانه , شبکه عصبی , زمان اجرای job