بررسی روشهای بهینه سازی تنظیم پیکربندی پلتفرمهای تحلیل داده های حجیم

امروزه با افزایش روزافزون حجم اطلاعات و داده ها در بستر وب، چارچوبهای تحلیل داده های حجیم مختلفی مانند هادوپ واسپارک پدیدآمده است. برای استفاده مناسب و عملکرد بهینه این چارچوبها، پیکربندی آنها نقش بسیار مهمی را ایفا میکنند. انتخاب پیکربندی مناسب برای چارچوبهایی مانند اسپارک و هادوپ برای اطمینان از اجرای موثر دسته یا جریانی از کارهای دشوار است و تصمیم گیری در مورد این که کدام تنظیمات پیکربندی منجر به بهترین عملکرد میشود، کار بسیار پر هزینهای است، زیرا فضای پیکربندی عظیمی برای کشف وجود دارد که از پارامترهای متعدد مربوط به عملکرد در ابعاد مختلف تشکیل شده است. شناسایی ترکیبی از تنظیماتی که ممکن است عملکرد یک برنامه خاص را بهبود بخشد، امری غیر بدیهی است، زیرا تاثیر هر تنظیم بر عملکرد ممکن است در بین برنامه ها متفاوت باشد. در این مقاله سعی شده که روشها و سبکهای متفاوتی برای بهینه کردن تنظیمات پیکربندی چارچوبهای تحلیل داده ارائه شده، بررسی شود. این روشها با بهرهگیری از الگوریتمهایی مانند الگوریتم ژنتیک، الگوریتم بهینه سازی ازدحام ذرات، الگوریتم بهینه سازی چندمنظوره، H-Tune ، BestConfig و متدهای تنظیم خودکار پیکربندی، بهسمت بهتر و بهینه بودن پیکربندیها حرکت کرده اند.

Keywords:

اسپارک , بهینه سازی پیکربندی , تنظیم پیکربندی.