الگوریتمی بهینه برای توازن سازی بار به صورت پویا در اکوسیستم هدوپ

سیستم فایل توزیع شده هدوپ راه کاری است قدرتمند که برای ذخیره و پردازش حجم انبوهی از داده در کلاستری از هزاران سرور عامل ویژگی های بسیاری به ارمغان می آورد. اجرای کنونی هدوپ مبتنی بر فرضیه ای است که تمام نودهای کلاستر هدوپ به صورت همگن هستند. بر اساس راه کار هدوپ، داده در کلاستر هدوپ به بلاک های داده تقسیم می شود و بلاک به تعداد فاکتور تکرار در دیگر نودها کپی می شود. با تکرار داده، زمان خدمت دهی به برنامه هایی که دسترسی به داده ذخیره شده در هدوپ دارند به صورت قابل ملاحظه بهینه می گردد. هنگامی که تعداد برنامه ها فراتر از تعداد کپی های داده برسد و یا قدرت پردازشینودهای کلاستر هدوپ تفاوت داشته باشد قضیه به همین راحتی نخواهد بود. این مقاله در مورد توازن بار پویا در کلاستر هدوپ ناهمگن می پردازد. توازن بار با استفاده از تکرار داده به صورت پویا و با کمترین هزینه جابجایی داده، مبتنی بر تعداد برنامه موازی مپ ردیوسورودی انجام می گردد. طبق آزمایش های انجام شده به جهت توازن بار پویای داده، زمان خدمت دهی به برنامه های مپ ردیوس بیشتر از 33 درصد بهبود می یابد و زمان انتظار بیش از 59 درصد نسبت به الگوریتم پیش فرض هدوپ بهبود می یابد.

Keywords:

هدوپ , توازن بار پویا , تکرار داده , ناهمگن , سیستم فایل توزیع شده