توسعه یک الگوریتم جانمایی بلاک ها در سیستم هادوپ ناهمگن با توجه به مشخصات نودها و نوع کارها

پیشرفت در فن آوری شبکه های رایانه ای و منابع محاسباتی در مقیاس بزرگ منجر به ایجاد خوشه های محاسباتی و منابع ابری شده است که می توانند حجم زیادی از اطلاعات را در خود ذخیره و پردازش کنند. سیستم هادوپ، اجرا و تسهیم بسیاری از وظایف در یک مرکز داده مشترک را فراهم می کند. پردازش داده ها در قالب کارهایی که به صورت دسته ای یا برخط به سیستم ارایه می شوند بسته به نوع پردازش و داده از چند دقیقه تا چندین ساعت طول می کشد. هادوپ با فرض این مهم که تمام منابع پردازشی یکسان و وظایف داده های محلی دارند، سیاست خاصی در مورد انتخاب گره اعمال نمی کند. در صورتی که اگر گره ها نا همگن باشند، متوسط زمان اجرا از یک گره به گره دیگر متفاوت خواهد شد؛ به ویژه وقتی که داده محلی نباشد. در این تحقیق سعی شده است، تا هنگام تق سیم فایل ورودی به بلاک های داده ای یکسان توسط هادوپ، بلاک ها براساس میانگین وزنی گره ها، توزیع شود. و همچنین با دسته بندی گره ها و انتقال یک رونوشت به هر یک از این دسته ها علاوه بر متوسط زمان اجرا و محلی بودن، قابلیت اعتماد و توازن فضای خالی ذخیره سازی خوشه را در سیستم افزایش داد.

Keywords:

پردازش داده , نگاشت کاهش , خوشه ناهمگن , هادوپ , جانمایی بلاک