پردازش توزیع شده داده های کوچک توسط فریم ورک Hadoop

هدوپ یک فریم ورک متن باز برای ذخیره سازی امن و پردازش توزیع شده داده های حجیم می باشد، که دارای دو بخش اصلی سیستم فایل توزیع شده هدوپ و موتور پردازش نگاشت و کاهش می باشد. ساختار هدوپ برای کار با داده های بزرگ طراحی شده لذا زمانی که ما دارای فایل های کوچک کلان هستیم هدوپ نمیتواند برخورد مناسبی در مواجه با این مساله از خود نشان دهد و باعث ایجاد بار سنگین بر روی گره اصلی هدوپ و افزایش زمان پردازش نگاشت و کاهش می شود. راهکار های متفاوتی میتواند در برخورد با داده های کوچک به کار برده شود تا باعث بهبود عملکرد ذخیره سازی و پردازش و محاسبات هدوپ شود. در این مقاله به روش هایی که میتواند به بهبود پردازش داده های کوچک در هدوپ کمک کند پرداخته می شود

Keywords:

کلان داده ( Big Data ) , هدوپ (Hadoop) , فایل سیستم توزیع شده هدوپ (HDFS) , نگاشت , کاهش (MapReduce) , فایل کوچک (Small file)