رویکردمدل MapReduce درپردازش داده های عظیم دراکوسیستم Hadoop-Mahout

از فنآوریهایی که امروزه در مسایل مختلف کاربرد دارد، تکنیک MapReduce شرکت گوگل است که با سیستم فایل گوگل (System File Google (معرفی شد. چارچوب متنباز Hadoop ،محبوبترین چارچوب پردازش، ذخیره و تحلیل کلانداده در فنآوری محاسبات ابری، مقدار زیادی از توجه محققان را به خود جلب کرده است. MapReduce-Hadoop ،از تکنیکهای پردازش موازی است که بهخوبی توانسته مقیاسپذیری پردازش دادههای حجیم را بهبود دهد و بهعنوان راهکاری مناسب در خوشهبندی دادههای بزرگ کاربرد دارد.کتابخانه منبعباز ماهوت، کتابخانهی الگوریتمهای یادگیری ماشین است. در این مقاله قصد داریم به منظور کاهش زمان پردازش دادههای عظیم و ابعادبالا، الگوریتمهای حوزه دادهکاوی از جمله الگوریتمهای خوشهبندی را در چارچوب ماهوت بر اساس MapReduce- Hadoop بررسی و پیادهسازی نماییم. الگوهای ترکیبی با مدل پردازشی MapReduceطراحی شده، و بر روی اکو سیستم هدوپ با استفاده از ماهوت بر روی مجموعهدادههای 21578-Reuters و Control Synthetic پیادهسازی و اجرا شده است.

Keywords:

Mahout , Hadoop , MapReduce , Big Data , Entropy Weighting Kmeans , K-means clustering , Fuzzy K-means