مقایسه عملکرد Hadoop- Mapreduceو Spark
Publish Year: 1397
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 835
This Paper With 7 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ECIT01_092
تاریخ نمایه سازی: 18 اسفند 1397
Abstract:
امروزه با رشد روز افزون ابزارهایی مانند شبکه های اجتماعی و ظهور مفاهیمی همچون وب معنایی حجم داده ها و پردازش آنها بطور شگفت انگیزی افزایش یافته است . برای نمونه یک موتور جستجو در کسری از ثانیه نتایج جستجوهای کاربر را آماده می کند که این ناشی از تحلیلی کارآمد روی داده های حجیم جمع آوری شده از سطح وب می باشد ، بنابراین وجود مکانیزمی برای پردازش داده های حجیم با هزینه ای مقرون به صرفه بسیار پر اهمیت است . در این مقاله قصد داریم الگوریتم های ترکیبی در چارچوب ماهوت براساس مدل Hadoop- Mapreduceو Spark را مورد مقایسه قرارداده و نقاط ضعف و قوت هریک را بررسی نماییم . نتایج مقایسات نشان می دهد که اسپارک علاوه بر داشتن تمامی نقاط هدوپ نقاط ضعف آن را نیز توسط پردازش درون حافظه ای ، سرعت بالاتر ، دارا بودن توابع API فراوان که این امر کار را برای برنامه نویسان و استفاده کنندگان راحت تر می کند ، قابلیت برنامه نویسی در پایتون ، اسکالا ، جاوا و حتی زبانR و موتور پردازش متحد و یکپارچه نیز بخشی از نقاط قوت اسپارک می باشد . حال آن که Mapreduce یک مدل پردازش داده با مقیاس پذیری آسان پردازش داده روی چندین گره محاسباتی است این پاردایم برنامه را در دو فاز نگاشت و کاهش اجرا می کند.
Authors
مهری بهشتی پور
دانشجوی کارشناسی ارشد ، دانشکده فنی و مهندسی ، گروه کامپیوتر ، دانشگاه آزاد اسلامی ، واحد مبارکه ، اصفهان ، ایران