پردازش موازی در داده کاوی

با افزایش انفجار گونه داده های بزرگ در زمینه های صنعتی و علمی، برای کار بر روی این داده ها و تجزیه و تحلیل آنها، سیستم های پردازش داده های بزرگ بسیار ضروری به نظر می رسد. مپ ریدوس و اسپارک دو محدوده محاسبات خوشه ای بسیار محبوب برای تجزیه و تحلیل داده ها در مقیاس بزرگ هستند، در حال حاضر مسلما اسپارک از لحاظ ویژگی هایی مانند تحمل خطا، عملکرد بالای پردازش داده ها در حافظه و مقیاس پذیری، جزء پیشرفته ترین سیستم های محاسباتی داده های بزرگ می باشد. اسپارک یه مدل برنامه ریزی آردیدی (مجموعه داده های توزیع شده) را در اختیار شما قرار می دهد، مدل برنامه نویسی با مجموعه ای از تحول ارائه شده و اپراتورهایی که عملکرد عملیات را می توان توسط کاربران با توجه به برنامه های خود را سفارشی کنند. اسپارک در اصل به عنوان یک سیستم پردازش سریع و کلی ارائه شده است که با توجه به شرایط مختلف از زمان معرفی آن، تلاش زیادی برای انجام کارهای تحقیقاتی روی آن انجام شده است. در این مقاله ما دلایل اهمیت داده پردازی موزای را بررسی نمودیم و در نهایت دو مدل محاسباتی مپ ریدوس و اسپارک را بعنوان ابزارهای رایج و مهم دادهپردازی موازی، بررسی و در مواردی با هم مقایسه نمودیم. در این بررسی نهایتا مشخص شد، بجز عملیات مرتب سازی، اسپارک گزینه بهتری برای داده کاوی موازی است.

Keywords:

داده کاوی , پردازش موازی , اسپارک , مپ ریدوس