داده کاوی برنامه های کاربردی داده های بزرگ با استفاده از پردازش موازی و توزیع شده

در طول سال های اخیر رشد سریع و بزرگی حجم داده ها در سازمانها در حال جمع شدن هستند و با نرخ بی سابقه ای مورد تجزیه و تحلیل قرار گرفته اند. فراوانی داده ها و نیاز برای جمع آوری، ذخیره سازی و پردازش آنها چالش های تکنیکی زیادی برای نرم افزارهای کاربردی داده های بزرگ وجود دارد چالش های تکنیکی در ارتباط با ناهماهنگی داده ها، تناقض و ناتمامیت، حفظ حریم خصوصی و مالکیت داده ها، مقیاس پذیری و بهنگام بودن. داده کاوی در حجم زیادی از داده ها در یک یا چند پایگاه داده بزرگ کار چالش برانگیزی است. در این مقاله به بررسی یکی از تکنیک های اخیر داده کاوی و ناکارآمدی آن در پایگاه داده های بزرگ پرداخته و همچنین به ارائه راهکار معماری ترکیبی شامل تجمیع مفهوم پردازش موازی و توزیع شده می پردازیم.