مروری بر داده های بزرگ و فناوری پردازش هدوپ و آپاچی اسپارک

امروزه حجم بالایی از اطلاعات توسط ابزارهای مانند برنامه های کاربردی، اینترنت، وبسایتها، شبکه های اجتماعی و اینترنت اشیاء ایجاد میشود که نوع آنها کلان داده است. کلان داده در واقع حجم بالایی از داده است که دارای ارزش اطلاعاتی بالا و نهفته است از این جهت تجزیه و تحلیل آنها باعث میشود که این دانش مفید استخراج شود. پردازش این حجم زیاد از اطلاعات قاعدتا0 با زمان زیاد و البته فناوری خاص نیاز دارد تا اطلاعات و الگوهای مفید دانش استخراج گردد. یکی از فناوری های پردازش کلان داده که بر اساس سیستمهای پردازش توزیع شده عمل مینماید استفاده از فناوری آپاچی اسپارک در پردازش کلان داده است. آپاچی اسپارک یک بستر پردازش کلان داده است و میتوان آن را نسخه پیشرفته فناوری هدوپ نیز در نظر گرفت. سیستم پردازش آپاچی اسپارک برای پردازش توزیع شده خود از فناوری پردازش مبتنی بر نگاشت و کاهش استفاده مینماید و پردازش را بر روی مجموعه ای از خوشه ها یا کلاسترها اجراء می نماید و میتوان زمان پردازش داده ها را کاهش دهد. در این مقاله مروری خواهیم داشت بر فناوری محاسبات ابری، پردازش توزیع شده آپاچی اسپارک، هدوپ، نگاشت وکاهش که در واقع در یک راستاء قرار دارند. نتایج مطالعاتی ما نشان میدهد استفاده از فناوری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازشها تا 10 برابر شتاب بیشتری نسبت به معماریهای رقیب مانند هدوپ دارد.

Keywords:

محاسبات ابری , پردازش توزیع شده , هدوپ , آپاچی اسپارک , نگاشت و کاهش