مروری بر فناوری آپاچی اسپارک و پردازش کلان داده

امروزه حجم بالایی از اطلاعات توسط ابزارهای مانند برنامه های کاربردی، اینترنت، وب سایت ها، شبکه های اجتماعی و اینترنت اشیاء ایجاد می شود که نوع آن ها کلان داده است. کلان داده در واقع حجم بالایی از داده است که دارای ارزش اطلاعاتی بالا و نهفته است از این جهت تجزیه و تحلیل آن ها باعث می شود که این دانش مفید استخراج شود. پردازش این حجم زیاد از اطلاعات قاعدتا با زمان زیاد و البته فناوری خاص نیاز دارد تا اطلاعات و الگوهای مفید دانش استخراج گردد. یکی از فناوری های پردازش کلان داده که بر اساس سیستم های پردازش توزیع شده عمل می نماید استفاده از فناوری آپاچی اسپارک در پردازش کلان داده است. آپاچی اسپارک یک بستر پردازش کلان داده است و می توان آن را نسخه پیشرفته فناوری هدوپ نیز در نظر گرفت. سیستم پردازش آپاچی اسپارک برای پردازش توزیع شده خود از فناوری پردازش مبتنی بر نگاشت و کاهش استفاده می نماید و پردازش را بر روی مجموعه ای از خوشه ها یا کلاسترها اجراء می نماید و می توان زمان پردازش داده ها را کاهش دهد. در این مقاله مروری خواهیم داشت بر فناوری محاسبات ابری، پردازش توزیع شده آپاچی اسپارک، هدوپ، نگاشت وکاهش که در واقع در یک راستاء قرار دارند. نتایج مطالعاتی ما نشان می دهد استفاده از فناوری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازش ها تا 10 برابر شتاب بیشتری نسبت به معماری های رقیب مانند هدوپ دارد.

Keywords:

محاسبات ابری , پردازش توزیع شده , هدوپ , آپاچی اسپارک , نگاشت و کاهش