مروری بر فناوری آپاچی اسپارک و پردازش کلان داده
Publish place: Second National Conference on New Technologies in Electrical and Computer Engineering
Publish Year: 1397
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 758
This Paper With 15 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ICTI02_033
تاریخ نمایه سازی: 7 خرداد 1398
Abstract:
امروزه حجم بالایی از اطلاعات توسط ابزارهای مانند برنامه های کاربردی، اینترنت، وب سایت ها، شبکه های اجتماعی و اینترنت اشیاء ایجاد می شود که نوع آن ها کلان داده است. کلان داده در واقع حجم بالایی از داده است که دارای ارزش اطلاعاتی بالا و نهفته است از این جهت تجزیه و تحلیل آن ها باعث می شود که این دانش مفید استخراج شود. پردازش این حجم زیاد از اطلاعات قاعدتا با زمان زیاد و البته فناوری خاص نیاز دارد تا اطلاعات و الگوهای مفید دانش استخراج گردد. یکی از فناوری های پردازش کلان داده که بر اساس سیستم های پردازش توزیع شده عمل می نماید استفاده از فناوری آپاچی اسپارک در پردازش کلان داده است. آپاچی اسپارک یک بستر پردازش کلان داده است و می توان آن را نسخه پیشرفته فناوری هدوپ نیز در نظر گرفت. سیستم پردازش آپاچی اسپارک برای پردازش توزیع شده خود از فناوری پردازش مبتنی بر نگاشت و کاهش استفاده می نماید و پردازش را بر روی مجموعه ای از خوشه ها یا کلاسترها اجراء می نماید و می توان زمان پردازش داده ها را کاهش دهد. در این مقاله مروری خواهیم داشت بر فناوری محاسبات ابری، پردازش توزیع شده آپاچی اسپارک، هدوپ، نگاشت وکاهش که در واقع در یک راستاء قرار دارند. نتایج مطالعاتی ما نشان می دهد استفاده از فناوری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازش ها تا 10 برابر شتاب بیشتری نسبت به معماری های رقیب مانند هدوپ دارد.
Keywords:
Authors
فرهنگ پدیداران مقدم
استادیار، گروه کامپیوتر، مجتمع آموزش عالی فنی و مهندسی اسفراین
احمد معلمی
دانشجوی کارشناسی ارشد مهندسی نرم افزار، موسسه آموزش عالی اشراق بجنورد
مسعود جعفرزاده کیکانلو
دانشجوی کارشناسی ارشد مهندسی نرم افزار، موسسه آموزش عالی اشراق بجنورد