محاسبات توزیع شده مبتنی بر فناوری پردازش کلان داده در آپاچی اسپارک
Publish place: National Congress of Basic Research in Computer Engineering and Information Technology
Publish Year: 1398
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 461
This Paper With 10 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
COMCO05_129
تاریخ نمایه سازی: 24 شهریور 1398
Abstract:
امروزه حجم زیادی از داده ها در کاربردهای مختلف ایجاد میشود که پردازش و تحلیل آنها را با چالش مواجه ساخته است. پردازش داده های بزرگ چالش مهم امروز به شمار میرود و برای ارایه یک تحلیل در زمان واقعی می توان از پردازش در سیستم های توزیع شده استفاده نمود. مزیت پردازش سیستم های توزیع شده در آن است که زمان پردازش و تحلیل کلان داده کاهش داده می شود و تا حدودی در زمان واقعی این پردازش انجام می شود. آپاچی اسپارک یک سیستم پردازش کلان داده است که با استفاده از محاسبات توزیع شده می تواند اطلاعات و دادهها را در زمان کمتر از سیستم های کلاسیک پردازش نماید. یکی از چالش های مهم معماری آپاچی اسپارک پیچیدگی این فناوری و معماری آن نظیر نگاشت و کاهش برای پردازش کلان داده است از این جهت در این پژوهش تلاش می شود تا معماری این فناوری و اجزای آن معرفی شده و مزایا و چالش های آن نیز ارایه شود. مطالعات ما نشان میدهد معماری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازش نسبت به روش های دیگر پردازش توزیع شده مانند هدوپ سرعت بیشتری در پردازش کلان داده دارد
Keywords:
Authors
محمد کاظمی
کارشناس ارشد فناوری اطلاعات