محاسبات توزیع شده مبتنی بر فناوری پردازش کلان داده در آپاچی اسپارک
Publish place: National Congress of Basic Research in Computer Engineering and Information Technology
Publish Year: 1398
Type: Conference paper
Language: Persian
View: 551
This Paper With 10 Page And PDF Format Ready To Download
- Certificate
- I'm the author of the paper
Export:
Document National Code:
COMCO05_129
Index date: 15 September 2019
محاسبات توزیع شده مبتنی بر فناوری پردازش کلان داده در آپاچی اسپارک abstract
امروزه حجم زیادی از داده ها در کاربردهای مختلف ایجاد میشود که پردازش و تحلیل آنها را با چالش مواجه ساخته است. پردازش داده های بزرگ چالش مهم امروز به شمار میرود و برای ارایه یک تحلیل در زمان واقعی می توان از پردازش در سیستم های توزیع شده استفاده نمود. مزیت پردازش سیستم های توزیع شده در آن است که زمان پردازش و تحلیل کلان داده کاهش داده می شود و تا حدودی در زمان واقعی این پردازش انجام می شود. آپاچی اسپارک یک سیستم پردازش کلان داده است که با استفاده از محاسبات توزیع شده می تواند اطلاعات و دادهها را در زمان کمتر از سیستم های کلاسیک پردازش نماید. یکی از چالش های مهم معماری آپاچی اسپارک پیچیدگی این فناوری و معماری آن نظیر نگاشت و کاهش برای پردازش کلان داده است از این جهت در این پژوهش تلاش می شود تا معماری این فناوری و اجزای آن معرفی شده و مزایا و چالش های آن نیز ارایه شود. مطالعات ما نشان میدهد معماری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازش نسبت به روش های دیگر پردازش توزیع شده مانند هدوپ سرعت بیشتری در پردازش کلان داده دارد
محاسبات توزیع شده مبتنی بر فناوری پردازش کلان داده در آپاچی اسپارک Keywords:
محاسبات توزیع شده مبتنی بر فناوری پردازش کلان داده در آپاچی اسپارک authors
محمد کاظمی
کارشناس ارشد فناوری اطلاعات