مروری بر مدیریت پردازش دادگان عظیم با استفاده ازApache و MapReduce Spark
Publish place: اولین همایش ملی نگرشی نوین در مهندسی برق و کامپیوتر
Publish Year: 1395
Type: Conference paper
Language: Persian
View: 574
This Paper With 15 Page And PDF Format Ready To Download
- Certificate
- I'm the author of the paper
این Paper در بخشهای موضوعی زیر دسته بندی شده است:
Export:
Document National Code:
OUTLOOKECE01_130
Index date: 2 August 2017
مروری بر مدیریت پردازش دادگان عظیم با استفاده ازApache و MapReduce Spark abstract
با ورود به عصردادگان عظیم و تولید انبوهی از انواع داده ها این ضرورت احساس می شود که باید از این انبوه داده ها برای کسب اطلاعات راهبردی استفاده کرد. اما با روش های تحلیل داده قدیمی نمی توان داد های متنوع تولید شده را به درستی تحلیل کرد. از این رو متخصصین علم داده کاوی روش هایی را برای تحلیل این نوع از داده ها ابداع کرده اند. اما سوال اینجاست که چه روشی برای تحلیل این داده ها مناسبتر است. در تحلیل داده گان عظیم، روش های پردازش موازی و توزیع شده مورد توجه قرار گرفته اند. چارچوب های مانند Hadoop MapReduce و Spark از این نوع هستند. در این مقاله با مرور عملکرد چارچوب های MapReduce Hadoop و Spark Apache در مواجه با انواع داده ای مختلف و کتابخانه های که برای این دو چارچوب توسعه داده شده اند، سعی کردیم مقایسه ای اجمالی از این دو بستر تحلیل داده داشته باشیم. در ادامه تفاوت فازهای Map و Reduce را بین Spark و MapReduce بررسی کردیم.
مروری بر مدیریت پردازش دادگان عظیم با استفاده ازApache و MapReduce Spark Keywords:
مروری بر مدیریت پردازش دادگان عظیم با استفاده ازApache و MapReduce Spark authors
محمدرضا مرادی
گروه کامپیوتر ،واحد همدان،دانشگاه آزاد اسلامی همدان ،ایران
رسول روستایی
گروه کامپیوتر ،واحد همدان،دانشگاه آزاد اسلامی همدان ،ایران
مراجع و منابع این Paper:
لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :