آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک
Publish Year: 1396
Type: Conference paper
Language: Persian
View: 1,022
This Paper With 9 Page And PDF Format Ready To Download
- Certificate
- I'm the author of the paper
Export:
Document National Code:
ICCONF03_142
Index date: 23 June 2018
آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک abstract
این مقاله مروری داشته به آپاچی اسپارک که یک چارچوب محاسباتی برای داده های کلان است و آن را با دیگر چارچوب ها یعنی آپاچی هادوپ که پیش از آن بوده و آپاچی فلینک که پیش روی آن می باشد مورد بررسی قرار داده است. با روی کار آمدن اسپارک مشکلات هادوپ برطرف می شود. اسپارک از نگاشت - کاهش به عنوان موتور اجرای خود استفاده نمی کند اما بخوبی با هادوپ یکپارچه است. چرا که می تواند در Yarn اجرا شود و با فرمت داده ای هادوپ و HDFS کار کند. برتری های اسپارک سبب شد تا بر هادوپ غلبه کند. هم اکنون با ایده جدید به نام آپاچی فلینک رو به رو هستیم که اسپارک و نگاشت - کاهش را ترکیب کرده و مدیریت حافظه برتری نسبت به سایر رقبایش دارد. برخی مقایسه ها بین این سه ایده در طول مقاله مورد بررسی قرار گرفته است.
آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک Keywords:
آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک authors
زهرا رضایی
استاد راهنما
مریم چنگی آشتیانی
دانشجو موسسه آموزش عالی آل طه