آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک
عنوان مقاله: آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک
شناسه ملی مقاله: ICCONF03_142
منتشر شده در سومین کنفرانس ملی نوآوری و تحقیق در مهندسی برق و مهندسی کامپیوتر و مکانیک ایران در سال 1396
شناسه ملی مقاله: ICCONF03_142
منتشر شده در سومین کنفرانس ملی نوآوری و تحقیق در مهندسی برق و مهندسی کامپیوتر و مکانیک ایران در سال 1396
مشخصات نویسندگان مقاله:
زهرا رضایی - استاد راهنما
مریم چنگی آشتیانی - دانشجو موسسه آموزش عالی آل طه
خلاصه مقاله:
زهرا رضایی - استاد راهنما
مریم چنگی آشتیانی - دانشجو موسسه آموزش عالی آل طه
این مقاله مروری داشته به آپاچی اسپارک که یک چارچوب محاسباتی برای داده های کلان است و آن را با دیگر چارچوب ها یعنی آپاچی هادوپ که پیش از آن بوده و آپاچی فلینک که پیش روی آن می باشد مورد بررسی قرار داده است. با روی کار آمدن اسپارک مشکلات هادوپ برطرف می شود. اسپارک از نگاشت - کاهش به عنوان موتور اجرای خود استفاده نمی کند اما بخوبی با هادوپ یکپارچه است. چرا که می تواند در Yarn اجرا شود و با فرمت داده ای هادوپ و HDFS کار کند. برتری های اسپارک سبب شد تا بر هادوپ غلبه کند. هم اکنون با ایده جدید به نام آپاچی فلینک رو به رو هستیم که اسپارک و نگاشت - کاهش را ترکیب کرده و مدیریت حافظه برتری نسبت به سایر رقبایش دارد. برخی مقایسه ها بین این سه ایده در طول مقاله مورد بررسی قرار گرفته است.
کلمات کلیدی: آنالیز کلان داده ها،اسپارک،هادوپ،فلینک
صفحه اختصاصی مقاله و دریافت فایل کامل: https://civilica.com/doc/741239/