آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک

این مقاله مروری داشته به آپاچی اسپارک که یک چارچوب محاسباتی برای داده های کلان است و آن را با دیگر چارچوب ها یعنی آپاچی هادوپ که پیش از آن بوده و آپاچی فلینک که پیش روی آن می باشد مورد بررسی قرار داده است. با روی کار آمدن اسپارک مشکلات هادوپ برطرف می شود. اسپارک از نگاشت - کاهش به عنوان موتور اجرای خود استفاده نمی کند اما بخوبی با هادوپ یکپارچه است. چرا که می تواند در Yarn اجرا شود و با فرمت داده ای هادوپ و HDFS کار کند. برتری های اسپارک سبب شد تا بر هادوپ غلبه کند. هم اکنون با ایده جدید به نام آپاچی فلینک رو به رو هستیم که اسپارک و نگاشت - کاهش را ترکیب کرده و مدیریت حافظه برتری نسبت به سایر رقبایش دارد. برخی مقایسه ها بین این سه ایده در طول مقاله مورد بررسی قرار گرفته است.

Keywords:

آنالیز کلان داده ها , اسپارک , هادوپ , فلینک