مروری بر رایانش ابری در معماری هدوپ و آپاچی اسپارک برای تسریع محاسبات

روش های محاسبات ابری به علت ارائه سرویس های خود در بستر ماشین های مجازی در عمل زمان محاسبات و یادگیری را کاهش قابل توجه ای نمی نمایند و از طرفی پیاده سازی تکنیک های یادگیری ماشین در این بسترها دشوار است. پردازش شبکه ای نیز به علت استفاده از یک شبکه در پردازش محاسبات توانایی بالایی دارد اما این مدل محاسبات نیاز به تخصص بالا دارد و بسیار پیچیده است. معماری پردازش هدوپ که مرتبط با سیستم های توزیع شده بنیان آپاچی است انتخاب مناسبی برای پردازش کلان داده است اما این بستر و فناوری نیز دارای چالش های است و فاقد کتابخانه مستقل یادگیری بود و از طرفی هم به جای حافظه اصلی از حافظه ثانویه استفاده می نماید که سرعت آن را کاهش می دهد. مطالعات نشان می دهد حجم داده های تجاری روز به روز در حال افزایش بوده و کلان داده محسوب می شوند و نیاز به پردازش توزیع شده آنها احساس می شود از طرفی روش های سابق قادر به پردازش کلان داده تجاری نبوده و نیاز به استفاده از فناوری های جدید نظیر آپاچی اسپارک است. آپاچی اسپارک دارای امکانات یادگیری ماشین بوده و نسبت به فناوری های رقیب مانند هدوپ سرعت بیشتری دارد. آپاچی اسپارک دارای یک کتابخانه غنی برای یادگیری و پردازش اطلاعات کلان داده است و می تواند الگو دانش مفید را به صورت توزیع شده و موازی استخراج نماید. پردازش داده های تجاری به علت رشد روز افزون آنها در بسترهای سنتی امکان پذیر نبوده و نیاز است از فناوری های جدید مانند اسپارک استفاده شود از این رو در این مقاله بستر محاسبات توزیع شده و اسپارک مرور می شود.

Keywords:

سیستم های توزیع شده , هدوپ , آپاچی اسپارک , نگاشت و کاهش