سید مجتبی بنایی - مربی، گروه کامپیوتر، دانشگاه بزرگمهر قاینات
مجید عبدالرزاق نژاد - استادیار، گروه کامپیوتر، دانشگاه بزرگمهر قاینات

در سال های اخیر به یمن گسترش اینترنت و شبکه های اجتماعی، تصاویر ماهواره ای و دوربین های نظارتی، رشد روزافزون استفاده از حسگرها بخصوص در حوزه اینترنت اشیاء، افزایش حجم تولید فایل های ثبت تراکنش در سرورها، نفوذ و سایل ارتباطی همراه و نهایتا هوشمند شدن وسایل زندگی و پزشکی، نیازمندی های جدیدی در حوزه پردازش داده بوجود آمده است و مدل های سنتی پردازش کلان داده مانند روش توزیع و تجمیع، پاسخگوی آنها نیست. امروزه در بسیاری از کاربردها، نیاز به سامانه هایی داریم که بتوانند حجم عظیم داده های تولید شده را در همان لحظه دریافت، بررسی و پردازش کرده و سپس آنها را ذخیره کنند. این سامانه ها که به طور خاص برای کار با داده های نامحدود طراحی شده اند را سامانه های پردازش جریان می نامیم و در این مقاله به این بخش نوین از اکوسیستم کلان داده خواهیم پرداخت. مروری بر مفاهیم و اصلاحات، بررسی چالش ها و نهایتا ابزارها و کتابخانه های موجود در این حوزه و راهنمایی هایی برای انتخاب در ست یک چارچوب جریان پردازی و نهایتا پیشنهاد یک معماری مقیاس پذیر براساس پروژه های متن باز حوزه پردازش جریان، شاکله اصلی این مقاله را تشکیل می دهند.

کلان داده، پردازش جریان، جریان پردازی، معماری داده مقیاس پذیر