علی رستمی - کارشناس ارشد مهندسی کامپیوتر هوش مصنوعی ،مدرس گروه کامپیوتر ،دانشگاه علمی کاربردی پارسیان ایلام
مریم پوررحیم - دانشجو کارشناسی مهندسی فناوری اطلاعات ،مرکز آموزش عالی علمی کاربردی پارسیان ایلام

امروزه یکی از مشکلات عصر داده ها در دوره ای که با انبوهی از اطلاعات سرو کارداریم، داده های بزرگ یا داده های کلان می باشد، معمولا به مجموعه از داده ها اطلاق می شود که اندازه آنها فراتر از حدی است که با نرم افزارهای معمول بتوان آنها را در یک زمانمعقول اخذ، دقیق سازی، مدیریت و پردازش کرد. مفهوم اندازه در داده های بزرگ بطور مستمر در حال تغییر است و به مرور بزرگتر می شود. داده های بزرگ مجموعه از تکنیک ها و تاکتیک هایی است که نیازمند شکل جدیدی از یکپارچگی هستند تا بتوانند ارزش های بزرگی را که در مجموعه های بزرگ، وسیع، پیچیده و متنوع داده پنهان شده اند، آشکار سازند.از این رو با رشد روز افزون داده ها و نیاز بهبهره برداری و تحلیل از این داده ها، بکارگیری زیرساخت های از اهمیت ویژه ای برخوردار شده است. این شرکت نیز در سال های اخیربا درک این موضوع، توانسته است گام های موثری در راستای تسلط به این حوزه بردارد و افتخار دارد که یکی از موسسات پیشرو در این زمینه در کشور باشد. در این مقاله به بررسی روش ها و الگوریتم های دسترسی جستجو، کاوش و پالایش داده های کلان می پردازیم.

داده های بزرگ، کلان داده ، معماری داده های بزرگ، هادوپ