مروری بر مفاهیم و انواع روشهای داده کاوی در کلان داده

با گسترش علوم در دنیای امروزی، حجم انبوهی از داده ها به وجود آمده است و در هر لحظه تعداد زیادی داده تولیدمیشود. جهت استخراج و کشف دانش از این داده ها، باید بتوان آنها را ذخیره و پردازش کرد. داده کاوی یکی ازروشهایی است که اطلاعات مفید و روابط مخفی بین داده ها را استخراج می کند ولی به علت حجم بالا و ساختارهایمتنوع داده های حجیم امروزی، نمی توان از این روشها جهت استخراج دانش استفاده کرد. همچنین ذخیره سازی و پردازشچنین حجمی از دادهها با روشهای معمول و قدیمی از نظر زمان و هزینه مقرون به صرفه نیست. بنابراین یا باید ساختارالگوریتم های داده کاوی تغییر کند و یا با روشهای جدیدی جایگزین شوند. داده های حجیم به دو صورت دسته ای وجریان های در حال حرکت وجود دارند که باید بتوان با استفاده از موازی سازی سخت افزاری و نرم افزاری و پردازش هایجریانی، اطلاعات مفید را از آنها استخراج کرد. در حال حاضر مهمترین مدل برای پردازش داده های حجیم، مدل نگاشت-کاهش است که توسط شرکتهای زیادی برای پردازش داده هایشان استفاده می شود. نسخه متنباز نگاشت-کاهش توسطهدوپ ارایه شد. در این مقاله ابتدا سیر تکاملی انواع پردازش ها روی داده های حجیم مورد بررسی قرار گرفته و سپسروشهای تجزیه و تحلیل این داده ها معرفی شده است و در نهایت الگوریتم k-means که یکی از مهمترین روشهایخوشه بندی است در محیط هدوپ پیاده سازی شده است.

Keywords:

داده های حجیم , داده کاوی , خوشه بندی , الگوریتم K-means , بستر هدوپ