تجزیه تحلیل و جستجوی سریع داده های کلان توسط خوشه بندی

ظهور عصر Big Data ، ابزارهای جستجوی و تجزیه و تحلیل داده های کارآمدتر و موثرتر را می طلبد. در این راستا ، نیاز به پشتیبانی از تجزیه و تحلیل پیشرفته در داده های بزرگ ، علاقه دانشمندان داده به سمت سیستم های توزیع شده به طور موازی و سیستم عامل های نرم افزاری مانند Map-Reductionو Spark را هدایت می کند. با این حال ، هنگامی که الگوریتم های پیچیده کاوی داده مورد نیاز است، استقرار کاملا مقیاس پذیر آنها در چنین سیستم عامل ها با تعدادی از چالش های فنی که با پیچیدگی الگوریتم های درگیر رشد می کنند. بنابراین الگوریتم هایی که در ابتدا برای ماهیت پی در پی طراحی شده اند ، برای استفاده موثر از منابع محاسباتی توزیع شده ، اغلب باید دوباره طراحی شوند. در این مقاله به بررسی این مشکلات می پردازیم و سپس راه حل پیشنهاد می کنیم که ثابت شده است در الگوریتم خوشهای پیچیده سلسله مراتبی + CLUBS بسیار موثر است. با استفاده از چهار مرحله از اصلاحات پی در پی ، + CLUBS خوشه هایی باکیفیت از داده های گروه بندی شده در اطراف سانتریفوژهای خود را ارائه می دهد ، با روشی کاملا بدون نظارت کار می کند. نتایج تجربی صحت و مقیاس پذیری + CLUBS در سیستم عامل های مناسب برای مدیریت داده های بزرگ را تایید می کند.

Keywords:

داده های بزرگ , خوشه بندی , اکتشاف داده ها