خوشه بندی Bisect k-means توزیع شده جهت کاوش بزرگ داده

بزرگ داده به داده هایی اطلاق می شود که به علت زیاد بودن مقدار آنها، نتوان با استفاده از روش های سنتی تجزیه و تحلیل و پردازش شوند. با توجه به خواص بزرگ داده، همانند حجم، سرعت انتشار، تنوع، مقدار و پیچیدگی بایستی روشی جهت تجزیه و تحلیل و پردازش انتخاب شود که هم از نظر سرعت و هم از نظر دقت بهینه باشد. همچنین باید بستری انتخاب گردد که قابلیت پردازش حجم زیادی از داده ها به صورت مناسب را داشته باشد که مناسب ترین بستر جهت پردازش بزرگ داده، بستر توزیع شده است. یکی از روش های کاوش، استخراج دانش وتجزیه و تحلیل از بزرگ داده، روش خوشه بندی می باشد. در این مقاله خوشه بندیBisect k-means جهت پردازش حجم زیادی از داده ها با استفاده از مدل برنامه نویسی توزیع شدهMapReduce توسعه داده شده است. ارزیابی روش پیشنهادی بروی مجموعه داده های واقعی نشان داد که روش ارائه شده دارای سرعت مناسب و دقت قابل قبول در مواجهه با حجم زیادی از داده ها می باشد. به علاوه نتایج حاکی از آن است که روش پیشنهادی قادر است که به صورت متوازن پردازش را توزیع کند.

Keywords:

خوشه بندی , MapReduce , Bisect k-means , سیستم پردازش توزیعی , بزرگ داده