بهبود دقت خوشه بندی الگوریتم k_means تحت اسپارک با ترکیب الگوریتم ذرات بر روی داده های حجیم

خوشه بندی از تکنیک های معروف در داده کاوی است که به منظور شناسایی الگوهای موجود در داده ها مورد استفاده قرار می گیرد . استخراج و تجزیه تحلیل این الگوها در داده ها می تواند منجر به کشف دانش جدیدی پیرامون داده ها گردد. به همین دلیل امروزه خوشه بندی در کاربردهای مختلفی استفاده می شود. یکی از الگوریتم های معروف خوشه بندی الگوریتم k-means می باشد. این الگوریتم علاوه بر مزایای بسیار، از جمله سرعت بالا و سهولت پیاده سازی، چنانچه پارامترهای اولیه آن به درستی تعیین نگردد، نتایج الگوریتم به دلیل وابسته بودن به پارامترهای اولیه در دام بهینه محلی قرارگرفته و خوشه های مناسبی تولید نخواهد کرد. در این پژوهش، برای بهبود فرآیند خوشه بندی روش k-means از روش تکاملی بهینه سازی ازدحام ذرات استفاده شده است. بهینه سازی ازحام ذرات، روش مبتنی بر هوش جمعی است که می تواند به شناسایی پارامترهای مطلوب برای روش k-means و همینطور شناسایی زیرمجموعه مناسب از مجموعه داده ی مورد بررسی، کمک نماید. در ادامه، با بهره گیری از روش های یادگیری ماشین مبتنی بر اسپارک، ایده ی مورد نظر بر روی عظیم داده ها مورد بررسی قرار گرفته است. سپس به منظور اعتبار سنجی راهکار پیشنهادی، رویکرد فوق بر روی چندین مجموعه داده استاندارد از سایت UCI و چندین مجموعه داده مصنوعی مورد ارزیابی قرار می گیرد و نتایج با سایر روش ها مقایسه می گردد. بررسی نتایج نشان می دهد راهکار جدید، نتایج بهتری در مقایسه با سایر روش های مورد بررسی تولید می نماید.

Keywords:

خوشه بندی , داده کاوی , داده های حجیم , الگوریتم K-means , الگوریتم PSO , اسپارک