پیاده سازی الگوریتم خوشه بندی سلسله مراتبی تراکمی بصورت موازی با روش نگاشت و کاهش

: مدل نگاشت-کاهش یک مدل برای اجرای برنامه های کاربردی داده های بزرگ می باشد. همچنین این مدل، یک مدل برنامه نویسی موازی برای نوشتن برنامه هایی می باشد که می توانند بر روی ابر اجرا شوند. سازمان ها بطور فزاینده ای در حال تولید داده هستند که حاصل فرایندهای کسب وکار ، فعالیت های کاربران، ردیابی وب سایت ها، حسگرها، مالی، حسابداری و غیره تولید می شوند. الگوریتم های خوشه بندی داده، به عنوان ابزاری برای تجزیه و تحلیل حجم زیاد داده به کار می روند. هدف اصلی این الگوریتم ها، این است که داده ها را در خوشه هایی دسته بندی کنند، و اشیای داده در هر خوشه با یکدیگر شباهت دارند. در این مقاله، الگوریتم خوشه بندی سلسله مراتبی متراکم که یکی از تکنیک های داده کاوی می باشد با استفاده از طراحی نگاشت و کاهش پیاده سازی شده و سپس نتایج این الگوریتم با حالت بدون نگاشت و کاهش مورد مقایسه قرار می گیرد. آزمایش های انجام شده نشان می دهد با افزایش اندازه داده های ورودی، زمان اجرا کاهش می یابد. زمان اجرای الگوریتم به روش موازی نسبت به روش ترتیبی برای مجموعه داده ای به اندازه ۲۰۰ شی داده، ۱۶.۸۰% و برای مجموعه داده ای به اندازه ۱۰۰۰ شی داده، ۲۹.۲۶% بهبود یافت. همچنین درصد استفاده از پردازنده کل سیستم در روش موازی از ۲۲% به ۹۴% ارتقاء یافت.

Keywords:

نگاشت-کاهش , هادوپ , الگوریتم های خوشه بندی داده , پردازش موازی