خوشه بندی داده های ابعادبالا با استفاده از آنتروپی و مدل MapReduce در Hadoop-Mahout
Publish Year: 1396
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 817
This Paper With 11 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
DCBDP03_047
تاریخ نمایه سازی: 14 شهریور 1396
Abstract:
خوشه بندی، یکی از روش های معمول کار با دنیای کلان داده است. از الگوریتم های خوشه بندی که به صورت گستره نیز به کار میرود، الگوریتم means-K است اما در مواردی که برای پردازش داده های ابعاد بالا استفاده میشود، پیچیدگی زمانی آن بیش از حد بالاست. الگوریتم های خوشه بندی بر اساس پلتفرم هدوپ، پیچیدگی زمانی و فضایی کمتری دارند و همینطور دارای مقیاس پذیری خوبی در پردازش داده های حجیم میباشند. کتابخانه منبع باز ماهوت، کتابخانه ی الگوریتم های یادگیری ماشین است. در این مقاله قصد داریم به منظور کاهش زمان پردازش خوشه بندی داده های ابعادبالا، الگویی ترکیبی در چارچوب ماهوت بر اساس مدلMapReduce- Hadoop و با استفاده از آنتروپی ارایه دهیم. این الگوی ترکیبی جدید با افزودن آنتروپی وزن، الگوریتم means-K را گسترش داده و عملکرد آنرا در خوشه بندی داده های ابعاد بالا در زیر فضاها بهبود داده است. الگوی ترکیبی با مدل پردازشیMapReduce طراحی شده، و بر روی اکو سیستم هدوپ با استفاده از ماهوت بر روی مجموعه داده 21578-Reuters پیاده سازی و اجرا شده است.
Keywords:
Authors
سمیه احمدی
دانشجوی کارشناسی ارشد کامپیوتر نرم افزار، گروه آموزشی مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد زنجان، زنجان،
مهدی افضلی
استادیار مهندسی کامپیوتر، گروه آموزشی مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد زنجان، زنجان،