خوشه بندی فازی چندهسته ای کلان داده ها در چارچوب نگاشت کاهش هدوپ

یک راهحل منطقی برای لحاظکردن همپوشانی خوشهها، انتساب مجموعهای از درجه عضویت به هر داده است. بهدلیل کمشدن افرازها و کوچکشدن فضایجستجو، خوشهبندی فازی عموما دارای سربار محاسباتی کمتری بوده، تشخیص و مدیریت دادههای مبهم، نویزدار و دادههایپرت نیز در آن بهسهولت انجام میگیرد. ازاینرو خوشهبندی فازی از نوع پیشرفته روشهای خوشهبندی به شمار میرود. اما روشهای خوشهبندی فازی در مواجه با روابط غیرخطی دادهها ناتوانند. روش پیشنهادی این مقاله میکوشد تا مبتنی بر ایدههای امکان پذیری، از یادگیری چندهستهای در چارچوب نگاشتکاهش هدوپ برای تشخیص خوشههای خطیجداییناپذیر با ساختار کلاندادههای پیچیده، استفاده کند. مدل یادگیری چندهستهای قادر به کشف روابط پیچیده بین دادهای بوده و در عین حال هدوپ ما را قادر خواهد ساخت تا به جای تعامل با سیستم عامل و پردازنده، با یک کلاستر منطقی از پردازشها و گرههای انباره داده تعامل داشته باشیم و عمده کار را بر عهده فریمورک بیندازیم. به طور خلاصه مدلسازی روابط غیرخطی دادهها با استفاده از مدل یادگیری چندهستهای، تعیین مقادیر مناسب برای پارامترهای فازیسازی و امکانپذیری، و ارائه الگوریتم در مدل نگاشتکاهش هدوپ از دستاوردهای کلیدی مقاله حاضر میباشد. آزمایشها برروی یکی از مجموعه دادههای پر استفاده مخزن یادگیری UCI و همچنین برروی دیتاست شبیهساز CloudSim پیاده سازی شده است و نتایج قابل قبولی به دست آمده است. طبق مطالعات منتشر شده، مخزن یادگیری UCI برای مقاصد رگرسیون و خوشهبندی کلان داده، و مجموعه داده CloudSim برای شبیهسازی موارد مربوط به رایانش ابری، محاسبه تاخیرهای زمانی و زمانبندی انجام وظایف معرفی شدهاند.

Keywords:

دادههای کلان , خوشهبندی , منطق فازی , یادگیری چندهستهای , هدوپ , نگاشتکاهش