برچسب آگاه آموزش گروهی توزیع شده: یک مدل ساده و طبقه بندی شده برای آموزش مه داده ها

در Label-Aware Distributed Ensemble Learning (LADEL) یک مدل برنامه نویسی و پیاده سازی ارتباطی برای توزیع هر گونه آموزش یک مدل برنامه نویسی و پیاده سازی ارتباطی برای توزیع هر گونه آموزش big data است . این الگوریتم فقط نیاز کاربران برای منبع داده آموزش، الگوریتم طبقه بندی و سطح دلخواه مورد نظر را مشخص می کند . اول ، یک الگوریتم نمونه گیری لایه ای توزیعی پیشنهاد می شود تا نمونه های لایه لایه را از مجموعه داده های جدا شده پیش از تقسیم بندی که در یک معماری به اشتراک گذاشته شده ، تولید کند که با یکبارعبوراز داده اجرا می شود و ارتباطات بین دستگاه را به حداقل می رساند. دوم ، آموزش طبقه بندی موازی الگوریتمی که روی هر تعداد از ماشین های ناهمگون اجرا می شود . در نهایت طبقه بندی های آموزش دیده برای تولید طبقه بندی نهایی جمع می شوند. داده کاوان می توانند از LADEL برای اجرای هر الگوریتم طبقه بندی در هر چارچوب توزیع شده بدون استفاده از سیستم های موازی و توزیع شده استفاده کنند . مدل LADEL پیشنهادی می تواند بر روی هر چارچوب توزیع (Hadoop,spark,drill و غیره) برای سرعت بخشیدن به توسعه قابلیت های داده کاوی خود اعمال شود . عمومی است و می تواند برای توزیع آموزش هر الگوریتم طبقه بندی استفاده شود. از هر کتابخانه ای اطلاعاتی تک گره پیوسته (weka,R,SCIKIT-LEAR و غیره) چارچوب توزیع شده می تواند LADEL را برای توزیع اجرای کتابخانه های داده کاوی موجود بدون بازنویسی الگوریتم ها به صورت موازی اجرا کند.به عنوان اثباتی بر مفهوم ، مدل LADEL بر روی Apache drill اجرا می شود تا اجرای آموزش الگوریتم های طبقه بندی Weka را توزیع نماید . مطالعات تجربی نشان می دهد که دسته بندی کننده های LADEL دارای دقت بهتری بوده و برخی اوقات حتی دقت بهتری نسبت به دسته بندی کننده های یک گره دارند که شامل آموزش قابل توجه وزمان بدست آوردن سریع تری می باشند.

Keywords:

مه داده , تجزیه و تحلیل , توزیع شده , یادگیری ماشین Classification