بررسی مراحل پیش پردازش داده ها در پیش بینی مصرف انرژی به روش داده کاوی

اولین و مهمترین بخش از هر کار استخراج اطلاعات، انجام عمل پیش پردازش بر روی مجموعه داده (پیش پردازش بر روی مجموعه داده حجیم)می باشد. این کار وقت گیر، طاقت فرسا و نیازمند حوصله و گذاشتن وقت می باشد. یکی از حوزه هایی که داده های آن برای تحلیل رفتار مشتریان و بازدید کنندگان مهم می باشد حوزه وب و دیگری مصرف انرژی می باشد. در این حوزه ها نیاز است تحلیل شود مشتری قصد دارد چکار کند، برای چه به سایت سر زده، می توان چه پیشنهاداتی به وی داد یا چه میزان مصرف انرژی داشته، در چه ساعاتی بیشترین مصرف انرژی را داشته و چه الگوی مصرفی را می توان به مشترک پیشنهاد داد. استخراج اطلاعات مهم وی نیازمند استخراج رفتار وی در سایت ها یا میزان و ساعات مصرف انرژی می باشد. استخراج این رفتار از روی عملکرد وی به صورت کامل قابل استخراج است.کار با داده های بزرگ، خود تخصص خاص خود را می طلبد، زیرا کار با این داده ها در نرم افزار هایی مانند متلب، به سرعت پیامی با محتوی Out of memory را ظاهر می کند. همچنین در نرم افزار هایی مانند سی شارپ نیز، باید از روش ها و تکنیک های مختلفی استفاده کرد تا بتوان به درستی و بهینه با داده های حجیم کار کرد. بنابراین مرحله آماده سازی داده ها مهم ترین و زمان برترین مرحله در پروژه های داده کاوی است. انجام عملیاتی چون پاکسازی داده ها، پرکردن مقادیر گمشده، تبدیل داده ها و استفاده از الگوریتم های کاهش داده جهت سرعت بخشیدن به فرایند پردازش بسیار می تواند مفید واقع شوددر این مقاله به بررسی راهکارهای پیش پردازش داده ها جهت تسریع در فرایند پردازش پرداخته شده است.

Keywords:

داده کاوی , پیش پردازش , پاکسازی داده , کاهش داده