الگوریتم خوشه بندی در حذف داده های زائد از انباره داده

غالبا داده های موجود در پایگاه داده ها از کیفیت مناسبی برخوردار نمی باشند و خطا در ورود داده ها، وجود ناسازگاری ها، اطلاعات ناقص، داده های غیر استاندارد، اطلاعات تکراری و... نمونه هایی از علل کاهش کیفیت داده ها می باشند. با توجه به حجم عظیم داده ها در پایگاه های داده موجود، امکان پالایش دستی داده ها وجود ندارد و نیاز به تکنیکهای خودکار برای این کار هست. در این مقاله یک روش داده کاوی تشخیص الگوهای پرت معرفی شده است که سرعت اجرای آن بالاست و با استفاده از آن می توان داده های پرت و ناهمگون با بقیه داده های موجود در پایگاه داده ها را شناسایی کرد و بدین ترتیب برای پالایش خودکار داده های در حجم بسیار زیاد از اهمیت بالایی برخوردار خواهد بود. روش پیشنهادی از دو فاز عمده تشکیل شده است، ابتدا کل داده ها توسط تکنیک داده کاوی k-means خوشه بندی می شوند، سپس روش پیشنهادی با سرعت بالا داده های پرت درون هر خوشه را آشکارسازی خواهد کرد.

Keywords:

داده کاوی , پاکسازی داده , پایگاه داده