ترکیب فرایند تطبیق داده و خوشه بندی جهت تشخیص رکوردهای تکراری

پیوند رکورد، فرایند تطبیق رکوردهای چند پایگاه داده می باشد که به یک موجودیت اشاره دارند. در صورت استفاده از یک پایگاه داده، این فرایند را حذف تکرار گوییم. اهمیت داده های تطبیق داده شده، بطور فزاینده ای در بسیاری از حوزه های کاربردی، در حال افزایش می باشد، زیرا می توانند حاوی اطلاعاتی باشند که بدست آوردن آن ها از راه هایدیگر، سیار هزینه بر است. حذف رکوردهای تکراری در یک پایگاه داده، گامی مهم در فرایند پاکیزه سازی داده ها بشمار می رود، زیرا تکرار می تواند اثر جدی بر نتایج هر گونه پردازش بعدی یا داده کاوی، داشته باشد. با افزایش اندازه پایگاه های داده امروزی، پیچیدگی فرایند تطبیق، به یکی از چالش های مهم برای پیوند رکورد و حذف تکرار، تبدیل شده است، به طوری که شناسایی و از بین بردن آن ها تاثیر بینایی در سرعت پردازش و تحلیل اطلاعات دارد که روز به روز با افزایش حجم داده های موجود در جهان بر اهمیت آن افزوده می شود.روش معمول فرایند تطبیق مستلزم انجام مراحلی است که هر یک از این مراحل دارای پیچیدگی خاصی می باشند.در روش پیشنهادی با استفاده از الگوریتم های خوشه بندی انتظار داریم به جای مرتبه زمانی درجه دوم فرایند تطبیق، مرتبه زمانی الگوریتم های خوشه بندی حاصل شود که باعث افزایش سرعت فرایند تطبیق و حذف تکرار می شود.

Keywords:

تطبیق داده , پیوند داده , شاخص گذاری , مرتبه ی زمانی , خوشه بندی