بررسی مدل های احتمالاتی تطبیق رکورد در پایگاه داده های بزرگ

تشخیص رکورد تکراری، فرآیندشناسایی رکوردهای چند گانه و مختلف است که به یک شی یا نهاد منحصر به فرد از جهان واقعی اشاره می کند. با تشخیص رکورد تکراری، کیفیت داده ها افزایش می یابد. برای شناسایی تکرار، باید شباهت رکوردها محاسبه شود . الگوریتم ها تطبیق رکورد شامل روش های احتمالاتی، یادگیری بدون نظارت، یادگیری نظارت شده و غیره می باشد. هدف این مقاله بررسی جدیدترین رویکردهای مبتنی بر مدل های احتمالاتی تطبیق است. مدل های احتمالاتی تطبیق شامل مدلهای تصمیم گیری بیز با حداقل خطا و حداقل هزینه، مدل Reject Region و مدل Fellegi-Sunter می باشد که در این مقاله مدل ها معرفی شده است. سپس معیارهای ارزیابی که شامل Precision و Recall و F-measure می باشد بر روی الگوریتم ها انجام شده است. هر چه معیارهای ارزیابی بالاتر باشد کارایی الگوریتم بهتر است. نتایج مقایسه الگوریتم ها نشان میدهد که مقدار F-measure مدل Fellegi-Sunter با معیار فاصله TF-IDF+Jaro بیشتر است، بنابراین عملکرد بهتری را در بین مدل ها دارا می باشد.

Keywords:

تشخیص رکورد تکراری , مدل احتمالاتی تطبیق رکورد , بردار مقایسه رکورد , معیارهای ارزیابی