یک روش آماری مبتنی بر پیکره برای جداسازی واژههای به هم چسبیده

در این مقاله، یک روش آماری مبتنی بر پیکره برای شناسایی واژههای به هم چسبیده معرفی شد. این روش، با استفاده از معیاراحتمال شرطی متقارن تعیین میکند که آیا یک عنصر متنی، یک واژهی کامل است یا مجموعهای از واژههای به هم چسبیده است. روشپیشنهادی روی یک مجموعهی 18000 تایی از اخبار ورزشی مورد آزمایش قرار گرفت و نتایج قابل قبولی را نشان داد. به ازای هر دوآستانهی 0,001 و 0,0001 تعداد نمونههایی که به درستی از هم جدا شدند به کل نمونههای جداشده نسبت قابل قبولی (بیش از 80 درصد در مورد نمونههای جداشده به دو بخش) را نشان داد.

Keywords:

پیکرهی متنی , تعیین مرز واژهها , باهمآیی , احتمال شرطی متقارن