ارایه ی یک جداساز کلمات با استفاده از عبارات باقاعده

این مقاله، به ارایه و تجزیه و تحلیل یک جداساز کلمات میپردازد. این جداساز با استفاده از عبارات باقاعده به جداسازی کلمات موجود در مجموعهای از نوشته جات میپردازد. در واقع، بنیان این جداساز بر استفاده از قابلیت جایگزینی در عبارات باقاعده بنا نهاده شده است. جداساز پیشنهادی این مقاله، میتواند کلمات فارسی، انگلیسی، علایم و ... را تشخیص داده و به خوبی از عهده ی جداسازی آنها برآید. در فرایند پردازش یک متن، برخورد با عباراتی که متفاوت از حالت معمول باشند، امری اجتناب ناپذیر است. در فرایند پیادهسازی این جداساز، سعی شد که حتی الامکان، کلمات به خوبی جداسازی شده و تعداد تکرار آنها مشخص شوند. خروجی که این جداساز به یک کاربر خواهد داد، شامل متن مورد پردازش، کلمات موجود در متن به صورت جدا شده و با تکرار (Words) ، تعداد کلمات موجود در متن، کلمات موجود درمتن بدون تکرار (Vocabulary)، تعداد کلمات بدون تکرار و در نهایت لیستی شامل هر لغت به همراه تعداد تکرار آن در متن مورد نظر خواهد بود. این لیست، یکبار بر روی لغات و بار دیگر بر روی تعداد تکرار مرتب خواهد بود.

Keywords:

جداساز , پیکره , عبارات باقاعده , جایگزینی , پردازش زبان طبیعی