ارزیابی هیجان ضمن پیام از طریق پردازش گفتار هیجانی مبتنی بر استفاده از ویژگیهای MFCC و STFT
Publish place: Advances in Cognitive Sciences، Vol: 22، Issue: 2
Publish Year: 1399
نوع سند: مقاله ژورنالی
زبان: Persian
View: 511
This Paper With 11 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
JR_ICSS-22-2_008
تاریخ نمایه سازی: 16 دی 1399
Abstract:
مقدمه: گفتار مؤثرترین ابزاری است که انسانها برای انتقال اطلاعات از آن استفاده میکنند. گوینده در خلال گفتار خویش علاوه بر واژگان و دستور زبان اطلاعاتی همچون سن، جنسیت و حالت هیجانی خود را منتقل میکند. پژوهشهای فراوانی با رویکردهای گوناگون پیرامون هیجان در گفتار هیجانی انجام شده است. این پژوهشها نشان میدهند که هیجان ضمن پیام در گفتار هیجانی از طبیعتی پویا برخودار میباشد. این پویایی، مطالعه کمّی هیجان در گفتار هیجانی را با دشواری همراه میسازد. این پژوهش به ارزیابی هیجان ضمن پیام از طریق پردازش گفتار هیجانی با استفاده از ویژگیهای ضرایب کپسترال فرکانس مِل (MFCC) و تبدیل فوریه زمان کوتاه (STFT) پرداخت.
روش کار: دادههای ورودی، پایگاهداده استاندارد گفتار هیجانی Berlin شامل هفت حالت هیجانی خشم، کسلی، انزجار، ترس، شادی، غم و حالت خنثی میباشد. با استفاده از نرم افزار MATLAB ابتدا فایلهای صوتی خوانده شدند. در مرحله بعد نخست ویژگیهای MFCC و سپس ویژگیهای STFT استخراج شدند. بردارهای ویژگی برای هر کدام از ویژگیها بر اساس هفت مقدار آماری کمینه، بیشینه، میانگین، انحراف معیار، میانه، چولگی و کشیدگی محاسبه شدند و به عنوان ورودی شبکه عصبی مصنوعی مورد استفاده قرار گرفتند. در انتها، بازشناسی حالتهای هیجانی با استفاده از توابع آموزشی مبتنی بر الگوریتمهای مختلف انجام شد.
یافتهها: نتایج بدست آمده نشان داد میانگین و صحت بازشناسی حالتهای هیجانی با استفاده از ویژگیهای STFT نسبت به ویژگیهای MFCC بهتر است. همچنین، حالتهای هیجانی خشم و غم از نرخ بازشناسی بهتری برخوردار بودند.
نتیجهگیری: ویژگیهای STFT نسبت به ویژگیهای MFCC هیجان ضمن پیام در گفتار هیجانی را بهتر بازنمایی میکنند.
Keywords:
Emotional speech , Emotion recognition , Short time Fourier transform , Mel-frequency Cepstral coefficients , Emotional speech processing , گفتار هیجانی , بازشناسی هیجان , تبدیل فوریه کوتاه مدت , ضرایب کپسترال فرکانس مل , پردازش گفتار هیجانی
Authors
مهسا روانبخش
دانشجوی دکتری زبان شناسی شناختی، موسسه آموزش عالی علومشناختی، تهران، ایران
سعید ستایشی
دانشیار گروه مهندسی هست۸ه ای، دانشکده فیزیک و انرژی، دانشگاه صنعتی امیرکبیر، تهران، ایران
میرمحسن پدرام
دانشیار گروه مهندسی الکترونیک و کامپیوتر، دانشکده فنی و مهندسی، دانشگاه خوارزمی، تهران، ایران
آزاده میرزایی
استادیار گروه زبان شناسی، دانشکده ادبیات و زبان های خارجی، دانشگاه علامه طباطبائی، تهران، ایران