تشخيص و دسته‌بندي صوت لكنت در افراد با استفاده از يادگيري عميق

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

لكنت زبان يك اختلال گفتاري است كه در آن گفتار به دليل توقف‌هاي غيرارادي و تكرار صداها قطع مي‌شود. تشخيص خودكار لكنت از گفتار مي‌تواند نقش مؤثري در توسعه ابزارهاي درماني و ارزيابي‌هاي باليني ايفا كند. با اين حال، روش‌هاي موجود مبتني بر ويژگي‌هاي دست‌ساخت يا شبكه‌هاي عصبي عميق مبتني بر CNN و LSTM، اغلب با محدوديت دقت يا هزينه محاسباتي بالا همراه هستند. در اين پژوهش، براي نخستين بار از مدل‌هاي فضاي حالت (State Space Models) به ويژه معماري Mamba براي تشخيص لكنت استفاده مي‌شود. دو رويكرد دنبال شده است: نخست، تنظيم دقيق مدل از پيش‌آموزش‌ديده SSAMBA بر روي داده‌هاي لكنت و دوم، طراحي مدل سبك و كارآمد MambaStutter كه از يك لايه كانولوشني فشرده همراه با يك لايه Mamba دوطرفه تشكيل شده است. مدل‌ها روي مجموعه‌داده متوازن VCTK-TTS شامل 50,000 قطعه صوتي از پنج نوع لكنت ارزيابي شدند. مدل پيشنهادي MambaStutter با 7/3 ميليون پارامتر و بدون نياز به پيش‌آموزش خارجي، به دقت %80/84 مي‌رسد كه در عين حال از نظر سرعت و حافظه بسيار كارآمدتر از روش‌هاي پايه است. اين پژوهش، مسير جديدي براي رمزگشايي كارآمد ناهنجاري‌هاي گفتار با استفاده از مدل‌هاي فضاي حالت مي‌گشايد و معماري MambaStutter را به عنوان گزينه‌اي مناسب براي كاربردهاي بلادرنگ روي دستگاه‌هاي همراه معرفي مي‌كند.

238472

مخابرات سيستم

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان