sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2025-1-38-43sapi-729Research ArticleОбработка информации и принятие решенийData processing and decision–makingОтбор признаков на основе техники переноса обучения для классификации эмоций в речи с помощью полносвязной нейронной сети прямого распространенияTransfer learning based feature selection for feedforward neural network for speech emotion classifierКраснопрошинД. B.KrasnoproshinD. V.

Краснопрошин Д.В., аспирант каф. электронных вычислительных средств

г. Минск

Krasnoproshin D.V., PhD Student at the Department of Electronic Computing Facilities

Minsk

daniil.krasnoproshin@gmail.comВашкевичМ. И.VashkevichM. I.

Вашкевич М.И., д-р техн. наук, проф. каф. электронных вычислительных средств

г. Минск

Vashkevich M. I., PhD, Professor at the Department of Electronic Computing Facilities

Minsk

vashkevich@bsuir.byБелорусский государственный университет информатики и радиоэлектроникиБеларусьBelarusian State University of Informatics and RadioelectronicsBelarus202507042025013843Copyright © Краснопрошин Д.B., Вашкевич М.И., 20252025Краснопрошин Д.B., Вашкевич М.И.Krasnoproshin D.V., Vashkevich M.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/729

В работе исследуется задача распознавания эмоций в речи с помощью метода проектирования и отбора речевых признаков. В качестве исходных аудио признаков использовались мел-частотные кепстральные коэффициенты. В работе предлагается подход, в основе которого лежит идея переноса обучения, заключается в использовании метода пошагового исключения признаков при помощи статистических моделей – классификаторов. Отобранное подмножество признаков затем используется для обучения полносвязных нейронных сетей прямого распространения. Такой подход позволяет значительно уменьшить размер исходного признакового пространства и одновременно повысить качество предсказаний моделей. В качестве наборов данных для постановки экспериментов были использованы TESS и RAVDESS. Метрикой оценки качества классификаторов послужила невзвешенная средняя полнота (unweighted average recall – UAR). Результаты экспериментов являются многообещающими (UAR для TESS = 82 %, UAR для RAVDESS = 53 %), тем самым демонстрируя перспективность предложенного подхода к задаче классификации эмоций по речи.

This work discusses speech emotion recognition via custom feature engineering and feature selection techniques using mel-frequency cepstral coefficients as initial audio features. Proposed transfer learning approach consist in employing the backward-step selection algorithm for feature selection using statistical learning classifiers, the obtained subset of features than subsequently used to train feedforward neural networks. This technique allowed us to significantly reduce initial feature vector size while increasing models’ prediction quality. We used TESS and RAVDESS datasets to estimate the performance of proposed method. To evaluate the quality of the model, unweighted average recall (UAR) was used. Experimental results demonstrate promising accuracy (UAR = 82 % for TESS and UAR = 53 % for RAVDESS), showcasing the potential of this approach for applications like virtual agents, voice assistants and mental health diagnostics.

распознавание эмоцийотбор признаковМЧККнейронные сетилинейный дискриминантный анализметод опорных векторовspeech emotion recognitionfeature selectionMFCCneural networkslinear discriminant analysissupport vector machineReferencesIssa D. Speech emotion recognition with deep convolutional neural networks / D. Issa, M. Demirci, A. Yazici // Biomedical Signal Processing and Control. – 2020. – Vol. 59. – Pp. 1-11.Issa D. Speech emotion recognition with deep convolutional neural networks / D. Issa, M. Demirci, A. Yazici // Biomedical Signal Processing and Control. – Vol. 59. – 2020. – P. 1-11.Baruah M., Banerjee B. Speech emotion recognition via generation using an attention-based variational recurrent neural network // Proceedings of the INTERSPEECH. – 2022. – Pp. 4710-4714.Baruah M., Banerjee B. Speech emotion recognition via generation using an attention-based variational recurrent neural network // Proceedings of the INTERSPEECH. – 2022. – P. 4710-4714.Краснопрошин Д.В., Вашкевич М.И. Метод распознавания эмоций в речевом сигнале с использованием машины опорных векторов и надсегментных акустических признаков // Доклады БГУИР. – 2024. – Т. 22. – № 3. – С. 93-100.Krasnoproshin D.V., Vashkevich M.I. Speech emotion recognition method based on support vector machine and suprasegmental acoustic features // Doklady BGUIR. – 2024. – Vol. 22. – № 3. – P. 93-100. (In Russ.)Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / пер. с англ. А.А. Слинкина. М.: ДМК Пресс, 2015. 400 с.Flach P. Machine Learning: The Art and Science of Algorithms that Make Sense of Data. // Cambridge University Press, 2012. – 410 p.Tsanas A. et al. Novel speech signal processing algorithms for high-accuracy classification of Parkinson's disease // IEEE transactions on biomedical engineering. – 2012. – Т. 59. – № 5. – P. 1264-1271.Tsanas A. et al. Novel speech signal processing algorithms for high-accuracy classification of Parkinson's disease // IEEE transactions on biomedical engineering. – 2012. – Vol. 59. – № 5. – P. 1264-1271.Huang S. H. Supervised feature selection: A tutorial //Artif. Intell. Res. – 2015. – Т. 4. – № 2. – С. 22-37.Huang S. H. Supervised feature selection: A tutorial //Artif. Intell. Res. – 2015. – Vol. 4. – № 2. – P. 22-37.Джеймс Г. и др. Введение в статистическое обучение с примерами на языке R / Г. Джеймс, Д. Уиттон, Т. Хасти, Р. Тибширани //М.: ДМК Пресс, 2016. – 450 с.James G. et al. An Introduction to Statistical Learning: With Applications in R / G. James, T. Hastie, R. Tibshirani, D. Witten // Springer, 2013. – 426 p.Pichora-Fuller, M. Kathleen, and Kate Dupuis. Toronto Emotional Speech Set (TESS). Borealis, 2020. https://doi.org/10.5683/SP2/E8H2MFPichora-Fuller, M. Kathleen, and Kate Dupuis. Toronto Emotional Speech Set (TESS). Borealis, 2020. https://doi.org/10.5683/SP2/E8H2MFLivingstone, Steven R., and Frank A. Russo. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS). Zenodo, 2018. https://doi.org/10.5281/zenodo.1188975Livingstone, Steven R., and Frank A. Russo. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS). Zenodo, 2018. https://doi.org/10.5281/zenodo.1188975.Luna-Jiménez C. Multimodal emotion recognition on RAVDESS dataset using transfer learning / C. Luna-Jiménez, Griol, Z. Callejas, R. Kleinlein, J. M. Montero, F. Fernández-Martínez // Sensors. – 2021. – Vol. 22. – Pp. 1–29.Luna-Jiménez C. Multimodal emotion recognition on RAVDESS dataset using transfer learning / C. Luna-Jiménez, Griol, Z. Callejas, R. Kleinlein, J. M. Montero, F. Fernández-Martínez. Sensors. – 2021. – Vol. 22. – P. 1–29.

The authors declare that there are no conflicts of interest present.