Вишняков Владимир Анатольевич, д.т.н., профессор, профессор БГУИР, кафедра ИКТ
г. Минск
Vishniakou Uladzimir Anatolyevich, Doctor of Technical Sciences, Professor, Professor
Minsk
Хэ Тао, магистрант факультета ИКТ
г. Минск
He Tao, master student of ICT department
Minsk
Предметом исследований является использовании технологии обработки голоса пациента в ИТ-медицине. Цель статьи – разработать нейронную сеть для диагностики заболеваний легких с помощью звукового анализа голоса пациента. Исследование включает в себя обучение нейронной сети, разработку мобильной программы для сбора звука пациента, извлечение звуковых характеристик на стороне сервера, диагностику звуковых данных с использованием обученной нейронной сети и возврат результатов диагностики в мобильную программу приложения. Представлена блок-схема обработки голоса от исходного сигнала до извлечения аудиофайла, в качестве примера приведено извлечение функций MFCC и FBank. Приведена структура сверточной нейронной сети (CNN), которая была обучена на стандарном наборе данных респираторных заболеваний. Приведен упрощенный процесс классификации звуков дыхания, необходимых для прогнозирования заболеваний легких. Для практической реализации использована в среде программирования Pyton сеть VGGish, которая имеет сетевые параметры, обученные с помощью набора данных. Эксприменты проведены на платформе Android service framework, которая разделена на две части: Android front-end и серверную. Интерфейсная часть реализует интерактивную функцию пользователя и отвечает за ввод аудиоданных. После загрузки аудио сервер выполнит предварительную обработку аудио, и вызовет CNN для классификации аудио, результаты возвращаются во внешний модуль на смартфоне. Лучшая точность модели достигла 83,6 %.
The subject of research is the use of voice processing technology of the patient in IT medicine. The purpose of the article is to develop a neural network for the diagnosis of lung diseases using sound analysis of the patient's voice. The study includes training of a neural network, development of a mobile program for collecting patient sound, extraction of sound characteristics on the server side, diagnostics of sound data using a trained neural network and return of diagnostic results to the mobile application program. A block diagram of voice processing from the source signal to the extraction of an audio file is presented, as an example, the extraction of MFCC and FBank functions is given. The structure of a convolutional neural network (CNN), which was trained on a standard dataset of respiratory diseases, is given. A simplified process of classification of breathing sounds necessary for the prediction of lung diseases is given. For practical implementation, the VGGish network is used in the Python programming environment, which has network parameters trained using a data set. The experiments were carried out on the Android service framework platform, which is divided into two parts: Android front-end and server. The interface part implements the interactive user function and is responsible for entering audio data. After downloading the audio, the server will pre-process the audio, and call CNN to classify the audio, the results are returned to an external module on the smartphone. The total accuracy of the model reached 83.6 %.
The authors declare that there are no conflicts of interest present.