Reducción de ruido en señales de audio basada en una red neuronal convolucional

Abstract

En este TFG se implementa un sistema de reducción de ruido en señales de habla basado en una Red Neuronal Convolucional (CNN). Un módulo de transformación de características extrae la magnitud y la fase de la señal de audio a partir del cálculo de la STFT. La CNN mapea la magnitud del espectro de la señal de entrada con ruido a una magnitud de espectro con ruido reducido. Un módulo de reconstrucción de la señal reconstruye la señal de audio con ruido reducido a partir del cálculo inverso de la STFT. Se utiliza como base de datos para el entrenamiento y test de la CNN el corpus catalán de Mozilla Common Voice. Para obtener la señal con ruido se añade AWGN con SNR = 0 dB a las señales de audio limpias. Todo el sistema se implementa sobre MATLAB. Para la medida de la eficacia del sistema se utilizan las métricas PESQ y STOI. Las pruebas sobre el sistema muestran resultados positivos para relaciones SNR iguales a las utilizadas durante el entrenamiento, pero el aumento de la distorsión para relaciones SNR mayores disminuye la inteligibilidad general.

En aquest TFG s'implementa un sistema de reducció de soroll en senyals de parla basat en una Xarxa Neuronal Convolucional (CNN). Un mòdul de transformació de característiques extrau la magnitud i la fase del senyal d'àudio a partir del càlcul de la STFT. La CNN mapeja la magnitud de l'espectre del senyal d'entrada amb soroll a una magnitud d'espectre amb soroll reduït. Un mòdul de reconstrucció del senyal reconstrueix el senyal d'àudio amb soroll reduït a partir del càlcul invers de la STFT. S'utilitza com a base de dades per a l'entrenament i test de la CNN el corpus català de Mozilla Common Voice. Per obtenir el senyal amb soroll s'afegeix AWGN amb SNR = 0 dB als senyals d'àudio nets. Tot el sistema s'implementa sobre MATLAB. Per a la mesura de l'eficàcia del sistema s'utilitzen les mètriques PESQ i STOI. Les proves sobre el sistema mostren resultats positius per a relacions SNR iguals a les utilitzades durant l'entrenament, però l'augment de la distorsió per a relacions SNR majors disminueix la intel·ligibilitat general.

This project describes a speech enhancement system implementation based on a Convolutional Neural Network (CNN). A feature transform module computes the STFT and extracts spectral phase and magnitude from the speech signal. The CNN maps the spectrum magnitude of an input noisy speech signal to an output enhanced spectrum. A reconstruction module computes inverse STFT to recover the speech enhanced audio signal. Mozilla Common Voice database, in its Catalan corpus version, is used to perform training and testing. Noisy audio samples are obtained adding AWGN with 0 dB SNR to clean speech signals. PESQ and STOI objective metrics are used to measure system performance. System evaluation shows positive results when using SNR levels as in training, while overall intelligibility deteriorates when using higher SNR levels due to phase distortion.