Sistema de detección de instrumentos musicales en señales de audio

Abstract

En este trabajo se ha diseñado un sistema para la detección de instrumentos musicales desarrollado con el requisito innovador de tener cierta capacidad para la identificación simultánea de diversas categorías superpuestas en una misma señal, sin restricción alguna respecto a las posibles combinaciones. El enfoque empleado se basa en que el contenido frecuencial de las notas musicales se limita al entorno de la frecuencia fundamental y sus harmónicos, lo que permite bajo ciertas condiciones poder separar de forma aproximada el espectro de las distintas notas musicales superpuestas en un extracto de señal. Con este objetivo, se propone un conjunto de características calculadas a partir del espectro separado de cada nota, de forma que se puedan extraer varios vectores de un mismo segmento de señal. También se ha desarrollado un algoritmo que permite la identificación de las distintas notas superpuestas mediante la detección precisa de sus frecuencias fundamentales. Para la clasificación de los vectores se ha optado por una máquina de vectores de soporte (SVM) con Kernel cúbico tras realizar varias pruebas de comparación y optimización con distintas técnicas de machine learning. Finalmente, se ha desarrollado una App de MATLAB a modo de prototipo de pruebas del sistema. Este modelo ha sido entrenado para 26 instrumentos distintos obteniendo unas tasas aproximadas de precisión del 90% para señales con un único instrumento y del 60% en señales conteniendo de 2 a 4 instrumentos.

This project presents the design of a musical instrument detection system developed with the innovative requirement of having some ability to distinguish between different categories mixed simultaneously in the same signal, without restrictions regarding possible combinations. The approach followed is based on the fact that the spectrum of musical notes is constrained to the regions near the fundamental frequency and its harmonics. This allows, under certain conditions, to separate the approximate spectrum of different notes mixed in a signal excerpt. For this purpose, a set of features calculated from the separated spectrum of each note is proposed so that several vectors can be extracted from the same signal excerpt. An algorithm has also been developed to identify the different overlapping notes by precisely detecting their fundamental frequencies. To classify the vectors, a support vector machine (SVM) with cubic Kernel has been chosen after carrying out various comparison and optimization tests with different machine learning techniques. Finally, a MATLAB App has been developed as a prototype to test the system. This model has been trained for 26 different instruments, obtaining approximate accuracy rates of 90% for signals with a single instrument and around 60% for signals containing between 2 and 4 instruments.

En aquest treball s'ha dissenyat un sistema per a la detecció d'instruments musicals desenvolupat amb el requisit innovador de tenir certa capacitat per a la identificació simultània de diverses categories superposades en un mateix senyal, sense cap restricció respecte de les possibles combinacions. L'enfocament utilitzat es basa en què el contingut freqüencial de les notes musicals es limita a l'entorn de la freqüència fonamental i els seus harmònics, el que permet sota certes condicions poder separar de forma aproximada l'espectre de les diferents notes musicals superposades en un extracte del senyal. Amb aquest objectiu, es proposa un conjunt de característiques calculades a partir de l'espectre separat de cada nota, de manera que es puguin extraure diversos vectors d'un mateix segment del senyal. També s'ha desenvolupat un algoritme que permet la identificació de les diferents notes superposades mitjançant la detecció precisa de les seves freqüències fonamentals. Per a la classificació dels vectors s'ha optat per una màquina de vectors de suport (SVM) amb Kernel cúbic després de realitzar diverses proves de comparació i optimització mitjançant diferents tècniques de machine learning. Aquest model ha estat entrenat per a 26 instruments diferents obtenint unes taxes aproximades de precisió del 90% en senyals amb un únic instrument i del 60% per a senyals que contenen de 2 a 4 instruments.