SoundToTabs – Transcripción de guitarra a tablatura utilizando redes neuronales

Abstract

Este proyecto surge de mi pasión por la música y mi experiencia como aficionado de guitarra y trompeta. Presenta una aplicación móvil desarrollada con Flutter que permite la transcripción musical de audio de guitarra a tablaturas. La aplicación utiliza tres modelos de redes neuronales convolucionales (CNN) implementados con TensorFlow, los cuales están desplegados en una API para realizar la transcripción musical de forma eficiente. Además de la aplicación, se entregan tres conjuntos de datos: uno de acordes, otro de notas sueltas y un tercero que combina ambos. Estos datasets han sido fundamentales para el entrenamiento y validación de los modelos CNN. Asimismo, se incluyen los modelos entrenados y una API en Flask que los despliega. El objetivo de este proyecto es abordar el desafío de la transcripción musical desde una perspectiva académica, permitiendo asimilar y mejorar conocimientos en el ámbito de las redes neuronales y la inteligencia artificial aplicada a la música. El resultado final es una aplicación móvil funcional que consigue transcribir acordes y notas de guitarra a tablaturas. Es importante señalar, que aunque la aplicación cumple con su propósito, queda trabajo por realizar para que pueda ser utilizada en un entorno profesional.

This project comes from my passion for music and my experience as an amateur guitar and trumpet player. It presents a mobile application developed with Flutter that allows musical transcription of guitar audio to tablature. The application uses three convolutional neural network (CNN) models implemented with TensorFlow, which are deployed in an API to perform music transcription efficiently. In addition to the application, three datasets are delivered: one of chords, one of single notes and a third combining both. These datasets have been fundamental for the training and validation of the CNN models. Also included are the trained models and a Flask API that deploys them. The goal of this project is to address the challenge of music transcription from an academic perspective, allowing to assimilate and improve knowledge in the field of neural networks and artificial intelligence applied to music. The end result is a functional mobile application that manages to transcribe chords and guitar notes to tablature. It is important to note that although the application fulfills its purpose, there is still work to be done to make it usable in a professional environment.