Implementation of a spoken language system

Abstract

This project consists of a implementation of a Spoken Language System that is part of the dialogue systems like Siri. The system is constituted by two independent blocks: Automatic Speech Recognition, in charge of identifying who is verbalizing the user and transforming a text, and the Spoken Language System, in charge of reading the text, identifying the significant parts of said text. Each of the compo- nents has been trained with different techniques and datasets since it does not share a common goal. In particular, for the development of the ASR module we have worked with a previously selected subset of the VoxForge English dataset, whose data has been trained using Hidden Markov Models for gener- ate the Acoustic Model. On the other hand, for the development of the SLU module we have worked with Recurrent Neural Networks and a variant of the ATIS dataset previously trained with the Word Embedding method. Although the precision obtained in all the components is more than acceptable, the performance of the integration of both components results unstable.

Este proyecto consiste en la implementación de un sistema de lenguaje que forma parte de los sistemas de diálogo como Siri. El sistema está constituido por dos bloques independientes: Automatic Speech Recognition, encargado de identificar aquello que está verbalizando el usuario y transformalo a texto, y el Spoken Language System, encargado de dotar comprensión al texto, identificando las partes significativas de dicho texto. Cada uno de los componentes se ha entrenado con técnicas y datasets distintos ya que, no comparten un objetivo común. En concreto, para el desarrollo del módulo ASR se ha trabajado con un subset previamente seleccionado del dataset VoxForge English, cuyos datos han sido entrenados mediante Hidden Markov Models. Por otro lado, para el desarrollo del módulo SLU se ha trabajado con Redes Neuronales Recurrentes y un variante del dataset ATIS previamente entrenado con el método Word Embedding. Pese a que la precisión obtenida en los cada uno de los es más que aceptable, el funcionamiento de la integración de ambos resulta inestable.

Aquest projecte consisteix en la implementació d'un sistema de llenguatge que forma part dels sistemes de diàleg com Siri. El sistema està constituït per dos blocs independents: Automatic Speech Recognition, encarregat d'identificar allò que està verbalizando l'usuari i transformalo a text, i el Spoken Language System, encarregat de dotar comprensió al text, identificant les parts significatives d'aquest text. Cadascun dels components s'ha entrenat amb tècniques i datasets diferents ja que, no comparteixen un objectiu comú. En concret, per al desenvolupament del mòdul ASR s'ha treballat amb un subset prèviament seleccionat del dataset VoxForge English, les dades del qual han estat entrenats mitjançant Hidden Markov Models. D'altra banda, per al desenvolupament del mòdul SLU s'ha treballat amb Xarxes Neuronals Recurrents i un variant del dataset ATIS prèviament entrenat amb el mètode Word Embedding. Malgrat que la precisió obtinguda en els cadascun dels és més que acceptable, el funcionament de la integració de tots dos resulta inestable.