Speak-ON: Sistema de comunicación audiovisual para personas con déficit sensorial y traducción comunicativa

Abstract

El proyecto Speak-on ha consistido en el análisis y desarrollo del prototipo de unas lentes de ayuda cognitiva en la comunicación, traducción del lenguaje y síntesis de voz mediante el procesamiento de las conversaciones de un sujeto en siete idiomas: catalán, inglés, alemán, francés, italiano, portugués y español, presentación del texto procesado en una pantalla e integración de la síntesis de voz en el medio audiovisual .En el prototipo se ha utilizado una placa Arduino (capa de presentación) y un procesador del fabricante Onion (capa física), con el propósito de diseñar un producto con una interfaz web accesible. Se han analizado diferentes soluciones, lenguajes y métodos de implantación: JavaScript, PHP, Python, Processing, etc. Los diversos algoritmos de cada procedimiento han sido desarrollados integrando una selección previa de determinadas API implicadas en el proyecto: bloque STT ¿speech to text ¿(habla-texto),bloque de traducción, síntesis de voz, ,TTS ¿text to speech¿(texto-habla), además, el examen cuantitativo efectuado, ha sido determinante en la implantación. Por otro lado, el principal objetivo del proyecto ha sido elaborar una solución que facilite a personas con discapacidad visual o auditiva un sistema de transcripción multilenguaje si un conocimiento previo del medio evitando periodos de adaptación.Finalmente, se ha concluido que es posible ofrecer un elemento cognitivo ,eficaz y accesible con un impacto económico reducido. Es importante señalar que se ha construido un modelo del dispositivo, con el objeto de, examinar las limitaciones de tamaño y peso, características que serán recomendables revisar en futuras versiones de comercialización.

El projecte Speak-on ha consistit en l'anàlisi i desenvolupament del prototip d'unes lents d'ajuda cognitiva en la comunicació, traducció del llenguatge i síntesi de veu mitjançant el processament de les converses d'un subjecte en set idiomes: català, anglès, alemany, francès, italià, portuguès i espanyol, presentació del text processat en una pantalla i integració de la síntesi de veu en el mitjà audiovisual .En el prototip s'ha utilitzat una placa Arduino (capa de presentació) i un processador del fabricant Onion (capa física ), amb el propòsit de dissenyar un producte amb una interfície web accessible. S'han analitzat diferents solucions, llenguatges i mètodes d'implantació: JavaScript, PHP, Python, Processing, etc. Els diversos algoritmes de cada procediment han estat desenvolupats integrant una selecció prèvia de determinades API implicades en el projecte: bloc STT "speech to text" (parla-text), bloc de traducció, síntesi de veu, TTS "text to speech" ( text-parla), a més, l'examen quantitatiu efectuat, ha estat determinant en la implantació. D'altra banda, el principal objectiu del projecte ha estat elaborar una solució que faciliti a persones amb discapacitat visual o auditiva un sistema de transcripció multillenguatge si un coneixement previ del medi evitant períodes de adaptación.Finalmente, s'ha conclòs que és possible oferir un element cognitiu, eficaç i accessible amb un impacte econòmic reduït. És important assenyalar que s'ha construït un model del dispositiu, amb l'objecte de, examinar les limitacions de grandària i pes, característiques que seran recomanables revisar en futures versions de comercialització.

The Speak-on project has been consisted of the analysis and development of the prototype cognitive aid lenses in communication, language translation and speech synthesis by processing people's conversations in seven languages: Catalan, English, German, French, Italian, Portuguese and Spanish, presentation of text processed on a screen and integration of speech synthesis into Audiovisual Media. In the prototype has been used an Arduino board (presentation layer) and an onion processor (physical layer) to design a product with an accessible web interface. Has been analysed different solutions, languages and methods of implementation: JavaScript, PHP, Python, processing, etc.The different algorithms of each procedure have been developed by integrating a pre-selection of certain API involved in the project: STT block (voice-text), Translate block, speech synthesis, TTS (text-to-speech), in addition, the quantitative examination carried out, has been instrumental in the implementation. In the same way, the main objective of the project has been to develop a solution that provides people with visual or hearing disabilities with a multi-language transcription system, eliminating adaptation periods. Finally, has been concluded that it is possible to design a prototype cognitive, effective and accessible with a reduced economic impact. It is important to bear in mind that a model of the device has been built to examine size and weight limitations, features that will be recommended for review in future marketing version.