Evaluación de traducciones realizadas con un modelo neuronal y uno estadístico: valoración de resultados para los pares francés-español e inglés-español

Abstract

Este trabajo de fin de máster compara los sistemas de traducción automática estadística y neuronal, y evalúa las traducciones obtenidas a partir de modelos de ambos sistemas creados en plataformas de código abierto. Por un lado, se presenta un modelo creado con Moses, una estructura que permite crear modelos de traducción automática estadística (TAE). Por otro lado, se presenta un modelo creado con Marian, un conjunto de herramientas que da soporte para la creación de modelos de traducción automática neuronal (TAN). Se utilizan los corpus bilingües en línea MultiUN, que permiten responder a la necesidad de cantidad y calidad de datos para entrenar los modelos de TAN y TAE en los pares francés-español e inglés-español. Las traducciones producidas con estos dos modelos se evalúan con métricas manuales que incluyen un proceso de posedición simple y anotación de errores. Se contrastan los resultados con traducciones generadas con un motor de traducción automática comercial y se califican con métricas automáticas. La evaluación ayuda a definir las fortalezas y debilidades de cada sistema e identificar los errores de traducción más comunes. Según el desempeño de los modelos, es posible dar una valoración que podría permitir considerarlos parte integrante de un proceso más amplio de traducción aumentada, que concibe a la traducción automática como una herramienta y, al traductor, como parte central del flujo de trabajo.

This project compares statistical and neural machine translation systems, and assesses translations generated by models of both systems created on open source frameworks. The first model is created using Moses, a structure that allows the creation of statistical machine translation (SMT) models. While the second model is created using Marian, a toolkit that supports the creation of neural machine translation (NMT) models. MultiUN bilingual corpora are used, which allow to build both SMT and NMT models with quantity and quality of data for the French-Spanish and English-Spanish translations. The resulting translations are assessed using manual metrics, including a light post-editing process and error annotation. The results are benchmarked with a third translation obtained from an open-access machine translation engine. Automatic metrics are calculated with the three translations. The evaluation helps to define the strengths and weaknesses of each system, and to identify the most common translation errors. The performance of the models allows to ascertain if they could be considered an integral part of a broader process of augmented translation, which regards machine translation as a tool, while the translator is at the core of the translation workflow.

Aquest treball compara els sistemes de traducció automàtica estadística i neuronal, i avalua les traduccions obtingudes a partir de models de tots dos sistemes creats en plataformes de codi obert. Per un costat, presenta un model creat amb Moses, una estructura que permet crear models de traducció estadística automàtica (TAE). Per un altre costat, es presenta un model creat amb Marian, un conjunt d'eines per a la creació de models de traducció automàtica neuronal (TAN). S'utilitzen els corpus bilingües en línia multiUN, que permeten respondre a la necessitat de quantitat i qualitat de dades per a encaixar els models de TAN i TAE. Les traduccions produïdes amb aquests dos models s'avaluaran amb manuals tècnics que inclouen un procés de plantejament senzill i una anotació d'errors. Es contrasten els resultats amb traduccions generades amb un motor de traducció automàtica comercial i qualificant amb mètriques automàtiques. L'avaluació ajuda a definir les fortaleses i les debilitats de cada sistema i identificar els errors de traducció més comunitaris. Segons el disseny dels models, és possible donar una valoració que pot permetre tenir en compte una part integrant d'un procés més ampli de traducció augmentada, que es converteix en una traducció automàtica com una eina i, al traductor, com a part central del flux de treball.