Machine Translationness: a Concept for Machine Translation Evaluation and Detection

Abstract

La tradautomaticitat és el fenomen lingüístic que fa que les traduccions automàtiques sonin a màquina. Aquesta tesi introdueix el concepte de tradautomaticitat com un objecte de recerca i presenta un mètode d¿avaluació que consisteix en determinar si la traducció és pròpia d¿una màquina en comptes de determinar la seva semblança amb una traducció humana, com en els mètodes d¿avaluació actuals. El mètode avalua la qualitat d¿una traducció amb una mètrica, la MTS (Machine Translationness Score). Aquesta mètrica és conseqüent amb la percepció de la tradautomaticitat de la gent corrent. La MTS correlaciona bé amb les valoracions de qualitat dels avaluadors humans. A més, la nostra proposta permet realitzar avaluacions de baix cost perquè no necessiten de recursos que són cars d¿obtenir (traduccions de referència, corpus d¿entrenament, etc.). El criteri de tradautomaticitat té aplicacions que van més enllà de l¿avaluació de traduccions automàtiques (detecció de plagi, detecció de publicacions no supervisades a Internet, etc.).

La tradautomacidad es el fenómeno lingüístico que hace que las traducciones automáticas suenen a máquina. Esta tesis introduce el concepto de tradautomaticidad como un objeto de investigación y presenta un método de evaluación que consiste en determinar si la traducción es propia de una máquina en vez de determinar su parecido a una traducción humana, como en los métodos de evaluación actuales. El método evalúa la calidad de una traducción con una métrica, la MTS (Machine Translationness Score). Esta métrica es consecuente con la percepción de la tradautomaticidad de la gente corriente. La MTS correlaciona bien con las valoraciones de calidad de evaluadores humanos. Además, nuestra propuesta permite realizar evaluaciones de bajo coste porque no requieren de recursos que son caros de obtener (traducciones de referencia, corpus de entrenamiento, etc.). El criterio de tradautomaticidad tiene aplicaciones que van más allá de la evaluación de traducciones automáticas (detección de plagio, detección de publicaciones no supervisadas en Internet, etc.).

Machine translationness (MTness) is the linguistic phenomena that make machine translations distinguishable from human translations. This thesis introduces MTness as a research object and presents an MT evaluation method based on determining whether the translation is machinelike instead of determining its humanlikeness as in current evaluation approaches. The method rates the MTness of a translation with a metric, the MTS (Machine Translationness Score). The MTS calculation is in accordance with the results of an experimental study on machine translation perception by common people. MTS proved to correlate well with human ratings on translation quality. Besides, our approach allows the performance of cheap evaluations since expensive resources (e.g. reference translations, training corpora) are not needed. Machine translationness ratings can be applied for other uses beyond machine translation evaluation (plagiarism and other forms of cheating, detection of unsupervised MT documents published on the Web, etc.).