Un modelo para traducir, otro para evaluar: Cómo estamos desarrollando la evaluación de la calidad de la traducción para DeepL

El problema de las traducciones con IA es que parecen perfectas, aunque no lo sean. Como los errores no saltan a la vista a primera vista, tienes que fiarte de lo que dice el modelo de IA de que todo está correcto. La única alternativa es pedir a profesionales del idioma que revisen el trabajo, línea por línea, en busca de errores, traducciones incompletas y cambios sutiles de significado que a un no experto probablemente se le pasarían por alto.

Esta necesidad interminable de revisar es una de las quejas más habituales que tienen los equipos de localización sobre las traducciones con IA. Esto plantea una pregunta fundamental para cualquiera que se dedique a la investigación en IA aplicada a los idiomas. ¿Cómo pueden las traducciones automáticas ganarse la confianza de las organizaciones que confían en ellas? ¿Cómo pueden evitar que los revisores humanos tengan que repasar el trabajo que ya han hecho, solo para asegurarse?

Creación de un modelo de IA independiente de TQE para DeepL

Resulta que la IA puede resolver este problema, pero no puede hacerlo mediante el mismo modelo de IA que creó la traducción en un primer momento. Las pruebas de calidad han demostrado que, cuando los modelos de lenguaje grande (LLM) revisan traducciones, se inclinan por los resultados de su propio modelo y pasan por alto sus posibles puntos débiles. Cuando se trata de IA, no puedes ganarte la confianza pidiendo a un modelo que revise su propio trabajo. Sin embargo, sí puedes hacerlo creando y entrenando un modelo diferente que se centre por completo en identificar cualquier error potencial o significado erróneo.

Eso es precisamente lo que han estado haciendo Marta Danylenko, directora sénior de producto de DeepL; Martin Berger, investigador científico sénior; y el resto del equipo que hay detrás de nuestra herramienta de evaluación de la calidad de la traducción (TQE). Han desarrollado un modelo de IA independiente para TQE con un objetivo concreto: someter las traducciones a pruebas de estrés y clasificar cualquier error o posible error que los clientes deban conocer.

Cómo funciona TQE en la práctica

El editor experto de IA de TQE revisa las traducciones segmento por segmento, mostrando el texto de partida y el traducido uno al lado del otro. En una columna aparte, resalta cualquier posible problema en la traducción, con una categoría de gravedad: «Crítico», «Grave» o «Leve». Los revisores humanos pueden ir directamente a cada posible problema, revisar el segmento, cambiar la traducción directamente, marcarla como resuelta o, si lo prefieres, simplemente ignorar la señal.

Esto plantea una pregunta obvia, y una que Marta y Martín tienen que responder muy a menudo:  Si TQE sabe que hay errores, ¿por qué no los corrige directamente? ¿Para qué involucrar a revisores humanos? La razón tiene que ver con la naturaleza de los propios errores. Y eso es consecuencia directa de cómo funciona la IA.

La IA se gana la confianza sobre todo identificando los errores que no puede corregir

Los modelos de IA son, en esencia, probabilísticos. Hacen estimaciones estadísticas muy recopiladas con una precisión increíble, pero siguen siendo solo estimaciones —y a veces se equivocan—. Cuando falta información crucial, esa probabilidad aumenta. Otro modelo puede detectar la divergencia y la posible ambigüedad, pero no puede solucionarlo sin hacer otra suposición. Es mucho mejor que intervenga una persona.

A veces, la falta de contexto que lleva a conjeturas erróneas se debe al conocimiento implícito: algo que la IA no puede saber, pero que un traductor humano sí. A veces se debe a la propia naturaleza del texto de partida. Puede que contenga errores gramaticales que confundan al modelo de IA. Incluso puede contener errores gramaticales a propósito que forman parte de una elección de estilo. Un traductor de IA tiene que rellenar los huecos, adivinando la intención y el significado. Un modelo diseñado específicamente para la evaluación de la calidad puede detectar esta divergencia respecto al original y señalarla.

El equilibrio entre precisión y recuperación: ¿Qué nivel de rigor debe tener un modelo TQE?

Para Martin, Marta y el equipo, los debates realmente interesantes empezaron con la pregunta de cómo clasificar estos «errores» en la traducción y qué grado de gravedad atribuir a cada uno. Empezaron utilizando el marco de trabajo de Métricas de Calidad Multidimensionales (MQM), de larga tradición, para la calidad de la traducción, que se centra en aspectos como la gramática, la ortografía y la legibilidad, así como en si una traducción se ajusta con precisión al texto de partida. 

Sin embargo, al trabajar con expertos en idiomas, el equipo se dio cuenta rápidamente de que los tipos de errores cambian cuando se trata de una traducción generada por IA en lugar de por un humano. En la traducción automática no hay errores tipográficos. Sin embargo, hay muchas ocasiones en las que se pone de manifiesto la falta de conocimiento implícito.

Por eso, el objetivo de TQE nunca ha sido sustituir a los revisores humanos. Al combinar un modelo de traducción con uno de evaluación, nos aseguramos de que la IA sea capaz de detectar sus propias limitaciones y recurrir a esos revisores cuando sea necesario, lo que les ahorra un tiempo crucial. Siguen siendo una parte esencial del proceso. El objetivo es que puedan trabajar con la IA de una forma más satisfactoria.

Esto requiere un equilibrio: por un lado, señalar todo tipo de posibles errores sin generar más trabajo para los revisores, y por otro, emitir alertas solo para aquellos que tengan implicaciones graves. Por eso, los debates sobre qué constituye un error de traducción «crítico», «grave» o «leve» fueron algunos de los más interesantes durante el desarrollo de TQE. 

Trabajando con los clientes para crear la mejor versión de TQE

Ajustar el nivel de rigor de TQE es una de las muchas áreas en las que estamos trabajando con los clientes para perfeccionar el modelo. Estamos integrando las funciones de personalización de DeepL, como los glosarios y las reglas de estilo, para dotar al modelo de más conocimiento contextual. Hemos puesto TQE a tu disposición como API, y también estamos añadiendo sugerencias sobre cómo corregir los errores, así como opciones para aceptarlos o rechazarlos de forma masiva.

Muchas de estas mejoras surgen de las ideas que nos han compartido los clientes que usan nuestra herramienta de pruebas de TQE. Si te apetece formar parte del desarrollo de este nuevo paso en la traducción con IA, ponte en contacto con nosotros para solicitar acceso al entorno de pruebas. Nos encantaría saber qué tal te va con TQE.

¿Te interesa acceder a nuestro entorno de pruebas de TQE? Envía un correo a marta.danylenko@deepl.com.