Hoy en día, cada vez más textos son traducidos por ordenadores. Esta traducción informática automática suele denominarse traducción automática (MV). Por lo general, la traducción automática se realiza con el objetivo de comprender lo más rápidamente posible el enorme flujo de información en distintos idiomas, así como de difundir la propia información lo más ampliamente posible. El intercambio de información electrónica entre pueblos y lenguas se está convirtiendo en una parte importante de la vida cotidiana, abre nuevas posibilidades para nuestra lengua y le plantea nuevos retos y problemas.
El término «traducción automática» (en inglés, machine translation) fue utilizado por primera vez a mediados del siglo pasado por Warren Weaver, quien propuso aplicar los ordenadores recién aparecidos a la traducción de textos (Weaver 1949: 1). W. Weaver propuso considerar un texto escrito en otra lengua como un criptograma que podía descifrarse. Los logros criptográficos de los especialistas británicos y estadounidenses en la Segunda Guerra Mundial, recién concluida, despertaron optimismo. Entonces se creía sinceramente que las máquinas electrónicas ayudarían en pocos años a superar la maldición de la Torre de Babel.
Por desgracia, la traducción avanzó lentamente y la calidad de la traducción automática no se acercó ni de lejos a la calidad de la traducción humana. Setenta años después, tras éxitos indudables y decepciones, y después de una ingente cantidad de trabajo, vuelve a predominar el optimismo en la comunidad de la traducción automática. Esta vez, las esperanzas están puestas en las redes neuronales artificiales y en el rápido progreso del desarrollo de la inteligencia artificial.
La traducción automática también llegó a la lengua lituana. Hoy en día, las herramientas de traducción automática en línea, fácilmente accesibles, traducen de los idiomas más populares al lituano y viceversa. La calidad de traducción de la mayoría de las herramientas sigue siendo bastante deficiente; es necesario editar los textos que producen. Solo destaca por su mayor calidad la herramienta de traducción Google Translate2, en la que comenzaron a utilizarse
1 El artículo se preparó a partir de la ponencia «Traducción automática al lituano», presentada en Vilna, en la 24.ª Conferencia Internacional de Jonas Jablonskis, «Recursos lingüísticos digitales, sus direcciones de desarrollo y posibilidades de uso», el 29 de septiembre de 2017.
2 Disponible en línea https://translate.google.com.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 2
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2
tecnologías de traducción neuronal. La mayoría de las oraciones traducidas con esta herramienta conservan el significado que tenían en la lengua original.
La traducción automática se utiliza ampliamente para difundir información en otros idiomas. A menudo, los resultados de la traducción automática se cargan irresponsablemente en Internet sin editar. Las consecuencias de estas prácticas ya son visibles: Internet está plagado de malos textos en lituano con información distorsionada, generados automáticamente por uno u otro programa de traducción automática3. Poco a poco, estos textos también pueden infiltrarse en los corpus. La traducción automática ya se ha convertido en una realidad cotidiana, a veces sorprendente y otras veces flagrante, que merece no solo una mirada más atenta por parte de los lingüistas, sino también una participación más significativa de estos en el desarrollo de la traducción automática.
Este artículo presenta brevemente la historia de la traducción automática (MV) y expone algunas ideas que influyeron en su desarrollo. Se presentan los resultados alcanzados para el lituano por diversas tecnologías de traducción. Se analizan las posibilidades de aplicar la traducción automática al lituano mediante métodos basados en reglas, estadísticos y neuronales. Por falta de espacio, no se describen los intentos de combinar varios de estos métodos en un único sistema de traducción.
1. ORÍGENES DE LA TRADUCCIÓN AUTOMÁTICA
Una buena traducción de otra lengua siempre supone cierto desafío intelectual para el ser humano, y traducir nunca ha sido una tarea fácil. No es de extrañar que se intentara automatizar de algún modo la traducción. Entre 1932 y 1935, en Francia, el ingeniero Georges Artsrouni inventó y construyó un dispositivo mecánico universal, al que llamó cerebro mecánico (en francés, cerveau mécanique), que, entre otras funciones, podía traducir el texto introducido a varios idiomas (Hutchins 2004a: 12). En este dispositivo electromecánico giraba una larga cinta de memoria (de hasta 40 metros), fabricada con cartón flexible. En ella estaba escrito un diccionario multilingüe que podía abarcar varias decenas de miles de palabras. La palabra francesa tecleada se codificaba mecánicamente y, de acuerdo con ese código, la cinta de memoria giraba hasta la posición correspondiente. Al cabo de unos segundos, el dispositivo mostraba la traducción de la palabra introducida (Daumas 1965: 294–295). El dispositivo se exhibió en la Exposición Universal de París de 1937, despertó gran interés y recibió el Gran Premio. En realidad, fue el primer
3 Jonathan Swift describe satíricamente en Los viajes de Gulliver una máquina que componía combinaciones absurdas de palabras, que se copiaban diligentemente una y otra vez en libros. Hoy en día, se pueden producir disparates iguales con mucha más rapidez...
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 3
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3
diccionario mecánico operativo. G. Artsrouni siguió perfeccionando su dispositivo, pero los problemas mecánicos y el estallido de la Segunda Guerra Mundial interrumpieron el trabajo.
En 1933, en la Unión Soviética, Piotras Smirnovas-Trojanskis obtuvo un certificado de autor para una máquina electromecánica de traducción4. Aunque la máquina nunca llegó a fabricarse, el inventor formuló muchas ideas valiosas sobre la traducción automática que solo se materializaron muchos años después, con la aparición de los ordenadores. P. Smirnovas-Trojanskis hablaba ruso y, por ello, comprendía bien las características de las lenguas flexivas. Propuso dividir el proceso de traducción en tres etapas: en la primera, una persona debía reducir el texto a lemas y anotarlas con etiquetas morfosintácticas (etapa de análisis); a continuación, en la segunda etapa, la máquina encontraba automáticamente los lemas de una o varias lenguas de destino y les asignaba las mismas etiquetas (etapa de transformación); en la tercera etapa, un editor debía preparar un texto de traducción fluido a partir de los lemas de destino y sus etiquetas (etapa de generación). P. Smirnovas-Trojanskis también propuso diversos métodos para traducir sinónimos, homónimos e idiomatismos. Las ideas de P. Smirnovas-Trojanskis no fueron apreciadas en su patria; nunca llegó a ver la era de los ordenadores5, pero las ideas del inventor no cayeron en el olvido y, con el tiempo, también se dieron a conocer en Occidente.
La era de la traducción automática práctica comenzó con la aparición de los ordenadores. En 1947, W. Weaver escribió al brillante lingüista y creador de ordenadores Norbert Wiener para preguntarle si los últimos avances en criptografía y los ordenadores recién aparecidos6 podían aplicarse a la traducción de idiomas. W. Weaver sostenía que cualquier texto en ruso podía tratarse como un mensaje en inglés codificado con letras cirílicas. Le parecía que los ordenadores podían simplemente descifrar ese mensaje. Por desgracia, la respuesta de N. Wiener fue escéptica.
En 1949, W. Weaver envió a un público más amplio un memorando en el que propuso utilizar ordenadores para traducir textos (Weaver 1949: 7)7. En aquella época, en diversos laboratorios estadounidenses y británicos predominaban las ideas de una traducción automática simple y literal. El científico estaba convencido de que los ordenadores podían traducir mucho mejor. En el memorando, W. Weaver propuso cuatro vías para resolver y estudiar los problemas de traducción. En primer lugar, propuso analizar estadísticamente el contexto inmediato de la palabra que se iba a traducir y resolver así los problemas de polisemia. Esta intuición constituye hoy la base de la traducción automática estadística. La segunda propuesta se basaba en la suposición de que en una lengua
4 En el certificado de autor, este dispositivo se denomina «máquina para seleccionar e imprimir palabras al traducir de una lengua a otra o a varias lenguas a la vez».
5 P. Smirnovas-Trojanskis murió en 1950.
6 El primer ordenador electrónico británico, Colossus, empezó a funcionar a principios de 1944; el primer ordenador digital electrónico estadounidense, ENIAC, se construyó a finales de 1945. El primer ordenador soviético, MESM, se construyó en 1950.
7 El término traducción automática (en inglés, machine translation) empleado en este memorando de W. Weaver se popularizó rápidamente.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 4
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4
contiene elementos lógicos, por lo que, utilizando modelos de redes neuronales (McCulloch, Pitts 1943: 115–133), debería ser posible deducir la traducción a partir de las premisas presentes en la lengua original. El tiempo demostró la genialidad de esta intuición: hoy en día, el método neuronal de traducción automática es el que ofrece la mayor calidad. La tercera vía para resolver los problemas debería consistir en aplicar métodos criptográficos a la traducción entre lenguas. Cuarenta años después, esto se materializó en los algoritmos de traducción automática estadística. Para ilustrar su cuarta propuesta, W. Weaver dibujó una alegoría en la que las personas habitaban en altas torres cerradas, símbolo de las distintas lenguas. A duras penas lograban comunicarse a gritos a través de los gruesos muros de las torres. Por suerte, las torres compartían cimientos y un sótano; bastaba con bajar allí para que la comunicación resultara más fácil. W. Weaver sostenía que en las lenguas del mundo subyacía cierta estructura profunda común, que aún debía descubrirse. La última propuesta del científico impulsó la búsqueda y construcción de una lengua universal —la interlingua de la traducción automática8—.
Tras el memorando de W. Weaver, la traducción automática no tardó en despegar. En 1954 se presentó públicamente en Nueva York un sistema de traducción automática desarrollado en colaboración por IBM y la Universidad de Georgetown. Traducía del ruso al inglés. El sistema solo tenía programadas seis reglas gramaticales y utilizaba unas 250 palabras para la traducción (Hutchins 2004b: 102). Estaba orientado a la química orgánica y los ejemplos de traducción se habían preparado cuidadosamente de antemano. Tras el experimento, se esperaba que, en unos años, las máquinas tradujeran a la perfección, y se asignó una generosa financiación para continuar el trabajo. La traducción automática comenzó a desarrollarse rápidamente en Estados Unidos de América (EE. UU.) y la Unión Soviética, con el objetivo de obtener una ventaja estratégica en la Guerra Fría. Las lenguas más traducidas eran el ruso y el inglés.
2. TRADUCCIÓN AUTOMÁTICA BASADA EN REGLAS
A mediados de los años cincuenta del siglo pasado aparecieron sistemas de traducción automática (computarizada) que empezaron a denominarse basados en reglas (ingl. rule-based). Se desarrollaban desde la perspectiva de que una lengua puede describirse mediante un conjunto de determinadas reglas (también gramaticales). Con este método, se analiza la oración de la lengua original hasta cierto nivel elegido, se determina su estructura y, de acuerdo con las reglas establecidas, esta se transforma en una estructura equivalente en la lengua de traducción, a partir de la cual se genera una oración en dicha lengua. Las estructuras oracionales de distintas lenguas pueden diferir mucho y presentar características específicas que deben reflejarse en el sistema de traducción automática.
8 No debe confundirse con las interlinguas de lenguas naturales, como el esperanto, el ido, el volapük, etc.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 5
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5
del sistema. Daiva Šveikauskienė (2005: 411–417) estudió los problemas de representación de las estructuras sintácticas de las oraciones en lituano de manera adecuada para la traducción automática. Existen diversas variantes de sistemas de traducción automática basados en reglas, que se diferencian según la profundidad del análisis (fig. 19). Cuanto más profundo es el análisis de la oración, más sencilla resulta la transformación. En el caso ideal, si se analiza el texto hasta el nivel de la interlingua, no sería necesaria ninguna transformación: la representación interlingüística del texto debería ser igual en todas las lenguas.
FIG. 1. Triángulo de Vauquois de la traducción automática basada en reglas
Los problemas de la traducción automática basada en reglas se intentaron resolver mediante métodos tanto empíricos como lingüísticos. Entre los empiristas, el método más popular era la traducción directa. En la traducción entre dos lenguas con este método se utilizan únicamente un diccionario y reglas de programación sencillas; prácticamente no se realiza ningún análisis lingüístico ni reorganización sintáctica (este método corresponde al nivel más bajo de la fig. 1). En Estados Unidos, durante los años cincuenta del siglo pasado, un grupo de investigadores dirigido por Erwin Reifler elaboró diccionarios especiales para la traducción automática, en los que, junto a los equivalentes léxicos, se incluían reglas locales de reordenamiento de palabras. También se ofrecían traducciones de numerosas expresiones y conceptos generales (ingl. cover terms) para resolver problemas de polisemia. En 1964 comenzó a funcionar Mark II, un sistema de traducción directa del ruso al inglés desarrollado por encargo de las Fuerzas Aéreas de Estados Unidos. Utilizaba el diccionario de E. Reifler, que contenía más de 170 000 palabras (Reifler 1960: 312).
Los métodos lingüísticos se aplicaron de forma más amplia en la Universidad de Georgetown, donde se reunió un nutrido grupo de investigadores de traducción automática, distribuidos en varios equipos que aplicaban métodos distintos.
9 Estas ilustraciones suelen denominarse triángulo de Vauquois; este método de representación fue propuesto por Bernard Vauquois (1976: 335), pionero de la traducción automática en Francia.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 6
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6
grupos. En el grupo dirigido por Michael Zarechnak se creó el sistema de traducción automática de Georgetown (en inglés, GAT – Georgetown Automatic Translation). En él se realizaban tres niveles de análisis: morfológico (que también incluía la identificación de modismos), sintáctico y sintagmático. El sistema GAT modificado comenzó a utilizarse con éxito en Euratom (en Ispra, Italia) en 1963 y en la Comisión de Energía Atómica de Estados Unidos en 1964. Se tardó mucho más en crear un sistema de TA basado en una interlingua. El sistema de TA KANT, de valor comercial, no apareció hasta la última década del siglo pasado (Mitamura et al. 1991: 105–118). El sistema se utilizaba para traducir algunos textos técnicos. Nunca llegó a crearse una interlingua capaz de representar el lenguaje general.
Durante toda la década posterior a la presentación del sistema de TA IBM–Georgetown, se hicieron grandes esfuerzos por mejorar sustancialmente la calidad de la traducción automática10, pero los avances fueron muy escasos. En 1966 se creó en Estados Unidos el comité ALPAC (en inglés, Automatic Language Processing Advisory Committee), que concluyó que la TA no tenía perspectivas a corto plazo, pues era de mala calidad y aún tenía que ser editada por un traductor, lo cual le llevaba más tiempo que traducir sin máquinas. El comité ALPAC no tuvo en cuenta que la traducción automática ayuda a traducir cantidades ingentes de información y que muchos usuarios se conforman con una traducción deficiente que apenas transmite el sentido. Tras las conclusiones negativas del comité, la financiación de proyectos de TA en Estados Unidos se interrumpió prácticamente durante varias décadas, y también disminuyó en otros países.
A pesar del escepticismo que se había generado hacia la TA, en este ámbito se siguió avanzando. El sistema de traducción basada en reglas SYSTRAN, cuyo desarrollo comenzó en Estados Unidos en 1968 (Toma 1977: 569–581), se mejoró continuamente y más tarde se comercializó. Este sistema comenzó a utilizarse en el Departamento de Defensa de Estados Unidos, la NASA, Euratom, la Comisión Europea y muchos otros lugares. En virtud de un acuerdo comercial de 1975, la Comisión Europea obtuvo el derecho a mejorar el sistema para sus propios fines. El sistema traducía bastante bien textos de algunos ámbitos lingüísticos a muchos idiomas. A partir de 2010, SYSTRAN empezó a utilizar tecnologías híbridas. También aparecieron sistemas de TA que funcionaban bastante bien en otros países: ARIANE (en Grenoble, Francia), el sistema MU, similar a este (en Kioto, Japón), y SUSY (en Saarbrücken, Alemania). El proyecto europeo EUROTRA (1982–1992), que costó más de 50 000 000 ECU11, terminó en fracaso: cientos de especialistas no lograron crear un sistema de TA operativo. Así comenzó una grave crisis de la TA basada en reglas. Durante muchos años, después, no se avanzó.
10 Durante este período, Estados Unidos gastó unos 20 millones de dólares en el desarrollo y la mejora de sistemas de TA.
11 En un informe de 1994 de la Comisión de las Comunidades Europeas (en inglés, CEC – Commission of the European Communities) se presentaron datos sobre la financiación de EUROTRA: la Comisión destinó 37,5 millones de ECU al proyecto entre 1982 y 1992 (CEC 1994: 3.10), y los gobiernos de varios países aportaron más de 20 millones de ECU adicionales a los dieciséis centros EUROTRA (CEC 1994: A4.2).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 7
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7
La traducción automática basada en reglas apareció en Lituania solo en este siglo. En 2003–2004, el sistema de traducción automática Česilko (Hajič et al. 2000: 10–12) se adaptó al lituano (Homola, Rimkutė 2004: 77–81). Durante ese período, Petras Homola y Erika Rimkutė estudiaron las posibilidades de traducción automática de este sistema entre el checo y el lituano. Entre 2005 y 2007, la Universidad Vytautas Magnus llevó a cabo el proyecto «Herramienta de traducción de información en línea», financiado por los Fondos Estructurales de la Unión Europea. Vidas Daudaravičius describió la estructura del sistema de TA proyectado (2006: 7–18). Se creó una herramienta pública de traducción en línea del inglés al lituano12. El motor de traducción fue proporcionado por la empresa rusa PROMT. Algunos componentes lingüísticos del sistema se prepararon en Lituania. El sistema traducía muy bien solo algunos tipos de oraciones; las traducciones buenas eran minoría. En 2007 se realizó una evaluación lingüística de este sistema de TA (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė y Greta Ziezvytė (2013: 55–61) evaluaron la conformidad de las traducciones del sistema de TA de la Universidad Vytautas Magnus con los estándares de textualidad (De Beaugrande, Dressler 1981: 3). En su trabajo, las autoras concluyeron que los textos de traducción automática de distintos géneros que analizaron no cumplían los requisitos de coherencia ni algunos otros estándares de textualidad debido a la gran cantidad de errores semánticos; por lo tanto, tales traducciones no pueden ser aceptables ni informativas para el lector.
Con el paso de las décadas y, en esencia, sin avanzar, empezó a comprenderse que el lenguaje es un fenómeno sumamente complejo, muy difícil de describir mediante reglas. Para resolver los problemas de la polisemia y la traducción de anáforas se propuso utilizar información extralingüística sobre la estructura del mundo y su lógica (Bar-Hillel 1958: 197–207). Sin embargo, sencillamente no existía información sistematizada de ese tipo, y la descripción formal del significado de un texto parecía una tarea más difícil que la propia traducción. Era evidente que los problemas de la traducción automática requerían soluciones revolucionarias.
2. TRADUCCIÓN AUTOMÁTICA ESTADÍSTICA
En 1988, un grupo de investigadores de IBM (Brown et al. 1988: 71–76) propuso utilizar para la traducción automática la información contenida en corpus paralelos, buscando las variantes de traducción más probables. El modelo de traducción propuesto se basa en la premisa de que, en un canal ruidoso, una oración de la lengua original f se transforma en una oración e de la lengua de destino. El ruido del canal distorsiona estadísticamente la oración de la lengua original f, por lo que a la salida del canal podemos obtener diversas oraciones e, de longitudes muy variadas, con algún sentido en la lengua de destino o sin sentido alguno. Como el canal intenta traducir correctamente, las variantes de traducción correctas atraviesan cada vez más el ruido.
12 Disponible en línea http://vertimas.vdu.lt/twsas/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 8
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8
En este modelo se supone que, cuando se envía una oración al canal f, la opción de traducción más adecuada ê de todas las e es aquella cuya probabilidad condicional de aparecer a la salida del canal, p(e|f), es la más alta, es decir,
ê = argmaxe p(e|f).
Aquí se plantea el problema de que, para encontrar la mejor opción de traducción ê, hay que revisar no solo todas las oraciones posibles en la lengua de destino, sino también toda clase de combinaciones de palabras en ella. Calcular tal cantidad de probabilidades es muy difícil. Al aplicar el teorema de Bayes, se obtiene una expresión equivalente más fácil de calcular (Koehn et al. 2003: 127):
argmaxe p(e|f) = argmaxe p(f|e) p(e)
Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų13.
FIG. 2. Triángulo de Vauquois de la traducción automática estadística
El método de traducción propuesto por los científicos de IBM empezó enseguida a competir con la traducción basada en reglas en cuanto a calidad. A los desarrolladores de sistemas de traducción automática estadística les atraía la posibilidad de traducir a muchas lenguas sin saber nada sobre traducción ni gramática: bastaba con entrenar los sistemas que se estaban desarrollando con los corpus disponibles. En la traducción estadística clásica no se realiza ningún
13 El modelo de lengua reduce el volumen de los cálculos, pues permite descartar de inmediato las oraciones que no se encuentran en los corpus y ayuda a elegir la traducción más fluida. También muestra indirectamente por qué la literatura suele traducirla mejor un traductor o una traductora cuya lengua de traducción es la materna.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 9
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9
análisis de las oraciones en la lengua de origen ni síntesis de las oraciones en la lengua de destino (fig. 2); la traducción se realiza únicamente según las probabilidades establecidas durante el entrenamiento del sistema. Los modelos de ordenamiento de cinco palabras en las traducciones propuestos por Peter Brown y sus colegas no eran suficientemente flexibles: permitían traducir una palabra de la lengua de origen por una o varias palabras, o no traducirla en absoluto. En 2003 se propuso (P. Koehn et al. 2003: 127–133) un modelo de traducción automática más flexible, capaz de traducir también frases de la lengua de origen.
Durante este periodo, los métodos de evaluación automática de la calidad de la traducción automática se perfeccionaron rápidamente, ya que era muy importante averiguar enseguida qué versión de un sistema de traducción automática en desarrollo traducía mejor. También se pretendía que dicha evaluación permitiera comparar objetivamente la calidad de traducción de distintos sistemas. Con el tiempo, una de las métricas más populares fue BLEU (acrónimo de bilingual evaluation understudy) (Papineni et al. 2002: 311–318), que compara automáticamente en qué medida el texto de traducción automática se aparta de una traducción humana. Esta métrica no tiene en cuenta la comprensibilidad del texto ni su corrección gramatical; solo cuenta las palabras o frases que coinciden exactamente. Al calcular la métrica, las frases coincidentes tienen un peso estadístico relativamente mayor que las palabras coincidentes aisladas. Según la tarea, para evaluar la calidad de la traducción automática también suelen utilizarse otras métricas, cada una con alguna propiedad favorable: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover et al. 2006: 223–231) y muchas otras.
A pesar de la popularidad de la traducción automática estadística, cada vez era más evidente la limitación de este método para traducir a lenguas morfológicamente ricas (flexivas). En los corpus paralelos de lenguas flexivas, por lo general, no están representadas todas las formas posibles de las frases ni siquiera las de algunas palabras menos frecuentes. Si alguna forma posible no se incluyó en el entrenamiento del sistema de traducción automática, tampoco se traducirá. Esta deficiencia de la traducción automática clásica se debe a la escasez de datos, que hace que, una vez entrenado el sistema, se obtenga una matriz de probabilidades de traducción dispersa. Para superar esta deficiencia, Philip Koehn y Hieu Hoang propusieron la traducción automática estadística factorizada (Koehn, Hoang 2007a: 868–876). Se propuso incorporar información lingüística adicional al sistema de traducción mediante la anotación de los corpus paralelos con etiquetas de análisis lingüístico, que luego se utilizan para entrenarlo. En 2007, P. Koehn y sus colegas pusieron a disposición del público un paquete completo de traducción automática estadística de código abierto, Moses (Koehn et al. 2007b: 177–180). La aplicación de la traducción automática estadística factorizada mejoraba algo la calidad de la traducción a lenguas flexivas, normalmente en 1–2 puntos BLEU (Bojar 2007: 235–236; Skadinš et al. 2010: 128–129).
Desde el 25 de septiembre de 2008, el sistema de traducción automática estadística de Google Translate empezó a traducir también al lituano. Entre 2012 y 2014, la Universidad de Vilna ejecutó, con fondos estructurales de la Unión Europea,
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 10
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10
el proyecto financiado «Creación de un sistema de traducción automática inglés–lituano–inglés y francés–lituano–francés basado en métodos estadísticos». La mayor parte del trabajo del proyecto fue realizada por la empresa UAB Tilde. Se creó el sistema de TA ALPMAVIS y se puso a disposición del público un servicio gratuito de traducción automática estadística en línea (https://www.versti.eu/)14. Según los datos de las pruebas realizadas en 2014, las puntuaciones de calidad de la traducción de textos generales (en la métrica BLEU) superaron en más del doble los resultados de la traducción lituana basada en reglas y fueron prácticamente equivalentes a los resultados del sistema de traducción Google Translate. ALPMAVIS puede traducir especialmente bien textos jurídicos.
3. CALIDAD DE LA TRADUCCIÓN AUTOMÁTICA AL LITUANO
Con la aparición de un nuevo fenómeno lingüístico —los textos lituanos traducidos por máquinas— surgió el interés por evaluar la calidad de esa traducción con respecto a la lengua estándar. Se eligió un texto de carácter general para la evaluación, porque refleja mejor la lengua estándar, y se utilizó la métrica BLEU para medir la calidad de la traducción.
Para probar la calidad de la traducción se eligió un texto de carácter general publicado en Internet15.
Los cálculos de BLEU se realizaron sobre un documento más extenso que los fragmentos que se muestran a continuación, ya que las puntuaciones BLEU a nivel de oración se correlacionan mal con la evaluación humana de la calidad (Kos, Bojar 2009: 140). La información presentada ayudará al lector a comprender cómo se relacionan con la calidad de la traducción automática las puntuaciones porcentuales de BLEU CI (calculadas sin distinguir entre mayúsculas y minúsculas). Por otra parte, incluso sin fijarse en las cifras, el lector puede formarse su propia opinión sobre cómo traducen los sistemas de TA que funcionan según los modelos descritos anteriormente.
A continuación se presentan las versiones de traducción del mismo texto original, obtenidas mediante diversos métodos de traducción. Antes del texto traducido se indican el método de traducción, la fecha en que se realizó la traducción en línea y la puntuación porcentual de BLEU CI.
Texto original en inglés:
Todo el mundo desea una vida larga, feliz y saludable, y los científicos hacen todo lo posible para que esto sea realidad. Están abordando algunos de los principales problemas de salud actuales, así como amenazas emergentes, como el creciente impacto de la enfermedad de Alzheimer, la diabetes y las «superbacterias» resistentes a los antibióticos. La inversión en investigación e innovación en salud nos ayudará a mantenernos activos, desarrollar tratamientos nuevos, más seguros y eficaces, y contribuirá a que nuestros sistemas de salud y atención
14 ALPMAVIS también está disponible a través del sistema de información de recursos integrados de lengua y escritura lituanas Raštija.lt (www.raštija.lt).
15 Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 11
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11
viable. Proporcionará a los médicos las herramientas que necesitan para una medicina más personalizada y reforzará la prevención y el tratamiento de las enfermedades crónicas e infecciosas.
Traducción realizada por un traductor:
Todo el mundo quiere vivir mucho y felizmente, estar sano, y los científicos hacen todo lo posible para que esto sea posible. Intentan resolver algunos de los problemas de salud más importantes que existen y las amenazas emergentes para la salud, como los problemas cada vez mayores causados por la enfermedad de Alzheimer, la diabetes y los microorganismos resistentes a los antibióticos. La inversión en investigación e innovación sanitarias nos ayudará a mantenernos activos, desarrollar tratamientos nuevos, más seguros y eficaces, y mantener la sostenibilidad de nuestro sistema sanitario. Proporcionará a los médicos los instrumentos que necesitan para adaptar los medicamentos a las necesidades individuales de los pacientes; además, contribuirá a la prevención y el tratamiento de las enfermedades crónicas y contagiosas.
Traducción automática basada en reglas de VDU, 2014 09 19, BLEU – 8,54:
Todo el mundo quiere una vida larga, feliz y saludable, y los científicos se esfuerzan por hacer que esto sea posible. Abordan algunos de los principales problemas de salud actuales, así como amenazas emergentes como el creciente impacto de la enfermedad de Alzheimer, la diabetes y las «superbacterias» resistentes a los antibióticos. La inversión en investigación sanitaria e innovación nos ayudará a mantenernos activos, desarrollar tratamientos nuevos, más seguros y eficaces, y a mantener nuestros sistemas de salud y asistencia en funcionamiento. Esto proporcionará a los médicos las herramientas que necesitan para una medicina más personalizada y reforzará la prevención y el tratamiento de las enfermedades crónicas e infecciosas.
Todo el mundo quiere una vida larga, feliz y saludable, y los científicos se esfuerzan por hacer que esto sea posible. Abordan algunos de los principales problemas de salud y las amenazas emergentes, como el creciente impacto de la enfermedad de Alzheimer, la diabetes y las «superbacterias» resistentes a los antibióticos. La inversión en investigación e innovación sanitarias nos ayudará a mantenernos activos, desarrollar tratamientos nuevos, más seguros y eficaces, y a mantener la sostenibilidad de los sistemas de salud y asistencia. Esto proporcionará a los médicos las herramientas que necesitan para una medicina más personalizada y fomentará la prevención y el tratamiento de las enfermedades crónicas e infecciosas.
Google traducción automática estadística, 2014 09 19, BLEU – 17,10:
Cada uno de nosotros aspira a una vida larga, saludable y feliz, y los científicos hacen todo lo posible para lograrlo. Abordan algunos de los principales problemas de salud, así como nuevos peligros, como el creciente impacto de la enfermedad de Alzheimer, la diabetes y las «superbacterias» resistentes a los antibióticos. La inversión en investigación e innovación sanitarias nos ayudará a mantenernos activos, crear tratamientos nuevos, más seguros y eficaces, y contribuir a la sostenibilidad de nuestros sistemas sanitarios. Proporcionará a los médicos las herramientas que necesitan para ejercer una medicina más personalizada y redoblar los esfuerzos para prevenir y tratar las enfermedades infecciosas y crónicas.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12
Microsoft Translator (Bing) traducción automática estadística, 27/09/2017, BLEU −16,68:
Todo el mundo quiere una vida larga, feliz y saludable, y los científicos hacen todo lo posible para que esto sea posible. Luchan contra algunos de los principales problemas de salud actuales, así como contra nuevas amenazas, como la enfermedad de Alzheimer, la diabetes y el creciente impacto de las superbacterias resistentes a los antibióticos. La inversión en investigación e innovación sanitarias nos ayudará a mantenernos activos, desarrollar tratamientos nuevos, más seguros y eficaces, y contribuir a que nuestros sistemas de salud y atención sanitaria sigan siendo viables. Proporciona las herramientas necesarias para una medicina más avanzada y reforzará la prevención y el tratamiento de enfermedades crónicas e infecciosas.
Los fragmentos de traducción automática presentados reflejan la calidad típica de la traducción automática al traducir textos de carácter general. Solo se obtienen traducciones de carácter general mucho mejores cuando el texto traducido se ha utilizado alguna vez para entrenar el sistema. La evaluación objetiva de la calidad de traducción de un sistema de traducción automática solo es posible utilizando textos que nunca se hayan incluido en el entrenamiento del sistema. Hay que reconocer que los sistemas de traducción automática estadística y basada en reglas actualmente operativos todavía traducen mal al lituano los textos de carácter general.
4. TRADUCCIÓN AUTOMÁTICA NEURONAL
En 2013, Nal Kalchbrenner y Phil Blunsom propusieron utilizar redes neuronales para la traducción automática (Kalchbrenner, Blunsom 2013: 1700–1709). La idea de aprovechar los procesadores gráficos de los ordenadores para realizar cálculos con redes neuronales abrió la posibilidad de resolver problemas reales, entre ellos, realizar traducción automática. Para implementar la traducción automática neuronal (TAN) se utilizan millones de neuronas artificiales. El concepto de TAN es bastante sencillo: el codificador convierte toda la oración de la lengua original en un espacio vectorial de unos cientos de dimensiones, formando el llamado vector de pensamiento16, que consta de una secuencia de números que representa así el significado de la oración. En realidad, este vector es el pensamiento de la oración vectorizado. Las direcciones de los vectores que representan objetos e ideas afines difieren poco17. El decodificador genera la traducción a partir del vector de pensamiento. Tanto el codificador como el decodificador se construyen sobre la base de redes neuronales recurrentes (Sutskever et al. 2014: 3104–3112; Cho et al. 2014: 1724–1734).
16 Geoffrey Hinton, uno de los creadores de inteligencia artificial más destacados, popularizó el término.
17 Esto puede comprobarse, por ejemplo, experimentando con la herramienta de vectorización word2vec (Mikolov et al. 2013: 3111–3119).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 13
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13
FIG. 3. Triángulo de Vauquois de la traducción automática neuronal
La fig. 3 presenta un esquema de la traducción automática neuronal según el triángulo de Vauquois18. Cabe señalar que se alcanza automáticamente un alto nivel de análisis, próximo a la interlingua. El sistema de traducción automática neuronal se entrena utilizando corpus paralelos. Durante el entrenamiento, las redes neuronales recurrentes codifican automáticamente la información morfológica, sintáctica y semántica presente en las oraciones, junto con regularidades detectadas en distintos grados. Por fin, la traducción automática se ha vuelto inseparable del desarrollo de la inteligencia artificial. La traducción automática neuronal progresa rápidamente y ofrece resultados mucho mejores que la traducción automática basada en reglas o la estadística.
Al investigar las posibilidades de la traducción automática neuronal, pronto se encontró un fenómeno nuevo: las redes neuronales eran capaces de traducir entre pares de lenguas para los que no habían sido entrenadas directamente. Si un sistema de traducción automática neuronal se había entrenado para traducir de la lengua A a la lengua B y también de la lengua A a la lengua C, el sistema podía traducir asimismo de la lengua B a la C (Johnson 2017: 339–351), aunque la calidad de la traducción era algo inferior. Este fenómeno puede denominarse traducción de cero disparos (en inglés, zero-shot translation). Esto significa que, durante el entrenamiento, la red neuronal del sistema de traducción automática crea su propia interlingua, que solo ella misma comprende.
A finales de 2016, Google Translate (GT) comenzó a utilizar la traducción neuronal. Así es como queda la traducción neuronal de nuestro ejemplo ilustrativo (Google traducción automática neuronal, 14/09/2017, BLEU CI – 25,94):
18 La representación de la traducción automática neuronal según el triángulo de Vauquois se presentó en la publicación en línea de SYSTRAN de 2016, «Pure Neural Machine Translation». Disponible en Internet: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (consultado el 06/11/2017).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 14
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14
Todo el mundo desea una vida larga, feliz y saludable, y los científicos hacen todo lo posible para que sea una realidad. Abordan algunos de los problemas de salud más importantes de la actualidad, así como amenazas emergentes, por ejemplo, el creciente impacto de la enfermedad de Alzheimer, la diabetes y las «superbacterias» resistentes a los antibióticos. La inversión en investigación e innovación en salud nos ayudará a mantenernos activos, a desarrollar tratamientos nuevos, más seguros y eficaces, y a que nuestros sistemas sanitarios y asistenciales sean sostenibles. Esto proporcionará a los médicos las herramientas que necesitan para una medicina más personalizada, aumentando así la prevención y el tratamiento de las enfermedades crónicas e infecciosas.
Hay que reconocer que la red neuronal tradujo nuestro ejemplo con una calidad incomparablemente superior a la de los sistemas de traducción automática basados en reglas o en métodos estadísticos. Por ahora, GT no traduce todo con igual acierto; por ejemplo, al intentar traducir Beauty requires no ornaments, se obtuvo Grožis nereikalingas papuošalams. Experimentando de manera similar, se pueden identificar numerosos casos en los que GT traduce muy mal; por tanto, aún queda mucho por mejorar.
En 2018, la Universidad de Vilna se prepara para comenzar a implementar la traducción automática neuronal de nueva generación para inglés, lituano, polaco, francés, ruso y alemán. El sistema de traducción integrará la conversión automática de texto a voz y la traducción de texto dictado en lituano.
5. OBSERVACIONES FINALES
Hoy en día, el progreso de la traducción automática está ya indisolublemente ligado a los avances en la creación de inteligencia artificial. En cuanto a la calidad de la traducción, todos los métodos clásicos de TA necesitan perfeccionarse; las posibilidades no se han agotado y no está claro cuáles son sus límites. Ha terminado la época romántica de los logros fáciles; los métodos matemáticos heurísticos o de ingeniería no siempre ayudan. Los niños aprenden una lengua casi automáticamente, sin esfuerzo, pero más adelante solo perfeccionan su dominio estudiando gramática y literatura. Parece difícil que la traducción automática siga mejorando sin una participación más significativa de los lingüistas. Esta participación se ve facilitada por las herramientas de traducción automática implementadas en plataformas de código abierto: por ejemplo, Apertium para la traducción basada en reglas (Forcada et al. 2011: 127–144); Moses (Koehn et al. 2007b: 177–180), LetsMT! (Vasiljevs et al. 2012: 43–48), para la estadística; TensorFlow, OpenNMT, para la neuronal. Cabe esperar que los lingüistas de Lituania unan sus esfuerzos para afrontar los retos actuales de la lingüística computacional, ya que algunos de ellos son de importancia existencial para nuestra lengua.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 15
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15
LITERATŪRA
Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72.
Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207.
Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239.
Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76.
Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311.
Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734.
Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194.
Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61.
Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18.
Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 16
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16
De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270.
Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145.
Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144.
Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12.
Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81.
Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31.
Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114.
Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351.
Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709.
Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876.
Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 17
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17
translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180.
Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133.
Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148.
McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133.
Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119.
Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118.
Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318.
Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316.
Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264.
Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132.
Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 18
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18
Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112.
Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418.
Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581.
Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48.
Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337.
Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23.
Įteikta 2017 11 13
Priimta 2017 12 20
MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE
Summary
The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 19
DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19
In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years.
The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too.
The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 20
DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20
2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine?
The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German.
Thus, the latest achievements in machine translation apply to the Lithuanian language as well.
