Mašininis vertimas lietuvių kalbai

DANIELIUS ALGIRDAS RALYS Universidade de Vilnius TRADUÇÃO AUTOMÁTICA PARA O LITUANO1 PALAVRAS-CHAVE: língua lituana, história, linguística computacional, tradução automática, redes neuronais, inteligência artificial. INTRODUÇÃO Hoje, cada vez mais textos são traduzidos por computadores. Essa tradução automática por computador é geralmente chamada de tradução automática (TA). Normalmente, a tradução automática é realizada com o objetivo de compreender o mais rapidamente possível o enorme fluxo de informações em vários idiomas e também de divulgar amplamente as próprias informações. A troca de informações eletrónicas entre povos e línguas torna-se uma parte importante da vida quotidiana, abre novas possibilidades para a nossa língua e coloca diante dela novos desafios e problemas. O termo «tradução automática» (em inglês, machine translation) foi usado pela primeira vez em meados do século passado por Warren Weaver, que propôs utilizar os computadores recém-surgidos para traduzir textos (Weaver 1949: 1). W. Weaver sugeriu que se olhasse para um texto escrito noutra língua como se fosse uma mensagem cifrada que pudesse ser descodificada. As conquistas criptográficas de especialistas britânicos e americanos na Segunda Guerra Mundial, que havia terminado recentemente, alimentavam o otimismo. Naquela época, acreditava-se sinceramente que, em poucos anos, as máquinas eletrónicas ajudariam a superar a maldição da Torre de Babel. Infelizmente, a tradução progrediu lentamente, e a qualidade da tradução automática estava longe de se igualar à da tradução humana. Setenta anos depois, após sucessos indiscutíveis e desilusões, e depois de muito trabalho realizado, voltam a predominar sentimentos otimistas na comunidade da tradução automática. Desta vez, as esperanças estão depositadas nas redes neuronais artificiais e no rápido progresso no desenvolvimento da inteligência artificial. A tradução automática também chegou à língua lituana. Hoje, ferramentas de tradução automática online facilmente acessíveis traduzem das línguas mais populares para o lituano e vice-versa. A qualidade da tradução da maioria das ferramentas ainda é bastante fraca, e os textos traduzidos por elas precisam de ser revistos. Apenas a ferramenta de tradução Google Translate2 se destaca pela melhor qualidade, tendo começado a utilizar 1 Artigo elaborado com base na comunicação «Tradução automática para o lituano», apresentada em Vilnius, na 24.ª Conferência Internacional de Jonas Jablonskis, «Recursos linguísticos digitais, orientações para o seu desenvolvimento e possibilidades de utilização», em 29 de setembro de 2017. 2 Disponível online https://translate.google.com. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2 tecnologias de tradução neural. A maioria das frases traduzidas por esse meio mantém o sentido que tinham na língua original. A tradução automática é amplamente utilizada para divulgar informações em outras línguas. Muitas vezes, os resultados da tradução automática são publicados irresponsavelmente no espaço digital sem qualquer revisão. As consequências dessas ações já são visíveis: a internet está repleta de textos ruins em lituano, com informações distorcidas, gerados automaticamente por um ou outro programa de tradução automática3. Gradualmente, esses textos também podem infiltrar-se nos corpora. A tradução automática já se tornou uma realidade cotidiana, por vezes surpreendente e, por vezes, gritante, que merece não apenas um olhar mais atento dos linguistas, mas também um envolvimento mais significativo deles no desenvolvimento da tradução automática. Este artigo apresenta brevemente a história da tradução automática (TA) e algumas ideias que influenciaram seu desenvolvimento. São apresentados os resultados alcançados por várias tecnologias de tradução para a língua lituana. Analisam-se as possibilidades de aplicação da TA ao lituano por meio de métodos baseados em regras, estatísticos e neurais. Devido à falta de espaço, não são abordadas tentativas de combinar vários desses métodos em um único sistema de tradução. 1. ORIGENS DA TRADUÇÃO AUTOMÁTICA Uma boa tradução de outra língua sempre representa um desafio intelectual para uma pessoa, e traduzir nunca foi uma tarefa fácil. Não é de surpreender que se tenha procurado automatizar a tradução de alguma forma. Entre 1932 e 1935, na França, o engenheiro Georges Artsrouni inventou e construiu um dispositivo mecânico universal, a que chamou cérebro mecânico (em francês, cerveau mécanique), que, entre outras funções, podia traduzir o texto digitado para várias línguas (Hutchins 2004a: 12). Nesse dispositivo eletromecânico, girava uma longa fita de memória (de até 40 metros), feita de cartão flexível. Nela estava inscrito um dicionário multilíngue, que podia conter dezenas de milhares de palavras. A palavra francesa digitada no teclado era codificada mecanicamente e, com base nesse código, a fita de memória girava até a posição necessária. Após alguns segundos, o dispositivo mostrava a tradução da palavra introduzida (Daumas 1965: 294–295). O dispositivo foi exibido na Exposição Universal de Paris de 1937, despertou grande interesse e recebeu o Grande Prêmio. Na prática, tratava-se do primeiro no mundo 3 Jonathan Swift, em suas Viagens de Gulliver, descreve sarcasticamente uma máquina que organizava combinações sem sentido de palavras, que eram continuamente registradas com diligência em livros. Hoje, a mesma espécie de disparate pode ser produzida muito mais rapidamente... BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3 dicionário mecânico funcional. G. Artsrouni continuou a aperfeiçoar seu dispositivo, mas os problemas mecânicos e o início da Segunda Guerra Mundial interromperam os trabalhos. Em 1933, na União Soviética, Piotr Smirnov-Trojanski obteve um certificado de autoria para uma máquina eletromecânica de tradução4. Embora essa máquina nunca tenha sido construída, o inventor formulou muitas ideias valiosas sobre tradução automática, que só foram concretizadas muitos anos depois, com o advento dos computadores. P. Smirnov-Trojanski falava russo e, por isso, compreendia bem as características das línguas flexionais. Propôs dividir o processo de tradução em três etapas: na primeira, uma pessoa deveria reduzir o texto a lemas e anotá-los com etiquetas morfossintáticas (etapa de análise); na segunda, a máquina encontraria automaticamente os lemas de uma ou mais línguas de chegada e lhes atribuiria as mesmas etiquetas (etapa de transformação); na terceira, um editor prepararia um texto traduzido fluente com base nos lemas da tradução e em suas etiquetas (etapa de geração). P. Smirnov-Trojanski também propôs diversos métodos para traduzir sinônimos, homônimos e expressões idiomáticas. As ideias de P. Smirnov-Trojanski não foram reconhecidas em sua terra natal; ele não chegou a viver a era dos computadores5, mas as ideias do inventor não foram esquecidas e, mais tarde, também se tornaram conhecidas no Ocidente. A era da tradução automática prática começou com o advento dos computadores. Em 1947, W. Weaver escreveu uma carta ao brilhante linguista e criador de computadores Norbert Wiener, perguntando se os avanços mais recentes da criptografia e os computadores recém-surgidos6 poderiam ser aplicados à tradução entre línguas. W. Weaver afirmava que qualquer texto em russo podia ser tratado como uma mensagem em inglês codificada com letras cirílicas. Parecia-lhe que os computadores poderiam simplesmente decifrar essa mensagem. Infelizmente, a resposta de N. Wiener foi cética. Em 1949, W. Weaver enviou a um público mais amplo um memorando no qual propunha utilizar computadores para traduzir textos (Weaver 1949: 7)7. Naquela época, predominavam em vários laboratórios americanos e britânicos as ideias de uma tradução automática simples e literal. O cientista estava convencido de que os computadores podiam traduzir muito melhor. No memorando, W. Weaver propôs quatro linhas de investigação e de resolução dos problemas da tradução. Em primeiro lugar, sugeriu analisar estatisticamente o contexto imediato da palavra a traduzir e, assim, resolver os problemas da polissemia. Essa percepção constitui hoje a base da tradução automática estatística. A segunda proposta baseava-se na suposição de que, na língua 4 No certificado de autoria, esse dispositivo é denominado «máquina para selecionar e imprimir palavras ao traduzir de uma língua para outra ou para várias línguas simultaneamente». 5 P. Smirnov-Trojanski morreu em 1950. 6 O primeiro computador eletrônico britânico, Colossus, começou a funcionar no início de 1944; o primeiro computador digital eletrônico americano, ENIAC, foi construído no final de 1945. O primeiro computador soviético, MESM, foi construído em 1950. 7 O termo tradução automática (em inglês, machine translation), usado nesse memorando de W. Weaver, logo se popularizou. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4 há elementos lógicos, portanto, utilizando modelos de redes neuronais (McCulloch, Pitts 1943: 115–133), deveria ser possível deduzir a tradução a partir das premissas presentes na língua original. O tempo demonstrou a genialidade desta intuição — hoje, o método de tradução automática neuronal produz as traduções de melhor qualidade. A terceira via para resolver os problemas deveria consistir na aplicação de métodos criptográficos à tradução entre línguas. Quarenta anos depois, isso foi concretizado nos algoritmos de tradução automática estatística. Para ilustrar a quarta proposta, W. Weaver desenhou uma imagem alegórica em que as pessoas viviam em altas torres fechadas, simbolizando diferentes línguas. De algum modo, as pessoas conseguiam comunicar, gritando umas com as outras através das grossas paredes das torres. Felizmente, as torres tinham uma fundação e um subsolo comuns; bastava descer até lá, e então deveria ser mais fácil comunicar. W. Weaver afirmava que nas línguas do mundo existe uma certa estrutura profunda comum, que ainda precisaria ser revelada. A última proposta do cientista incentivou a busca e a construção de uma língua universal — a interlíngua da tradução automática8. Após o memorando de W. Weaver, a tradução automática não tardou a ganhar impulso. Em 1954, em Nova Iorque, foi demonstrado publicamente um sistema de tradução automática desenvolvido em colaboração entre a IBM e a Universidade de Georgetown. Traduzia-se do russo para o inglês. O sistema tinha apenas seis regras gramaticais programadas, e a tradução recorria a cerca de 250 palavras (Hutchins 2004b: 102). O sistema era orientado para a temática da química orgânica, e os exemplos de tradução tinham sido cuidadosamente preparados de antemão. Após a experiência, esperava-se que, alguns anos depois, as máquinas traduzissem perfeitamente, e foi concedido um financiamento generoso para dar continuidade ao trabalho. A tradução automática começou a desenvolver-se rapidamente nos Estados Unidos da América (EUA) e na União Soviética, com o objetivo de obter uma vantagem estratégica na Guerra Fria. As línguas mais traduzidas eram o russo e o inglês. 2. TRADUÇÃO AUTOMÁTICA BASEADA EM REGRAS Em meados da década de 1950, surgiram sistemas de tradução automática (por computador), que passaram a ser designados baseados em regras (ingl. rule-based). Eram desenvolvidos segundo a perspetiva de que é possível descrever uma língua utilizando um conjunto de determinadas regras (incluindo regras gramaticais). Neste método, a frase da língua original é analisada até determinado nível escolhido, determina-se a estrutura da frase e esta é transformada, de acordo com regras estabelecidas, numa estrutura equivalente na língua de tradução, a partir da qual se gera uma frase nessa língua. As estruturas das frases de diferentes línguas podem divergir muito e apresentar características diversas, que devem ser refletidas no sistema de tradução automática. 8 Não se deve confundir com interlínguas de línguas naturais — esperanto, ido, volapuque, etc. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5 do sistema. Daiva Šveikauskienė (2005: 411–417) investigou os problemas de representação das estruturas sintáticas das frases em lituano de forma adequada à tradução automática. Existem várias modalidades de sistemas de tradução automática baseada em regras, que diferem quanto à profundidade da análise (fig. 19). Quanto mais profunda a análise da frase, mais simples é a transformação. No caso ideal, ao analisar o texto até ao nível da interlíngua, já não seria necessária qualquer transformação — a representação interlinguística do texto deveria ser igual em todas as línguas. FIG. 1. Triângulo de Vauquois da tradução automática baseada em regras Tentou-se resolver os problemas da tradução automática baseada em regras recorrendo tanto a métodos empíricos como linguísticos. No campo empírico, o método mais popular era o da tradução direta. Nesta modalidade, entre duas línguas utilizam-se apenas um dicionário e regras de programação simples; praticamente não se faz análise linguística nem reorganização sintática (este método corresponde ao nível mais baixo da fig. 1). Nos Estados Unidos, na década de 1950, o grupo de investigadores dirigido por Erwin Reifler elaborou dicionários especiais para a tradução automática, nos quais, além dos equivalentes lexicais, foram incluídas regras locais de alteração da ordem das palavras. Também eram fornecidas traduções de muitas expressões e conceitos abrangentes (ingl. cover terms) para resolver problemas de polissemia. Em 1964, entrou em funcionamento o sistema de tradução direta russo-inglês Mark II, desenvolvido por encomenda da Força Aérea dos Estados Unidos. Utilizava o dicionário de E. Reifler, que abrangia mais de 170 000 palavras (Reifler 1960: 312). Os métodos linguísticos foram aplicados mais extensivamente na Universidade de Georgetown, onde se reuniram numerosas equipas de investigadores de tradução automática, divididas em vários grupos que aplicavam métodos diferentes 9 Estas ilustrações são frequentemente designadas triângulo de Vauquois; este método de representação foi proposto pelo pioneiro francês da tradução automática, Bernard Vauquois (1976: 335). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6 grupos. No grupo liderado por Michael Zarechnak, foi desenvolvido o sistema de tradução automática de Georgetown (em inglês, GAT – Georgetown Automatic Translation). Nele, realizava-se uma análise em três níveis: morfológico (que também incluía a identificação de expressões idiomáticas), sintático e sintagmático. O sistema GAT modificado começou a ser utilizado com sucesso no Euratom (em Ispra, Itália), em 1963, e na Comissão de Energia Atómica dos EUA, em 1964. A criação de um sistema de tradução automática baseado numa interlíngua demorou muito mais. O sistema de tradução automática KANT, com valor comercial, só surgiu na última década do século passado (Mitamura et al. 1991: 105–118). O sistema era usado para traduzir alguns textos técnicos. Nunca se chegou a criar uma interlíngua capaz de expressar a linguagem geral. Durante toda a década seguinte à apresentação da tradução automática IBM–Georgetown, envidaram-se grandes esforços para melhorar substancialmente a qualidade da tradução automática10, mas o progresso foi muito reduzido. Em 1966, o comité ALPAC (em inglês, Automatic Language Processing Advisory Committee), criado nos EUA, concluiu que a tradução automática não tinha perspetivas a curto prazo, pois era de má qualidade e ainda precisava de ser editada por um tradutor, que gastava nisso mais tempo do que traduzindo sem qualquer máquina. O comité ALPAC ignorou o facto de que a tradução automática ajuda a traduzir enormes volumes de informação e de que muitos utilizadores se satisfazem com uma tradução de má qualidade, que apenas transmite o sentido. Após as conclusões negativas do comité, o financiamento de projetos de tradução automática nos EUA foi praticamente interrompido por várias décadas, e o financiamento também diminuiu noutros países. Apesar do ceticismo que se instalou em relação à tradução automática, registaram-se avanços contínuos nesta área. O sistema de tradução baseada em regras SYSTRAN, cujo desenvolvimento começou nos EUA em 1968 (Toma 1977: 569–581), foi constantemente aperfeiçoado e mais tarde tornou-se comercial. Este sistema começou a ser utilizado no Departamento de Defesa dos EUA, na NASA, na Euratom, na Comissão Europeia e em muitos outros locais. Ao abrigo de um acordo comercial de 1975, a Comissão Europeia obteve o direito de aperfeiçoar o sistema para as suas próprias necessidades. O sistema traduzia razoavelmente bem textos de algumas áreas linguísticas para muitas línguas. A partir de 2010, a SYSTRAN começou a utilizar tecnologias híbridas. Também surgiram noutros países sistemas de tradução automática com um desempenho razoável: o ARIANE (em Grenoble, França), o sistema MU, semelhante a este (em Quioto, Japão), e também o SUSY (em Saarbrücken, Alemanha). O projeto europeu EUROTRA (1982–1992), que custou mais de 50 000 000 ECU11, terminou em fracasso: centenas de especialistas não conseguiram criar um sistema de tradução automática funcional. Assim começou uma grave crise da tradução automática baseada em regras. Durante muitos anos, depois disso, não houve avanços. 10 Durante este período, os EUA gastaram cerca de 20 milhões de dólares no desenvolvimento e aperfeiçoamento de sistemas de tradução automática. 11 O relatório de 1994 da Comissão das Comunidades Europeias (em inglês, CEC – Commission of the European Communities) apresentou os dados de financiamento do EUROTRA: entre 1982 e 1992, a Comissão atribuiu 37,5 milhões de ECU ao projeto (CEC 1994: 3.10), e os governos de vários países atribuíram mais de 20 milhões de ECU adicionais aos dezasseis centros EUROTRA (CEC 1994: A4.2). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7 A tradução automática baseada em regras só surgiu na Lituânia neste século. Em 2003–2004, o sistema de tradução automática Česilko (Hajič et al. 2000: 10–12) foi adaptado à língua lituana (Homola, Rimkutė 2004: 77–81). Nesse período, Petras Homola e Erika Rimkutė investigaram as possibilidades de tradução automática do sistema entre o checo e o lituano. Entre 2005 e 2007, a Universidade Vytautas Magnus executou o projeto «Ferramenta de tradução de informação na Internet», financiado pelos Fundos Estruturais da União Europeia. Vidas Daudaravičius descreveu a estrutura do sistema de tradução automática projetado (2006: 7–18). Foi criada uma ferramenta pública de tradução online do inglês para o lituano12. O motor de tradução foi fornecido pela empresa russa PROMT. Parte dos componentes linguísticos do sistema foi preparada na Lituânia. O sistema traduzia muito bem apenas alguns tipos de frases; as boas traduções eram minoritárias. Em 2007, foi realizada uma avaliação linguística deste sistema de tradução automática (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė e Greta Ziezvytė (2013: 55–61) avaliaram a conformidade da tradução do sistema de tradução automática da VDU com os padrões de textualidade (De Beaugrande, Dressler 1981: 3). No seu trabalho, as autoras concluíram que os textos de tradução automática examinados, pertencentes a diferentes géneros, não satisfaziam os critérios de coerência nem alguns outros padrões de textualidade, devido ao grande número de erros semânticos; por isso, essas traduções não podem ser consideradas aceitáveis nem informativas para o leitor. Ao longo das décadas, e permanecendo essencialmente no mesmo ponto, começou-se a compreender que a língua é um fenómeno extremamente complexo, muito difícil de descrever por meio de regras. Para resolver os problemas da ambiguidade e da tradução de anáforas, propôs-se utilizar informação extralinguística sobre a estrutura do mundo e a sua lógica (Bar-Hillel 1958: 197–207). Contudo, simplesmente não existia informação desse tipo sistematizada, e a descrição formal do sentido de um texto parecia uma tarefa mais difícil do que a própria tradução. Era evidente que os problemas da tradução automática exigiam soluções revolucionárias. 2. TRADUÇÃO AUTOMÁTICA ESTATÍSTICA Em 1988, um grupo de investigadores da IBM (Brown et al. 1988: 71–76) propôs utilizar, na tradução automática, a informação contida em corpora paralelos para encontrar as traduções mais prováveis. O modelo de tradução proposto parte do pressuposto de que, num canal ruidoso, ocorre uma transformação da frase na língua original f numa frase e na língua de chegada. O ruído no canal distorce estatisticamente a frase f na língua original, pelo que na saída do canal podemos obter várias frases e, de comprimentos variados, com algum sentido na língua de chegada ou sem sentido algum. Como o canal procura traduzir corretamente, as traduções corretas conseguem cada vez mais atravessar o ruído. 12 Acesso na Internet http://vertimas.vdu.lt/twsas/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8 Neste modelo, considera-se que, quando uma frase f é enviada para o canal, a tradução mais adequada ê, entre todas as e, é aquela cuja probabilidade condicional de aparecer na saída do canal, p(e|f), é a maior, ou seja, ê = argmaxe p(e|f). Aqui surge o problema de que, para encontrar a melhor tradução ê, é necessário examinar não apenas todas as frases possíveis na língua de chegada, mas também todas as combinações possíveis de palavras nela. É muito difícil calcular um número tão grande de probabilidades. Aplicando o teorema de Bayes, obtém-se uma expressão equivalente, mais fácil de calcular (Koehn et al. 2003: 127): argmaxe p(e|f) = argmaxe p(f|e) p(e) Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų13. FIG. 2. Triângulo de Vauquois da tradução automática estatística O método de tradução proposto pelos investigadores da IBM começou imediatamente a competir com a tradução baseada em regras em termos de qualidade. Os criadores de sistemas de TA estatística ficaram fascinados com a possibilidade de traduzir para muitas línguas sem conhecer nem a tradução nem a gramática; bastava treinar os sistemas em desenvolvimento com os corpora disponíveis. Na tradução estatística clássica, não se realiza qualquer 13 O modelo de língua reduz o volume dos cálculos, pois ajuda a descartar de imediato as frases que não se encontram nos corpora e a selecionar a tradução mais fluente; além disso, mostra indiretamente por que razão a literatura ficcional é melhor traduzida por um(a) tradutor(a) cuja língua de chegada é a língua materna. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9 análise das frases da língua de partida ou síntese das frases da língua de chegada (Fig. 2); traduz-se apenas com base nas probabilidades determinadas durante o treino do sistema. Os cinco modelos de ordenação de palavras em traduções propostos por Peter Brown e pelos seus colegas não eram suficientemente flexíveis: permitiam traduzir uma palavra da língua de partida por uma ou várias palavras, ou não a traduzir de todo. Em 2003, foi proposto (P. Koehn et al. 2003: 127–133) um modelo de tradução automática mais flexível, capaz de traduzir também frases da língua de partida. Durante este período, os métodos de avaliação automática da qualidade da tradução automática foram aperfeiçoados rapidamente, uma vez que era muito importante saber depressa qual versão do sistema de tradução automática em desenvolvimento traduzia melhor. Procurava-se também que essa avaliação permitisse comparar objetivamente a qualidade das traduções de diferentes sistemas. Com o tempo, uma das métricas mais populares tornou-se a BLEU (acrónimo inglês de bilingual evaluation understudy) (Papineni et al. 2002: 311–318), que compara automaticamente o quanto o texto traduzido por máquina difere da tradução humana. Esta métrica não considera a compreensibilidade do texto nem a sua correção gramatical; contabiliza apenas palavras ou frases que coincidem exatamente. No cálculo da métrica, as frases coincidentes recebem um peso estatístico relativamente maior do que palavras isoladas coincidentes. Consoante a tarefa, também se utilizam frequentemente outras métricas para avaliar a qualidade da TA, cada uma com uma ou outra característica vantajosa: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover et al. 2006: 223–231) e muitas outras. Apesar da popularidade da TA estatística, tornou-se cada vez mais evidente a limitação deste método na tradução para línguas morfologicamente ricas (flexionais). Os corpora paralelos de línguas flexionais geralmente não contêm todas as formas possíveis de frases, nem sequer as formas de algumas palavras menos frequentes. Se determinadas formas possíveis não tiverem sido incluídas no treino do sistema de TA, essas formas também não serão traduzidas. Esta deficiência da TA clássica é causada pela insuficiência de dados, que resulta numa matriz esparsa de probabilidades de tradução após o treino do sistema. Para superar esta limitação, Philip Koehn e Hieu Hoang propuseram a tradução automática estatística fatorizada (Koehn, Hoang 2007a: 868–876). Propôs-se incorporar informação linguística adicional no sistema de tradução, anotando corpora paralelos com etiquetas de análise linguística, que seriam posteriormente utilizados para treinar o sistema. Em 2007, P. Koehn e os seus colegas disponibilizaram ao público um pacote completo de TA estatística de código aberto, Moses (Koehn et al. 2007b: 177–180). A aplicação da TA estatística fatorizada melhorava um pouco a qualidade da tradução de línguas flexionais, em geral em 1–2 pontos percentuais BLEU (Bojar 2007: 235–236; Skadinš et al. 2010: 128–129). A partir de 25 de setembro de 2008, o sistema de TA estatística do Google Translate passou também a traduzir para lituano. Entre 2012 e 2014, a Universidade de Vilnius executou, com fundos estruturais da União Europeia, BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10 projeto financiado «Desenvolvimento de um sistema de tradução automática inglês–lituano–inglês e francês–lituano–francês, baseado em métodos estatísticos». A maior parte dos trabalhos do projeto foi realizada pela UAB Tilde. Foi criado o sistema de TA ALPMAVIS, e um serviço público de tradução automática estatística na Internet ficou disponível ao público (https://www.versti.eu/)14. De acordo com os testes realizados em 2014, as pontuações de qualidade da tradução de textos de caráter geral (na métrica BLEU) mais do que duplicaram os resultados da tradução lituana baseada em regras e foram praticamente equivalentes aos resultados do sistema de tradução Google Translate. O ALPMAVIS é particularmente eficaz na tradução de textos jurídicos. 3. QUALIDADE DA TRADUÇÃO AUTOMÁTICA PARA LITUANO Com o surgimento de um novo fenómeno linguístico — textos lituanos traduzidos por máquinas —, tornou-se interessante avaliar a qualidade dessa tradução em relação à língua padrão. Para a avaliação, escolheu-se um texto de caráter geral, por representar melhor a língua padrão, e utilizou-se a métrica BLEU para medir a qualidade da tradução. Para testar a qualidade da tradução, escolheu-se um texto de caráter geral publicado na Internet15. Os cálculos do BLEU foram realizados sobre um documento mais extenso do que o excerto apresentado abaixo, uma vez que as pontuações BLEU ao nível da frase apresentam fraca correlação com a avaliação humana da qualidade (Kos, Bojar 2009: 140). As informações apresentadas ajudarão o leitor a compreender como as pontuações percentuais do BLEU CI (calculadas sem distinguir maiúsculas de minúsculas) se relacionam com a qualidade da tradução automática. Por outro lado, mesmo sem olhar para os números, o leitor pode formar a sua própria opinião sobre a forma como traduzem os sistemas de TA baseados nos modelos descritos anteriormente. Apresentam-se a seguir versões da tradução do mesmo texto original, obtidas com diferentes métodos de tradução. Antes do texto traduzido, indica-se o método de tradução, a data da tradução na Internet e a pontuação percentual do BLEU CI. Texto original em inglês: Todos querem uma vida longa, feliz e saudável, e os cientistas estão a fazer o seu melhor para tornar isso possível. Estão a enfrentar alguns dos principais problemas de saúde atuais, bem como ameaças emergentes, como o impacto crescente da doença de Alzheimer, da diabetes e das «superbactérias» resistentes aos antibióticos. O investimento na investigação e na inovação em saúde ajudará a manter-nos ativos, a desenvolver tratamentos novos, mais seguros e mais eficazes, e a ajudar a manter os nossos sistemas de saúde e de cuidados 14 O ALPMAVIS também está disponível através do sistema de informação dos recursos integrados da língua e da escrita lituanas Raštija.lt (www.raštija.lt). 15 Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11 viável. Isso dará aos médicos as ferramentas de que precisam para uma medicina mais personalizada e intensificará a prevenção e o tratamento de doenças crônicas e infecciosas. Tradução realizada pelo tradutor: Todos querem viver muito e felizes, com saúde, e os cientistas fazem tudo o que podem para que isso se torne possível. Eles tentam resolver alguns dos problemas de saúde mais importantes existentes e as ameaças à saúde que surgem, como os problemas cada vez maiores causados pela doença de Alzheimer, pelo diabetes e por microrganismos resistentes a antibióticos. Os investimentos em pesquisa e inovação na área da saúde nos ajudarão a permanecer ativos, a desenvolver tratamentos novos, mais seguros e eficazes e a manter a sustentabilidade do nosso sistema de saúde. Eles fornecerão aos médicos os instrumentos necessários para escolher medicamentos de acordo com as necessidades individuais dos pacientes; além disso, contribuirão para a prevenção e o tratamento de doenças crônicas e contagiosas. Tradução automática baseada em regras da VDU, 19/09/2014, BLEU – 8,54: Todos querem uma vida longa, feliz e saudável, e os cientistas se esforçam para tornar isso possível. Eles enfrentam alguns dos principais problemas de saúde atuais, bem como ameaças emergentes, como os efeitos crescentes da doença de Alzheimer, do diabetes e dos «supermicróbios» resistentes a antibióticos. O investimento em pesquisa e inovação na área da saúde nos ajudará a permanecer ativos, desenvolver tratamentos novos, mais seguros e eficazes e a manter nossos sistemas de saúde e assistência em funcionamento. Isso dará aos médicos as ferramentas de que precisam para uma medicina mais personalizada e ampliará a prevenção e o tratamento de doenças crônicas e infecciosas. Tradução automática estatística ALPMAVIS, 19/09/2014, BLEU – 17,59: Todos querem uma vida longa, feliz e saudável, e os cientistas se esforçam para tornar isso possível. Eles enfrentam alguns dos principais problemas de saúde e ameaças emergentes, como o impacto crescente da doença de Alzheimer, do diabetes e dos «superbugs» resistentes a antibióticos. Os investimentos em pesquisa e inovação na área da saúde nos ajudarão a permanecer ativos, a desenvolver tratamentos novos, mais seguros e eficazes e a manter a sustentabilidade dos sistemas de saúde e assistência. Isso dará aos médicos as ferramentas de que precisam para uma medicina mais personalizada e promoverá a prevenção e o tratamento de doenças crônicas e infecciosas. Google tradução automática estatística, 19/09/2014, BLEU – 17,10: Cada um de nós busca uma vida longa, saudável e feliz, e os cientistas fazem todo o possível para que isso se concretize. Eles se ocupam de alguns dos principais problemas de saúde, bem como de novos perigos, como o impacto crescente da doença de Alzheimer, do diabetes e dos «superbugs» resistentes a antibióticos. Os investimentos em pesquisa e inovação na área da saúde nos ajudarão a permanecer ativos, criar tratamentos novos, mais seguros e eficazes e contribuir para a sustentabilidade dos nossos sistemas de saúde. Isso fornecerá aos médicos as ferramentas necessárias para praticar uma medicina mais personalizada e intensificar os esforços para prevenir e tratar doenças infecciosas e crônicas. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12 Microsoft Translator (Bing) tradução automática estatística, 2017 09 27, BLEU −16,68: Todos querem uma vida longa, feliz e saudável, e os cientistas fazem tudo o que podem para tornar isso possível. Eles estão combatendo alguns dos principais problemas de saúde atuais, bem como novas ameaças, como a doença de Alzheimer, a diabetes e o impacto crescente das superbactérias resistentes aos antibióticos. Investir em investigação e inovação na área da saúde ajudará a manter-nos ativos, a desenvolver tratamentos novos, mais seguros e eficazes, e a preservar a vitalidade da nossa saúde e dos sistemas de cuidados de saúde. Isso proporciona os meios necessários para uma medicina mais avançada e reforçará a prevenção e o tratamento de doenças crónicas e infeciosas pelos médicos. Os excertos de tradução automática apresentados refletem a qualidade típica da tradução automática de textos de caráter geral. Traduções de caráter geral muito melhores só são obtidas quando o texto traduzido já foi utilizado alguma vez para treinar o sistema. Uma avaliação objetiva da qualidade da tradução de um sistema de MV só é possível usando textos que nunca foram incluídos no treino do sistema. É preciso reconhecer que, na prática, os sistemas de MV estatísticos e baseados em regras atualmente em funcionamento ainda traduzem mal textos de caráter geral para lituano. 4. TRADUÇÃO AUTOMÁTICA NEURONAL Em 2013, Nal Kalchbrenner e Phil Blunsom propuseram a utilização de redes neuronais na tradução automática (Kalchbrenner, Blunsom 2013: 1700–1709). A ideia de recorrer a processadores gráficos de computador para os cálculos das redes neuronais abriu possibilidades para resolver problemas reais, incluindo a realização da tradução automática. A tradução automática neuronal (NMV) é implementada com milhões de neurónios artificiais. O conceito de NMV é bastante simples: o codificador transforma toda a frase da língua de origem num espaço vetorial de algumas centenas de dimensões, convertendo-a no chamado vetor de pensamento16, constituído por uma sequência de números que representa o significado da frase. Na prática, este vetor é o pensamento da frase vetorizado. As direções dos vetores que representam objetos e ideias afins diferem pouco17. O descodificador gera a tradução a partir do vetor de pensamento. Tanto o codificador como o descodificador são construídos com base em redes neuronais recorrentes (Sutskever et al. 2014: 3104–3112; Cho et al. 2014: 1724–1734). 16 O termo foi popularizado por Geoffrey Hinton, um dos mais notáveis criadores da inteligência artificial. 17 Isso pode ser verificado, por exemplo, experimentando a ferramenta de vetorização word2vec (Mikolov et al. 2013: 3111–3119). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13 FIG. 3. Triângulo de Vauquois da tradução automática neuronal A Fig. 3 apresenta o esquema da tradução automática neuronal de acordo com o triângulo de Vauquois18. Deve-se notar que se alcança automaticamente um nível elevado de análise, próximo da interlíngua. O sistema de NMV é treinado com recurso a corpora paralelos. Durante o treino, as redes neuronais recorrentes programam automaticamente a informação morfológica, sintática e semântica presente nas frases, juntamente com regularidades detetadas em vários graus. Por fim, a tradução automática tornou-se inseparável do desenvolvimento da inteligência artificial. A tradução automática neuronal está a evoluir rapidamente e produz resultados muito melhores do que a tradução automática baseada em regras ou estatística. Ao investigar as possibilidades da NMV, deparou-se rapidamente com um novo fenómeno: as redes neuronais eram capazes de traduzir entre pares de línguas para os quais não tinham sido treinadas diretamente. Se um sistema de NMV tiver sido treinado para traduzir da língua A para a língua B e também da língua A para a língua C, o sistema consegue igualmente traduzir da língua B para a C (Johnson 2017: 339–351), embora a qualidade da tradução seja um pouco inferior. Este fenómeno pode ser designado por tradução zero-shot (em inglês, zero-shot translation). Isto significa que a rede neuronal do sistema de MV cria a sua própria interlíngua durante o treino, compreensível apenas para ela. No final de 2016, Google Translate (GT) começou a utilizar a tradução neuronal. Eis como fica a tradução neuronal do nosso exemplo ilustrativo (Google NMV neuronal 2017 09 14, BLEU CI – 25,94): 18 Uma representação da tradução automática neuronal segundo o triângulo de Vauquois foi publicada na Internet pela SYSTRAN em 2016, no artigo «Pure Neural Machine Translation». Acesso na Internet: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (consultado em 2017 11 06). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14 Todos querem uma vida longa, feliz e saudável, e os cientistas fazem tudo para que isso seja possível. Eles enfrentam alguns dos problemas de saúde mais importantes da atualidade, bem como ameaças emergentes, como o impacto crescente da doença de Alzheimer, da diabetes e das «superbactérias» resistentes aos antibióticos. O investimento na investigação e inovação em saúde ajudará a manter-nos ativos, a desenvolver tratamentos novos, mais seguros e mais eficazes, e a garantir a sustentabilidade dos nossos sistemas de saúde e de cuidados. Isso proporcionará aos médicos as ferramentas de que necessitam para uma medicina mais personalizada, aumentando assim a prevenção e o tratamento de doenças crónicas e infecciosas. É preciso reconhecer que a rede neural traduziu o nosso exemplo com uma qualidade incomparavelmente superior à dos sistemas de tradução automática baseados em regras ou estatísticos. Por enquanto, o GT ainda não traduz tudo com sucesso; por exemplo, ao tentar traduzir Beauty requires no ornaments, obteve-se – Grožis nereikalingas papuošalams. Experiências semelhantes permitem identificar muitos casos em que o GT traduz muito mal; portanto, ainda há muito a melhorar. A Universidade de Vilnius prepara-se para começar, em 2018, a implementar uma nova geração de tradução automática neural para inglês, lituano, polaco, francês, russo e alemão. O sistema de tradução integrará a conversão automática de texto em fala e a tradução de texto ditado em lituano. 5. OBSERVAÇÕES FINAIS Hoje, o progresso da tradução automática já é inseparável dos avanços na criação de inteligência artificial. No que diz respeito à qualidade da tradução, todos os métodos clássicos de TA ainda podem ser aperfeiçoados; as possibilidades não se esgotaram e não está claro onde se situam os seus limites. A era romântica das conquistas fáceis terminou; os métodos matemáticos heurísticos ou de engenharia nem sempre ajudam. As crianças aprendem uma língua como que automaticamente, sem esforço; mais tarde, porém, só aperfeiçoam a sua linguagem estudando gramática e literatura. Ao que parece, sem um envolvimento mais significativo dos linguistas, dificilmente será possível continuar a aperfeiçoar a tradução automática. Esse envolvimento é facilitado pelas ferramentas de tradução automática implementadas em plataformas de código aberto: por exemplo, Apertium para a tradução baseada em regras (Forcada ir kt. 2011: 127–144); Moses (Koehn ir kt. 2007b: 177–180), LetsMT! (Vasiljevs ir kt. 2012: 43–48) para a tradução estatística; TensorFlow e OpenNMT para a tradução neural. É de esperar que os linguistas lituanos unam esforços para enfrentar os desafios modernos da linguística computacional, pois alguns deles são existencialmente importantes para a nossa língua. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15 LITERATŪRA Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72. Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207. Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239. Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76. Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311. Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734. Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194. Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61. Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18. Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16 De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270. Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145. Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144. Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12. Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81. Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31. Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114. Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351. Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709. Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876. Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17 translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180. Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133. Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148. McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133. Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119. Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118. Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318. Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316. Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264. Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132. Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18 Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112. Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418. Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581. Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48. Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337. Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23. Įteikta 2017 11 13 Priimta 2017 12 20 MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE Summary The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19 In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years. The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too. The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20 2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine? The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German. Thus, the latest achievements in machine translation apply to the Lithuanian language as well. KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence. DANIELIUS ALGIRDAS RALYS Vilniaus universiteto Taikomųjų mokslų institutas M. K. Čiurlionio g. 29, 03100 Vilnius [email protected] BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204