Mašininis vertimas lietuvių kalbai

DANIELIUS ALGIRDAS RALYS Università di Vilnius TRADUZIONE AUTOMATICA PER LA LINGUA LITUANA1 PAROLE CHIAVE: lingua lituana, storia, linguistica computazionale, traduzione automatica, reti neurali, intelligenza artificiale. INTRODUZIONE Oggi sempre più testi vengono tradotti dai computer. Questa traduzione automatica al computer è solitamente chiamata traduzione automatica (TA). Di norma, la traduzione automatica viene effettuata per orientarsi il più rapidamente possibile nell'enorme flusso di informazioni in lingue diverse e anche per diffondere le proprie informazioni il più ampiamente possibile. Lo scambio di informazioni elettroniche tra popoli e lingue sta diventando una parte importante della vita quotidiana, apre nuove possibilità per la nostra lingua e le pone nuove sfide e problemi. Il termine «traduzione automatica» (in inglese machine translation) fu usato per la prima volta a metà del secolo scorso da Warren Weaver, che propose di applicare i computer appena comparsi alla traduzione dei testi (Weaver 1949: 1). W. Weaver suggerì di considerare un testo scritto in un'altra lingua come un crittogramma decodificabile. I successi crittografici degli esperti britannici e americani nella Seconda guerra mondiale, conclusasi da poco, alimentarono l'ottimismo. All'epoca si credeva sinceramente che le macchine elettroniche avrebbero aiutato, nel giro di pochi anni, a superare la maledizione della Torre di Babele. Purtroppo, la traduzione progredì lentamente e la qualità della traduzione automatica era ben lontana da quella della traduzione umana. Dopo settant'anni, dopo successi indiscutibili e delusioni, dopo una grande quantità di lavoro svolto, nella comunità della traduzione automatica prevale di nuovo un clima ottimistico. Questa volta le speranze sono riposte nelle reti neurali artificiali e nei rapidi progressi nello sviluppo dell'intelligenza artificiale. La traduzione automatica non ha tralasciato neppure la lingua lituana. Oggi sono facilmente accessibili strumenti di traduzione automatica online che traducono dalle lingue più diffuse in lituano e viceversa. La qualità delle traduzioni della maggior parte degli strumenti è ancora piuttosto scarsa; i testi tradotti devono essere necessariamente revisionati. Si distingue per una qualità migliore soltanto lo strumento di traduzione Google Translate2, nel quale hanno iniziato a essere utilizzate 1 L'articolo è stato preparato sulla base della relazione «Traduzione automatica per la lingua lituana», presentata a Vilnius il 29 settembre 2017, in occasione della 24ª conferenza internazionale Jonas Jablonskis, «Risorse linguistiche digitali, direzioni del loro sviluppo e possibilità di utilizzo». 2 Disponibile online https://translate.google.com. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2 tecnologie di traduzione neurale. La maggior parte delle frasi tradotte con questo strumento mantiene il significato che avevano nella lingua originale. La traduzione automatica è ampiamente utilizzata per diffondere informazioni in altre lingue. Spesso i risultati della traduzione automatica vengono caricati irresponsabilmente sul web senza alcuna revisione. Le conseguenze di tali comportamenti sono già visibili: Internet pullula di testi lituani scadenti, contenenti informazioni distorte e generati automaticamente da un programma di traduzione automatica o da un altro3. Gradualmente, testi di questo tipo possono penetrare anche nei corpora. La traduzione automatica è ormai diventata una realtà quotidiana, a volte sorprendente e altre volte lampante, che merita non solo un’attenzione più scrupolosa da parte dei linguisti, ma anche un loro coinvolgimento più significativo nello sviluppo della traduzione automatica. Questo articolo presenta brevemente la storia della traduzione automatica (MV) e illustra alcune idee che ne hanno influenzato lo sviluppo. Vengono presentati i risultati raggiunti da diverse tecnologie di traduzione per la lingua lituana. Si analizzano le possibilità di applicare la MV al lituano mediante metodi basati su regole, statistici e neurali. Per ragioni di spazio, non vengono discussi i tentativi di combinare alcuni di questi metodi in un unico sistema di traduzione. 1. LE ORIGINI DELLA TRADUZIONE AUTOMATICA Una buona traduzione da un’altra lingua rappresenta sempre una certa sfida intellettuale per l’essere umano, e tradurre non è mai stata un’attività facile. Non sorprende, dunque, che si sia cercato di automatizzare in qualche modo la traduzione. Tra il 1932 e il 1935, in Francia, l’ingegnere Georges Artsrouni inventò e costruì un dispositivo meccanico universale che chiamò cervello meccanico (fr. cerveau mécanique); tra le sue altre funzioni, era in grado di tradurre il testo digitato in diverse lingue (Hutchins 2004a: 12). In questo dispositivo elettromeccanico girava un lungo nastro di memoria (fino a 40 metri), realizzato in cartone flessibile. Su di esso era riportato un dizionario multilingue che poteva contenere persino diverse decine di migliaia di parole. La parola francese digitata sulla tastiera veniva codificata meccanicamente e, in base a quel codice, il nastro di memoria ruotava fino alla posizione necessaria. Dopo alcuni secondi, il dispositivo mostrava la traduzione della parola inserita (Daumas 1965: 294–295). Il dispositivo fu presentato all’Esposizione universale di Parigi del 1937, suscitò grande interesse e ricevette il Gran Premio. In effetti, era il primo al mondo 3 Jonathan Swift, nei suoi Viaggi di Gulliver, descrive sarcasticamente una macchina che compone combinazioni insensate di parole, trascritte diligentemente e senza sosta nei libri. Oggi una simile sciocchezza può essere prodotta molto più rapidamente... BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3 un dizionario meccanico funzionante. G. Artsrouni continuò in seguito a perfezionare il suo dispositivo, ma i problemi meccanici e lo scoppio della Seconda guerra mondiale interruppero i lavori. Nel 1933, nell’Unione Sovietica, Piotras Smirnovas-Trojanskis ottenne un certificato d’autore per una macchina elettromeccanica per la traduzione4. Sebbene la macchina non sia mai stata costruita, l’inventore formulò molte idee preziose sulla traduzione automatica, realizzate solo molti anni dopo, con l’avvento dei computer. P. Smirnovas-Trojanskis parlava russo e comprendeva quindi bene le peculiarità delle lingue flessive. Propose di suddividere il processo di traduzione in tre fasi: nella prima, una persona avrebbe dovuto ridurre il testo a lemmi e annotarli con etichette morfosintattiche (fase di analisi); nella seconda, la macchina avrebbe individuato automaticamente i lemmi in una o più lingue di arrivo e avrebbe assegnato loro le stesse etichette (fase di trasformazione); nella terza, un redattore avrebbe dovuto preparare un testo di traduzione scorrevole sulla base dei lemmi di arrivo e delle relative etichette (fase di generazione). P. Smirnovas-Trojanskis propose anche diversi metodi per tradurre sinonimi, omonimi e locuzioni idiomatiche. Le idee di P. Smirnovas-Trojanskis non furono apprezzate nella sua patria; egli non visse abbastanza per assistere all’era dei computer5, ma le sue idee non furono dimenticate e in seguito divennero note anche in Occidente. L’era della traduzione automatica pratica ebbe inizio con l’avvento dei computer. Nel 1947, W. Weaver scrisse una lettera al brillante linguista e creatore di computer Norbert Wiener, chiedendogli se i recenti progressi della crittografia e i computer appena comparsi6 potessero essere applicati alla traduzione linguistica. W. Weaver sosteneva che qualsiasi testo russo potesse essere considerato un messaggio inglese codificato in caratteri cirillici. Gli sembrava che i computer potessero semplicemente decifrare quel messaggio. Purtroppo, la risposta di N. Wiener fu scettica. Nel 1949, W. Weaver inviò a un pubblico più vasto un memorandum nel quale proponeva di usare i computer per tradurre testi (Weaver 1949: 7)7. All’epoca, nei vari laboratori americani e britannici prevalevano idee di traduzione automatica letterale e semplice. Lo studioso era convinto che i computer potessero tradurre molto meglio. Nel memorandum, W. Weaver propose quattro direzioni per la ricerca e la soluzione dei problemi della traduzione. Innanzitutto, suggerì di analizzare statisticamente il contesto immediato della parola da tradurre, così da risolvere i problemi della polisemia. Questa intuizione costituisce oggi la base della traduzione automatica statistica. La seconda proposta si basava sull’ipotesi che nella lingua 4 Nel certificato d’autore, questo dispositivo è denominato «macchina per selezionare e stampare parole nella traduzione da una lingua a un’altra o a più lingue contemporaneamente». 5 P. Smirnovas-Trojanskis morì nel 1950. 6 Il primo computer elettronico britannico, Colossus, entrò in funzione all’inizio del 1944; il primo computer elettronico digitale americano, ENIAC, fu realizzato alla fine del 1945. Il primo computer sovietico, MESM, fu realizzato nel 1950. 7 Nel memorandum di W. Weaver è stato usato il termine traduzione automatica (ingl. machine translation), che si affermò rapidamente. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4 contiene elementi logici; pertanto, utilizzando modelli di reti neurali (McCulloch, Pitts 1943: 115–133), dovrebbe essere possibile dedurre la traduzione dalle premesse presenti nella lingua originale. Il tempo ha dimostrato la genialità di questa intuizione: oggi il metodo neurale di traduzione automatica produce traduzioni della massima qualità. La terza direzione per risolvere i problemi dovrebbe consistere nell’applicazione dei metodi crittografici alla traduzione tra lingue. Quarant’anni dopo, ciò è stato realizzato negli algoritmi di traduzione automatica statistica. Per illustrare la quarta proposta, W. Weaver disegnò un’immagine allegorica in cui le persone vivono in alte torri chiuse, simbolo delle diverse lingue. Le persone riescono a comunicare a fatica, gridandosi attraverso le spesse pareti delle torri. Per fortuna, le torri hanno fondamenta e un sotterraneo in comune: basta scendervi e dovrebbe essere più facile comunicare. W. Weaver sosteneva che nelle lingue del mondo fosse insita una certa struttura profonda comune, ancora da portare alla luce. Quest’ultima proposta dello studioso diede impulso alla ricerca e alla costruzione di un linguaggio universale: l’interlingua per la traduzione automatica8. Dopo il memorandum di W. Weaver, la traduzione automatica non tardò a prendere slancio. Nel 1954, a New York, fu presentato pubblicamente un sistema di traduzione automatica sviluppato grazie alla collaborazione tra la IBM e la Georgetown University. Si traduceva dal russo all’inglese. Il sistema comprendeva soltanto sei regole grammaticali e per la traduzione utilizzava circa 250 parole (Hutchins 2004b: 102). Era orientato alla chimica organica e gli esempi di traduzione erano stati predisposti con cura. Dopo l’esperimento, si sperava che nel giro di pochi anni le macchine avrebbero tradotto perfettamente e furono stanziati cospicui finanziamenti per proseguire i lavori. La TA cominciò a svilupparsi rapidamente negli Stati Uniti d’America (USA) e nell’Unione Sovietica, con l’obiettivo di acquisire un vantaggio strategico nella guerra fredda. Le lingue tradotte più frequentemente erano il russo e l’inglese. 2. TRADUZIONE AUTOMATICA BASATA SU REGOLE A metà degli anni Cinquanta del secolo scorso comparvero sistemi di traduzione automatica (computerizzata) che cominciarono a essere chiamati basati su regole (ingl. rule-based). Erano sviluppati secondo l’idea che una lingua potesse essere descritta mediante un insieme di regole specifiche, anche grammaticali. Con questo metodo, la frase nella lingua originale viene analizzata fino a un determinato livello, se ne individua la struttura e la si trasforma, secondo regole appositamente definite, in una struttura equivalente nella lingua di arrivo, dalla quale viene generata una frase in tale lingua. Le strutture frasali delle diverse lingue possono differire notevolmente e presentare caratteristiche specifiche, che devono essere rispecchiate nel sistema di TA. 8 Non va confusa con le interlingue delle lingue naturali, come l’esperanto, l’ido, il volapük e simili. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5 del sistema. Daiva Šveikauskienė (2005: 411–417) ha studiato i problemi relativi alla rappresentazione delle strutture sintattiche delle frasi lituane in una forma adeguata alla traduzione automatica. Esistono diverse varianti dei sistemi di TA basati su regole, che si distinguono per la profondità dell’analisi (fig. 19). Quanto più profonda è l’analisi della frase, tanto più semplice è la trasformazione. Idealmente, analizzando il testo fino al livello dell’interlingua, non sarebbe più necessaria alcuna trasformazione: la rappresentazione interlinguistica del testo dovrebbe essere identica in tutte le lingue. FIG. 1. Triangolo di Vauquois della traduzione automatica basata su regole Si è cercato di affrontare i problemi della TA basata su regole ricorrendo sia a metodi empirici sia a metodi linguistici. Tra gli empiristi, il metodo più diffuso era quello della traduzione diretta. In questo tipo di traduzione tra due lingue si utilizzano soltanto un dizionario e semplici regole di programmazione; non si effettua praticamente alcuna analisi linguistica né riorganizzazione sintattica (tale metodo corrisponde al livello più basso della fig. 1). Negli Stati Uniti, negli anni Cinquanta del secolo scorso, il gruppo di ricerca guidato da Erwin Reifler elaborò dizionari specifici per la traduzione automatica, nei quali, accanto agli equivalenti lessicali, erano incluse regole locali per modificare l’ordine delle parole. Venivano inoltre fornite traduzioni di numerose espressioni e concetti generali (ingl. cover terms) per affrontare i problemi di polisemia. Nel 1964 entrò in funzione Mark II, un sistema di traduzione diretta dal russo all’inglese sviluppato su commissione dell’aeronautica militare statunitense. Utilizzava il dizionario di E. Reifler, che comprendeva oltre 170 000 parole (Reifler 1960: 312). I metodi linguistici furono applicati più ampiamente alla Georgetown University, dove si riunì un nutrito gruppo di ricercatori di traduzione automatica, suddiviso in diverse squadre che applicavano metodi differenti 9 Illustrazioni di questo tipo sono spesso chiamate triangolo di Vauquois; questo metodo di rappresentazione fu proposto da Bernard Vauquois (1976: 335), pioniere francese della traduzione automatica. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6 gruppi. Nel gruppo diretto da Michael Zarechnak fu sviluppato il sistema di traduzione automatica di Georgetown (ingl. GAT – Georgetown Automatic Translation). Il sistema eseguiva un’analisi su tre livelli: morfologica (comprendente anche l’identificazione delle espressioni idiomatiche), sintattica e sintagmatica. Il sistema GAT modificato cominciò a essere utilizzato con successo a Euratom (a Ispra, in Italia) nel 1963 e presso la Commissione per l’energia atomica degli Stati Uniti nel 1964. Ci volle molto più tempo per sviluppare un sistema di traduzione automatica basato sull’interlingua. Il sistema di traduzione automatica KANT, di valore commerciale, apparve soltanto nell’ultimo decennio del secolo scorso (Mitamura ir kt. 1991: 105–118). Il sistema veniva utilizzato per tradurre alcuni testi tecnici. Non fu mai sviluppata un’interlingua per esprimere la lingua generale. Per tutto il decennio successivo alla presentazione del sistema di traduzione automatica IBM–Georgetown, si profusero grandi sforzi per migliorare sostanzialmente la qualità della traduzione automatica10, ma i progressi furono assai modesti. Nel 1966 negli Stati Uniti fu istituito il comitato ALPAC (ingl. Automatic Language Processing Advisory Committee), che concluse che la traduzione automatica non avesse prospettive nel prossimo futuro, poiché era di scarsa qualità e doveva ancora essere revisionata da un traduttore, il quale impiegava così più tempo di quanto ne avrebbe impiegato traducendo senza alcuna macchina. Il comitato ALPAC ignorò il fatto che la traduzione automatica aiuta a tradurre enormi quantità di informazioni e che molti utenti si accontentano di una traduzione scadente, che trasmette appena il senso. In seguito alle conclusioni negative del comitato, negli Stati Uniti i finanziamenti ai progetti di traduzione automatica furono praticamente interrotti per alcuni decenni; i finanziamenti diminuirono anche in altri paesi. Nonostante lo scetticismo nei confronti della traduzione automatica, in questo settore si registrarono progressi costanti. Il sistema di traduzione basato su regole SYSTRAN, il cui sviluppo era iniziato negli Stati Uniti nel 1968 (Toma 1977: 569–581), fu costantemente perfezionato e in seguito divenne commerciale. Il sistema cominciò a essere utilizzato presso il Dipartimento della Difesa degli Stati Uniti, la NASA, Euratom, la Commissione europea e in molti altri luoghi. In base a un accordo commerciale del 1975, la Commissione europea ottenne il diritto di perfezionare il sistema per le proprie esigenze. Il sistema traduceva abbastanza bene in molte lingue testi appartenenti ad alcuni ambiti linguistici. Dal 2010 SYSTRAN ha iniziato a utilizzare tecnologie ibride. Anche in altri paesi furono sviluppati sistemi di traduzione automatica piuttosto efficaci: ARIANE (a Grenoble, in Francia), il sistema MU, simile a questo (a Kyoto, in Giappone), e SUSY (a Saarbrücken, in Germania). Il progetto europeo EUROTRA (1982–1992), costato oltre 50 000 000 ECU11, si concluse con un insuccesso: centinaia di specialisti non riuscirono a sviluppare un sistema di traduzione automatica funzionante. Ebbe così inizio una grave crisi della traduzione automatica basata su regole. Negli anni successivi si rimase a lungo fermi. 10 Durante questo periodo, negli Stati Uniti furono spesi circa 20 milioni di dollari per lo sviluppo e il perfezionamento dei sistemi di traduzione automatica. 11 Nella relazione del 1994 della Commissione delle Comunità europee (ingl. CEC – Commission of the European Communities) furono presentati i dati sui finanziamenti di EUROTRA: nel periodo 1982–1992 la Commissione assegnò al progetto 37,5 milioni di ECU (CEC 1994: 3.10), mentre i governi dei vari paesi stanziarono per i sedici centri EUROTRA oltre 20 milioni di ECU aggiuntivi (CEC 1994: A4.2). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7 La traduzione automatica basata su regole è apparsa in Lituania solo in questo secolo. Nel 2003–2004 il sistema di traduzione automatica Česilko (Hajič ir kt. 2000: 10–12) fu adattato alla lingua lituana (Homola, Rimkutė 2004: 77–81). In quel periodo Petras Homola ed Erika Rimkutė studiarono le capacità di traduzione automatica del sistema tra il ceco e il lituano. Nel 2005–2007 l’Università Vytautas Magnus realizzò il progetto «Strumento online per la traduzione di informazioni», finanziato dai Fondi strutturali dell’Unione europea. La struttura del sistema di traduzione automatica progettato è descritta da Vidas Daudaravičius (2006: 7–18). Fu creato uno strumento online pubblico per tradurre dall’inglese al lituano12. Il motore di traduzione fu fornito dalla società russa PROMT. Alcuni componenti linguistici del sistema furono sviluppati in Lituania. Il sistema traduceva molto bene solo alcuni tipi di frasi; le traduzioni buone erano una minoranza. Nel 2007 fu effettuata una valutazione linguistica di questo sistema di traduzione automatica (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė e Greta Ziezvytė (2013: 55–61) valutarono la conformità della traduzione prodotta dal sistema di traduzione automatica dell’Università Vytautas Magnus agli standard di testualità (De Beaugrande, Dressler 1981: 3). Nel loro lavoro le autrici conclusero che i testi di traduzione automatica esaminati, appartenenti a generi diversi, a causa dei numerosi errori semantici non soddisfacevano i criteri di coerenza né alcuni altri standard di testualità; pertanto, tali traduzioni non possono essere considerate accettabili e informative per il lettore. Con il passare dei decenni e, in sostanza, restando fermi sul posto, si cominciò a comprendere che la lingua è un fenomeno estremamente complesso, difficile da descrivere mediante regole. Per risolvere i problemi legati alla polisemia e alla traduzione delle anafore si propose di utilizzare informazioni extralinguistiche sulla struttura del mondo e sulla sua logica (Bar-Hillel 1958: 197–207). Tuttavia, tali informazioni sistematizzate semplicemente non esistevano, e la descrizione formale del significato di un testo appariva un compito più arduo della traduzione stessa. Era evidente che i problemi della traduzione automatica richiedevano soluzioni rivoluzionarie. 2. TRADUZIONE AUTOMATICA STATISTICA Nel 1988 un gruppo di ricercatori IBM (Brown ir kt. 1988: 71–76) propose di utilizzare per la traduzione automatica le informazioni contenute nei corpora paralleli, cercando le varianti di traduzione più probabili. Il modello di traduzione proposto si basa sull’ipotesi che in un canale rumoroso la frase nella lingua originale f si trasformi nella frase e nella lingua di traduzione. Il rumore nel canale altera statisticamente la frase originale f, per cui all’uscita del canale possiamo ottenere frasi diverse e, di lunghezza assai variabile, dotate di un significato o di un altro nella lingua di traduzione, oppure del tutto prive di significato. Poiché il canale cerca di tradurre correttamente, le varianti di traduzione corrette riescono a passare attraverso il rumore sempre più spesso. 12 Disponibile online http://vertimas.vdu.lt/twsas/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8 In questo modello si assume che, quando una frase f viene inviata al canale, la traduzione più appropriata ê tra tutte le e è quella la cui probabilità condizionata di comparire all’uscita del canale p(e|f) è massima, cioè ê = argmaxe p(e|f). Qui ci si trova di fronte al problema che, per individuare la migliore traduzione ê, occorre esaminare non solo tutte le frasi possibili nella lingua di arrivo, ma anche tutte le possibili combinazioni di parole al suo interno. Calcolare una tale quantità di probabilità è molto difficile. Applicando il teorema di Bayes, si ottiene un’espressione equivalente più facile da calcolare (Koehn et al. 2003: 127): argmaxe p(e|f) = argmaxe p(f|e) p(e) Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų13. FIG. 2. Triangolo di Vauquois della traduzione automatica statistica Il metodo di traduzione proposto dai ricercatori IBM iniziò subito a competere con la traduzione basata su regole in termini di qualità. Gli sviluppatori di sistemi di traduzione automatica statistica erano attratti dalla possibilità di tradurre in molte lingue senza avere alcuna conoscenza della traduzione o della grammatica: era sufficiente addestrare i sistemi in fase di sviluppo sui corpora disponibili. Nella traduzione statistica classica non viene effettuata alcuna 13 Il modello linguistico riduce la quantità di calcoli, perché permette di scartare subito le frasi non presenti nei corpora e aiuta a scegliere la traduzione più fluida; mostra inoltre indirettamente perché la letteratura narrativa sia tradotta meglio da un traduttore o una traduttrice la cui lingua di arrivo è la lingua madre. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9 analisi delle frasi nella lingua originale né sintesi delle frasi nella lingua di arrivo (fig. 2): si traduce soltanto sulla base delle probabilità determinate durante l’addestramento del sistema. I modelli di disposizione delle parole nelle traduzioni, in numero di cinque, proposti da Peter Brown e dai suoi colleghi non erano sufficientemente flessibili: consentivano di tradurre una parola della lingua originale con una o più parole oppure di non tradurla affatto. Nel 2003 fu proposto (P. Koehn et al. 2003: 127–133) un modello di traduzione automatica più flessibile, in grado di tradurre anche le frasi della lingua originale. In questo periodo i metodi di valutazione automatica della qualità della traduzione automatica furono rapidamente perfezionati, poiché era molto importante sapere in breve tempo quale versione del sistema di traduzione automatica in fase di ottimizzazione producesse le traduzioni migliori. Si mirava inoltre a fare in modo che tale valutazione consentisse di confrontare oggettivamente la qualità delle traduzioni di sistemi diversi. Col tempo una delle metriche più diffuse divenne BLEU (acronimo di bilingual evaluation understudy) (Papineni et al. 2002: 311–318), che confronta automaticamente quanto il testo prodotto dalla traduzione automatica si discosti da quello della traduzione umana. Questa metrica non tiene conto della comprensibilità del testo né della correttezza grammaticale: calcola soltanto le parole o le frasi che coincidono esattamente. Nel calcolo della metrica, le frasi corrispondenti hanno un peso statistico relativamente maggiore rispetto alle singole parole corrispondenti. A seconda del compito, per valutare la qualità della traduzione automatica si usano spesso anche altre metriche, ciascuna dotata di una o più proprietà utili: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover et al. 2006: 223–231) e molte altre. Nonostante la popolarità della traduzione automatica statistica, i limiti di questo metodo nel tradurre verso lingue morfologicamente ricche (flessive) divennero sempre più evidenti. Nei corpora paralleli delle lingue flessive spesso non sono presenti tutte le forme possibili delle frasi e persino delle singole parole meno frequenti. Se alcune forme possibili non sono state incluse nell’addestramento del sistema di traduzione automatica, tali forme non saranno tradotte. Questa carenza della traduzione automatica classica è causata dall’insufficienza dei dati, che porta a ottenere, dopo l’addestramento del sistema, una matrice delle probabilità di traduzione sparsa. Per superare questo limite, Philipp Koehn e Hieu Hoang proposero la traduzione automatica statistica fattorizzata (Koehn, Hoang 2007a: 868–876). Fu proposta l’integrazione di ulteriori informazioni linguistiche nel sistema di traduzione, mediante l’annotazione dei corpora paralleli con etichette di analisi linguistica, poi utilizzati per addestrare il sistema. Nel 2007 P. Koehn e i suoi colleghi presentarono al grande pubblico un pacchetto completo per la traduzione automatica statistica, Moses, con codice aperto (Koehn et al. 2007b: 177–180). L’applicazione della traduzione automatica statistica fattorizzata migliorava in certa misura la qualità della traduzione delle lingue flessive, generalmente di 1–2 punti BLEU (Bojar 2007: 235–236; Skadinš et al. 2010: 128–129). Dal 25 settembre 2008 il sistema di traduzione automatica statistica di Google Translate iniziò a tradurre anche in lituano. Nel 2012–2014 l’Università di Vilnius realizzò un progetto del Fondo strutturale dell’Unione europea BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10 il progetto finanziato «Sviluppo di un sistema di traduzione automatica inglese–lituano–inglese e francese–lituano–francese basato su metodi statistici». La maggior parte dei lavori del progetto è stata svolta dalla società UAB Tilde. È stato creato il sistema di traduzione automatica ALPMAVIS ed è diventato disponibile al pubblico un servizio online gratuito di traduzione automatica statistica (https://www.versti.eu/)14. Secondo i test condotti nel 2014, i punteggi di qualità per la traduzione di testi di carattere generale (nella metrica BLEU) superavano di oltre il doppio i risultati della traduzione lituana basata su regole ed erano praticamente equivalenti a quelli del sistema di traduzione Google Translate. ALPMAVIS è particolarmente efficace nella traduzione di testi giuridici. 3. QUALITÀ DELLA TRADUZIONE AUTOMATICA IN LITUANO Con l’emergere di un nuovo fenomeno linguistico — i testi lituani tradotti automaticamente — è diventato interessante valutare la qualità di tale traduzione rispetto alla lingua standard. Per la valutazione è stato scelto un testo di carattere generale, poiché rispecchia meglio la lingua standard, e per misurare la qualità della traduzione è stata utilizzata la metrica BLEU. Per testare la qualità della traduzione è stato scelto un testo di carattere generale pubblicato online15. I calcoli BLEU sono stati eseguiti su un documento più lungo rispetto agli estratti riportati di seguito, poiché i punteggi BLEU a livello di frase hanno una scarsa correlazione con la valutazione umana della qualità (Kos, Bojar 2009: 140). Le informazioni fornite aiuteranno il lettore a comprendere come i punteggi percentuali BLEU CI (calcolati senza distinguere tra maiuscole e minuscole) siano correlati alla qualità della traduzione automatica. D’altra parte, anche senza guardare i numeri, il lettore può farsi un’idea di come traducono i sistemi di traduzione automatica che utilizzano i modelli descritti in precedenza. Di seguito sono presentate le versioni tradotte dello stesso testo originale, ottenute applicando diversi metodi di traduzione. Prima del testo tradotto sono indicati il metodo di traduzione, la data della traduzione online e il punteggio percentuale BLEU CI. Testo originale in inglese: Tutti desiderano una vita lunga, felice e sana, e gli scienziati fanno del loro meglio per renderlo possibile. Stanno affrontando alcune delle principali questioni sanitarie attuali, nonché minacce emergenti come l’impatto crescente della malattia di Alzheimer, del diabete e dei «superbatteri» resistenti agli antibiotici. Gli investimenti nella ricerca e nell’innovazione in campo sanitario ci aiuteranno a rimanere attivi, a sviluppare trattamenti nuovi, più sicuri ed efficaci e a mantenere i nostri sistemi sanitari e assistenziali 14 ALPMAVIS è disponibile anche attraverso il sistema informativo delle risorse integrate della lingua e della scrittura lituane Raštija.lt (www.raštija.lt). 15 Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11 praticabile. Fornirà ai medici gli strumenti di cui hanno bisogno per una medicina più personalizzata e intensificherà la prevenzione e il trattamento delle malattie croniche e infettive. Traduzione eseguita dal traduttore: Tutti vogliono vivere a lungo e felicemente, essere in buona salute, e gli scienziati fanno del loro meglio perché ciò diventi possibile. Cercano di risolvere alcuni dei principali problemi sanitari esistenti e le minacce emergenti per la salute, come quelle causate dalla diffusione sempre maggiore della malattia di Alzheimer, del diabete e dei microrganismi resistenti agli antibiotici. Gli investimenti nella ricerca e nell’innovazione in ambito sanitario ci aiuteranno a rimanere attivi, a sviluppare trattamenti nuovi, più sicuri ed efficaci e a mantenere la vitalità del nostro sistema sanitario. Forniranno ai medici gli strumenti necessari per scegliere i farmaci in base alle esigenze individuali dei pazienti; inoltre, contribuiranno alla prevenzione e al trattamento delle malattie croniche e infettive. Traduzione automatica basata su regole del VDU, 2014 09 19, BLEU – 8,54: Tutti desiderano una vita lunga, felice e sana, e gli scienziati si impegnano a renderla possibile. Affrontano alcuni dei principali problemi sanitari attuali, nonché le minacce emergenti, come l’impatto crescente della malattia di Alzheimer, del diabete e dei «superbatteri» resistenti agli antibiotici. Gli investimenti nella ricerca sanitaria e nell’innovazione ci aiuteranno a rimanere attivi, a sviluppare trattamenti nuovi, più sicuri ed efficaci e a contribuire a mantenere vitali i nostri sistemi sanitari. Ciò fornirà ai medici gli strumenti necessari per una medicina più personalizzata e rafforzerà la prevenzione e il trattamento delle malattie croniche e infettive. Traduzione automatica statistica di ALPMAVIS, 2014 09 19, BLEU – 17,59: Tutti desiderano una vita lunga, felice e sana, e gli scienziati si impegnano a renderla possibile. Affrontano alcuni dei principali problemi sanitari e le minacce emergenti, per esempio il crescente impatto della malattia di Alzheimer, del diabete e dei «superbugs» resistenti agli antibiotici. Gli investimenti nella ricerca sanitaria e nell’innovazione ci aiuteranno a rimanere attivi, a sviluppare trattamenti nuovi, più sicuri ed efficaci e a contribuire a mantenere vitali i sistemi sanitari e assistenziali. Ciò fornirà ai medici gli strumenti necessari per una medicina più personalizzata e promuoverà la prevenzione e il trattamento delle malattie croniche e infettive. Google Traduzione automatica statistica, 2014 09 19, BLEU – 17,10: Ognuno di noi aspira a una vita lunga, sana e felice, e gli scienziati fanno tutto il possibile per renderla tale. Affrontano alcuni dei principali problemi sanitari, nonché nuove minacce, come il crescente impatto della malattia di Alzheimer, del diabete e dei «superbugs» resistenti agli antibiotici. Gli investimenti nella ricerca e nell’innovazione in ambito sanitario ci aiuteranno a rimanere attivi, a sviluppare trattamenti nuovi, più sicuri ed efficaci e a sostenere la sostenibilità dei nostri sistemi sanitari. Ciò fornirà ai medici gli strumenti necessari per praticare una medicina più personalizzata e per intensificare gli sforzi volti a prevenire e curare le malattie infettive e croniche. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12 Microsoft Translator (Bing) traduzione automatica statistica, 27/09/2017, BLEU −16,68: Tutti desiderano una vita lunga, felice e sana, e gli scienziati fanno tutto il possibile perché ciò diventi realtà. Essi combattono alcuni dei principali problemi di salute attuali, nonché nuove minacce, come il crescente impatto della malattia di Alzheimer, del diabete e dei superbatteri resistenti agli antibiotici. Gli investimenti nella ricerca e nell’innovazione in campo sanitario ci aiuteranno a rimanere attivi, a sviluppare nuovi trattamenti più sicuri ed efficaci e a mantenere vitali i nostri sistemi sanitari e di assistenza. Ci forniscono gli strumenti necessari per una medicina più personalizzata e rafforzeranno la prevenzione e il trattamento delle malattie croniche e infettive. Gli estratti di traduzione automatica presentati riflettono la qualità tipica della traduzione automatica di testi di carattere generale. Traduzioni di carattere generale molto migliori si ottengono soltanto quando il testo da tradurre è già stato utilizzato per addestrare il sistema. Una valutazione oggettiva della qualità della traduzione di un sistema di traduzione automatica è possibile solo utilizzando testi che non sono mai stati inclusi nell’addestramento del sistema. Occorre riconoscere che, attualmente, i sistemi di traduzione automatica statistici e basati su regole effettivamente funzionanti traducono ancora male in lituano i testi di carattere generale. 4. TRADUZIONE AUTOMATICA NEURALE Nel 2013 Nal Kalchbrenner e Phil Blunsom proposero di utilizzare le reti neurali per la traduzione automatica (Kalchbrenner, Blunsom 2013: 1700–1709). L’idea di ricorrere ai processori grafici dei computer per i calcoli delle reti neurali aprì la strada alla soluzione di problemi reali, tra cui la traduzione automatica. Per realizzare la traduzione automatica neurale (NMV) si utilizzano milioni di neuroni artificiali. Il concetto di NMV è piuttosto semplice: un codificatore converte l’intera frase nella lingua originale in uno spazio vettoriale di alcune centinaia di dimensioni, trasformandola nel cosiddetto vettore del pensiero16, costituito da una sequenza di numeri che rappresenta così il significato della frase. In effetti, questo vettore è il pensiero della frase convertito in forma vettoriale. Le direzioni dei vettori che rappresentano oggetti e idee affini differiscono di poco17. Un decodificatore genera la traduzione sulla base del vettore del pensiero. Sia il codificatore sia il decodificatore sono costruiti sulla base di reti neurali ricorrenti (Sutskever et al. 2014: 3104–3112; Cho et al. 2014: 1724–1734). 16 Il termine è stato reso popolare da Geoffrey Hinton, uno dei più illustri creatori dell’intelligenza artificiale. 17 Lo si può verificare, per esempio, sperimentando con lo strumento di vettorializzazione word2vec (Mikolov et al. 2013: 3111–3119). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13 FIG. 3. Triangolo di Vauquois della traduzione automatica neurale La fig. 3 presenta lo schema della traduzione automatica neurale secondo il triangolo di Vauquois18. È importante notare che si raggiunge automaticamente un elevato livello di analisi, prossimo all’interlingua. Il sistema di NMV viene addestrato utilizzando corpora paralleli. Durante l’addestramento, le reti neurali ricorrenti codificano automaticamente le informazioni morfologiche, sintattiche e semantiche presenti nelle frasi, insieme a regolarità individuate a vari livelli. Finalmente la traduzione automatica è diventata inseparabile dallo sviluppo dell’intelligenza artificiale. La traduzione automatica neurale progredisce rapidamente e produce risultati molto migliori rispetto alla traduzione automatica basata su regole o statistica. Esplorando le possibilità della NMV, ci si imbatté presto in un nuovo fenomeno: le reti neurali erano in grado di tradurre tra coppie di lingue per le quali non erano state addestrate direttamente. Se un sistema di NMV era stato addestrato a tradurre dalla lingua A alla lingua B e anche dalla lingua A alla lingua C, il sistema era in grado di tradurre anche dalla lingua B alla C (Johnson 2017: 339–351), sebbene la qualità della traduzione fosse leggermente inferiore. Questo fenomeno può essere definito traduzione zero-shot (in inglese zero-shot translation). Ciò significa che, durante l’addestramento, la rete neurale del sistema di traduzione automatica crea una propria interlingua, comprensibile soltanto a essa. Alla fine del 2016, Google Translate (GT) ha iniziato a utilizzare la traduzione neurale. Ecco come appare la traduzione neurale del nostro esempio illustrativo (traduzione automatica neurale di Google, 14/09/2017, BLEU CI – 25,94): 18 Una rappresentazione della traduzione automatica neurale secondo il triangolo di Vauquois è stata pubblicata online da SYSTRAN nel 2016, nell’articolo «Pure Neural Machine Translation». Disponibile online: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (consultato il 06/11/2017). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14 Tutti desiderano una vita lunga, felice e sana, e gli scienziati fanno tutto il possibile perché ciò sia possibile. Essi affrontano alcuni dei problemi di salute più importanti del nostro tempo, nonché le minacce emergenti, come l’aumento dell’impatto della malattia di Alzheimer, del diabete e dei «superbatteri» resistenti agli antibiotici. Gli investimenti nella ricerca e nell’innovazione in ambito sanitario ci aiuteranno a rimanere attivi, a sviluppare trattamenti nuovi, più sicuri ed efficaci e a mantenere sostenibili i nostri sistemi sanitari e assistenziali. Ciò fornirà ai medici gli strumenti necessari per una medicina più personalizzata, migliorando così la prevenzione e il trattamento delle malattie croniche e infettive. Va riconosciuto che il nostro esempio è stato tradotto dalla rete neurale con una qualità incomparabilmente superiore rispetto ai sistemi di traduzione automatica basati su regole o statistici. Per ora GT non traduce tutto con altrettanto successo: ad esempio, provando a tradurre Beauty requires no ornaments, si ottiene – Grožis nereikalingas papuošalams. Con esperimenti analoghi si possono individuare molti casi in cui GT traduce molto male; c’è dunque ancora molto da migliorare. Nel 2018 l’Università di Vilnius si prepara ad avviare l’implementazione di una nuova generazione di traduzione automatica neurale per l’inglese, il lituano, il polacco, il francese, il russo e il tedesco. Nel sistema di traduzione saranno integrati la conversione automatica del testo in parlato e la traduzione del testo dettato in lituano. 5. OSSERVAZIONI CONCLUSIVE Oggi i progressi della traduzione automatica sono ormai inseparabili dai risultati ottenuti nello sviluppo dell’intelligenza artificiale. Quanto alla qualità della traduzione, tutti i metodi classici di traduzione automatica sono migliorabili; le possibilità non sono esaurite e i loro limiti non sono chiari. È finita l’epoca romantica dei facili progressi: i metodi matematici o ingegneristici euristici non sempre sono d’aiuto. I bambini imparano una lingua quasi automaticamente, senza sforzo, ma in seguito la loro padronanza linguistica si perfeziona soltanto studiando la grammatica e la letteratura. Sembra difficile migliorare ulteriormente la traduzione automatica senza un coinvolgimento significativo dei linguisti. Tale coinvolgimento è agevolato dagli strumenti di traduzione automatica realizzati su piattaforme open source: ad esempio, Apertium per la traduzione basata su regole (Forcada ir kt. 2011: 127–144); Moses (Koehn ir kt. 2007b: 177–180), LetsMT! (Vasiljevs ir kt. 2012: 43–48) per quella statistica; TensorFlow e OpenNMT per quella neurale. C’è da augurarsi che i linguisti lituani uniscano i loro sforzi per affrontare le moderne sfide della linguistica computazionale, poiché alcune di esse sono di importanza esistenziale per la nostra lingua. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15 LITERATŪRA Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72. Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207. Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239. Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76. Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311. Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734. Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194. Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61. Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18. Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16 De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270. Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145. Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144. Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12. Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81. Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31. Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114. Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351. Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709. Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876. Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17 translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180. Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133. Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148. McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133. Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119. Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118. Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318. Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316. Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264. Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132. Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18 Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112. Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418. Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581. Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48. Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337. Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23. Įteikta 2017 11 13 Priimta 2017 12 20 MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE Summary The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19 In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years. The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too. The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20 2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine? The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German. Thus, the latest achievements in machine translation apply to the Lithuanian language as well. KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence. DANIELIUS ALGIRDAS RALYS Vilniaus universiteto Taikomųjų mokslų institutas M. K. Čiurlionio g. 29, 03100 Vilnius [email protected] BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204