Mašininis vertimas lietuvių kalbai

DANIELIUS ALGIRDAS RALYS Universitatea din Vilnius TRADUCERE AUTOMATĂ PENTRU LIMBA LITUANIANĂ1 CUVINTE-CHEIE: limba lituaniană, istorie, lingvistică computațională, traducere automată, rețele neuronale, inteligență artificială. INTRODUCERE Astăzi, tot mai multe texte sunt traduse de computere. Această traducere automată realizată de computer este numită de obicei traducere automată (MV). De regulă, traducerea automată se realizează pentru a putea înțelege cât mai repede fluxul uriaș de informații în diferite limbi și, de asemenea, pentru a răspândi cât mai larg propriile informații. Schimbul de informații electronice între popoare și limbi devine o parte importantă a vieții cotidiene, deschide noi posibilități pentru limba noastră și îi aduce noi provocări și probleme. Termenul „traducere automată” (engl. machine translation) a fost folosit pentru prima dată la mijlocul secolului trecut de Warren Weaver, care a propus adaptarea computerelor apărute de curând pentru traducerea textelor (Weaver 1949: 1). W. Weaver a sugerat să privim un text scris într-o altă limbă ca pe un criptogramă care poate fi decodată. Realizările criptografice ale specialiștilor britanici și americani în cel de-al Doilea Război Mondial, încheiat recent, au alimentat optimismul. La acea vreme se credea cu sinceritate că mașinile electronice vor ajuta, în câțiva ani, la depășirea blestemului Turnului Babel. Din păcate, traducerea a progresat lent, iar calitatea traducerii automate nu s-a apropiat nici pe departe de calitatea traducerii umane. După șaptezeci de ani, după succese și dezamăgiri incontestabile și după o mulțime de muncă depusă, în comunitatea traducerii automate predomină din nou optimismul. De data aceasta, speranțele se îndreaptă către rețelele neuronale artificiale și progresul rapid în dezvoltarea inteligenței artificiale. Traducerea automată nu a ocolit nici limba lituaniană. Astăzi, instrumentele online de traducere automată, ușor accesibile, traduc din cele mai populare limbi în lituaniană și invers. Calitatea traducerilor majorității instrumentelor este încă destul de slabă, iar textele traduse de acestea trebuie editate. Doar instrumentul de traducere Google Translate2 se remarcă printr-o calitate mai bună, în care au început să fie utilizate 1 Articolul a fost pregătit pe baza comunicării „Traducerea automată pentru limba lituaniană”, susținută la Vilnius, în cadrul celei de-a 24-a Conferințe internaționale Jonas Jablonskis, „Resursele lingvistice digitale, direcțiile dezvoltării lor și posibilitățile de utilizare”, la 29 septembrie 2017. 2 Disponibil online https://translate.google.com. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2 tehnologii de traducere neuronală. Majoritatea propozițiilor traduse cu ajutorul acestui instrument păstrează sensul pe care îl aveau în limba originală. Traducerea automată este utilizată pe scară largă pentru a răspândi informații în alte limbi. Rezultatele traducerii automate sunt adesea încărcate iresponsabil în mediul online, fără nicio revizuire. Consecințele unor astfel de acțiuni sunt deja vizibile: internetul abundă în texte proaste în limba lituaniană, cu informații denaturate, generate automat de un program sau altul de traducere automată3. Treptat, astfel de texte pot pătrunde și în corpusuri. Traducerea automată a devenit deja o realitate cotidiană, uneori surprinzătoare, iar alteori izbitoare, care merită nu doar o privire mai atentă din partea lingviștilor, ci și o implicare mai semnificativă a acestora în dezvoltarea traducerii automate. Acest articol prezintă pe scurt istoria traducerii automate (MV) și câteva idei care au influențat evoluția MV. Sunt prezentate rezultatele obținute pentru limba lituaniană cu ajutorul diverselor tehnologii de traducere. Sunt analizate posibilitățile de aplicare a MV la limba lituaniană prin metode bazate pe reguli, statistice și neuronale. Din lipsă de spațiu, nu sunt prezentate încercările de a combina mai multe dintre aceste metode într-un singur sistem de traducere. 1. ORIGINILE TRADUCERII AUTOMATE O traducere bună dintr-o altă limbă reprezintă întotdeauna o anumită provocare intelectuală pentru om, iar traducerea nu a fost niciodată o activitate ușoară. Nu este de mirare că s-a încercat automatizarea traducerii într-un fel sau altul. Între 1932 și 1935, în Franța, inginerul Georges Artsrouni a inventat și construit un dispozitiv mecanic universal, pe care l-a numit creier mecanic (fr. cerveau mécanique), capabil, printre alte funcții, să traducă textul introdus în mai multe limbi (Hutchins 2004a: 12). Acest dispozitiv electromecanic avea o bandă de memorie lungă (de până la 40 de metri), realizată din carton flexibil, care se învârtea. Pe ea era înscris un dicționar multilingv, care putea cuprinde chiar și câteva zeci de mii de cuvinte. Cuvântul francez introdus la tastatură era codificat mecanic, iar pe baza acelui cod banda de memorie se rotea până la locul potrivit. După câteva zeci de secunde, dispozitivul afișa traducerea cuvântului introdus (Daumas 1965: 294–295). Dispozitivul a fost demonstrat la Expoziția Universală de la Paris din 1937, a stârnit un mare interes și a fost distins cu Marele Premiu. În fapt, acesta a fost primul din lume 3 Jonathan Swift descrie sarcastic, în Călătoriile lui Gulliver, o mașină care alcătuiește combinații fără sens de cuvinte, consemnate apoi cu sârguință, în permanență, în cărți. În zilele noastre, aceeași absurditate poate fi produsă mult mai repede... BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3 un dicționar mecanic funcțional. G. Artsrouni și-a perfecționat ulterior dispozitivul, însă problemele mecanice și izbucnirea celui de-Al Doilea Război Mondial au întrerupt lucrările. În 1933, în Uniunea Sovietică, Piotras Smirnovas-Trojanskis a obținut un certificat de autor pentru o mașină electromecanică de traducere4. Deși această mașină nu a fost construită niciodată, inventatorul a formulat numeroase idei valoroase privind traducerea automată, care au fost puse în practică abia mulți ani mai târziu, odată cu apariția calculatoarelor. P. Smirnovas-Trojanskis vorbea limba rusă și, prin urmare, înțelegea bine particularitățile limbilor flexionare. El a propus împărțirea procesului de traducere în trei etape: în prima etapă, omul trebuie să reducă textul la leme și să le adnoteze cu etichete morfologice-sintactice (etapa de analiză); apoi, în a doua etapă, mașina găsește automat lemele din una sau mai multe limbi-țintă și le atribuie aceleași etichete (etapa de transformare); în a treia etapă, editorul trebuie să pregătească un text tradus fluent pe baza lemelor și a etichetelor acestora (etapa de generare). P. Smirnovas-Trojanskis a propus, de asemenea, diverse metode de traducere a sinonimelor, omonimelor și idiomurilor. Ideile lui P. Smirnovas-Trojanskis nu au fost apreciate în patria sa; el nu a apucat să vadă epoca calculatoarelor5, însă ideile inventatorului nu au fost uitate și, mai târziu, au devenit cunoscute și în Occident. Era traducerii automate practice a început odată cu apariția calculatoarelor. În 1947, W. Weaver i-a trimis o scrisoare genialului lingvist și creator de calculatoare Norbert Wiener, întrebându-l dacă cele mai recente progrese în criptografie și calculatoarele abia apărute6 puteau fi aplicate traducerii limbilor. W. Weaver susținea că orice text rusesc putea fi tratat ca un mesaj în engleză codificat cu litere chirilice. I se părea că calculatoarele puteau pur și simplu să descifreze mesajul. Din păcate, răspunsul lui N. Wiener a fost sceptic. În 1949, W. Weaver a trimis unui public mai larg un memorandum în care propunea folosirea calculatoarelor pentru traducerea textelor (Weaver 1949: 7)7. La acea vreme, în diverse laboratoare americane și britanice predominau ideile unei traduceri automate simple, cuvânt cu cuvânt. Cercetătorul era convins că, folosind calculatoarele, traducerea putea fi mult mai bună. În memorandum, W. Weaver a propus patru direcții pentru soluționarea și investigarea problemelor traducerii. În primul rând, a propus analizarea statistică a contextului imediat al cuvântului tradus, pentru a rezolva astfel problemele polisemiei. Această intuiție constituie astăzi fundamentul traducerii automate statistice. A doua propunere se baza pe presupunerea că, într-o limbă, 4 În certificatul de autor, acest dispozitiv este numit „mașină pentru selectarea și tipărirea cuvintelor la traducerea dintr-o limbă în alta sau în mai multe limbi simultan”. 5 P. Smirnovas-Trojanskis a murit în 1950. 6 Primul calculator electronic britanic, Colossus, a devenit operațional la începutul anului 1944; primul calculator electronic digital american, ENIAC, a fost construit la sfârșitul anului 1945. Primul calculator sovietic, MESM, a fost construit în 1950. 7 Termenul traducere automată (engl. machine translation) folosit în acest memorandum al lui W. Weaver s-a impus rapid. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4 conține elemente logice, astfel încât, prin utilizarea modelelor de rețele neuronale (McCulloch, Pitts 1943: 115–133), ar trebui să fie posibilă deducerea traducerii pornind de la premisele prezente în limba originalului. Timpul a demonstrat genialitatea acestei intuiții – astăzi, metoda neuronală de traducere automată oferă cele mai bune rezultate. A treia direcție de soluționare a problemelor ar trebui să fie aplicarea metodelor criptografice la traducerea limbilor. Patruzeci de ani mai târziu, aceasta a fost realizată în algoritmii de traducere automată statistică. Pentru a ilustra cea de-a patra propunere, W. Weaver a desenat o imagine alegorică în care oamenii locuiau în turnuri înalte și închise, simbolizând limbi diferite. Oamenii reușeau cumva să comunice strigând unii către alții prin zidurile groase ale turnurilor. Din fericire, turnurile aveau o fundație și un subsol comune: era suficient să coboare acolo, iar comunicarea ar fi trebuit să fie mai ușoară. W. Weaver susținea că limbile lumii ascund o anumită structură profundă comună, care încă trebuia descoperită. Ultima propunere a savantului a stimulat căutarea și construirea unei limbi universale – interlingua traducerii automate8. După memorandumul lui W. Weaver, traducerea automată a cunoscut curând un avânt. În 1954, la New York a fost demonstrat public un sistem de traducere automată, creat în colaborare de corporația IBM și Universitatea Georgetown. Se traducea din rusă în engleză. Sistemul avea programate doar șase reguli gramaticale, iar traducerea folosea aproximativ 250 de cuvinte (Hutchins 2004b: 102). Sistemul era conceput pentru domeniul chimiei organice, iar exemplele de traducere fuseseră pregătite cu grijă în prealabil. După experiment, se spera că peste câțiva ani mașinile vor traduce excelent, iar continuării activității i-a fost alocată o finanțare generoasă. Traducerea automată a început să se dezvolte rapid în Statele Unite ale Americii (SUA) și în Uniunea Sovietică, în încercarea de a obține un avantaj strategic în Războiul Rece. Cele mai populare limbi de tradus erau rusa și engleza. 2. TRADUCEREA AUTOMATĂ BAZATĂ PE REGULI La mijlocul anilor 1950 au apărut sisteme de traducere automată (computerizată) care au început să fie numite bazate pe reguli (în engleză rule-based). Acestea erau dezvoltate pornind de la concepția că o limbă poate fi descrisă printr-un set de reguli, inclusiv gramaticale. În această metodă, propoziția din limba originală este analizată până la un anumit nivel ales, i se determină structura, care este transformată, conform regulilor stabilite, într-o structură echivalentă în limba-țintă, pe baza căreia este generată o propoziție în limba-țintă. Structurile propozițiilor din diferite limbi pot fi foarte diferite și pot avea diverse particularități, care trebuie să fie reflectate în sistemul de traducere automată 8 Nu trebuie confundate cu interlingvele limbajelor naturale – esperanto, ido, volapük și altele asemenea. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5 În sistem. Problemele reprezentării structurilor sintactice ale propoziției în limba lituaniană într-o formă adecvată traducerii automate au fost cercetate de Daiva Šveikauskienė (2005: 411–417). Există diverse variante ale sistemelor de traducere automată bazate pe reguli, care se deosebesc prin profunzimea analizei (fig. 19). Cu cât analiza propoziției este mai profundă, cu atât transformarea este mai simplă. În mod ideal, dacă textul ar fi analizat până la nivelul interlingvei, nu ar mai fi necesară nicio transformare – reprezentarea interlingvistică a textului ar trebui să fie aceeași în toate limbile. FIG. 1. Triunghiul lui Vauquois al traducerii automate bazate pe reguli S-au încercat soluționarea problemelor traducerii automate bazate pe reguli atât prin metode empirice, cât și lingvistice. În tabăra empirică, cea mai populară era metoda traducerii directe. În traducerea de acest tip, între două limbi se folosesc doar dicționarul și reguli de programare simple, fără a se efectua practic analiza limbilor sau reorganizarea sintactică (această metodă corespunde celui mai de jos nivel din fig. 1). În anii 1950, în SUA, grupul de cercetători condus de Erwin Reifler a creat dicționare speciale pentru traducerea automată, în care, alături de echivalențele lexicale, erau incluse și reguli locale de modificare a ordinii cuvintelor. De asemenea, erau furnizate traduceri ale multor expresii și termeni generali (în engleză cover terms) pentru a soluționa problemele de polisemie. În 1964 a început să funcționeze sistemul de traducere directă ruso-engleză Mark II, creat la comanda Forțelor Aeriene ale SUA. Acesta a folosit dicționarul lui E. Reifler, care cuprindea peste 170 000 de cuvinte (Reifler 1960: 312). Metodele lingvistice au fost aplicate pe scară mai largă la Universitatea Georgetown, unde s-au reunit numeroase echipe de cercetători în traducere automată, împărțite în mai multe grupuri care aplicau metode diferite 9 Astfel de ilustrații sunt adesea numite triunghiul lui Vauquois; această metodă de ilustrare a fost propusă de Bernard Vauquois (1976: 335), pionier francez al traducerii automate. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6 grupuri. În grupul condus de Michael Zarechnak a fost creat sistemul de traducere automată de la Georgetown (engl. GAT – Georgetown Automatic Translation). În cadrul acestuia se efectuau trei niveluri de analiză: morfologică (incluzând și identificarea idiomurilor), sintactică și sintagmatică. Sistemul GAT modificat a început să fie utilizat cu succes la Euratom (Ispra, Italia) în 1963 și la Comisia pentru Energie Atomică a SUA în 1964. Crearea unui sistem de traducere automată bazat pe interlingvă a durat mult mai mult. Sistemul de traducere automată KANT, cu valoare comercială, a apărut abia în ultimul deceniu al secolului trecut (Mitamura și colab. 1991: 105–118). Sistemul era utilizat pentru traducerea unor texte tehnice. Nu a fost creată niciodată o interlingvă care să exprime limbajul general. În deceniul de după prezentarea sistemului de traducere automată IBM–Georgetown, s-au depus eforturi considerabile pentru a îmbunătăți substanțial calitatea traducerii automate10, însă progresul a fost foarte redus. În 1966, în SUA a fost înființat comitetul ALPAC (engl. Automatic Language Processing Advisory Committee), care a decis că traducerea automată nu avea perspective în viitorul apropiat, deoarece calitatea ei era slabă și textul trebuia încă editat de un traducător, ceea ce consuma mai mult timp decât traducerea fără ajutorul vreunei mașini. Comitetul ALPAC a ignorat faptul că traducerea automată ajută la traducerea unor cantități uriașe de informații și că mulți utilizatori sunt mulțumiți de o traducere slabă, care transmite doar vag sensul. În urma concluziilor negative ale comitetului, finanțarea proiectelor de traducere automată în SUA a fost practic sistată timp de câteva decenii, iar finanțarea a scăzut și în alte țări. În pofida atitudinii sceptice față de traducerea automată, în acest domeniu au continuat să se înregistreze progrese. Sistemul de traducere bazat pe reguli SYSTRAN, a cărui dezvoltare a început în SUA în 1968 (Toma 1977: 569–581), a fost îmbunătățit în permanență și a devenit ulterior comercial. Sistemul a început să fie utilizat la Departamentul Apărării al SUA, NASA, Euratom, Comisia Europeană și în multe alte locuri. În baza unui acord comercial din 1975, Comisia Europeană a obținut dreptul de a îmbunătăți sistemul pentru propriile nevoi. Sistemul traducea suficient de bine texte din anumite domenii în multe limbi. Începând din 2010, SYSTRAN a început să utilizeze tehnologii hibride. Sisteme de traducere automată care funcționau destul de bine au apărut și în alte țări: ARIANE (la Grenoble, Franța), sistemul MU, asemănător acestuia (la Kyoto, Japonia), precum și SUSY (la Saarbrücken, Germania). Proiectul european EUROTRA (1982–1992), care a costat peste 50 000 000 ECU11, s-a încheiat cu un eșec – sute de specialiști nu au reușit să creeze un sistem de traducere automată funcțional. Astfel a început o criză serioasă a traducerii automate bazate pe reguli. În anii următori, multă vreme s-a bătut pasul pe loc. 10 În SUA, în această perioadă, s-au cheltuit aproximativ 20 de milioane de dolari pentru crearea și îmbunătățirea sistemelor de traducere automată. 11 În raportul Comisiei Comunităților Europene din 1994 (engl. CEC – Commission of the European Communities) au fost prezentate datele privind finanțarea EUROTRA – Comisia a alocat proiectului 37,5 milioane ECU în perioada 1982–1992 (CEC 1994: 3.10), iar guvernele mai multor țări au alocat suplimentar peste 20 de milioane ECU celor șaisprezece centre EUROTRA (CEC 1994: A4.2). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7 Traducerea automată bazată pe reguli a apărut în Lituania abia în acest secol. În 2003–2004, sistemul de traducere automată Česilko (Hajič și colab. 2000: 10–12) a fost adaptat pentru limba lituaniană (Homola, Rimkutė 2004: 77–81). În acea perioadă, Petras Homola și Erika Rimkutė au cercetat posibilitățile acestui sistem de traducere automată între limbile cehă și lituaniană. În perioada 2005–2007, Universitatea Vytautas Magnus a derulat proiectul „Instrument online pentru traducerea informațiilor”, finanțat de Fondurile Structurale ale Uniunii Europene. Structura sistemului de traducere automată proiectat a fost descrisă de Vidas Daudaravičius (2006: 7–18). A fost creat un instrument online public de traducere din engleză în lituaniană12. Motorul de traducere a fost furnizat de compania rusă PROMT. O parte dintre componentele lingvistice ale sistemului au fost pregătite în Lituania. Sistemul traducea excelent doar anumite tipuri de propoziții, iar traducerile bune reprezentau o minoritate. În 2007 a fost realizată o evaluare lingvistică a acestui sistem de traducere automată (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė și Greta Ziezvytė (2013: 55–61) au evaluat conformitatea traducerii sistemului de traducere automată al Universității Vytautas Magnus cu standardele textualității (De Beaugrande, Dressler 1981: 3). În lucrarea lor, autoarele au stabilit că textele traduse automat, aparținând unor genuri diferite, nu respectau coerența și unele dintre celelalte standarde ale textualității din cauza numeroaselor erori semantice și, prin urmare, astfel de traduceri nu pot fi acceptabile și informative pentru cititor. Pe măsură ce treceau deceniile și, în esență, se bătea pasul pe loc, s-a început să se înțeleagă că limba este un fenomen extrem de complex, foarte greu de descris prin reguli. Pentru a rezolva problemele traducerii ambiguităților și anaforelor s-a propus utilizarea unor informații extralingvistice despre structura lumii și logica acesteia (Bar-Hillel 1958: 197–207). Însă pur și simplu nu existau astfel de informații sistematizate, iar descrierea formală a sensului unui text părea o sarcină mai dificilă decât traducerea însăși. Era evident că problemele traducerii automate necesitau soluții revoluționare. 2. TRADUCEREA AUTOMATĂ STATISTICĂ În 1988, un grup de cercetători IBM (Brown și colab. 1988: 71–76) a propus utilizarea informațiilor conținute în corpusuri paralele pentru traducerea automată, în vederea identificării celor mai probabile variante de traducere. Modelul de traducere propus se bazează pe ipoteza că, într-un canal zgomotos, propoziția din limba originală f este transformată într-o propoziție e din limba-țintă. Zgomotul din canal distorsionează statistic propoziția originală f, astfel încât la ieșirea canalului putem obține diverse propoziții e, de lungimi foarte diferite, cu un sens sau altul în limba-țintă ori fără niciun sens. Deoarece canalul încearcă să traducă în mod corect, variantele de traducere corecte străbat tot mai des zgomotul. 12 Disponibil online http://vertimas.vdu.lt/twsas/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8 În acest model se presupune că, atunci când o propoziție f este transmisă prin canal, cea mai potrivită variantă de traducere ê dintre toate e este cea a cărei probabilitate condiționată de apariție la ieșirea canalului p(e|f) este cea mai mare, adică ê = argmaxe p(e|f). Aici apare problema că, pentru a găsi cea mai bună variantă de traducere ê, trebuie examinate nu numai toate propozițiile posibile din limba-țintă, ci și tot felul de permutări ale cuvintelor din acestea. Este foarte dificil să se calculeze un asemenea număr de probabilități. Prin aplicarea teoremei lui Bayes se obține o expresie echivalentă, mai ușor de calculat (Koehn și colab. 2003: 127): argmaxe p(e|f) = argmaxe p(f|e) p(e) Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų13. FIG. 2. Triunghiul lui Vauquois al traducerii automate statistice Metoda de traducere propusă de cercetătorii IBM a început imediat să concureze cu traducerea bazată pe reguli în ceea ce privește calitatea traducerii. Dezvoltatorii sistemelor de traducere automată statistică erau atrași de posibilitatea de a traduce în numeroase limbi fără a avea cunoștințe nici despre traducere, nici despre gramatică; era suficient ca sistemele dezvoltate să fie antrenate pe corpusurile de texte disponibile. În traducerea statistică clasică nu se realizează nicio 13 Modelul lingvistic reduce volumul calculelor, deoarece ajută la excluderea imediată a propozițiilor care nu se găsesc în corpusuri, ajută la alegerea celei mai fluente traduceri și arată, de asemenea, indirect, de ce literatura beletristică este tradusă mai bine de un traducător/o traducătoare a cărui/cărei limbă-țintă este limba maternă. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9 analiza propozițiilor din limba-sursă sau sinteza propozițiilor din limba-țintă (fig. 2); traducerea se face exclusiv pe baza probabilităților stabilite în timpul antrenării sistemului. Modelele de aranjare a cinci cuvinte în traduceri, propuse de Peter Brown și colegii săi, nu erau suficient de flexibile: permiteau ca un cuvânt din limba-sursă să fie tradus printr-unul sau mai multe cuvinte ori să nu fie tradus deloc. În 2003 a fost propus (P. Koehn și colab. 2003: 127–133) un model mai flexibil de traducere automată, capabil să traducă și fraze din limba-sursă. În această perioadă, metodele de evaluare automată a calității traducerii automate au fost îmbunătățite rapid, deoarece era foarte important să se afle repede care versiune a sistemului de traducere automată aflat în curs de reglare traduce cel mai bine. De asemenea, se urmărea ca o astfel de evaluare să permită compararea obiectivă a calității traducerilor realizate de sisteme diferite. În timp, una dintre cele mai populare a devenit metrica BLEU (acronimul din engleză bilingual evaluation understudy) (Papineni și colab. 2002: 311–318), care compară automat cât de mult se îndepărtează textul tradus automat de traducerea realizată de oameni. Această metrică nu ține cont de inteligibilitatea textului sau de corectitudinea gramaticală; numără doar cuvintele sau frazele identice. La calcularea metricii, frazele identice au o pondere statistică relativ mai mare decât cuvintele identice luate separat. În funcție de sarcină, pentru evaluarea calității traducerii automate se folosesc adesea și alte metrici, cu diverse proprietăți utile: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover și colab. 2006: 223–231) și multe altele. În pofida popularității traducerii automate statistice, limitele acestei metode în traducerea în limbi bogate din punct de vedere morfologic (flexionare) deveneau tot mai evidente. În corpusurile paralele ale limbilor flexionare, de obicei nu sunt prezente toate formele posibile ale frazelor sau chiar ale cuvintelor mai rare luate separat. Dacă anumite forme posibile nu au fost incluse în antrenarea sistemului de traducere automată, acestea nu vor fi traduse. Acest neajuns al traducerii automate clasice este cauzat de insuficiența datelor, în urma căreia, după antrenarea sistemului, se obține o matrice rară a probabilităților de traducere. Pentru a depăși acest neajuns, Philip Koehn și Hieu Hoang au propus traducerea automată statistică factorizată (Koehn, Hoang 2007a: 868–876). S-a propus integrarea în sistemul de traducere a unor informații lingvistice suplimentare, prin adnotarea corpusurilor paralele cu etichete de analiză lingvistică, utilizate ulterior la antrenarea sistemului. În 2007, P. Koehn și colegii săi au pus la dispoziția publicului larg un pachet complet de traducere automată statistică, Moses, cu cod sursă deschis (Koehn și colab. 2007b: 177–180). Aplicarea traducerii automate statistice factorizate îmbunătățea într-o oarecare măsură calitatea traducerii limbilor flexionare, de regulă cu 1–2 puncte procentuale BLEU (Bojar 2007: 235–236; Skadinš și colab. 2010: 128–129). Începând cu 25 septembrie 2008, sistemul de traducere automată statistică Google Translate a început să traducă și în lituaniană. În perioada 2012–2014, Universitatea din Vilnius a derulat proiecte finanțate din fondurile structurale ale Uniunii Europene BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10 proiectul finanțat „Crearea unui sistem de traducere automată bazat pe metode statistice pentru limbile engleză–lituaniană–engleză și franceză–lituaniană–franceză”. Cea mai mare parte a lucrărilor proiectului a fost realizată de UAB Tilde. A fost creat sistemul de traducere automată ALPMAVIS și a devenit disponibilă publicului o serviciu online public de traducere automată statistică (https://www.versti.eu/)14. Conform testelor efectuate în 2014, scorurile de calitate pentru traducerea textelor generale (în metrica BLEU) au depășit de peste două ori rezultatele traducerii lituaniene bazate pe reguli și au fost practic la același nivel cu rezultatele sistemului de traducere Google Translate. ALPMAVIS poate traduce deosebit de bine textele juridice. 3. CALITATEA TRADUCERII AUTOMATE ÎN LIMBA LITUANIANĂ Odată cu apariția unui nou fenomen lingvistic — textele lituaniene traduse de mașini — a devenit interesantă evaluarea calității unei astfel de traduceri în raport cu limba standard. Pentru evaluare a fost ales un text de interes general, deoarece acesta reflectă mai bine limba standard, iar pentru măsurarea calității traducerii a fost utilizată metrica BLEU. Pentru testarea calității traducerii a fost ales un text de interes general publicat pe internet15. Calculele BLEU au fost efectuate pe un document mai lung decât fragmentul său prezentat mai jos, deoarece scorurile BLEU la nivel de propoziție corelează slab cu evaluarea umană a calității (Kos, Bojar 2009: 140). Informațiile prezentate îl vor ajuta pe cititor să înțeleagă cum se raportează scorurile procentuale BLEU CI (calculate fără a face distincție între literele mari și cele mici) la calitatea traducerii automate. Pe de altă parte, chiar și fără să se uite la cifre, cititorul își poate forma singur o părere despre modul în care traduc sistemele de traducere automată care funcționează pe baza modelelor descrise anterior. În continuare sunt prezentate variantele de traducere ale aceluiași text original, obținute prin aplicarea unor metode de traducere diferite. Înaintea textului tradus sunt indicate metoda de traducere, data traducerii online și scorul procentual BLEU CI. Textul original în limba engleză: Toată lumea își dorește o viață lungă, fericită și sănătoasă, iar oamenii de știință fac tot ce le stă în putință pentru ca acest lucru să fie posibil. Ei abordează unele dintre principalele probleme de sănătate actuale, precum și amenințări emergente, cum ar fi impactul tot mai mare al bolii Alzheimer, al diabetului și al „superbacteriilor” rezistente la antibiotice. Investițiile în cercetarea și inovarea în domeniul sănătății ne vor ajuta să rămânem activi, să dezvoltăm tratamente noi, mai sigure și mai eficiente și să ne ajutăm sistemele de sănătate și de îngrijire să 14 ALPMAVIS este, de asemenea, accesibil prin intermediul sistemului informațional integrat al resurselor limbii și scrierii lituaniene Raštija.lt (www.raštija.lt). 15 Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11 viabil. Le va oferi medicilor instrumentele de care au nevoie pentru o medicină mai personalizată și va intensifica prevenirea și tratamentul bolilor cronice și infecțioase. Traducerea realizată de traducător: Toată lumea își dorește să trăiască mult și fericit și să fie sănătoasă, iar oamenii de știință fac tot ce le stă în putință pentru ca acest lucru să devină posibil. Ei încearcă să rezolve unele dintre cele mai importante probleme de sănătate existente și amenințările emergente la adresa sănătății, precum problemele tot mai mari cauzate de boala Alzheimer, diabet și microorganismele rezistente la antibiotice. Investițiile în cercetarea și inovarea din domeniul sănătății ne vor ajuta să rămânem activi, să dezvoltăm tratamente noi, mai sigure și mai eficiente și să menținem viabilitatea sistemului nostru de sănătate. Acestea le vor oferi medicilor instrumentele de care au nevoie pentru a adapta medicamentele la necesitățile individuale ale pacienților; în plus, vor contribui la prevenirea și tratarea bolilor cronice și contagioase. Traducere automată bazată pe reguli VDU, 19.09.2014, BLEU – 8,54: Toată lumea își dorește o viață lungă, fericită și sănătoasă, iar oamenii de știință se străduiesc să facă acest lucru posibil. Ei rezolvă unele dintre principalele probleme de sănătate actuale, precum și amenințările emergente, cum ar fi impactul tot mai mare al bolii Alzheimer, al diabetului și al „supermicrobilor” rezistenți la antibiotice. Investițiile în cercetarea sănătății și în inovare ne vor ajuta să rămânem activi, să dezvoltăm tratamente noi, mai sigure și mai eficiente și să ne menținem sistemele de sănătate și de îngrijire viabile. Acestea le vor oferi medicilor instrumentele de care au nevoie pentru o medicină mai personalizată și vor intensifica prevenirea și tratamentul bolilor cronice și infecțioase. Traducere automată statistică ALPMAVIS, 19.09.2014, BLEU – 17,59: Toată lumea își dorește o viață lungă, fericită și sănătoasă, iar oamenii de știință se străduiesc să facă acest lucru posibil. Ei se ocupă de unele dintre principalele probleme de sănătate și de amenințările emergente, de exemplu, impactul tot mai mare al bolii Alzheimer, al diabetului și al „superbacteriilor” rezistente la antibiotice. Investițiile în cercetarea sănătății și în inovare ne vor ajuta să rămânem activi, să creăm tratamente noi, mai sigure și mai eficiente și să contribuim la menținerea viabilității sistemelor de sănătate și de îngrijire. Acestea le vor oferi medicilor instrumentele de care au nevoie pentru o medicină mai personalizată și vor încuraja prevenirea și tratarea bolilor cronice și infecțioase. Google traducere automată statistică, 19.09.2014, BLEU – 17,10: Fiecare dintre noi aspiră la o viață lungă, sănătoasă și fericită, iar oamenii de știință depun toate eforturile pentru ca acest lucru să se realizeze. Ei abordează unele dintre principalele probleme de sănătate, precum și noile pericole, de exemplu impactul tot mai mare al bolii Alzheimer, al diabetului și al „superbacteriilor” rezistente la antibiotice. Investițiile în cercetarea și inovarea din domeniul sănătății ne vor ajuta să rămânem activi, să creăm tratamente noi, mai sigure și mai eficiente și să contribuim la susținerea durabilității sistemelor noastre de sănătate. Acestea le vor oferi medicilor instrumentele necesare pentru a practica o medicină mai personalizată și pentru a depune eforturi sporite în vederea prevenirii și tratării bolilor infecțioase și cronice. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12 Microsoft Translator (Bing) traducere automată statistică, 27.09.2017, BLEU −16,68: Toată lumea își dorește o viață lungă, fericită și sănătoasă, iar oamenii de știință fac tot ce le stă în putință pentru ca acest lucru să fie posibil. Ei luptă împotriva unora dintre principalele probleme actuale de sănătate, precum și a noilor amenințări, cum ar fi boala Alzheimer, diabetul și impactul tot mai mare al superbacteriilor rezistente la antibiotice. Investițiile în cercetarea și inovarea în domeniul sănătății ne vor ajuta să rămânem activi, să dezvoltăm tratamente noi, mai sigure și mai eficiente și să menținem viabile sistemele noastre de sănătate și de asistență medicală. Acestea oferă instrumentele necesare unei medicine mai avansate și vor consolida prevenirea și tratamentul bolilor cronice și infecțioase. Fragmentele de traducere automată prezentate reflectă calitatea tipică a traducerii automate pentru texte de uz general. Traduceri de uz general mult mai bune se obțin numai atunci când textul tradus a fost folosit cândva pentru antrenarea sistemului. Evaluarea obiectivă a calității traducerii unui sistem de TA este posibilă numai folosind texte care nu au fost niciodată incluse în setul de antrenare al sistemului. Trebuie să recunoaștem că sistemele de TA statistice și bazate pe reguli aflate efectiv în funcțiune traduc deocamdată slab în limba lituaniană textele de uz general. 4. TRADUCERE AUTOMATĂ NEURONALĂ În 2013, Nal Kalchbrenner și Phil Blunsom au propus utilizarea rețelelor neuronale pentru traducerea automată (Kalchbrenner, Blunsom 2013: 1700–1709). Ideea de a folosi procesoarele grafice ale computerelor pentru calculele rețelelor neuronale a deschis posibilitatea rezolvării unor probleme reale, printre care și traducerea automată. Pentru implementarea traducerii automate neuronale (TAN) se folosesc milioane de neuroni artificiali. Conceptul TAN este destul de simplu – codorul transformă întreaga propoziție din limba-sursă într-un spațiu vectorial de câteva sute de dimensiuni, într-un așa-numit vector al gândului16, alcătuit dintr-o secvență de numere care reprezintă astfel sensul propoziției. De fapt, acest vector este gândul propoziției vectorizat. Direcțiile vectorilor care reprezintă obiecte și idei înrudite diferă puțin17. Decodorul generează traducerea pe baza vectorului gândului. Atât codorul, cât și decodorul sunt construite pe baza rețelelor neuronale recurente (Sutskever și colab. 2014: 3104–3112; Cho și colab. 2014: 1724–1734). 16 Termenul a fost popularizat de Geoffrey Hinton, unul dintre cei mai renumiți creatori ai inteligenței artificiale. 17 Acest lucru poate fi verificat, de exemplu, experimentând cu instrumentul de vectorizare word2vec (Mikolov și colab. 2013: 3111–3119). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13 FIG. 3. Triunghiul Vauquois al traducerii automate neuronale Fig. 3 prezintă schema TAN conform triunghiului Vauquois18. Trebuie remarcat că se atinge automat un nivel înalt de analiză, apropiat de interlingvă. Sistemul TAN este antrenat folosind corpusuri paralele. În timpul antrenării, rețelele neuronale recurente programează automat informațiile morfologice, sintactice și semantice prezente în propoziții, împreună cu regularități detectate de diverse niveluri. În sfârșit, traducerea automată a devenit inseparabilă de dezvoltarea inteligenței artificiale. Traducerea automată neuronală se dezvoltă rapid și produce rezultate mult mai bune decât traducerea automată bazată pe reguli sau cea statistică. În explorarea posibilităților TAN, s-a întâlnit rapid un fenomen nou – rețelele neuronale puteau traduce între perechi de limbi pentru care nu fuseseră antrenate direct. Dacă un sistem TAN fusese antrenat să traducă din limba A în limba B și, de asemenea, din limba A în limba C, sistemul putea traduce și din limba B în limba C (Johnson 2017: 339–351), deși calitatea traducerii era puțin mai scăzută. Un asemenea fenomen poate fi numit traducere zero-shot (engl. zero-shot translation). Aceasta înseamnă că, în timpul antrenării, rețeaua neuronală a sistemului de TA își creează propria interlingvă, inteligibilă doar pentru ea. La sfârșitul anului 2016, Google Translate (GT) a început să folosească traducerea neuronală. Iată cum arată traducerea neuronală a exemplului nostru ilustrativ (Google TA neuronală, 14.09.2017, BLEU CI – 25,94): 18 Reprezentarea traducerii automate neuronale conform triunghiului Vauquois este prezentată în publicația online SYSTRAN din 2016, „Pure Neural Machine Translation”. Disponibil online: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (consultat la 06.11.2017). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14 Toată lumea își dorește o viață lungă, fericită și sănătoasă, iar oamenii de știință fac tot ce le stă în putință pentru ca acest lucru să fie posibil. Ei abordează unele dintre cele mai importante probleme de sănătate actuale, precum și amenințările emergente, de exemplu impactul tot mai mare al bolii Alzheimer, al diabetului și al „superbacteriilor” rezistente la antibiotice. Investițiile în cercetarea și inovarea în domeniul sănătății ne vor ajuta să rămânem activi, să dezvoltăm tratamente noi, mai sigure și mai eficiente, iar sistemele noastre de sănătate și îngrijire vor fi viabile. Acest lucru le va oferi medicilor instrumentele de care au nevoie pentru o medicină mai personalizată și va îmbunătăți astfel prevenirea și tratarea bolilor cronice și infecțioase. Trebuie să recunoaștem că rețeaua neuronală a tradus exemplul nostru incomparabil mai bine decât sistemele de traducere automată bazate pe reguli sau pe metode statistice. Deocamdată, GT nu traduce totul la fel de bine; de exemplu, când s-a încercat traducerea expresiei Beauty requires no ornaments, s-a obținut – Grožis nereikalingas papuošalams. Experimente similare pot scoate la iveală numeroase cazuri în care GT traduce foarte prost, așadar mai sunt multe de îmbunătățit. În 2018, Universitatea din Vilnius se pregătește să înceapă implementarea traducerii automate neuronale de nouă generație pentru limbile engleză, lituaniană, polonă, franceză, rusă și germană. În sistemul de traducere vor fi integrate conversia automată a textului în vorbire și traducerea textului dictat în lituaniană. 5. OBSERVAȚII FINALE Progresul traducerii automate este astăzi inseparabil de realizările din domeniul inteligenței artificiale. În ceea ce privește calitatea traducerii, toate metodele clasice de TA mai pot fi îmbunătățite; posibilitățile nu au fost epuizate și nu este clar unde sunt limitele lor. Perioada romantică a progreselor facile s-a încheiat; metodele matematice euristice sau inginerești nu sunt întotdeauna de ajutor. Copiii învață o limbă ca și cum ar face-o automat, fără efort, însă mai târziu își perfecționează limba doar studiind gramatica și literatura. Se pare că, fără o implicare mai semnificativă a lingviștilor, cu greu va fi posibilă îmbunătățirea în continuare a traducerii automate. O astfel de implicare este facilitată de instrumentele de traducere automată implementate pe platforme cu cod sursă deschis: de exemplu Apertium pentru traducerea bazată pe reguli (Forcada ir kt. 2011: 127–144); Moses (Koehn ir kt. 2007b: 177–180), LetsMT! (Vasiljevs ir kt. 2012: 43–48) – pentru cea statistică, TensorFlow, OpenNMT – pentru cea neuronală. Trebuie să sperăm că lingviștii din Lituania își vor uni eforturile pentru a aborda provocările moderne ale lingvisticii computaționale, deoarece unele dintre ele sunt vitale pentru limba noastră. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15 LITERATŪRA Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72. Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207. Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239. Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76. Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311. Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734. Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194. Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61. Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18. Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16 De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270. Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145. Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144. Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12. Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81. Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31. Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114. Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351. Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709. Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876. Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17 translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180. Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133. Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148. McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133. Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119. Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118. Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318. Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316. Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264. Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132. Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18 Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112. Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418. Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581. Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48. Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337. Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23. Įteikta 2017 11 13 Priimta 2017 12 20 MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE Summary The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19 In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years. The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too. The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20 2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine? The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German. Thus, the latest achievements in machine translation apply to the Lithuanian language as well. KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence. DANIELIUS ALGIRDAS RALYS Vilniaus universiteto Taikomųjų mokslų institutas M. K. Čiurlionio g. 29, 03100 Vilnius [email protected] BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204