Mašininis vertimas lietuvių kalbai

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS Uniwersytet Wileński TŁUMACZENIE MASZYNOWE DLA JĘZYKA LITEWSKIEGO 1 SŁOWA KLUCZOWE: język litewski, historia, lingwistyka komputerowa, tłumaczenie maszynowe, sieci neuronowe, sztuczna inteligencja. WSTĘP Dziś coraz więcej tekstów tłumaczą komputery. Takie automatyczne tłumaczenie komputerowe najczęściej nazywa się tłumaczeniem maszynowym (TM). Zazwyczaj tłumaczenie maszynowe wykonuje się w celu jak najszybszego zorientowania się w ogromnym strumieniu wielojęzycznej informacji, a także chcąc jak najszerzej rozpowszechnić własne informacje. Wymiana informacji elektronicznej między narodami i językami staje się ważną częścią codziennego życia, otwiera nowe możliwości dla naszego języka, stawia przed nim nowe wyzwania i problemy. Termin „tłumaczenie maszynowe” (ang. machine translation) w połowie ubiegłego wieku jako pierwszy zastosował Warren Weaver, proponując wykorzystanie dopiero co powstałych komputerów do tłumaczenia tekstów (Weaver 1949: 1). W. Weaver proponował spojrzeć na tekst napisany w innym języku jak na kryptogram, który można zdekodować. Osiągnięcia kryptograficzne specjalistów brytyjskich i amerykańskich w niedawno zakończonej II wojnie światowej budziły optymizm. Wówczas szczerze wierzono, że maszyny elektroniczne w ciągu kilku lat pomogą przezwyciężyć klątwę wieży Babel. Niestety, tłumaczenie rozwijało się powoli, a jakość tłumaczenia maszynowego nawet w przybliżeniu nie dorównywała jakości tłumaczenia ludzkiego. Po siedemdziesięciu latach, po niewątpliwych sukcesach i rozczarowaniach, po ogromie wykonanej pracy w społeczności zajmującej się tłumaczeniem maszynowym ponownie przeważają optymistyczne nastroje. Tym razem nadzieje pokłada się w sztucznych sieciach neuronowych i szybkim postępie w tworzeniu sztucznej inteligencji. Tłumaczenie maszynowe nie ominęło również języka litewskiego. Dziś łatwo dostępne internetowe narzędzia do tłumaczenia maszynowego tłumaczą z najpopularniejszych języków na język litewski i odwrotnie. Jakość tłumaczenia większości narzędzi 2 jest nadal dość niska, ich przetłumaczone teksty należy redagować. Lepszą jakością wyróżnia się jedynie narzędzie do tłumaczenia Google Translate, w którym zaczęto stosować 1 Artykuł przygotowano na podstawie referatu „Tłumaczenie maszynowe dla języka litewskiego”, wygłoszonego w Wilnie podczas 24. międzynarodowej konferencji im. Jonasa Jablonskisa „Cyfrowe zasoby językowe, kierunki ich rozwoju i możliwości wykorzystania” 29 września 2017 r. 2 Dostęp online https://translate.google.com. DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai |2 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 technologie tłumaczenia neuronowego. Większość zdań przetłumaczonych za pomocą tego narzędzia zachowuje znaczenie, które miały w języku oryginału. Tłumaczenie maszynowe jest szeroko stosowane do rozpowszechniania informacji w innych mašininio vertimo rezultatai neatsakingai įkeliami į elektroninę erdvę visai neredaguoti. Tokių językach . Często skutki działań są już widoczne: w internecie aż roi się od kiepskich litewskich tekstów ze zniekształconymi informacjami, które automatycznie wygenerował taki czy inny 3 program do tłumaczenia maszynowego. Stopniowo takie teksty mogą przeniknąć również do korpusów tekstowych. Tłumaczenie maszynowe stało się już codzienną, czasem zaskakującą, a czasem wręcz rażącą rzeczywistością, która zasługuje nie tylko na baczniejszą uwagę językoznawców, lecz także na ich większe zaangażowanie w rozwój tłumaczenia maszynowego. W niniejszym artykule krótko przedstawiono historię tłumaczenia maszynowego (TM) oraz zaprezentowano niektóre idee, które wpłynęły na rozwój TM. Przedstawiono wyniki osiągnięte przez różne technologie tłumaczeniowe dla języka litewskiego. Przeanalizowano możliwości zastosowania TM do języka litewskiego za pomocą metod regułowych, statystycznych i neuronowych. Ze względu na brak miejsca nie opisano prób połączenia kilku z tych metod w jednym systemie tłumaczeniowym. 1. POCZĄTKI TŁUMACZENIA MASZYNOWEGO Dobre tłumaczenie z innego języka zawsze stanowi dla człowieka pewne wyzwanie intelektualne, a tłumaczenie nigdy nie było łatwym zajęciem. Nic dziwnego, że dążono do jakiegoś zautomatyzowania tłumaczenia. W latach 1932–1935 we Francji inżynier Georges Artsrouni wynalazł i skonstruował uniwersalne urządzenie mechaniczne, które nazywał mózgiem mechanicznym (fr. cerveau mécanique), mające między innymi możliwość tłumaczenia wprowadzanego tekstu na kilka języków (Hutchins 2004a: 12). W tym elektromechanicznym urządzeniu obracała się długa (o długości do 40 metrów) taśma pamięci wykonana z elastycznej tektury. Zapisano na niej wielojęzyczny słownik, mogący obejmować nawet kilkadziesiąt tysięcy słów. Wpisane na klawiaturze francuskie słowo było mechanicznie kodowane, a zgodnie z tym kodem taśma pamięci obracała się do właściwego miejsca. Po kilkunastu sekundach urządzenie wyświetlało tłumaczenie wprowadzonego słowa (Daumas 1965: 294–295). Urządzenie było prezentowane na paryskiej wystawie światowej w 1937 r., wzbudziło duże zainteresowanie i zostało uhonorowane Grand Prix. W rzeczywistości był to pierwszy na świecie 3 Jonathan Swift (Jonathan Swift) w swoich Podróżach Guliwera sarkastycznie opisuje maszynę układającą bezsensowne kombinacje słów, które były nieustannie pilnie zapisywane w księgach. Współcześnie takie samo nic może zostać wyprodukowane znacznie szybciej... DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe na język litewski |3 działający mechaniczny BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 słownik. G. Artsrouni później nadal udoskonalał swoje urządzenie, jednak problemy mechaniczne i wybuch II wojny światowej przerwały prace. W 1933 r. w Związku Radzieckim Piotr Smirnow-Trojanski otrzymał świadectwo autorskie i sformułował wiele cennych idei dotyczących elektromechaninei vertimo mašinai 4 . Nors ši mašina taip ir nebuvo pagaminta, tačiau išradėjas tłumaczenia maszynowego, które zostały zrealizowane dopiero po wielu latach, wraz z pojawieniem się komputerów. P. Smirnow-Trojanski mówił po rosyjsku, dlatego dobrze rozumiał cechy języków fleksyjnych. Zaproponował podzielenie procesu tłumaczenia na trzy etapy: w pierwszym etapie człowiek musi zredukować tekst do lem i opatrzyć je oznaczeniami morfologiczno-syntaktycznymi (etap analizy); następnie w drugim etapie maszyna automatycznie odnajduje lemy jednego lub kilku języków przekładu i przypisuje im te same oznaczenia (etap transformacji); w trzecim etapie redaktor na podstawie lem tłumaczeniowych i ich znaczników musi przygotować płynny tekst tłumaczenia (etap generowania). P. Smirnow-Trojanski proponował również różne metody tłumaczenia synonimów, homonimów i idiomów. Idee P. Smirnowa-Trojanskiego nie zostały docenione w jego ojczyźnie, nie doczekał on ery komputerów, jednak idee wynalazcy nie poszły w zapomnienie, a 5 później stały się znane również na Zachodzie. Era praktycznego tłumaczenia maszynowego rozpoczęła się wraz z pojawieniem się komputerów. W 1947 r. W. Weaver zwrócił się w liście do genialnego lingwisty i twórcy komputerów Norberta Wienera, pytając, czy najnowsze osiągnięcia kryptografii i dopiero co powstałe komputery można 6 zastosować do tłumaczenia języków. W. Weaver twierdził, że każdy tekst rosyjski można traktować jako zakodowany za pomocą liter cyrylicy komunikat angielski. Wydawało mu się, że komputery mogą po prostu odszyfrować ten komunikat. Niestety odpowiedź N. Wienera była sceptyczna. W 1949 r. W. Weaver rozesłał szerszej publiczności memorandum, w którym zaproponował wykorzystanie komputerów do tłumaczenia tekstów (Weaver 1949: 7). W tym czasie w różnych laboratoriach amerykańskich i brytyjskich dominowały idee prostego dosłownego 7 tłumaczenia maszynowego. Naukowiec był przekonany, że komputery mogą tłumaczyć znacznie doskonalej. W memorandum W. Weaver zaproponował uwzględnienie czterech najbliższych kontekstów tłumaczonego słowa i tym samym rozwiązanie problemów polisemii. Ta koncepcja vertimo problemų sprendimo ir tyrimo kryptis. Visų pirma, jis pasiūlė statistiškai analizuoti stanowi dziś podstawę statystycznego tłumaczenia maszynowego. Druga propozycja opierała się na założeniu, że w języku 4 W autorskim świadectwie środek ten nazwano „maszyną do wybierania i drukowania słów podczas tłumaczenia z jednego języka na inny lub na kilka języków jednocześnie”. 5 P. Smirnow-Trojanski zmarł w 1950 r. 6 Pierwszy brytyjski komputer elektroniczny Colossus rozpoczął działanie na początku 1944 r., pierwszy amerykański elektroniczny komputer cyfrowy ENIAC został skonstruowany pod koniec 1945 r. Pierwszy radziecki komputer MESM został skonstruowany w 1950 r. 7 Użyty w tym memorandum W. Weavera termin tłumaczenie maszynowe (ang. machine translation) szybko się przyjął. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe dla języka litewskiego |4 jest elementów BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 logicznych, dlatego przy użyciu modeli sieci neuronowych (McCulloch, Pitts 1943: 115– 133) powinno być możliwe wydedukowanie tłumaczenia z przesłanek zawartych w języku oryginału. Czas pokazał geniusz tego spostrzeżenia – dziś neuronowa metoda tłumaczenia maszynowego tłumaczy Trečią problemų sprendimo kryptį turėtų sudaryti kriptografijos metodų taikymas kalbų najwyższej jakości. tłumaczeniu. Po czterdziestu latach zostało to zrealizowane w algorytmach statystycznego tłumaczenia maszynowego. Aby zilustrować czwartą propozycję, W. Weaver narysował alegoryczny obraz, na którym ludzie zostali umieszczeni w wysokich zamkniętych wieżach, symbolizujących różne języki. Ludziom jakoś udaje się komunikować, nawołując się przez grube ściany wież. Na szczęście wieże mają wspólny fundament i podziemie; wystarczy tam zejść i wtedy powinno być łatwiej się porozumiewać. W. Weaver twierdził, że w językach świata tkwi pewna wspólna głęboka struktura, którą dopiero trzeba będzie ujawnić. Ostatnia propozycja naukowca skłoniła do podjęcia poszukiwań i konstruowania uniwersalnego języka – interlingwy 8 tłumaczenia maszynowego. Po memorandum W. Weavera tłumaczenie maszynowe szybko nabrało rozpędu. W 1954 r. w Nowym Jorku publicznie zademonstrowano system tłumaczenia maszynowego, stworzony we współpracy korporacji IBM i Uniwersytetu Georgetown. Tłumaczono z języka rosyjskiego na język angielski. W systemie zaprogramowano tylko sześć reguł gramatycznych, a do tłumaczenia wykorzystano około 250 słów (Hutchins 2004b: 102). System był ukierunkowany na tematykę chemii pavyzdžiai iš anksto kruopščiai apgalvoti. Po eksperimento viltasi, kad po kelerių metų mašinos organicznej, tłumaczył doskonale, a na kontynuację prac przyznano hojne finansowanie. MT szybko zaczęto rozwijać w Stanach Zjednoczonych (USA) i Związku Radzieckim, dążąc do uzyskania strategicznej przewagi w zimnej wojnie. Najczęściej tłumaczonymi językami były rosyjski i angielski. 2. REGUŁOWE TŁUMACZENIE MASZYNOWE W połowie lat pięćdziesiątych ubiegłego wieku pojawiły się systemy tłumaczenia maszynowego (komputerowego), które zaczęto nazywać regułowymi (ang. rule-based). Tworzono je zgodnie z założeniem, że język można opisać za pomocą zbioru określonych reguł (w tym także gramatycznych). Stosując tę metodę, zdanie w języku oryginału jest analizowane do pewnego wybranego poziomu, ustalana jest struktura zdania, która zgodnie z opracowanymi zasadami jest transformowana w równoważną strukturę języka przekładu, na podstawie której generowane jest zdanie w języku przekładu. Struktury zdań różnych języków mogą znacznie się różnić, mieć takie czy inne właściwości, które muszą być odzwierciedlone w MT 8 Nie należy mylić z interlingwami języka naturalnego – esperanto, ido, volapükiem itp. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe dla języka litewskiego |5 w systemie. Problemy BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 przedstawienia syntaktycznych struktur zdań języka litewskiego, odpowiedniego do tłumaczenia maszynowego, badała Daiva Šveikauskienė (2005: 411–417). Istnieją różne odmiany systemów MT opartych na regułach, które różnią się głębokością analizy (rys. 1). Im głębsza analiza zdania, tym 9 prostsza transformacja. W idealnym przypadku, analizując tekst do głębokości interlingwy, nie byłaby już potrzebna żadna transformacja – interlingwistyczna reprezentacja tekstu powinna być taka sama we wszystkich językach. RYS. 1 Trójkąt Vauquoisa regułowego tłumaczenia maszynowego Problemy regułowego TM próbowano rozwiązywać, stosując zarówno metody empiryczne, jak i lingwistyczne. W obozie empiryków najpopularniejsza była metoda tłumaczenia bezpośredniego. Przy takim tłumaczeniu między dwoma językami wykorzystuje się wyłącznie słownik i proste reguły programowe, praktycznie nie przeprowadza się analizy języków ani reorganizacji składniowej (taka metoda odpowiada najniższemu poziomowi na rys. 1). W Stanach Zjednoczonych w latach sześćdziesiątych ubiegłego wieku grupa badaczy kierowana przez Erwina Reiflera tworzyła specjalne słowniki do tłumaczenia maszynowego, w których obok ekwiwalentów leksykalnych umieszczano również lokalne reguły zmiany szyku wyrazów. Podawano także tłumaczenia wielu fraz oraz pojęcia uogólniające (ang. cover terms) służące do rozwiązywania problemów polisemii. W 1964 r. rozpoczął działanie system bezpośredniego tłumaczenia rosyjsko-angielskiego Mark II, opracowany na zamówienie Sił Powietrznych Stanów Zjednoczonych. Wykorzystano w nim słownik E. Reiflera, obejmujący ponad 170 000 słów (Reifler 1960: 312). Metody lingwistyczne szerzej stosowano na Uniwersytecie Georgetown, gdzie zgromadziły się liczne zespoły badaczy tłumaczenia maszynowego, podzielone na kilka grup stosujących różne metody. 9 Takie ilustracje często nazywa się trójkątem Vauquoisa; tę metodę ilustracji zaproponował francuski pionier tłumaczenia maszynowego Bernardʼas Vauquois (1976: 335). DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai |6 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 grup. W grupie kierowanej przez Michaela Zarechnaka opracowano system automatycznego tłumaczenia Georgetown (ang. GAT – Georgetown Automatic Translation). Przeprowadzano w nim analizę trzech poziomów: morfologiczną (obejmującą również identyfikację idiomów), syntaktyczną oraz syntagmatyczną. Zmodyfikowany system GAT z powodzeniem zaczęto stosować w Euratomie (w Isprze we Włoszech) w 1963 r. oraz w amerykańskiej Komisji Energii Atomowej w 1964 r. Znacznie dłużej trwało stworzenie systemu tłumaczenia maszynowego działającego na podstawie interlingwy. System tłumaczenia maszynowego o wartości komercyjnej KANT pojawił się dopiero w ostatnim dziesięcioleciu ubiegłego wieku (Mitamura i in. 1991: 105–118). System był używany do tłumaczenia niektórych tekstów technicznych. Interlingua do wyrażania języka ogólnego nie została jednak stworzona. Przez całą dekadę po prezentacji tłumaczenia maszynowego 10 IBM–Georgetown dokładano ogromnych starań, aby zasadniczo poprawić jakość tłumaczenia maszynowego, jednak postęp był bardzo niewielki. Założony w 1966 r. w USA Komitet ALPAC (ang. Automatic Language Processing Advisory Committee) uznał, że tłumaczenie maszynowe w najbliższej przyszłości nie ma perspektyw, ponieważ jest niskiej jakości, a ponadto musi je redagować tłumacz, poświęcając na to więcej czasu, niż zajęłoby mu tłumaczenie bez jakichkolwiek maszyn. Komitet ALPAC zignorował fakt, że tłumaczenie maszynowe pomaga tłumaczyć ogromne ilości informacji, a wielu użytkownikom wystarcza słabe tłumaczenie, przekazujące zaledwie sens. Po negatywnych wnioskach komitetu finansowanie projektów tłumaczenia maszynowego w USA zostało praktycznie wstrzymane na kilka dziesięcioleci, a finansowanie zmniejszyło się również w innych krajach. Pomimo ukształtowanego sceptycznego podejścia do tłumaczenia maszynowego w tej dziedzinie dokonywał się stały postęp. W 1968 r. w USA rozpoczęto tworzenie systemu tłumaczenia opartego na regułach SYSTRAN (Toma 1977: 569–581), który był stale udoskonalany, a później stał się systemem komercyjnym. System ten zaczęto wykorzystywać w Departamencie Obrony USA, NASA, Euratomie, Komisji Europejskiej i wielu innych miejscach. Na mocy porozumienia handlowego z 1975 r. Komisja Europejska uzyskała prawo do doskonalenia systemu na własne potrzeby. System dość dobrze tłumaczył teksty z niektórych dziedzin językowych na wiele języków. Od 2010 r. SYSTRAN zaczął wykorzystywać technologie hybrydowe. Dość dobrze działające systemy MT pojawiły się także w innych krajach: ARIANE (w Grenoble we Francji), podobny do niego system MU (w Kioto w Japonii), a także SUSY (w Saarbrücken w Niemczech). 11 Europejski projekt EUROTRA (1982–1992), który kosztował ponad 50 000 000 ECU, zakończył się niepowodzeniem – setki specjalistów nie zdołały stworzyć działającego systemu MT. Tak rozpoczął się poważny kryzys regułowego MT. Później przez wiele lat dreptano w miejscu. 10 W USA w tym okresie na tworzenie i doskonalenie systemów MT wydano około 20 mln dolarów. 11 1994 m. Europos Bendrijų Komisijos (angl. CEC – Commission of the European Communities) pranešime pateikti EUROTRA finansavimo duomenys – Komisija 1982–1992 m. projektui skyrė 37,5 mln. ECU (CEC 1994: 3.10), rządy różnych państw przeznaczyły dodatkowo ponad 20 mln na szesnaście centrów EUROTRA. ECU (CEC 1994: A4.2). DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe dla języka litewskiego |7 Regułowe tłumaczenie BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 maszynowe na Litwie pojawiło się dopiero w tym stuleciu. W latach 2003–2004 system tłumaczenia maszynowego Česílko (Hajič i in. 2000: 10–12) przystosowano do języka litewskiego (Homola, Rimkutė 2004: 77–81). W tym okresie Petras Homola i Erika Rimkutė badali możliwości tłumaczenia maszynowego tego systemu między językiem czeskim a litewskim. W latach 2005–2007 Uniwersytet Witolda Wielkiego realizował finansowany z funduszy strukturalnych Unii Europejskiej projekt „Internetowe narzędzie do tłumaczenia informacji”. Strukturę projektowanego systemu MT opisuje Vidas Daudaravičius (2006: 7–18). Stworzono publicznie dostępne internetowe narzędzie do tłumaczenia z języka angielskiego na język litewski. Silnik tłumaczeniowy dostarczyła rosyjska firma PROMT. 12 Część komponentów językowych systemu przygotowano na Litwie. System doskonale tłumaczył tylko niektóre typy zdań, a dobre tłumaczenia stanowiły mniejszość. W 2007 r. przeprowadzono ocenę językową tego systemu MT (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė i Greta Ziezytė (2013: 55–61) oceniły zgodność tłumaczeń systemu MT VDU ze standardami tekstualności (De Beaugrande, Dressler 1981: 3). W swojej pracy autorki stwierdziły, że zbadane teksty tłumaczenia maszynowego różnych gatunków, z powodu licznych błędów semantycznych, nie spełniały standardów koherencji i niektórych innych standardów tekstualności, dlatego takie tłumaczenia nie mogą być dla czytelnika akceptowalne ani informatywne. Z upływem dziesięcioleci i, zasadniczo, drepcząc w miejscu, zaczęto uświadamiać sobie, że język jest niezwykle złożonym zjawiskiem, które bardzo trudno opisać za pomocą reguł. W celu rozwiązania problemów tłumaczenia wieloznaczności i anafor proponowano wykorzystanie ekstralingwistycznych informacji o budowie świata i jego logice (Bar-Hillel 1958: 197–207). Jednak tak uporządkowanej informacji po prostu nie było, a formalny opis znaczenia tekstu wydawał się zadaniem trudniejszym niż samo tłumaczenie. Było oczywiste, że problemy tłumaczenia maszynowego wymagały rewolucyjnych rozwiązań. 2. STATYSTYCZNE TŁUMACZENIE MASZYNOWE W 1988 r. grupa naukowców IBM (Brown i in. 1988: 71–76) zaproponowała tłumaczeniu maszynowemu naudoti lygiagrečiuose tekstynuose glūdinčią informaciją, ieškant tikimiausių vertimo variantų. Zaproponowany model tłumaczenia opiera się na założeniu, że w kanale zaszumionym następuje przekształcenie zdania f języka oryginału w zdanie e w języku tłumaczenia. Szum w kanale statystycznie zniekształca zdanie f języka oryginału, dlatego na wyjściu kanału możemy otrzymać różne zdania e, o najróżniejszej długości, mające takie czy inne znaczenie w języku tłumaczenia albo niemające go wcale. Ponieważ ten kanał stengiasi išversti teisingai, tai pro triukšmą vis dažniau prasiskverbia teisingi vertimo variantai. 12 Dostęp online http://vertimas.vdu.lt/twsas/. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe na język litewski |8 W tym modelu zakłada BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 się, że gdy do kanału zostanie wysłane zdanie f, najodpowiedniejszym wariantem tłumaczenia ê spośród wszystkich e jest ten, którego warunkowe prawdopodobieństwo pojawienia się na wyjściu kanału p(e|f) jest największe, tj. ê = argmaxe p(e|f). W tym miejscu pojawia się problem, ponieważ aby znaleźć najlepszy wariant tłumaczenia ê, trzeba przejrzeć nie tylko wszystkie możliwe zdania w języku tłumaczenia, lecz także wszelkiego rodzaju ciągi słów w tym języku. Obliczenie takiej liczby prawdopodobieństw jest bardzo trudne. Po zastosowaniu twierdzenia Bayesa otrzymuje się łatwiejsze do obliczenia równoważne wyrażenie (Koehn i in. 2003: 127): argmaxe p(e|f) = argmaxe p(f|e) p(e) Równanie to jest podstawowym równaniem statystycznego tłumaczenia maszynowego (Brown i in. 1993). Warunkowe prawdopodobieństwo p(f|e) pokazuje w nim prawdopodobieństwo, że przez kanał wysłano zdanie f, jeśli na wyjściu pojawiło się zdanie e. Ten człon równania nazywa się modelem tłumaczeniowym, który oblicza się na podstawie dwujęzycznych korpusów tekstów. Drugi człon równania p(e) przedstawia prawdopodobieństwo zdania e w języku docelowym. Człon ten opisuje model języka, który oblicza 13 się na podstawie jednojęzycznych korpusów tekstów w języku docelowym. RYS. 2. Trójkąt Vauquoisa statystycznego tłumaczenia maszynowego Zaproponowana przez naukowców IBM metoda tłumaczenia od razu zaczęła konkurować z tłumaczeniem regułowym pod względem jakości tłumaczenia. Twórców statystycznych systemów TM zachwycała możliwość tłumaczenia na wiele języków bez znajomości ani tłumaczenia, ani gramatyki; wystarczyło wytrenować tworzone systemy na podstawie dostępnych korpusów tekstów. W procesie klasycznego tłumaczenia statystycznego nie wykonuje się żadnej 13 Model języka zmniejsza zakres obliczeń, ponieważ pomaga od razu odrzucać zdania, których nie znaleziono w korpusach, pomaga wybrać najbardziej płynne tłumaczenie, a także pośrednio pokazuje, dlaczego literaturę piękną lepiej tłumaczy tłumacz(ka), którego(której) język tłumaczenia jest językiem ojczystym. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe na język litewski |9 analiza zdań języka BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 oryginału lub synteza zdań języka przekładu (rys. 2), tłumaczenie odbywa się wyłącznie na podstawie prawdopodobieństw ustalonych podczas szkolenia systemu. Pięć modeli rozmieszczenia słów w przekładach zaproponowanych przez Petera Browna i jego współpracowników nie było wystarczająco elastycznych: pozwalały one przetłumaczyć słowo języka oryginału za pomocą jednego lub kilku słów albo w ogóle go nie tłumaczyć. W 2003 r. zaproponowano (P. Koehn i in. 2003: 127–133) bardziej elastyczny model tłumaczenia maszynowego, zdolny tłumaczyć również frazy języka oryginału. W tym okresie szybko udoskonalano metody automatycznej oceny jakości tłumaczenia maszynowego, ponieważ bardzo ważne było szybkie ustalenie, która wersja dostrajanej maszynowej systemu tłumaczeniowego tłumaczy najlepiej. Dążono również do tego, aby taka ocena umożliwiała obiektywne porównanie jakości tłumaczeń różnych systemów. Z czasem jednym z najpopularniejszych stał się wskaźnik BLEU (ang. akronim od bilingual evaluation understudy) (Papineni i in. 2002: 311–318), w którym automatycznie porównuje się, jak bardzo tekst tłumaczenia maszynowego odbiega od tłumaczenia wykonanego przez człowieka. Wskaźnik ten nie uwzględnia zrozumiałości tekstu ani poprawności gramatycznej; zlicza jedynie dokładnie pasujące słowa lub frazy. Przy obliczaniu wskaźnika pasujące frazy mają relatywnie większą wagę statystyczną niż uždavinio, MV kokybei vertinti dažnai naudojamos ir kitokios, vienokią ar kitokią gerą ypatybę pojedyncze pasujące słowa. W zależności od posiadanej metryki: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover i in. 2006: 223–231) i wiele innych. Pomimo popularności statystycznego MT coraz wyraźniej ujawniało się ograniczenie tej metody: podczas į morfologiškai turtingas (fleksines) kalbas. Į fleksinių kalbų lygiagrečius tekstynus dažniausiai tłumaczenia nie były uwzględniane wszystkie możliwe formy fraz, a nawet poszczególnych rzadszych słów. Jeżeli któreś z możliwych fòrmos nie zostały włączone do treningu systemu MT, to takie fòrmos również nie będą tłumaczone. Tę klasyczną wadę statystycznego MT powoduje niedostatek danych, w wyniku którego po wytrenowaniu systemu otrzymuje się rozrzedzoną macierz prawdopodobieństw tłumaczeniowych. W celu przezwyciężenia tej wady Philipp Koehn i Hieu Hoang zaproponowali faktoryzowane statystyczne tłumaczenie maszynowe (Koehn, Hoang 2007a: 868–876). Zaproponowano włączenie do systemu tłumaczeniowego dodatkowej informacji lingwistycznej poprzez opatrzenie równoległych korpusów znacznikami analizy lingwistycznej, które następnie wykorzystywano do wytrenowania systemu. W 2007 r. P. Koehn wraz ze współpracownikami udostępnił szerokiej publiczności kompletny pakiet statystycznego MT Moses w otwartym kodzie źródłowym (Koehn i in. 2007b: 177–180). Zastosowanie faktoryzowanego statystycznego MT nieco poprawiało jakość tłumaczenia języków fleksyjnych, zwykle o 1–2 procent BLEU (Bojar 2007: 235–236; Skadiņš i in. 2010: 128–129). Od 25 września 2008 r. system statystycznego tłumaczenia maszynowego Google Translate zaczął tłumaczyć również na język litewski. W latach 2012–2014 Uniwersytet Wileński realizował projekt finansowany ze środków Funduszy Strukturalnych Unii Europejskiej DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe dla języka litewskiego |16 D e B ea u BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 g ra n d e R. A., D r e s s le r W. U. 1981 : Introduction to Text Linguistics, London: Longman, 270. D o d di n g t on G. 2002: Automatyczna ocena jakości tłumaczenia maszynowego z wykorzystaniem statystyk współwystępowania n-gramów. – Materiały z Drugiej Międzynarodowej Konferencji na temat Badań nad Technologią Języka Naturalnego, San Francisco, CA, USA, Morgan Kaufmann Publishers Inc., 138–145. F o rc a d a M. L, G i n e s t í - Ro s e ll M., N o rd f a l k J., O ' R e gan J., O r t i z - R o ja s S., P é re z - O r ti z J. A., S á n c h e z -M a r t í n e z F., R a m í r e z -S á n c h e z G., T ye r s F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Tłumaczenie maszynowe 25 (2), Tłumaczenie maszynowe bezpłatne/otwartoźródłowe (czerwiec 2011), 127– 144. H a j ič J., H ri c J., K u b o ň V. 2000: Machine Translation of Very Close Languages. – Materiały z 6. Konferencji Stosowanego Przetwarzania Języka Naturalnego, Association for Computational Linguistics, 7–12. H o m ol a P., R i m k u tė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81. H u tc h i ns J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31. H u tc h i ns J. 2004b: Eksperyment Georgetown–IBM przedstawiony w styczniu 1954 roku. – Materiały z 6. Konferencji Association for Machine Translation in the Americas, AMTA, Waszyngton, DC, 102–114. J o hn s o n M., S c h u st e r M., L e V. Q., K r i k un M., W u Y., C h e n Z., T h or a t N., V i é ga s F. B., W a t te n b e rg M., C o r ra d o G., H u g he s M., D e a n J. 2017: Wielojęzyczny neuronowy system tłumaczenia firmy Google: umożliwienie tłumaczenia bez przykładów. – Transactions of the Association of Computational Linguistics 5 (1), 339–351. K a lch b re n n e r N., B l un s o m P. 2013: Recurrent Continuous Translation Models. – Materiały z EMNLP, październik, Association for Computational Linguistics, Seattle, Waszyngton, USA, 1700–1709. K oe hn P., H o an g H. 2007a: Ustrukturyzowane modele tłumaczenia. – Materiały ze Wspólnej Konferencji na temat Empirycznych Metod w Przetwarzaniu Języka Naturalnego i Obliczeniowym Language Learning, ACL, 868–876. K oe hn P., H o a ng H., B i r c h A., C a ll i so n - B u rc h C., F e de r i co M., B e r t o l di N., Co w a n B., S he n W., M o ra n C., Ze n s R., D y e r C., B o j a r O., C o ns ta n tin A., H e rb s t E. 2007b: Moses: Open source toolkit for statistical machine DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai |17 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 translation. – 45. doroczne spotkanie Association for Computational Linguistics (ACL), tom towarzyszący, 177–180. K oe hn P., O c h F. J., M a r c u D. 2003: Statystyczne tłumaczenie oparte na frazach. – Proceedings of HLT-NAACL, 127–133. K os K., B o ja r O. 2009: Ocena metryk tłumaczenia maszynowego dla języka czeskiego jako języka docelowego. – Bulla praska. Math. Linguistics 92, 135–148. M c C ul l o c h W., P it t s W. 1943: Rachunek logiczny idei immanentnych aktywności nerwowej. – Bulletin of Mathematical Biophysics 5, 115–133. M i ko l o v T., S u t sk e ve r I., C he n K., C o r ra d o G. S., D e a n J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Materiały z 26. Międzynarodowej Konferencji na temat Systemów Przetwarzania Informacji Neuronowej, Lake Tahoe, Nevada, t. 2, 3111–3119. M i t am u r a T., N y be r g E., C a r b o ne l l J. 1991: Wydajny system tłumaczenia interlingua do wielojęzycznej produkcji dokumentów. – Materiały z III Szczytu Tłumaczenia Maszynowego, Waszyngton, DC. Przedrukowano: – Postępy w tłumaczeniu maszynowym, red. S. Nirenburg, IOS Press, (1993), 105–118. P ap i n e ni K., R o u ko s S. W a rd T., Z h u W. J. 2002: BLEU: metoda automatycznej oceny tłumaczenia maszynowego. – ACL-2002: 40. doroczne spotkanie Association for Linguistics Computation, 311–318. R e if l e r E. 1960: Rozwiązywanie problemów lingwistycznych tłumaczenia maszynowego za pomocą leksykografii. – Materiały Krajowego Sympozjum na temat Tłumaczenia Maszynowego, (2–5 lutego 1960), red. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316. R i mk u t ė E., K o v al e v s ka i t ė J. 2008: Linguistic Evaluation of the First EnglishLithuanian Machine Translation System. – Materiały Trzeciej Bałtyckiej Konferencji na temat Technologii Języka Ludzkiego (2007), Kowno, 257–264. S k a di ņ š R., G o b a K., Š i c s V. 2010: Ulepszanie SMT dla języków bałtyckich za pomocą modeli faktoryzowanych. – Materiały Czwartej Międzynarodowej Konferencji Baltic HLT, Frontiers in Artificial Intelligence and Applications, t. 219, IOS Press, 125–132. S n ove r M., D o r r B., Sc h w a r t z R., M i cci u l l a L., M a k h ou l J. 2006: Badanie wskaźnika edycji tłumaczenia z ukierunkowaną adnotacją dokonaną przez człowieka. – Materiały 7. Konferencji Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe dla języka litewskiego |18 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 S u ts k e ve r I., V i n ya l s O., V. L e Q. V. 2014: Sequence to sequence learning with neural networks. – Materiały 27. Międzynarodowej Konferencji na temat Neuronowego Przetwarzania Informacji, Montreal, Kanada, t. 2, MIT Press Cambridge, MA, USA, 3104– 3112. Š v ei k a u sk i e nė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Zdanie. – Informatica 16 (3), 407–418. T o ma P. 1977: Systran jako wielojęzyczny system tłumaczenia maszynowego. – Materiały z Trzeciego Europejskiego Kongresu Systemów Informacyjnych i Sieci, Przezwyciężanie bariery językowej, München, 569–581. V a s iļ je vs A., Sk a d i ņ š R., T i e de m ann J. 2012: LetsMT! : platforma oparta na chmurze do samodzielnego tłumaczenia maszynowego – Materiały konferencyjne ACL, prezentacje systemów, Jeju Islandia, Korea, 43–48. V a uqu o i s B. 1976: Tłumaczenie automatyczne – przegląd różnych podejść. – COLING-76, Ottawa. Przedrukowano: – Lektury z zakresu tłumaczenia maszynowego, red. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333-337. W e ave r W. 1949: Translation. – Przedrukowano: – Tłumaczenie maszynowe języków, MIT Press, Cambridge, MA. (1955), 15–23. Złożono 2017 11 13 Przyjęto 2017 12 20 TŁUMACZENIE MASZYNOWE DLA JĘZYKA LITEWSKIEGO P o d s u m o w a n i e Artykuł przedstawia zarówno przegląd historyczny, jak i obecny stan wiedzy w dziedzinie tłumaczenia maszynowego. Tłumaczenie z innego języka zawsze stanowi pewne wyzwanie intelektualne. W 1949 roku Warren Weaver zasugerował wykorzystanie komputerów do tłumaczenia tekstów. Pojawia się termin "tłumaczenie maszynowe" (MT). Tłumaczenie maszynowe rozwijało się szybko w pierwszych dekadach, aby uzyskać strategiczną przewagę podczas zimnej wojny. Najczęściej tłumaczonymi językami były rosyjski i angielski. Tłumaczenie słowo w słowo oraz duże słowniki dwujęzyczne obejmujące ponad Przeważało 170 000 słów. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe na język litewski |19 W latach 50. i 60. pojawiły się BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 systemy tłumaczenia maszynowego, które można było nazwać systemami opartymi na regułach. Opierają się one na założeniu, że język można opisać za pomocą zbioru reguł (w tym gramatycznych). Był to dość optymistyczny okres — oczekiwano, że w ciągu kilku lat uda się stworzyć doskonałe tłumaczenie maszynowe. Ale komputer ledwo „rozumie” gramatykę. Wysoce oparte na regułach. Nikt inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent jeszcze nie zrobił tego właściwie. Najbardziej zaawansowanymi systemami były system tłumaczenia maszynowego SYSTRAN, uruchomiony w Komisji Europejskiej, oraz rosyjski system tłumaczeniowy PROMT. Następnie rozwój systemów tłumaczenia maszynowego opartych na by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited regułach uległ spowolnieniu. W ramach projektu EUROTRA (1982–1992) specjalistom nie udało się stworzyć działającego systemu tłumaczenia maszynowego. Oznaczało to poważny kryzys regułowego tłumaczenia maszynowego. Rozwój po prostu się zatrzymał na wiele nadchodzących lat. Postawiono pytanie: jeśli nie możemy napisać tak wielu reguł, czy można tłumaczyć w ogóle bez gramatyki? W 1990 roku pojawia się nowy przełom — zespół badawczy w IBM Thomas J. Watson Research Center formułuje podstawy statystycznego tłumaczenia maszynowego. Proces tłumaczenia był rozpatrywany jako transmisja określonego komunikatu przez zaszumiony kanał. Następnie dekodowanie przeprowadzano na podstawie twierdzenia Bayesa. Tłumaczenie opiera się na korpusach tekstowych, zwłaszcza na dużych równoległych dwujęzycznych korpusach tekstowych. Nastąpiła szybka poprawa statystycznego tłumaczenia maszynowego. Projekt EuroMatrix, wspierany przez Komisję Europejską, stworzył uniwersalny pakiet oprogramowania do tłumaczenia maszynowego MOSES o otwartym kodzie źródłowym, oparty na systemach MT klasy przemysłowej. Uzyskano dobre wyniki – okazuje się, że można tłumaczyć bez żadnego słownika ani gramatyki! Metoda ta znacznie ułatwiła również tłumaczenie języków silnie fleksyjnych. Osiągnięcia współczesnego tłumaczenia maszynowego są skutecznie stosowane także w odniesieniu do języka litewskiego. W latach 2005-2007 Uniwersytet Witolda Wielkiego realizował finansowany przez UE projekt "Internetowy tłumacz informacji". Rezultatem była publiczna usługa tłumaczeniowa online z języka angielskiego na litewski. (http://vertimas.vdu.lt/twsas/). Oparty na regułach silnik tłumaczeniowy został dostarczony przez rosyjską firmę PROMT, natomiast pozostałe zasoby językowe przygotowano na Litwie. Ogólna jakość tłumaczenia tekstu w metryce BLEU (w procentach) wynosi około 10. W praktyce oznacza to, że tylko co trzecie zdanie można odpowiednio zrozumieć. To narzędzie tłumaczeniowe nadal ma znaczny potencjał rozwoju, na przykład poprzez rozszerzenie słownika fraz. Od 25 września 2008 r. Tłumacz Google obsługuje również język litewski. Zgodnie z wynikami testów (2014) jakość tłumaczenia BLEU oszacowano na około 17. DANIELIUS ALGIRDAS RALYS. Tłumaczenie maszynowe dla języka litewskiego |20 W latach 2012–2014 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 Uniwersytet Wileński zrealizował finansowany przez UE projekt „Utworzenie opartego na metodach statystycznych systemu tłumaczenia maszynowego angielsko-litewsko-angielskiego i francusko-litewsko-francuskiego”. Rezultatem była publiczna usługa tłumaczeniowa online (https://www.versti.eu/). Zgodnie z testami przeprowadzonymi w 2014 r. wartości BLEU jakości tłumaczenia były ponad dwukrotnie wyższe niż wyniki tłumaczenia opartego na regułach i praktycznie równoważne wynikom systemu tłumaczeniowego Google. Podczas tłumaczenia dokumentów z określonej dziedziny (takiej jak prawo) osiągnięty wynik BLEU jest mniej więcej dwukrotnie wyższy niż w przypadku tłumaczenia tekstów ogólnych i znacznie przewyższa wyniki Google (19-09-2014). Jednak nawet najlepsze tłumaczenia maszynowe często wymagają interwencji człowieka i końcowej redakcji, aby uzyskać doskonałe tłumaczenie. Czy zatem maszyny ostatecznie potrafią dobrze tłumaczyć? Ostatnie lata zapowiadają nowe przełomy dzięki wykorzystaniu neuronowego tłumaczenia maszynowego. Same sieci neuronowe konstruują reguły transformacji. Prawdopodobnie w niedalekiej przyszłości neuronowe systemy tłumaczenia maszynowego będą tłumaczyć lepiej niż przeciętny tłumacz. W 2018 roku Uniwersytet Wileński przygotowuje się do uruchomienia finansowanego przez UE projektu dotyczącego neuronowego tłumaczenia maszynowego nowej generacji z języka Thus, the latest achievements in machine translation apply to the Lithuanian language as angielskiego, litewskiego, polskiego, francuskiego, rosyjskiego i niemieckiego. dobrze. SŁOWA KLUCZOWE: język litewski, tłumaczenie maszynowe, lingwistyka komputerowa, historia, sieci neuronowe, sztuczna inteligencja. DANIELIUS ALGIRDAS RALYS Instytut Nauk Stosowanych Uniwersytetu Wileńskiego ul. M. K. Čiurlionio 29, 03100 Wilno danielius.raly[email protected]m