AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ

Uniwersytet Witolda Wielkiego

MORFOLOGICZNIE I SKŁADNIOWO ANOTOWANE KORPUSY JĘZYKA LITEWSKIEGO

SŁOWA KLUCZOWE: korpus, automatyczna analiza morfologiczna, automatyczna analiza składniowa, technologie językowe.

WSTĘP

Od 25 lat w Centrum Lingwistyki Komputerowej Uniwersytetu Witolda Wielkiego (VDU) (KLC)¹ tworzone i rozwijane są technologie językowe (Utka i in. 2017). Zasoby i narzędzia języka litewskiego opracowane w VDU KLC stanowią podstawę, bez której nie można obejść się przy komputeryzacji języka litewskiego i dostosowywaniu do niego nowych technologii. Na początku 2015 r. Litwa została pełnoprawnym członkiem CLARIN ERIC, a w lipcu 2015 r. VDU KLC i Wydział Informatyki VDU wraz z partnerami z Uniwersytetu Wileńskiego i Uniwersytetu Technologicznego w Kownie utworzyły konsorcjum CLARIN-LT i rozpoczęły realizację projektu „Członkostwo Litwy w międzynarodowej infrastrukturze badawczej – Wspólna infrastruktura zasobów i technologii językowych”², włączając się tym samym we wspólny europejski system technologii językowych.

Celem niniejszego artykułu jest przedstawienie dwóch zasobów języka litewskiego, anotowanych korpusów języka litewskiego opracowanych w VDU KLC: korpusu z anotacją morfologiczną MATAS oraz korpusu z anotacją składniową ALKSNIS. Zasoby te są publicznie dostępne w repozytorium CLARIN-LT; wyszukiwanie można przeprowadzać za pośrednictwem systemu ANNIS³ (więcej informacji zob. rozdział 3), a także w automatycznie anotowanym morfologicznie korpusie na stronie internetowej http://corpus.vdu.lt⁴.

Korpusy anotowane to podstawowe zasoby odgrywające ważną rolę w rozwoju technologii językowych. Komputeryzacja języka i opracowywanie narzędzi komputerowych do automatycznej analizy języka wymagają analizy gramatycznej oraz danych statystycznych dotyczących języka. Korpusy uzupełnione o adnotacje gramatyczne stanowią zatem surowiec do dalszej automatycznej analizy języka. Takie korpusy wykorzystuje się do tworzenia innych zasobów i narzędzi przetwarzania języka naturalnego w takich dziedzinach jak

¹ Dostęp online: http://tekstynas.vdu.lt.

² Dostęp online: http://clarin-lt.lt/.

³ Dostęp online: http://158.129.51.247:8080/annis-gui-3.4.4/.

⁴ Jest to automatycznie anotowany morfologicznie korpus składający się z 208 mln słów. W dalszej części artykułu nie będzie o nim mowy. Najwięcej uwagi poświęcono korpusowi MATAS zawierającemu 1,6 mln słów, anotowanemu morfologicznie i sprawdzonemu przez językoznawcę.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 2

systemy automatycznego rozpoznawania języka, uczenie maszynowe, tłumaczenie automatyczne, ekstrakcja informacji itp.

W dalszej części artykułu osobno przedstawiono wspomniane korpusy oraz wyszukiwanie danych w nich za pośrednictwem systemu ANNIS. Z korpusów i zawartych w nich danych mogą korzystać badacze i studenci zajmujący się systemem gramatycznym języka litewskiego, wykładowcy i nauczyciele przygotowujący zadania, a także wszyscy zainteresowani technologiami językowymi.

KORPUSY JĘZYKA LITEWSKIEGO Z ANOTACJĄ ORAZ SPECYFIKA ICH TWORZENIA

1. Korpus MATAS z anotacją morfologiczną

Analiza morfologiczna jest pierwszym etapem przetwarzania języka i często przygotowuje tekst do dalszej analizy składniowej lub semantycznej. Dlatego bardzo ważne jest, aby anotatory morfologiczne działały jak najdokładniej, ponieważ błędy popełnione na poziomie morfologicznym utrudniają automatyczną analizę języka na innych poziomach.

Pierwszy anotator morfologiczny języka litewskiego powstał około 25 lat temu. Jego autorem jest Vytautas Zinkevičius (zob. szerzej Zinkevičius 2000). Obecnie dla języka litewskiego dostępne są publicznie dwa anotatory morfologiczne: wspomniany program V. Zinkevičiusa, najczęściej nazywany Lemuokliu⁵ (od słowa lema – forma hasłowa), oraz anotator dostępny w portalu Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema (dalej semantika.lt). W niniejszym artykule przedstawiono korpus MATAS, anotowany za pomocą Lemuoklį, natomiast korpus z anotacją składniową opracowano przy użyciu anotatora morfologicznego semantika.lt.⁶

Chociaż Lemuoklis działa całkiem dobrze, programu tego nie można zaktualizować, ponieważ jego kod źródłowy jest zamknięty. Anotator Semantika.lt został opracowany na platformie Hunspell jako program o otwartym kodzie źródłowym; jest aktualizowany i uzupełniany o nowe słowa (obecnie obejmuje 171 000 lemów), a jego reguły są porządkowane (zob. szerzej Dadurkevičius 2017). W badaniu przeprowadzonym w 2017 r. i oceniającym jakość obu anotatorów stwierdzono, że dokładniejszy jest anotator semantika.lt (Kapočiūtė-Dzikienė i in. 2017).

Przedstawiany dalej korpus MATAS opracowywano w latach 2002–2014. Za podstawę przyjęto korpus liczący 1 mln słów, utworzony w 2006 r.; uzupełniono go o nowe teksty i przebudowano. Najpierw teksty MATO poddano automatycznej anotacji morfologicznej, a następnie zostały one sprawdzone i skorygowane przez językoznawcę.

⁵ Dostęp online: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; program ten nie tylko anotuje tekst pod względem morfologicznym, lecz może także dokonywać syntezy, tj. generować wymagane formy; przystosowano go również do analizy dawnych tekstów.

⁶ Dostęp online: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti

tekstynai | 3

MATAS obejmuje 1,6 mln tekstów pochodzących z dokumentów, utworów literackich i tekstów naukowych. Podobnie jak w Dabartinės lietuvių kalbos tekstyne, największą część (36 proc.) stanowią teksty publicystyczne (zob. rysunek 1).

RYS. 1. Struktura korpusu MATAS z anotacją morfologiczną (w procentach)

MATAS jest dostępny w kilku formatach: w tak zwanym formacie KLC, w którym stosuje się nieco nietypowe skróty nazw części mowy i kategorii gramatycznych (w tym formacie anotowano również korpus dostępny w repozytorium portalu http://clarin-lt.lt/), na przykład:

<word="Tarp" lemma="tarp" type="prln"> <space> <word="tankiai" lemma="tankiai" type="prvks teig nelygin.l"> <space> <word="suaugusių" lemma="suaugti(-ga,-go)" type="dly teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K"> <space> <word="medžių" lemma="medis" type="dktv vyr.gim dgsk K"> <space> <word="kur ne kur" lemma="kur ne kur" type="prvks teig nelygin.l"> <space> <word="vis" lemma="vis" type="prvks teig nelygin.l"> <space> <word="pasimatydavo" lemma="pasimatyti(-to,-tė)" type="vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm"> <space> <word="dangaus" lemma="dangus" type="dktv vyr.gim vnsk K"> <space> <word="lopinėlis" lemma="lopinėlis" type="dktv vyr.gim vnsk V"> <sep="."> <p>

MATAS został również anotowany w międzynarodowym formacie TEI P5. W nim części mowy i kategorie gramatyczne oznacza się jedną literą lub cyfrą, na przykład vatstdv3 oznacza odpowiednio:

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4

czasownik, forma osobowa, forma twierdząca, zwrotny, tryb oznajmujący, czas przeszły częstotliwy, liczba pojedyncza, trzecia osoba. Poniżej podano ten sam fragment tekstu w formacie TEI P5:

<w lemma="tarp" ana="#r">Tarp</w> <pc> </pc> <w lemma="tankiai" ana="#ptn">tankiai</w> <pc> </pc> <w lemma="suaugti(-ga,-go)" ana="#vdtnvknvdk">suaugusių</w> <pc> </pc> <w lemma="medis" ana="#dbvdk">medžių</w> <pc> </pc> <w lemma="kur ne kur" ana="#ptn">kur ne kur</w> <pc> </pc> <w lemma="vis" ana="#ptn">vis</w> <pc> </pc> <w lemma="pasimatyti(-to,-tė)" ana="#vatstdv3">pasimatydavo</w> <pc> </pc> <w lemma="dangus" ana="#dbvvk">dangaus</w> <pc> </pc> <w lemma="lopinėlis" ana="#dbvvv">lopinėlis</w> <pc>.</pc>

Kolejny format, w którym teksty anotowane morfologicznie są dostępne na stronie internetowej http://corpus.vdu.lt, opracowano na wzór formatu MULTEXT-East⁷. Zgodnie z tym formatem każda część mowy ma inną liczbę kategorii morfologicznych (od 2 do 14), które zapisuje się za pomocą skrótów. Na przykład w oznaczeniu Ncmpnn- N oznacza rzeczownik, c – rzeczownik pospolity, m – rodzaj męski, p – liczbę mnogą, n – mianownik, n – rzeczownik niezwrotny. Końcowy łącznik oznacza, że temu wyrazowi, na przykład universitetai, nie przypisano żadnej etykiety semantycznej⁸.

W rozdziale trzecim przedstawimy wyszukiwanie zarówno w korpusie MATAS, jak i w korpusach ALKSNIS za pomocą systemu ANNIS. W systemie tym stosuje się kolejny format etykiet morfologicznych, oparty na etykietach glosowania z Lipska (więcej informacji zob. rozdział 3).

Różne systemy anotacji są charakterystyczne nie tylko dla technologii języka litewskiego. Problem ten skłonił do stworzenia narzędzia konwersji Pepper (Zipser i in. 2010). Pokazuje to etapy tworzenia różnych zasobów oraz wykorzystywane narzędzia anotacji.

Jak wynika z wcześniej podanych przykładów, w KLC stosuje się cztery systemy etykiet morfologicznych. Kilka różnych formatów anotacji pojawiło się dlatego, że korpus z anotacją morfologiczną przygotowywano przez długi czas. Początkowo nie stosowano żadnych standardów anotacji, lecz używano skrótów nazw części mowy i kategorii gramatycznych opracowanych przez twórcę analizatora morfologicznego V. Zinkevičiusa. Są one łatwe do zrozumienia dla użytkowników. Po pewnym czasie, w związku ze współpracą międzynarodową, korpus z anotacją morfologiczną został ponownie anotowany z wykorzystaniem

⁷ Dostęp online: http://nl.ijs.si/ME/V4/msd/html/index.html.

⁸ Więcej informacji o tych etykietach: http://corpus.vdu.lt/lt/morph.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5

zgodnymi ze standardami międzynarodowymi. Jak wspomniano, analizator morfologiczny semantika.lt (głównym celem tego systemu było stworzenie usług internetowych) wykorzystuje oznaczenia w formacie MULTEXT-East. Oznaczenia są krótkie, ale trudne do zrozumienia dla ludzi; lepiej nadają się do analizy komputerowej.

W formacie MULTEXT-East anotowano morfologicznie i składniowo korpus ALKSNIS. Narzędzie do wyszukiwania w korpusach ANNIS (zob. rozdział 3) umożliwiło połączenie formatów anotacji morfologicznej ALKSNIO i MATO. Pierwszym pomysłem było użycie oznaczeń Universal Dependency (UD), ponieważ jest to dość rozpowszechniony system anotacji i jest łatwy do odczytania (w języku angielskim). Jednak oznaczenia UD są bardzo długie, co okazało się niewygodne podczas wyszukiwania za pomocą ANNIS: oznaczenia każdego słowa zajmują dużo miejsca, więc przy analizowaniu kontekstu wyszukiwanego słowa trzeba było przesuwać pasek przewijania w jedną lub drugą stronę. Ze względu na ten praktyczny problem postanowiono zaadaptować oznaczenia glosowania z Lipska, ponieważ są łatwe do odczytania i dość krótkie. Pomimo opisanej tu różnorodności oznaczeń anotacyjnych należy podkreślić, że w interfejsie ANNIS obu korpusów używany jest tylko jeden system (zaadaptowany system glosowania z Lipska), co powinno znacznie ułatwić korzystanie z nich.

Warto wspomnieć, że w MATE nie oznaczono granic zdań; można je szybko wyznaczyć automatycznie, ale uzyskane wyniki trzeba sprawdzić. MATAS, podobnie jak omawiany dalej korpus ALKSNIS, jest dostępny w http://clarin-lt.lt/repozytorium portalu⁹. Można w nim wyszukiwać za pomocą systemu ANNIS¹⁰ (więcej informacji w rozdziale 3).

2. Korpus ALKSNIS z anotacją składniową

Korpus języka litewskiego z anotacją składniową ALKSNIS przygotowano w 2016 r. Jego opracowanie wspierała infrastruktura wspólnych zasobów językowych i technologii — konsorcjum Europejskiej Infrastruktury Badawczej (CLARIN ERIC) (MTI-02/2015). Korpus jest publicznie dostępny w http://clarin-lt.lt/repozytorium portalu¹¹. Sposób korzystania z niego opisano w przewodniku użytkownika¹².

Korpus zaplanowano jako wzorcowy korpus do analizy składniowej języka litewskiego. Tego rodzaju korpusy charakteryzują się niewielkimi rozmiarami i optymalnym doborem gatunków, a analiza składniowa, choć wykonywana automatycznie, jest sprawdzana i poprawiana przez językoznawców. Na podstawie wzorcowej analizy składniowej można tworzyć parser składniowy oparty na metodach statystycznych (ang. statistically-based parser) oraz rozszerzać automatyczną analizę składniową (Bielinskienė i in. 2016).

⁹ Dostęp online: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9.

¹⁰ Dostęp online: http://158.129.51.247:8080/annis-gui-3.4.4.

¹¹ Dostęp online: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10.

¹² Dostęp online: https://youtu.be/PIEOPWurb4Y.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6

Ponieważ ALKSNIS jest nowszym zasobem języka litewskiego niż MATAS i został mniej szczegółowo opisany, w niniejszym artykule poświęcimy ALKSNISowi więcej uwagi, a także omówimy kwestie, które pojawiły się podczas anotacji składniowej.

2.1. Części korpusu

Korpus ALKSNIS obejmuje 30 599 słów i 2355 zdań z anotacją składniową. W porównaniu z korpusami języków krajów sąsiednich jest on dość podobny i, można powiedzieć, ma wystarczającą wielkość: łotewski korpus¹³ obejmuje 3800 zdań i 53 tys. słów (Predkalnina i in. 2016); estoński korpus ¹⁴ – 1400 zdań i 10 600 słów (Muischnek i in. 2014); polski korpus ¹⁵ – 8227 zdań. Pierwszy korpus z anotacją składniową, PENN (USA), jest znacznie większy – obejmuje około 3 mln słów¹⁶.

Teksty korpusu ALKSNIS obejmują cztery części gatunkowe (zob. rys. 2). Części obejmujące prasę ogólną i specjalistyczną oraz literaturę piękną są zbliżone pod względem wielkości, natomiast najmniejszą część stanowią teksty administracyjne, ponieważ jest to specyficzna odmiana języka litewskiego: zdania są często długie i zawierają wiele tytułów dokumentów, odsyłaczy do innych dokumentów itp. Anotacja takich zdań nie ukazałaby typowej struktury składniowej.

RYS. 2. Struktura korpusu ALKSNIS z anotacją składniową

Do utworzenia korpusu wykorzystano całe, nieprzycięte teksty. Zdania wybierano z możliwie jak najszerszego wachlarza gatunków tekstów. Część obejmująca literaturę piękną składa się ze zdań pochodzących z utworów autorów litewskich. Wybrane zdania przygotowano do analizy komputerowej: sprawdzono kodowanie tekstu, usunięto tabele i ilustracje.

¹³ Dostęp online: http://sintakse.korpuss.lv/index.html.

¹⁴ Dostęp online: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/.

¹⁵ Dostęp online: http://zil.ipipan.waw.pl/Sk%C5%82adnica.

¹⁶ Dostęp online: https://catalog.ldc.upenn.edu/ldc99t42.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 7

2.2. Narzędzia do anotowania i wizualizacji korpusu

Automatyczna analiza składniowa opiera się na parserze składniowym opracowanym w ramach projektu VDU KLC „System analizy składniowo-semantycznej języka litewskiego dla korpusu, litewskiego internetu i zastosowań w sektorze publicznym”, który został stworzony w Haskell¹⁷. Parser opiera się na metodzie opartej na regułach (ang. rule-based). Narzędzie to odczytuje pliki anotowane morfologicznie z modułów segmentacji i analizy morfologicznej semantika.lt, a w wyniku podaje zdania podzielone na człony lub syntagmy, generuje drzewa składniowe, wskazuje ich role tematyczne (ang. thematic roles) i funkcje składniowe (Boizou i in. 2014: 69).

Usługi internetowe generują wyłącznie pliki JSON, ale inne narzędzie KLC konwertuje wyniki analizy składniowej do formatu PML (Prague Markup Language). Dla korpusu anotowanego składniowo generowane są drzewa zależności (ang. dependency trees). Format ten umożliwia wizualizację i edycję drzew zależności w formacie PML za pomocą edytora TrED opracowanego przez UFAL Uniwersytetu Karola w Pradze¹⁸ (zob. rys. 3). Wszystkie zdania anotowane automatycznie zostały sprawdzone i poprawione przez językoznawców. Analiza składniowa obejmuje zatem trzy poziomy: automatyczną segmentację wyrazów i zdań oraz analizę morfologiczną, automatyczną analizę składniową (metodą opartą na regułach) i ręczne opracowanie zdań (więcej zob. 2.4).

2.3. Struktura danych ALKSNIS

Po przeprowadzeniu automatycznej analizy składniowej zdania są przedstawiane graficznie w postaci drzewa (zob. rys. 3). Każdy węzeł drzewa odpowiada wyrazowi, znakowi interpunkcyjnemu lub innej jednostce zdania (symbolowi, cyfrze itp.). Relacje zależności między wyrazami są wskazywane za pomocą „gałęzi” lub krawędzi.

¹⁷ Parser składniowy został opracowany przez L. Boizou i F. Zamblerę w Centrum Lingwistyki Komputerowej VDU.

¹⁸ Dostęp online: https://ufal.mff.cuni.cz/tred/.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 8

RYS. 3. Drzewo zależności zdania anotowanego składniowo w formacie edytora TrEd

Przy każdym wyrazie podaje się w następującej kolejności (zob. rys. 3):

1) konkretna forma wyrazu użyta w zdaniu (np. gyventojai);

2) forma hasłowa (słownikowa) – lema (np. gyventojas);

3) oznaczenia morfologiczne (np. Ncmpnn-);

4) funkcja składniowa (np. Sub) (objaśnienia skrótów podano poniżej).

2.4. Poziomy analizy

Poziom analizy morfologicznej. Anotacja morfologiczna jest pierwszym etapem analizy automatycznej, dlatego jest niezbędna do analizy składniowej lub analizy zdania na wyższym poziomie. Analizę morfologiczną przeprowadzono za pomocą anotatora semantika.lt (Dad urkevičius 2017). Znaczniki morfologiczne stosowane w ALKSNYJE opracowano na podstawie formatu MULTEXT-East (szerzej opisano go w rozdziale 1).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9

Poziom analizy składniowej. Parser składniowy przetwarza pliki anotowane morfologicznie i przedstawia zdania podzielone na człony lub frazy, generuje drzewa składniowe oraz wskazuje funkcje składniowe ich elementów. Analiza opiera się na modelu gramatyki zależności (ang. dependency grammar). Zazwyczaj stosuje się go do języków podobnych typologicznie, charakteryzujących się odmianą form wyrazowych i swobodnym szykiem wyrazów, np. do języków słowiańskich (PDT¹⁹, SynTagRus²⁰), łotewskiego itd. Zależności składniowe wyrażane są hierarchicznie. Zaczyna się od głównego członu zdania – korzenia drzewa, z którym łączy się pozostałe człony zdania zgodnie z ich zależnością (tj. relacjami składniowymi).

Skróty znaczników składniowych oraz informacje o relacjach i zależnościach składniowych opierają się na dorobku czeskim (Hajič i in. 1999); Czesi jako jedni z pierwszych rozwinęli analizę składniową dla syntetycznego języka czeskiego. Obecnie w ALKSNYJE stosuje się 18 podstawowych znaczników składniowych (nie licząc ich wariantów): Sub – podmiot, Pred – orzeczenie (predykat), Obj – dopełnienie itd. (zob. tabelę 1). Warianty znaczników powstają, gdy łączy się w jeden znacznik dwa lub więcej oznaczeń, np. przy oznaczaniu złożonego orzeczenia typu nominalnego lub werbalnego stosuje się odpowiednio dwa znaczniki: PredN i PredV; przy oznaczaniu podrzędnego członu przydawkowego (atrybutywnego) w zdaniu złożonym do orzeczenia członu podrzędnego dodaje się podwójny znacznik Pred_Atr; aby wskazać relację współrzędności (koordynację), do członów zdania równorzędnych pod względem funkcji dodaje się jako część podwójnego znacznika _Co, tzn. przy każdym z wymienionych dopełnień równorzędnych zapisuje się Obj_Co itd. Ponadto w zdaniach złożonych mogą występować także znaczniki potrójne, na przykład gdy trzeba oznaczyć równorzędne zdania podrzędne: Pred_Atr_Co – jest to zdanie podrzędne przydawkowe (atrybutywne).

TABELA 1. Funkcje składniowe i ich znaczniki w korpusie

Znacznik

Funkcja składniowa

Przykład

Sub

Podmiot

Jis [Sub] sakė

Pred

Predykat (lub wyraz pomocniczy)

Jis ėjo [Pred]; buvo [Pred] patenkintas

PredN

Nominalna część predykatu

Był [Pred] zadowolony [PredN]

PredV

Werbalna część predykatu

Musi [Pred] odzwierciedlać [PredV]

Obj

Dopełnienie

Czekam na gościa [Obj]; trzeba podjąć decyzję [Obj]

Atr

Atrybut (przydawka)

Szkoła średnia [Atr]; państwo członkowskie [Atr]

Adj

Okoliczniki

Teraz [Adj] zdecyduje; na ulicy Partyzantów [Adj]

¹⁹ Praski Bank Drzew Zależności (Prague Dependency Treebank), szerzej zob. https://ufal.mff.cuni.cz/pdt3.0.

²⁰ Dostęp online: http://www.ruscorpora.ru/en/.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10

Aux

Funkcja pomocnicza (np. przecinki lub inne symbole)

AuxC

Subordynacja (zdania podrzędne)

Powiedział, że [AuxC]...

AuxK

Znak interpunkcyjny kończący zdanie

AuxL

Pomocnicza jednostka leksykalna (np. słowo obcojęzyczne)

Amerykańska firma North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]

AuxP

Przyimek

Przejdzie na [AuxP] poziom

AuxZ

Partykuła

Jak i [AuxZ] zawsze

Coord

Koordynacja

Producenci i [Coord] sprzedawcy

_Co (pvz., Atr_Co)

Człony współrzędne (np. równorzędne części zdania)

Producenci [Atr_Co] i [Coord] sprzedawcy [Atr_Co]

Par

Wtrącenia, zwroty do adresata

Prawdę mówiąc [Par], wydaje się

ExD

Elipsa lub inne opuszczenia w zdaniu

Kobieta – [Pred_ExD] istota

Pred_ (pvz., Pred_Obj)

Typ podrzędnego członu zdania podrzędnego (oznaczany przy orzeczeniu)

Napisał, że cechy są określane przez [Pred_Obj]

Poziom ręcznej korekty zdań. Wszystkie zdania automatycznie anotowane składniowo zostały sprawdzone przez językoznawców. W przypadku wielu zdań, zwłaszcza złożonych, anotację trzeba było poprawić i wskazać prawidłowe zależności. W niektórych miejscach poprawiano także oznaczenia morfologiczne. Zdania były poprawiane oddzielnie przez trzech językoznawców, a następnie każde zdanie zostało dodatkowo sprawdzone przez całą trójkę. Cechy anotacji składniowej opisano poniżej.

Cechy anotacji składniowej. Podczas automatycznej analizy składniowej, jak wspomniano, za wierzchołek drzewa składniowego (ang. root) uznaje się najwyższy hierarchicznie składnik zdania (np. czasownik, niekiedy spójnik na początku zdania) lub inny element zdania (np. w zdaniu złożonym – jego spójnik lub wyraz łączący), a jako gałąź wskazującą interpunkcję zdania – znak interpunkcyjny: kropkę, znak zapytania, wykrzyknik, wielokropek, średnik itp. Poniżej przedstawimy konkretne przykłady ilustrujące cechy anotacji składniowej.

Przykład, w którym wierzchołkiem zdania jest czasownik [Pred], przedstawiono na rysunku 4, a przykład, w którym jest nim spójnik [Coord] – na rysunku 5.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11

RYS. 4. Wierzchołek drzewa zależności – czasownik

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12

RYS. 5. Wierzchołek drzewa zależności – spójnik na początku zdania

Przykład, w którym wierzchołkiem zdania złożonego jest znak interpunkcyjny, przedstawiono na rysunku 6.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13

RYS. 6. Wierzchołek drzewa zależności – znak interpunkcyjny rozdzielający człony zdania złożonego

Przyjmuje się, że w konstrukcjach przyimkowych przyimek zajmuje wyższą pozycję i jest oznaczany jako AuxP, natomiast następujący po nim wyraz jest oznaczany zgodnie z pełnioną funkcją (np. obiekt): ceny za [AuxP] elektryczność [Obj] (zob. rys. 7).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14

RYS. 7. Anotacja konstrukcji przyimkowych

Podrzędne człony zdania złożonego zależą od orzeczenia członu nadrzędnego, a od niego zależy spójnik członu podrzędnego (przecinek zależy od spójnika). Ważne jest również wskazanie funkcji członu podrzędnego. Określa się ją przy orzeczeniu członu podrzędnego, np. Pred_Obj – zdanie podrzędne dopełnieniowe (obiektowe) (zob. rys. 8).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15

RYS. 8. Przykład anotacji podrzędnych członów zdania złożonego podrzędnie

Wskaźnik relacji współrzędnej (spójnik lub kabel) może być wierzchołkiem konstrukcji współrzędnej (np. zaproponowano usiąść i [Coord] pograć; zaproponowano dzieciom i [Coord] ich rodzicom) (zob. rys. 9).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16

RYS. 9. Przykład anotacji powiązanych członów relacji współrzędnej

Jeśli występuje wieloczłonowe połączenie mieszane, spójnik znajdujący się w konstrukcji jest wierzchołkiem, a od niego odchodzą wszystkie pozostałe człony bezspójnikowe (przecinki wraz z wyrazami wprowadzającymi kolejne elementy znajdują się na tym samym poziomie zależności). Inne znaki interpunkcyjne oznacza się jako Aux (zob. rys. 10).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17

RYS. 10. Przykład anotacji mieszanej konstrukcji współrzędnej (na rysunku widać również więcej przypadków relacji współrzędnej)

Wierzchołkiem zdań współrzędnych jest spójnik współrzędny. Wyrazy łączące, które są przysłówkami, zaimkami lub partykułami (np. przysłówek dlatego), zależą od orzeczenia drugiego członu zdania i pełnią funkcję okolicznika (Adj), natomiast funkcję łączenia Coord pełni kabel, podobnie jak w zdaniach bezspójnikowych lub zdaniach z powtarzanymi spójnikami, które tutaj traktuje się jako partykuły (zob. rys. 12), a także w przypadku łączenia członów zdania (zob. rys. 11, 12).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18

RYS. 11. Przykład anotacji zdania współrzędnie złożonego z wyrazem łączącym

RYS. 12. Anotacja konstrukcji współrzędnej

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19

Trudno anotować wyrażenia liczbowe, np. godziny, lata. Są one anotowane jako okoliczniki z określeniami albo jako określenia (zob. rys. 13, 14).

RYS. 13. Anotowanie daty

RYS. 14. Anotowanie dat i innych wyrażeń liczbowych (na rysunku przedstawiono tylko fragment zdania anotowanego składniowo)

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20

Nie zawsze łatwo anotować orzeczenia złożone. W niektórych przypadkach anotuje się je tak, jak są rozumiane w gramatykach języka litewskiego, tj. jako orzeczenia typu imiennego i czasownikowego (np. jest [Pred] prosty [PredN]; może [Pred] być [PredV]), a w niektórych przypadkach drugi człon orzeczenia traktuje się jako dopełnienie (np. zamierzam [Pred] zwołać [Obj]).

Trudno było anotować konstrukcje z parzystymi spójnikami, ponieważ oba spójniki są równorzędne hierarchicznie. W takim przypadku uznawano, że wyższą pozycję w hierarchii zajmuje orzeczenie zdania głównego, od którego zależy człon zdania podrzędnego (zob. rys. 15).

RYS. 15. Przykład anotowania zdań złożonych z parzystymi spójnikami

Ostatecznie rozważano status niektórych części mowy. Na przykład powtarzające się spójniki współrzędne postanowiono uznać za partykuły, ponieważ ich funkcja w strukturze drzewa zależności przypomina funkcję partykuł (zob. rys. 12).

Podczas ręcznego anotowania składniowego rozwiązywano wiele problemów; tutaj wymieniono tylko kilka z nich. Wiele trudności związanych z anotowaniem rozwiązano, kierując się podejściem tradycyjnej gramatyki i uzgadniając jedynie określony sposób anotowania. W innych przypadkach trzeba było dostosować się do specyfiki anotowania składniowego i konsekwentnie stosować przyjęte ustalenia. Problemy, które się pojawiły, mają być rozwiązywane w dalszym rozwoju automatycznej analizy składniowej.

W kolejnym podrozdziale przedstawiono wyszukiwanie danych w anotowanych korpusach za pomocą systemu ANNIS. Jest to jedno z wyzwań związanych z korzystaniem z anotowanych korpusów, ponieważ wyszukiwanie danych w takich korpusach, zawierających liczne etykiety i nawet kilka poziomów anotacji, musi być wieloaspektowe. Z tego względu wybrano narzędzie ANNIS opracowane przez badaczy z Uniwersytetu Humboldta w Berlinie (Niemcy).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21

3. Wyszukiwanie za pomocą systemu ANNIS

Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.

ANNIS wyświetla odpowiednie linie konkordancji wraz z powiązanymi informacjami (zob. rys. 16). Linię konkordancji można rozszerzyć z 5 do 25 słów (wliczając znaki interpunkcyjne) zarówno w lewo, jak i w prawo; można także eksportować wyniki.

W obu korpusach stosuje się etykiety gramatyczne utworzone zgodnie z etykietami glosowania z Lipska²¹. Dodano kilka etykiet, których nie ma we wspomnianych etykietach, np. ~COMP oznacza stopień wyższy. Przed takimi etykietami stawia się tyldę. Części mowy oznaczane są zgodnie z formatem Universal Dependency.

RYS. 16. Fragment wyników wyszukiwania za pomocą narzędzia ANNIS

W części dokumentów MATO podczas wyszukiwania lematu įsakymas

²¹ Dostęp online: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. W innych anotowanych korpusach często stosuje się etykiety Universal Dependency (UD) (zob. http://universaldependencies.org/; zob. także rys. 18). Jak wspomniano w pierwszym rozdziale, etykiety UD są bardzo długie (np. przypadek biernikowy, rodzaj żeński i liczba mnoga są oznaczane w następujący sposób: case=accusative|gender=feminine|number=plural), zajmują zbyt dużo miejsca w interfejsie ANNIS i przez to utrudniają odczytywanie informacji.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22

RYS. 17. Fragment wyników wyszukiwania za pomocą narzędzia ANNIS

W korpusie ALKSNIO podczas wyszukiwania lematu įsakymas

(aby relacje składniowe były oznaczone strzałkami, trzeba kliknąć znak plusa obok deps)

3.1. Wyszukiwanie proste

Wyszukiwanie pojedynczej cechy nazywa się wyszukiwaniem prostym. Prezentowane anotacje (nazwy kategorii gramatycznych, stosowane oznaczenia gramatyczne itp.) zależą od struktury każdego korpusu, a nie od narzędzia ANNIS.

Zwracamy uwagę, że podczas formułowania zapytania należy rozróżniać wielkie i małe litery.

3.1.1. Wyszukiwanie dokładnych form wyrazów (ciągów znaków)

Wyszukiwanie proste przeprowadza się, podając nazwę kategorii, znak równości i wartość kategorii ujętą w angielskie cudzysłowy, np.:

• lemma="kalba" (takie zapytanie oznacza, że wyszukiwane jest lemma kalba);

• pos="ADJ" (wyszukiwane są przymiotniki);

• gram=".M.SG.GEN." (wyszukiwane są wyrazy użyte w określonych kategoriach gramatycznych, w tym przypadku w formie dopełniacza rodzaju męskiego liczby pojedynczej).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23

Aby wyszukać w tekście konkretną formę wyrazu, należy podać nazwę kategorii tok lub po prostu wpisać szukaną formę w cudzysłowie, np.:

• tok="pasakė" lub "pasakė".

W obu anotowanych korpusach można wyszukiwać lemmy, części mowy, kategorie gramatyczne i konkretne formy wyrazów, a w ALKSNYJE można dodatkowo wyszukiwać oznaczenia składniowe, np.:

• syfun="Atr" (wyszukiwanie atrybutów).

W ALKSNYJE można również wyszukiwać relacje zależności (deps), ale wyszukuje się je według innej zasady (zob. 3.2.3).

3.1.2. Wyszukiwanie struktur znaków

ANNIS umożliwia wyszukiwanie za pomocą wyrażeń regularnych (ang. regular expressions); zapisuje się je za pomocą znaków specjalnych. Zapytanie wyszukujące za pomocą wyrażeń regularnych zapisuje się zasadniczo tak samo jak zapytanie wyszukujące dokładne formy wyrazów, z tą różnicą, że cudzysłowy angielskie trzeba zastąpić ukośnikami.

3.1.2.1. Wyszukiwanie dowolnych znaków

Najważniejszym znakiem specjalnym jest kropka, która zastępuje dowolny pojedynczy znak (literę, cyfrę itp.), np.:

• lemma=/pl.t.s/ (wyszukiwanie np. platus, plotis, plitus);

• /p.sak.s/ lub tok=/p.sak.s/ (wyszukiwanie np. pasakys, pasakos, pasakas, pasakęs, pasakis);

• /201./ lub tok=/201./ (wyszukiwanie np. 2010, 2011, 2012...).

Ponieważ kropka może zastępować dowolny znak, aby wyszukać samą kropkę, należy użyć kombinacji ukośnik odwrotny + kropka (\.), np.:

• gram=/^\..\SG\.GEN\./ (wyszukiwanie np. .M.SG.GEN.,.F.SG.GEN.,...).

3.1.2.2. Wyszukiwanie jednego z kilku symboli

Zamiast wyszukiwania całkowicie nieokreślonych symboli w zapytaniu można wskazać kilka konkretnych symboli, których się szuka. Zapisuje się je w nawiasach kwadratowych, np.:

• lemma=/pl[ao]t.s/ (wyszukiwane są np. platus, plotis, ale nie plitus);

• /t[ei]lp./ lub tok=/t[ei]lp./ (wyszukiwane są np. telpa, tilpo, ale nie talpa);

• /201[0124]/ lub tok=/201./ (wyszukiwane są 2010, 2011, 2012, 2014);

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24

• gram=/\.[MFN]\.SG\.GEN\./ (wyszukiwane są .M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN.).

Zwracamy uwagę, że w ten sposób wyszukiwany jest jeden symbol ze wskazanego zestawu: /dirb[aius]/ pozwala wyszukać dirba, dirbi, dirbu, dirbs, ale nie dirbau ani dirbsi.

3.1.3. Operatory powtórzenia

Można powtarzać (zwykłe i specjalne) symbole, np.:

• lemma=/..važiuoti/ (wyszukiwane są np. nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);

• /dirb[ao][mt]e/ lub tok=/dirb[ao][mt]e/ (wyszukiwane są dirbame, dirbate, dirbome, dirbote).

W ten sposób liczba wyszukiwanych symboli jest stała, np. dwa symbole w podanych przykładach (lub [ao][mt]), zatem zapytanie lemma=/..važiuoti/ nie zwróci wyników z lematem įvažiuoti. Więcej możliwości dają operatory powtórzenia, które mają następujące znaczenia:

•? – dany symbol występuje raz albo ani razu;

• + – dany symbol występuje co najmniej raz (czyli raz, dwa, trzy, cztery lub więcej razy);

• * – dany symbol występuje n razy (czyli może nie wystąpić wcale, wystąpić raz, dwa lub więcej razy)

Operatory te pomagają wyszukiwać symbole występujące po nich lub przed nimi, np.:

• /šild?o/ (wyszukiwane jest šilo lub šildo);

• /Ma+u/ (wyszukiwane są Mau, Maau, Maaau, Maaau itd.);

• /oi*/ (wyszukiwane są o, oi, oii, oiii itd.).

Wcześniej wymienione operatory można łączyć z wyszukiwaniem dowolnego lub jednego z kilku symboli, np.:

• lemma=/. *važiuoti/ (wyszukiwane są np. važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);

• /šauk[aiu]*/ lub tok=/šauk[aiu]*/ (wyszukiwane są np. šauk, šauki, šaukia, šaukiu);

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25

/šauk[aiu]+/ lub tok=/šauk[aiu]+/ (wyszukiwane są np. šauki, šaukia, šaukiu, ale nie šauk);

gram=/.*\.F\..*/ (wyszukiwana jest sekwencja.F. pomiędzy dowolnymi innymi sekwencjami symboli).

Warto wspomnieć, że takie struktury jak [aiu]* lub [aiu]+ nie wpływają na kolejność wyszukiwanych symboli. Oznacza to, że zwracane są wyniki zawierające a lub i, lub u + a; albo i, albo u + a; albo i, albo u.... Zatem rozpoznawane są następujące kombinacje symboli: aaa, i, uuuuu, uiua, uua itd.

3.1.4. Wyszukiwanie alternatyw

Pionowa kreska (|) umożliwia wyszukiwanie alternatyw, np.:

lemma="niezły" | lemma="dobry";

/d(au|ū)ž.*/ albo tok=/d(au|ū)ž.*/ (wyszukiwane są np. daužo, dūžta, daužymas);

gram=/.*\.~(COMP|SUP)\..*/ (wyszukiwane są.~COMP. i.~SUP. wśród dowolnych ciągów znaków);

"tik" | "tiktai" albo tok="tik" | tok="tiktai" (wyszukiwane są tik i tiktai).

3.1.5. Zapytania sformułowane negatywnie

Choć taka możliwość jest przydatniejsza przy łączeniu cech w złożonych wyszukiwaniach, również w wyszukiwaniu prostym można wskazać, czego nie należy wyszukiwać, np.:

pos!="NOUN" (wyszukiwane są wszystkie słowa, które nie są rzeczownikami);

tok!=/.*[ąaęeėįiyiouųū]/ (wyszukiwane są wszystkie formy wyrazów, które nie kończą się samogłoską).

Jeśli nie wybierze się złożonego zapytania wyszukiwawczego (zob. 3.2), proste zapytania sformułowane negatywnie mogą powodować problemy, zwłaszcza gdy obejmują wiele słów (jak w pierwszym przypadku — rzeczowników), dlatego należy używać tego zapytania ostrożnie.

3.2. Wyszukiwanie złożone

Wyszukiwanie złożone tworzy się z kilku wyszukiwań prostych. Potrzebna jest także dodatkowa część opisująca relacje między wyszukiwaniami prostymi (wskazanymi według pozycji). Każdą część wyszukiwania prostego łączy się znakiem ampersanda (&).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26

3.2.1. Kombinacje cech w obrębie jednego słowa

Wyszukiwanie proste pozwala znaleźć to samo słowo, a relację między wyszukiwaniami prostymi wyraża operator kombinacji (_=_), np.:

• "mano" & pos="PRON" & #1 _=_ #2 (wyszukuje zaimek mano, ale nie czasownik manyti w trzeciej osobie czasu teraźniejszego).

Takie sformułowanie zapytania oznacza, że pierwsze wyszukiwanie proste (#1, czyli "mano" lub tok="mano") i drugie wyszukiwanie proste (#2, czyli pos="PRON") odnoszą się do tego samego słowa.

3.2.2. Kombinacje słów

Jeśli na podstawie wyszukiwania prostego formułuje się zapytanie dotyczące różnych słów, operator kombinacji zastępuje się operatorem sekwencji (kropką), np.:

• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (wyszukuje słowo użyte w dopełniaczu po słowie pilnas).

Liczba 1 po kropce oznacza, że #2 występuje bezpośrednio (bez żadnego wtrącenia) po #1. Liczba 2 oznaczałaby, że wtrącone jest jedno słowo, 3 – dwa słowa itd. Zamiast.1 można zapisać kropkę bez żadnej liczby (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Można doprecyzować przedział za pomocą przecinka, np..2,4 (z wtrąceniem od jednego do trzech słów). Jeśli długość wtrącenia nie ma znaczenia, należy wpisać kropkę i gwiazdkę (*).

W jednym zapytaniu złożonym można używać operatorów sekwencji i kombinacji, np.:

• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (wyszukuje formy słów w dopełniaczu, które nie są przymiotnikami, po słowie pilnas).

3.2.3. Wyszukiwanie zależności składniowych

Struktur zależności można również szukać za pomocą złożonego zapytania z operatorem bezpośredniego rządu ->, np.:

• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (wyszukuje rzeczowniki, które rządzą przymiotnikami, np. daugiabutis namas);

• pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (wyszukuje czasowniki w formie twierdzącej, które rządzą dopełnieniami wyrażonymi w dopełniaczu, np. laukti klausimų).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27

UWAGI PODSUMOWUJĄCE

Korpus MATAS i ALKSNIS stanowią ważne zasoby języka litewskiego. Są potrzebne na kolejnych etapach informatyzacji języka. Na podstawie tych korpusów można uzyskać dane ilościowe dotyczące rozkładu części mowy, form gramatycznych i funkcji składniowych, a także najczęstszych leksemów, form gramatycznych itp. (kilka konkretnych badań ilościowych można znaleźć w następujących pracach: Rimkutė 2006; Utka 2009; Brokaitė 2017). Korpus MATAS wykorzystano do uczenia analizatora semantika.lt (w celu oceny jakości anotacji).

W przyszłości należy dalej rozwijać automatyczną analizę składniową. Przede wszystkim można by poprawić jakość anotacji składniowej: doprecyzować funkcje składniowe, uzupełnić zestaw o nowe oznaczenia (np. doprecyzować okoliczniki według ich semantyki: miejsca, sposobu, czasu itd.). Na początku anotowania składniowego napotkano wiele niejasności, dlatego należałoby przedyskutować niektóre przypadki składniowe, np. anotowanie orzeczeń złożonych, elipsę, rozróżnianie zdań składowych bezspójnikowych i konstrukcji wyjaśniających, status niektórych części mowy itp.

Kolejnym kierunkiem prac jest powiększenie samego korpusu. Należałoby uzupełnić jego części gatunkowe, np. uwzględnić więcej tekstów naukowych i popularnonaukowych. Ponadto korpus należy przekształcić do szeroko stosowanego międzynarodowego formatu Universal Dependency (zob. rys. 18; nie podano tu oznaczeń gramatycznych, w przykładzie składniowo anotowano przykład w języku fińskim).

RYS. 18. Format Universal Dependency

Jednym z głównych celów automatycznej analizy składniowej jest stworzenie analizatora składniowego działającego na podstawie statystycznej (ang. statistically-based parser), opartego na korpusie ALKSNIS jako wzorcu analizy składniowej i służącego do anotowania dużych zbiorów tekstów.

Jeśli pozwolą na to możliwości, analizę składniową można rozszerzyć również o inne kierunki, np. anotowanie ról tematycznych (ang. thematic role annotation). Jest to pewna reprezentacja semantyczna związana z walencją. Ten poziom w wewnętrznym systemie anotacji składniowej przypisano każdemu słowu i obecnie nie jest on publicznie widoczny, ponieważ ma bardziej eksperymentalny charakter, nie został w pełni opracowany ani zweryfikowany. Przydatne byłoby również oznaczenie stałych połączeń wyrazowych (ang. multi-word

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28

wyrażenia, MWE²²), które obejmują kolokacje i frazeologizmy. Dotychczas nie oznaczano ich w korpusie, z wyjątkiem połączeń morfologicznych, których człony łączą się w jedną jednostkę (np. na razie, z daleka) i pełnią jedną funkcję morfologiczną oraz składniową (najczęściej oznacza się je jako przysłówki i okoliczniki). Planowane jest również oznaczenie relacji anaforycznych (gdy w jednym zdaniu użyto rzeczownika, a w następnym zdaniu (lub innej części zdania) zastępuje go zaimek, tj. oznaczenie powiązań między zaimkiem a zastępowanym przez niego rzeczownikiem).

LITERATŪRA

Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).

Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).

Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.

Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.

Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).

Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.

Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:

²² Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29

IOS Press, 111–118. Prieiga internete: http://ebooks.iospress.nl/publication/38013 (žiūrėta 2017 10 10).

Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).

Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.

Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).

Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).

Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).

Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).

Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).

Įteikta 2017 11 06

Priimta 2017 12 20

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30

LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK

Summary

Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.

KEYWORDS: corpus, automatic morphological analysis, automatic syntactic analysis, treebank, language technologies.

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ

Vytauto Didžiojo universiteto Kompiuterinės lingvistikos centras

V. Putvinskio g. 23–216, 44243 Kaunas

agnė[email protected]

[email protected]

[email protected]

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204