A Vytautas Magnus Egyetem (VDU) Számítógépes Nyelvészeti Központjában (KLC)1 már 25 éve fejlesztenek és bővítenek nyelvtechnológiákat (Utka és mtsai, 2017). A VDU KLC által létrehozott litván nyelvi erőforrások és eszközök alapvető fontosságúak: nélkülük nem lehetne számítógépesíteni a litván nyelvet, és új technológiákat alkalmazni rá. 2015 elején Litvánia teljes jogú tagja lett a CLARIN ERIC-nek, 2015 júliusában pedig a VDU KLC és a VDU Informatikai Kara a Vilniusi Egyetem és a Kaunasi Műszaki Egyetem partnereivel közösen létrehozta a CLARIN-LT konzorciumot, és elindította a „Litvánia tagsága a nemzetközi kutatási infrastruktúrában – Közös nyelvierőforrás- és technológiai infrastruktúra”2 című projektet – ezzel csatlakozott az európai nyelvtechnológiák közös rendszeréhez.
A cikk célja két, a VDU KLC által készített, annotált litván nyelvi erőforrás bemutatása: a morfológiailag annotált MATAS korpuszé és a szintaktikailag annotált ALKSNIS korpuszé. Ezek az erőforrások nyilvánosan hozzáférhetők a CLARIN-LT adattárában; keresésük az ANNIS rendszeren keresztül végezhető3 (bővebben lásd a 3. fejezetet), továbbá az automatikusan morfológiailag annotált korpuszban a weboldalon is lehet keresni http://corpus.vdu.lt4.
Az annotált korpuszok alapvető erőforrások, amelyek fontos szerepet játszanak a nyelvtechnológiák fejlesztésében. A nyelv számítógépes feldolgozásához, valamint az automatikus nyelvi elemzésre szolgáló számítógépes eszközök létrehozásához elengedhetetlen a nyelvtani elemzés és a nyelvről szóló statisztikai adatok. A nyelvtani címkékkel kiegészített korpuszok tehát mintegy nyersanyagként szolgálnak a további automatikus nyelvi elemzéshez. Az ilyen korpuszokat más természetesnyelv-feldolgozási erőforrások és eszközök létrehozására használják fel, például az alábbi területeken:
4 Ez egy 208 millió szóból álló, automatikusan morfológiailag annotált korpusz. A cikk további részében nem írunk róla. A hangsúly az 1,6 millió szavas, nyelvész által ellenőrzött, morfológiailag annotált MATAS korpuszon van.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
automatikus nyelvfelismerő rendszerek, gépi tanulás, automatizált fordítás, információkinyerés stb.
A cikk további részében külön-külön bemutatjuk a fent említett korpuszokat, valamint az ANNIS rendszeren keresztül történő adatkeresést bennük. A korpuszokat és adataikat felhasználhatják a litván nyelv nyelvtani rendszerét kutató kutatók és hallgatók, a feladatokat összeállító oktatók és tanárok, valamint mindazok, akik érdeklődnek a nyelvtechnológia iránt.
ANNOTÁLT LITVÁN NYELVI KORPUSZOK ÉS ÖSSZEÁLLÍTÁSUK SAJÁTOSSÁGAI
1. Morfológiailag annotált MATAS korpusz
A morfológiai elemzés a nyelvfeldolgozás első szakasza, és gyakran előkészíti a szöveget a további szintaktikai vagy szemantikai elemzéshez. Ezért nagyon fontos, hogy a morfológiai annotátorok a lehető legpontosabban működjenek, mivel a morfológia szintjén elkövetett hibák akadályozzák a nyelv más szintjeinek automatikus elemzését.
Az első litván morfológiai annotátort mintegy 25 évvel ezelőtt fejlesztették ki. Szerzője Vytautas Zinkevičius (bővebben lásd Zinkevičius 2000). Jelenleg két morfológiai annotátor érhető el nyilvánosan a litván nyelvhez: a már említett, V. Zinkevičius által készített program, amelyet leggyakrabban Lemuoklis5 néven említenek (a lema szóból – szótári alak), valamint a Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema portálon (a továbbiakban semantika.lt) elérhető annotátor6. A cikkben bemutatott MATAS korpusz annotálása a Lemuoklis segítségével történt, a szintaktikailag annotált korpusz pedig a semantika.lt morfológiai annotátorának felhasználásával készült.
Bár a Lemuoklis elég jól működik, a program nem frissíthető, mivel zárt forráskódú. A Semantika.lt annotátor a Hunspell platformon készült nyílt forráskódú programként; ez az annotátor frissíthető, új szavakkal bővíthető (jelenleg 171 000 lemmát tartalmaz), szabályait pedig karbantartják (bővebben: Dadurkevičius 2017). 2017-ben mindkét annotátor minőségét vizsgáló kutatás megállapította, hogy a semantika.lt annotátora működik pontosabban (Kapočiūtė-Dzikienė és mtsai. 2017).
A MATAS korpusz 2002–2014 között készült. Alapjául egy 2006-ban összeállított, 1 millió szóból álló korpusz szolgált; ezt új szövegekkel egészítették ki és átdolgozták. Először a MATAS szövegeit automatikusan morfológiailag annotálták, majd nyelvész ellenőrizte és javította őket.
5 Elérhető az interneten: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; ez a program nemcsak morfológiailag annotálja a szöveget, hanem szintetizálni is képes, vagyis előállítja a szükséges alakokat; a régi írások elemzésére is alkalmas.
6 Elérhető az interneten: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
A MATAS 1,6 millió szövegből áll, amelyek dokumentumokból, szépirodalmi művekből és tudományos szövegekből származnak. A Dabartinės lietuvių kalbos tekstyne korpuszhoz hasonlóan itt is az publicisztikai szövegek alkotják a legnagyobb részt (36 százalék; lásd az 1. ábrát).
1. ÁBRA. A MATAS morfológiailag annotált korpuszának felépítése (százalékban)
A MATAS több formátumban is elérhető: az úgynevezett KLC-formátumban, amelyben a szófajok és a nyelvtani kategóriák kissé szokatlan rövidítéseit használják (ebben a formátumban annotálták a http://clarin-lt.lt/ portál tárházában elérhető korpuszt is), például:
A MATAS a nemzetközi TEI P5 formátumban is annotált. Ebben a szófajokat és a nyelvtani kategóriákat egy betűvel vagy számjeggyel rövidítik, például a vatstdv3 rendre a következőket jelenti:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
ige, ragozott alak, kijelentő módú forma, visszaható, kijelentő mód, múlt ismétlő idő, egyes szám, harmadik személy. Az alábbiakban ugyanaz a szövegrészlet szerepel TEI P5 formátumban:
A http://corpus.vdu.lt weboldalon elérhető morfológiailag annotált szövegek egy másik formátuma a MULTEXT-East7 formátum példáján alapul. E formátum szerint minden szófajhoz eltérő számú morfológiai kategória tartozik (2-től 14-ig), amelyeket rövidítésekkel jelölnek. Például az Ncmpnn- N annotációban az N főnevet jelent, a c köznevet, az m hímnemet, a p többes számot, az n alanyesetet, az n pedig nem visszaható főnevet jelent. A végén álló kötőjel azt jelzi, hogy az adott szóhoz – például az universitetai szóhoz – nem rendeltek szemantikai címkét8.
A harmadik fejezetben ismertetjük a keresést mind a MATAS, mind az ALKSNYS korpuszban az ANNIS rendszer használatával. Ez egy további morfológiai címkeformátumot használ, amely a lipcsei glosszázási címkék alapján készült (részletesebben lásd a 3. fejezetet).
A különböző annotációs rendszerek nemcsak a litván nyelvtechnológiákra jellemzőek. Ez a probléma ösztönözte a Pepper konvertáló eszköz létrehozását (Zipser és mtsai., 2010). Ez szemlélteti a különféle erőforrások létrehozásának szakaszait és az alkalmazott annotációs eszközöket.
Amint a korábban bemutatott példákból látható, a KLC-ben négy morfológiai címkerendszert használnak. A többféle annotációs formátum azért alakult ki, mert a morfológiailag annotált korpusz hosszú idő alatt készült el. Egy ideig egyáltalán nem alkalmaztak annotációs szabványokat; egyszerűen a morfológiai elemző fejlesztője, V. Zinkevičius által létrehozott szófaji és nyelvtani kategóriákat jelölő rövidítéseket használták. Ezeket a felhasználók könnyen megértik. Később, a nemzetközi együttműködés eredményeként, a morfológiailag annotált korpuszt újraannotálták az alábbiak felhasználásával
8 E címkékről bővebben lásd: http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
nemzetközi szabványokkal. Mint említettük, a semantika.lt (ennek a rendszernek az internetes szolgáltatások létrehozása volt a fő célja) morfológiai elemzője a MULTEXT-East formátumú címkéket használja. A címkék rövidek, de az emberek számára nehezen érthetők; számítógépes elemzésre alkalmasabbak.
A MULTEXT-East formátumban morfológiailag annotált és szintaktikai korpusz az ALKSNIS. A korpuszkereső eszköz, az ANNIS (lásd a 3. fejezetet) lehetővé tette az ALKSNIS és a MATAS morfológiai annotálási formátumainak egyesítését. Az első gondolat az volt, hogy a Universal Dependency (UD) címkéit használjuk, mivel ez meglehetősen elterjedt annotációs rendszer, és könnyen olvasható (angolul). Az UD-címkék azonban nagyon hosszúak, és ez kényelmetlennek bizonyult az ANNIS-ben végzett keresés során: az egyes szavak címkéi sok helyet foglalnak, ezért a keresett szó kontextusának elemzésekor az ablak görgetősávját egyik vagy másik irányba kellett mozgatni. E gyakorlati probléma miatt a lipcsei glosszázási címkék adaptálása mellett döntöttünk, mivel ezek könnyen olvashatók és viszonylag rövidek. Az itt ismertetett annotációs címkék sokfélesége ellenére hangsúlyozandó, hogy mindkét korpusz ANNIS-felületén csak egyetlen (adaptált lipcsei glosszázási) rendszert használnak, ami jelentősen megkönnyítheti a felhasználók dolgát.
Megjegyzendő, hogy a MATE-ben nincsenek megadva a mondathatárok; ezek gyorsan, automatikusan kijelölhetők, de az eredményeket ellenőrizni kell. A MATAS, akárcsak az alább tárgyalt ALKSNIS korpusz, a http://clarin-lt.lt/ portalo saugykloje9 érhető el. A keresés az ANNIS rendszerrel végezhető10 (bővebben lásd a 3. fejezetet).
2. Szintaktikailag annotált ALKSNIS korpusz
A litván nyelv szintaktikailag annotált ALKSNIS korpusza 2016-ban készült el. Elkészítését az Európai Kutatási Infrastruktúra Konzorcium Általános Nyelvi Erőforrások és Technológiák Infrastruktúrája (CLARIN ERIC) támogatta (MTI-02/2015). A korpusz nyilvánosan elérhető a http://clarin-lt.lt/ portalo saugykloje11. Használatának módját a felhasználói útmutató12 ismerteti.
A korpuszt a litván szintaktikai elemzés referenciaanyagának szánták. Az ilyen típusú korpuszokra jellemző, hogy kis méretűek, műfaji összetételük optimális, szintaktikai elemzésüket pedig – bár automatikusan végzik – nyelvészek ellenőrzik és javítják. A szintaktikai elemzési referenciaanyag alapján statisztikai módszerrel működő elemző (angolul: statistically-based parser) hozható létre, és bővíthető az automatikus szintaktikai elemzés (Bielinskienė és mtsai., 2016).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Mivel az ALKSNIS újabb litván nyelvi erőforrás, mint a MATAS, és kevésbé van leírva, ezért ebben a tanulmányban nagyobb figyelmet szentelünk az ALKSNIS-nek, valamint tárgyaljuk a szintaktikai annotálás során felmerült kérdéseket.
2.1. A korpusz részei
Az ALKSNIS korpusz 30 599 szóból és 2355 szintaktikailag annotált mondatból áll. A közeli országok nyelveinek korpuszaival összehasonlítva ez a korpusz meglehetősen hasonló, és mondhatni megfelelő méretű: a lett nyelvi korpusz13 3800 mondatból és 53 ezer szóból áll (Predkalnina és mtsai. 2016); az észt nyelvi korpusz14 1400 mondatból és 10 600 szóból (Muischnek és mtsai. 2014); a lengyel nyelvi korpusz15 pedig 8227 mondatból. Az első szintaktikailag annotált korpusz, a PENN (USA), ennél jóval nagyobb: körülbelül 3 millió szóból áll16.
Az ALKSNIS szövegei négy műfaji részt foglalnak magukban (lásd a 2. ábrát). Az általános és szakfolyóiratok, valamint a szépirodalom részei nagyjából azonos méretűek, a közigazgatási szövegeké pedig a legkisebb, mivel ez a litván nyelv sajátos területe: a mondatok gyakran hosszúak, tele vannak dokumentumcímekkel, más dokumentumokra mutató hivatkozásokkal és hasonlókkal. Az ilyen mondatok annotálása nem tárná fel a tipikus szintaktikai szerkezetet.
2. ÁBRA. Az ALKSNIS szintaktikailag annotált korpuszának felépítése
A korpusz összeállításához teljes, rövidítetlen szövegeket használtak. A mondatokat a lehető legkülönfélébb szövegműfajokból választották ki. A szépirodalmi részt litván szerzők műveiből származó mondatok alkotják. A kiválasztott mondatokat számítógépes elemzésre készítették elő: ellenőrizték a szöveg kódolását, valamint törölték a táblázatokat és az ábrákat.
13 Elérhető az interneten: http://sintakse.korpuss.lv/index.html.
14 Elérhető az interneten: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/.
15 Elérhető az interneten: http://zil.ipipan.waw.pl/Sk%C5%82adnica.
16 Elérhető az interneten: https://catalog.ldc.upenn.edu/ldc99t42.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 7
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. A korpusz annotálására és vizualizálására szolgáló eszközök
Az automatikus szintaktikai elemzés a VDU KLC „A litván nyelv szintaktikai-szemantikai elemzőrendszere korpuszokhoz, a litván internethez és közszférabeli alkalmazásokhoz” című projektje során elkészített szintaktikai elemzőre támaszkodik, amelyet Haskell17 nyelven fejlesztettek ki. Az elemző szabályalapú (angolul rule-based) módszert alkalmaz. Ez az eszköz beolvassa a semantika.lt szegmentáló és morfológiai elemző moduljainak morfológiailag annotált fájljait, majd olyan mondatokat állít elő, amelyek összetevőkre vagy szintagmákra vannak bontva; szintaktikai fákat generál, megadja azok tematikus szerepeit (angolul thematic roles) és szintaktikai funkcióit (Boizou és mtsai 2014: 69).
Az online szolgáltatások kizárólag JSON-fájlokat generálnak, de a KLC egy másik eszköze PML-formátumra konvertálja a szintaktikai elemzés eredményeit (Prague Markup Language). A szintaktikailag annotált korpuszhoz függőségi fákat (angolul dependency trees) generálnak. Ez a formátum lehetővé teszi a PML-formátumú függőségi fák vizualizálását és szerkesztését a Prágai Károly Egyetem UFAL központja által fejlesztett TrED szerkesztővel18 (lásd a 3. ábrát). Minden automatikusan annotált mondatot nyelvészek ellenőriztek és javítottak. A szintaktikai elemzés tehát három szintet foglal magában: a szavak és mondatok automatikus szegmentálását, valamint a morfológiai elemzést; az automatikus szintaktikai elemzést (szabályalapú módszerrel); és a mondatok kézi szerkesztését (bővebben lásd a 2.4. részt).
2.3. Az ALKSNIS adatszerkezete
Az automatikus szintaktikai elemzés után a mondatokat grafikusan, fa formájában jelenítik meg (lásd a 3. ábrát). A fa minden csomópontja a mondat egy szavának, írásjelének vagy más egységének (szimbólumnak, számjegynek stb.) felel meg. A szavak közötti függőségi kapcsolatokat „ágak” vagy élek jelölik.
17 A szintaktikai elemzőt L. Boizou és F. Zamblera fejlesztette ki a VDU Számítógépes Nyelvészeti Központjában.
Minden szó mellett a következő információk szerepelnek, ebben a sorrendben (lásd a 3. ábrát):
1) a mondatban használt konkrét szóalak (pl. gyventojai);
2) a szótári (címszó)alak – a lemma (pl. gyventojas);
3) morfológiai címkék (pl. Ncmpnn-);
4) szintaktikai funkció (pl. Sub) (a rövidítések magyarázatát lásd alább).
2.4. Az elemzés szintjei
Morfológiai elemzési szint. A morfológiai annotálás az automatikus elemzés első lépése, ezért elengedhetetlen a magasabb szintű szintaktikai vagy mondatszintű elemzéshez. A morfológiai elemzés a semantika.lt annotátor használatával készült (Dad urkevičius 2017). Az ALKSNYJE-ben használt morfológiai címkék a MULTEXT-East formátum mintájára készültek (bővebben az 1. fejezetben).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Szintaktikai elemzési szint. A szintaktikai elemző a morfológiailag annotált fájlokat dolgozza fel, és tagmondatokra vagy szintagmákra bontott mondatokat ad meg, szintaktikai fákat generál, valamint meghatározza elemeik szintaktikai funkcióit. Az elemzés a függőségi nyelvtan modelljén alapul (angolul: dependency grammar). Ezt általában tipológiailag hasonló nyelvekre alkalmazzák, amelyekre a szóalakok ragozása és a szabad szórend jellemző, például a szláv nyelvekre (PDT19, SynTagRus20), a lett nyelvre stb. A szintaktikai függőségek hierarchikusan fejeződnek ki. A fő tagmondattal – a fa gyökerével – kezdődik az elemzés; ehhez kapcsolódnak a mondat további tagmondatai függőségi viszonyuk (azaz szintaktikai kapcsolatuk) szerint.
A szintaktikai címkék rövidítései, valamint a szintaktikai kapcsolatokról és függőségekről szóló információk cseh előzményekre támaszkodnak (Hajič és mtsai. 1999); a cseh kutatók az elsők között dolgozták ki a szintaktikai elemzést a szintetikus típusú cseh nyelvre. Jelenleg az ALKSNYJE 18 alapvető szintaktikai címkét használ (változataikat nem számítva): Sub – alany, Pred – állítmány (predikátum), Obj – tárgy stb. (lásd az 1. táblázatot). A címkeváltozatok akkor keletkeznek, amikor kétféle vagy kettős címkét kombinálnak; például az összetett főnévi vagy igei típusú állítmány megjelölésére kétféle címkét használnak: rendre PredN és PredV; összetett mondatban az alárendelt jelzői (attribútív) tagmondat megjelölésekor az alárendelt tagmondat állítmánya kettős címkét kap: Pred_Atr; a mellérendelő kapcsolat (koordináció) jelölésére az egyenrangú mondatrészek mellett kettős címke részeként a _Co szerepel, vagyis például a felsorolt egyenrangú tárgyak mindegyike az Obj_Co címkét kapja. Összetett mondatokban egyébként hármas címkék is előfordulhatnak, például egyenrangú alárendelt tagmondatok megjelölésekor: Pred_Atr_Co – ez alárendelt jelzői (attribútív) mondat.
1. TÁBLÁZAT. A szövegkorpusz szintaktikai funkciói és címkéik
Címke
Szintaktikai funkció
Példa
Sub
Alany
Jis [Sub] sakė
Pred
Predikátum (vagy segédszó)
Jis ėjo [Pred]; buvo [Pred] patenkintas
PredN
Az állítmány névszói része
Elégedett volt [Pred] [PredN]
PredV
Az állítmány igei része
Köteles [Pred] válaszolni [PredV]
Obj
Tárgy
Várom a vendéget [Obj]; meg kell oldani [Obj]
Bővítmény
Attribútum (jelző)
Középiskola [Atr]; tagállam [Atr]
Adj
Határozók
Most [Adj] dönt; a Partizanų utcában [Adj]
19 A prágai függőségi fák bankja (Prague Dependency Treebank), bővebben lásd: https://ufal.mff.cuni.cz/pdt3.0.
20 Online elérhető: http://www.ruscorpora.ru/en/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Segédfunkció (pl. vesszők vagy más szimbólumok)
AuxC
Alárendelés (mellékmondatok)
Azt mondta, hogy [AuxC]...
AuxK
A mondatvégi írásjel
AuxL
Segédlexikai egység (pl. idegen nyelvű szó)
Amerikai vállalat North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Elöljárószó
Átlép az [AuxP] szintre
AuxZ
Partikula
Ahogy [AuxZ] mindig
Coord
Összekapcsolás
Gyártók és [Coord] eladók
_Co (pvz., Atr_Co)
Összekapcsolt tagmondatrészek (pl. azonos mondatrészek)
Gyártók [Atr_Co] és [Coord] eladók [Atr_Co]
Par
Közbevetések, megszólítások
Őszintén szólva [Par], úgy tűnik
ExD
Ellipszis vagy más kihagyás a mondatban
A nő [Pred_ExD] lény
Pred_ (pvz., Pred_Obj)
A mellékmondat típusának alárendelő mondatban való megjelölése (az állítmányhoz kapcsolódóan)
Azt írta, hogy a tulajdonságokat [Pred_Obj] határozza meg
A mondatok kézi javításának szintje. Az automatikusan szintaktikailag annotált mondatokat nyelvészek ellenőrizték. Sok mondat, különösen az összetett mondatok annotációját javítani kellett, és meg kellett adni a helyes függőségi viszonyokat. Néhány helyen a morfológiai címkéket is javították. A mondatokat három nyelvész külön-külön javította, majd később mindhárom nyelvész minden mondatot további ellenőrzésnek vetett alá. A szintaktikai annotáció sajátosságait a következőkben ismertetjük.
A szintaktikai annotálás sajátosságai. Az automatikus szintaktikai elemzés során – mint említettük – a szintaktikai fa csúcsának (angolul root) a mondat hierarchikusan legfelső tagját (például az igét, olykor a mondat eleji kötőszót) vagy a mondat egy másik elemét (például összetett mondat esetén annak kötőszavát vagy kötőszavas névmását) tekintjük, a mondat írásjeleit jelölő ágként pedig a mondatvégi írásjelet: pontot, kérdőjelet, felkiáltójelet, három pontot, pontosvesszőt stb. A továbbiakban konkrét példákat mutatunk be a szintaktikai annotálás sajátosságainak szemléltetésére.
A 4. ábra azt a példát mutatja be, amikor a mondat gyökere egy ige [Pred], az 5. ábra pedig azt, amikor egy kötőszó [Coord].
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
4. ÁBRA. Az igét tartalmazó függőségi fa gyökere
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
5. ÁBRA. A mondatkezdő kötőszót tartalmazó függőségi fa gyökere
A 6. ábra azt a példát mutatja be, amikor az összetett mondat gyökere egy írásjel.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
6. ÁBRA. Az összetett mondat tagmondatai közötti írásjel a függőségi fa gyökere
A névutós szerkezetekben a névutó foglal el magasabb pozíciót, jelölése AuxP, az utána következő szó pedig a betöltött funkciója szerint van jelölve (pl. tárgy): kainos už [AuxP] elektrą [Obj] (lásd a 7. ábrát).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
7. ÁBRA. A névutós szerkezetek annotálása
Az összetett mondat mellékmondatai a főmondat állítmányától függenek, a mellékmondat kötőszava pedig az állítmánytól függ (a vessző a kötőszótól függ). Fontos a mellékmondat funkciójának megjelölése is. Ezt a mellékmondat állítmánya mellett tüntetjük fel, például: Pred_Obj – tárgyi (objektum-) mellékmondat (lásd a 8. ábrát).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
8. ÁBRA. Az alárendelő összetett mondat mellékmondatainak annotálási példája
A mellérendelő viszony jelölője (kötőszó vagy vessző) a mellérendelő szerkezet feje lehet (pl. javasolt leülni és [Coord] játszani; javasolt a gyerekeknek és [Coord] a szüleiknek) (lásd a 9. ábrát).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
9. ÁBRA. A mellérendelő viszonyhoz kapcsolódó tagmondatok annotálási példája
Ha többszörös, vegyes mellérendelés van, akkor a szerkezetben szereplő kötőszó a fej, és ebből indul ki az összes többi, kötőszó nélküli tagmondat (a felsorolást tartalmazó vesszők a felsorolt szavakkal együtt ugyanazon a függőségi szinten vannak). A többi írásjelet Aux jelöli (lásd a 10. ábrát).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
10. ÁBRA. Vegyes mellérendelő szerkezet annotálási példája (az ábrán további mellérendelő viszonyok is láthatók)
A mellérendelt mondatok feje a mellérendelő kötőszó. A határozószókból, névmásokból vagy partikulumokból álló kapcsolóelemek (pl. a ezért határozószó) a második tagmondat állítmányától függenek, és határozói funkciót töltenek be (Adj), a mellérendelés Coord funkcióját pedig a vessző tölti be, akárcsak a kötőszó nélküli mondatokban vagy az ismétlődő kötőszókkal álló mondatokban, amelyeket itt partikulumoknak tekintünk (lásd a 12. ábrát), továbbá a mondatrészek összekapcsolásakor is (lásd a 11. és 12. ábrát).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
11. ÁBRA. Kapcsolóelemet tartalmazó mellérendelt mondat annotálási példája
12. ÁBRA. Mellérendelő szerkezet annotálása
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
A számszerű kifejezések, például az órák és az évek annotálása nehéz. Ezeket határozóként, jelzőkkel együtt, vagy jelzőként annotálták (lásd a 13. és 14. ábrát).
13. ÁBRA. Dátum annotálása
14. ÁBRA. Dátumok és más számszerű kifejezések annotálása (az ábrán csak a szintaktikailag annotált mondat egy részlete látható)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Az összetett állítmányok annotálása nem mindig könnyű. Egyes esetekben úgy annotálják őket, ahogyan a litván nyelvtanokban értelmezik, vagyis névszói és igei típusú állítmányként (pl. van [Pred] egyszerű [PredN]; lehet [Pred] lenni [PredV]), más esetekben pedig az állítmány második tagját tárgynak tekintik (pl. szándékozom [Pred] összehívni [Obj]).
Nehézséget okozott a páros kötőszavakat tartalmazó szerkezetek annotálása, mivel a két kötőszó hierarchikusan azonos szinten áll. Ilyenkor úgy tekintették, hogy a hierarchiában a főmondat tagmondatának állítmánya foglalja el a magasabb pozíciót, és ettől függ a mellékmondat tagmondata (lásd a 15. ábrát).
15. ÁBRA. Páros kötőszavakkal alkotott összetett mondatok annotálásának példája
Végül néhány szófaj státuszáról is mérlegelés folyt. Például úgy döntöttek, hogy az ismétlődő mellérendelő kötőszavakat partikulumként kezelik, mivel a függőségi fa szerkezetében betöltött funkciójuk hasonló a partikulumokéhoz (lásd a 12. ábrát).
A szintaktikai kézi annotálás során számos problémát kellett megoldani; itt csak néhányat neveztünk meg. Az annotálás nehézségeinek nagy részét a hagyományos nyelvtani megközelítés követésével oldották meg, mindössze az annotálás módjáról kellett megállapodni. Más esetekben alkalmazkodni kellett a szintaktikai annotálás sajátosságaihoz, és az annotálás során következetesen tartani kellett magukat a megállapodáshoz. A felmerült problémák megoldása a jövőben az automatikus szintaktikai elemzés továbbfejlesztésével várható.
A következő alfejezet az annotált korpuszokban végzett adatkeresést mutatja be az ANNIS rendszer használatával. Ez az annotált korpuszok használatának egyik kihívása, mivel az ilyen korpuszokban, amelyekben számos címke és akár több annotációs szint is található, az adatkeresésnek sokrétűnek kell lennie. Ezért a Humboldt Egyetem (Németország) kutatói által fejlesztett ANNIS eszközt választották.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Keresés az ANNIS rendszeren keresztül
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
Az ANNIS a kapcsolódó információkkal együtt megjeleníti a megfelelő konkordanciasorokat (lásd a 16. ábrát). A konkordanciasor 5-ről 25 szóra bővíthető balra és jobbra is (az írásjeleket is beleszámítva); az eredmények exportálhatók is.
Mindkét korpuszban a lipcsei glosszázási konvenciók21 alapján összeállított grammatikai címkéket használnak. Néhány, az említett címkékben nem szereplő címkét is hozzáadtak; például a ~COMP a középfokot jelenti. Az ilyen címkék előtt tilde áll. A szófajokat a Universal Dependency formátum szerint adják meg.
16. ÁBRA. Az ANNIS keresőeszközzel kapott eredmények részlete
A MATO dokumentumrészében az įsakymas lemmára keresve
21 Online elérhető: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. Más annotált korpuszokban gyakran a Universal Dependency (UD) címkéket használják (lásd http://universaldependencies.org/;, továbbá lásd a 18. ábrát). Ahogy az első fejezetben írtuk, az UD-címkék nagyon hosszúak (például a tárgyesetet, a nőnemet és a többes számot így jelölik: case=accusative|gender=feminine|number=plural), túl sok helyet foglalnak el az ANNIS felületén, ezért az információ olvasása kényelmetlen.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
17. ÁBRA. Az ANNIS keresőeszközzel kapott eredmények részlete
Az ALKSNIS korpuszban az įsakymas lemma keresésekor
(ahhoz, hogy a szintaktikai kapcsolatokat nyilak jelöljék, a deps melletti pluszjelre kell kattintani)
3.1. Egyszerű keresés
Az egyetlen jellemzőre irányuló keresést egyszerű keresésnek nevezzük. A megjelenített annotáció (a grammatikai kategóriák nevei, az alkalmazott grammatikai jelölések stb.) az egyes korpuszok szerkezetétől, nem pedig az ANNIS eszköztől függ.
Felhívjuk a figyelmet arra, hogy a lekérdezés összeállításakor különbséget kell tenni a kis- és nagybetűk között.
3.1.1. Pontos szóalakok (karaktersorok) keresése
Az egyszerű keresés a kategória nevének, egy egyenlőségjelnek és a kategória angol idézőjelek közé írt értékének megadásával történik, például:
• lemma="kalba" (ez a lekérdezés azt jelenti, hogy a kalba lemma előfordulásait keressük);
• pos="ADJ" (mellékneveket keres);
• gram=".M.SG.GEN." (bizonyos grammatikai kategóriájú szavakat keres; ebben az esetben egyes számú hímnemű birtokos esetű alakokat).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Egy konkrét szóalak szövegben való kereséséhez meg kell adni a kategória nevét tok, vagy egyszerűen idézőjelek közé kell írni a keresett alakot, például:
• tok="pasakė" vagy "pasakė".
Mindkét annotált korpuszban lehet keresni lemmákra, szófajokra, nyelvtani kategóriákra és konkrét szóalakokra, az ALKSNYJE korpuszban pedig szintaktikai címkékre is, például:
• syfun="Atr" (attribútumok keresése).
Az ALKSNYJE korpuszban függőségi viszonyokra (deps) is lehet keresni, de ezek keresése más elven működik (lásd 3.2.3).
3.1.2. Szimbólumsorozatok keresése
Az ANNIS lehetővé teszi a reguláris kifejezésekkel való keresést (angolul: regular expressions); ezek jelölésére speciális karaktereket használnak. A reguláris kifejezésekkel végzett keresés lekérdezése lényegében ugyanúgy néz ki, mint a pontos szóalakok keresésére szolgáló lekérdezés, csak az angol idézőjeleket perjelekre kell cserélni.
3.1.2.1. Tetszőleges karakterek keresése
A legfontosabb speciális karakter a pont; bármely egyetlen karaktert (betűt, számjegyet stb.) helyettesíti, például:
• lemma=/pl.t.s/ (például a platus, plotis, plitus alakok keresése);
• /p.sak.s/ vagy tok=/p.sak.s/ (például a pasakys, pasakos, pasakas, pasakęs, pasakis alakok keresése);
• /201./ vagy tok=/201./ (például a 2010, 2011, 2012... alakok keresése).
Mivel a pont bármilyen karaktert helyettesíthet, magát a pont karaktert a fordított perjel + pont kombinációval (\.) kell keresni, például:
• gram=/^\..\SG\.GEN\./ (például a .M.SG.GEN.,.F.SG.GEN.,... alakok keresése).
3.1.2.2. Keresés több megadott karakter egyikére
A teljesen meghatározatlan karakterek keresése helyett a keresési lekérdezésben több konkrét keresett karaktert is megadhatunk. Ezeket szögletes zárójelben írjuk, például:
• lemma=/pl[ao]t.s/ (például platus, plotis keresése, de plitus keresése nélkül);
• /t[ei]lp./ vagy tok=/t[ei]lp./ (például telpa, tilpo keresése, de talpa keresése nélkül);
• /201[0124]/ vagy tok=/201./ (2010, 2011, 2012, 2014 keresése);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
Felhívjuk a figyelmet arra, hogy ezzel a módszerrel a megadott karakterkészlet egyetlen karakterére keresünk: a /dirb[aius]/ lehetővé teszi a dirba, dirbi, dirbu, dirbs keresését, de a dirbau vagy a dirbsi keresését nem.
3.1.3. Ismétlési operátorok
A (közönséges és speciális) karakterek ismételhetők, például:
• lemma=/..važiuoti/ (például nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti keresése);
• /dirb[ao][mt]e/ vagy tok=/dirb[ao][mt]e/ (dirbame, dirbate, dirbome, dirbote keresése).
Így a keresett karakterek száma állandó, például a bemutatott példákban két karakter (vagy [ao][mt]), ezért a lemma=/..važiuoti/ lekérdezés nem ad találatot az įvažiuoti lemmára. Az ismétlési operátorok több lehetőséget kínálnak; jelentésük a következő:
•? – egy adott karakter egyszer vagy egyáltalán nem fordul elő;
• + – egy adott karakter legalább egyszer fordul elő (azaz egyszer, kétszer, háromszor, négyszer vagy többször);
• * – egy adott karakter n-szer fordul elő (azaz előfordulhat egyszer sem, egyszer, kétszer vagy többször)
Ezek az operátorok az utánuk vagy előttük álló karakterek keresésében segítenek, például:
• /šild?o/ (a keresés šilo vagy šildo);
• /Ma+u/ (a keresés Mau, Maau, Maaau, Maaau és így tovább);
• /oi*/ (a keresés o, oi, oii, oiii és így tovább).
A korábban említett operátorok tetszőleges vagy több megadott karakter egyikének keresésével is kombinálhatók, például:
• lemma=/. *važiuoti/ (a keresés például važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);
• /šauk[aiu]*/ vagy tok=/šauk[aiu]*/ (a keresés például šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ vagy tok=/šauk[aiu]+/ (a keresés például šauki, šaukia, šaukiu, de nem šauk);
gram=/.*\.F\..*/ (a.F. szekvencia keresése bármilyen más karakterláncok között).
Megjegyzendő, hogy az olyan szerkezetek, mint a [aiu]* vagy a [aiu]+, nem befolyásolják a keresett karakterek sorrendjét. Így olyan találatok jelennek meg, amelyekben szerepel a vagy i, vagy u + a; vagy i, vagy u + a; vagy i, vagy u.... Tehát a következő karakterkombinációk ismerhetők fel: aaa, i, uuuuu, uiua, uua és így tovább.
3.1.4. Alternatívák keresése
A függőleges vonás (|) alternatívák keresését teszi lehetővé, például:
lemma="rossz" | lemma="jó";
/d(au|ū)ž.*/ vagy tok=/d(au|ū)ž.*/ (például daužo, dūžta, daužymas keresése);
"csak" | "csupán" vagy tok="csak" | tok="csupán" (csak és csupán keresése).
3.1.5. Negatívan megfogalmazott lekérdezések
Bár ez a lehetőség hasznosabb az összetett keresésekben a jegyek kombinálásakor, az egyszerű keresésekben is megadható, hogy mit ne keressünk, például:
pos!="NOUN" (az összes olyan szó keresése, amely nem főnév);
tok!=/.*[ąaęeėįiyiouųū]/ (az összes olyan szóalak keresése, amely nem magánhangzóra végződik).
Ha nem összetett keresési lekérdezést választunk (lásd 3.2), a negatívan megfogalmazott egyszerű lekérdezések problémákat okozhatnak, különösen, ha sok szót foglalnak magukban (mint az első esetben – a főneveket); ezért ezt a lekérdezést óvatosan kell használni.
3.2. Összetett keresés
Az összetett keresés több egyszerű keresésből áll. Szükség van még egy kiegészítő részre is, amely leírja az egyszerű keresések (pozíció szerint megadott) közötti kapcsolatokat. Minden egyszerű keresési részt az ampersand (&) jel kapcsol össze.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Egy szó jellemzőinek kombinációi
Az egyszerű keresés ugyanazt a szót keresi, az egyszerű keresések közötti kapcsolatot pedig a kombinációs operátorral (_=_) fejezzük ki, például:
• "mano" & pos="PRON" & #1 _=_ #2 (a mano névmás keresése, nem pedig a manyti ige jelen idejű, harmadik személyű alakjáé).
A lekérdezés ilyen megfogalmazása azt jelenti, hogy az első egyszerű keresés (#1, azaz "mano" vagy tok="mano") és a második egyszerű keresés (#2, azaz pos="PRON") ugyanahhoz a szóhoz kapcsolódik.
3.2.2. Szókombinációk
Ha az egyszerű keresés alapján különböző szavakra fogalmazunk meg lekérdezést, a kombinációs operátort sorrendi operátorra (pontra) cseréljük, például:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (a pilnas szó után álló, birtokos esetben használt szó keresése).
A pont utáni 1-es szám azt jelenti, hogy a #2 közvetlenül (közbeeső szó nélkül) követi a #1-et. A 2-es szám azt jelezné, hogy egy szó ékelődik közéjük, a 3-as pedig azt, hogy két szó, és így tovább. A.1 helyett szám nélküli pont is írható (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Az intervallum kérdőjellel is pontosítható, például.2,4 (egy és három szó közötti közbeékeléssel). Ha a közbeékelés mérete nem fontos, pontot és csillagot (*) kell írni.
Egy összetett lekérdezésben a sorrendi és a kombinációs operátor is használható, például:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (a pilnas szó után álló, birtokos esetű, nem melléknévi alakú szavak keresése).
3.2.3. Szintaktikai függőségek keresése
A függőségi struktúrák összetett kereséssel, a közvetlen vezérlés operátorával is kereshetők ->, például:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (olyan főneveket keresünk, amelyek mellékneveket irányítanak, például daugiabutis namas);
• pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (olyan állító igéket keresünk, amelyek genitivusi esetben álló bővítményeket irányítanak, például laukti klausimų).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 27
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
ÖSSZEGZŐ MEGJEGYZÉSEK
A MATAS és az ALKSNIS korpuszok fontos litván nyelvi erőforrások. A nyelv számítógépes feldolgozásának további szakaszaihoz van rájuk szükség. Ezekből a korpuszokból mennyiségi adatok nyerhetők a szófajok, a nyelvtani alakok és a szintaktikai funkciók eloszlásáról, valamint a leggyakoribb lexémákról, nyelvtani alakokról stb. (néhány konkrét mennyiségi vizsgálat a következő munkákban található: Rimkutė 2006; Utka 2009; Brokaitė 2017). A MATAS-t a semantika.lt elemző betanítására használták (az annotálás minőségének értékeléséhez).
A jövőben tovább kell fejleszteni az automatikus szintaktikai elemzést. Mindenekelőtt a szintaktikai annotálás minőségét lehetne javítani: pontosítani a szintaktikai funkciókat, új címkékkel kiegészíteni őket (például a határozók szemantikájuk szerinti pontosítása: hely-, mód-, időhatározó stb.). A szintaktikai annotálás kezdetén számos annotálási bizonytalansággal szembesültünk, ezért egyes szintaktikai esetekről vitát kellene folytatni, például az összetett állítmányok annotálásáról, az ellipszisről, a kötőszó nélküli tagmondatok és a magyarázó szerkezetek megkülönböztetéséről, egyes szófajok státuszáról stb.
A munka másik iránya maga a korpusz bővítése. Ki kellene egészíteni a korpusz műfaji részeit, például több tudományos és tudományos ismeretterjesztő szöveget kellene bevonni. Emellett a korpuszt át kell alakítani a széles körben használt nemzetközi Universal Dependency formátumra (lásd a 18. ábrát; a nyelvtani címkék itt nincsenek feltüntetve, a példában egy finn példa szintaktikai annotálása látható).
18. ÁBRA. Universal Dependency formátum
Az automatikus szintaktikai elemzés egyik fő célja egy statisztikai alapú szintaktikai elemző (angolul statistically-based parser) létrehozása, amely az ALKSNIS-re mint a szintaktikai elemzés etalonjára támaszkodik, és nagy mennyiségű szöveg annotálására használható.
Ha rendelkezésre állnak a szükséges lehetőségek, a szintaktikai elemzés más irányokban is bővíthető, például tematikus szerepek annotálásával (angolul thematic role annotation). Ez egyfajta szemantikai reprezentáció, amely a valenciához kapcsolódik. A szintaktikai annotálás belső rendszerében ezt a szintet minden szóhoz hozzárendelték; jelenleg nem látható nyilvánosan, mivel kísérleti jellegű, nincs teljesen kidolgozva és ellenőrizve. Hasznos lenne továbbá a rögzült szókapcsolatok megjelölése is (angolul multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
kifejezések, MWE22), amelyek kollokációkat és frazeologizmusokat foglalnak magukban. Eddig ezeket nem jelölték a korpuszban, kivéve a morfológiai szókapcsolatokat, amelyek elemei egyetlen egységgé vannak összevonva (pl. egyelőre, távolról), és egyetlen morfológiai, valamint szintaktikai funkciójuk van (leggyakrabban határozószóként és határozóként jelölik őket). Továbbá az anaforikus viszonyok megjelölését is tervezik (amikor az egyik mondatban használt főnevet a következő mondatban (vagy a mondat egy másik részében) névmás helyettesíti, vagyis a névmás és az általa helyettesített főnév közötti kapcsolatot jelölik).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
