Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Vytauto Didžiojo universitetas MORFOLOGISKT OCH SYNTAXISKT ANNOTERADE TEXTKORPUSAR FÖR LITAUISKA NYCKELORD: textkorpus, automatisk morfologisk analys, automatisk syntaktisk analys, språkteknologi. INLEDNING I 25 år har språkteknologi utvecklats och vidareutvecklats vid Centrum för datorlingvistik (KLC) vid Vytautas Magnus-universitetet (VDU)1 (Utka et al. 2017). De litauiska resurser och verktyg som utvecklats vid VDU KLC utgör grunden för datoriseringen av litauiskan och för att tillämpa ny teknik på språket. I början av 2015 blev Litauen fullvärdig medlem i CLARIN ERIC, och i juli 2015 grundade VDU KLC och VDU:s fakultet för informatik tillsammans med partner från Vilnius universitet och Kaunas tekniska universitet konsortiet CLARIN-LT och inledde projektet ”Litauens medlemskap i den internationella forskningsinfrastrukturen – den gemensamma infrastrukturen för språkresurser och språkteknologi”2 – och blev därmed en del av Europas gemensamma system för språkteknologi. Syftet med denna artikel är att presentera två resurser för litauiska, annoterade textkorpusar framtagna vid VDU KLC: den morfologiskt annoterade korpusen MATAS och den syntaktiskt annoterade korpusen ALKSNIS. Dessa resurser är offentligt tillgängliga i CLARIN-LT:s databas. Sökningar kan göras via systemet ANNIS3 (se avsnitt 3 för mer information); det går också att söka i den automatiskt morfologiskt annoterade korpusen på webbplatsen http://corpus.vdu.lt4. Annoterade textkorpusar är grundläggande resurser som spelar en viktig roll i utvecklingen av språkteknologi. Vid datorisering av språk och utveckling av datorverktyg för automatisk språkanalys behövs grammatisk analys och statistiska uppgifter om språket. Textkorpusar kompletterade med grammatiska annoteringar utgör alltså ett slags råmaterial för vidare automatisk språkanalys. Sådana textkorpusar används för att skapa andra resurser och verktyg för naturlig språkbehandling inom områden som 1 Tillgänglig online: http://tekstynas.vdu.lt. 2 Tillgänglig online: http://clarin-lt.lt/. 3 Tillgänglig online: http://158.129.51.247:8080/annis-gui-3.4.4/. 4 Detta är en automatiskt morfologiskt annoterad korpus med 208 miljoner ord. Den behandlas inte vidare i denna artikel. Tyngdpunkten ligger på den morfologiskt annoterade korpusen MATAS, som omfattar 1,6 miljoner ord och har granskats av en lingvist. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 2 automatiska system för språkigenkänning, maskininlärning, automatisk översättning, informationsutvinning och så vidare. I det följande presenteras de nämnda korpusarna var för sig samt hur man söker efter data i dem via ANNIS-systemet. Forskare och studenter som undersöker det litauiska språkets grammatiska system, liksom föreläsare och lärare när de utformar uppgifter, och alla som är intresserade av språkteknologi kan använda korpusarna och deras data. ANNOTERADE KORPUSAR ÖVER LITAUISKA OCH SÄRDRAG I DERAS SAMMANSÄTTNING 1. Morfologiskt annoterad korpus MATAS Morfologisk analys är det första steget i språkbehandlingen och utgör ofta en förberedelse för vidare syntaktisk eller semantisk analys. Därför är det mycket viktigt att de morfologiska annotatorerna fungerar så noggrant som möjligt, eftersom fel på morfologisk nivå försvårar automatisk språkanalys på andra nivåer. Den första morfologiska annotatorn för litauiska skapades för ungefär 25 år sedan. Dess upphovsman är Vytautas Zinkevičius (se Zinkevičius 2000 för mer information). För närvarande finns två morfologiska annotatorer för litauiska tillgängliga för allmänheten: det nämnda programmet av V. Zinkevičius, oftast kallat Lemuoklis5 (från ordet lema – grundform), och annotatorn som finns på portalen Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema (hädanefter semantika.lt). I denna artikel presenteras korpusen MATAS, som har annoterats med hjälp av Lemuoklis, medan den syntaktiskt annoterade korpusen har sammanställts med hjälp av den morfologiska annotatorn semantika.lt.6 Även om Lemuoklis fungerar ganska bra går programmet inte att uppdatera, eftersom det är sluten källkod. Annotatorn Semantika.lt har utvecklats på plattformen Hunspell som ett program med öppen källkod; annotatorn uppdateras och kompletteras med nya ord (den omfattar nu 171 000 lemman), och dess regler ses över (se Dadurkevičius 2017 för mer information). En undersökning som genomfördes 2017 och utvärderade kvaliteten hos båda annotatorerna visade att annotatorn semantika.lt fungerar mer träffsäkert (Kapočiūtė-Dzikienė et al. 2017). Korpusen MATAS, som presenteras i det följande, sammanställdes 2002–2014. Som grund användes en korpus med en miljon ord, sammanställd 2006; den utökades med nya texter och omarbetades. Först morfologiskt annoterades MATAS texter automatiskt, därefter granskades och korrigerades de av en språkvetare. 5 Åtkomst online: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; detta program annoterar inte bara text morfologiskt, utan kan också syntetisera, det vill säga generera de former som behövs; det är även anpassat för analys av äldre skrifter. 6 Åtkomst online: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti tekstynai | 3 MATAS består av 1,6 miljoner texter hämtade från dokument, skönlitterära verk och vetenskapliga texter. Liksom i Dabartinės lietuvių kalbos tekstyne utgör publicistiska texter den största andelen (36 procent) (se figur 1). FIG. 1. Strukturen hos den morfologiskt annoterade korpusen MATAS (i procent) MATAS finns tillgänglig i flera format: det så kallade KLC-formatet, där något ovanliga förkortningar för ordklasser och grammatiska kategorier används (detta format används även för korpusen som är tillgänglig i http://clarin-lt.lt/ portalens arkiv), till exempel: <word="Tarp" lemma="tarp" type="prln"> <space> <word="tankiai" lemma="tankiai" type="prvks teig nelygin.l"> <space> <word="suaugusių" lemma="suaugti(-ga,-go)" type="dly teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K"> <space> <word="medžių" lemma="medis" type="dktv vyr.gim dgsk K"> <space> <word="kur ne kur" lemma="kur ne kur" type="prvks teig nelygin.l"> <space> <word="vis" lemma="vis" type="prvks teig nelygin.l"> <space> <word="pasimatydavo" lemma="pasimatyti(-to,-tė)" type="vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm"> <space> <word="dangaus" lemma="dangus" type="dktv vyr.gim vnsk K"> <space> <word="lopinėlis" lemma="lopinėlis" type="dktv vyr.gim vnsk V"> <sep="."> <p> MATAS har också annoterats i det internationella TEI P5-formatet. Där förkortas ordklasser och grammatiska kategorier med en bokstav eller siffra, till exempel betyder vatstdv3 följande: BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4 verb, finita form, positiv form, reflexiv, indikativ, preteritum frequentativ, singular, tredje person. Nedan återges samma textutdrag i TEI P5-format: <w lemma="tarp" ana="#r">Tarp</w> <pc> </pc> <w lemma="tankiai" ana="#ptn">tankiai</w> <pc> </pc> <w lemma="suaugti(-ga,-go)" ana="#vdtnvknvdk">suaugusių</w> <pc> </pc> <w lemma="medis" ana="#dbvdk">medžių</w> <pc> </pc> <w lemma="kur ne kur" ana="#ptn">kur ne kur</w> <pc> </pc> <w lemma="vis" ana="#ptn">vis</w> <pc> </pc> <w lemma="pasimatyti(-to,-tė)" ana="#vatstdv3">pasimatydavo</w> <pc> </pc> <w lemma="dangus" ana="#dbvvk">dangaus</w> <pc> </pc> <w lemma="lopinėlis" ana="#dbvvv">lopinėlis</w> <pc>.</pc> Ytterligare ett format som morfologiskt annoterade texter finns tillgängliga i på http://corpus.vdu.lt webbplatsen har utformats med MULTEXT-East7-formatet som förebild. Enligt detta format har varje ordklass ett varierande antal morfologiska kategorier (från 2 till 14), vilka skrivs med förkortningar. Till exempel står Ncmpnn- N för substantiv, c för appellativt substantiv, m för maskulinum, p för plural, n för nominativ, n för ett icke-reflexivt substantiv. Ett avslutande bindestreck visar att ordet, till exempel universitetai, inte har tilldelats någon semantisk etikett8. I kapitel tre presenterar vi sökning i både MATAS- och ALKSNIS-korpusen med hjälp av ANNIS-systemet. Där används ytterligare ett format för morfologiska etiketter, utformat enligt Leipzigs glossningskonventioner (se kapitel 3 för mer information). Olika annoteringssystem förekommer inte bara inom litauisk språkteknologi. Detta problem ledde till utvecklingen av konverteringsverktyget Pepper (Zipser m.fl. 2010). Detta speglar de olika resursernas utvecklingsstadier och de annoteringsverktyg som används. Som framgår av de tidigare exemplen används fyra system för morfologiska etiketter i KLC. De olika annoteringsformaten uppstod eftersom den morfologiskt annoterade korpusen sammanställdes under lång tid. Under en period användes inga annoteringsstandarder alls; i stället användes helt enkelt de förkortningar för ordklasser och grammatiska kategorier som hade skapats av den morfologiska analysatorns utvecklare V. Zinkevičius. De är lätta för användarna att förstå. Efter en tid annoterades den morfologiskt annoterade korpusen på nytt genom internationellt samarbete med hjälp av 7 Åtkomst på internet: http://nl.ijs.si/ME/V4/msd/html/index.html. 8 Mer information om dessa etiketter finns i http://corpus.vdu.lt/lt/morph. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5 internationella standarder. Som nämnts använder den morfologiska analysatorn i semantika.lt (systemets främsta syfte var att skapa webbtjänster) taggar i MULTEXT-East-format. Taggarna är korta men svåra för människor att förstå; de lämpar sig bättre för datoranalys. MULTEXT-East-formatet används också för morfologisk annotering av den syntaktiskt annoterade korpusen ALKSNIS. Korpsökverktyget ANNIS (se avsnitt 3) gjorde det möjligt att förena de morfologiska annoteringsformaten i ALKSNIS och MATAS. Den första tanken var att använda taggar enligt Universal Dependency (UD), eftersom det är ett tämligen utbrett annoteringssystem och lättläst (på engelska). UD-taggarna är dock mycket långa, vilket visade sig vara opraktiskt vid sökningar i ANNIS: varje ords taggar tar stor plats, så när man analyserade kontexten för det sökta ordet behövde man rulla fönstrets rullist åt ena eller andra hållet. På grund av detta praktiska problem beslutade man att anpassa Leipzigs glosseringstaggar, eftersom de är lättlästa och relativt korta. Trots den variation av annoteringstaggar som beskrivs här bör det betonas att ANNIS-gränssnittet för båda korpusarna använder endast ett system (en anpassad version av Leipzigs glosseringstaggar), vilket bör vara till stor hjälp för användarna. I MATE anges inte meningsgränser; det går snabbt att göra automatiskt, men resultaten måste kontrolleras. MATAS, liksom den nedan beskrivna korpusen ALKSNIS, är tillgänglig i http://clarin-lt.lt/portalens arkiv9. Där kan man söka med ANNIS-systemet10 (se avsnitt 3 för mer information). 2. Syntaktiskt annoterad korpus ALKSNIS Den syntaktiskt annoterade korpusen för litauiska ALKSNIS färdigställdes 2016. Arbetet med den stöddes av den gemensamma infrastrukturen för språkresurser och språkteknologi, European Research Infrastructure Consortium (CLARIN ERIC) (MTI-02/2015). Korpusen är offentligt tillgänglig i http://clarin-lt.lt/portalens arkiv11. I användarhandboken12 förklaras hur man använder den. Korpusen planerades som en referenskorpus för syntaktisk analys av litauiska. Sådana korpusar kännetecknas av att de är små och har en optimal genresammansättning, och att den syntaktiska analysen, även om den utförts automatiskt, har granskats och korrigerats av lingvister. Med utgångspunkt i en referenskorpus för syntaktisk analys kan man utveckla en statistiskt baserad syntaktisk analysator (eng. statistically-based parser) och utöka den automatiska syntaktiska analysen (Bielinskienė m.fl. 2016). 9 Tillgänglig på internet: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9. 10 Tillgänglig på internet: http://158.129.51.247:8080/annis-gui-3.4.4. 11 Tillgänglig på internet: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10. 12 Tillgänglig på internet: https://youtu.be/PIEOPWurb4Y. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6 Eftersom ALKSNIS är en nyare resurs för litauiska än MATAS och är mindre väl beskriven, ägnar vi ALKSNIS större uppmärksamhet i denna artikel och diskuterar även frågor som uppkommit vid syntaktisk annotering. 2.1. Korpusets delar Korpuset ALKSNIS omfattar 30 599 ord och 2355 syntaktiskt annoterade meningar. Jämfört med korpusar för närbesläktade språkområdens språk är denna korpus ganska likartad och kan sägas vara tillräckligt stor: den lettiska korpusen13 omfattar 3800 meningar och 53 tusen ord (Predkalnina et al. 2016); den estniska korpusen 14 – 1400 meningar och 10 600 ord (Muischnek et al. 2014); den polska korpusen 15 – 8227 meningar. Den första syntaktiskt annoterade korpusen, PENN (USA), omfattar betydligt fler – cirka 3 miljoner ord16. ALKSNIS texter omfattar fyra genredelar (se fig. 2). Delarna med allmän och specialiserad periodisk press samt skönlitteratur är ungefär lika stora, medan delen med administrativa texter är minst, eftersom detta är en specifik form av litauiska: meningarna är ofta långa och innehåller många dokumenttitlar, hänvisningar till andra dokument och liknande. Annotering av sådana meningar skulle inte visa typiska syntaktiska strukturer. FIG. 2. Den syntaktiskt annoterade korpusen ALKSNIS struktur För att skapa korpusen användes hela, oförkortade texter. Meningar valdes ut från så många olika textgenrer som möjligt. Skönlitteraturdelen består av meningar hämtade ur verk av litauiska författare. De utvalda meningarna förbereddes för datoranalys: textkodningen kontrollerades och tabeller och bilder togs bort. 13 Tillgänglig på internet: http://sintakse.korpuss.lv/index.html. 14 Tillgänglig på internet: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/. 15 Tillgänglig på internet: http://zil.ipipan.waw.pl/Sk%C5%82adnica. 16 Tillgänglig på internet: https://catalog.ldc.upenn.edu/ldc99t42. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 7 2.2. Verktyg för korpusannotering och visualisering Den automatiska syntaktiska analysen bygger på den syntaktiska parser som utvecklades inom VDU KLC-projektet ”System för syntaktisk-semantisk analys av litauiska för korpus, litauiskt internet och tillämpningar inom den offentliga sektorn” och som implementerades i Haskell17. Parsern bygger på en regelbaserad metod (eng. rule-based). Verktyget läser morfologiskt annoterade filer från segmenterings- och morfologianalysmodulerna på semantika.lt och producerar meningar uppdelade i satser eller fraser, genererar syntaktiska träd, anger deras tematiska roller (eng. thematic roles) och syntaktiska funktioner (Boizou m.fl. 2014: 69). Webbtjänsterna genererar endast JSON-filer, men ett annat KLC-verktyg konverterar resultaten av den syntaktiska analysen till PML-format (Prague Markup Language). För den syntaktiskt annoterade korpusen genereras beroendeträd (eng. dependency trees). Formatet gör det möjligt att visualisera och redigera beroendeträd i PML-format med TrED-redigeraren, som utvecklats av UFAL vid Karlsuniversitetet i Prag18 (se fig. 3). Alla automatiskt annoterade meningar har granskats och korrigerats av lingvister. Den syntaktiska analysen omfattar alltså tre nivåer: automatisk segmentering av ord och meningar samt morfologisk analys, automatisk syntaktisk analys (med en regelbaserad metod) och manuell bearbetning av meningarna (se avsnitt 2.4 för mer information). 2.3. ALKSNIO:s datastruktur Efter den automatiska syntaktiska analysen återges meningarna grafiskt enligt trädprincipen (se fig. 3). Varje nod i trädet motsvarar ett ord i meningen, ett skiljetecken eller någon annan enhet i meningen (symbol, siffra osv.). Beroenderelationerna mellan orden anges med ”grenar” eller kanter. 17Den syntaktiska parsern utvecklades vid VDU:s centrum för datorlingvistik av L. Boizou och F. Zamblera. 18Tillgänglig på internet: https://ufal.mff.cuni.cz/tred/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 8 FIG. 3. Beroendeträd för en syntaktiskt annoterad mening i TrEd-redigerarens format För alla ord anges följande uppgifter i denna ordning (se fig. 3): 1) den konkreta ordform som används i meningen (t.ex. gyventojai); 2) grundformen (ordboksformen) – lemman (t.ex. gyventojas); 3) morfologiska taggar (t.ex. Ncmpnn-); 4) syntaktisk funktion (t.ex. Sub) (för förklaringar av förkortningarna, se nedan). 2.4. Analysnivåer Morfologisk analysnivå. Morfologisk annotering är det första steget i den automatiska analysen och är därför nödvändig för analys på högre nivå, syntaktisk analys eller satsanalys. Den morfologiska analysen utfördes med annoteringsverktyget semantika.lt (Dad urkevičius 2017). De morfologiska taggar som används i ALKSNYJE har utformats med MULTEXT-East-formatet som förebild (beskrivs närmare i kapitel 1). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9 Syntaktisk analysnivå. Den syntaktiska parsern bearbetar morfologiskt annoterade filer och presenterar meningar uppdelade i satser eller fraser, genererar syntaktiska träd och anger de syntaktiska funktionerna hos deras beståndsdelar. Analysen bygger på en modell för dependensgrammatik (eng. dependency grammar). Den tillämpas vanligen på typologiskt likartade språk som kännetecknas av böjda ordformer och fri ordföljd, till exempel slaviska språk (PDT19, SynTagRus20), lettiska med flera. Syntaktiska beroenden uttrycks hierarkiskt. Man börjar med huvudsatsen – trädets rot – till vilken satsens övriga delar knyts utifrån deras beroendeförhållanden (det vill säga syntaktiska relationer). Förkortningarna för de syntaktiska taggarna och informationen om syntaktiska relationer och beroenden bygger på den tjeckiska forskningsinsatsen (Hajič m.fl. 1999); de var bland de första att utveckla syntaktisk analys för tjeckiska, ett språk av syntetisk typ. För närvarande används 18 grundläggande syntaktiska taggar i ALKSNYJE (varianter oräknade): Sub – subjekt, Pred – predikat, Obj – objekt och så vidare (se tabell 1). Taggvarianter uppstår när två eller dubbla taggar kombineras till en. Exempelvis används dubbla taggar för att markera ett sammansatt predikat av nominal eller verbal typ: PredN respektive PredV. För att markera en attributiv bisats i en sammansatt mening används en dubbel tagg vid bisatsens predikat: Pred_Atr. För att visa samordning markeras _Co som en del av en dubbel tagg vid samordnade satsdelar, det vill säga varje uppräknat samordnat objekt får taggen _Co, exempelvis Obj_Co, och så vidare. I sammansatta meningar kan det dessutom förekomma tredubbla taggar, till exempel när samordnade bisatser ska markeras: Pred_Atr_Co – detta är en attributiv bisats. TABELL 1. Syntaktiska funktioner och deras taggar i korpusen Tagg Syntaktisk funktion Exempel Sub Subjekt Jis [Sub] sakė Pred Predikat (eller hjälpord) Jis ėjo [Pred]; buvo [Pred] patenkintas PredN Nominal del av predikatet Var [Pred] nöjd [PredN] PredV Predikatets verbala del Måste [Pred] svara [PredV] Obj Objekt Jag väntar på en gäst [Obj]; det måste avgöras [Obj] Atr Attribut (bestämning) Mellanstadieskola [Atr]; medlemsland [Atr] Adj Adverbial Nu [Adj] bestämmer; på Partisanergatan [Adj] 19 Prags beroendeträdsbank (Prague Dependency Treebank), se närmare https://ufal.mff.cuni.cz/pdt3.0. 20 Tillgänglig på internet: http://www.ruscorpora.ru/en/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10 Aux Hjälpfunktion (t.ex. kommatecken eller andra symboler) AuxC Subordination (bisatser) Han sa att [AuxC]... AuxK Meningsavslutande skiljetecken AuxL Hjälplexikalt element (t.ex. ett ord på ett främmande språk) Amerikanskt företag North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr] AuxP Preposition Gå över till [AuxP] nivå AuxZ Partikel Precis som [AuxZ] alltid Coord Samordning Tillverkarnas och [Coord] säljarnas _Co (t.ex. Atr_Co) Samordnade led (t.ex. satsdelar av samma slag) Tillverkarnas [Atr_Co] och [Coord] säljarnas [Atr_Co] Par Parentetiska uttryck, tilltal Sanningen att säga [Par], det verkar ExD Ellips eller andra utelämningar i satsen Kvinnan – [Pred_ExD] varelse Pred_ (t.ex. Pred_Obj) Typ av underordnad satsdel i en bisats (markeras vid predikatet) Skrev att egenskaperna bestäms av [Pred_Obj] Nivån för manuell bearbetning av meningar. Alla automatiskt syntaktiskt annoterade meningar granskades av lingvister. Annoteringen av många meningar, särskilt sammansatta meningar, behövde korrigeras och korrekta beroenderelationer anges. På vissa ställen korrigerades även morfologiska markeringar. Meningarna korrigerades separat av tre lingvister, och därefter granskade alla tre lingvisterna dessutom varje mening. Särdragen i den syntaktiska annoteringen beskrivs nedan. Särdrag i syntaktisk annotering. Vid automatisk syntaktisk analys betraktas, som nämnts, den hierarkiskt högsta satsdelen som toppen i det syntaktiska trädet (eng. root) (t.ex. ett verb, ibland en konjunktion i satsens början) eller ett annat satselement (t.ex. vid en sammansatt mening dess konjunktion eller dess sammanbindande ord). Som en gren som visar satsens interpunktion anges satsens skiljetecken: punkt, frågetecken, utropstecken, ellips, semikolon eller liknande. Nedan ger vi konkreta exempel för att illustrera särdragen i syntaktisk annotering. Ett exempel där verbet är satsens topp [Pred] visas i figur 4, medan ett exempel där konjunktionen är toppen [Coord] visas i figur 5. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11 FIG. 4. Verb som topp i beroendeträdet BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12 FIG. 5. Konjunktion i satsens början som topp i beroendeträdet Ett exempel där ett skiljetecken är toppen i en sammansatt mening visas i figur 6. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13 FIG. 6. Skiljetecken mellan satserna i en sammansatt mening som topp i beroendeträdet I prepositionskonstruktioner anses prepositionen inta en högre position och betecknas med AuxP, medan det efterföljande ordet betecknas utifrån sin funktion (t.ex. objekt): kainos už [AuxP] elektrą [Obj] (se fig. 7). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14 FIG. 7. Annotering av prepositionskonstruktioner Bisatser är beroende av predikatet i huvudsatsen, och bisatsens konjunktion är i sin tur beroende av detta predikat (kommat är beroende av konjunktionen). Det är också viktigt att ange bisatsens funktion. Den anges vid bisatsens predikat, t.ex. Pred_Obj – en objektbisats (se fig. 8). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15 FIGUR 8. Exempel på annotering av bisatsled i en underordnad sats Samordningsrelationens pil (konjunktionen eller kabeln) kan vara toppen i en samordnad konstruktion (t.ex. föreslog att sätta sig och [Coord] spela; föreslog barnen och [Coord] deras föräldrar) (se figur 9). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16 FIGUR 9. Exempel på annotering av led relaterade till samordningsrelationer Om det finns en samordning med flera led av blandad typ är konjunktionen i konstruktionen toppen, och alla övriga konjunktionslösa led utgår från den (kommatecknen med sina uppräkningsord ligger på samma beroendenivå). Övriga skiljetecken markeras som Aux (se figur 10). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17 FIGUR 10. Exempel på annotering av en samordnande konstruktion av blandad typ (bilden visar även fler fall av samordningsrelationer) Toppen i samordnade meningar är samordningskonjunktionen. Sambandsord som utgörs av adverb, pronomen eller partiklar (t.ex. adverbet därför) är beroende av predikatet i den andra satsdelen och har en adverbial funktion (Adj), medan kabeln har funktionen att samordna Coord, liksom i konjunktionslösa meningar eller meningar med upprepade konjunktioner, vilka här betraktas som partiklar (se figur 12), liksom vid samordning av satsdelar (se figur 11, 12). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18 FIGUR 11. Exempel på annotering av en samordnad mening med ett sambandsord FIGUR 12. Annotering av en samordnad konstruktion BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19 Det är svårt att annotera numeriska uttryck, till exempel klockslag och årtal. De annoteras som adverbial med attribut eller som attribut (se fig. 13 och 14). FIG. 13. Annotering av datum FIG. 14. Annotering av datum och andra numeriska uttryck (figuren visar endast ett fragment av en syntaktiskt annoterad mening) BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20 Det är inte alltid lätt att annotera sammansatta predikat. I vissa fall annoteras de i enlighet med hur de också förstås i grammatikor över det litauiska språket, det vill säga som nominala och verbala predikat (t.ex. är [Pred] enkel [PredN]; kan [Pred] vara [PredV]), medan den andra predikatdelen i vissa fall betraktas som objekt (t.ex. avser [Pred] att sammankalla [Obj]). Det var svårt att annotera konstruktioner med korrelativa konjunktioner, eftersom båda konjunktionerna hierarkiskt sett är likvärdiga. I sådana fall har man utgått från att predikatet i huvudsatsens satsled har den högre hierarkiska positionen och att bisatsens satsled är beroende av det (se fig. 15). FIG. 15. Exempel på annotering av sammansatta meningar med korrelativa konjunktioner Slutligen diskuterades statusen för vissa ordklasser. Till exempel beslutade man att betrakta upprepade konjunktioner med samordnande funktion som partiklar, eftersom deras funktion i beroendeträdets struktur liknar partiklarnas (se fig. 12). Vid manuell syntaktisk annotering hanterades många problem; här har bara några av dem nämnts. Många annoteringssvårigheter löstes genom att följa den traditionella grammatikens synsätt, och genom att komma överens om ett visst sätt att annotera. I andra fall var man tvungen att anpassa sig till särdragen hos syntaktisk annotering och konsekvent följa överenskommelsen vid annoteringen. Förhoppningen är att lösa de problem som uppstått i takt med att den automatiska syntaktiska analysen vidareutvecklas. I nästa avsnitt presenteras sökning efter data i annoterade korpusar med hjälp av systemet ANNIS. Detta är en av utmaningarna med att använda annoterade korpusar, eftersom sökningen efter data i sådana korpusar, där det finns många annoteringar och flera annoteringsnivåer, måste vara mångsidig. Därför valdes verktyget ANNIS, som utvecklats av forskare vid Humboldtuniversitetet (Tyskland). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21 3. Sökning via ANNIS-systemet Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose. ANNIS visar motsvarande konkordansrader med tillhörande information (se fig. 16). Konkordansraden kan utökas från 5 till 25 ord (även skiljetecken räknas in) både åt vänster och åt höger; det är också möjligt att exportera resultaten. I båda textkorpuserna används grammatiska etiketter som bygger på Leipziger Glossing Rules21. Några etiketter som inte förekommer i de nämnda reglerna har lagts till, till exempel betyder ~COMP komparativ. Ett tilde-tecken skrivs före sådana etiketter. Ordklasser anges enligt formatet Universal Dependency. FIG. 16. Utdrag ur sökresultaten med ANNIS-verktyget Sökning efter lemmet įsakymas i dokumentdelen MATO 21 Tillgänglig på internet: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. I andra annoterade textkorpusar används ofta etiketter från Universal Dependency (UD) (se http://universaldependencies.org/; se även fig. 18). Som nämnts i det första kapitlet är UD-etiketterna mycket långa (till exempel anges ackusativ, femininum och plural så här: case=accusative|gender=feminine|number=plural), de tar upp för mycket utrymme i ANNIS-gränssnittet och gör därför informationen svår att läsa. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22 FIG. 17. Utdrag ur sökresultaten med ANNIS-verktyget Sökning efter lemmet įsakymas i ALKSNIO-textkorpusen (för att syntaktiska relationer ska markeras med pilar måste man klicka på plustecknet bredvid deps) 3.1. Enkel sökning Sökning efter ett kännetecken kallas enkel sökning. Den annotering som visas (namn på grammatiska kategorier, använda grammatiska etiketter osv.) beror på varje korpus struktur, inte på ANNIS-verktyget. Observera att man vid formulering av en fråga måste skilja mellan versaler och gemener. 3.1.1. Sökning efter exakta ordformer (teckensträngar) Enkel sökning utförs genom att ange kategorins namn, ett likhetstecken och kategorins värde inom engelska citationstecken, t.ex.: • lemma="kalba" (en sådan fråga innebär att man söker efter lemmat kalba); • pos="ADJ" (man söker efter adjektiv); • gram=".M.SG.GEN." (man söker efter ord som har vissa grammatiska kategorier, i detta fall ord använda i maskulinum singularis genitiv). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23 När man söker efter en specifik ordform i texten måste man ange kategorinamnet tok eller helt enkelt skriva den sökta formen inom citationstecken, t.ex.: • tok="pasakė" eller "pasakė". I båda annoterade textkorpuserna kan man söka efter lemman, ordklasser, grammatiska kategorier och specifika ordformer, medan man i ALKSNYJE dessutom kan söka efter syntaktiska etiketter, t.ex.: • syfun="Atr" (sökning efter attribut). I ALKSNYJE kan man också söka efter dependensrelationer (deps), men de söks fram enligt en annan princip (se 3.2.3). 3.1.2. Sökning efter teckenmönster ANNIS gör det möjligt att söka med hjälp av reguljära uttryck (eng. regular expressions); de betecknas med specialtecken. En sökning med reguljära uttryck skrivs i princip på samma sätt som en sökfråga efter exakta ordformer, men de engelska citattecknen måste ersättas med snedstreck. 3.1.2.1. Sökning efter godtyckliga tecken Det viktigaste specialtecknet är punkten; den ersätter vilket enskilt tecken som helst (bokstav, siffra osv.), t.ex.: • lemma=/pl.t.s/ (sökning efter t.ex. platus, plotis, plitus); • /p.sak.s/ eller tok=/p.sak.s/ (sökning efter t.ex. pasakys, pasakos, pasakas, pasakęs, pasakis); • /201./ eller tok=/201./ (sökning efter t.ex. 2010, 2011, 2012...). Eftersom punkten kan ersätta vilket tecken som helst söker man efter själva punktsymbolen med kombinationen omvänt snedstreck + punkt (\.), t.ex.: • gram=/^\..\SG\.GEN\./ (sökning efter t.ex. .M.SG.GEN.,.F.SG.GEN.,...). 3.1.2.2. Sökning efter ett av flera tecken I stället för att söka efter helt ospecificerade tecken kan man i sökfrågan ange flera specifika tecken som ska sökas. De skrivs inom hakparenteser, t.ex.: • lemma=/pl[ao]t.s/ (sökningen ger t.ex. platus, plotis, men inte plitus); • /t[ei]lp./ eller tok=/t[ei]lp./ (sökningen ger t.ex. telpa, tilpo, men inte talpa); • /201[0124]/ eller tok=/201./ (sökningen ger 2010, 2011, 2012, 2014); BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24 • gram=/\.[MFN]\.SG\.GEN\./ (sökningen ger .M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN.). Observera att denna metod söker efter ett tecken ur den angivna teckenuppsättningen: /dirb[aius]/ gör det möjligt att söka efter dirba, dirbi, dirbu, dirbs, men inte dirbau eller dirbsi. 3.1.3. Upprepningsoperatorer Det går att upprepa (vanliga och special-)tecken, t.ex.: • lemma=/..važiuoti/ (sökningen ger t.ex. nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti); • /dirb[ao][mt]e/ eller tok=/dirb[ao][mt]e/ (sökningen ger dirbame, dirbate, dirbome, dirbote). På detta sätt är antalet sökta tecken fast, t.ex. två tecken i exemplen ovan (eller [ao][mt]); därför får man inga resultat med lemmat įvažiuoti för sökfrågan lemma=/..važiuoti/. Fler möjligheter erbjuds av upprepningsoperatorerna, som har följande betydelser: •? – ett visst tecken förekommer en gång eller inte alls; • + – ett visst tecken förekommer minst en gång (dvs. en, två, tre, fyra eller fler gånger); • * – ett visst tecken förekommer n gånger (dvs. det kan saknas helt eller förekomma en, två eller fler gånger) Dessa operatorer hjälper till att söka efter tecken som följer efter eller föregår dem, t.ex.: • /šild?o/ (sök efter šilo eller šildo); • /Ma+u/ (sök efter Mau, Maau, Maaau, Maaau osv.); • /oi*/ (sök efter o, oi, oii, oiii osv.). De ovan nämnda operatorerna kan kombineras med sökning efter vilket tecken som helst eller ett av flera tecken, till exempel: • lemma=/. *važiuoti/ (sök efter exempelvis važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti); • /šauk[aiu]*/ eller tok=/šauk[aiu]*/ (sök efter exempelvis šauk, šauki, šaukia, šaukiu); BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25 /šauk[aiu]+/ eller tok=/šauk[aiu]+/ (sök efter exempelvis šauki, šaukia, šaukiu, men inte šauk); gram=/.*\.F\..*/ (sök efter sekvensen.F. mellan vilka andra teckensekvenser som helst). Det bör nämnas att sådana strukturer som [aiu]* eller [aiu]+ inte påverkar ordningen på de tecken som söks. Följaktligen visas resultat som innehåller a eller i, eller u + a; eller i, eller u + a; eller i, eller u.... Således identifieras följande teckenkombinationer: aaa, i, uuuuu, uiua, uua osv. 3.1.4. Sökning efter alternativ Det vertikala strecket (|) gör det möjligt att söka efter alternativ, t.ex.: lemma="dålig" | lemma="bra"; /d(au|ū)ž.*/ eller tok=/d(au|ū)ž.*/ (sökningen omfattar t.ex. daužo, dūžta, daužymas); gram=/.*\.~(COMP|SUP)\..*/ (sökningen omfattar.~COMP. och.~SUP. mellan valfria teckensekvenser); "tik" | "tiktai" eller tok="tik" | tok="tiktai" (sökningen omfattar tik och tiktai). 3.1.5. Negativt formulerade sökfrågor Även om denna möjlighet är mer användbar när man kombinerar egenskaper i sammansatta sökningar, kan man också i enkla sökningar ange vad man inte vill söka efter, t.ex.: pos!="NOUN" (sökningen omfattar alla ord som inte är substantiv); tok!=/.*[ąaęeėįiyiouųū]/ (sökningen omfattar alla ordformer som inte slutar på en vokal). Om man inte väljer en sammansatt sökfråga (se 3.2) kan negativt formulerade enkla sökfrågor orsaka problem, särskilt om de omfattar många ord (som i det första fallet – substantiv); därför bör denna sökfråga användas försiktigt. 3.2. Sammansatt sökning En sammansatt sökning byggs upp av flera enkla sökningar. Det behövs också en tilläggsdel som beskriver relationerna mellan de enkla sökningarna (angivna efter position). Varje del med en enkel sökning sammanfogas med et-tecknet (&). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26 3.2.1. Kombinationer av egenskaper för ett ord Enligt den enkla sökningen söks samma ord, och sambandet mellan de enkla sökningarna uttrycks med kombinationsoperatorn (_=_), till exempel: • "mano" & pos="PRON" & #1 _=_ #2 (sök efter pronomenet mano, men inte presensformen i tredje person av verbet manyti). En sådan formulering av frågan innebär att den första enkla sökningen (#1, dvs. "mano" eller tok="mano") och den andra enkla sökningen (#2, dvs. pos="PRON") gäller samma ord. 3.2.2. Kombinationer av ord Om en fråga formuleras för olika ord med utgångspunkt i den enkla sökningen, byts kombinationsoperatorn ut mot en sekvensoperator (punkt), till exempel: • lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (sök efter ett ord i genitiv efter ordet pilnas). Siffran 1 efter punkten betyder att #2 följer direkt (utan något inskjutet) efter #1. Siffran 2 skulle ange att ett ord skjuts in, 3 – två ord och så vidare. I stället för.1 kan man skriva en punkt utan någon siffra (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Intervallet kan preciseras med ett kommatecken, till exempel.2,4 (med ett inskjutet mellan ett och tre ord). Om antalet inskjutna ord saknar betydelse skriver man en punkt och en asterisk (*). I en sammansatt fråga kan man använda både sekvens- och kombinationsoperatorer, till exempel: • lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (sök efter genitivformer av ord som inte är adjektiv, efter ordet pilnas). 3.2.3. Sökning efter syntaktiska beroenderelationer Det går också att söka efter beroendestrukturer genom en sammansatt sökning med operatorn för direkt styrning ->, t.ex.: • pos="NOUN" & pos="ADJ" & #1 ->deps #2 (sökning efter substantiv som styr adjektiv, t.ex. flerbostadshus); • pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (sökning efter affirmativa verb som styr objekt uttryckta i genitiv, t.ex. vänta på frågor). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27 AVSLUTANDE ANMÄRKNINGAR Textkorpusarna MATAS och ALKSNIS är viktiga resurser för det litauiska språket. De behövs för senare steg i språkets datorisering. Dessa korpusar kan ge kvantitativa data om fördelningen av ordklasser, grammatiska former och syntaktiska funktioner, de vanligaste lemman, grammatiska former osv. (några konkreta kvantitativa studier finns i följande arbeten: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS användes för att träna semantika.lt-parsern (för att bedöma annoteringskvaliteten). Framöver behöver den automatiska syntaktiska analysen vidareutvecklas. Först och främst skulle kvaliteten på den syntaktiska annoteringen kunna förbättras: de syntaktiska funktionerna kan preciseras och nya etiketter läggas till (t.ex. precisera adverbial efter deras semantik: plats, sätt, tid osv.). I början av den syntaktiska annoteringen stötte man på många oklarheter kring annoteringen, och därför bör vissa syntaktiska fall diskuteras, t.ex. annoteringen av sammansatta predikat, ellips, åtskillnaden mellan asyndetiska led och förklarande konstruktioner samt statusen för vissa ordklasser osv. En annan arbetsinriktning är att utöka själva korpusen. Korpusens genredelar bör kompletteras, t.ex. genom att inkludera fler vetenskapliga och populärvetenskapliga texter. Dessutom måste korpusen konverteras till det internationellt utbredda formatet Universal Dependency (se fig. 18; här anges inte de grammatiska etiketterna, och exemplet visar ett syntaktiskt annoterat finskt exempel). FIG. 18 Universal Dependency-formatet Ett av huvudmålen med automatisk syntaktisk analys är att skapa en statistiskt baserad syntaktisk parser (eng. statistically-based parser), grundad på ALKSNIS som referens för syntaktisk analys och avsedd att användas för att annotera stora textmängder. Om förutsättningarna finns kan den syntaktiska analysen också utvidgas i andra riktningar, t.ex. annotering av tematiska roller (eng. thematic role annotation). Detta är en viss semantisk representation som är kopplad till valens. Denna nivå är i det interna systemet för syntaktisk annotering tilldelad varje ord och är för närvarande inte offentligt synlig, eftersom den är mer experimentell, inte fullt utvecklad och inte utvärderad. Det vore också användbart att märka upp fasta uttryck (eng. multi-word BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28 uttryck, MWE22), som omfattar kollokationer och fraseologismer. Hittills har de inte märkts upp i korpusen, med undantag för morfologiska sammansättningar vars led har fogats samman till en enda enhet (t.ex. hittills, på avstånd) och som har en morfologisk och syntaktisk funktion (de märks oftast upp som adverb och adverbial). Det planeras också att markera anaforiska relationer (när ett substantiv används i en mening och i nästa mening (eller i en annan satsdel) ersätts det med ett pronomen, dvs. att markera sambanden mellan pronomenet och det substantiv som det ersätter). LITERATŪRA Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15). Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15). Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas. Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius. Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05). Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56. Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: 22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29 IOS Press, 111–118. Prieiga internete: http://ebooks.iospress.nl/publication/38013 (žiūrėta 2017 10 10). Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10). Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas. Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07). Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20). Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31). Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07). Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07). Įteikta 2017 11 06 Priimta 2017 12 20 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30 LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK Summary Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users. KEYWORDS: corpus, automatic morphological analysis, automatic syntactic analysis, treebank, language technologies. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Vytauto Didžiojo universiteto Kompiuterinės lingvistikos centras V. Putvinskio g. 23–216, 44243 Kaunas agnė[email protected] [email protected] [email protected] BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204