Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Università Vytautas Magnus CORPORA LITUANI ANNOTATI MORFOLOGICAMENTE E SINTATTICAMENTE PAROLE CHIAVE: corpus, analisi morfologica automatica, analisi sintattica automatica, tecnologie del linguaggio. INTRODUZIONE Da 25 anni, presso il Centro di Linguistica Computazionale (KLC) dell’Università Vytautas Magnus (VDU)1, vengono create e sviluppate tecnologie del linguaggio (Utka et al. 2017). Le risorse e gli strumenti per la lingua lituana realizzati dal VDU KLC costituiscono una base indispensabile per informatizzare la lingua lituana e adattarvi le nuove tecnologie. All’inizio del 2015 la Lituania è diventata membro a pieno titolo di CLARIN ERIC e, nel luglio 2015, il VDU KLC e la Facoltà di Informatica della VDU, insieme ai partner dell’Università di Vilnius e dell’Università di Tecnologia di Kaunas, hanno fondato il consorzio CLARIN-LT e avviato il progetto «Adesione della Lituania all’infrastruttura internazionale di ricerca – Infrastruttura comune per le risorse e le tecnologie linguistiche»2, entrando così a far parte del sistema europeo comune delle tecnologie del linguaggio. Lo scopo di questo articolo è presentare due risorse per la lingua lituana, corpora annotati in lituano realizzati dal VDU KLC: il corpus annotato morfologicamente MATAS e il corpus annotato sintatticamente ALKSNIS. Queste risorse sono accessibili al pubblico nel repository CLARIN-LT; è possibile effettuare ricerche tramite il sistema ANNIS3 (per ulteriori dettagli, si veda il capitolo 3). È inoltre possibile cercare nel corpus annotato automaticamente a livello morfologico sul sito http://corpus.vdu.lt4. I corpora annotati sono risorse fondamentali, che svolgono un ruolo importante nello sviluppo delle tecnologie del linguaggio. Per informatizzare una lingua e realizzare strumenti informatici destinati all’analisi automatica del linguaggio, sono indispensabili l’analisi grammaticale e i dati statistici sulla lingua. I corpora corredati di annotazioni grammaticali costituiscono quindi una sorta di materia prima per le successive analisi automatiche del linguaggio. Questi corpora vengono utilizzati per creare altre risorse e strumenti di elaborazione del linguaggio naturale in ambiti quali 1 Disponibile online: http://tekstynas.vdu.lt. 2 Disponibile online: http://clarin-lt.lt/. 3 Disponibile online: http://158.129.51.247:8080/annis-gui-3.4.4/. 4 Si tratta di un corpus annotato automaticamente a livello morfologico, composto da 208 milioni di parole. Nel seguito dell’articolo non se ne parlerà ulteriormente. L’attenzione si concentra soprattutto sul corpus MATAS, annotato morfologicamente e revisionato da un linguista, composto da 1,6 milioni di parole. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 2 sistemi di riconoscimento automatico del linguaggio, apprendimento automatico, traduzione automatizzata, estrazione di informazioni ecc. Di seguito, nell’articolo, vengono presentati separatamente i corpora menzionati e la ricerca dei dati al loro interno tramite il sistema ANNIS. I corpora e i relativi dati possono essere utilizzati da ricercatori e studenti che studiano il sistema grammaticale della lingua lituana, da docenti e insegnanti per preparare esercizi, nonché da chiunque sia interessato alle tecnologie linguistiche. CORPORA ANNOTATI DELLA LINGUA LITUANA E CARATTERISTICHE DELLA LORO COMPILAZIONE 1. Corpus annotato morfologicamente MATAS L’analisi morfologica è la prima fase dell’elaborazione del linguaggio e spesso prepara il testo per le successive analisi sintattiche o semantiche; è quindi molto importante che gli annotatori morfologici funzionino con la massima precisione possibile, poiché gli errori commessi a livello morfologico ostacolano l’analisi automatica del linguaggio agli altri livelli. Il primo annotatore morfologico della lingua lituana è stato creato circa 25 anni fa. Il suo autore è Vytautas Zinkevičius (per maggiori dettagli, cfr. Zinkevičius 2000). Attualmente sono disponibili pubblicamente per la lingua lituana due annotatori morfologici: il programma di V. Zinkevičius già menzionato, comunemente chiamato Lemuokliu5 (dal termine lema, forma citazionale), e l’annotatore disponibile sul portale Sistema informativo per l’analisi sintattica e semantica della lingua lituana (di seguito semantika.lt)6. In questo articolo, il corpus MATAS presentato è stato annotato utilizzando Lemuoklį, mentre il corpus annotato sintatticamente è stato preparato utilizzando l’annotatore morfologico di semantika.lt. Sebbene Lemuoklis funzioni abbastanza bene, questo programma non può essere aggiornato perché è a codice chiuso. L’annotatore di Semantika.lt è stato creato sulla piattaforma Hunspell come programma open source; viene aggiornato e ampliato con nuove parole (attualmente comprende 171.000 lemmi) e le sue regole vengono curate (per maggiori dettagli, cfr. Dadurkevičius 2017). Uno studio condotto nel 2017 per valutare la qualità dei due annotatori ha stabilito che quello di semantika.lt funziona con maggiore precisione (Kapočiūtė-Dzikienė et al. 2017). Il corpus MATAS qui presentato è stato preparato nel periodo 2002–2014. Come base è stato utilizzato un corpus di 1 milione di parole, compilato nel 2006, che è stato ampliato con nuovi testi e riorganizzato. In primo luogo, i testi di MATAS sono stati annotati automaticamente a livello morfologico; in seguito, sono stati rivisti e corretti da un linguista. 5 Accesso online: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; questo programma non solo annota morfologicamente il testo, ma può anche sintetizzare, cioè generare le forme necessarie; è inoltre adattato all’analisi dei testi antichi. 6 Accesso online: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti tekstynai | 3 MATAS è composto da 1,6 milioni di testi tratti da documenti, opere letterarie e testi scientifici. Come nel Corpus of Contemporary Lithuanian, la quota maggiore (36%) è costituita da testi giornalistici (cfr. figura 1). FIG. 1. Struttura del corpus morfologicamente annotato MATAS (in percentuale) MATAS è disponibile in diversi formati: nel cosiddetto formato KLC, che utilizza abbreviazioni delle parti del discorso e delle categorie grammaticali piuttosto insolite (anche il corpus disponibile nell’archivio del portale http://clarin-lt.lt/ è annotato in questo formato), ad esempio: <word="Tarp" lemma="tarp" type="prln"> <space> <word="tankiai" lemma="tankiai" type="prvks teig nelygin.l"> <space> <word="suaugusių" lemma="suaugti(-ga,-go)" type="dly teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K"> <space> <word="medžių" lemma="medis" type="dktv vyr.gim dgsk K"> <space> <word="kur ne kur" lemma="kur ne kur" type="prvks teig nelygin.l"> <space> <word="vis" lemma="vis" type="prvks teig nelygin.l"> <space> <word="pasimatydavo" lemma="pasimatyti(-to,-tė)" type="vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm"> <space> <word="dangaus" lemma="dangus" type="dktv vyr.gim vnsk K"> <space> <word="lopinėlis" lemma="lopinėlis" type="dktv vyr.gim vnsk V"> <sep="."> <p> MATAS è inoltre annotato nel formato internazionale TEI P5. In questo formato, le parti del discorso e le categorie grammaticali sono abbreviate con una lettera o una cifra, ad esempio vatstdv3 indica rispettivamente: BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4 verbo, forma coniugata, forma affermativa, riflessivo, modo indicativo, passato frequentativo, singolare, terza persona. Di seguito è riportato lo stesso estratto di testo nel formato TEI P5: <w lemma="tarp" ana="#r">Tarp</w> <pc> </pc> <w lemma="tankiai" ana="#ptn">tankiai</w> <pc> </pc> <w lemma="suaugti(-ga,-go)" ana="#vdtnvknvdk">suaugusių</w> <pc> </pc> <w lemma="medis" ana="#dbvdk">medžių</w> <pc> </pc> <w lemma="kur ne kur" ana="#ptn">kur ne kur</w> <pc> </pc> <w lemma="vis" ana="#ptn">vis</w> <pc> </pc> <w lemma="pasimatyti(-to,-tė)" ana="#vatstdv3">pasimatydavo</w> <pc> </pc> <w lemma="dangus" ana="#dbvvk">dangaus</w> <pc> </pc> <w lemma="lopinėlis" ana="#dbvvv">lopinėlis</w> <pc>.</pc> Un altro formato in cui i testi morfologicamente annotati sono disponibili sul sito http://corpus.vdu.lt è stato sviluppato sulla base del modello del formato MULTEXT-East7. Secondo questo formato, ogni parte del discorso presenta un numero diverso di categorie morfologiche (da 2 a 14), indicate con abbreviazioni; per esempio, l’etichetta Ncmpnn- N indica un sostantivo, c un sostantivo comune, m il genere maschile, p il plurale, n il nominativo, n un sostantivo non riflessivo; il trattino finale indica che alla parola, per esempio universitetai, non è assegnata alcuna etichetta semantica8. Nel terzo capitolo presenteremo la ricerca nei corpus MATAS e ALKSNIS tramite il sistema ANNIS. Questo sistema utilizza un altro formato di etichette morfologiche, basato sulle etichette di glossa di Lipsia (per maggiori dettagli, cfr. capitolo 3). Sistemi di annotazione diversi sono caratteristici non soltanto delle tecnologie per la lingua lituana. Questo problema ha portato alla creazione dello strumento di conversione Pepper (Zipser et al. 2010). Ciò riflette le diverse fasi di sviluppo delle risorse e gli strumenti di annotazione utilizzati. Come si evince dagli esempi presentati sopra, nel KLC si utilizzano quattro sistemi di etichette morfologiche. La presenza di diversi formati di annotazione è dovuta al fatto che il corpus morfologicamente annotato è stato preparato nel corso di un lungo periodo. Inizialmente non si applicava alcuno standard di annotazione: si utilizzavano semplicemente le abbreviazioni delle parti del discorso e delle categorie grammaticali create dallo sviluppatore dell’analizzatore morfologico, V. Zinkevičius. Sono facilmente comprensibili dagli utenti. In seguito, grazie alla collaborazione internazionale, il corpus morfologicamente annotato è stato riannotato utilizzando 7 Disponibile online: http://nl.ijs.si/ME/V4/msd/html/index.html. 8 Per ulteriori informazioni su queste etichette, cfr. http://corpus.vdu.lt/lt/morph. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5 agli standard internazionali. Come menzionato, l’analizzatore morfologico di semantika.lt (l’obiettivo principale di questo sistema era creare servizi online) utilizza etichette nel formato MULTEXT-East. Le etichette sono brevi, ma difficili da comprendere per le persone; sono più adatte all’analisi automatica. Anche il corpus morfologicamente e sintatticamente annotato ALKSNIS utilizza il formato MULTEXT-East. Lo strumento di ricerca nei corpora ANNIS (cfr. sezione 3) ha consentito di integrare i formati di annotazione morfologica di ALKSNIS e MATAS. In un primo momento si è pensato di utilizzare le etichette Universal Dependency (UD), perché si tratta di un sistema di annotazione abbastanza diffuso e facilmente leggibile (in inglese). Tuttavia, le etichette UD sono molto lunghe e ciò si è rivelato scomodo per le ricerche in ANNIS: le etichette di ciascuna parola occupano molto spazio, per cui, quando si analizzava il contesto della parola cercata, era necessario scorrere la finestra in una direzione o nell’altra. Per questo problema pratico si è deciso di adattare le etichette di glossa di Lipsia, poiché sono facilmente leggibili e abbastanza brevi. Nonostante la varietà di etichette di annotazione qui descritta, va sottolineato che nell’interfaccia ANNIS di entrambi i corpora viene utilizzato un unico sistema (quello adattato delle glosse di Lipsia), il che dovrebbe rappresentare una notevole facilitazione per gli utenti. Va ricordato che MATE non indica i confini delle frasi; è possibile individuarli rapidamente in modo automatico, ma occorre verificare i risultati ottenuti. MATAS, come il corpus ALKSNIS descritto di seguito, è disponibile http://clarin-lt.lt/ nel repository del portale9. È possibile effettuare ricerche al suo interno utilizzando il sistema ANNIS10 (per maggiori dettagli, cfr. sezione 3). 2. Corpus sintatticamente annotato ALKSNIS Il corpus sintatticamente annotato della lingua lituana ALKSNIS è stato realizzato nel 2016. La sua preparazione è stata sostenuta dal Common Language Resources and Technology Infrastructure European Research Infrastructure Consortium (CLARIN ERIC) (MTI-02/2015). Il corpus è disponibile al pubblico http://clarin-lt.lt/ nel repository del portale11. La guida per l’utente12 spiega come utilizzarlo. Il corpus è stato concepito come riferimento per l’analisi sintattica del lituano. I corpora di questo tipo sono caratterizzati da dimensioni contenute e da una composizione ottimale per generi; inoltre, l’analisi sintattica, benché eseguita automaticamente, è stata rivista e corretta da linguisti. Sulla base di un riferimento per l’analisi sintattica è possibile sviluppare un analizzatore sintattico statistico (in inglese statistically-based parser) ed estendere l’analisi sintattica automatica (Bielinskienė et al. 2016). 9 Accesso online: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9. 10 Accesso online: http://158.129.51.247:8080/annis-gui-3.4.4. 11 Accesso online: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10. 12 Accesso online: https://youtu.be/PIEOPWurb4Y. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6 Poiché ALKSNIS è una risorsa più recente per la lingua lituana rispetto a MATAS e meno descritta, in questo articolo dedicheremo maggiore attenzione ad ALKSNIS e affronteremo anche le questioni emerse durante l’annotazione sintattica. 2.1. Parti del corpus Il corpus ALKSNIS comprende 30 599 parole e 2355 frasi annotate sintatticamente. Rispetto ai corpora delle lingue dei paesi vicini, questo corpus è piuttosto simile e, si può affermare, di dimensioni adeguate: il corpus della lingua lettone13 comprende 3800 frasi e 53 mila parole (Predkalnina et al. 2016); quello della lingua estone 14 comprende 1400 frasi e 10 600 parole (Muischnek et al. 2014); quello della lingua polacca 15 comprende 8227 frasi. Il primo corpus annotato sintatticamente, PENN (USA), è molto più ampio: comprende circa 3 milioni di parole16. I testi di ALKSNIS comprendono quattro sezioni di genere (cfr. fig. 2). Le sezioni della stampa periodica generale e specializzata e della letteratura narrativa sono di dimensioni pressoché uguali, mentre quella dei testi amministrativi è la più piccola, poiché si tratta di un tipo specifico di lingua lituana: le frasi sono spesso lunghe e contengono numerosi titoli di documenti, rimandi ad altri documenti e così via. L’annotazione di frasi di questo tipo non rivelerebbe una struttura sintattica tipica. FIG. 2. Struttura del corpus annotato sintatticamente ALKSNIS Per la compilazione del corpus sono stati utilizzati testi integrali, non abbreviati. Le frasi sono state selezionate da generi testuali il più possibile vari. La sezione di letteratura narrativa comprende frasi tratte da opere di autori lituani. Le frasi selezionate sono state preparate per l’analisi informatica: è stata verificata la codifica del testo e sono state eliminate tabelle e immagini. 13 Disponibile online: http://sintakse.korpuss.lv/index.html. 14 Disponibile online: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/. 15 Disponibile online: http://zil.ipipan.waw.pl/Sk%C5%82adnica. 16 Disponibile online: https://catalog.ldc.upenn.edu/ldc99t42. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 7 2.2. Strumenti di annotazione e visualizzazione del corpus L’analisi sintattica automatica si basa sul parser sintattico sviluppato nell’ambito del progetto VDU KLC «Sistema di analisi sintattico-semantica della lingua lituana per corpora, Internet in lingua lituana e applicazioni del settore pubblico», realizzato in Haskell17. Il parser si basa su un metodo fondato su regole (in inglese rule-based). Questo strumento legge i file annotati morfologicamente dei moduli di segmentazione e analisi morfologica di semantika.lt e produce come risultato frasi suddivise in proposizioni o sintagmi, genera alberi sintattici e indica i loro ruoli tematici (in inglese thematic roles) e le funzioni sintattiche (Boizou et al. 2014: 69). I servizi online generano soltanto file JSON, ma un altro strumento KLC converte i risultati dell’analisi sintattica nel formato PML (Prague Markup Language). Per il corpus annotato sintatticamente vengono generati alberi delle dipendenze (in inglese dependency trees). Questo formato consente di visualizzare e modificare alberi delle dipendenze in formato PML utilizzando l’editor TrED, sviluppato da UFAL dell’Università Carolina di Praga18 (cfr. Fig. 3). Tutte le frasi annotate automaticamente sono state controllate e corrette da linguisti. Pertanto, l’analisi sintattica comprende tre livelli: la segmentazione automatica di parole e frasi e l’analisi morfologica, l’analisi sintattica automatica (con un metodo basato su regole) e la revisione manuale delle frasi (per maggiori dettagli, cfr. 2.4). 2.3. Struttura dei dati di ALKSNIS Dopo l’analisi sintattica automatica, le frasi sono rappresentate graficamente secondo una struttura ad albero (cfr. Fig. 3). Ogni nodo dell’albero corrisponde a una parola della frase, a un segno di punteggiatura o a un’altra unità della frase (simbolo, cifra, ecc.). Le relazioni di dipendenza tra le parole sono indicate da «rami» o archi. 17 Il parser sintattico è stato sviluppato presso il Centro di linguistica computazionale dell’Università VDU da L. Boizou e F. Zamblera. 18 Disponibile online: https://ufal.mff.cuni.cz/tred/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 8 FIG. 3. Albero delle dipendenze di una frase annotata sintatticamente nel formato dell’editor TrEd Per ogni parola sono indicati, nel seguente ordine (cfr. Fig. 3): 1) la forma concreta della parola usata nella frase (ad es., gyventojai); 2) la forma lemma (forma di dizionario) – il lemma (ad es., gyventojas); 3) le annotazioni morfologiche (ad es., Ncmpnn-); 4) la funzione sintattica (ad es., Sub) (per le spiegazioni delle abbreviazioni, cfr. oltre). 2.4. Livelli di analisi Livello di analisi morfologica. L’annotazione morfologica è la prima fase dell’analisi automatica ed è quindi indispensabile per l’analisi sintattica o della frase di livello superiore. L’analisi morfologica è stata effettuata utilizzando l’annotatore semantika.lt (Dad urkevičius 2017). Le etichette morfologiche utilizzate in ALKSNIS sono state elaborate sulla base del formato MULTEXT-East (descritto più dettagliatamente nel capitolo 1). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9 Livello di analisi sintattica. L’analizzatore sintattico elabora file annotati morfologicamente e restituisce frasi suddivise in proposizioni o sintagmi, genera alberi sintattici e indica le funzioni sintattiche dei loro elementi. L’analisi si basa sul modello della grammatica delle dipendenze (ingl. dependency grammar). Viene generalmente applicato a lingue tipologicamente simili, caratterizzate dalla flessione delle forme delle parole e da un ordine libero delle parole, per esempio le lingue slave (PDT19, SynTagRus20), il lettone ecc. Le dipendenze sintattiche sono espresse secondo una gerarchia. Si parte dalla proposizione principale della frase, la radice dell’albero, alla quale si collegano gli altri elementi della frase in base alla loro dipendenza (cioè ai rapporti sintattici). Le abbreviazioni delle etichette sintattiche e le informazioni sui rapporti e sulle dipendenze sintattiche si basano sul lavoro svolto dai cechi (Hajič et al. 1999); furono tra i primi a sviluppare l’analisi sintattica per il ceco, una lingua di tipo sintetico. Attualmente in ALKSNIS si utilizzano 18 etichette sintattiche principali (senza contare le loro varianti): Sub – soggetto, Pred – predicato, Obj – oggetto ecc. (cfr. Tabella 1). Le varianti delle etichette si formano quando si combinano etichette doppie o composte; per esempio, per indicare un predicato composto di tipo nominale o verbale si utilizzano rispettivamente le etichette doppie PredN e PredV; per contrassegnare una proposizione subordinata attributiva di una frase complessa, accanto al predicato della subordinata si appone l’etichetta doppia Pred_Atr; per indicare il rapporto di coordinazione, come parte dell’etichetta doppia, accanto agli elementi coordinati della frase si appone _Co, cioè accanto a ciascuno dei complementi coordinati elencati si scrive Obj_Co, e così via. Inoltre, nelle frasi complesse possono comparire anche etichette triple, per esempio quando è necessario contrassegnare subordinate coordinate: Pred_Atr_Co – indica una proposizione subordinata attributiva. TABELLA 1. Funzioni sintattiche e relative etichette nel corpus Etichetta Funzione sintattica Esempio Sub Soggetto Jis [Sub] sakė Pred Predicato (o parola ausiliare) Lui camminava [Pred]; era [Pred] soddisfatto PredN Parte nominale del predicato Era [Pred] soddisfatto [PredN] PredV Parte verbale del predicato Deve [Pred] rispondere [PredV] Obj Oggetto Aspetto un ospite [Obj]; bisogna decidere [Obj] Atr Attributo (modificatore) Scuola secondaria [Atr]; paese membro [Atr] Adj Circostanze Deciderà adesso [Adj]; in via Partizanų [Adj] 19 Banca degli alberi delle dipendenze di Praga (Prague Dependency Treebank), per ulteriori informazioni si veda https://ufal.mff.cuni.cz/pdt3.0. 20 Disponibile online: http://www.ruscorpora.ru/en/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10 Aux Funzione ausiliaria (ad es., virgole o altri simboli) AuxC Subordinazione (frasi subordinate) Disse che [AuxC]... AuxK Segno di punteggiatura di fine frase AuxL Unità lessicale ausiliaria (ad es., una parola in lingua straniera) Società statunitense North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr] AuxP Preposizione Passerà al livello [AuxP] AuxZ Particella Come sempre Coord Coordinazione Di produttori e [Coord] venditori _Co (ad es., Atr_Co) Componenti congiunti (ad es., membri omogenei della frase) Di produttori [Atr_Co] e [Coord] venditori [Atr_Co] Par Incisi, vocativi A dire il vero [Par], sembra ExD Ellissi o altre omissioni nella frase La donna è una creatura [Pred_ExD] Pred_ (ad es., Pred_Obj) Tipo di proposizione subordinata di una frase subordinata (indicato accanto al predicato) Scriveva che le proprietà sono determinate da [Pred_Obj] Livello di revisione manuale delle frasi. Tutte le frasi annotate sintatticamente in modo automatico sono state verificate da linguisti. È stato necessario correggere l’annotazione di molte frasi, soprattutto di quelle complesse, e indicare le dipendenze corrette. In alcuni casi sono state corrette anche le etichette morfologiche. Le frasi sono state corrette separatamente da tre linguisti e, in seguito, ciascuna frase è stata ulteriormente verificata da tutti e tre. Le peculiarità dell’annotazione sintattica sono descritte di seguito. Caratteristiche dell’annotazione sintattica. Nell’eseguire l’analisi sintattica automatica, come detto, si considera come radice dell’albero sintattico (ingl. root) il costituente gerarchicamente più alto della frase (ad es., un verbo, talvolta la congiunzione all’inizio della frase) o un altro elemento della frase (ad es., in una frase complessa, la sua congiunzione o parola connettiva); come ramo che indica la punteggiatura della frase si considera invece il segno di punteggiatura: punto, punto interrogativo, punto esclamativo, puntini di sospensione, punto e virgola o altro. Di seguito presenteremo alcuni esempi concreti per illustrare le caratteristiche dell’annotazione sintattica. L’esempio in cui la radice della frase è un verbo [Pred] è mostrato nella figura 4, mentre quello in cui è una congiunzione [Coord] è mostrato nella figura 5. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11 FIG. 4. Radice dell’albero delle dipendenze: verbo BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12 FIG. 5. Radice dell’albero delle dipendenze: congiunzione all’inizio della frase Un esempio in cui la radice di una frase complessa è un segno di punteggiatura è presentato nella figura 6. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13 FIG. 6. Radice dell’albero delle dipendenze: segno di punteggiatura tra le proposizioni di una frase complessa Si considera che nelle costruzioni preposizionali la preposizione occupi una posizione più alta e sia contrassegnata da AuxP, mentre la parola che la segue è contrassegnata in base alla funzione svolta (ad es., oggetto): kainos už [AuxP] elektrą [Obj] (si veda la fig. 7). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14 FIG. 7. Annotazione delle costruzioni preposizionali Le proposizioni subordinate dipendono dal predicato della proposizione principale, e da quest’ultimo dipende la congiunzione della subordinata (la virgola dipende dalla congiunzione). È importante indicare anche la funzione della proposizione subordinata. Tale funzione è indicata accanto al predicato della subordinata, ad es., Pred_Obj – subordinata completiva (oggettiva) (si veda la fig. 8). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15 FIG. 8. Esempio di annotazione delle proposizioni subordinate di una frase complessa La freccia della relazione coordinativa (congiunzione o cavo) può costituire il vertice della costruzione coordinativa (ad es., proposto di sedersi e [Coord] giocare; proposto ai bambini e [Coord] ai loro genitori) (cfr. fig. 9). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16 FIG. 9. Esempio di annotazione delle proposizioni associate alle relazioni coordinative In presenza di una coordinazione mista con più proposizioni, la congiunzione presente nella costruzione è il vertice, da cui dipendono tutte le altre proposizioni asindetiche (le virgole con le parole che introducono enumerazioni si trovano allo stesso livello di dipendenza). Gli altri segni di punteggiatura sono etichettati Aux (cfr. fig. 10). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17 FIG. 10. Esempio di annotazione di una costruzione coordinativa mista (la figura mostra anche altri casi di relazioni coordinative) Il vertice delle frasi coordinate è la congiunzione coordinativa. Le parole connettive costituite da avverbi, pronomi o particelle (ad es., l’avverbio perciò) dipendono dal predicato della seconda proposizione e svolgono la funzione di complemento circostanziale (Adj), mentre la funzione di coordinazione Coord è svolta dal cavo, come nelle frasi asindetiche o nelle frasi con congiunzioni ripetute, qui considerate particelle (cfr. fig. 12), così come nel caso del coordinamento delle proposizioni (cfr. figg. 11 e 12). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18 FIG. 11. Esempio di annotazione di una frase coordinata con parola connettiva FIG. 12. Annotazione di una costruzione coordinativa BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19 È complesso annotare le espressioni numeriche, per esempio le ore e gli anni. Sono annotate come circostanziali con modificatori oppure come modificatori (cfr. figg. 13, 14). FIG. 13. Annotazione della data FIG. 14. Annotazione di date e altre espressioni numeriche (la figura mostra soltanto un frammento della frase annotata sintatticamente) BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20 Non è sempre facile annotare i predicati composti. In alcuni casi vengono annotati come sono interpretati anche nelle grammatiche della lingua lituana, cioè come predicati di tipo nominale e verbale (per esempio, è [Pred] semplice [PredN]; può [Pred] essere [PredV]), mentre in alcuni casi il secondo componente del predicato è considerato un oggetto (per esempio, intendo [Pred] convocare [Obj]). È stato difficile annotare le costruzioni con congiunzioni correlative, poiché entrambe le congiunzioni hanno lo stesso status gerarchico. In questi casi si è ritenuto che la posizione gerarchica più alta spettasse al predicato della proposizione principale, da cui dipende la proposizione subordinata (cfr. fig. 15). FIG. 15. Esempio di annotazione di frasi complesse con congiunzioni correlative Infine, si è discusso dello status di alcune parti del discorso. Per esempio, si è deciso di considerare particelle le congiunzioni coordinanti ripetute, poiché la loro funzione nella struttura dell’albero delle dipendenze è simile a quella delle particelle (cfr. fig. 12). Nell’annotazione sintattica manuale è stato necessario affrontare numerosi problemi; qui ne sono stati menzionati soltanto alcuni. Molte difficoltà di annotazione sono state risolte attenendosi all’approccio della grammatica tradizionale e concordando semplicemente una determinata modalità di annotazione. In altri casi è stato necessario adattarsi alle peculiarità dell’annotazione sintattica e attenersi coerentemente alle convenzioni concordate. Ci si propone di affrontare i problemi emersi proseguendo lo sviluppo dell’analisi sintattica automatica. La sezione successiva presenta la ricerca dei dati nei corpora annotati tramite il sistema ANNIS. Si tratta di una delle sfide legate all’uso dei corpora annotati, poiché la ricerca dei dati in corpora di questo tipo, che contengono numerose etichette e persino diversi livelli di annotazione, deve essere articolata. Per questo motivo è stato scelto ANNIS, uno strumento sviluppato da ricercatori dell’Università Humboldt (Germania). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21 3. Ricerca tramite il sistema ANNIS Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose. ANNIS presenta le righe di concordanza corrispondenti con le informazioni correlate (vedi fig. 16). La riga di concordanza può essere estesa da 5 a 25 parole (sono conteggiati anche i segni di punteggiatura), sia a sinistra sia a destra; è inoltre possibile esportare i risultati. In entrambi i corpora si utilizzano annotazioni grammaticali basate sulle annotazioni di glossa di Lipsia21. Sono state aggiunte alcune annotazioni assenti da quelle menzionate, ad esempio ~COMP indica il grado comparativo. Davanti a tali annotazioni viene posto il segno di tilde. Le parti del discorso sono indicate secondo il formato Universal Dependency. FIG. 16. Estratto dei risultati della ricerca tramite lo strumento ANNIS Ricerca della lemma įsakymas nella sezione dei documenti di MATO 21 Accesso online: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. Negli altri corpora annotati si utilizzano spesso le annotazioni di Universal Dependency (UD) (vedi http://universaldependencies.org/; vedi anche fig. 18). Come scritto nel primo capitolo, le annotazioni UD sono molto lunghe (ad esempio: il caso accusativo, il genere femminile e il numero plurale sono indicati così: case=accusative|gender=feminine|number=plural), occupano troppo spazio nell'interfaccia ANNIS e di conseguenza rendono scomoda la lettura delle informazioni. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22 FIG. 17. Estratto dei risultati della ricerca tramite lo strumento ANNIS Ricerca della lemma įsakymas nel corpus ALKSNIO (per contrassegnare con frecce le relazioni sintattiche, bisogna fare clic sul segno più accanto a deps) 3.1. Ricerca semplice La ricerca di una singola caratteristica è detta semplice. L’annotazione fornita (nomi delle categorie grammaticali, marcatori grammaticali utilizzati, ecc.) dipende dalla struttura di ciascun corpus, non dallo strumento ANNIS. Si noti che, nella formulazione della query, occorre distinguere tra lettere maiuscole e minuscole. 3.1.1. Ricerca di forme esatte delle parole (stringhe di caratteri) La ricerca semplice si esegue specificando il nome della categoria, il segno di uguaglianza e il valore della categoria racchiuso tra virgolette inglesi, ad es.: • lemma="kalba" (questa query significa che si cerca il lemma kalba); • pos="ADJ" (si cercano gli aggettivi); • gram=".M.SG.GEN." (si cercano parole usate con determinate categorie grammaticali, in questo caso al genitivo singolare maschile). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23 Per cercare una forma specifica di una parola nel testo, occorre indicare il nome della categoria tok oppure inserire semplicemente tra virgolette la forma cercata, ad es.: • tok="pasakė" oppure "pasakė". In entrambi i corpora annotati è possibile cercare lemmi, parti del discorso, categorie grammaticali e forme specifiche di parole; in ALKSNYJE è inoltre possibile cercare annotazioni sintattiche, ad es.: • syfun="Atr" (ricerca degli attributi). In ALKSNYJE è inoltre possibile cercare relazioni di dipendenza (deps), ma la ricerca avviene secondo un principio diverso (vedi 3.2.3). 3.1.2. Ricerca di sequenze di simboli ANNIS consente di effettuare ricerche utilizzando espressioni regolari (in inglese regular expressions); queste sono indicate con simboli speciali. La ricerca con espressioni regolari si scrive sostanzialmente come una query per la ricerca di forme esatte delle parole, ma occorre sostituire le virgolette inglesi con barre oblique. 3.1.2.1. Ricerca di qualsiasi simbolo Il simbolo speciale più importante è il punto: sostituisce qualsiasi singolo simbolo (lettera, cifra ecc.), ad es.: • lemma=/pl.t.s/ (si cercano, ad es., platus, plotis, plitus); • /p.sak.s/ oppure tok=/p.sak.s/ (si cercano, ad es., pasakys, pasakos, pasakas, pasakęs, pasakis); • /201./ oppure tok=/201./ (si cercano, ad es., 2010, 2011, 2012...). Poiché il punto può sostituire qualsiasi carattere, per cercare il simbolo del punto stesso occorre utilizzare la combinazione barra rovesciata + punto (\.), ad es.: • gram=/^\..\SG\.GEN\./ (si cercano, ad es., .M.SG.GEN.,.F.SG.GEN.,...). 3.1.2.2. Ricerca di uno tra più caratteri Invece di cercare caratteri completamente indeterminati, nella query di ricerca è possibile specificare alcuni caratteri da cercare. Si scrivono tra parentesi quadre, ad es.: • lemma=/pl[ao]t.s/ (si cercano, ad es., platus, plotis, ma non plitus); • /t[ei]lp./ oppure tok=/t[ei]lp./ (si cercano, ad es., telpa, tilpo, ma non talpa); • /201[0124]/ oppure tok=/201./ (si cercano 2010, 2011, 2012, 2014); BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24 • gram=/\.[MFN]\.SG\.GEN\./ (si cercano .M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN.). Si noti che con questo metodo si cerca un solo carattere tra quelli indicati: /dirb[aius]/ consente di cercare dirba, dirbi, dirbu, dirbs, ma non dirbau né dirbsi. 3.1.3. Operatori di ripetizione È possibile ripetere caratteri (normali e speciali), ad es.: • lemma=/..važiuoti/ (si cercano, ad es., nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti); • /dirb[ao][mt]e/ oppure tok=/dirb[ao][mt]e/ (si cercano dirbame, dirbate, dirbome, dirbote). In questo modo il numero di caratteri cercati è fisso, ad es. due caratteri negli esempi riportati (oppure [ao][mt]); pertanto, con la query lemma=/..važiuoti/ non si otterranno risultati con il lemma įvažiuoti. Gli operatori di ripetizione offrono ulteriori possibilità e hanno i seguenti significati: •? – un determinato carattere è usato una volta oppure mai; • + – un determinato carattere è usato almeno una volta (cioè una, due, tre, quattro o più volte); • * – un determinato carattere è usato n volte (cioè può non essere usato affatto, oppure essere usato una, due o più volte) Questi operatori aiutano a cercare caratteri che li seguono o li precedono, ad es.: • /šild?o/ (si cerca šilo oppure šildo); • /Ma+u/ (si cerca Mau, Maau, Maaau, Maaau e così via); • /oi*/ (si cerca o, oi, oii, oiii e così via). Gli operatori menzionati in precedenza sono compatibili con la ricerca di qualsiasi carattere o di uno tra più caratteri, ad es.: • lemma=/. *važiuoti/ (si cercano, ad es., važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti); • /šauk[aiu]*/ oppure tok=/šauk[aiu]*/ (si cercano, ad es., šauk, šauki, šaukia, šaukiu); BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25 /šauk[aiu]+/ oppure tok=/šauk[aiu]+/ (si cercano, ad es., šauki, šaukia, šaukiu, ma non šauk); gram=/.*\.F\..*/ (si cerca la sequenza.F. tra qualsiasi altra sequenza di caratteri). Va sottolineato che strutture come [aiu]* o [aiu]+ non influiscono sull’ordine dei caratteri cercati. Pertanto, vengono restituiti risultati contenenti a oppure i, oppure u + a; oppure i, oppure u + a; oppure i, oppure u.... Si riconoscono quindi combinazioni di caratteri come aaa, i, uuuuu, uiua, uua e così via. 3.1.4. Ricerca di alternative La barra verticale (|) consente di cercare alternative, ad es.: lemma="cattivo" | lemma="buono"; /d(au|ū)ž.*/ oppure tok=/d(au|ū)ž.*/ (si cercano, ad es., daužo, dūžta, daužymas); gram=/.*\.~(COMP|SUP)\..*/ (si cercano.~COMP. e.~SUP. tra sequenze arbitrarie di simboli); "tik" | "tiktai" oppure tok="tik" | tok="tiktai" (si cercano tik e tiktai). 3.1.5. Query formulate in modo negativo Sebbene questa possibilità sia più utile quando si combinano caratteristiche nelle ricerche composte, anche nelle ricerche semplici è possibile specificare che cosa non si deve cercare, ad es.: pos!="NOUN" (si cercano tutte le parole che non sono sostantivi); tok!=/.*[ąaęeėįiyiouųū]/ (si cercano tutte le forme di parola che non terminano con una vocale). Se non si seleziona una query di ricerca composta (cfr. 3.2), le query semplici formulate in negativo possono causare problemi, soprattutto se comprendono molte parole (come nel primo caso, i sostantivi); pertanto, questa query va utilizzata con cautela. 3.2. Ricerca composta La ricerca composta è costituita da più ricerche semplici. È inoltre necessaria una parte aggiuntiva che descriva le relazioni tra le ricerche semplici (indicate in base alla posizione). Ogni parte della ricerca semplice viene collegata con il simbolo della e commerciale (&). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26 3.2.1. Combinazioni di attributi per una singola parola La ricerca semplice cerca la stessa parola, mentre il collegamento tra le ricerche semplici è espresso mediante l’operatore di combinazione (_=_), ad esempio: • "mano" & pos="PRON" & #1 _=_ #2 (cercare il pronome mano, ma non la terza persona singolare del presente del verbo manyti ‘pensare’). Questa formulazione della query significa che la prima ricerca semplice (#1, cioè "mano" oppure tok="mano") e la seconda ricerca semplice (#2, cioè pos="PRON") si riferiscono alla stessa parola. 3.2.2. Combinazioni di parole Se, sulla base della ricerca semplice, si formula una query per parole diverse, l’operatore di combinazione viene sostituito dall’operatore di sequenza (il punto), ad esempio: • lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (si cerca una parola al genitivo dopo la parola pilnas). Il numero 1 dopo il punto significa che #2 segue direttamente #1 (senza elementi interposti). Il numero 2 indicherebbe che si interpone una parola, 3 che se ne interpongono due, e così via. Al posto di.1 si può scrivere il punto senza alcun numero (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). È possibile specificare l’intervallo con una virgola, ad esempio.2,4 (con un’interposizione da una a tre parole). Se la dimensione dell’interposizione non è rilevante, occorre scrivere un punto e un asterisco (*). In una query composta si possono usare sia l’operatore di sequenza sia quello di combinazione, ad esempio: • lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (si cercano forme al genitivo che non sono aggettivi, dopo la parola pilnas). 3.2.3. Ricerca delle dipendenze sintattiche È possibile cercare anche le strutture di dipendenza tramite una ricerca combinata con l’operatore di reggenza diretta ->, ad es.: • pos="NOUN" & pos="ADJ" & #1 ->deps #2 (si cercano i sostantivi che reggono aggettivi, ad es. daugiabutis namas); • pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (si cercano i verbi affermativi che reggono complementi espressi al genitivo, ad es. laukti klausimų). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27 OSSERVAZIONI CONCLUSIVE I corpora MATAS e ALKSNIS sono risorse importanti per la lingua lituana. Sono necessari per le successive fasi di informatizzazione della lingua. Da questi corpora si possono ricavare dati quantitativi sulla distribuzione delle parti del discorso, delle forme grammaticali e delle funzioni sintattiche, nonché sulle lemmi più frequenti, sulle forme grammaticali e così via (alcuni studi quantitativi specifici sono disponibili nei seguenti lavori: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS è stato utilizzato per addestrare l’analizzatore semantika.lt (per valutarne la qualità di annotazione). In futuro sarà necessario continuare a sviluppare l’analisi sintattica automatica. Anzitutto, si potrebbe migliorare la qualità dell’annotazione sintattica: precisare le funzioni sintattiche e aggiungere nuove etichette (ad es. precisare i circostanziali in base alla loro semantica: di luogo, modo, tempo ecc.). All’inizio dell’annotazione sintattica ci si è trovati di fronte a numerose incertezze, perciò sarebbe opportuno discutere alcuni casi sintattici, ad es. l’annotazione dei predicati composti, l’ellissi, la distinzione tra proposizioni asindetiche e costruzioni esplicative, lo status di alcune parti del discorso e così via. Un’altra direzione di lavoro consiste nell’ampliare il corpus stesso. Sarebbe opportuno arricchirne le sezioni per genere, ad es. includendo più testi scientifici e di divulgazione scientifica. Inoltre, il corpus deve essere convertito nel formato internazionale Universal Dependency, ampiamente utilizzato (cfr. fig. 18; qui non sono indicate le etichette grammaticali; l’esempio è un esempio in finlandese annotato sintatticamente). FIG. 18. Formato Universal Dependency Uno degli obiettivi principali dell’analisi sintattica automatica è creare un analizzatore sintattico basato su metodi statistici (in inglese statistically-based parser), fondato su ALKSNIS come riferimento per l’analisi sintattica e utilizzabile per annotare grandi quantità di testi. Se le risorse lo consentono, l’analisi sintattica può essere estesa anche in altre direzioni, ad es. all’annotazione dei ruoli tematici (in inglese thematic role annotation). Si tratta di una certa rappresentazione semantica legata alla valenza. Questo livello è assegnato a ogni parola nel sistema interno di annotazione sintattica e attualmente non è visibile pubblicamente, poiché è ancora in fase sperimentale, non completamente sviluppato né verificato. Sarebbe inoltre utile annotare le espressioni polirematiche (in inglese multi-word BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28 espressioni, MWE22), che comprendono collocazioni e fraseologismi. Finora nel corpus non erano contrassegnati, fatta eccezione per le unità morfologiche complesse, i cui componenti sono uniti in un’unica unità (ad es., per ora, da lontano) e svolgono un’unica funzione morfologica e sintattica (di solito sono contrassegnate come avverbi e circostanziali). Si prevede inoltre di contrassegnare le relazioni anaforiche (quando in una frase viene usato un sostantivo e in un’altra frase (o in un’altra parte della stessa frase) esso viene sostituito da un pronome, ossia di contrassegnare i collegamenti tra il pronome e il sostantivo che sostituisce). LITERATŪRA Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15). Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15). Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas. Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius. Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05). Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56. Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: 22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29 IOS Press, 111–118. Prieiga internete: http://ebooks.iospress.nl/publication/38013 (žiūrėta 2017 10 10). Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10). Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas. Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07). Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20). Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31). Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07). Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07). Įteikta 2017 11 06 Priimta 2017 12 20 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30 LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK Summary Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users. KEYWORDS: corpus, automatic morphological analysis, automatic syntactic analysis, treebank, language technologies. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Vytauto Didžiojo universiteto Kompiuterinės lingvistikos centras V. Putvinskio g. 23–216, 44243 Kaunas agnė[email protected] [email protected] [email protected] BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204