Há 25 anos, o Centro de Linguística Computacional (KLC) da Universidade Vytautas Magnus (VDU)1 desenvolve e aprimora tecnologias da linguagem (Utka et al. 2017). Os recursos e ferramentas para a língua lituana desenvolvidos pelo KLC da VDU são a base indispensável para a informatização da língua lituana e para a adaptação de novas tecnologias a ela. No início de 2015, a Lituânia tornou-se membro pleno do CLARIN ERIC e, em julho de 2015, o KLC da VDU e a Faculdade de Informática da VDU, juntamente com parceiros da Universidade de Vilnius e da Universidade de Tecnologia de Kaunas, fundaram o consórcio CLARIN-LT e iniciaram o projeto “A participação da Lituânia na infraestrutura internacional de pesquisa — Infraestrutura Comum de Recursos e Tecnologias da Linguagem”2, integrando-se, assim, ao sistema europeu comum de tecnologias da linguagem.
O objetivo deste artigo é apresentar dois recursos da língua lituana, corpora anotados em lituano, desenvolvidos pelo KLC da VDU: o corpus anotado morfologicamente MATAS e o corpus anotado sintaticamente ALKSNIS. Esses recursos estão disponíveis publicamente no repositório CLARIN-LT; é possível realizar buscas por meio do sistema ANNIS3 (ver mais na seção 3), e também é possível pesquisar no corpus anotado morfologicamente de forma automática no site http://corpus.vdu.lt4.
Os corpora anotados são recursos fundamentais que desempenham um papel importante no desenvolvimento de tecnologias da linguagem. A análise gramatical e os dados estatísticos sobre a língua são indispensáveis para informatizá-la e desenvolver ferramentas computacionais para a análise automática da linguagem. Assim, corpora enriquecidos com anotações gramaticais são uma espécie de matéria-prima para análises automáticas posteriores da linguagem. Esses corpora são utilizados para criar outros recursos e ferramentas de processamento de linguagem natural em áreas como
4 Trata-se de um corpus anotado morfologicamente de forma automática, composto por 208 milhões de palavras. O artigo não o aborda adiante. O foco principal é o corpus de 1,6 milhão de palavras anotado morfologicamente e revisado por um linguista, MATAS.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
sistemas de reconhecimento automático da língua, aprendizagem automática, tradução automatizada, extração de informação, etc.
A seguir, o artigo apresenta separadamente os corpora mencionados e a pesquisa de dados neles através do sistema ANNIS. Os corpora e os seus dados podem ser utilizados por investigadores e estudantes que estudam a gramática da língua lituana, por docentes e professores na preparação de exercícios, e por todos os interessados em tecnologias da linguagem.
CORPORA ANOTADOS DA LÍNGUA LITUANA E PARTICULARIDADES DA SUA CONSTITUIÇÃO
1. Corpus morfologicamente anotado MATAS
A análise morfológica é a primeira etapa do processamento da língua e, muitas vezes, prepara o texto para uma análise sintática ou semântica subsequente. Por isso, é muito importante que os anotadores morfológicos funcionem com a maior precisão possível, pois os erros cometidos ao nível da morfologia dificultam a análise automática da língua noutros níveis.
O primeiro anotador morfológico da língua lituana foi criado há cerca de 25 anos. O seu autor é Vytautas Zinkevičius (para mais informações, ver Zinkevičius 2000). Atualmente, estão publicamente disponíveis para a língua lituana dois anotadores morfológicos: o programa de V. Zinkevičius mencionado acima, geralmente chamado Lemuoklis5 (do termo lema — forma de entrada), e o anotador disponível no portal Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema (doravante semantika.lt). Neste artigo, o corpus MATAS é apresentado como tendo sido anotado com Lemuoklis, enquanto o corpus sintaticamente anotado foi preparado com o anotador morfológico de semantika.lt.6
Embora Lemuoklis funcione bastante bem, este programa não pode ser atualizado, pois é de código fechado. O anotador Semantika.lt foi criado na plataforma Hunspell como um programa de código aberto; este anotador é atualizado e ampliado com novas palavras (abrange atualmente 171 000 lemas), e as suas regras são revistas (para mais informações, ver Dadurkevičius 2017). Um estudo realizado em 2017 para avaliar a qualidade de ambos os anotadores concluiu que o anotador de semantika.lt funciona com maior precisão (Kapočiūtė-Dzikienė et al. 2017).
O corpus MATAS, apresentado a seguir, foi elaborado entre 2002 e 2014. Tomou-se como base um corpus de 1 milhão de palavras, compilado em 2006; este foi ampliado com novos textos e reorganizado. Primeiro, os textos do MATAS foram anotados morfologicamente de forma automática; posteriormente, foram revistos e corrigidos por um linguista.
5 Acesso online: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; este programa não só anota morfologicamente o texto, como também pode sintetizá-lo, isto é, gerar as formas necessárias; está igualmente adaptado à análise de textos antigos.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
O MATAS contém 1,6 milhões de textos, provenientes de documentos, obras literárias e textos científicos. Tal como no Corpus da língua lituana contemporânea, a maior parte (36%) é constituída por textos jornalísticos (ver a Figura 1).
FIG. 1. Estrutura do corpus morfologicamente anotado MATAS (em percentagem)
O MATAS está disponível em vários formatos: no chamado formato KLC, que utiliza abreviaturas pouco usuais para as classes de palavras e as categorias gramaticais (este formato também é usado para anotar o corpus disponível no repositório do portal http://clarin-lt.lt/), por exemplo:
O MATAS também está anotado no formato internacional TEI P5. Neste, as classes de palavras e as categorias gramaticais são abreviadas por uma letra ou um algarismo, por exemplo, vatstdv3 significa, respetivamente:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
verbo, forma finita, forma afirmativa, reflexivo, modo indicativo, pretérito frequentativo, singular, terceira pessoa. Segue-se o mesmo excerto de texto no formato TEI P5:
Outro formato em que os textos morfologicamente anotados estão disponíveis no sítio Web http://corpus.vdu.lt foi elaborado com base no exemplo do formato MULTEXT-East7. Neste formato, cada classe de palavras tem um número diferente de categorias morfológicas (de 2 a 14), assinaladas por abreviaturas; por exemplo, a etiqueta Ncmpnn- N significa um substantivo, c — um substantivo comum, m — género masculino, p — plural, n — nominativo, n — substantivo não reflexivo; o hífen no final indica que nenhuma etiqueta semântica é atribuída a essa palavra, por exemplo, universitetai8.
No terceiro capítulo, apresentaremos a pesquisa tanto nos corpora MATAS como ALKSNIS, utilizando o sistema ANNIS. Este utiliza outro formato de etiquetas morfológicas, elaborado com base nas etiquetas de glosa de Leipzig (para mais informações, ver o capítulo 3).
Os diferentes sistemas de anotação não são uma característica exclusiva das tecnologias da língua lituana. Este problema levou à criação da ferramenta de conversão Pepper (Zipser et al. 2010). Isto reflete as etapas de desenvolvimento dos vários recursos e as ferramentas de anotação utilizadas.
Como se pode ver nos exemplos apresentados anteriormente, são utilizados quatro sistemas de etiquetas morfológicas no KLC. A existência de vários formatos de anotação deve-se ao facto de o corpus morfologicamente anotado ter sido elaborado durante um longo período. Houve uma época em que não se aplicava qualquer norma de anotação: simplesmente se utilizavam as abreviaturas das classes de palavras e das categorias gramaticais criadas por V. Zinkevičius, o autor do analisador morfológico. Estas são facilmente compreendidas pelos utilizadores. Mais tarde, graças à colaboração internacional, o corpus morfologicamente anotado foi reanotado utilizando
8 Para mais informações sobre estas etiquetas, ver http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
padrões internacionais. Como mencionado, o analisador morfológico de semantika.lt (o principal objetivo deste sistema era criar serviços online) utiliza etiquetas no formato MULTEXT-East. As etiquetas são curtas, mas difíceis de compreender para as pessoas; são mais adequadas à análise computacional.
O corpus morfológica e sintaticamente anotado ALKSNIS também utiliza o formato MULTEXT-East. A ferramenta de pesquisa de corpora ANNIS (ver secção 3) permitiu combinar os formatos de anotação morfológica de ALKSNIS e MATAS. A primeira ideia foi utilizar as etiquetas Universal Dependency (UD), por se tratar de um sistema de anotação bastante difundido e fácil de ler (em inglês). Contudo, as etiquetas UD são muito longas, o que se revelou inconveniente nas pesquisas através do ANNIS: as etiquetas de cada palavra ocupam muito espaço, pelo que, ao analisar o contexto da palavra pesquisada, era necessário deslocar a barra de rolagem da janela para um lado ou para o outro. Devido a este problema prático, decidiu-se adaptar as etiquetas de glosa de Leipzig, por serem fáceis de ler e relativamente curtas. Apesar da diversidade de etiquetas de anotação aqui descrita, importa salientar que a interface ANNIS de ambos os corpora utiliza apenas um sistema (o sistema adaptado de glosa de Leipzig), o que deverá facilitar bastante a vida dos utilizadores.
Note-se que o MATE não indica os limites das frases; é possível identificá-los rapidamente de forma automática, mas os resultados obtidos têm de ser verificados. MATAS, tal como o corpus ALKSNIS, abordado a seguir, está disponível no http://clarin-lt.lt/repositório do portal9. Nele, é possível efetuar pesquisas utilizando o sistema ANNIS10 (ver mais detalhes na secção 3).
2. Corpus sintaticamente anotado ALKSNIS
O corpus sintaticamente anotado de língua lituana ALKSNIS foi preparado em 2016. A sua preparação foi apoiada pelo Consórcio da Infraestrutura de Investigação Europeia para Recursos e Tecnologias da Língua Comum (CLARIN ERIC) (MTI-02/2015). O corpus está disponível publicamente no http://clarin-lt.lt/repositório do portal11. O guia do utilizador12 explica como utilizá-lo.
O corpus foi concebido como referência para a análise sintática do lituano. Os corpora deste tipo são geralmente pequenos e têm uma composição de géneros ideal; além disso, embora a análise sintática seja realizada automaticamente, é revista e corrigida por linguistas. Com base numa referência de análise sintática, é possível criar um analisador sintático baseado em métodos estatísticos (em inglês, statistically-based parser) e expandir a análise sintática automática (Bielinskienė et al. 2016).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Como ALKSNIS é um recurso mais recente da língua lituana do que MATAS e está menos descrito, neste artigo daremos mais atenção ao ALKSNIS e também discutiremos as questões que surgiram durante a anotação sintática.
2.1. Partes do corpus
O corpus ALKSNIS contém 30 599 palavras e 2355 frases anotadas sintaticamente. Em comparação com os corpora das línguas de países vizinhos, este corpus é bastante semelhante e pode ser considerado de dimensão suficiente: o corpus da língua letã13 contém 3800 frases e 53 mil palavras (Predkalnina et al. 2016); o da língua estónia 14 contém 1400 frases e 10 600 palavras (Muischnek et al. 2014); o da língua polaca 15 contém 8227 frases. O primeiro corpus anotado sintaticamente, o PENN (EUA), contém muito mais — cerca de 3 milhões de palavras16.
Os textos do ALKSNIS abrangem quatro géneros (ver Fig. 2). As secções de periódicos gerais e especializados e de literatura ficcional têm dimensões semelhantes, enquanto a secção de textos administrativos é a menor, pois corresponde a uma variedade específica do lituano: as frases são frequentemente longas e contêm muitos títulos de documentos, referências a outros documentos, etc. A anotação dessas frases não revelaria uma estrutura sintática típica.
FIG. 2. Composição do corpus ALKSNIS anotado sintaticamente
Para a compilação do corpus, foram utilizados textos integrais, sem abreviações. As frases foram selecionadas de textos dos géneros mais variados possível. A secção de literatura ficcional é composta por frases retiradas de obras de autores lituanos. As frases selecionadas foram preparadas para análise computacional: verificou-se a codificação do texto e eliminaram-se tabelas e figuras.
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Ferramentas de anotação e visualização de corpus
A análise sintática automática baseia-se no analisador sintático desenvolvido no âmbito do projeto do VDU KLC «Sistema de análise sintático-semântica da língua lituana para corpus, a Internet lituana e aplicações do setor público», criado em Haskell17. O analisador utiliza um método baseado em regras (em inglês, rule-based). Esta ferramenta lê os ficheiros morfologicamente anotados pelos módulos de segmentação e análise morfológica de semantika.lt e apresenta como resultado frases divididas em orações ou sintagmas, gera árvores sintáticas, indica os respetivos papéis temáticos (em inglês, thematic roles) e funções sintáticas (Boizou et al. 2014: 69).
Os serviços em linha geram apenas ficheiros JSON, mas outra ferramenta do KLC converte os resultados da análise sintática para o formato PML (Prague Markup Language). Para o corpus anotado sintaticamente, são geradas árvores de dependência (em inglês, dependency trees). Este formato permite visualizar e editar árvores de dependência no formato PML com o editor TrED, desenvolvido pela UFAL da Universidade Carolina de Praga18 (ver fig. 3). Todas as frases anotadas automaticamente foram verificadas e corrigidas por linguistas. Assim, a análise sintática abrange três níveis: segmentação automática de palavras e frases e análise morfológica, análise sintática automática (por um método baseado em regras) e revisão manual das frases (ver mais pormenores na secção 2.4).
2.3. Estrutura dos dados do ALKSNIS
Após a análise sintática automática, as frases são apresentadas graficamente sob a forma de árvores (ver fig. 3). Cada nó da árvore corresponde a uma palavra da frase, a um sinal de pontuação ou a outra unidade da frase (símbolo, algarismo, etc.). As relações de dependência entre palavras são indicadas por «ramos» ou arestas.
17 O analisador sintático foi desenvolvido no Centro de Linguística Computacional da VDU por L. Boizou e F. Zamblera.
18 Disponível em linha: https://ufal.mff.cuni.cz/tred/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 8
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 8
FIG. 3. Árvore de dependências de uma frase anotada sintaticamente no formato do editor TrEd
Para todas as palavras, são indicados os seguintes elementos, por esta ordem (ver fig. 3):
1) a forma concreta da palavra usada na frase (por exemplo, gyventojai);
2) a forma de citação (forma de dicionário) — lema (por exemplo, gyventojas);
3) as etiquetas morfológicas (por exemplo, Ncmpnn-);
4) a função sintática (por exemplo, Sub) (ver abaixo as explicações das abreviaturas).
2.4. Níveis de análise
Nível de análise morfológica. A anotação morfológica é a primeira etapa da análise automática e, por isso, é indispensável para a análise sintática ou frásica de nível superior. A análise morfológica foi realizada com o anotador semantika.lt (Dad urkevičius 2017). As etiquetas morfológicas usadas no ALKSNYJE foram elaboradas com base no exemplo do formato MULTEXT-East (descrito com mais pormenor no capítulo 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Nível de análise sintática. O analisador sintático processa ficheiros anotados morfologicamente e apresenta frases divididas em orações ou sintagmas, gera árvores sintáticas e indica as funções sintáticas dos seus elementos. A análise baseia-se no modelo de gramática de dependências (em inglês, dependency grammar). Este é geralmente aplicado a línguas tipologicamente semelhantes, caracterizadas pela flexão das formas das palavras e por uma ordem livre das palavras, por exemplo, às línguas eslavas (PDT19, SynTagRus20), ao letão, etc. As dependências sintáticas são expressas hierarquicamente. Começa-se pela oração principal — o vértice da árvore — ao qual se ligam as outras orações da frase de acordo com as suas relações de dependência (isto é, relações sintáticas).
As abreviaturas das etiquetas sintáticas e as informações sobre relações e dependências sintáticas baseiam-se no trabalho desenvolvido pelos checos (Hajič et al. 1999); foram dos primeiros a desenvolver a análise sintática para a língua checa, de tipo sintético. Atualmente, o ALKSNYJE utiliza 18 etiquetas sintáticas principais (sem contar as suas variantes): Sub – sujeito, Pred – predicado, Obj – objeto, etc. (ver Tabela 1). As variantes das etiquetas surgem quando se combinam etiquetas duplas ou de dois tipos, por exemplo, para assinalar um predicado composto de tipo nominal ou verbal usam-se, respetivamente, as etiquetas duplas PredN e PredV; para assinalar uma oração subordinada atributiva (adjetiva) numa frase complexa, junto ao predicado da oração subordinada coloca-se a etiqueta dupla Pred_Atr; para indicar uma relação de coordenação, a parte de uma etiqueta dupla assinalada junto a elementos coordenados da frase é _Co, isto é, junto a cada um dos complementos coordenados enumerados escreve-se Obj_Co, e assim por diante. Além disso, em frases complexas também podem surgir etiquetas triplas, por exemplo, quando é necessário assinalar orações subordinadas coordenadas: Pred_Atr_Co – trata-se de uma oração subordinada atributiva (adjetiva).
TABELA 1. Funções sintáticas e respetivas etiquetas no corpus
Etiqueta
Função sintática
Exemplo
Sub
Sujeito
Jis [Sub] sakė
Pred
Predicado (ou palavra auxiliar)
Jis ėjo [Pred]; buvo [Pred] patenkintas
PredN
Parte nominal do predicado
Estava [Pred] satisfeito [PredN]
PredV
Parte verbal do predicado
Tem de responder [PredV]
Obj
Objeto
Espero pelo convidado [Obj]; é preciso resolver [Obj]
Atr
Atributo (modificador)
Escola secundária [Atr]; país-membro [Atr]
Adj
Adjuntos adverbiais
Decidirá agora [Adj]; na Rua Partizanų [Adj]
19 Banco de árvores de dependências de Praga (Prague Dependency Treebank), para mais detalhes, ver https://ufal.mff.cuni.cz/pdt3.0.
20 Disponível em linha: http://www.ruscorpora.ru/en/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Função auxiliar (por exemplo, vírgulas ou outros símbolos)
AuxC
Subordinação (orações subordinadas)
Sakė, kad [AuxC]...
AuxK
Sinal de pontuação de fim de frase
AuxL
Unidade lexical auxiliar (por exemplo, palavra de língua estrangeira)
JAV kompanija North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Preposição
Pereis į [AuxP] lygį
AuxZ
Partícula
Kaip ir [AuxZ] visada
Coord
Coordenação
Fabricantes e [Coord] vendedores
_Co (pvz., Atr_Co)
Constituintes coordenados (por exemplo, termos coordenados da oração)
Fabricantes [Atr_Co] e [Coord] vendedores [Atr_Co]
Par
Incisos e vocativos
Na verdade [Par], parece
ExD
Elipse ou outras omissões na oração
A mulher é uma criatura [Pred_ExD]
Pred_ (pvz., Pred_Obj)
Tipo de oração subordinada completiva (marcado junto ao predicado)
Escreveu que as características são determinadas por [Pred_Obj]
Nível de revisão manual das orações. Todas as orações anotadas sintaticamente de forma automática foram verificadas por linguistas. A anotação de muitas orações, sobretudo das complexas, teve de ser corrigida e as dependências corretas tiveram de ser indicadas. Em alguns casos, também foram corrigidas as etiquetas morfológicas. As orações foram corrigidas separadamente por três linguistas e, posteriormente, cada oração foi também verificada por todos os três linguistas. As particularidades da anotação sintática são descritas a seguir.
Características da anotação sintática. Ao realizar a análise sintática automática, como mencionado, considera-se como raiz da árvore sintática (ingl. root) o constituinte hierarquicamente mais alto da frase (por exemplo, um verbo, por vezes uma conjunção no início da frase) ou outro elemento da frase (por exemplo, quando se trata de uma frase complexa, a sua conjunção ou palavra de ligação) e, como ramo que indica a pontuação da frase, o sinal de pontuação: ponto final, ponto de interrogação, ponto de exclamação, reticências, ponto e vírgula, etc. A seguir, apresentaremos exemplos concretos para ilustrar as características da anotação sintática.
O exemplo em que o vértice da frase é um verbo [Pred] é apresentado na figura 4; o exemplo em que é uma conjunção [Coord], na figura 5.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
FIG. 4 Vértice da árvore de dependências – verbo
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
FIG. 5 Vértice da árvore de dependências – conjunção no início da frase
O exemplo em que o vértice de uma frase complexa é um sinal de pontuação é apresentado na figura 6.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
FIG. 6 Vértice da árvore de dependências – sinal de pontuação entre as orações de uma frase complexa
Considera-se que, nas construções preposicionais, a preposição ocupa uma posição superior e é marcada como AuxP, enquanto a palavra que a segue é marcada de acordo com a função que desempenha (por exemplo, objeto): preços de [AuxP] eletricidade [Obj] (ver fig. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
FIG. 7 Anotação de construções preposicionais
As orações subordinadas de uma frase complexa dependem do predicado da oração principal, e a conjunção da oração subordinada depende deste (a vírgula depende da conjunção). Também é importante indicar a função da oração subordinada. Esta é indicada junto ao predicado da oração subordinada, por exemplo, Pred_Obj – oração subordinada completiva (objetiva) (ver fig. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
FIG. 8. Exemplo de anotação de orações subordinadas em uma construção de coordenação
O marcador da relação de coordenação (conjunção ou cabo) pode ser o núcleo da construção coordenada (por exemplo, foi sugerido sentar-se e [Coord] brincar; foi sugerido às crianças e [Coord] a seus pais) (ver Fig. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
FIG. 9. Exemplo de anotação de orações relacionadas por relações de coordenação
Se houver uma coordenação mista com vários membros, a conjunção presente na construção será o núcleo, e todos os demais membros sem conjunção dependerão dela (as vírgulas, com as palavras que enumeram, ficam no mesmo nível de dependência). Os demais sinais de pontuação são marcados como Aux (ver Fig. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
FIG. 10. Exemplo de anotação de uma construção mista de coordenação (a figura também mostra outros casos de relações de coordenação)
O núcleo das orações coordenadas é a conjunção coordenativa. As palavras conectivas constituídas por advérbios, pronomes ou partículas (por exemplo, o advérbio portanto) dependem do predicado da segunda oração e desempenham a função de adjunto adverbial (Adj), enquanto a função de coordenação Coord é desempenhada pelo cabo, como nas orações sem conjunção ou nas orações com conjunções repetidas, que aqui são consideradas partículas (ver Fig. 12), assim como no caso da coordenação de membros de uma oração (ver Figs. 11 e 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
FIG. 11. Exemplo de anotação de uma oração coordenada com palavra conectiva
FIG. 12. Anotação de uma construção coordenada
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
É difícil anotar expressões numéricas, como horas e anos. Elas são anotadas como circunstâncias com modificadores ou como modificadores (ver Fig. 13 e 14).
FIG. 13. Anotação de datas
FIG. 14. Anotação de datas e de outras expressões numéricas (a figura apresenta apenas um fragmento de uma frase anotada sintaticamente)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Nem sempre é fácil anotar predicados compostos. Em alguns casos, são anotados tal como são entendidos nas gramáticas da língua lituana, isto é, como predicados nominais e verbais (por exemplo, é [Pred] simples [PredN]; pode [Pred] ser [PredV]), enquanto, noutros casos, o segundo componente do predicado é considerado objeto (por exemplo, pretendo [Pred] convocar [Obj]).
Foi difícil anotar construções com conjunções correlativas, pois ambas as conjunções têm o mesmo estatuto hierárquico. Nesse caso, considerou-se que o predicado da oração principal ocupa a posição hierárquica superior e que a oração subordinada depende dele (ver Fig. 15).
FIG. 15. Exemplo de anotação de frases complexas com conjunções correlativas
Por fim, discutiu-se o estatuto de algumas classes de palavras. Por exemplo, decidiu-se considerar como partículas as conjunções coordenativas repetidas, pois a sua função na estrutura da árvore de dependências é semelhante à das partículas (ver Fig. 12).
Ao fazer a anotação sintática manual, foi necessário resolver muitos problemas; aqui foram mencionados apenas alguns. Muitas dificuldades de anotação foram resolvidas seguindo a abordagem da gramática tradicional e acordando simplesmente um determinado método de anotação. Noutros casos, foi necessário adaptar-se às particularidades da anotação sintática e seguir consistentemente o acordo estabelecido. Espera-se resolver os problemas surgidos à medida que a análise sintática automática for sendo desenvolvida.
A secção seguinte apresenta a pesquisa de dados em corpora anotados com o sistema ANNIS. Este é um dos desafios da utilização de corpora anotados, pois a pesquisa de dados em corpora que contêm numerosas etiquetas e vários níveis de anotação tem de ser multifacetada. Por esse motivo, foi escolhida a ferramenta ANNIS, desenvolvida por investigadores da Universidade Humboldt (Alemanha).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Pesquisa através do sistema ANNIS
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
O ANNIS apresenta as linhas de concordância correspondentes com informações relacionadas (ver Fig. 16). A linha de concordância pode ser expandida de 5 para 25 palavras (incluindo sinais de pontuação), tanto à esquerda quanto à direita; também é possível exportar os resultados.
Ambos os corpora usam etiquetas gramaticais elaboradas com base nas etiquetas de glosa de Leipzig21. Foram acrescentadas algumas etiquetas que não constam das etiquetas mencionadas, por exemplo, ~COMP significa grau comparativo. Essas etiquetas são precedidas por um til. As classes gramaticais são indicadas de acordo com o formato Universal Dependency.
FIG. 16. Fragmento dos resultados da pesquisa com a ferramenta ANNIS
Pesquisa do lema įsakymas na parte dos documentos de MATO
21 Acesso online: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. Em outros corpora anotados, são frequentemente usadas etiquetas Universal Dependency (UD) (ver http://universaldependencies.org/; ver também a Fig. 18). Como referido no primeiro capítulo, as etiquetas UD são muito longas (por exemplo: o caso acusativo, o género feminino e o número plural são indicados assim: case=accusative|gender=feminine|number=plural), ocupam demasiado espaço na interface do ANNIS e, por isso, é difícil ler as informações.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
FIG. 17. Fragmento dos resultados da pesquisa com a ferramenta ANNIS
Pesquisa do lema įsakymas no corpus ALKSNIO
(para que as relações sintáticas sejam assinaladas com setas, é necessário clicar no sinal de mais junto de deps)
3.1. Pesquisa simples
A pesquisa de uma única característica é chamada simples. A anotação apresentada (nomes das categorias gramaticais, marcas gramaticais utilizadas etc.) depende da estrutura de cada corpus, e não da ferramenta ANNIS.
Chamamos a atenção para o facto de que, ao formular uma consulta, é necessário distinguir entre letras maiúsculas e minúsculas.
3.1.1. Pesquisa de formas exatas de palavras (cadeias de caracteres)
A pesquisa simples é realizada indicando o nome da categoria, o sinal de igualdade e o valor da categoria entre aspas inglesas, por exemplo:
• lemma="kalba" (esta consulta significa que se procura o lema kalba);
• pos="ADJ" (procura-se adjetivos);
• gram=".M.SG.GEN." (procuram-se palavras usadas em determinadas categorias gramaticais, neste caso, no genitivo do singular masculino).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Para buscar uma forma específica de palavra no texto, é preciso indicar o nome da categoria tok ou simplesmente inserir entre aspas a forma que se procura, por exemplo:
• tok="disse" ou "disse".
Nos dois corpora anotados, é possível buscar lemas, classes gramaticais, categorias gramaticais e formas específicas de palavras; no ALKSNYJE, também é possível buscar etiquetas sintáticas, por exemplo:
• syfun="Atr" (busca por atributos).
No ALKSNYJE também é possível buscar relações de dependência (deps), mas a busca é feita segundo outro princípio (ver 3.2.3).
3.1.2. Busca de estruturas de caracteres
O ANNIS permite fazer buscas usando expressões regulares (em inglês, regular expressions); elas são indicadas por símbolos especiais. A busca por expressões regulares é, em essência, formulada da mesma maneira que uma consulta de busca por formas exatas de palavras; basta substituir as aspas inglesas por barras.
3.1.2.1. Busca por quaisquer caracteres
O símbolo especial mais importante é o ponto; ele substitui qualquer caractere individual (letra, algarismo etc.), por exemplo:
• lemma=/pl.t.s/ (busca, por exemplo, platus, plotis, plitus);
• /p.sak.s/ ou tok=/p.sak.s/ (busca, por exemplo, pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ ou tok=/201./ (busca, por exemplo, 2010, 2011, 2012...).
Como o ponto pode substituir qualquer sinal, para buscar o próprio símbolo de ponto é preciso usar a combinação barra invertida + ponto (\.), por exemplo:
• gram=/^\..\SG\.GEN\./ (busca, por exemplo, .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Busca de um entre vários caracteres
Em vez de buscar caracteres totalmente indefinidos, é possível especificar na consulta de busca vários caracteres concretos. Eles são escritos entre colchetes, por exemplo:
• lemma=/pl[ao]t.s/ (busca-se, por exemplo, platus, plotis, mas não plitus);
• /t[ei]lp./ ou tok=/t[ei]lp./ (busca-se, por exemplo, telpa, tilpo, mas não talpa);
• /201[0124]/ ou tok=/201./ (busca-se 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
Observe que, por esse método, a busca considera um único caractere do conjunto de caracteres especificado: /dirb[aius]/ permite buscar dirba, dirbi, dirbu, dirbs, mas não dirbau nem dirbsi.
3.1.3. Operadores de repetição
É possível repetir caracteres (comuns e especiais), por exemplo:
• lemma=/..važiuoti/ (busca-se, por exemplo, nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);
• /dirb[ao][mt]e/ ou tok=/dirb[ao][mt]e/ (buscar dirbame, dirbate, dirbome, dirbote).
Assim, o número de caracteres buscados é fixo; por exemplo, nos exemplos apresentados, são dois caracteres (ou [ao][mt]). Portanto, a consulta lemma=/..važiuoti/ não retornará resultados com o lema įvažiuoti. Há mais possibilidades com os operadores de repetição, cujos significados são os seguintes:
•? – determinado caractere ocorre uma vez ou nenhuma vez;
• + – determinado caractere ocorre pelo menos uma vez (isto é, uma, duas, três, quatro ou mais vezes);
• * – determinado caractere ocorre n vezes (isto é, pode não ocorrer, ou ocorrer uma, duas ou mais vezes)
Esses operadores ajudam a buscar caracteres que vêm depois ou antes deles, por exemplo:
Os operadores mencionados anteriormente podem ser combinados com a pesquisa de qualquer símbolo ou de um entre vários símbolos, por exemplo:
• lemma=/. *važiuoti/ (procura-se, por exemplo, važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);
• /šauk[aiu]*/ ou tok=/šauk[aiu]*/ (procura-se, por exemplo, šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ ou tok=/šauk[aiu]+/ (procura-se, por exemplo, šauki, šaukia, šaukiu, mas não šauk);
gram=/.*\.F\..*/ (procura-se a sequência.F. entre quaisquer outras sequências de símbolos).
Vale mencionar que estruturas como [aiu]* ou [aiu]+ não afetam a ordem dos símbolos pesquisados. Assim, são apresentados resultados que contêm a ou i, ou u + a; ou i, ou u + a; ou i, ou u.... Assim, são reconhecidas combinações de símbolos como: aaa, i, uuuuu, uiua, uua, etc.
3.1.4. Pesquisa de alternativas
A barra vertical (|) permite pesquisar alternativas, por exemplo:
lema="ruim" | lema="bom";
/d(au|ū)ž.*/ arba tok=/d(au|ū)ž.*/ (pesquisam-se, por exemplo, daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (pesquisam-se.~COMP. e.~SUP. entre sequências quaisquer de caracteres);
"tik" | "tiktai" arba tok="tik" | tok="tiktai" (pesquisam-se tik e tiktai).
3.1.5. Consultas formuladas negativamente
Embora essa possibilidade seja mais útil ao combinar características em pesquisas compostas, também é possível indicar nas pesquisas simples o que não se pretende pesquisar, por exemplo:
pos!="NOUN" (pesquisam-se todas as palavras que não são substantivos);
tok!=/.*[ąaęeėįiyiouųū]/ (pesquisam-se todas as formas de palavras que não terminam em vogal).
Se não for selecionada uma consulta de pesquisa composta (ver 3.2), as consultas simples formuladas negativamente podem causar problemas, especialmente se abrangerem muitas palavras (como no primeiro caso — substantivos); portanto, essa consulta deve ser usada com cautela.
3.2. Pesquisa composta
A pesquisa composta é formada por várias pesquisas simples. Também é necessária uma parte adicional que descreva as relações entre as pesquisas simples (indicadas pela posição). Cada parte da pesquisa simples é ligada pelo sinal de ampersand (&).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Combinações de características para uma palavra
A pesquisa simples procura a mesma palavra, e a relação entre as pesquisas simples é expressa pelo operador de combinação (_=_), por exemplo:
• "meu" & pos="PRON" & #1 _=_ #2 (procurar o pronome meu, mas não a forma de terceira pessoa do singular do presente do verbo manyti).
Essa formulação da consulta significa que a primeira pesquisa simples (#1, isto é, "mano" ou tok="mano") e a segunda pesquisa simples (#2, isto é, pos="PRON") se referem à mesma palavra.
3.2.2. Combinações de palavras
Se, com base na pesquisa simples, for formulada uma consulta para palavras diferentes, o operador de combinação é substituído pelo operador de sequência (um ponto), por exemplo:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (procura-se uma palavra usada no caso genitivo depois da palavra pilnas).
O número 1 depois do ponto significa que #2 vem diretamente (sem intercalação) depois de #1. O número 2 indicaria que há uma palavra intercalada, 3 — duas palavras, e assim por diante. Em vez de.1, pode-se escrever um ponto sem qualquer número (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Também é possível especificar o intervalo com uma vírgula, por exemplo,.2,4 (com uma intercalação de uma a três palavras). Se o tamanho da intercalação não for importante, deve-se escrever um ponto e um asterisco (*).
Em uma única consulta composta, podem ser usados operadores de sequência e de combinação, por exemplo:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (procura formas no genitivo de palavras que não sejam adjetivos, depois da palavra pilnas).
3.2.3. Busca de dependências sintáticas
Também é possível pesquisar estruturas de dependência por meio de uma pesquisa complexa com o operador de dependência direta ->, por exemplo:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (pesquisa substantivos que regem adjetivos, por exemplo, daugiabutis namas);
• pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (pesquisa verbos afirmativos que regem complementos expressos no genitivo, por exemplo, laukti klausimų).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 27
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
OBSERVAÇÕES FINAIS
Os corpora MATAS e ALKSNIS são recursos importantes para a língua lituana. São necessários para as etapas subsequentes da informatização da língua. Esses corpora permitem obter dados quantitativos sobre a distribuição das classes de palavras, formas gramaticais e funções sintáticas, bem como sobre os lemas mais frequentes, as formas gramaticais etc. (alguns estudos quantitativos específicos podem ser encontrados nos seguintes trabalhos: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS foi utilizado no treinamento do analisador semantika.lt (para avaliar a qualidade da anotação).
No futuro, será necessário continuar desenvolvendo a análise sintática automática. Em primeiro lugar, seria possível melhorar a qualidade da anotação sintática: aperfeiçoar as funções sintáticas e acrescentar novas etiquetas (por exemplo, especificar as circunstâncias de acordo com sua semântica: de lugar, modo, tempo etc.). No início da anotação sintática, surgiram numerosas dúvidas de anotação; por isso, seria necessário discutir alguns casos sintáticos, como a anotação de predicados compostos, a elipse, a distinção entre orações assindéticas e construções explicativas, o estatuto de algumas classes de palavras etc.
Outra linha de trabalho consiste em ampliar o próprio corpus. Seria necessário complementar suas seções por gênero, por exemplo, incluindo mais textos científicos e de divulgação científica. Além disso, é indispensável converter o corpus para o formato internacional Universal Dependency, amplamente utilizado (ver Fig. 18; as etiquetas gramaticais não estão indicadas aqui; o exemplo apresenta uma frase finlandesa anotada sintaticamente).
FIG. 18. Formato Universal Dependency
Um dos principais objetivos da análise sintática automática é criar um analisador sintático de base estatística (em inglês, statistically-based parser), baseado no ALKSNIS como referência para a análise sintática e destinado à anotação de grandes volumes de texto.
Se houver recursos, a análise sintática poderá ser ampliada também em outras direções, por exemplo, com a anotação de papéis temáticos (em inglês, thematic role annotation). Trata-se de uma representação semântica específica, relacionada à valência. Na sintaxe interna do sistema de anotação, esse nível é atribuído a cada palavra e atualmente não é visível ao público, pois é mais experimental, não está plenamente desenvolvido nem foi validado. Também seria útil marcar as expressões fixas (em inglês, multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
expressões, MWE22), que incluem colocações e fraseologismos. Até agora, eles não eram anotados no corpus, exceto as unidades morfológicas compostas, cujos elementos estão unidos em uma única unidade (por exemplo, por enquanto, de longe) e têm uma única função morfológica e sintática (geralmente são anotadas como advérbios e adjuntos adverbiais). Também está previsto anotar relações anafóricas (quando um substantivo é usado em uma frase e, em outra frase [ou em outra parte da frase], é substituído por um pronome, isto é, anotar as relações entre o pronome e o substantivo que ele substitui).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
