Уже 25 лет в Центре компьютерной лингвистики Университета Витаутаса Великого (ВУВ) (КЦКЛ)1 разрабатываются и совершенствуются языковые технологии (Utka и др., 2017). Ресурсы и инструменты литовского языка, созданные в КЦКЛ ВУВ, служат основой, необходимой для компьютеризации литовского языка и применения к нему новых технологий. В начале 2015 года Литва стала полноправным членом CLARIN ERIC, а в июле 2015 года КЦКЛ ВУВ и факультет информатики ВУВ совместно с партнёрами из Вильнюсского университета и Каунасского технологического университета учредили консорциум CLARIN-LT и приступили к реализации проекта «Членство Литвы в международной исследовательской инфраструктуре — Общая инфраструктура языковых ресурсов и технологий»2, тем самым интегрировавшись в единую европейскую систему языковых технологий.
Цель этой статьи — представить два ресурса литовского языка, подготовленных в КЦКЛ ВУВ и представляющих собой аннотированные корпуса литовского языка: морфологически аннотированный корпус MATAS и синтаксически аннотированный корпус ALKSNIS. Эти ресурсы находятся в открытом доступе в репозитории CLARIN-LT; поиск можно выполнять с помощью системы ANNIS3 (подробнее см. раздел 3). Кроме того, поиск по корпусу с автоматической морфологической разметкой доступен на сайте http://corpus.vdu.lt4.
Аннотированные корпуса — ключевые ресурсы, играющие важную роль в развитии языковых технологий. Для компьютеризации языка и создания компьютерных инструментов автоматического анализа языка необходимы грамматический анализ и статистические данные о языке. Таким образом, корпуса, дополненные грамматическими метками, служат своего рода сырьём для дальнейшего автоматического анализа языка. Такие корпуса используются для создания других ресурсов и инструментов обработки естественного языка в таких областях, как
1 Доступ в интернете: http://tekstynas.vdu.lt.
2 Доступ в интернете: http://clarin-lt.lt/.
3 Доступ в интернете: http://158.129.51.247:8080/annis-gui-3.4.4/.
4 Это корпус объёмом 208 млн слов с автоматической морфологической разметкой. Далее в этой статье он не рассматривается. Основное внимание уделяется корпусу MATAS объёмом 1,6 млн слов с морфологической разметкой, проверенной лингвистом.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
системы автоматического распознавания речи, машинное обучение, автоматизированный перевод, извлечение информации и т. п.
Далее в статье отдельно представляются упомянутые корпуса и поиск данных в них с помощью системы ANNIS. Корпусами и содержащимися в них данными могут пользоваться исследователи и студенты, изучающие систему грамматики литовского языка, преподаватели и учителя при составлении заданий, а также все, кто интересуется языковыми технологиями.
АННОТИРОВАННЫЕ КОРПУСА ЛИТОВСКОГО ЯЗЫКА И ОСОБЕННОСТИ ИХ СОЗДАНИЯ
1. Морфологически аннотированный корпус MATAS
Морфологический анализ — первый этап обработки языка; нередко он подготавливает текст к дальнейшему синтаксическому или семантическому анализу. Поэтому очень важно, чтобы морфологические аннотаторы работали как можно точнее: ошибки, допущенные на уровне морфологии, затрудняют автоматический анализ языка на других уровнях.
Первый морфологический аннотатор литовского языка был создан около 25 лет назад. Его автор — Витаутас Зинкявичюс (подробнее см. Zinkevičius 2000). В настоящее время для литовского языка в открытом доступе имеются два морфологических аннотатора: упомянутая программа В. Зинкявичюса, чаще всего называемая Lemuoklis5 (от слова lema — заглавная форма слова), и аннотатор, доступный на портале Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema (далее semantika.lt). В этой статье представляется корпус MATAS, аннотированный с помощью Lemuoklis, а синтаксически аннотированный корпус подготовлен с использованием морфологического аннотатора semantika.lt.6
Хотя Lemuoklis работает довольно хорошо, эту программу нельзя обновлять, поскольку она имеет закрытый исходный код. Аннотатор Semantika.lt создан на платформе Hunspell как программа с открытым исходным кодом; этот аннотатор обновляется и пополняется новыми словами (сейчас он охватывает 171 000 лем), его правила совершенствуются (подробнее см. Dadurkevičius 2017). Исследование, проведённое в 2017 году для оценки качества обоих аннотаторов, показало, что точнее работает аннотатор semantika.lt (Kapočiūtė-Dzikienė и др. 2017).
Далее представлен корпус MATAS, подготовка которого велась в 2002–2014 гг. За основу был взят корпус объёмом 1 млн слов, составленный в 2006 году; его дополнили новыми текстами и переработали. Сначала тексты MATAS были автоматически аннотированы морфологически, а затем лингвист проверил и отредактировал их.
5 Доступно в интернете: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; эта программа не только выполняет морфологическую разметку текста, но и может синтезировать, то есть генерировать необходимые формы; она также адаптирована для анализа старых письменных текстов.
6 Доступно в интернете: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
МАТАС состоит из 1,6 млн текстов, собранных из документов, художественных произведений и научных текстов. Как и в Корпусе современного литовского языка, наибольшую долю (36 процентов) составляют публицистические тексты (см. рисунок 1).
РИС. 1. Структура морфологически аннотированного корпуса MATAS (в процентах)
Корпус MATAS доступен в нескольких форматах: так называемом формате KLC, в котором используются несколько необычные сокращения частей речи и грамматических категорий (в этом формате аннотирован также корпус, доступный в хранилище http://clarin-lt.lt/ портала), например:
MATAS также аннотирован в международном формате TEI P5. В нём части речи и грамматические категории обозначаются одной буквой или цифрой; например, vatstdv3 означает соответственно:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
глагол, личная форма, утвердительная форма, возвратный, изъявительное наклонение, прошедшее многократное время, единственное число, третье лицо. Ниже приведён тот же фрагмент текста в формате TEI P5:
Ещё один формат, в котором морфологически аннотированные тексты доступны на http://corpus.vdu.lt сайте, создан по образцу формата MULTEXT-East7. Согласно этому формату, для каждой части речи предусмотрено разное количество морфологических категорий (от 2 до 14), которые обозначаются сокращениями. Например, помета Ncmpnn- N означает существительное, c — нарицательное существительное, m — мужской род, p — множественное число, n — именительный падеж, n — невозвратное существительное; дефис в конце указывает на то, что этому слову, например universitetai, не присваивается никакая семантическая помета8.
В третьем разделе мы представим поиск как в корпусах MATAS, так и в корпусах ALKSNIS с помощью системы ANNIS. В ней используется ещё один формат морфологических помет, основанный на лейпцигских глоссировочных пометах (подробнее см. раздел 3).
Различные системы аннотирования характерны не только для технологий литовского языка. Эта проблема побудила создать инструмент конвертации Pepper (Zipser и др. 2010). Это отражает этапы создания различных ресурсов и используемые инструменты аннотирования.
Как видно из приведённых выше примеров, в KLC используются четыре системы морфологических помет. Несколько различных форматов аннотирования появились потому, что морфологически аннотированный корпус готовился в течение длительного времени. В какой-то период вообще не применялось никаких стандартов аннотирования — просто использовались сокращения частей речи и грамматических категорий, созданные разработчиком морфологического анализатора В. Зинкявичюсом. Они легко понятны пользователям. Спустя некоторое время в результате международного сотрудничества морфологически аннотированный корпус был переаннотирован с использованием
8 Plačiau apie šias pažymas žr. http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
международными стандартами. Как упоминалось, в морфологическом анализаторе semantika.lt (основной целью этой системы было создание интернет-сервисов) используются метки в формате MULTEXT-East. Метки краткие, но людям их трудно понимать; они лучше подходят для компьютерного анализа.
В формате MULTEXT-East морфологически аннотирован и синтаксический корпус ALKSNIS. Инструмент поиска по корпусам ANNIS (см. раздел 3) позволил объединить форматы морфологической аннотации ALKSNIO и MATO. Первоначально предполагалось использовать метки Universal Dependency (UD), поскольку это довольно распространённая система аннотирования, и она легко читается (на английском языке). Однако метки UD очень длинные, что оказалось неудобным при поиске в ANNIS: метки каждого слова занимают много места, поэтому при анализе контекста искомого слова приходилось прокручивать окно в ту или иную сторону. В связи с этой практической проблемой было решено адаптировать глоссировочные метки Лейпцигского формата, поскольку они легко читаются и достаточно кратки. Несмотря на описанное здесь разнообразие меток аннотирования, следует подчеркнуть, что в интерфейсе ANNIS обоих корпусов используется только одна система — адаптированная система глоссирования Лейпцигского формата, — что должно значительно облегчить работу пользователей.
Следует отметить, что в MATE не указаны границы предложений; их можно быстро определить автоматически, однако полученные результаты необходимо проверить. MATAS, как и рассматриваемый далее корпус ALKSNIS, доступен в http://clarin-lt.lt/репозитории портала9. В нём можно выполнять поиск с помощью системы ANNIS10 (подробнее см. раздел 3).
2. Синтаксически аннотированный корпус ALKSNIS
Синтаксически аннотированный корпус литовского языка ALKSNIS подготовлен в 2016 году. Его создание поддержал Европейский консорциум исследовательской инфраструктуры по общей инфраструктуре языковых ресурсов и технологий (CLARIN ERIC) (MTI-02/2015). Корпус находится в открытом доступе в http://clarin-lt.lt/репозитории портала11. Инструкция по его использованию приведена в руководстве пользователя12.
Корпус задуман как эталон синтаксического анализа литовского языка. Такие корпуса обычно невелики, имеют оптимальный жанровый состав, а синтаксический анализ, хотя и выполняется автоматически, проверяется и исправляется лингвистами. На основе эталона синтаксического анализа можно создать синтаксический анализатор, работающий на статистической основе (англ. statistically-based parser), и расширить автоматический синтаксический анализ (Bielinskienė и др. 2016).
9 Доступ в интернете: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9.
10 Доступ в интернете: http://158.129.51.247:8080/annis-gui-3.4.4.
11 Доступ в интернете: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10.
12 Доступ в интернете: https://youtu.be/PIEOPWurb4Y.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Поскольку ALKSNIS — более новый ресурс литовского языка, чем MATAS, и описан в меньшей степени, в этой статье мы уделим ALKSNIUI больше внимания, а также рассмотрим вопросы, возникшие при синтаксической разметке.
2.1. Части корпуса
Корпус ALKSNIS содержит 30 599 слов и 2355 синтаксически размеченных предложений. По сравнению с корпусами языков близлежащих стран этот корпус довольно похож на них и, можно сказать, имеет достаточный размер: корпус латышского языка13 включает 3800 предложений и 53 тыс. слов (Predkalnina и др. 2016); корпус эстонского языка 14 — 1400 предложений и 10 600 слов (Muischnek и др. 2014); корпус польского языка 15 — 8227 предложений. Первый синтаксически размеченный корпус PENN (США) значительно больше — около 3 млн слов16.
Тексты ALKSNIS охватывают четыре жанровые части (см. рис. 2). Части, состоящие из общей и специализированной периодики, а также художественной литературы, примерно равны по объёму, тогда как доля административных текстов наименьшая, поскольку это специфический пласт литовского языка: предложения часто бывают длинными, в них много названий документов, ссылок на другие документы и т. п. Разметка таких предложений не выявила бы типичную синтаксическую структуру.
РИС. 2. Структура синтаксически размеченного корпуса ALKSNIS
Для составления корпуса брали целые, не сокращённые тексты. Предложения отбирали из максимально разнообразных жанров текстов. Часть художественной литературы состоит из предложений, взятых из произведений литовских авторов. Отобранные предложения подготовили к компьютерному анализу: проверили кодировку текста, удалили таблицы и рисунки.
13 Доступ в интернете: http://sintakse.korpuss.lv/index.html.
14 Доступ в интернете: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/.
15 Доступ в интернете: http://zil.ipipan.waw.pl/Sk%C5%82adnica.
16 Доступ в интернете: https://catalog.ldc.upenn.edu/ldc99t42.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 7
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Инструменты аннотирования и визуализации корпуса
Автоматический синтаксический анализ основан на синтаксическом анализаторе, разработанном в рамках проекта ВДУ KLC «Система синтаксико-семантического анализа литовского языка для корпуса, литовского интернета и приложений государственного сектора» и реализованном на Haskell17. Анализатор использует метод, основанный на правилах (англ. rule-based). Этот инструмент считывает морфологически аннотированные файлы, подготовленные модулями сегментации и морфологического анализа semantika.lt, и выдает в качестве результата предложения, разделенные на клаузы или синтагмы, строит синтаксические деревья, указывает их тематические роли (англ. thematic roles) и синтаксические функции (Boizou и др. 2014: 69).
Онлайн-сервисы генерируют только файлы JSON, однако другой инструмент KLC преобразует результаты синтаксического анализа в формат PML (Prague Markup Language). Для синтаксически аннотированного корпуса строятся деревья зависимостей (англ. dependency trees). Этот формат позволяет визуализировать и редактировать деревья зависимостей в формате PML с помощью редактора TrED, разработанного в Карловом университете в Праге (UFAL)18 (см. рис. 3). Все автоматически аннотированные предложения проверены и исправлены лингвистами. Таким образом, синтаксический анализ включает три уровня: автоматическую сегментацию слов и предложений и морфологический анализ, автоматический синтаксический анализ (методом, основанным на правилах) и ручную обработку предложений (подробнее см. 2.4).
2.3. Структура данных ALKSNIS
После автоматического синтаксического анализа предложения представляются графически в виде дерева (см. рис. 3). Каждая вершина дерева соответствует слову предложения, знаку препинания или другой единице предложения (символу, цифре и т. п.). Отношения зависимости между словами обозначаются «ветвями» или ребрами.
17 Синтаксический анализатор разработан Л. Бойзу и Ф. Замблерой в Центре компьютерной лингвистики ВДУ.
18 Доступ в интернете: https://ufal.mff.cuni.cz/tred/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 8
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 8
РИС. 3. Дерево зависимостей синтаксически аннотированного предложения в формате редактора TrEd
Для всех слов в указанном порядке приводятся следующие данные (см. рис. 3):
1) конкретная словоформа, употребленная в предложении (например, gyventojai);
2) заглавная (словарная) форма — лемма (например, gyventojas);
3) морфологические теги (например, Ncmpnn-);
4) синтаксическая функция (например, Sub) (пояснения сокращений см. далее).
2.4. Уровни анализа
Уровень морфологического анализа. Морфологическая аннотация является первым этапом автоматического анализа, поэтому она необходима для синтаксического анализа более высокого уровня, или анализа предложения. Морфологический анализ выполнен с использованием аннотатора semantika.lt (Dad urkevičius 2017). Морфологические теги, используемые в ALKSNYS, составлены на основе примера формата MULTEXT-East (подробнее описано в главе 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Уровень синтаксического анализа. Синтаксический анализатор обрабатывает морфологически аннотированные файлы и выводит предложения, разбитые на клаузы или синтагмы, строит синтаксические деревья и указывает синтаксические функции их элементов. Анализ основан на модели грамматики зависимостей (англ. dependency grammar). Обычно она применяется к типологически сходным языкам, которым свойственны словоизменение и свободный порядок слов, например к славянским языкам (PDT19, SynTagRus20), латышскому языку и т. д. Синтаксические зависимости выражаются иерархически. Начинают с главной клаузы предложения — вершины дерева, к которой присоединяются другие клаузы предложения в соответствии с их зависимостью (то есть синтаксическими связями).
Сокращения синтаксических тегов и сведения о синтаксических связях и зависимостях основаны на чешском опыте (Hajič и др. 1999); чешские исследователи одними из первых разработали синтаксический анализ для чешского языка синтетического типа. В настоящее время в ALKSNYS используется 18 основных синтаксических тегов (не считая их вариантов): Sub — субъект, Pred — сказуемое (предикат), Obj — объект и т. д. (см. таблицу 1). Варианты тегов возникают, когда объединяются двойные или составные теги. Например, для обозначения составного именного или глагольного сказуемого используются соответственно двойные теги PredN и PredV; для обозначения придаточной определительной (атрибутивной) клаузы в сложном предложении к сказуемому придаточной клаузы добавляется двойной тег Pred_Atr; чтобы показать связь сочинения (координации), в качестве части двойного тега при однородных членах предложения указывается _Co, то есть при каждом из перечисленных однородных дополнений пишется Obj_Co и т. п. Кроме того, в сложных предложениях могут появляться и тройные теги, например, когда необходимо обозначить однородные придаточные предложения: Pred_Atr_Co — это придаточное определительное (атрибутивное) предложение.
ТАБЛИЦА 1. Синтаксические функции и их теги в текстовом корпусе
Тег
Синтаксическая функция
Пример
Sub
Субъект
Jis [Sub] sakė
Pred
Предикат (или вспомогательное слово)
Jis ėjo [Pred]; buvo [Pred] patenkintas
PredN
Именная часть предиката
Был [Pred] доволен [PredN]
PredV
Глагольная часть предиката
Должен [Pred] ответить [PredV]
Obj
Объект
Жду гостя [Obj]; нужно решить [Obj]
Atr
Атрибут (определение)
Средняя [Atr] школа; страна-член [Atr]
Adj
Обстоятельства
Теперь [Adj] решит; на улице Партизанской [Adj]
19 Пражский банк деревьев зависимостей (Prague Dependency Treebank), подробнее см. https://ufal.mff.cuni.cz/pdt3.0.
20 Доступно в интернете: http://www.ruscorpora.ru/en/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Вспомогательная функция (например, запятые или другие символы)
AuxC
Подчинение (придаточные предложения)
Сказал, что [AuxC]...
AuxK
Знак препинания в конце предложения
AuxL
Вспомогательная лексическая единица (например, слово на иностранном языке)
Американская компания North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Предлог
Перейдёт на [AuxP] уровень
AuxZ
Частица
Как и [AuxZ] всегда
Coord
Соединение
Производителей и [Coord] продавцов
_Co (pvz., Atr_Co)
Соединительные компоненты (например, однородные члены предложения)
Производителей [Atr_Co] и [Coord] продавцов [Atr_Co]
Par
Вводные слова и обращения
По правде говоря [Par], кажется
ExD
Эллипсис или другие пропуски в предложении
Женщина — [Pred_ExD] существо
Pred_ (pvz., Pred_Obj)
Тип придаточной части подчинённого предложения (помечается при предикате)
Писал, что свойства определяются [Pred_Obj]
Уровень ручной обработки предложений. Все автоматически синтаксически аннотированные предложения были проверены лингвистами. Аннотирование многих предложений, особенно сложных, пришлось исправлять и указывать правильные зависимости. В некоторых случаях исправлялись также морфологические пометы. Предложения исправляли по отдельности три лингвиста, а затем каждое предложение дополнительно проверили все трое. Особенности синтаксической аннотации описаны далее.
Особенности синтаксической аннотации. При автоматическом синтаксическом анализе, как уже упоминалось, вершиной синтаксического дерева (англ. root) считается наиболее высокий в иерархии член предложения (например, глагол, иногда союз в начале предложения) или другой элемент предложения (например, в сложном предложении — его союз или союзное слово), а в качестве ветви, обозначающей пунктуацию предложения, выступает знак препинания: точка, вопросительный знак, восклицательный знак, многоточие, точка с запятой и т. д. Далее приведём конкретные примеры, иллюстрирующие особенности синтаксической аннотации.
Пример, в котором вершиной предложения является глагол [Pred], показан на рисунке 4, а пример с союзом [Coord] в качестве вершины — на рисунке 5.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
РИС. 4. Вершина дерева зависимостей — глагол
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
РИС. 5. Вершина дерева зависимостей — союз в начале предложения
Пример, в котором вершиной сложного предложения является знак препинания, представлен на рисунке 6.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
РИС. 6. Вершина дерева зависимостей — знак препинания между частями сложного предложения
Считается, что в предложных конструкциях предлог занимает более высокую позицию и обозначается как AuxP, а следующее за ним слово обозначается в соответствии с выполняемой функцией (например, объекта): цены за [AuxP] электроэнергию [Obj] (см. рис. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
РИС. 7. Аннотация предложных конструкций
Придаточные части сложного предложения зависят от сказуемого главной части, а от него зависит союз придаточной части (запятая зависит от союза). Важно также указать функцию придаточной части. Она указывается при сказуемом придаточной части, например, Pred_Obj — придаточное дополнительное (объектное) предложение (см. рис. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
РИС. 8. Пример аннотирования придаточных частей сложноподчинённого предложения
Указатель сочинительной связи (союз или кабель) может быть вершиной сочинительной конструкции (например, предложено сесть и [Coord] поиграть; предложено детям и [Coord] их родителям) (см. рис. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
РИС. 9. Пример аннотирования частей, связанных сочинительной связью
Если сочинение включает несколько частей и является смешанным, то союз в конструкции выступает вершиной, а от него отходят все остальные бессоюзные части (запятые со своими перечисляемыми словами находятся на том же уровне зависимости). Другие знаки препинания обозначаются Aux (см. рис. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
РИС. 10. Пример аннотирования смешанной сочинительной конструкции (на рисунке также показано несколько других случаев сочинительной связи)
Вершиной сложносочинённых предложений является сочинительный союз. Связующие слова, образованные наречиями, местоимениями или частицами (например, наречие поэтому), зависят от предиката второй части предложения и выполняют функцию обстоятельства (Adj), а функцию сочинения Coord выполняет кабель, как и в бессоюзных предложениях или предложениях с повторяющимися союзами, которые здесь считаются частицами (см. рис. 12), как и в случае сочинения частей предложения (см. рис. 11, 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
РИС. 11. Пример аннотирования сложносочинённого предложения со связующим словом
РИС. 12. Аннотирование сочинительной конструкции
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
Числовые выражения, например часы и годы, аннотировать сложно. Они аннотируются как обстоятельства с определениями или как определения (см. рис. 13, 14).
РИС. 13. Аннотирование даты
РИС. 14. Аннотирование дат и других числовых выражений (на рисунке представлен только фрагмент синтаксически аннотированного предложения)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Составные сказуемые не всегда легко аннотировать. В одних случаях их аннотируют так же, как они трактуются в грамматиках литовского языка, то есть как сказуемые именного и глагольного типа (например, является [Pred] простым [PredN]; может [Pred] быть [PredV]), а в некоторых случаях второй компонент сказуемого считается объектом (например, намереваюсь [Pred] созвать [Obj]).
Аннотировать конструкции с парными союзами было сложно, поскольку оба союза иерархически равноправны. В таких случаях считалось, что более высокую позицию в иерархии занимает сказуемое главной части предложения, от которого зависит придаточная часть (см. рис. 15).
РИС. 15. Пример аннотирования сложных предложений с парными союзами
Наконец, обсуждался статус некоторых частей речи. Например, повторяющиеся сочинительные союзы решено считать частицами, поскольку их функция в структуре дерева зависимостей сходна с функцией частиц (см. рис. 12).
При ручном синтаксическом аннотировании приходилось решать множество проблем; здесь названы лишь некоторые из них. Многие трудности аннотирования были преодолены благодаря следованию традиционному подходу грамматики, нужно было лишь договориться о конкретном способе аннотирования. В других случаях пришлось приспособиться к особенностям синтаксического аннотирования и последовательно придерживаться принятой договорённости. Проблемы, которые ещё возникнут, предполагается решать в ходе дальнейшего развития автоматического синтаксического анализа.
В следующем подразделе рассматривается поиск данных в аннотированных текстовых корпусах с помощью системы ANNIS. Это одна из сложностей использования аннотированных корпусов, поскольку поиск данных в таких корпусах, содержащих множество меток и даже несколько уровней аннотирования, должен быть многоаспектным. По этой причине был выбран инструмент ANNIS, разработанный исследователями Берлинского университета имени Гумбольдта (Германия).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Поиск в системе ANNIS
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
ANNIS выводит соответствующие строки конкорданса с сопутствующей информацией (см. рис. 16). Строку конкорданса можно расширить с 5 до 25 слов (включая знаки препинания) как слева, так и справа; результаты также можно экспортировать.
В обоих текстовых корпусах используются грамматические обозначения, составленные на основе обозначений Лейпцигской системы глоссирования21. Добавлено несколько обозначений, отсутствующих в упомянутой системе, например, ~COMP означает сравнительную степень. Перед такими обозначениями ставится знак тильды. Части речи указываются в формате Universal Dependency.
РИС. 16. Фрагмент результатов поиска с помощью инструмента ANNIS
Поиск леммы įsakymas в части документов корпуса MATO
21 Доступно в интернете: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. В других аннотированных корпусах часто используются обозначения Universal Dependency (UD) (см. http://universaldependencies.org/; см. также рис. 18). Как отмечалось в первой главе, обозначения UD очень длинные (например, винительный падеж, женский род и множественное число указываются так: case=accusative|gender=feminine|number=plural), они занимают слишком много места в интерфейсе ANNIS, поэтому информацию неудобно читать.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
РИС. 17. Фрагмент результатов поиска с помощью инструмента ANNIS
Поиск леммы įsakymas в корпусе ALKSNIS
(чтобы синтаксические связи отображались стрелками, нужно нажать на плюс рядом с deps)
3.1. Простой поиск
Поиск по одному признаку называется простым. Представленная аннотация (названия грамматических категорий, используемые грамматические пометы и т. п.) зависит от структуры каждого корпуса, а не от инструмента ANNIS.
Обращаем внимание, что при формировании запроса необходимо различать прописные и строчные буквы.
3.1.1. Поиск точных словоформ (строк символов)
Простой поиск выполняется путем указания названия категории, знака равенства и значения категории, заключенного в английские кавычки, например:
• lemma="kalba" (этот запрос означает, что выполняется поиск леммы kalba);
• pos="ADJ" (выполняется поиск прилагательных);
• gram=".M.SG.GEN." (выполняется поиск слов, употребленных с определенными грамматическими категориями — в данном случае в родительном падеже единственного числа мужского рода).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
При поиске конкретной словоформы в тексте необходимо указать название категории tok или просто заключить искомую форму в кавычки, например:
• tok="сказал" или "сказал".
В обоих аннотированных корпусах можно искать леммы, части речи, грамматические категории, конкретные словоформы, а в ALKSNYJE можно также искать синтаксические метки, например:
• syfun="Atr" (выполняется поиск атрибутов).
В ALKSNYJE также можно искать отношения зависимостей (deps), но поиск выполняется по другому принципу (см. 3.2.3).
3.1.2. Поиск символьных структур
ANNIS позволяет выполнять поиск с использованием регулярных выражений (англ. regular expressions); они обозначаются специальными символами. Запрос для поиска с помощью регулярных выражений по сути записывается так же, как запрос для поиска точных словоформ, только английские кавычки нужно заменить косыми чертами.
3.1.2.1. Поиск любых символов
Важнейший специальный символ — точка: она заменяет любой один символ (букву, цифру и т. п.), например:
• lemma=/pl.t.s/ (поиск, например, platus, plotis, plitus);
• /p.sak.s/ или tok=/p.sak.s/ (поиск, например, pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ или tok=/201./ (поиск, например, 2010, 2011, 2012...).
Поскольку точка может заменить любой знак, сам символ точки нужно искать с помощью сочетания обратной косой черты и точки (\.), например:
• gram=/^\..\SG\.GEN\./ (поиск, например, .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Поиск одного из нескольких символов
Вместо поиска полностью неопределённых символов в поисковом запросе можно указать несколько конкретных искомых символов. Их записывают в квадратных скобках, например:
• lemma=/pl[ao]t.s/ (ищутся, например, platus, plotis, но не plitus);
• /t[ei]lp./ или tok=/t[ei]lp./ (ищутся, например, telpa, tilpo, но не talpa);
• /201[0124]/ или tok=/201./ (ищутся 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
Обратите внимание, что таким способом поиск выполняется по одному символу из указанного набора: /dirb[aius]/ позволяет искать dirba, dirbi, dirbu, dirbs, но не dirbau или dirbsi.
3.1.3. Операторы повторения
Можно повторять (обычные и специальные) символы, например:
• lemma=/..važiuoti/ (ищутся, например, nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);
• /dirb[ao][mt]e/ или tok=/dirb[ao][mt]e/ (ищутся dirbame, dirbate, dirbome, dirbote).
Таким образом, число искомых символов фиксировано: например, в приведённых примерах это два символа (или [ao][mt]); следовательно, по запросу lemma=/..važiuoti/ вы не получите результатов с леммой įvažiuoti. Больше возможностей дают операторы повторения, значения которых таковы:
•? — определённый символ употреблён один раз или ни разу;
• + — определённый символ употреблён не менее одного раза (то есть один, два, три, четыре и более раз);
• * — определённый символ употреблён n раз (то есть может отсутствовать вовсе, употребляться один, два и более раз)
Эти операторы помогают искать символы, стоящие после них или перед ними, например:
• /šild?o/ (ищется šilo или šildo);
• /Ma+u/ (ищется Mau, Maau, Maaau, Maaau и т. д.);
• /oi*/ (ищется o, oi, oii, oiii и т. д.).
Ранее упомянутые операторы можно сочетать с поиском любого символа или одного из нескольких символов, например:
• /šauk[aiu]*/ или tok=/šauk[aiu]*/ (ищутся, например, šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ или tok=/šauk[aiu]+/ (ищутся, например, šauki, šaukia, šaukiu, но не šauk);
gram=/.*\.F\..*/ (ищется последовательность.F. между любыми другими последовательностями символов).
Следует отметить, что такие структуры, как [aiu]* или [aiu]+, не влияют на порядок искомых символов. Следовательно, выдаются результаты, содержащие a или i, или u + a; или i, или u + a; или i, или u.... Таким образом, распознаются следующие сочетания символов: aaa, i, uuuuu, uiua, uua и т. д.
3.1.4. Поиск альтернатив
Вертикальная черта (|) позволяет искать альтернативы, например:
лемма="плохой" | лемма="хороший";
/d(au|ū)ž.*/ либо tok=/d(au|ū)ž.*/ (ищутся, например, daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (ищутся.~COMP. и.~SUP. среди любых последовательностей символов);
"tik" | "tiktai" либо tok="tik" | tok="tiktai" (ищутся tik и tiktai).
3.1.5. Отрицательно сформированные запросы
Хотя такая возможность полезнее при комбинировании признаков в сложных поисковых запросах, и в простых запросах можно указать, что не следует искать, например:
pos!="NOUN" (ищутся все слова, которые не являются существительными);
tok!=/.*[ąaęeėįiyiouųū]/ (ищутся все словоформы, не оканчивающиеся на гласную).
Если не используется сложный поисковый запрос (см. 3.2), отрицательно сформированные простые запросы могут вызывать проблемы, особенно если охватывают много слов (как в первом случае — существительных), поэтому такой запрос следует использовать осторожно.
3.2. Составной поиск
Составной поиск формируется из нескольких простых поисков. Также необходима дополнительная часть, описывающая отношения между простыми поисками (указанными по позиции). Каждая часть простого поиска соединяется знаком амперсанда (&).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Комбинации признаков для одного слова
В простом поиске выполняется поиск одного и того же слова, а связь между простыми поисками выражается оператором комбинации (_=_), например:
• "mano" & pos="PRON" & #1 _=_ #2 (искать местоимение mano, но не глагол manyti в форме 3-го лица настоящего времени).
Такая формулировка запроса означает, что первый простой поиск (#1, то есть "mano" или tok="mano") и второй простой поиск (#2, то есть pos="PRON") относятся к одному и тому же слову.
3.2.2. Комбинации слов
Если на основе простого поиска формулируется запрос для разных слов, оператор комбинации заменяется оператором последовательности (точкой), например:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (выполняется поиск слова в родительном падеже после слова pilnas).
Число 1 после точки означает, что #2 следует непосредственно (без вставки) за #1. Число 2 указывает, что между ними вставлено одно слово, 3 — два слова и т. д. Вместо.1 можно написать точку без числа (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Можно уточнить интервал с помощью запятой, например.2,4 (с вставкой от одного до трёх слов). Если размер вставки не имеет значения, нужно написать точку и звёздочку (*).
В одном составном запросе можно использовать операторы последовательности и комбинации, например:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (выполняется поиск слов в форме родительного падежа, которые не являются прилагательными, после слова pilnas).
3.2.3. Поиск синтаксических зависимостей
Структуры зависимостей также можно искать с помощью сложного запроса с оператором непосредственного управления ->, например:
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
ОБОБЩАЮЩИЕ ЗАМЕЧАНИЯ
Текстовые корпуса MATAS и ALKSNIS — важные ресурсы литовского языка. Они необходимы для дальнейших этапов компьютеризации языка. Эти корпуса позволяют получить количественные данные о распределении частей речи, грамматических форм и синтаксических функций, наиболее частотных леммах, грамматических формах и т. п. (несколько конкретных количественных исследований можно найти в следующих работах: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS использовался для обучения анализатора semantika.lt (для оценки качества аннотирования).
В будущем необходимо и дальше развивать автоматический синтаксический анализ. Прежде всего можно было бы улучшить качество синтаксической аннотации: уточнить синтаксические функции, дополнить набор новыми метками (например, уточнить обстоятельства с учетом их семантики: места, образа действия, времени и т. д.). На начальном этапе синтаксической аннотации возникло немало вопросов, поэтому следует обсудить некоторые синтаксические случаи, например аннотирование составных сказуемых, разграничение эллипсиса, бессоюзных частей и пояснительных конструкций, статус некоторых частей речи и т. п.
Другое направление работы — увеличение самого корпуса. Следует дополнить его жанровые разделы, например включить больше научных и научно-популярных текстов. Кроме того, корпус необходимо преобразовать в широко используемый международный формат Universal Dependency (см. рис. 18; грамматические метки здесь не указаны, в примере синтаксически аннотирован пример на финском языке).
РИС. 18. Формат Universal Dependency
Одна из главных целей автоматического синтаксического анализа — создать синтаксический анализатор, работающий на статистической основе (англ. statistically-based parser), который опирался бы на ALKSNIS как на эталон синтаксического анализа и использовался для аннотирования больших объемов текстов.
При наличии возможностей синтаксический анализ можно расширять и в других направлениях, например аннотированием тематических ролей (англ. thematic role annotation). Это определенное семантическое представление, связанное с валентностью. Внутри системы синтаксической аннотации этот уровень назначается каждому слову и в настоящее время не виден публично, поскольку он носит экспериментальный характер, не до конца разработан и не проверен. Было бы также полезно размечать устойчивые сочетания (англ. multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
выражения, MWE22), которые включают коллокации и фразеологизмы. До сих пор в корпусе они не размечались, за исключением морфологических сочетаний, компоненты которых объединены в одну единицу (например, пока, издалека) и имеют одну морфологическую и синтаксическую функцию (чаще всего размечаются как наречия и обстоятельства). Также планируется отметить анафорические отношения (когда в одном предложении употребляется существительное, а в другом предложении (или в другой части предложения) оно заменяется местоимением, то есть отметить связи между местоимением и заменяемым им существительным).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
