Уже 25 років у Центрі комп’ютерної лінгвістики (KLC)1 Університету Вітовта Великого (VDU) розробляють і вдосконалюють мовні технології (Utka та ін. 2017). Ресурси й інструменти литовської мови, створені в KLC VDU, є основою, без якої неможливо комп’ютеризувати литовську мову та адаптувати до неї нові технології. На початку 2015 року Литва стала повноправним членом CLARIN ERIC, а в липні 2015 року KLC VDU і факультет інформатики VDU разом із партнерами з Вільнюського університету та Каунаського технологічного університету заснували консорціум CLARIN-LT і розпочали реалізацію проєкту «Членство Литви в міжнародній дослідницькій інфраструктурі — Загальноєвропейська інфраструктура мовних ресурсів і технологій»2, — отже, долучилися до спільної європейської системи мовних технологій.
Мета цієї статті — представити два ресурси литовської мови — анотовані корпуси литовської мови, підготовлені в KLC VDU: морфологічно анотований корпус MATAS і синтаксично анотований корпус ALKSNIS. Ці ресурси є у відкритому доступі в репозитарії CLARIN-LT; пошук можна здійснювати через систему ANNIS3 (докладніше див. розділ 3), а пошук в автоматично морфологічно анотованому корпусі також доступний на вебсайті http://corpus.vdu.lt4.
Анотовані корпуси — ключові ресурси, що відіграють важливу роль у розвитку мовних технологій. Для комп’ютеризації мови та створення комп’ютерних інструментів для автоматичного аналізу мови необхідні граматичний аналіз і статистичні дані про мову. Отже, корпуси, доповнені граматичною розміткою, є своєрідною сировиною для подальшого автоматичного аналізу мови. Такі корпуси використовують для створення інших ресурсів та інструментів обробки природної мови в таких галузях, як
1 Доступ в інтернеті: http://tekstynas.vdu.lt.
2 Доступ в інтернеті: http://clarin-lt.lt/.
3 Доступ в інтернеті: http://158.129.51.247:8080/annis-gui-3.4.4/.
4 Це корпус із 208 млн слів, автоматично анотований морфологічно. Далі в цій статті про нього не йдеться. Основну увагу приділено морфологічно анотованому корпусу MATAS обсягом 1,6 млн слів, перевіреному мовознавцем.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
системи автоматичного розпізнавання мови, машинне навчання, автоматизований переклад, отримання інформації тощо.
Далі у статті окремо представлено згадані корпуси та пошук даних у них за допомогою системи ANNIS. Корпусами та їхніми даними можуть скористатися дослідники й студенти, які вивчають систему граматики литовської мови, викладачі та вчителі, готуючи завдання, а також усі, хто цікавиться мовними технологіями.
АНОТОВАНІ КОРПУСИ ЛИТОВСЬКОЇ МОВИ ТА ОСОБЛИВОСТІ ЇХ УКЛАДАННЯ
1. Морфологічно анотований корпус MATAS
Морфологічний аналіз є першим етапом обробки мови й нерідко готує текст до подальшого синтаксичного чи семантичного аналізу, тому дуже важливо, щоб морфологічні анотатори працювали якомога точніше, адже помилки, зроблені на рівні морфології, перешкоджають автоматичному аналізу мови на інших рівнях.
Перший морфологічний анотатор литовської мови створено приблизно 25 років тому. Його автор — Vytautas Zinkevičius (докладніше див. Zinkevičius 2000). Нині для литовської мови у відкритому доступі є два морфологічні анотатори: згадана програма В. Зінкявічюса, яку найчастіше називають Lemuokliu5 (від слова lema — заголовна форма), та анотатор, доступний на порталі Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema (далі semantika.lt). У цій статті представлений корпус MATAS анотовано за допомогою Lemuoklį, а синтаксично анотований корпус укладено з використанням морфологічного анотатора semantika.lt.6
Хоча Lemuoklis працює досить добре, цю програму не можна оновити, оскільки її код закритий. Анотатор Semantika.lt створено на платформі Hunspell як програму з відкритим кодом; цей анотатор оновлюють, доповнюють новими словами (тепер він охоплює 171 000 лем), а його правила впорядковують (докладніше див. Dadurkevičius 2017). У 2017 році, провівши дослідження та оцінивши якість обох анотаторів, встановили, що точніше працює анотатор semantika.lt (Kapočiūtė-Dzikienė та ін. 2017).
Представлений далі корпус MATAS укладали у 2002–2014 роках. За основу взяли корпус обсягом 1 млн слів, створений у 2006 році; його доповнили новими текстами й переробили. Спочатку тексти корпусу MATAS автоматично анотували морфологічно, а згодом їх переглянув і впорядкував мовознавець.
5 Доступ в інтернеті: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; ця програма не лише морфологічно анотує текст, а й може синтезувати, тобто генерувати потрібні форми; вона пристосована також для аналізу давніх писемних пам’яток.
6 Доступ в інтернеті: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
MATAS містить 1,6 млн текстів, створених на основі документів, художніх творів і наукових текстів. Як і в Корпусі сучасної литовської мови, найбільшу частку (36 відсотків) становлять публіцистичні тексти (див. рисунок 1).
РИС. 1. Структура морфологічно анотованого корпусу MATAS (у відсотках)
MATAS доступний у кількох форматах: так званому форматі KLC, у якому використовуються дещо незвичні скорочення частин мови й граматичних категорій (у цьому форматі анотовано також корпус, доступний у сховищі порталу http://clarin-lt.lt/), наприклад:
MATAS також анотовано в міжнародному форматі TEI P5. У ньому частини мови й граматичні категорії позначаються однією літерою або цифрою, наприклад, vatstdv3 означає відповідно:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
дієслово, особова форма, стверджувальна форма, зворотне, дійсний спосіб, давноминулий час, однина, третя особа. Далі наведено той самий фрагмент тексту у форматі TEI P5:
Ще один формат, у якому морфологічно анотовані тексти доступні на вебсайті http://corpus.vdu.lt, створено за зразком формату MULTEXT-East7. У цьому форматі кожна частина мови має різну кількість морфологічних категорій (від 2 до 14), які записуються скороченнями. Наприклад, позначка Ncmpnn- N означає іменник, c — загальну назву, m — чоловічий рід, p — множину, n — називний відмінок, n — незворотність іменника; дефіс наприкінці позначає, що цьому слову, наприклад universitetai, не присвоєно жодної семантичної позначки8.
У третьому розділі ми розглянемо пошук як у корпусах MATAS, так і ALKSNIS за допомогою системи ANNIS. У ній використовується ще один формат морфологічних позначок, створений на основі лейпцизьких глосувальних позначок (докладніше див. розділ 3).
Різні системи анотування характерні не лише для технологій литовської мови. Ця проблема спонукала до створення інструмента конвертування Pepper (Zipser та ін., 2010). Це свідчить про етапи створення різноманітних ресурсів і використовувані інструменти анотування.
Як видно з наведених вище прикладів, у KLC використовуються чотири системи морфологічних позначок. Наявність кількох різних форматів анотування зумовлена тим, що робота над морфологічно анотованим корпусом тривала довгий час. Спочатку жодних стандартів анотування взагалі не застосовували: використовували лише скорочення частин мови й граматичних категорій, створені розробником морфологічного аналізатора В. Зінкявічюсом. Вони легко зрозумілі користувачам. Згодом, унаслідок міжнародної співпраці, морфологічно анотований корпус переанотували, використовуючи
7 Доступ в інтернеті: http://nl.ijs.si/ME/V4/msd/html/index.html.
8 Докладніше про ці позначки див. http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
міжнародними стандартами. Як зазначалося, у морфологічному аналізаторі semantika.lt (основною метою цієї системи було створення інтернет-сервісів) використовуються позначки у форматі MULTEXT-East. Позначки короткі, але людям їх важко зрозуміти, натомість вони краще підходять для комп’ютерного аналізу.
У форматі MULTEXT-East морфологічно анотовано також синтаксичний корпус ALKSNIS. Інструмент пошуку в корпусах ANNIS (див. розділ 3) дав змогу поєднати формати морфологічного анотування ALKSNIO і MATO. Спочатку планували використовувати позначки Universal Dependency (UD), оскільки це досить поширена система анотування, яку легко читати (англійською мовою). Однак позначки UD дуже довгі, і це виявилося незручним під час пошуку в ANNIS: позначки кожного слова займають багато місця, тому, аналізуючи контекст шуканого слова, доводилося прокручувати вікно в той чи інший бік. Через цю практичну проблему вирішили адаптувати позначки глосування Лейпцизького університету, оскільки вони легко читаються й досить короткі. Попри описану тут різноманітність позначок анотування, слід наголосити, що в інтерфейсі ANNIS обох корпусів використовується лише одна система (адаптована система глосування Лейпцизького університету), що має значно полегшити роботу користувачам.
Варто зазначити, що в MATE не вказано межі речень. Їх можна швидко визначити автоматично, але отримані результати потрібно перевірити. MATAS, як і корпус ALKSNIS, про який ітиметься далі, доступний у http://clarin-lt.lt/сховищі порталу9. У ньому можна здійснювати пошук за допомогою системи ANNIS10 (детальніше див. розділ 3).
2. Синтаксично анотований корпус ALKSNIS
Синтаксично анотований корпус литовської мови ALKSNIS підготовлено 2016 року. Його створення підтримав Європейський консорціум дослідницької інфраструктури «Загальна інфраструктура мовних ресурсів і технологій» (CLARIN ERIC) (MTI-02/2015). Корпус у відкритому доступі в http://clarin-lt.lt/сховищі порталу11. Пояснення щодо користування ним наведено в посібнику користувача12.
Корпус задумано як еталон для синтаксичного аналізу литовської мови. Такі корпуси зазвичай невеликі, мають оптимальний жанровий склад, а синтаксичний аналіз, хоча й виконаний автоматично, перевірений і виправлений лінгвістами. На основі еталона синтаксичного аналізу можна створити синтаксичний аналізатор, що працює на статистичних засадах (англ. statistically-based parser), і розширити автоматичний синтаксичний аналіз (Bielinskienė та ін. 2016).
9 Доступ в інтернеті: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9.
10 Доступ в інтернеті: http://158.129.51.247:8080/annis-gui-3.4.4.
11 Доступ в інтернеті: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10.
12 Доступ в інтернеті: https://youtu.be/PIEOPWurb4Y.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Оскільки ALKSNIS є новішим ресурсом литовської мови, ніж MATAS, і менш описаним, у цій статті ми приділимо ALKSNIUI більше уваги, а також розглянемо питання, що виникли під час синтаксичного анотування.
2.1. Частини корпусу
Корпус ALKSNIS містить 30 599 слів і 2355 синтаксично анотованих речень. Порівняно з корпусами мов сусідніх країн, цей корпус досить подібний до них і, можна стверджувати, має достатній обсяг: корпус латиської мови13 містить 3800 речень і 53 тис. слів (Predkalnina та ін. 2016); корпус естонської мови 14 — 1400 речень і 10 600 слів (Muischnek та ін. 2014); корпус польської мови 15 — 8227 речень. Перший синтаксично анотований корпус PENN (США) налічує значно більше — близько 3 млн слів16.
Тексти ALKSNIS охоплюють чотири жанрові частини (див. рис. 2). Частини, що містять матеріали загальної та спеціалізованої періодики й художню літературу, приблизно однакові за обсягом, тоді як частина адміністративних текстів найменша, адже це специфічний різновид литовської мови: речення часто бувають довгими, у них багато назв документів, посилань на інші документи тощо. Анотування таких речень не виявило б типової синтаксичної структури.
РИС. 2. Структура синтаксично анотованого корпусу ALKSNIS
Для створення корпусу використовували цілі, нескорочені тексти. Речення добирали з якнайрізноманітніших жанрів текстів. Частина художньої літератури складається з речень із творів литовських авторів. Дібрані речення підготували до комп’ютерного аналізу: перевірили кодування тексту, видалили таблиці та зображення.
13 Доступ в інтернеті: http://sintakse.korpuss.lv/index.html.
14 Доступ в інтернеті: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/.
15 Доступ в інтернеті: http://zil.ipipan.waw.pl/Sk%C5%82adnica.
16 Доступ в інтернеті: https://catalog.ldc.upenn.edu/ldc99t42.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 7
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Засоби анотування та візуалізації корпусу
Автоматичний синтаксичний аналіз спирається на синтаксичний аналізатор, розроблений у межах проєкту ВДУ KLC «Система синтаксично-семантичного аналізу литовської мови для корпусу, литовського інтернету та застосувань у державному секторі». Його створено мовою Haskell17. Аналізатор використовує метод, заснований на правилах (англ. rule-based). Цей інструмент читає морфологічно анотовані файли модулів сегментації та морфологічного аналізу semantika.lt і видає як результат речення, розбиті на клаузи або синтагми, генерує синтаксичні дерева, визначає їхні тематичні ролі (англ. thematic roles) і синтаксичні функції (Boizou та ін. 2014: 69).
Онлайн-сервіси генерують лише файли JSON, але інший інструмент KLC конвертує результати синтаксичного аналізу у формат PML (Prague Markup Language). Для синтаксично анотованого корпусу генеруються дерева залежностей (англ. dependency trees). Цей формат дає змогу візуалізувати та редагувати дерева залежностей у форматі PML за допомогою редактора TrED, створеного UFAL Карлового університету в Празі18 (див. рис. 3). Усі автоматично анотовані речення перевірено та виправлено лінгвістами. Отже, синтаксичний аналіз охоплює три рівні: автоматичну сегментацію слів і речень та морфологічний аналіз, автоматичний синтаксичний аналіз (методом, заснованим на правилах) і ручне опрацювання речень (докладніше див. 2.4).
Структура даних ALKSNIS
Після автоматичного синтаксичного аналізу речення подаються графічно у вигляді дерева (див. рис. 3). Кожна вершина дерева відповідає слову речення, розділовому знаку або іншій одиниці речення (символу, цифрі тощо). Зв’язки залежності між словами позначаються «гілками» або ребрами.
17Синтаксичний аналізатор створили в Центрі комп’ютерної лінгвістики ВДУ Л. Боізу та Ф. Замблера.
18 Доступ в інтернеті: https://ufal.mff.cuni.cz/tred/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 8
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 8
Для всіх слів у такому порядку зазначаються (див. рис. 3):
1) конкретна форма слова, ужита в реченні (наприклад, gyventojai);
2) заголовна (словникова) форма — лема (наприклад, gyventojas);
3) морфологічні позначки (наприклад, Ncmpnn-);
4) синтаксична функція (наприклад, Sub) (пояснення скорочень див. нижче).
2.4. Рівні аналізу
Рівень морфологічного аналізу. Морфологічне анотування є першим етапом автоматичного аналізу, тому воно необхідне для синтаксичного аналізу вищого рівня або аналізу речення. Морфологічний аналіз виконано за допомогою анотатора semantika.lt (Dad urkevičius 2017). Морфологічні позначки, що використовуються в ALKSNYJE, створено за зразком формату MULTEXT-East (докладніше описано в розділі 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Рівень синтаксичного аналізу. Синтаксичний аналізатор опрацьовує морфологічно анотовані файли й подає речення, розбиті на частини або синтагми, генерує синтаксичні дерева та вказує синтаксичні функції їхніх елементів. Аналіз ґрунтується на моделі граматики залежностей (англ. dependency grammar). Її зазвичай застосовують до типологічно подібних мов, яким властиві словозміна та вільний порядок слів, наприклад, слов’янських мов (PDT19, SynTagRus20), латиської мови тощо. Синтаксичні залежності виражаються відповідно до ієрархії. Аналіз починається з головної частини речення — вершини дерева, до якої приєднуються інші частини речення залежно від їхньої підпорядкованості (тобто синтаксичних зв’язків).
Скорочення синтаксичних позначок та інформація про синтаксичні зв’язки й залежності ґрунтуються на напрацюваннях чеських дослідників (Hajič та ін. 1999); вони одними з перших розвинули синтаксичний аналіз для чеської мови синтетичного типу. Нині в ALKSNYJE використовуються 18 основних синтаксичних позначок (не враховуючи їхніх варіантів): Sub — підмет, Pred — присудок (предикат), Obj — додаток тощо (див. таблицю 1). Варіанти позначок виникають тоді, коли поєднуються подвійні або двоелементні позначки. Наприклад, для позначення складеного іменного або дієслівного присудка використовуються відповідно двоелементні позначки PredN і PredV; для позначення підрядної означальної частини складного речення (атрибутивної) при присудку підрядної частини ставиться подвійна позначка Pred_Atr; щоб позначити зв’язок сурядності, при однорідних членах речення як частину подвійної позначки ставиться _Co, тобто біля кожного з перелічених однорідних додатків пишеться Obj_Co тощо. До речі, у складних реченнях можуть з’являтися й потрійні позначки, наприклад, коли потрібно позначити однорідні підрядні речення: Pred_Atr_Co — це підрядне означальне (атрибутивне) речення.
ТАБЛИЦЯ 1. Синтаксичні функції та їхні позначки в текстовому корпусі
Позначка
Синтаксична функція
Приклад
Sub
Підмет
Він [Sub] сказав
Pred
Предикат (або службове слово)
Він ішов [Pred]; був [Pred] задоволений
PredN
Іменна частина присудка
Був [Pred] задоволений [PredN]
PredV
Дієслівна частина предиката
Має [Pred] відгукнутися [PredV]
Obj
Об’єкт
Чекаю на гостя [Obj]; потрібно розв’язати [Obj]
Atr
Атрибут (означення)
Середня [Atr] школа; країна-член [Atr]
Adj
Обставини
Тепер [Adj] вирішить; на вулиці Партизанській [Adj]
19 Празький банк дерев залежностей (Prague Dependency Treebank), докладніше див. https://ufal.mff.cuni.cz/pdt3.0.
20 Доступ в інтернеті: http://www.ruscorpora.ru/en/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Допоміжна функція (наприклад, коми чи інші символи)
AuxC
Підрядність (підрядні речення)
Сказав, що [AuxC]...
AuxK
Знак пунктуації в кінці речення
AuxL
Допоміжна лексична одиниця (наприклад, слово іноземною мовою)
Американська компанія North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Прийменник
Перейде на [AuxP] рівень
AuxZ
Частка
Як і [AuxZ] завжди
Coord
Поєднання
Виробників і [Coord] продавців
_Co (pvz., Atr_Co)
Поєднувані компоненти (наприклад, однорідні члени речення)
Виробників [Atr_Co] і [Coord] продавців [Atr_Co]
Par
Вставні слова, звертання
Правду кажучи [Par], здається
ExD
Еліпсис або інші пропуски в реченні
Жінка — [Pred_ExD] істота
Pred_ (pvz., Pred_Obj)
Тип підрядної частини підрядного речення (позначається при присудку)
Писав, що властивості визначає [Pred_Obj]
Рівень ручного опрацювання речень. Усі речення, автоматично синтаксично анотовані, перевірили мовознавці. Анотування багатьох речень, особливо складних, довелося виправляти та вказувати правильні залежності. Подекуди виправляли також морфологічні позначки. Речення окремо виправляли троє мовознавців, а згодом кожне речення додатково перевірили всі троє. Особливості синтаксичного анотування описано далі.
Особливості синтаксичного анотування. Під час автоматичного синтаксичного аналізу, як уже згадувалося, вершиною синтаксичного дерева (англ. root) вважають найвищий у ієрархії компонент речення (наприклад, дієслово, іноді сполучник на початку речення) або інший елемент речення (наприклад, у складному реченні — його сполучник чи сполучне слово), а гілкою, що позначає пунктуацію речення, — розділовий знак: крапку, знак питання, знак оклику, три крапки, крапку з комою тощо. Далі наведемо конкретні приклади, щоб проілюструвати особливості синтаксичного анотування.
Приклад, у якому вершиною речення є дієслово [Pred], показано на рис. 4, а приклад, у якому нею є сполучник [Coord], — на рис. 5.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
РИС. 4. Вершина дерева залежностей — дієслово
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
РИС. 5. Вершина дерева залежностей — сполучник на початку речення
Приклад, у якому вершиною складного речення є розділовий знак, наведено на рис. 6.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
РИС. 6. Вершина дерева залежностей — розділовий знак між частинами складного речення
Вважається, що в прийменникових конструкціях прийменник займає вищу позицію, його позначають AuxP, а наступне за ним слово позначають відповідно до виконуваної функції (наприклад, об’єкт): kainos už [AuxP] elektrą [Obj] (див. рис. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
РИС. 7. Анотування прийменникових конструкцій
Підрядні частини складного речення залежать від присудка головної частини, а від нього залежить сполучник підрядної частини (кома залежить від сполучника). Важливо також указати функцію підрядної частини. Її зазначають біля присудка підрядної частини, наприклад, Pred_Obj — підрядне додаткове (об’єктне) речення (див. рис. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
РИС. 8. Приклад анотування підрядних частин складнопідрядного речення
Сполучникова дуга (сполучник або кабель) може бути вершиною сурядної конструкції (наприклад, запропоновано сісти й [Coord] погратися; запропоновано дітям і [Coord] їхнім батькам) (див. рис. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
РИС. 9. Приклад анотування частин, пов’язаних сурядним зв’язком
Якщо маємо багаточленну змішану сурядність, то сполучник у конструкції є вершиною, а від нього відходять усі інші безсполучникові частини (коми з відповідними переліковими словами перебувають на тому самому рівні залежності). Інші розділові знаки позначаються як Aux (див. рис. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
РИС. 10. Приклад анотування змішаної сурядної конструкції (на рисунку також видно інші випадки сурядного зв’язку)
Вершиною складносурядних речень є сурядний сполучник. Сполучні слова, утворені прислівниками, займенниками або частками (наприклад, прислівник тому), залежать від присудка другої частини речення та виконують функцію обставини (Adj), а функцію сурядного зв’язку Coord виконує кабель, як і в безсполучникових реченнях або реченнях із повторюваними сполучниками, які тут вважаються частками (див. рис. 12), так само як і у випадку поєднання частин речення (див. рис. 11, 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
РИС. 11. Приклад анотування складносурядного речення зі сполучним словом
РИС. 12. Анотування сурядної конструкції
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
Числові вирази, наприклад години та роки, анотувати складно. Їх анотовано як обставини з означеннями або як означення (див. рис. 13, 14).
РИС. 13. Анотування дати
РИС. 14. Анотування дат та інших числових виразів (на рисунку наведено лише фрагмент синтаксично анотованого речення)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Складені присудки анотувати не завжди легко. В одних випадках їх анотують так, як їх розуміють у граматиках литовської мови, тобто як іменні та дієслівні типи присудків (наприклад, yra [Pred] paprastas [PredN]; gali [Pred] būti [PredV]), а в деяких випадках другий компонент присудка вважають додатком (наприклад, ketinu [Pred] sukviesti [Obj]).
Було складно анотувати конструкції з парними сполучниками, оскільки обидва сполучники ієрархічно рівноправні. У такому разі вважалося, що вищу позицію в ієрархії займає присудок головної частини речення, від якого залежить підрядна частина (див. рис. 15).
РИС. 15. Приклад анотування складних речень із парними сполучниками
Зрештою, розглядали статус деяких частин мови. Наприклад, повторювані сполучники сурядного зв’язку вирішили вважати частками, оскільки їхня функція у структурі дерева залежностей подібна до функції часток (див. рис. 12).
Під час ручного синтаксичного анотування доводилося розв’язувати чимало проблем, тут названо лише декілька з них. Багато труднощів анотування було подолано завдяки дотриманню традиційного граматичного підходу та лише узгодженню певного способу анотування. В інших випадках довелося пристосовуватися до особливостей синтаксичного анотування й послідовно дотримуватися домовленостей під час анотування. Проблеми, що виникли, планується розв’язувати надалі, розвиваючи автоматичний синтаксичний аналіз.
У наступному підрозділі представлено пошук даних в анотованих текстових корпусах за допомогою системи ANNIS. Це один із викликів використання анотованих текстових корпусів, адже пошук даних у таких корпусах, де є багато тегів і навіть кілька рівнів анотування, має бути багатогранним. З цієї причини було обрано інструмент ANNIS, розроблений дослідниками Гумбольдтського університету (Німеччина).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Пошук за допомогою системи ANNIS
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
ANNIS подає відповідні рядки конкордансу з пов’язаною інформацією (див. рис. 16). Рядок конкордансу можна розширити від 5 до 25 слів (включно зі знаками пунктуації) як ліворуч, так і праворуч; результати також можна експортувати.
В обох текстових корпусах використовуються граматичні позначення, створені за зразком Лейпцизьких правил глосування21. Додано кілька позначень, яких немає серед згаданих позначень; наприклад, ~COMP означає вищий ступінь. Перед такими позначеннями ставиться знак тильди. Частини мови позначаються за форматом Universal Dependency.
РИС. 16. Фрагмент результатів пошуку за допомогою інструмента ANNIS
Пошук леми įsakymas у частині документів MATAS
21 Доступ онлайн: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. В інших анотованих текстових корпусах часто використовуються позначення Universal Dependency (UD) (див. http://universaldependencies.org/; також рис. 18). Як зазначалося в першому розділі, позначення UD дуже довгі (наприклад: знахідний відмінок, жіночий рід і множина позначаються так: case=accusative|gender=feminine|number=plural), вони займають забагато місця в інтерфейсі ANNIS, через що інформацію незручно читати.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
РИС. 17. Фрагмент результатів пошуку за допомогою інструмента ANNIS
Пошук леми įsakymas у текстовому корпусі ALKSNIS
(щоб синтаксичні зв’язки позначалися стрілками, потрібно натиснути плюс біля deps)
3.1. Простий пошук
Пошук за однією ознакою називається простим. Представлена анотація (назви граматичних категорій, використовувані граматичні позначення тощо) залежить від структури кожного текстового корпусу, а не від інструмента ANNIS.
Звертаємо увагу, що під час формування запиту потрібно розрізняти великі й малі літери.
3.1.1. Пошук точних словоформ (рядків символів)
Простий пошук здійснюється із зазначенням назви категорії, знака рівності та значення категорії, записаного в англійських лапках, наприклад:
• lemma="kalba" (такий запит означає, що шукається лема kalba);
• pos="ADJ" (шукаються прикметники);
• gram=".M.SG.GEN." (шукаються слова, вжиті в певних граматичних категоріях, у цьому випадку — у формі родового відмінка однини чоловічого роду).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Щоб знайти конкретну словоформу в тексті, потрібно вказати назву категорії tok або просто ввести шукану форму в лапках, наприклад:
• tok="pasakė" або "pasakė".
В обох анотованих корпусах можна шукати леми, частини мови, граматичні категорії та конкретні словоформи, а в ALKSNYJE можна також шукати синтаксичні позначки, наприклад:
• syfun="Atr" (шукаються атрибути).
В ALKSNYJE також можна шукати відношення залежності (deps), але їх шукають за іншим принципом (див. 3.2.3).
3.1.2. Пошук структур символів
ANNIS дає змогу виконувати пошук за допомогою регулярних виразів (англ. regular expressions); їх позначають спеціальними символами. Запит для пошуку за регулярними виразами записують загалом так само, як запит для пошуку точних словоформ, лише англійські лапки потрібно замінити косими рисками.
3.1.2.1. Пошук будь-яких символів
Найважливіший спеціальний символ — крапка: вона замінює будь-який один символ (літеру, цифру тощо), наприклад:
• lemma=/pl.t.s/ (шукаються, наприклад, platus, plotis, plitus);
• /p.sak.s/ або tok=/p.sak.s/ (шукаються, наприклад, pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ або tok=/201./ (шукаються, наприклад, 2010, 2011, 2012...).
Оскільки крапка може замінювати будь-який знак, сам символ крапки потрібно шукати за допомогою комбінації зворотної косої риски та крапки (\.), наприклад:
• gram=/^\..\SG\.GEN\./ (шукаються, наприклад, .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Пошук одного з кількох символів
Замість пошуку повністю невизначених символів у запиті можна вказати кілька конкретних символів, які потрібно знайти. Їх записують у квадратних дужках, наприклад:
• lemma=/pl[ao]t.s/ (шукаємо, наприклад, platus, plotis, але не plitus);
• /t[ei]lp./ або tok=/t[ei]lp./ (шукаємо, наприклад, telpa, tilpo, але не talpa);
• /201[0124]/ або tok=/201./ (шукаємо 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
Звертаємо увагу, що таким способом пошук виконується за одним символом із зазначеного набору символів: /dirb[aius]/ дає змогу знайти dirba, dirbi, dirbu, dirbs, але не dirbau або dirbsi.
3.1.3. Оператори повторення
Можна повторювати (звичайні та спеціальні) символи, наприклад:
• lemma=/..važiuoti/ (шукаємо, наприклад, nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);
• /dirb[ao][mt]e/ або tok=/dirb[ao][mt]e/ (шукати dirbame, dirbate, dirbome, dirbote).
У такий спосіб кількість шуканих символів є сталою, наприклад, два символи в наведених прикладах (або [ao][mt]); отже, за запитом lemma=/..važiuoti/ ви не отримаєте результатів із лемою įvažiuoti. Більше можливостей дають оператори повторення; вони мають такі значення:
•? – певний символ ужито один раз або не вжито жодного разу;
• + – певний символ ужито щонайменше один раз (тобто один, два, три, чотири чи більше разів);
• * – певний символ ужито n разів (тобто його може бути зовсім не вжито, або його вжито один, два чи більше разів)
Ці оператори допомагають шукати символи, що стоять після них або перед ними, наприклад:
• /šauk[aiu]*/ або tok=/šauk[aiu]*/ (шукаються, наприклад, šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ або tok=/šauk[aiu]+/ (шукаються, наприклад, šauki, šaukia, šaukiu, але не šauk);
gram=/.*\.F\..*/ (шукається послідовність.F. між будь-якими іншими послідовностями символів).
Варто зазначити, що такі структури, як [aiu]* або [aiu]+, не впливають на порядок шуканих символів. Отже, подаються результати, що містять a або i, або u + a; або i, або u + a; або i, або u.... Отже, розпізнаються такі комбінації символів: aaa, i, uuuuu, uiua, uua тощо.
3.1.4. Пошук альтернатив
Вертикальна риска (|) дає змогу шукати альтернативи, наприклад:
лема="поганий" | лема="хороший";
/d(au|ū)ž.*/ arba tok=/d(au|ū)ž.*/ (шукаються, наприклад, daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (шукаються.~COMP. і.~SUP. між будь-якими послідовностями символів);
"tik" | "tiktai" arba tok="tik" | tok="tiktai" (шукаються tik і tiktai).
3.1.5. Негативно сформовані запити
Хоча така можливість корисніша для комбінування ознак у складних пошуках, у простих пошуках також можна вказати, що саме не потрібно шукати, наприклад:
pos!="NOUN" (шукаються всі слова, які не є іменниками);
tok!=/.*[ąaęeėįiyiouųū]/ (шукаються всі словоформи, які не закінчуються на голосну).
Якщо не вибрано запит для складного пошуку (див. 3.2), негативно сформовані прості запити можуть спричинити проблеми, особливо якщо вони охоплюють багато слів (як у першому випадку — іменників), тож цей запит слід використовувати обережно.
3.2. Складений пошук
Складений пошук утворюється з кількох простих пошуків. Також потрібна додаткова частина, яка описує зв’язки між простими пошуками (зазначеними за позицією). Кожна частина простого пошуку поєднується знаком амперсанда (&).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Комбінації ознак для одного слова
За простим пошуком шукають те саме слово, а зв’язок між простими пошуками виражається оператором комбінування (_=_), наприклад:
• "mano" & pos="PRON" & #1 _=_ #2 (шукати займенник mano, але не дієслово manyti у формі теперішнього часу третьої особи).
Таке формулювання запиту означає, що перший простий пошук (#1, тобто "mano" або tok="mano") і другий простий пошук (#2, тобто pos="PRON") стосуються того самого слова.
3.2.2. Комбінації слів
Якщо на основі простого пошуку формулюють запит для різних слів, оператор комбінування замінюють оператором послідовності (крапкою), наприклад:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (шукають слово у родовому відмінку після слова pilnas).
Число 1 після крапки означає, що #2 безпосередньо (без вставки) йде після #1. Число 2 означало б, що вставлено одне слово, 3 — два слова тощо. Замість.1 можна записати крапку без числа (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Можна уточнити інтервал за допомогою коми, наприклад.2,4 (із вставкою від одного до трьох слів). Якщо розмір вставки не має значення, потрібно записати крапку та зірочку (*).
В одному складеному запиті можна використовувати оператори послідовності та комбінування, наприклад:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (шукають слова у формі родового відмінка, які не є прикметниками, після слова pilnas).
3.2.3. Пошук синтаксичних залежностей
Структури залежностей також можна шукати за допомогою комбінованого пошуку з оператором безпосереднього керування ->, наприклад:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (шукаються іменники, які керують прикметниками, наприклад, daugiabutis namas);
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
ПІДСУМКОВІ ЗАУВАЖЕННЯ
Текстові корпуси MATAS і ALKSNIS є важливими ресурсами литовської мови. Вони потрібні для подальших етапів комп’ютеризації мови. З цих корпусів можна отримати кількісні дані про розподіл частин мови, граматичних форм і синтаксичних функцій, найчастотніші леми, граматичні форми тощо (кілька конкретних кількісних досліджень можна знайти в таких працях: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS використовували для навчання аналізатора semantika.lt (для оцінювання якості анотування).
У майбутньому необхідно й надалі розвивати автоматичний синтаксичний аналіз. Передусім можна було б поліпшити якість синтаксичного анотування: уточнити синтаксичні функції, доповнити їх новими мітками (наприклад, уточнити обставини відповідно до їхньої семантики: місця, способу, часу тощо). На початку синтаксичного анотування виникло чимало неоднозначностей анотування, тому варто було б обговорити деякі синтаксичні випадки, наприклад анотування складених присудків, еліпсис, розмежування безсполучникових частин і пояснювальних конструкцій, статус деяких частин мови тощо.
Інший напрям роботи — збільшення самого корпусу. Варто було б доповнити жанрові частини корпусу, наприклад, залучити більше наукових і науково-популярних текстів. Крім того, корпус необхідно конвертувати в широко використовуваний міжнародний формат Universal Dependency (див. рис. 18; тут не вказано граматичні мітки, у прикладі синтаксично анотовано фінський мовний зразок).
РИС. 18. Формат Universal Dependency
Одна з головних цілей автоматичного синтаксичного аналізу — створити синтаксичний аналізатор, що працює на статистичній основі (англ. statistically-based parser), заснований на ALKSNIS як еталоні синтаксичного аналізу та призначений для анотування великих обсягів тексту.
За наявності можливостей синтаксичний аналіз можна розширити й в інших напрямах, наприклад, анотуванням тематичних ролей (англ. thematic role annotation). Це певне семантичне представлення, пов’язане з валентністю. Цей рівень у внутрішній системі синтаксичного анотування присвоєно кожному слову, і нині він публічно недоступний, оскільки є радше експериментальним, не до кінця розробленим і не перевіреним. Також корисно було б позначити сталі сполуки (англ. multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
вирази, MWE22), до яких належать колокації та фразеологізми. Досі в корпусі їх не позначали, за винятком морфологічних сполук, компоненти яких об’єднано в одну одиницю (наприклад, поки що, здалеку), що мають одну морфологічну та синтаксичну функцію (найчастіше їх позначають як прислівники й обставини). Також планується позначати анафоричні відношення (коли в одному реченні вжито іменник, а в наступному реченні (або в іншій частині речення) його замінено займенником, тобто позначати зв’язки між займенником і замінюваним ним іменником).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
