Vor mehr als 100 Jahren begann man dank der Bemühungen von Jonas Jablonskis (1901, 1918, 1922), die litauische Sprache zu normieren und sie als wichtigstes verbindendes Mittel des Staates einzurichten. Bereits in der erstenLietuviškos kalbos gramatikoje von Jonas Jablonskis (1901) waren die Phonetik, Morphologie und Syntax der litauischen Sprache formalisiert: Die grundlegenden Begriffe wurden definiert, Regeln zur Flexion der Wörter und zum Satzbau angegeben (siehe Abb. 1).
ABB. 1. Auszug aus Jonas Jablonskis’ Lietuviškos kalbos gramatikos 19012
Jonas Jablonskis leistete einen unschätzbaren Beitrag zur Normierung des litauischen Wortschatzes und zur Erläuterung semantischer Besonderheiten von Wörtern.
Lange Zeit reichte dies für Schüler und Lehrer, Schriftsteller und Leser, Beamte und Wissenschaftler völlig aus. Mit dem Aufkommen der zivilisationsverändernden Neuerung – der Computer – entstand für die klassische Grammatik und Lexik die Notwendigkeit, sich „ein neues Gewand anzulegen“ und zu einem vollwertigen Bestandteil der neuen
1 Der Beitrag wurde auf der Grundlage des Vortrags Grammatik der litauischen Sprache in der Open-Source-Welt verfasst, der auf der 24. internationalen Jonas-Jablonskis-Konferenz Digitale Sprachressourcen, ihre Entwicklungsrichtungen und Nutzungsmöglichkeiten (29.09.2017) gehalten wurde; sie wurde vom Zentrum für Untersuchungen der Standardsprache des Instituts für litauische Sprache und vom Lehrstuhl für litauische Sprache der Universität Vilnius organisiert.
2 Abbildung aus http://www.epaveldas.lt/vbspi/biRecord.do?biRecordId=25383.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 2
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 2
zu einem Teil der Technologien. Zunächst wurden sprachliche Ressourcen in Computern benötigt, um Texte zu kodieren (Buchstaben in Zahlen umzuwandeln), Eingabefehler automatisch zu korrigieren und Texte in Spalten mit beidseitigem Randausgleich zu silbentrennen. Etwas später kamen Informationssuche, Sprachanalyse und -synthese, maschinelle Übersetzung von einer Sprache in eine andere, automatisches Textverständnis, die „emotionale“ Textanalyse usw. hinzu. Sprachliche Ressourcen mussten detailliert formalisiert und in einer anderen, für Computer verständlichen Form notiert werden. Die wichtigste dieser Ressourcen ist die Morphologie, denn sie bildet die Grundlage jeder eingehenderen Arbeit in der Computerlinguistik (Syntax, semantische Analyse usw.).
Die erste derartige Arbeit führte um die Jahrhundertwende Vytautas Zinkevičius, Programmierer des Versuchsbetriebs „Bitas“, durch (1996, 2000). Fast zwei Jahrzehnte lang war sie das unersetzliche und einzige Werkzeug für die zeitgemäße Erforschung des Litauischen und für computergestützte Anwendungen. Das System wurde erfolgreich zur Erkennung von Rechtschreibfehlern in Textverarbeitungsprogrammen sowie für morphologische Analysen und Synthesen in Forschungs- und Anwendungsprojekten am Institut für Litauische Sprache, an der Vytautas-Magnus-Universität (wo seine Arbeiten den Namen „Lemuoklis“ erhielten) und an der Universität Vilnius eingesetzt. Es wurde sogar eine Variante dieses Systems entwickelt, die für die Analyse des Alt-Litauischen angepasst war (Gelumbeckaitė u. a. 2012). Mit den wachsenden Anforderungen der Computerlinguistik traten jedoch die Schwächen des Systems zunehmend zutage: nicht standardisierte, nicht angeforderte Datenstrukturen; geschlossener Quellcode; unvollständige Implementierung von Eigennamen, Illativ, Dual, Futurformen primärer Verben sowie verkürzten und seltenen Formen. Die Weiterentwicklung des Systems wurde besonders durch den geschlossenen Quellcode behindert – Daten und Algorithmus konnte praktisch nur der Autor selbst ändern.
Um die zuvor beschriebenen Mängel zu vermeiden und eine Computermorphologie des Litauischen der nächsten Generation zu entwickeln, wurden folgende Anforderungen formuliert:
1) ausschließlich Open-Source-Software verwenden und entwickeln;
2) spezifische Eigenschaften des Litauischen dürfen nur die Daten aufweisen, nicht aber deren Form und Interpretation;
3) der gesamte Programmcode muss universell sein und sich für jede andere Sprache eignen;
4) erfolgreiche Lösungen nutzen, die für andere Sprachen der Welt angepasst wurden.
Die genannten Anforderungen erfüllt die Hunspell-Plattform3 gut. Außerdem lassen sich nach einer solchen Sprachbeschreibung Rechtschreibfehler problemlos in zahlreichen (mehr als 50) Anwendungsprogrammen überprüfen (OpenOffice, LibreOffice, Firefox, Chrome, Safari, InDesign usw.), Wörter morphologisch analysieren und synthetisieren, eine intelligente Suche in Textinformationen durchführen usw.
3 Zugang im Internet: https://en.wikipedia.org/wiki/Hunspell.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 3
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 3
Dieser Artikel gibt einen Überblick über eine neue Implementierung der litauischen Morphologie auf Grundlage der Plattform Hunspell. Erörtert werden damit verbundene Probleme und ihre Lösungsansätze; außerdem werden Beispiele für erfolgreiche Tests und praktische Anwendungen vorgestellt.
1. BESONDERHEITEN DES HUNSPELL-FORMATS ZUR BESCHREIBUNG DER LITAUISCHEN SPRACHE
1.1. Entstehungsvoraussetzungen und allgemeine Prinzipien der Plattform Hunspell
Die Open-Source-Plattform Hunspell entwickelte sich aus den einfachsten Rechtschreibprüfungswerkzeugen Ispell4, Aspell5, MySpell6 und anderen. Indem diese nach und nach komplexer gestaltet und an immer mehr Sprachen angepasst wurden (insbesondere an agglutinierende Sprachen wie Finnisch, Ungarisch, Türkisch usw.), wurde es möglich, nicht nur Aufgaben der Rechtschreibprüfung, sondern auch der morphologischen Analyse und Synthese zu lösen. Die Entwickler dieser weltweit äußerst beliebten Plattform sind überwiegend Wissenschaftler und Ingenieure-Programmierer ungarischer Herkunft (Trón ir kt. 2005). Es ist nicht überraschend, dass der erste Bestandteil ihres Namens, „Hun-“, auf die englische Bezeichnung für Ungarn zurückgeht.
Die Morphologie einer Sprache wird auf der Plattform Hunspell durch zwei Textdateien beschrieben: In der Datei mit der Erweiterung .aff werden die Flexionsregeln festgehalten, und in der Datei mit der Erweiterung .dic wird ein Wörterbuch der Wortformen mit grundlegenden morphologischen Informationen und Verweisen auf eine oder mehrere Gruppen von Flexionsregeln gespeichert, die zusätzlich angewendet werden können. Eine einzelne Regel lässt sich als Anweisung verstehen, in der Folgendes angegeben wird:
1) Was im Wort aus dem Wortformenwörterbuch durch was ersetzt werden kann. Zum Beispiel in der Regel
SFX 85 čias ty [^š]čias is:Masc_Sg_Voc
„SFX“ kennzeichnet, dass die Wortendung geändert wird; dabei kann „-čias“ durch „-ty“ ersetzt werden.
„PFX“ würde kennzeichnen, dass der Wortanfang geändert wird. Änderungen in der Wortmitte sind nicht vorgesehen.
2) Die Nummer der Flexionsregelgruppe, zu der diese Regel gehört. Eine Gruppe kann aus einer oder mehreren Regeln bestehen, die stets gemeinsam angewendet werden. Im vorherigen Beispiel gehört die Regel zur Gruppe mit der Nummer „85“.
3) Die Bedingungen, unter denen die Änderung möglich ist (dabei kommt ein bestimmter Formalismus für reguläre Ausdrücke zum Einsatz). In unserem Beispiel ist die Änderung nur dann möglich, wenn die Endung des Wortes aus dem Wortformenwörterbuch nicht „-ščias“ lautet (z. B. „vaikiščias“).
4) Die mit dieser Änderung verbundene morphologische Information. In unserem Beispiel ist mit einer solchen Änderung der Wortendung die morphologische Kennzeichnung „Masc_Sg_Voc“ (maskulines Genus, Singular, Vokativ, z. B. „svety“) verknüpft.
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 4
Ausführlicher mit den Prinzipien zur Erstellung von Flexionsregeln und zur Angabe morphologischer Informationen in Hunspell kann man sich auf der Website dieser Plattform vertraut machen7; die Möglichkeiten, die Morphologie verschiedener Sprachen auf dieser Plattform zu beschreiben, werden in der Dissertation von Tommi A. Pirinen (2014) recht umfassend untersucht.
1.2. Spezifische Anforderungen an die Implementierung für das Litauische
Damit eine solche Formalisierung der Sprache für morphologische Analyse und Synthese sowie für die Indexierung und Suche textueller Informationen geeignet ist, müssen die folgenden zwei Anforderungen erfüllt werden:
1) In das Wörterbuch der Wortformen dürfen nur Lemmata (Grundformen) aufgenommen werden;
2) Präfix-, Suffix- und Reflexivbildung muss nicht in der Datei .aff, sondern in der Datei .dic abgebildet werden.
Die erste Anforderung lässt sich im Litauischen aufgrund der großen Vielfalt der Verbflexion (etwa 170 Varianten) nicht leicht umsetzen; bei der Lösung dieses Problems half jedoch die Möglichkeit der Hunspell-Plattform, von einer Flexionsregel eine weitere aufzurufen. Obwohl die „Tiefe“ solcher Aufrufe nur eins betragen kann, verringert dies die Größe der Flexionsregeldatei erheblich – von mehreren Millionen auf einige Zehntausend Zeilen.
Die Erfüllung der zweiten Anforderung vergrößert die Datei .dic etwas, da beispielsweise die präfigierten, suffigierten und reflexiven Ableitungen derselben Wurzel „imti“, „paimti“, „suimti“ und „nesiimti“ in getrennten Zeilen eingetragen werden. Dies ist jedoch nicht die einzige negative Folge dieser Anforderung – leicht kann auch ein seltener verwendetes Verb oder eine Adjektivableitung übersehen und ausgelassen werden. Dieses Problem wird allerdings recht umfassend angegangen, indem die Lemmata vor allem nicht aus veröffentlichten Wörterbüchern, sondern aus gesammelten Textkorpora ausgewählt werden.
Einige Fragmente der litauischen .dic-Datei (des Wörterbuchs) mit hervorgehobenen Entsprechungen der Beispielwörter von Jonas Jablonskis sind in Abbildung 2 dargestellt.
ABB. 2. Ein Fragment der Datei .dic mit Wortformen. Die Zahlen nach dem Schrägstrich verweisen auf die adressierten Gruppen von Flexionsregeln. Rot hervorgehobene Verweise auf Regelgruppen, die in ABB. 3 gezeigt werden.
Abb. 3 zeigt einige Ausschnitte aus der Datei .aff mit Regeln zur Flexion im Litauischen:
SFX 21 Y 1
SFX 21 als uosna. is:Masc_Pl_I
...
SFX 98 Y 2
SFX 98 als ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 ist is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 ist iams. is:Masc_Pl_Dat
SFX 145 ys iams. is:Masc_Pl_Dat
SFX 145 is iam. is:Masc_Pl_Dat_kurz
SFX 145 ys iam. is:Masc_Pl_Dat_kurz
SFX 145 is ius. is:Masc_Pl_Akk
SFX 145 ys ius. is:Masc_Pl_Akk
SFX 145 ist iais. ist:Masc_Pl_Inst
SFX 145 ys iais. ist:Masc_Pl_Inst
SFX 145 is iuose. is:Masc_Pl_Lok
SFX 145 ys iuose. is:Masc_Pl_Lok
SFX 145 is iuos. is:Masc_Pl_Lok_kurz
SFX 145 ys iuos. is:Masc_Pl_Lok_kurz
ABB. 3. Fragmente der Flexionsregeln .aff-Datei. Einige Regeln sind fett hervorgehoben; sie werden im Folgenden zur Veranschaulichung der morphologischen Analyse verwendet.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 6
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 6
Unter Verwendung der in den Beispielen dargestellten Sprachbeschreibung und der standardmäßigen (sprachunabhängigen) Hunspell-Analysemittel erhielte man für die Beispielwörter von Jonas Jablonskis die folgende Ausgabe (siehe Abb. 4).
ABB. 4. Beispiel für die morphologische Wortanalyse
2. ABLAUF DER ARBEIT UND ERGEBNISSE
Sobald eine vollständige Sprachbeschreibung im Format Hunspell erstellt ist (d. h. die entsprechenden Dateien .dic und.aff angelegt sind), eröffnen sich praktisch unbegrenzte Möglichkeiten für praktische Anwendungen – von der Rechtschreib- oder Grammatikprüfung bis hin zu intelligenten Informationssuchsystemen. Aufgrund der recht komplexen Morphologie des Litauischen (zahlreiche Regeln und Regelgruppen) und der Notwendigkeit, das Lemmaverzeichnis mit großen Korpora (mit mehr als 1 Mrd. Wörtern) abzugleichen, die den tatsächlichen Zustand der heutigen geschriebenen litauischen Sprache widerspiegeln, vergingen etwa fünf Jahre von den ersten Versuchen bis zur Entwicklung einer reibungslos funktionierenden Morphologie. Die zuvor in diesem Artikel dargestellten Beispiele dienen eher der Veranschaulichung und sollen lediglich die Grundidee vermitteln; in der Praxis sind die Regeln und Regelgruppen wesentlich komplexer, insbesondere jene, die sich auf Verben beziehen.
Um die Entwicklungszeit der Morphologie zu verkürzen und Fehler beim Auflisten Tausender Regeln und ihrer Zuordnung zu Lemmata zu vermeiden, wurde zunächst eine vorläufige, abstraktere Morphologiebeschreibung erstellt, als sie die Spezifikationen von Hunspell verlangen (Regeln in einer MS-Excel-Tabelle, Lemmata und ihre Klassifikation in einer MS-Access-Datenbank). Außerdem wurden Softwarewerkzeuge entwickelt, um diese vorläufigen, für Menschen leichter lesbaren und verständlicheren Strukturen automatisch in Dateien .aff und.dic oder in eine andere, durch die jeweilige Anwendungsspezifikation vorgegebene Form umzuwandeln. Die neueste Version der litauischen Dateien .aff und.dic wird auf der GitHub-Website des Autors8 bereitgestellt.
Während des gesamten Formalisierungsprozesses der Morphologie wurden die folgenden Hauptquellen verwendet:
Insgesamt wurden etwa 5.000 adressierbare Regelgruppen (18.000 Einzelregeln) erstellt. Die Verteilung der Regelgruppen auf die Wortarten ist in Abbildung 5 dargestellt.
ABB. 5. Verteilung der Flexionsregelgruppen nach Wortarten
Die Datei .dic (Wörterbuch) wurde aus 171.000 Lemmata erstellt. Wie die Lemmata auf die Wortarten verteilt sind, ist in Abbildung 6 dargestellt.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 8
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 8
ABB. 6. Verteilung der Lemmata nach Wortarten
Bei der Auswahl wurde ausschließlich auf korrektes modernes Litauisch beschränkt; fehlerhafte, nichtlitauische, nicht standardsprachliche, beleidigende und nicht mehr gebräuchliche Wörter wurden vermieden. Eigennamen wurden zusätzlich in Familiennamen, Vornamen, geografische Bezeichnungen und sonstige Fälle unterteilt. Eine solche Auswahl erleichtert den Einsatz der entwickelten Morphologie bei der Rechtschreibprüfung und ermöglicht eine einfachere Nutzung der Analyseergebnisse in späteren Phasen der Textanalyse (Syntax, Erkennung benannter Entitäten, Indexierung und Suche).
Die Genauigkeit des neu entwickelten morphologischen Analysators liegt bei etwa 98 Prozent, d. h. im Durchschnitt interpretiert der morphologische Analysator 98 von 100 Wörtern korrekt (Kapočiūtė-Dzikienė et al. 2017). Die übrigen 2 Prozent der nicht erkannten Wörter bestehen meist aus Rechtschreibfehlern, Wörtern aus anderen Sprachen (Vornamen, Familiennamen, Zitate aus Phrasen usw.), nicht standardsprachlichen Wörtern sowie korrekten Wörtern, die nicht in das Lemmaverzeichnis aufgenommen wurden.
3. PRAKTISCHE ANWENDUNG
3.1. Das System zur syntaktisch-semantischen Analyse der VDU
Die neu entwickelte Morphologie der litauischen Sprache wurde 2011–2015 auf der Plattform Hunspell im System zur syntaktisch-semantischen Analyse der VDU13 eingesetzt, um Rechtschreibung und Grammatik zu prüfen sowie morphologische und syntaktische Textanalysen durchzuführen (siehe Abb. 7). Die morphologische Analyse wurde um eine gemischte statistisch-regelbasierte Disambiguierung ergänzt (Hidden-Markov-Modell, anhand eines Goldstandards approximierte Trigramm-Wahrscheinlichkeiten, Viterbi-Algorithmus, einige Ausnahmen). Eine ausführlichere Darstellung der Disambiguierung in der morphologischen Analyse findet sich in der Veröffentlichung von Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė und Loïc Boizou (2017).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 9
ABB. 7. Hunspell: Einsatz der Morphologie der litauischen Sprache im System zur syntaktisch-semantischen Analyse der VDU
3.2. Suchsystem des Rechtsaktsregisters der LRS
2011–2013 wurde parallel zur Entwicklung einer neuen Morphologie der litauischen Sprache deren Einsatz im Suchsystem des Rechtsaktsregisters in der Kanzlei der LRS14 vorangetrieben. Üblicherweise werden in solchen Systemen noch vor der ersten Suche alle Dokumente durch Lemmatisierung indexiert, d. h. alle Wörter in den Dokumenten werden durch ihre Lemmata ersetzt und es wird gespeichert, wo welches Lemma vorkam. Vor dem Absenden einer Suchanfrage wird auch deren Text auf dieselbe Weise lemmatisiert, sodass später nicht nur die in der Anfrage angegebene Wortform, sondern auch jede andere Form dieses Wortes gefunden wird, die in den durchsuchten Dokumenten vorkommt. Da in diesem System die Daten .dic,.aff nicht direkt verwendet werden konnten, wurde das vom System benötigte ursprüngliche Format (eine Textdatei, in der jede Zeile die Form [Lemma] [Wortart] → [Formenliste] aufweist) aus der zuvor erwähnten ursprünglichen Morphologiebeschreibung generiert. Obwohl sich aus dieser Beschreibung etwa 15 Millionen theoretisch mögliche Wortformen generieren lassen, wurden aufgrund interner Beschränkungen des Suchsystems nur etwa 1 Million der häufigsten Formen verwendet. Diese Entscheidung hat sich bewährt: Die Suche funktioniert recht reibungslos und wird bis heute genutzt (siehe Abb. 8).
14 Online-Zugang: https://www.e-tar.lt
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 10
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 10
ABB. 8. Anwendung der litauischen Morphologie bei der Suche im Rechtsaktregister des LRS
4.3. Open-Source-System zur Dokumentenindexierung und -suche Solr/Lucene15
Um die Vorteile und Erfahrungen des Open-Source-Ansatzes umfassender zu nutzen, die bei der Implementierung der litauischen Morphologie im Rechtsaktregister gesammelt wurden, wurde auf Grundlage von Solr/Lucene ein System zur Indexierung und Suche litauischer Dokumente entwickelt. Die direkte Verwendung der Daten .dic,.aff in diesem System ist möglich, aber sehr ineffizient. Deshalb wurde sie durch einen endlichen Zustandsumsetzer (FST – Finite State Transducer) ersetzt, der aus der zuvor erwähnten ursprünglichen Morphologiebeschreibung besteht und alle Wortformen generiert, die theoretisch gemäß dieser Beschreibung möglich sind. Diese Lösung ermöglicht nicht nur die präzise Indexierung und das Auffinden aller gewünschten Wortformen, sondern beschleunigt die Indexierung auch um das Hundertfache; zudem lassen sich Suchergebnisse unter Nutzung verschiedener semantischer Beziehungen und unter Berücksichtigung zusätzlicher taxonomisch-semantischer Informationen ermitteln. Wenn beispielsweise die Suchanfrage das Wort „gyvatė“ enthält, sucht das System zusätzlich nach „angis“, „barškuolė“ usw. (siehe Abb. 9). Wird in der Suchanfrage hingegen das Wort „angis“ angegeben, finden sich unter den Suchergebnissen weder „gyvačių“ noch „barškuolių“ (Ralys, Dadurkevičius 2017).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 11
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 11
ABB. 9. Beispiel für die Anwendung der litauischen Morphologie in einem Open-Source-System zur Dokumentenindexierung und -suche Solr/Lucene
4. AUSBLICK
Um die Implementierung der litauischen Morphologie auf der Plattform Hunspell umfassender anzuwenden, sollten zwei Varianten weiterentwickelt werden: eine Variante der Standardsprache und eine Vollvariante (Standard- und nichtstandardsprachliche Formen). Die erste Variante würde weiterhin Rechtschreibprüfungen ermöglichen und Empfehlungen zur Korrektur von Verstößen gegen Sprachnormen geben; die zweite wäre für anwendungsorientierte Aufgaben der Analyse gesprochener Sprache geeignet.
Eine nicht minder wichtige Aufgabe für die Zukunft besteht darin, das Morphologiewörterbuch fortlaufend um bislang nicht aufgenommene und neu entstehende Wörter zu ergänzen, erkannte Fehler bei Flexionsregeln und der Klassifizierung von Wörtern zu korrigieren und mindestens einmal jährlich die neuesten Versionen von .dic,.aff zu veröffentlichen.
Auf Grundlage der bereits gesammelten Erfahrungen ließe sich ohne Weiteres auch eine formale Beschreibung litauischer Dialekte (insbesondere des Samogitischen) oder der Sprache älterer litauischer Schriftzeugnisse erstellen.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 12
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 12
ŠALTINIAI
DLKG 2006 – Dabartinės lietuvių kalbos gramatika. Red. Vytautas Ambrazas. 4-oji pataisyta laida, Vilnius: Mokslo ir enciklopedijų leidybos institutas.
DŽ 2006 – Dabartinės lietuvių kalbos žodynas (elektroninis). Vyr. red. Stasys Keinys. 6-as leid. Vilnius: Lietuvių kalbos institutas.
LKŽe – Lietuvių kalbos žodynas, elektroninis variantas. Red. kolegija: Gertrūda Naktinienė (vyr. red.), Jonas Paulauskas, Ritutė Petrokienė, Vytautas Vitkauskas, Jolanta Zabarskaitė, Vilnius: Lietuvių kalbos institutas, 2005. Atnaujinta versija, 2008. Prieiga internete: www.lkz.lt.
LPŽ – Aleksandras Vanagas (red.), Lietuvių pavardžių žodynas 1–2, Vilnius: Mokslas, 1985–1989.
VTŽŽe 2003 – Vaitkevičiūtė V. Tarptautinių žodžių žodynas (elektroninis). Vilnius: Fotonija.
LITERATŪRA
Gelumbeckaite ir kt. 2012: Gelumbeckaite J., Šinkūnas M., Zinkevičius V. Old Lithuanian Reference Corpus (SLIEKKAS) and Automated Grammatical Annotation. – Journal for Language Technology and Computational Linguistics (JLCL), 2012. - 27.2. Altüberlieferte Sprachen als Gegenstand der Texttechnologie. Ancient Languages as the Object of Text Technology, ed. by Armin Hoenen, Thomas Jügel, Gesellschaft für Sprachentechnologie und Computerlinguistik (GSCL), 83–96 p.
Jablonskis J. 1901: Lietuviškos kalbos gramatika. Rašytojams ir skaitytojams vadovėlis. Parašė Petras Kriaušaitis. Tilžėje 1901. Spausdinta pas Otto v. Mauderode. 88 p.
Jablonskis J. 1918: Lietuvių kalbos gramatika: etimologija: pirmosioms mūsų aukštesniosioms mokslo įstaigoms / P. Kriaušaičio ir Rygiškių Jono. Vilnius: Lietuvių mokslo draugija. 237 p.
Jablonskis J. 1922: Lietuvių kalbos gramatika: etimologija: vidurinėms mokslo įstaigoms / Rygiškių Jonas. 2-asis leid. Kaunas; Vilnius: „Švyturio“ b-vė, (Tilžė: Otto v. Mauderodės sp.). 280 p.
Kapočiūtė-Dzikienė J. ir kt. 2017: Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė, Loïc Boizou Comparison of Lithuanian Morphological Analyzers. – Text, Speech, and Dialogue. 20th International Conference, TSD 2017, Prague, August 27–31, 2017, Proceedings, 47–56.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 13
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 13
Ralys D., Dadurkevičius V. 2017: Informacijos paieškos sistemos ir lietuvių kalba, [žiūrėta 2017-10-30]. Prieiga internete:
Tommi A Pirinen 2014: Weighted Finite-State Methods in Spell-Checking and Correction, Doctoral dissertation, University of Helsinki.
Trón V. ir kt. 2005: Viktor Trón, András Kornai, György Gyepesi, László Németh, Péter Halácsy, and Dániel Varga. 2005. Hunmorph: open source word analysis. – Proceedings of the Workshop on Software (Software '05). Association for Computational Linguistics, Stroudsburg, PA, USA, 77–85.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimo lingvistiniai aspektai. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 148–154.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimas. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 155–162.
Zinkevičius V. 2000: Lemuoblis – morfologinei analizei. – Darbai ir dienos 24, 245–273.
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 14
LITHUANIAN MORPHOLOGY IN THE HUNSPELL FRAMEWORK
Summary
The paper presents the results of an attempt to build basic Lithuanian language resources using the widespread Hunspell platform. The spelling is actually the primary target of this open-source platform but the morphological analysis and synthesis are also possible. Moreover, the ability to efficiently perform lemmatization (stemming) makes this platform the best option for text search engines (e.g. Solr/Lucene) and information retrieval. Taggers, grammar checkers and other basic natural language processing tools can also be build using properly built Hunspell language resources.
Every Hunspell language resource consists of two files: dictionary and affixes (it may be empty). The dictionary contains main forms (lemmas) whereas the affixes contain the morphological rules to generate all possible forms. As a source for the dictionary we have used the Modern Lithuanian Dictionary (6-th edition), Corpus of the Contemporary Lithuanian Language compiled at the Center of Computation Linguistics of Vytautas Magnus University, database of documents of the Lithuanian Parliament, versti.eu machine translation corpus of Vilnius University and various public internet sources (totally 1.3 billion tokens). Main criteria for semi-manual compilation of the Lithuanian dictionary of lemmas from these sources was correctness, usability, actuality and approval by language authorities. Deprecated loanwords or extremely rare, exotic, obsolete, jargon, insulting forms were discarded from the list. Resulting dictionary consists of 171 000 lemmas: 42 000 common nouns, 73 000 proper nouns, 15 000 adjectives, 53 pronouns, 153 numerals, 35 000 verbs, 4 000 adverbs and 2 000 others (prepositions, conjunctions, particles, onomatopoeias, interjections, acronyms and abbreviations).
The second component of language resource, the so called “affix file”, contains information of various kind: metadata, preferable suggestions for spelling correction, grouping of rules, explicit tags for flexing and non-flexing properties, rules for suffix and affix alteration.
In order to make the Hunspell resources suitable for creating basic language tools, e.g. morphological analyzer and synthesizer, some principles should be kept:
1) every flexion paradigm (consisting of one or more rules) should be thoroughly generated from one single lemma in dictionary file (it is not trivial, especially for irregular verbs);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 15
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 15
2) every individual alteration case should have its own morphological tag, e.g. ‘Masc_Sg_Il’ for masculine + singular + illative;
3) every dictionary item should have references for part of speech and other non-flexing information;
4) avoid prefixation via rules, use dictionary instead – affixed forms may have completely different meanings and using them under single lemma may cause problems for text search engines;
5) do not rely much on calling rules from rules – calling depth can by no more than 1.
The coverage of the contemporary Lithuanian by this implementation of Lithuanian morphology is about 98 percent. The full list of all the theoretically possible forms generated by this resource contains about 17 million entries.
This work clearly shows an efficient way for any language (especially with scarce funding resources) to make basic language tools using a single open source development platform – the Hunspell.
