Cu peste 100 de ani în urmă, datorită eforturilor lui Jonas Jablonskis (1901, 1918, 1922), limba lituaniană a început să fie standardizată și adaptată pentru a deveni principalul mijloc de unificare a statului. Încă din prima Gramatica limbii lituaniene a lui Jonas Jablonskis (1901), fonetica, morfologia și sintaxa limbii lituaniene au fost formalizate: au fost definite conceptele de bază, iar regulile de flexiune a cuvintelor și de structură a propoziției au fost prezentate (vezi fig. 1).
FIG. 1. Fragment din Gramatica limbii lituaniene a lui Jonas Jablonskis, 19012
Contribuția inestimabilă a lui Jonas Jablonskis la standardizarea lexicului limbii lituaniene și la explicarea particularităților semantice ale cuvintelor.
Multă vreme, acest lucru a fost pe deplin suficient pentru elevi și profesori, scriitori și cititori, funcționari și oameni de știință. Odată cu apariția unei inovații care a schimbat civilizația — computerele — gramatica și lexicul clasice au avut nevoie să „îmbrace o haină nouă” și să devină o parte pe deplin funcțională a noilor
1 Articolul a fost elaborat pe baza comunicării Gramatica limbii lituaniene în lumea codului sursă deschis, prezentată la cea de-a 24-a conferință internațională Jonas Jablonskis, Resurse lingvistice digitale: direcții de dezvoltare și posibilități de utilizare (29.09.2017); conferința a fost organizată de Centrul de Cercetare a Limbii Standard al Institutului de Limba Lituaniană și de Catedra de Limba Lituaniană a Universității din Vilnius.
2 Imagine din http://www.epaveldas.lt/vbspi/biRecord.do?biRecordId=25383.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 2
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 2
parte a tehnologiilor. Mai întâi, cunoștințele de limbă au devenit necesare în calculatoare pentru codificarea textului (transformarea literelor în numere), corectarea automată a erorilor din textul introdus și silabisirea textului din coloanele aliniate bilateral. Puțin mai târziu, au fost necesare pentru căutarea informațiilor, analiza și sinteza vorbirii, traducerea automată dintr-o limbă în alta, înțelegerea automată a conținutului, analiza „sentimentelor” textului etc. Aspectele lingvistice trebuiau formalizate în detaliu și consemnate într-un mod diferit, inteligibil pentru calculatoare. Cel mai important dintre acestea este morfologia, deoarece constituie baza oricăror lucrări mai aprofundate de lingvistică computațională (sintaxă, analiză semantică etc.).
Prima astfel de lucrare a fost realizată la cumpăna dintre secole de Vytautas Zinkevičius, programator la fabrica experimentală „Bitas” (1996, 2000). Timp de aproape două decenii, aceasta a fost un instrument indispensabil și unic pentru cercetarea modernă a limbii lituaniene și pentru aplicațiile informatice. Sistemul a fost utilizat cu succes pentru detectarea greșelilor de ortografie în programele de editare a textelor, precum și pentru analiza și sinteza morfologică în lucrări științifice și aplicative la Institutul de Limbă Lituaniană, la Universitatea Vytautas Magnus (unde lucrările sale au primit numele „Lemuoklis”) și la Universitatea din Vilnius. A fost creat chiar și un variant al acestui sistem, adaptat pentru analizarea limbii lituaniene vechi (Gelumbeckaitė și colab. 2012). Însă, pe măsură ce nevoile lingvisticii computaționale s-au extins, au început să iasă în evidență neajunsurile sistemului: structuri de date nestandardizate și nesolicitate; cod închis; implementarea incompletă a numelor proprii, ilativului, dualului, viitorului verbelor primare și a formelor scurtate și rare. Codul închis a împiedicat în mod deosebit dezvoltarea ulterioară a sistemului — în practică, numai autorul însuși putea modifica datele și algoritmul.
Pentru a evita neajunsurile descrise mai sus și a crea o morfologie computațională a limbii lituaniene de nouă generație, au fost formulate următoarele cerințe:
1) să se utilizeze și să se creeze numai cod cu sursă deschisă;
2) numai datele, nu și forma sau interpretarea lor, pot avea caracteristici specifice limbii lituaniene;
3) întregul cod de program trebuie să fie universal, potrivit pentru orice altă limbă;
4) să se valorifice soluțiile adaptate cu succes pentru alte limbi ale lumii.
Platforma Hunspell3îndeplinește bine cerințele menționate. În plus, descrierea limbii în acest mod permite verificarea ulterioară, cu ușurință, a greșelilor de ortografie în numeroase (peste 50) aplicații (OpenOffice, LibreOffice, Firefox, Chrome, Safari, InDesign etc.), efectuarea analizei și sintezei morfologice a cuvintelor, căutarea inteligentă a informațiilor textuale etc.
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 3
Acest articol prezintă o nouă implementare a morfologiei limbii lituaniene, bazată pe platforma Hunspell. Sunt discutate problemele asociate și modalitățile de soluționare a acestora, fiind prezentate exemple de testare reușită și de aplicare practică.
1. PARTICULARITĂȚILE FORMATULUI HUNSPELL PENTRU DESCRIEREA LIMBII LITUANIENE
1.1. Premisele apariției platformei Hunspell și principiile generale
Platforma open-source Hunspell s-a dezvoltat din cele mai simple instrumente de verificare ortografică, precum Ispell4, Aspell5, MySpell6 și altele. Pe măsură ce au devenit treptat mai complexe și au fost adaptate pentru tot mai multe limbi (în special limbi aglutinante – finlandeză, maghiară, turcă etc.), a devenit posibilă rezolvarea nu doar a problemelor de verificare ortografică, ci și a celor de analiză și sinteză morfologică. Autorii acestei platforme extrem de populare la nivel mondial sunt, în principal, cercetători și ingineri-programatori de origine maghiară (Trón et al. 2005). Nu este de mirare că primul element al denumirii sale, „Hun-”, provine de la numele Ungariei în limba engleză.
Morfologia unei limbi este descrisă în platforma Hunspell prin două fișiere text: regulile de flexiune sunt consemnate în fișierul cu extensia .aff, iar dicționarul formelor de cuvinte, cu informații morfologice inițiale și referințe la unul sau mai multe grupuri de reguli de flexiune care pot fi aplicate suplimentar, este consemnat în fișierul cu extensia .dic. O regulă individuală poate fi imaginată ca o instrucțiune care specifică:
1) Ce anume poate fi înlocuit cu ce într-un cuvânt din dicționarul de forme. De exemplu, în regula
SFX 85 čias ty [^š]čias is:Masc_Sg_Voc
„SFX” indică faptul că se modifică terminația cuvântului, iar „-čias” poate fi înlocuit cu „-ty”.
„PFX” ar indica faptul că se modifică începutul cuvântului. Modificările din interiorul cuvântului nu sunt prevăzute.
2) Numărul grupului de reguli de flexiune căruia îi aparține această regulă. Un grup poate cuprinde una sau mai multe reguli, care se aplică întotdeauna împreună. În exemplul anterior, regula aparține grupului cu numărul „85”.
3) Condițiile în care este posibilă înlocuirea (se utilizează un anumit formalism al expresiilor regulate). În exemplul nostru, înlocuirea este posibilă numai cu condiția ca terminația cuvântului din dicționarul de forme să nu fie „-ščias” (de exemplu, „vaikiščias”).
4) Informațiile morfologice asociate acestei înlocuiri. În exemplul nostru, o astfel de modificare a terminației cuvântului este asociată cu eticheta morfologică „Masc_Sg_Voc” (genul masculin, numărul singular, cazul vocativ, de exemplu, „svety”).
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 4
Mai multe informații despre principiile de elaborare a regulilor de flexiune și de specificare a informațiilor morfologice în Hunspell pot fi găsite pe site-ul acestei platforme7, iar posibilitățile de descriere a morfologiei diferitelor limbi pe această platformă sunt analizate destul de bine în teza de doctorat a lui Tommi A. Pirinen (2014).
1.2. Cerințe specifice pentru implementarea în limba lituaniană
Pentru ca o astfel de formalizare a limbii să fie adecvată analizei și sintezei morfologice, indexării informațiilor textuale și căutării, trebuie îndeplinite următoarele două cerințe:
1) în dicționarul formelor cuvintelor pot fi introduse numai lemele (formele de bază);
2) derivarea cu prefixe, sufixe și forme reflexive trebuie să se reflecte nu în .aff, ci în fișierul .dic.
Prima cerință nu este ușor de îndeplinit în limba lituaniană din cauza varietății mari a flexiunii verbelor (aproximativ 170 de variante), însă posibilitatea platformei Hunspell de a apela o regulă de flexiune dintr-o altă regulă a contribuit la rezolvarea problemei. Deși „adâncimea” unor astfel de apeluri poate fi de numai unu, aceasta reduce considerabil dimensiunea fișierului cu regulile de flexiune – de la câteva milioane la câteva zeci de mii de rânduri.
Îndeplinirea celei de-a doua cerințe mărește întrucâtva dimensiunea fișierului .dic, deoarece, de exemplu, formele derivate prin prefixare, sufixare și reflexivizare de la aceeași rădăcină – „imti”, „paimti”, „suimti” și „nesiimti” – vor fi introduse pe rânduri separate. Și aceasta nu este singura consecință negativă a cerinței: se poate omite cu ușurință vreun derivat verbal sau adjectival mai rar folosit. Este adevărat că această problemă este abordată destul de cuprinzător prin selectarea lemelor în primul rând din corpusuri acumulate, nu din dicționare publicate.
1.3. Fragmente de fișiere.dic și.aff în limba lituaniană (exemple)
În figura 2 sunt prezentate câteva fragmente ale fișierului .dic (dicționar) pentru limba lituaniană, cu echivalentele cuvintelor-exemplu ale lui Jonas Jablonskis evidențiate cu caractere aldine.
FIG. 2. Fragment din fișierul .dic cu formele cuvintelor. Numerele de după bara oblică indică referințe la grupurile de reguli de flexiune adresabile. Referințele evidențiate cu roșu indică grupurile de reguli prezentate în FIG. 3.
În fig. 3 sunt prezentate câteva fragmente din fișierul .aff cu regulile de flexiune ale limbii lituaniene:
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_I
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Dat
SFX 145 ys iams. is:Masc_Pl_Dat
SFX 145 este iam. is:Masc_Pl_Dat_short
SFX 145 ys iam. is:Masc_Pl_Dat_short
SFX 145 este ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 is iais. is:Masc_Pl_Inst
SFX 145 ys iais. is:Masc_Pl_Inst
SFX 145 is iuose. is:Masc_Pl_Loc
SFX 145 ys iuose. is:Masc_Pl_Loc
SFX 145 iuos. is:Masc_Pl_Loc_short
SFX 145 ys iuos. is:Masc_Pl_Loc_short
FIG. 3. Fragmente ale fișierului de reguli de flexiune .aff. Sunt evidențiate câteva reguli folosite în continuare pentru a ilustra analiza morfologică.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 6
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 6
Folosind descrierea limbii prezentată în exemple și instrumentele standard de analiză Hunspell (independente de limbă), am obține următorul răspuns pentru cuvintele-exemplu ale lui Jono Jablonskis (vezi Fig. 4).
FIG. 4. Exemplu de analiză morfologică a cuvintelor
2. DESFĂȘURAREA LUCRĂRII ȘI REZULTATE
Odată ce este elaborată o descriere lingvistică completă în formatul Hunspell (adică sunt create fișierele corespunzătoare .dic și.aff), se deschid posibilități practic nelimitate pentru aplicații practice – de la verificarea ortografică sau gramaticală până la sisteme inteligente de căutare a informațiilor. Din cauza morfologiei destul de complexe a limbii lituaniene (numeroase reguli și grupuri ale acestora) și a necesității de a corela lista de leme cu corpusuri mari (de peste 1 miliard de cuvinte), care reflectă starea reală a limbii lituaniene scrise contemporane, au fost necesari aproximativ 5 ani de la primele încercări până la elaborarea unei versiuni a morfologiei care să funcționeze fără probleme. Exemplele prezentate anterior în acest articol sunt mai degrabă ilustrative, destinate doar înțelegerii ideii; în realitate, regulile și grupurile lor sunt mult mai complexe, mai ales cele legate de verbe.
Pentru a accelera elaborarea morfologiei și a evita erorile la enumerarea miilor de reguli și asocierea lor cu lemele, la început a fost creată o descriere inițială a morfologiei, mai abstractă decât cea cerută de specificațiile Hunspell (regulile – într-un tabel MS Excel, lemele și clasificarea lor – într-o bază de date MS Access). De asemenea, au fost create instrumente software pentru transformarea automată a acestor structuri inițiale, mai ușor de citit și de înțeles de către oameni, în fișierele .aff și.dic sau într-un alt format dictat de specificul aplicației. Cea mai recentă versiune a fișierelor lituaniene .aff și.dic este disponibilă pe site-ul GitHub al autorului8.
Pe parcursul întregului proces de formalizare a morfologiei au fost utilizate următoarele surse principale:
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 7
1) Gramatica limbii lituaniene contemporane (DLKG 2006);
2) Corpusul limbii lituaniene contemporane al Universității Vytautas Magnus (denumită în continuare VDU)9 – ~140 de milioane de cuvinte;
3) Corpusul de traducere automată al Universității din Vilnius10 – ~800 de milioane de cuvinte, ~4 milioane de forme unice;
4) Documentele Seimasului Republicii Lituania (denumit în continuare LRS)11 – ~400 de milioane de cuvinte, ~1 milion de forme unice;
5) Dicționarul limbii lituaniene contemporane (DŽ 2006) – ~60 de mii de leme;
6) Dicționarul limbii lituaniene12 – ~500 de mii de articole;
7) Dicționarul cuvintelor internaționale (VTŽŽe) – ~22 de mii de leme;
8) Dicționarul numelor de familie lituaniene (LPŽ) (~80 de mii de nume de familie).
În total, au fost elaborate aproximativ 5 000 de grupuri de reguli accesibile (18 000 de reguli individuale). Repartizarea grupurilor de reguli pe părți de vorbire este prezentată în Figura 5.
FIG. 5. Distribuția grupurilor de reguli flexionare în funcție de părțile de vorbire
Fișierul .dic (dicționarul) a fost alcătuit din 171 000 de leme. Distribuția lemelor în funcție de părțile de vorbire este ilustrată în figura 6.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 8
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 8
FIG. 6. Distribuția lemelor în funcție de părțile de vorbire
În procesul de selecție, ne-am limitat la limba lituaniană contemporană corectă și am evitat cuvintele incorecte, nelituaniene, nerecomandate, jignitoare și ieșite din uz. Substantivele proprii au fost împărțite suplimentar în nume de familie, prenume, denumiri geografice și alte cazuri. O astfel de selecție facilitează utilizarea morfologiei create pentru verificarea ortografiei și permite folosirea mai ușoară a rezultatelor analizei în etapele ulterioare ale analizei textului (sintaxă, recunoașterea entităților numite, indexare și căutare).
Precizia analizatorului morfologic nou creat este de aproximativ 98%, adică, în medie, analizatorul morfologic interpretează corect 98 din 100 de cuvinte (Kapočiūtė-Dzikienė și colab. 2017). Celelalte 2% dintre cuvintele nerecunoscute sunt, de obicei, greșeli de ortografie, cuvinte din alte limbi (prenume, nume de familie, citate din fraze etc.), cuvinte nerecomandate sau nenormative și cuvinte corecte care nu au fost incluse în lista lemelor.
3. APLICARE PRACTICĂ
3.1. Sistemul de analiză sintactică-semantică al VDU
Morfologia limbii lituaniene dezvoltată recent în platforma Hunspell a fost adaptată, între 2011 și 2015, pentru sistemul de analiză sintactică-semantică al VDU13, în vederea verificării ortografiei și gramaticii și a efectuării analizei morfologice și sintactice a textului (a se vedea fig. 7). Analiza morfologică a fost completată cu o dezambiguizare statistică bazată pe o metodă mixtă, statistică și bazată pe reguli (model Markov ascuns, probabilități ale trigramelor aproximate pe baza etalonului de aur, algoritmul Viterbi, câteva excepții). Dezambiguizarea în analiza morfologică este tratată mai pe larg în publicația semnată de Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė și Loïc Boizou (2017).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 9
FIG. 7. Hunspell aplicarea morfologiei limbii lituaniene în sistemul de analiză sintactică-semantică al VDU
3.2. Sistemul de căutare al registrului de acte juridice al LRS
În perioada 2011–2013, în paralel cu dezvoltarea unei noi morfologii a limbii lituaniene, aceasta a fost adaptată pentru sistemul de căutare al Registrului actelor juridice din cancelaria LRS14. De regulă, în astfel de sisteme, înainte de efectuarea primei căutări, toate documentele sunt indexate prin lematizare, adică toate cuvintele din documente sunt înlocuite cu lemele lor și se memorează unde apare fiecare lemă. Înainte de executarea interogării de căutare, textul acesteia este de asemenea lematizat în același mod, astfel încât ulterior să fie găsită nu numai forma cuvântului scrisă în interogare, ci și orice altă formă a cuvântului prezentă în documentele căutate. Deoarece în acest sistem nu era posibilă utilizarea directă a datelor .dic,.aff, formatul original necesar sistemului (un fișier text în care fiecare linie este de forma [lemă] [parte de vorbire] → [listă de forme]) a fost generat din descrierea morfologică primară menționată anterior. Deși din această descriere pot fi generate aproximativ 15 milioane de forme de cuvinte teoretic posibile, din cauza limitărilor interne ale sistemului de căutare au fost folosite numai aproximativ 1 milion dintre cele mai frecvente. Această soluție s-a dovedit eficientă: căutarea funcționează destul de bine și este utilizată până în prezent (a se vedea fig. 8).
14 Acces online: https://www.e-tar.lt
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 10
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 10
FIG. 8. Aplicarea morfologiei limbii lituaniene în căutarea din Registrul actelor juridice al LRS
4.3. Sistem open-source de indexare și căutare a documentelor Solr/Lucene15
Pentru a valorifica mai pe larg avantajele și experiența acumulată ale soluțiilor open-source, în urma implementării morfologiei limbii lituaniene în Registrul actelor juridice, a fost creat un sistem de indexare și căutare a documentelor lituaniene pe baza Solr/Lucene. Aplicarea directă a datelor .dic,.aff în acest sistem este posibilă, dar foarte ineficientă; de aceea, a fost înlocuită cu un transductor finit de stări (FST – Finite State Transducer), construit din descrierea morfologică primară menționată anterior și generând toate formele de cuvinte teoretic posibile conform acestei descrieri. Această soluție permite nu numai indexarea și găsirea cu precizie a tuturor formelor de cuvinte dorite, ci și accelerarea indexării de sute de ori, iar rezultatele căutării pot fi obținute folosind diverse relații semantice, ținând cont de informații taxonomice-semantice suplimentare. De exemplu, dacă în interogare este specificat cuvântul „gyvatė” („șarpe”), sistemul caută suplimentar „angis” („viperă”), „barškuolė” („șarpe cu clopoței”) și altele (a se vedea fig. 9), în timp ce, dacă în interogare este specificat cuvântul „angis”, rezultatele căutării nu vor mai conține nici „gyvačių” („șerpilor”), nici „barškuolių” („șerpilor cu clopoței”) (Ralys, Dadurkevičius 2017).
15 Acces online: http://lucene.apache.org/solr/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 11
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 11
FIG. 9. Exemplu de aplicare a morfologiei limbii lituaniene într-un sistem open-source de indexare și căutare a documentelor Solr/Lucene
4. PERSPECTIVE
Pentru a extinde aplicarea implementării morfologiei limbii lituaniene pe platforma Hunspell, ar trebui dezvoltate două direcții: varianta limbii normative și varianta completă (limba normativă și cea nenormativă). Prima variantă ar permite continuarea sarcinilor de verificare ortografică și formularea de recomandări pentru corectarea încălcărilor normelor lingvistice, în timp ce a doua ar fi potrivită pentru rezolvarea unor sarcini aplicative de analiză a limbii vii.
O sarcină viitoare nu mai puțin importantă este completarea continuă a dicționarului morfologic cu cuvinte care nu au fost incluse și cu cele nou-apărute, corectarea erorilor identificate în regulile de flexiune și în clasificarea cuvintelor și publicarea, cel puțin o dată pe an, a celor mai recente versiuni .dic,.aff.
Folosind experiența deja acumulată, ar fi ușor să se pregătească și o descriere formală a dialectelor lituaniene (în special a celui samogitian) sau a limbii lituaniene vechi din scrierile vechi.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 12
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 12
ŠALTINIAI
DLKG 2006 – Dabartinės lietuvių kalbos gramatika. Red. Vytautas Ambrazas. 4-oji pataisyta laida, Vilnius: Mokslo ir enciklopedijų leidybos institutas.
DŽ 2006 – Dabartinės lietuvių kalbos žodynas (elektroninis). Vyr. red. Stasys Keinys. 6-as leid. Vilnius: Lietuvių kalbos institutas.
LKŽe – Lietuvių kalbos žodynas, elektroninis variantas. Red. kolegija: Gertrūda Naktinienė (vyr. red.), Jonas Paulauskas, Ritutė Petrokienė, Vytautas Vitkauskas, Jolanta Zabarskaitė, Vilnius: Lietuvių kalbos institutas, 2005. Atnaujinta versija, 2008. Prieiga internete: www.lkz.lt.
LPŽ – Aleksandras Vanagas (red.), Lietuvių pavardžių žodynas 1–2, Vilnius: Mokslas, 1985–1989.
VTŽŽe 2003 – Vaitkevičiūtė V. Tarptautinių žodžių žodynas (elektroninis). Vilnius: Fotonija.
LITERATŪRA
Gelumbeckaite ir kt. 2012: Gelumbeckaite J., Šinkūnas M., Zinkevičius V. Old Lithuanian Reference Corpus (SLIEKKAS) and Automated Grammatical Annotation. – Journal for Language Technology and Computational Linguistics (JLCL), 2012. - 27.2. Altüberlieferte Sprachen als Gegenstand der Texttechnologie. Ancient Languages as the Object of Text Technology, ed. by Armin Hoenen, Thomas Jügel, Gesellschaft für Sprachentechnologie und Computerlinguistik (GSCL), 83–96 p.
Jablonskis J. 1901: Lietuviškos kalbos gramatika. Rašytojams ir skaitytojams vadovėlis. Parašė Petras Kriaušaitis. Tilžėje 1901. Spausdinta pas Otto v. Mauderode. 88 p.
Jablonskis J. 1918: Lietuvių kalbos gramatika: etimologija: pirmosioms mūsų aukštesniosioms mokslo įstaigoms / P. Kriaušaičio ir Rygiškių Jono. Vilnius: Lietuvių mokslo draugija. 237 p.
Jablonskis J. 1922: Lietuvių kalbos gramatika: etimologija: vidurinėms mokslo įstaigoms / Rygiškių Jonas. 2-asis leid. Kaunas; Vilnius: „Švyturio“ b-vė, (Tilžė: Otto v. Mauderodės sp.). 280 p.
Kapočiūtė-Dzikienė J. ir kt. 2017: Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė, Loïc Boizou Comparison of Lithuanian Morphological Analyzers. – Text, Speech, and Dialogue. 20th International Conference, TSD 2017, Prague, August 27–31, 2017, Proceedings, 47–56.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 13
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 13
Ralys D., Dadurkevičius V. 2017: Informacijos paieškos sistemos ir lietuvių kalba, [žiūrėta 2017-10-30]. Prieiga internete:
Tommi A Pirinen 2014: Weighted Finite-State Methods in Spell-Checking and Correction, Doctoral dissertation, University of Helsinki.
Trón V. ir kt. 2005: Viktor Trón, András Kornai, György Gyepesi, László Németh, Péter Halácsy, and Dániel Varga. 2005. Hunmorph: open source word analysis. – Proceedings of the Workshop on Software (Software '05). Association for Computational Linguistics, Stroudsburg, PA, USA, 77–85.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimo lingvistiniai aspektai. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 148–154.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimas. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 155–162.
Zinkevičius V. 2000: Lemuoblis – morfologinei analizei. – Darbai ir dienos 24, 245–273.
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 14
LITHUANIAN MORPHOLOGY IN THE HUNSPELL FRAMEWORK
Summary
The paper presents the results of an attempt to build basic Lithuanian language resources using the widespread Hunspell platform. The spelling is actually the primary target of this open-source platform but the morphological analysis and synthesis are also possible. Moreover, the ability to efficiently perform lemmatization (stemming) makes this platform the best option for text search engines (e.g. Solr/Lucene) and information retrieval. Taggers, grammar checkers and other basic natural language processing tools can also be build using properly built Hunspell language resources.
Every Hunspell language resource consists of two files: dictionary and affixes (it may be empty). The dictionary contains main forms (lemmas) whereas the affixes contain the morphological rules to generate all possible forms. As a source for the dictionary we have used the Modern Lithuanian Dictionary (6-th edition), Corpus of the Contemporary Lithuanian Language compiled at the Center of Computation Linguistics of Vytautas Magnus University, database of documents of the Lithuanian Parliament, versti.eu machine translation corpus of Vilnius University and various public internet sources (totally 1.3 billion tokens). Main criteria for semi-manual compilation of the Lithuanian dictionary of lemmas from these sources was correctness, usability, actuality and approval by language authorities. Deprecated loanwords or extremely rare, exotic, obsolete, jargon, insulting forms were discarded from the list. Resulting dictionary consists of 171 000 lemmas: 42 000 common nouns, 73 000 proper nouns, 15 000 adjectives, 53 pronouns, 153 numerals, 35 000 verbs, 4 000 adverbs and 2 000 others (prepositions, conjunctions, particles, onomatopoeias, interjections, acronyms and abbreviations).
The second component of language resource, the so called “affix file”, contains information of various kind: metadata, preferable suggestions for spelling correction, grouping of rules, explicit tags for flexing and non-flexing properties, rules for suffix and affix alteration.
In order to make the Hunspell resources suitable for creating basic language tools, e.g. morphological analyzer and synthesizer, some principles should be kept:
1) every flexion paradigm (consisting of one or more rules) should be thoroughly generated from one single lemma in dictionary file (it is not trivial, especially for irregular verbs);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 15
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 15
2) every individual alteration case should have its own morphological tag, e.g. ‘Masc_Sg_Il’ for masculine + singular + illative;
3) every dictionary item should have references for part of speech and other non-flexing information;
4) avoid prefixation via rules, use dictionary instead – affixed forms may have completely different meanings and using them under single lemma may cause problems for text search engines;
5) do not rely much on calling rules from rules – calling depth can by no more than 1.
The coverage of the contemporary Lithuanian by this implementation of Lithuanian morphology is about 98 percent. The full list of all the theoretically possible forms generated by this resource contains about 17 million entries.
This work clearly shows an efficient way for any language (especially with scarce funding resources) to make basic language tools using a single open source development platform – the Hunspell.
