BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
VIRGINIJUS DADURKEVIČIUS
Uni e si à di Vilnius
LIETUVI LINGUOSO MORFOLOGIA ATVIROJO CODO
HUNSPELL PLATFORMA
1
ESMINIAI VODŽIAI: kompu e inė ling is ika, lie u ių kalba, g amma ica, mo ologija,
mo ologinė analizė, ašybos ik inimas, eks o indeksa imas, paieška, appe asis
kodas, Hunspell.
ĮVADAS
Più di 100 anni a Jono Jablonskio s o ziami (1901, 1918, 1922) la lingua Li uanea inizia a no min i e
ada a a esse e p incipale S a o unijancia p iemone. Già nella p imaione Jono Jablonskio Li u iškos
kalbos g ama ikoje (1901) one ica, mo ologia e sin aksė della lingua li uanea sono s a i
o malizza i: de ini i i conce i p incipali, p esen a e pa ole di cai ybos e egole sanda os del
asinio (ž 1 igu a.).
1 PAV. Iš auka da Jono Jablonskio Lie u iškos kalbos g ama ikos 1901
2
Ines imabile è il con ibu o di Jono Jablonski no minando la lingua leksiką, spiegando
seman iche pa icola i à delle pa ole.
Lgą empo ques o comple amen e bas ò agli s uden i e insegnan i, sc i o i e le o i, ammincini e
scienzia i. A si adus ci il à cambiančiai inno o ei compu ai classica g amma ika e lessikai so silo
necessi àbè apside k i nuo o d abužį e di en a e isa e e nuo i
1
L'a icolo p epa a o secondo la elazione G amma ica della lingua Li uania nel mondo di codice ape o, le i a a alla 24oia
con e enza in e nazionale Jono Jablonskio Skai meniniai kalbos iš ekliai, jų plė os k yp ys i naudojimo galimybės (2017
09 29); ją o ganizzò Li u ians lingua ins i u o Bend inės kalbos y imų cen as e Vilniaus uni e si e o
della Li uania ka ed a.
2
Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383.
VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanie del codice ape o hunspell pla o moje |2
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
ecnologia. P ima di u o le cose linguis iche nei compu e hanno ichies o codeggiando es o
(keičian aides į skaičius), au oma icamen e co egendo gli e o i del es o in odo o,
skiemenuando abipusės ligiuo ės skilčių eks ą. Quan o più a di pe la ice ca di in o mazioni,
pa olaccia analisi e sin esi, pe la aduzione au oma ica da una lingua in un'al a, pe la pe cezione
au oma ica di con enu o, es o sensiminea analisi e . . Le cose del linguaggio obbliga ano esse e
smulkmenicialmen e o malizza e e isc i e e in un al o, ai compu e pe cepibile modo. Il più
impo an e di ques i emi mo ologia, pe ché ques o è qualsiasi app o ondugnesnių compu e ine
lingu is icas la o i (sin aksė, seman inė analizė e e c.) base. P imà ale la o o amžių sandū oje
esegui o del p og amma o e spe imen ale abb ica Bi as Vy au as Zinke ičius (1996, 2000). Be eik due
decenni è s a o ques o nepamainoma e unico s umen o con empo aniškam linguaggio li uani
s udiamen o e compu e ini applicazioni. Ques o sis ema è s a o u ilizza o con successo pe ile a e
e o i di o og a ia nei p og ammi di edagamen o dei es i, nonché pe l'analisi mo ologica e la
sin esi in la o i scien i ici e applicomuosi esegui i all'Is i u o Lie u ių kalbos, Vy au as Didžiojo (allì i
suoi la o i ice e e o Lemuoklio nome) e Vilniaus uni e si e uose. Fu pe sino c ea a una a ian e di
ques o sis ema, ada a a alla ecchia lingua Li uania analizza e (Gelumbeckai ė e k . 2012). Tu a ia,
con l'espansione dei bisogni della linguis ica in o ma ica comincia ono a isal a e i di e i di ques o
sis ema: non s anda da ine, non desc i e s u u e dei da i; chiuso codice; ne isa e is ik inių
a dų, ilia i o, d iskai os, pi minių eiksmažodžių u u o empo, su umpėjusių bei e ų o mų
ealiza imas. In pa icola e ques a sis ema alimesniam s iluppoim è os acola o chiuso codice da i e
algo i mo p a icamen e po e a cambia e solo lo s esso au o e.
Al ine di e i a e p eceden emen e desc i i di e i e c ea e una nuo a gene azione
in o ma ica mo ologia della lingua li uana, sono s a e solle a e le seguen i esigenze:
(1) u ilizza e e s iluppa e solo il codice ape o;
2) solo i da i, ma non la lo o o ma e in e p e azione, possono a e e speci ici dei li uanici
ca a e is iche linguis iche;
3) u o il codice di p og ammazione de e esse e uni e sus, al i qualsiasi al a lingua; 4)
s u a e al e lingue del mondo con soluzioni ada a e con successo. Minus equisi i è ben
co isponden e la pia a o ma Hunspell. Beside, esegui e in ale modo ap ašius linguà,
3
successi amen e non du amen e.), è possibile e i ica e e o i di o og a ia in mol i (o e 50)
applicomųjų p og ammi (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign e .
e e ua e pa ole mo ologica analisià e sin ezę, in ellec ina paesccia di in o mazioni es uali
e pan.
3
P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ologia della lingua Li uania a codice ape o hunspell pia a o ma |3
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
In ques o a icolo ediamo insieme nuo e mo ologie della lingua Li uania ealizzandone Hunspell
pia a o ma. Vengono discusse i p oblemi co ela i e le lo o soluzioni, engono o ni i esempi di
successo di es e di applicazione p a ica.
1.LITUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS
1.1.I p esuppos i di nasci a della pia a o ma Hunspell e i p incipi gene ali
Il codice ape o Hunspell pia a o ma espandi o e da semplici più s umen i di e i ica della
o og a ia Ispell, Aspell, MySpell e pan. Pamažu endendole più complesse e ada andole semp e
4
di e si ica e alle lingue (especialmen e aglipaču inacinėms suomi, eng ų, u kų e e c.), di enne
5
possibile isol e e non solo il con ollo della sc i u a, ma e mo ologiche analisi e sin ezè i
6
compi i. Ques a pia a o ma es emamen e popola e nel mondo au o i […] p incipalmen e
scienzia i e ingegne iip og amma o i di o igine ung ì (T ón e k . 2005). Non nuo amen e, che il
suo nome p imo dėmen o Hun- è secondo Veng ijos nome inglese. La mo ologia del linguaggio
Hunspell nella pia a o ma desc i e due ex ile: plė iniu.a zpisa e cai ybos egole, e
plė iniu.dic zpisa o diziona io delle o me delle pa ole con iniziine mo ologine in o mazioni e
i e imen i in una o poche egole kai ybos g uppi, che ul e io men e possono esse e applica e.
A ski ą egolae si può immagina e come is uzione, nella quale indica: 1) Cosa in cosa si può
cambia e in pa ola da o mų ocodyno. P z., egola SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX
segna che cambia a la pa ola pabaiga, e cambia e è possibile čias in y. PFX segne ebbe, che si
cambia l'inizio della pa ola. Cambiamen i del mezzo della pa ola non è p e is o. 2) Nume ois del
g uppo di egole di canizione a cui si a ibuisce ques a egola. G uppe possono cos i ui e una o
più egole, che engono semp e applica e insieme. Nel p eceden e esempiozdyia egola è
assegna a a un g uppo, la cui numbe is è 85. 3) Condizioni, so o le quali, il cambio è possibile
(applica un ce o o malismo di esp essioni egola i). Nel nos o esempiozdy il cambio è possibile
solo con la condizione che della pa ola da o me e dyno pabaiga non ščias ( ecc., aikiščias). 4)
In o mazione Mo ologica, lega a a ques o cambio. nell'esempio con ale cambiamen o del e mine
della nos a è associa o un ma chio mo ologico Masc_Sg_Voc ( y iškoji giminė, ienaskai a,
šauksmininko eselnis, p z., s e y).
4
P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml.
5
Accedo in e ne : h p://aspell.ne .
6
Accedo in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell.
VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanie nella pia a o ma di codice ape o
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |4 Più de aglia amen e con Hunspell cai ybos egole di compilazione e p incipi di
indicazione mo ologiche si può amilia izza e sul si o di ques a pia a o ma, e la possibili à di
7
desc izione della mo ologia delle a ie lingue in ques a pia a o ma abbas anza bene
esnaglia a nella dise azione Tommi A. Pi ineno (2014).
1.2. Requisi i speci ici Li u iškajam ealiza imui
Pe che ale o malizzazione del linguaggio alga all'analisi mo ologica, sin esi, in o mazione
es uale indicizza e e in accia e, occo e soddis a e i seguen i due equisi i: 1) Nel diziona io
delle o me di pa ole possono esse e inse i e solo lemos ( o me so os an e); 2) p iešdėlinė,
p iesaginė e sang ąžinė da yba de e a sispinde e ne.a , o.dic aile. Il p imo equisi o in lingua
Li uania non è acile implemen a e a causa della g ande azione mažodžių cai ybos a ie ài o ė
(apie 170 a i di), ma isol e e ques a p oblemà ha aiu a o la possibili à della pia a o ma Hunspell
da una egola cai ybos k ies is al a. Anche se ali cospi i […]gylis può esse e uguale solo all'uni à,
ques o iduce no e olmen e il ile size delle egole di ca ibosi à da qualche milione di a
qualcheolica migliaia di eilučių.
Soddis acimen o del secondo equisi o quan o espande.dic ailo dimensioni, pe ché, ad esempio, delle
s esse šaknie im i, paim i, suim i e nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai sa anno
egis a i sepa a o in ighe. E ques o non è l'unica conseguenza nega i a di ques a ichies a si può
acilmen e ab iga si e non include e di qualche qual mai a amen e usa o e biamoio o a ibu i o
del ammen i. Gius o, ques o p oblema è abbas anza de aglia amen e isolciu a lemas
a e nendo sop a u o non da espos i dizionynì, ma da accumula ì eks ynì.
Lie u iškųjų.dic e 1.3..a ileų agmen ai (pa yzdžiai) Keli lie u ių kalbos.dic ailo
(žodyno) agmen ai con pa yškin ais Jono Jablonskio a i ik pa yzdinių žodžių
a i ikmenimis mos a i 2 pa eiksle.
7
P iega in e ne : h ps://gi hub.com/hunspell/hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ologia della lingua Li uanie codice ape o hunspell pia a o ma
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
|5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b
laukas/1,3,7,10,14,12,20,21,30,9999 po:noun
Lauka ičienė,1038,740,745,9999 po:noun_ amily_name
...
s ečias/1467,17,1767,1775,1781,1784,1841,9999 po:adjec i e
s ečias1,73,85,93,94,98,1007,116,997 po:noun
s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e
S ečiulienė/738,740,745,999999 po:noun_ amily_name
...
Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name
gaidys,264,268,278,280,287,8,300,302,999999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e
peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peili/12,20,20,20,20,20,14,9999 po:noun
Gaipus/444,264,278,998,284,284,992,999,999,99 po:noun_geog aphic_name peilinis 2 P. Ve odžių o mų.dic ailo
...
agmen as. Skaičiai po pas i ojo b ūkšnio ma ca i e imen i in indi izza iamo cai ybos egole g uppies.
In osso pa yškin i i e imen i a g uppi di egole, che mos a i 3 PAV. Fig. 3 engono o ni i qualche
linguaggio li uano cai ybo delle egole.a ailo ammen i:
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_Il
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Da
SFX 145 ys iams. is:Masc_Pl_Da
SFX 145 is iam. is:Masc_Pl_Da _sho
SFX 145 ys iam. is:Masc_Pl_Da _sho
SFX 145 is ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 is iais. is:Masc_Pl_Ins
SFX 145 ys iais. is:Masc_Pl_Ins
SFX 145 is iuose. is:Masc_Pl_Loc
SFX 145 ys iuose. is:Masc_Pl_Loc
SFX 145 is iuos. is:Masc_Pl_Loc_sho
SFX 145 ys iuos. is:Masc_Pl_Loc_sho
3 PAV. Kai ybos egole.a ailo agmen i. Pa iškin i pa ecchie egole, che ul e io men e u ilizza e
all'analisi mo ologica illus a e.

VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
Usojendo in esempi p esen a a la desc izione della lingua e s anda dine (nuo lingua indipenden e)
Hunspell analisi mezzi, Jono Jablonskio esempio pa ole pe iamo ale ispos a (ž .
4 ig. ).
4 PAV. Esempio di analisi delle pa ole mo ologiche
2. OBRA I IGAZA E RESULTATI
Quando già iene cos i ui o isa e is desc is lingua o ma o Hunspell ( . y. c ea i
co ispondami.dic e.a ailai), ap ia p a i icamen e illimi a e possibili à p a iche applicazioni
cominciando spelling o g amma icosa e i icim e inendo ismaniosi sis emi paesškos in o mazioni. A
causa abbas anza complessa della mo ologia della lingua li uani (daug egole e lo o g uppi) e
necessi àbili à lemų są ašą da ni con didelie (più di 1 ml d. pa ole) es ynai, i liminčiais ealią
a uale sc i a della lingua li uani, ichiese ci ca 5 anni dal p imi en a i i ino sco imen o del
mo ologio che ungi smoo hly a ian o. An e io men e in ques o a icolo ipo a i esempi sono più
illus a i i, des ina i solo idėjai capi e; in eal à egole e lo o g uppi sono mol o più complica i,
specialmen e quelle che sono associa e con azionimažodži. Allo scopo di accele a e il empo di
c eazione della mo ologia e e i a e e o i sc i endo migliaia di egole e assegnandole ai lemmi,
inizialmen e è s a a c ea a una p ima ia, più as a a della desc izione della mo ologia ichies a
nelle speci iche Hunspell (co ykles MS Excel abelle a, lemos e la lo o classi icazione MS Access
da abase). Anche sono s a e s iluppa e s umen i so wa e a ques e p ima ie, uomo più
age olmen e leggibili e p as amen e pe cepibili s u u om au oma icamen e pe a ky i in.a
e.dic ileus o al a, applicazione speci ica di una o maci a a. La più ecen e e sione
lie u iškųjų.a e.dic ile di iene p esen a a au o iaus Gi Hub si o.
8
Du an e l'in e o p ocesso di o malizzazione della mo ologia sono s a e u ilizza e ques e p incipali on i:
8
P iega in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l .
VIRGINIJUS DADURKEVIČIUS. mo ologia della lingua Li uania open code hunspell pia a o ma |7 1)
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
Daba inės lie u ių kalbos g ama ika (DLKG 2006);
2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas
9
–
~140 mln. pa ole;
3) Texynas di aduzione au oma ica
10
dell'Uni e si à di Vilnia ~800 mln. pa ole, ~4 mln.
unikali;
4) Seimo della Repubblica Li uana ( LRS)
11
documen ai ~400 mln. pa ole, ~1 mln.
unikali;
5) O ac i e diziona io della lingua Li uania (DŽ 2006) ~60 mila. lemų;
6) Diziona io della lingua
12
Li uania ~500 mille. a icoli;
7) In e nazionali dic iona i di pa ole (VTŽŽe) ~22 mila. lemų; 8) Lie u os pa a džių žodynas
(LPŽ) (~80 ūks . pa a džių). In o ale è s a a cos i ui a ci ca 5000 g uppi di egole
indi izzabili (18 000 indi iduali egole). Come le egole g uppi s'isc i schiusie secondo pa e
della lingua, mos a a 5 igu aiksle. 5 PAV. Kai ybos egole g uppi di appo zionamen o
secondo pa e della lingua.dic ileas (žodynas) è s a o cos i ui o da 171 000 lemų. Come
lemos sisci schiusi secondo pa e della lingua, puzzia a 6 immiksle.
9
Accesso in e ne : h p:// eks ynas. du.l / eks ynas/.
10
Accesso online: h ps://www. e s i.eu/.
11
Accedo online: h p://www.l s.l /.
12
Accedo in e ne : h p://www.lkz.l /.
Dik a o džiai (370)
Būdo niji (238)
Skai a džiai (55)
Į a džiai (64)
Veiksmažodžiai (4161)
P ie eiksmiai (13)
VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanie codice ape o hunspell pla o moje |8 6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
PAV. Lemų siissis uzione secondo pa e della lingua malidingų, nelie u iškų, ne eik inų, įžeidžiančių,
Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama
nebe a ojamų žodžių. Ve inie cosaik a o dzii u ono ul e io men e sca a i in pau des, nomi,
nomi geog a ici e al i casi. Tale selezione acili a l'applicazione della mo ologia c ea a a sc i u a
di e i ica e pe me e isul a i dell'analisi più acilmen e applica i in successi e asi di analisi del
es o (sin axė, in inci i indesi à iconoscimen o, indicizzazione e paesca).
L'accu a ezza del nuo o s iluppa o analizza o e mo ologico è di ci ca 98 pe cen o, i. i.
mediamen e 98 su 100 pa ole mo ologico analizza o e in e p e a co e amen e
(Kapočiū ė-Dzikienė e k . 2017). Il es an e 2 pe cen o. non iconosciu i pa ole spesso
cos i uiscono e o i di o og a ia, al e lingue pa ole ( a di, pa a des, azių ci a as e e c.),
ne eik ini, neno minie pa ole e egole pa ole, che non sono s a e incluse nella lemų lis a.
3. PRACTICA TAIKYMAS
3.1. VDU Sin aksinės-seman inės analizės sis ema Nuo amen e c ea a mo ologia della lingua
li uana in pia a o ma Hunspell negli anni 20112015 è s a a ada a a in VDU
Sin aksinės-seman inės analizės sis ema pe spelling e g amma ica e i ica e, esegui e es o
13
mo ologina e sin assina analisi (ž . ig. 7). Mo ologica analisiè è s a a appoggia a mis ia
s a is ica-co ezionale uni echnisminimo (pascėp o modello di Ma ko , secondo s anda d d'o o
app ossima e ig amì p obabili à, Vi e bio algo i mo, poche eccezioni). Piu os o su
una eikšminimą nell'analisi mo ologica sc i e Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės e
Loïc Boizou pubblicazione (2017).
13
Accedo in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis.
Daik a a džiai (bend iniai) (41820)
Daik a a džiai ( ik iniai) (73697)
Būd a džiai (14552)
Skai a džiai (153)
Į a džiai (53)
Veiksmažodžiai (34662)
P ie eiksmiai (3850)
Al i (2290)
VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanee a codice ape o hunspell pla o moje |9 7
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
PAV. Hunspell applicazione della mo ologia delle lingue li uanee VDU Sin aksinės-seman inės analizės sis ema
3.2. LRS egis o legisla i i paesškos sis ema
Negli anni 20112013 pa allelamen e con nuo a c eazione della mo ologia della lingua Li uania eni a
suo ada amen o Teisės ak ų egis o paieškos sis ema LRS kancelia ijoje. No malmen e in ali
14
u i i documen i delle pa ole engono cambia i in lo o lemas e įsidėmima, do e quale lema e a. P ima
sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y.
eseguendo paesškos užklausą il suo es o anche lemui a o in ale s esso modo, quindi
successi amen e si o a non solo nell'in oluc o isc i a o ma di pa ola, ma e qualsiasi al a o ma
di quella pa ola, che si o i a ieškomų dokumen ų. Poiché nel sis ema non e a possibile u ilizza e
di e amen e.dic.a da i, il sis ema ichiede un o iginalus o ma ( es us ile, di cui ciascuna igaè
è [lema] [pa e del linguaggio] [ o mų są ašas]) è s a o gene uoja o p eceden emen e da
menziona o p ima io desc izione della mo ologia. Anche se da ques a desc izione si può gene a e
ci ca 15 mln. eo icamen e possibili o me di pa ole, a causa dei limi i in e ni del sis ema paesškos di
lo o sono s a i u ilizza i solo ci ca 1 mln. pačių equniosi. Tale soluzione è anda a bene, pa sea chka
unziona abbas anza luidamen e e iene u ilizza a ino adesso (c . ig. 8).
14
P iege in e ne : h ps://www.e- a .l.