BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
VIRGINIJUS DADURKEVIČIUS
Uni e sidade de Vilna
LIETUVI LIBROS MORFOLOGIA ATVIROJO CODO
HUNSPELL PLATFORMA
1
ESMINIAI VOODŽIAI: compu ado inė ling is ika, lie u ių kalba, g ama ica,
mo ologija, mo ologinė analizė, ašybos ik inimas, ex o indeksa imas, paieška,
código abe o, Hunspell.
ĮVADAS
Há mais de 100 anos Jono Jablonskio es o ços (1901, 1918, 1922) a língua li uânica iniciada no min i e
adap ada se p incipaline es ado pa a unijančia p iemone. Já na p imei a Jono Jablonskio Lie u iškos
kalbos g ama ikoje (1901) oné ica, mo ologia e sin aksė da língua li uânica o am o malizuados:
de inidos concei os p incipais, ap esen adas eg as de pala as cai ybos e sanda os sen inio (ž 1
igu a.).
1 PAV. Iš auka de Jono Jablonskio Lie u iškos kalbos g ama ikos 1901
2
Ines imá el é Jono Jablonski's con ibuição no minando leksiką da língua li uânica,
escla ecendo seman íneas peculia idades de pala as.
Longgą empo isso comple amen e bas ou a alunos e p o esso es, esc i o es e lei o ojos,
adminis inques e cien is as. A si adus ci ilização cambiančiai naujo ei compu ado es clássica
g ama ikai e leksikai le an ilo bū inybė apsi ilk i no o d abužį e o na isa e e no os
1
O a igo é p epa ado de aco do com a ap esen ação G amá ica da língua Li uânica no mundo de código abe o, eci ada
na 24-oa con e ência in e nacional Jono Jablonskio Skai meniniai kalbos iš ekliai, jų plė os k yp ys i naudojimo
galimybės (2017 09 29); ją o ganizou Ins i u o da língua Li uânia Bend inės kalbos y imų cen as e Vilniaus uni e si e o
língua Li uãs ka ed a.
2
Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383.
VIRGINIJUS DADURKEVIČIUS. mo ologia das línguas Lie u ių ab indo código hunspell pla o moje |2
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
ecnologia. P imei amen e das coisas de linguagem compu ado es p ecisou codi icando ex o
(keičian aides į skaičius), au oma icamen e co igindo e os do ex o in oduzido, skiemenuando
abipusės ligiu skilo ėsčių eks ą. Quan o mais a de à busca de in o mação, à análise e sín ese de
pales a, à adução au omá ica de uma língua pa a ou a, à pe cepção au omá ica de con eúdo, ao
ex o sensimine análise e . . Obje i os de linguagem ob iga am a se minulkmeniamen e
o malizados e apon ados de ou a, compu ado es pe cebam manei a. O mais impo an e desses
assun os mo ologia, pois isso é qualque de p o undugnesnių compu ado inas ling is icas abalhos
(sin aksė, seman inė analizė e e c.) base. P imei o al abalho amžių sandū oje oi ealizado pela
p og amado a da áb ica expe imen al Bi as Vy au as Zinke ičius (1996, 2000). Be eik dois décadas
isso oi nepamainoma e a única e amen a con empo aniškam língua li uãs pesquisa e
compu acionais aplicações. Es e sis ema oi usado com sucesso pa a de e a e os de o og a ia
em p og amas de edição de ex os, bem como pa a análise mo ológica e sín ese ealizados em
abalhos cien í icos e aplicamos no ins i u o Lie u ių kalbos, Vy au as Didžiojo ( enho seus
abalhos ecebeu Lemuoklio nome) e Vilniaus uni e si e ues. Foi a é c iada uma a ian e des e
sis ema, adap ada à elha língua li uânica analisa (Gelumbeckai ė e k . 2012). No en an o, ala gando
as necessidades compu acionais de linguís ica começa am a b iske y as de iciências des e sis ema:
nons anda di á ias, não desc i a es u u as de dados; código echado; ne isa e is ce os nomes
de, ilia i o, d iskai os, p imei os açõesmažodžių u u o empo, su umpėjusių bei e ų o mų
ealiza imas. Especialmen e des e sis ema olimesniam des ol imen o en a ou echado código
dados e algo i mo p a icamen e podia muda só o p óp io au o .
A im de e i a an e io men e desc i as de iciências e c ia uma no a ge ação
compu ado izada da língua li uânica mo ologia, o am le an adas as seguin es exigências:
(1) usa e desen ol e apenas o código abe o;
2) apenas dados, mas não sua o ma e in e p e ização, podem e especi icíns língua
li uãs de qualidades;
(3) odo o código de p og amação de e se uni e salus, á i qualque ou a língua; 4)
ap o ei a a ou as línguas do mundo soluções bem adap adas. Minus equisi os co esponde
bem à pla a o ma Hunspell. Além disso, ealiza des e modo ap ašius linguagem,
3
pos e io men e nãodu iai.), é possí el e i ica e os de o og a ia em mui os (o e 50)
aplicomícios p og amas (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign e .
ealiza pala as mo ologica análise e sin ezę, in elec ina paise in o ma ion ex ual e pan.
3
P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ologia do idioma Lie u ių abe o código Hunspell pla a o ma |3
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
Nes e a igo e isão-se no os ealizando mo ologias do idioma lie u ių Hunspell pla a o ma.
Discu em-se os p oblemas com isso elacionados e suas manei as de solução, ap esen am-se
exemplos de es e bem sucedido e aplicação p á ica.
1.LITUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS
1.1.Assunções de su gimen o da pla a o ma Hunspell e p incípios ge ais
O código abe o Hunspell pla a o ma espalhou-se a pa i de simplesčiausių ins umen os de
e i icação de o og a ia Ispell, Aspell, MySpell e pan. Pamažu o nando-as mais complexas e
4
adap ando cada ez di e si icadas línguas (especialmen e aglipaču inacinėms suomios, eng ų,
5
u kų e e c.), o nou-se possí el esol e não só e i icação da esc i a, mas ambém
6
mo ologicas análises e sin eses. Es a pla a o ma ex emamen e popula no mundo au o es
p incipalmen e cien is as e engenhei osip og amucedo es de o igem ung ês (T ón e k . 2005).
Não é de admi a que seu nome enha o p imei o dėmo Hun- es á segundo o nome de Veng ijos em
inglês. As mo ologias de línguas na pla a o ma Hunspell desc e em dois ex o ileis: plė iniu.a
записываются kai ybos правила, а plė iniu.dic записывается словарь сложных форм с начальной
морфологиной информацией и ссылками в одну или несколько групп правил каi yбо, которые
дополнительно могут быть применяются. A ski ą eg as pode se imaginado como ins ução, na
qual indica-se: 1) O em o que pode oca em pala a de o mas ocodyno. Pzj., eg a SFX 85 čias
y [^š]čias is:Masc_Sg_Voc SFX ma ca que se muda a pala a pabaiga, e oca é possí el čias em
y. PFX ma ca ia que se muda o começo da pala a. Al e ações do meio da pala a não es ão
p e is as. 2) Nume is do g upo de eg as de Cai yba a que se a ibui es a egê. G upê pode
cons i ui uma ou á ias eg as, que semp e aplicam jun as. No exemplo an e io dy, egê é
a ibuída a g upo, cuja nume is é 85. 3) Condições, sob as quais, a oca é possí el (aplicou-se um
ce o o malismo de exp essões egula es). Nos nosso exemplozdy a oca é possí el só com a
condição de que a pala a de o mas e odino pabaiga não ščias ( exemplo, aikiščias). 4)
In o mação Mo ológica, elacionada com es a al e ação. no nosso exemplo com al mudança de
im da pala a é associada a ma cação mo ológica Masc_Sg_Voc ( y iškoji giminė, ienaskai a,
šauksmininko eselnis, например., s e y).
4
P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml.
5
acessí el na in e ne : h p://aspell.ne .
6
Accesso na in e ne : h ps://code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell.
VIRGINIJUS DADURKEVIČIUS. mo ologia da língua Li uânia em pla a o ma de código abe o
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |4 Mais em de alhe com Hunspell eg as de cai yba compilação e p incípios de indicação
de in o mações mo ológicas pode se amilia izado no si e des a pla a o ma, e possibilidades
7
de desc ição da mo ologia de á ias línguas nes a pla a o ma bas an e bem elabo adas na
disse ação de Tommi A. Pi inen (2014).
1.2. Requisi os especí icos Li u iškajam ealiza imui
Pa a que al o malização da linguagem adequa à análise mo ológica, sín ese, in o mação
ex ual indexa e eencon a , é p eciso sa is aze os seguin es dois equisi os: 1) ao
diccioná io de o mas de pala as podem se insc i as apenas lemos ( o mas sub i le); 2)
an esdėlinė, p eesaginė e sang ąžinė da yba em a sispindė i ne.a , o.dic aile. P imei o
equisi o não é ácil de implemen a em língua li uanas de ido à g ande açãomažodžių kai ybos
di e sidade (ce ca 170 a iões), mas esol e es a p oblemá ajudou a possibilidade da pla a o ma
Hunspell de uma eg a kai ybos k ies is ou a. Embo a ais k y s gylis possa se igual a apenas a
uma unidade, isso eduz mui o o amanho do ailo de eg as de cai yba de alguns milhões de a é
á iasolicas milha es de eiluças.
A sa is ação do segundo pedido quan o expande.dic ailo amanho, po que, po exemplo, das mesmas
šaknis im i, paim i, suim i e nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai se ão g a ados
sepa ados linhasu ėmis. E es e é não a única consequência nega i a des a exigência pode acilmen e
ab iga -se e não inclui de algum qualque menos usado ad e bial ou a ibu o de o ma. D oga, es e
p oblema é bas an e de alhadamen e esol ida lemas a elando p incipalmen e não de edi ados
diccioná ios, mas de acumuladas ex ynas.
Lie u iškųjų.dic e 1.3..a ilesų agmen ai (pa yzdžiai) Keli lie u ių kalbos.dic
ailo (žodyno) agmen ai com pa yškin ais Jono Jablonskio a i ik pa yzdinių
žodžių a i ikmenimis mos a em 2 pa eiksle.
7
P ieiga na in e ne : h ps://gi hub.com/hunspell/hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ologia da língua Lie u ių abe o código hunspell pla a o maje
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
|5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b
laukas/1,3,7,10,14,12,20,21,30,9999 po:noun
Lauka ičienė (1038,740,745,9999 po:noun_ amily_name
...
s ečias/1467,17,1767,1775,1781,1784,1841,9999 po:adjec i e
s ečias1,73,85,93,98,1006,116,9999 po:noun
s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e
s ečiulienė (738,740,745,9999)
...
Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name
gaidys,264,268,278,280,287,8,300,302,999999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e
peilis/1122,132,21,13,30,17,14,14,15,15,15,19,999999 po:noun_ amily_name peilis,20,20,20,20,20,20,14,14,9999
po:noun_name
...
Gaidys,264,264,278,278,288,284,289,992,992,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999-
,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999-
,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999-
,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999-
,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999-
,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,
F agmen o do ichei o o mų.dic de pala as. Skaičiai po pas i ojo b ūkšnio ma ca e e ências em ende eçado g upo de eg as kai ybos. Em e melho pa yškin os e e ências a g upos de eg as, que mos ados 3 PAV. Fig. 3 ap esen am alguns agmen os de eg as.a ailo de cai ybos da língua li uânica:
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_Il
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Da
SFX 145 ys iams. is:Masc_Pl_Da
SFX 145 is iam. is:Masc_Pl_Da _sho
SFX 145 ys iam. is:Masc_Pl_Da _sho
SFX 145 is ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 is iais. is:Masc_Pl_Ins
SFX 145 ys iais. is:Masc_Pl_Ins
SFX 145 is iuses. is:Masc_Pl_Loc
SFX 145 ys iuses. is:Masc_Pl_Loc
SFX 145 is iuos. is:Masc_Pl_Loc_sho
SFX 145 ys iuos. is:Masc_Pl_Loc_sho
3 PAV. Kai ybos eg as.a ailo agmen ai. Pa yškin os algumas eg as, que ainda são usadas à análise
mo ológica ilus a .

VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
U ilizando-se a desc ição da língua ap esen ada em exemplos e pad ão (nuo idioma independen e)
Hunspell e amen as de análise, Jono Jablonskio exemplos pala as ob e iamos al espos a (ž .
4 ig. ).
4 PAV. Exemplo de análise de pala as mo ológicas
2. ORA IGADA E RESULTADOS
Quando já cons i ui-se oda e is desc ição de linguagem Hunspell o ma o ( . i. c iam-se
co espondami.dic e.a ailai), a endeia p ak iicamen e ilimi adas possibilidades p á icas
aplicações começando pela e i icação de o og a ia ou g ama ica e e minando ismaniosias pae
sea ch sys ems de in o mação. De ido bas an e complexa mo ologia da língua li uanas (daug
eg as e seus g upios) e necessidade de lis a lemes combina com didelhas (mais do que 1 bilhões.
pala as) ex os, e li inciais ealią a ual esc i a da língua li uãs condição, necessi ou ce ca de 5
anos a pa i p imei os en amen os a é lushamen e eikiancio a ian e mo ologia c ia u a.
An e io men e nes e a igo o necidos exemplos são mais ilus a i ós, des inados apenas idėjai
en ende ; na ealidade eg as e seus g upos são mui o mais complicados, especialmen e aquelas que
es ão elacionadas com açõesmažodžiam. A im de acele a o empo de c iação de mo ologia e
e i a e os em esumi milha es de eg as e as a ibuí-las lemmas, inicialmen e oi c iada uma
p imá ia, mais abs a a do que exigida nas especi icações Hunspell desc ição de mo ologia
(co ykles MS Excel abelã, lemos e sua classi icação MS Access base de dados). Também o am
c iados ins umen os p og amá icos a es as p imá ias, homem mais ácil de le e p on amen e
comp eensí eis es u u as au oma icamen e pe a ky i em.a e.dic iles ou ou a, aplicação
especi icos nusaky ą o m. A mais no a e são lie u iškųjų.a e.dic iles é ap esen ada no si e
8
Gi Hub do au o .
Du an e odo o p ocesso de o malização da mo ologia o am usadas as seguin es on es p incipais:
8
P ieiga na in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l .
VIRGINIJUS DADURKEVIČIUS. mo ologia da língua Li uânia em pla a o ma de código abe o
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |7 1) Daba inės lie u ių kalbos g ama ika (DLKG 2006);
2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas
9
–
~140 mln. pala as;
3) Texyns de adução au omá ica da
10
Uni e sidade de Vilnius ~800 mln. pala as, ~4 mln.
unikalių;
4) Seimo da República da Li uânia ( LRS)
11
documen ai ~400 mln. pala as, ~1 mln.
unikalių;
5) Ago ao ines li uais linguagem diccioná io (DŽ 2006) ~60 milha es. lemų;
6) Dicioná io da língua
12
Li uânica ~500 milha es. a igos;
7) Diccioná io In e nacional de pala as (VTŽŽe) ~22 milha es. lemų; 8) Li u ians pa a džių
žodynas (LPŽ) (~80 milha es. pa a džių). No o al, o am cons i uída ce ca de 5000 g upos
de eg as ende eçá eis (18 000 de eg as indi iduais). Como eg as de g upos
seesca schiá ias po pa e da linguagem, mos ada 5 imagemle. 5 PAV. Kai ybos eg as
g upos de seasso imen o po pa e da linguagem.dic ileas (žodynas) oi cons i uído de
171 000 lemų. Como lemos seisci sčiusios de aco do pa e da linguagem, pua duada 6
imagemle.
9
Accesso na in e ne : h p:// eks ynas. du.l / eks ynas/.
10
Accesso na in e ne : h ps://www. e s i.eu/.
11
Accesso na in e ne : h p://www.l s.l /.
12
Accesso na in e ne : h p://www.lkz.l /.
Obik a a džiai (370)
Būd su name (238)
Skai a džiai (55)
Į a džiai (64)
Veiksmažodžiai (4161)
P ie eiksmiai (13)
VIRGINIJUS DADURKEVIČIUS. mo ologia das línguas Lie u ių abe o código hunspell pla o moje |8 6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
PAV. Lemų seesca amen o de aco do pa e da língua alidingų, nelie u iškų, ne eik inų,
Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama
įžeidžiančių, nebe a ojamų žodžių. Ve inhas i ik a a džiai o am adicionalmen e esci s ados em
pa a des, nomes, nomes geog á icos e ou os casos. Tal seleção acili a a aplicação da mo ologia
c iada à esc i a e i ica e pe mi e os esul ados da análise mais acilmen e aplica em e apas
pos e io es de análise do ex o (sin axê, in é idos en idades econhecimen o, indexação e
paqueca).
A p ecisão do ecém-desen ol ido analisado mo ológico é de ce ca de 98 po cen o, i. e. em
média 98 de 100 pala as o analisado mo ológico in e p e a co e amen e (Kapočiū ė-Dzikienė
e k . 2017). Os es an es 2 p oc. não econhecidos pala as ge almen e cons i uem e os de
o og a ia, ou as línguas pala as ( a das, pa a dés, azios ci ações e e c.), ne eik ini,
neno minas pala as e eg as pala as, que não o am incluídas em lemų lis a.
3. PRACTICA TAIKYMAS
3.1. VDU Sin aksinės-seman inės analizės sis ema No amen e c iada mo ologia da língua
li uânica na pla a o ma Hunspell em 20112015 oi adap ada no VDU Sin aksinės-seman inės analizės
sis ema pa a e i icação o og á ica e g ama ical, pa a ealiza análise mo ológica e
13
sin aksina do ex o (ž . ig. 7). Mo ologická analýze oi complemen ada po mis u a
es a ís ica-co eccional uni eismenš im (passeado modelo de Ma ko , segundo pad ão dou ado
ap oximimadas ig amas p obabilidades, algo i mo de Vi e bio, algumas exceções). Mais
amplamen e sob e uma eikšminimą análise mo ológica esc e e Ju gi os Kapočiū ės-Dzikienės,
E ikos Rimku ės e Loïc Boizou publicação (2017).
13
acessí el na in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis.
Daik a a džiai (bend inhas) (41820)
Daik a a džiai ( ik iniai) (73697)
Būd a džiai (14552)
Skai a džiai (153)
Į a džiai (53)
Veiksmažodžiai (34662)
P ie eiksmiai (3850)
Oi i (2290)
VIRGINIJUS DADURKEVIČIUS. mo ologia das línguas Lie u ių abe o código hunspell pla o moje |9 7 PAV.
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
Hunspell aplicação da mo ologia das línguas li uanas VDU Sin aksinės-seman inės analizės sis ema
3.2. LRS egis o de legislações pai e sea ch sys em
Em 20112013 anos pa alelamen e com a c iação da no a mo ologia da língua li uânica oco eu sua
adap ação Teisės ak ų egis o paieškos sis ema LRS kancelia ijoje. No malmen e nesses
14
documen os odas as pala as dos documen os são mudadas em seus lemas e įsidėmima, onde qual
sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y.
lema oi. An es de ealiza paieškos заклауса seu ex o ambém lemualizado nesse mesmo modo,
po an o mais a de encon a-se não só na заклауса insc i a o ma de pala a, mas e qualque
ou a o ma daquela pala a, es ando en e ieškomų dokumen ų. Uma ez que no sis ema não oi
possí el u iliza di e amen e nes e.dic.a dados, o sis ema eque ido o iginalus o ma ( iles
ex ual, cujo cada linha é [lema] [pa e da linguagem] [lis a de o mas]) oi ge uojado an e io men e
a pa i do mencionado desc ição p imá io da mo ologia. Embo a a pa i des e desc ição seja
possí el ge a sob e 15 milhões. eo icamen e possí eis o mas de pala as, de ido às limi ações
in e nas do sis ema paiseškos deles o am u ilizados apenas sob e 1 milhão. paços equnios dos.
Essa solução deu ce o, pa Sea chka unciona bas an e sua emen e e é usada a é ago a (c . Fig. 8).
14
acessí el na in e ne : h ps://www.e- a .l.