BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
VIRGINIJUS DADURKEVIČIUS
Uni e sidad de Vilna
LIETUVI LEGABOS MORFOLOGIA ATVIROJO CODO
HUNSPELL PLATFORMA DE la Comisión de las Naciones Unidas pa a la P o ección de las Naciones Unidas
1
ESMINIAI VOODŽIAI: compu ado ína ling is ica, lie u ių kalba, g ama ica,
mo ologija, mo ologinė analizė, esc i u a e i icimas, ex o indexación, paieška,
código abie o, Hunspell.
ĮVADAS
Hace más de 100 años Jono Jablonskio es o zados (1901, 1918, 1922) la lengua Li uania empezada
no min i y adap ada se p incipaline es ado Uni yjančia p iemone. Ya en la p ime a Jono Jablonskio
Li u iškos kalbos g ama ikoje (1901) la oné ica, mo ología y sin aksė de los li uanos ue on
o malizuados: de inidos concep os p incipales, p esen adas eglas de palab as cai ybos y sanda os
del ase (ž 1 igu a.).
1 PAV. Iš auka desde Jono Jablonskio Lie u iškos kalbos g ama ikos 1901
2
In aluable es el apo e de Jono Jablonski en no mina la lexis de la lengua li uanas,
acla ando las peculia idades seman ís icas de las palab as.
Lgą iempo eso comple amen e bas aba a alumnos y maes os, esc i o es y lec o ojos,
adminis inks y cien í icos. A si adus ci ilización cambiančiai inno ao ei compu ado es clásica
g ama ikai y leksikai le an ilo necesidadbė apsi ilk i nue o d abužį y con e i se isa e e nue os
1
El a ículo es á p epa ado según la p esen ación G amá ica de la lengua Li uania en el mundo de código abie o, lec ady ą
en la 24-oa con e encia in e nacional Jono Jablonskio Skai meniniai kalbos iš ekliai, hei de elopmen di ec ions and
usage possibili ies (2017 09 29); ją o ganizó Ins i u o de Li u ias del Cen o de In es igación Bend ines del idioma y Vilniaus Uni e sidad
de la lengua Lie u ių ka ed a.
2
Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383.
VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania abie ojo código hunspell pla o moje |2
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
ecnología. P ime o de las cosas de lenguaje en compu ado as p ecisó codi icando ex o (keičian
aides en núme os), au omá icamen e co egiendo e o es del ex o in oducido, skiemenuando
abipusės ligiu skilo ėsčių eks ą. Qué más a de búsqueda de in o mación, análisis y sín esis de la
habla, aducción au omá ica de una lengua a o a, pe cepción au omá ica de con enido, ex o
sensominea análisis, y . . Las cosas del lenguaje obliga on se inulkmenicialmen e o malizadas y
apun adas a o ooki, a compu ado as pe cep ible mane a. El más impo an e de es os emas
mo ología, ya que es o es cualquie de p o undugnesnių compu ado inas ling is ikas abajos
(sin aksė, seman inė analizė y e c.) base. P ime á al abajo amžių sandū oje lo ealizó la
expe imen al áb ica de Bi as p og ama zaile Vy au as Zinke ičius (1996, 2000). Be eik dos décadas
ue es o nepamainoma y la única he amien a con empo aniškam idioma li uanos es udio y
compu acionales aplicaciones. Es e sis ema ha sido u ilizado con éxi o pa a de ec a e o es de
esc i u a de ec a ex os en p og amas de edacción, así como pa a análisis mo ológico y sín esis
ealizados en abajos cien í icos y aplicamos en el ins i u o de lengua Lie u ių, Vy au as Didžiojo
(allí sus abajos ecibie on Lemuoklio nomb e) y Vilniaus uni e si e uos. Fue incluso c eada una
a ian e de es e sis ema, adap ada a la ieja lengua li uana analiza (Gelumbeckai ė y k . 2012). Sin
emba go, al expandi las necesidades compu acionales lingüís icas comenza on a esal a los
de ec os de es e sis ema: nones anda e, no desc i a es uc u as de da os; ce ado código;
ne isa e is ik inių a dų, ilia i o, d iskai os, pi minių eiksmažodžių u u o iempo, su umpėjusių
bei e ų o mų ealiza imas. Especialmen e es e sis ema olimesniam despliegojimon obs aculizó
ce ado código da os y algo i mo p ac icamen e podía cambia solo el mismo au o .
Con el in de e i a an e io men e desc i os de ec os y c ea una nue a gene ación
compu acional de la lengua li uana mo ología, se han plan eado las siguien es exigencias:
1) usa y desa olla solo el código abie o;
2) sólo los da os, pe o no su o ma y in e p e a imas, pueden ene especí icos de los
li uanos cualidades del lenguaje;
3) odo el código p og amá ico debe se uni e salus, an i cualquie o a lenguaji; 4)
ap o echa a o as lenguas del mundo soluciones adap adas con éxi o. Minus equisi os
co esponde bien la pla a o ma Hunspell. Además, ealiza de es e modo ap ašius lengua, más
3
a de nocesiai.), se puede comp oba e o es de o og a ía en muchos (o e 50) aplicomųjų
p og amas (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign y . ealiza palab as
mo ología análisis y sin ezę, in elec ina paešką ex ual in o mación y pan.
3
P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ología de lengua Li uania código abie o hunspell pla a o maje |3
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
En es e a ículo se esumen nue os ealizándose mo ologías de lengua Li uania Hunspell
pla a o ma de base. Se discu en los p oblemas elacionados con ello y sus o mas de solución, se
p esen an ejemplos de exi osa p ueba y aplicación p ác ica.
1.LIETUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS
1.1.Suposiciones de la apa ición de Hunspell pla a o ma y p incipios gene ales
El código abie o Hunspell pla a o ma expandecido de sencillos spelling e i ica ion ins umen os
Ispell, Aspell, MySpell y pan. Pamažu haciéndolas más complejas y adap ándolas cada ez di e sas
4
a lenguas (ypač agliu inacinėms suomios, eng ų, u kų, e c.), ue posible esol e no sólo la
5
e i icación de la esc i u a, sino ambién mo ologicas análisis y sin ezes. Es a pla a o ma
6
ex emadamen e popula en el mundo los au o es p incipalmen e cien í icos y
ingenie iaip og amado es de o igen hong ų (T ón e k . 2005). Noenues abo que su nomb e
p ime o démeno Hun- es é según Veng ijos nomb e inglés. Los mo ologías de lengua en la
pla a o ma Hunspell desc iben dos ex iniai ailai: plė iniu.a записываются kai ybos правила, y
plė iniu.dic записывается словарь сложных форм с начальной морфологиной информацией и
ссылками в одну или несколько групп правил каi yбо, которые дополнительно могут быть
применяются. A ski ą egla puede imagina se como ins ucción, en la que se indica: 1) Qué en qué
se puede cambia en palab a de o mas ocodyno. Ejem., egla en SFX 85 čias y [^š]čias
is:Masc_Sg_Voc SFX ma ca que se cambia la palab a pabaiga, y cambia se puede čias en y. PFX
ma ca ía que se cambia el comienzo de la palab a. Cambio del medio de la palab a no es á
p e is o. 2) El núme o del g upo de eglas de Cai yba a la que se asigna es a egla,. Un g upo puede
cons i ui una o a ias eglas, que siemp e se aplican jun as. En el an e io ejemplojía egla se
asigna a un g upo, cuya nume is es 85. 3) Condiciones, bajo las cuales, el cambio es posible (aplique
se cie o o malismo de exp esiones egula es). Nues o ejemplozdyje el cambio es posible sólo
con la condición de que la palab a de o mas e odino pabaiga no ščias ( ej., aikiščias). 4)
In o mación Mo ológica, elacionada con es e cambio. En nues o ejemplo con al cambio de
inal de palab a es asociado la ma ca mo ológica Masc_Sg_Voc ( y iškoji giminė, unaaskai a,
šauksmininko eselnis, ej., s e y).
4
P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml.
5
Acceso en in e ne : h p://aspell.ne .
6
Acceso en in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell.
VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania en la pla a o ma de código abie o
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |4 En De alle con Hunspell cai ybos eglas de compilación y p incipios de indicación de
in o mación mo ológica se puede amilia iza en el si io web de es a pla a o ma, y la
7
desc ipción de la mo ología de di e sas lenguas en es a pla a o ma posibilidades bas an e
bien esnaga adas en la dise ación Tommi A. Pi inen (2014).
1.2. Requisi os especí icos Li u iškajam ealiza imui
Pa a que al o malizamien o del lenguaje si ie a a la análisis mo ológico, sín esis, in o mación
ex ual indexada y en busca, hay que sa is ace los siguien es dos equisi os: 1) Al dicciona io de
o mas de palab as pueden se insc i as sólo lemos ( o mas sub i ula es); 2) p iešdėlinė,
p iesaginė y sang ąžinė da yba iene a sispindė i ne.a , o.dic aile. El p ime equisi o en lenguas
li uanas no es ácil implemen a debido a g an acciónmajodžių cai ybos a iedadi o és (apie 170
a ios), pe o esol e es a p oblemá ayudó la posibilidad de Hunspell pla a o ma de una egla
cai ybos k ies is o a. Aunque ales cabilidos gylis puede se igual sólo a la unidad, es o
conside ablemen e educe el amaño del ailo de eglas de cambio desde a ios millones de has a
a iasolicas miles de eilucias.
El sa is acimien o del segundo equisi o cuán expande.dic ailo amaño, po que, po ejemplo, de las
mismas šaknis im i, paim i, suim i y nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai se á
g abado po sepa ado líneasu ėmis. Y es o es no la única consecuencia nega i a de es a exigencia
se puede ácilmen e ab iga se y no inclui de algún algún menos usados e ma- e bio o adje i o del
de i ado. Es e dad, es e p oblema es bas an e de alladamen e esuel a lemas a ayendo sob e
odo no de isleis as diccionynas, pe o de acumuladas ex ynas.
Lie u iškųjų.dic y 1.3..a ilesų agmen ai (pa yzdžiai) Keli lie u ių kalbos.dic
ailo (žodyno) agmen ai con pa yškin ais Jono Jablonskio ejemplos de palab as
de con o midad mos ados en 2 pa eiksle.
7
P iega en in e ne : h ps://gi hub.com/hunspell/hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania en pla a o ma de código abie o
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b
laukas/1,3,7,10,14,12,20,21,30,9999 po:noun
Lauka ičienė,1038,740,745,9999 po:noun_ amily_name
...
s ečias/1467,1767,1775,1781,1784,1841,9999 po:adjec i e
s ečias1,73,85,93,94,98,1007,116,997 po:noun
s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e
S ečiulienė/738,740,745,999999 po:noun_ amily_name
...
Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name
gaidys,264,268,278,280,287,8,300,302,999999 po:noun Gaidys,264,268,278,994,284,288,300,9999 po:noun_ amily_name
peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peilis,20,20,20,20,14,999,99
po:noun peipus,444,454,444,996,992,999,99 po:noun_geog aphic_AV 2 P. F ag amo de la palab a o mų.dic ailo.
...
Skaičiai po pas i ojo b ūkšnio ma ca e e encias en di eccionuojamas cai ybos eglas g upos. En ojo
pa yškin os e e encias a g upos de eglas, que mos ados 3 PAV. Fig. 3 se p esen an algunos ex os de la
lengua li uanas kai ybos.a :
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_Il
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Da
SFX 145 ys iams. is:Masc_Pl_Da
SFX 145 is iam. is:Masc_Pl_Da _sho
SFX 145 ys iam. is:Masc_Pl_Da _sho
SFX 145 is ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 is iais. is:Masc_Pl_Ins
SFX 145 ys iais. is:Masc_Pl_Ins
SFX 145 is iuose. is:Masc_Pl_Loc
SFX 145 ys iuose. is:Masc_Pl_Loc
SFX 145 is iuos. is:Masc_Pl_Loc_sho
SFX 145 ys iuos. is:Masc_Pl_Loc_sho
3 PAV. Kai ybos eglas.a ailo agmen ai. Pa iškin os a ias eglas, que pos e io men e se u ilizan a
la análisis mo ológica ilus a .

VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
U ilizoyendo la desc ipción del lenguaje dada en ejemplos y es ánda (nuo idioma independien e)
Hunspell análisis medios, Jono Jablonskio ejemplos palab as pa a ob end íamos al espues a (ž .
4 ig. ).
4 PAV. Mo ologicas ejemplo de análisis de palab as
2. OIGA DE TRABAJO Y RESULTATOS
Cuando ya se compone oda e is desc ipción del lenguaje Hunspell o ma o ( . y. c ean
co espondiami.dic e.a ailai), a enia p ác icamen e ilimi adas posibilidades p ác icas
aplicaciones comenzando po la esc i u a o g amá ica comp obimu y e minando ismaniosiomas
paeškos sis emas de in o mación. Debido bas an e compleja mo ología de la lengua li uanas (daug
eglas y sus g upios) y necesidad de lis a lemos con g andes (más de 1 ml d. palab as) ex ynis,
e lejinčiais ealią ac ual de la lengua esc i as li uanas condición, a dó ap oximadamen e 5 años
desde p ime os en amien os has a losamen e eikiancio a ian o mo ología c eū imo.
An e io men e en es e a ículo los ejemplos dados son más ilus a i os, des inados sólo idéis
en ende ; ealidad en ealidad las eglas y sus g upos son mucho más complejas, especialmen e las
que es án elacionadas con accionesmažodžiam. Con el in de acele a el iempo de c eación de
mo ología y e i a e o es al edac a miles de eglas y las asigna a lemomas, inicialmen e se
desa olló un p ima io, más abs ac o que las especi icaciones Hunspell eque idas desc ipción de
la mo ología (co ykles MS Excel abele a, lemos y su clasi icación MS Access base de da os).
También ue on c eadas he amien as p og amá icas a es as p ima ias, homb e más ácilmen e
legibles y p as amen e pe cep ibles es uc u as au omá icamen e pe a ky i en.a y.dic iles o
o a, aplicación especi icos nusaky ą o mą. Naujausia lie u iškųjų.a e.dic ileų e sión se
8
p esen a au o iaus Gi Hub si io web.
Du an e odo el p oceso de o malizacion de mo ología ue on u ilizadas las siguien es uen es p incipales:
8
P ieiga en in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l .
VIRGINIJUS DADURKEVIČIUS. mo ología de los idiomas Li uanos en pla a o ma de código abie o
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |7 1) Daba inės lie u ių kalbos g ama ika (DLKG 2006);
2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas
9
–
~140 mln. palab as;
3) Texyns de la aducción au omá ica
10
de Vilniaus uni e sidad ~800 mln. palab as, ~4 mln.
unikalių;
4) Seimo de la República de Li uania
11
( oliau LRS) documen osi ~400 mln. palab as, ~1 mln.
unikalių;
5) Ac ualmen e Las dicciona io de la lengua li uanas (DŽ 2006) ~60 1.000. lemų;
6) Dicciona io de la lengua
12
Li uánea ~500 mil. a ículos;
7) Dicciona io In e nacional de palab as (VTŽŽe) ~22 1.000. lemų; 8) Lie u os pa a džių
žodynas (LPŽ) (~80 ūks . pa a džių). En o al, se compi ió ap oximadamen e 5000 g upos
de eglas di eccionables (18 000 de eglas indi iduales). Como eglas g upos
seespa schiusios po pa e del lenguaje, pa odiada 5 imagenle. 5 PAV. Kai ybos eglas
g upías apa so amien o po pa e de la lengua.dic ileas (žodynas) ue compues o de
171 000 lemos. Como lemos seiski sčiusios según pa e del habla, puzducha 6 dibuiksle.
9
Acceso en In e ne : h p:// eks ynas. du.l / eks ynas/.
10
Acceso en in e ne : h ps://www. e s i.eu/.
11
Acceso en In e ne : h p://www.l s.l /.
12
Acceso en In e ne : h p://www.lkz.l /.
Dik a o džiai (370)
Būdu nijs (238)
Skai a džiai (55)
Į a džiai (64)
Veiksmažodžiai (4161)
P ie eiksmiai (13)
VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania abie o de código hunspell pla o moje
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
|8 6 PAV. Lemų apascun amien o según pa e de la lengua kalidingų, nelie u iškų, ne eik inų,
Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama
įžeidžiančių, nebe a ojamų palab as. Ve inos obik a o džiai ue on adicionalmen e diso idos en
pau des, nomb es, nomb es geog á icos y o os casos. Tal selección acili a la aplicación de la
mo ología c eada a la esc i u a comp oba y pe mi e los esul ados de análisis aplica más
ácilmen e en las e apas pos e io es de análisis de ex o (sin axis, in í si os en es
econocimien o, indexación y pañuelo).
La p ecisión del nue o desa ollado analizado mo ológico es de al ededo 98 po cien o., i. i.
p omediomen e 98 de 100 palab as el analizado mo ológico in e p e a co ec amen e
(Kapočiū ė-Dzikienė y k . 2017). Los es an es 2 p oc. no econocidos palab as suelen compone
e o es de o og a ía, o as lenguas palab as (pa das, pa a dés, azios ci as, e c.),
ne eik ini, neno minas palab as y eglas palab as, que no ue on incluidas en lemų lis a.
3. PRACTICA TAIKYMAS
3.1. VDU Sin aksinės-seman inės analizės sis ema Nue os c eados mo ología de la lengua li uana
en pla a o ma Hunspell en 20112015 años ue adap ado en VDU Sin aksinės-seman inės analizės
sis ema a la esc i u a y g ama ika comp oba , ealiza ex o mo ologine y sin aksine análisis
13
(ž . ig. 7). Mo ologica análisisé ue aplejada mix a es adís ico-co ecclino uni eñšminim
(pascė ado modelo de Ma ko , según es anda e do ado ap oximimadas ig amas
p obabilidades, Vi e bio algo i mo, unas cuan as excepciones). Ampliamen e sob e
una eikšminimą en la análisis mo ológica esc ibe Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės
y Loïc Boizou publicación (2017).
13
Acceso en in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis.
Daik a a džiai (bend inas) (41820)
Daik a a džiai ( ik iniai) (73697)
Būd a džiai (14552)
Skai a džiai (153)
Į a džiai (53) Skai a džiai (153) Skai a džiai (153) Į a džiai (53)
Veiksmažodžiai (34662)
P ie eiksmiai (3850)
Oi i (2290)
VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania abie o de código hunspell pla o moje |9 7
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
PAV. Hunspell aplicación de la mo ología de la lengua li uanas VDU Sin aksinės-seman inės analizės sis ema
3.2. LRS egis o de leyes sis ema paješkos
En 20112013 años pa aleločiai con nue a c eación de mo ología de la lengua li uanas se lle ó a cabo
su adap ación Teisės ak ų egis o paieškos sis emaemoje LRS kancelia ijoje. No malmen e en
14
ales odos los documen os de palab as cambiadas en sus lemas y įsidėmima, donde cuál lema ue.
sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y.
An es lle ando a cabo paeškos zapklausą su ex o ambién lemu seamos al misma mane a, po lo
que más a de se encuen a no solo zapklausia insc i a o ma de la palab a, sino y cualquie a o a
o ma de esa palab a, que es é en e ieškomų documen os. Dado que en el sis ema no ue posible
u iliza di ec amen e en.dic.a los da os, el sis ema eque ido o iginalus o ma (a chi o ex ual,
cuyo cada hilu é es [lema] [pa e de la lengua] [lis a de o mas]) ue gene ándose an e io men e de
mencionado p ime ino desc ipción de la mo ología. Aunque de es e desc ipción se puede gene a
sob e 15 millones. eó icamen e posibles o mas de palab as, debido a las limi aciones in e nas del
sis ema paješkos de ellos ue on u ilizados sólo sob e 1 millón. pachas ecuniosos. Es a solución
si ió de bien, pajá ka unciona bas an e sua emen e y se u iliza has a a ui (c . ig. 8).
14
acceso en in e ne : h ps://www.e- a .l.