Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 VIRGINIJUS DADURKEVIČIUS Uni e sidad de Vilna LIETUVI LEGABOS MORFOLOGIA ATVIROJO CODO HUNSPELL PLATFORMA DE la Comisión de las Naciones Unidas pa a la P o ección de las Naciones Unidas 1 ESMINIAI VOODŽIAI: compu ado ína ling is ica, lie u ių kalba, g ama ica, mo ologija, mo ologinė analizė, esc i u a e i icimas, ex o indexación, paieška, código abie o, Hunspell. ĮVADAS Hace más de 100 años Jono Jablonskio es o zados (1901, 1918, 1922) la lengua Li uania empezada no min i y adap ada se p incipaline es ado Uni yjančia p iemone. Ya en la p ime a Jono Jablonskio Li u iškos kalbos g ama ikoje (1901) la oné ica, mo ología y sin aksė de los li uanos ue on o malizuados: de inidos concep os p incipales, p esen adas eglas de palab as cai ybos y sanda os del ase (ž 1 igu a.). 1 PAV. Iš auka desde Jono Jablonskio Lie u iškos kalbos g ama ikos 1901 2 In aluable es el apo e de Jono Jablonski en no mina la lexis de la lengua li uanas, acla ando las peculia idades seman ís icas de las palab as. Lgą iempo eso comple amen e bas aba a alumnos y maes os, esc i o es y lec o ojos, adminis inks y cien í icos. A si adus ci ilización cambiančiai inno ao ei compu ado es clásica g ama ikai y leksikai le an ilo necesidadbė apsi ilk i nue o d abužį y con e i se isa e e nue os 1 El a ículo es á p epa ado según la p esen ación G amá ica de la lengua Li uania en el mundo de código abie o, lec ady ą en la 24-oa con e encia in e nacional Jono Jablonskio Skai meniniai kalbos iš ekliai, hei de elopmen di ec ions and usage possibili ies (2017 09 29); ją o ganizó Ins i u o de Li u ias del Cen o de In es igación Bend ines del idioma y Vilniaus Uni e sidad de la lengua Lie u ių ka ed a. 2 Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383. VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania abie ojo código hunspell pla o moje |2 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 ecnología. P ime o de las cosas de lenguaje en compu ado as p ecisó codi icando ex o (keičian aides en núme os), au omá icamen e co egiendo e o es del ex o in oducido, skiemenuando abipusės ligiu skilo ėsčių eks ą. Qué más a de búsqueda de in o mación, análisis y sín esis de la habla, aducción au omá ica de una lengua a o a, pe cepción au omá ica de con enido, ex o sensominea análisis, y . . Las cosas del lenguaje obliga on se inulkmenicialmen e o malizadas y apun adas a o ooki, a compu ado as pe cep ible mane a. El más impo an e de es os emas mo ología, ya que es o es cualquie de p o undugnesnių compu ado inas ling is ikas abajos (sin aksė, seman inė analizė y e c.) base. P ime á al abajo amžių sandū oje lo ealizó la expe imen al áb ica de Bi as p og ama zaile Vy au as Zinke ičius (1996, 2000). Be eik dos décadas ue es o nepamainoma y la única he amien a con empo aniškam idioma li uanos es udio y compu acionales aplicaciones. Es e sis ema ha sido u ilizado con éxi o pa a de ec a e o es de esc i u a de ec a ex os en p og amas de edacción, así como pa a análisis mo ológico y sín esis ealizados en abajos cien í icos y aplicamos en el ins i u o de lengua Lie u ių, Vy au as Didžiojo (allí sus abajos ecibie on Lemuoklio nomb e) y Vilniaus uni e si e uos. Fue incluso c eada una a ian e de es e sis ema, adap ada a la ieja lengua li uana analiza (Gelumbeckai ė y k . 2012). Sin emba go, al expandi las necesidades compu acionales lingüís icas comenza on a esal a los de ec os de es e sis ema: nones anda e, no desc i a es uc u as de da os; ce ado código; ne isa e is ik inių a dų, ilia i o, d iskai os, pi minių eiksmažodžių u u o iempo, su umpėjusių bei e ų o mų ealiza imas. Especialmen e es e sis ema olimesniam despliegojimon obs aculizó ce ado código da os y algo i mo p ac icamen e podía cambia solo el mismo au o . Con el in de e i a an e io men e desc i os de ec os y c ea una nue a gene ación compu acional de la lengua li uana mo ología, se han plan eado las siguien es exigencias: 1) usa y desa olla solo el código abie o; 2) sólo los da os, pe o no su o ma y in e p e a imas, pueden ene especí icos de los li uanos cualidades del lenguaje; 3) odo el código p og amá ico debe se uni e salus, an i cualquie o a lenguaji; 4) ap o echa a o as lenguas del mundo soluciones adap adas con éxi o. Minus equisi os co esponde bien la pla a o ma Hunspell. Además, ealiza de es e modo ap ašius lengua, más 3 a de nocesiai.), se puede comp oba e o es de o og a ía en muchos (o e 50) aplicomųjų p og amas (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign y . ealiza palab as mo ología análisis y sin ezę, in elec ina paešką ex ual in o mación y pan. 3 P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell. VIRGINIJUS DADURKEVIČIUS. mo ología de lengua Li uania código abie o hunspell pla a o maje |3 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 En es e a ículo se esumen nue os ealizándose mo ologías de lengua Li uania Hunspell pla a o ma de base. Se discu en los p oblemas elacionados con ello y sus o mas de solución, se p esen an ejemplos de exi osa p ueba y aplicación p ác ica. 1.LIETUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS 1.1.Suposiciones de la apa ición de Hunspell pla a o ma y p incipios gene ales El código abie o Hunspell pla a o ma expandecido de sencillos spelling e i ica ion ins umen os Ispell, Aspell, MySpell y pan. Pamažu haciéndolas más complejas y adap ándolas cada ez di e sas 4 a lenguas (ypač agliu inacinėms suomios, eng ų, u kų, e c.), ue posible esol e no sólo la 5 e i icación de la esc i u a, sino ambién mo ologicas análisis y sin ezes. Es a pla a o ma 6 ex emadamen e popula en el mundo los au o es p incipalmen e cien í icos y ingenie iaip og amado es de o igen hong ų (T ón e k . 2005). Noenues abo que su nomb e p ime o démeno Hun- es é según Veng ijos nomb e inglés. Los mo ologías de lengua en la pla a o ma Hunspell desc iben dos ex iniai ailai: plė iniu.a записываются kai ybos правила, y plė iniu.dic записывается словарь сложных форм с начальной морфологиной информацией и ссылками в одну или несколько групп правил каi yбо, которые дополнительно могут быть применяются. A ski ą egla puede imagina se como ins ucción, en la que se indica: 1) Qué en qué se puede cambia en palab a de o mas ocodyno. Ejem., egla en SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX ma ca que se cambia la palab a pabaiga, y cambia se puede čias en y. PFX ma ca ía que se cambia el comienzo de la palab a. Cambio del medio de la palab a no es á p e is o. 2) El núme o del g upo de eglas de Cai yba a la que se asigna es a egla,. Un g upo puede cons i ui una o a ias eglas, que siemp e se aplican jun as. En el an e io ejemplojía egla se asigna a un g upo, cuya nume is es 85. 3) Condiciones, bajo las cuales, el cambio es posible (aplique se cie o o malismo de exp esiones egula es). Nues o ejemplozdyje el cambio es posible sólo con la condición de que la palab a de o mas e odino pabaiga no ščias ( ej., aikiščias). 4) In o mación Mo ológica, elacionada con es e cambio. En nues o ejemplo con al cambio de inal de palab a es asociado la ma ca mo ológica Masc_Sg_Voc ( y iškoji giminė, unaaskai a, šauksmininko eselnis, ej., s e y). 4 P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml. 5 Acceso en in e ne : h p://aspell.ne . 6 Acceso en in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell. VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania en la pla a o ma de código abie o BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |4 En De alle con Hunspell cai ybos eglas de compilación y p incipios de indicación de in o mación mo ológica se puede amilia iza en el si io web de es a pla a o ma, y la 7 desc ipción de la mo ología de di e sas lenguas en es a pla a o ma posibilidades bas an e bien esnaga adas en la dise ación Tommi A. Pi inen (2014). 1.2. Requisi os especí icos Li u iškajam ealiza imui Pa a que al o malizamien o del lenguaje si ie a a la análisis mo ológico, sín esis, in o mación ex ual indexada y en busca, hay que sa is ace los siguien es dos equisi os: 1) Al dicciona io de o mas de palab as pueden se insc i as sólo lemos ( o mas sub i ula es); 2) p iešdėlinė, p iesaginė y sang ąžinė da yba iene a sispindė i ne.a , o.dic aile. El p ime equisi o en lenguas li uanas no es ácil implemen a debido a g an acciónmajodžių cai ybos a iedadi o és (apie 170 a ios), pe o esol e es a p oblemá ayudó la posibilidad de Hunspell pla a o ma de una egla cai ybos k ies is o a. Aunque ales cabilidos gylis puede se igual sólo a la unidad, es o conside ablemen e educe el amaño del ailo de eglas de cambio desde a ios millones de has a a iasolicas miles de eilucias. El sa is acimien o del segundo equisi o cuán expande.dic ailo amaño, po que, po ejemplo, de las mismas šaknis im i, paim i, suim i y nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai se á g abado po sepa ado líneasu ėmis. Y es o es no la única consecuencia nega i a de es a exigencia se puede ácilmen e ab iga se y no inclui de algún algún menos usados e ma- e bio o adje i o del de i ado. Es e dad, es e p oblema es bas an e de alladamen e esuel a lemas a ayendo sob e odo no de isleis as diccionynas, pe o de acumuladas ex ynas. Lie u iškųjų.dic y 1.3..a ilesų agmen ai (pa yzdžiai) Keli lie u ių kalbos.dic ailo (žodyno) agmen ai con pa yškin ais Jono Jablonskio ejemplos de palab as de con o midad mos ados en 2 pa eiksle. 7 P iega en in e ne : h ps://gi hub.com/hunspell/hunspell. VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania en pla a o ma de código abie o BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b laukas/1,3,7,10,14,12,20,21,30,9999 po:noun Lauka ičienė,1038,740,745,9999 po:noun_ amily_name ... s ečias/1467,1767,1775,1781,1784,1841,9999 po:adjec i e s ečias1,73,85,93,94,98,1007,116,997 po:noun s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e S ečiulienė/738,740,745,999999 po:noun_ amily_name ... Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name gaidys,264,268,278,280,287,8,300,302,999999 po:noun Gaidys,264,268,278,994,284,288,300,9999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peilis,20,20,20,20,14,999,99 po:noun peipus,444,454,444,996,992,999,99 po:noun_geog aphic_AV 2 P. F ag amo de la palab a o mų.dic ailo. ... Skaičiai po pas i ojo b ūkšnio ma ca e e encias en di eccionuojamas cai ybos eglas g upos. En ojo pa yškin os e e encias a g upos de eglas, que mos ados 3 PAV. Fig. 3 se p esen an algunos ex os de la lengua li uanas kai ybos.a : SFX 21 Y 1 SFX 21 as uosna. is:Masc_Pl_Il ... SFX 98 Y 2 SFX 98 as ai. is:Masc_Pl_Nom SFX 98 as ų. is:Masc_Pl_Gen ... SFX 264 Y 6 SFX 264 is is. is:Masc_Sg_Nom SFX 264 ys ys. is:Masc_Sg_Nom SFX 264 is žio. is:Masc_Sg_Gen SFX 264 ys žio. is:Masc_Sg_Gen SFX 264 ai ai. is:Masc_Pl_Nom SFX 264 ai ų. is:Masc_Pl_Gen ... SFX 145 Y 12 SFX 145 is iams. is:Masc_Pl_Da SFX 145 ys iams. is:Masc_Pl_Da SFX 145 is iam. is:Masc_Pl_Da _sho SFX 145 ys iam. is:Masc_Pl_Da _sho SFX 145 is ius. is:Masc_Pl_Acc SFX 145 ys ius. is:Masc_Pl_Acc SFX 145 is iais. is:Masc_Pl_Ins SFX 145 ys iais. is:Masc_Pl_Ins SFX 145 is iuose. is:Masc_Pl_Loc SFX 145 ys iuose. is:Masc_Pl_Loc SFX 145 is iuos. is:Masc_Pl_Loc_sho SFX 145 ys iuos. is:Masc_Pl_Loc_sho 3 PAV. Kai ybos eglas.a ailo agmen ai. Pa iškin os a ias eglas, que pos e io men e se u ilizan a la análisis mo ológica ilus a . VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 U ilizoyendo la desc ipción del lenguaje dada en ejemplos y es ánda (nuo idioma independien e) Hunspell análisis medios, Jono Jablonskio ejemplos palab as pa a ob end íamos al espues a (ž . 4 ig. ). 4 PAV. Mo ologicas ejemplo de análisis de palab as 2. OIGA DE TRABAJO Y RESULTATOS Cuando ya se compone oda e is desc ipción del lenguaje Hunspell o ma o ( . y. c ean co espondiami.dic e.a ailai), a enia p ác icamen e ilimi adas posibilidades p ác icas aplicaciones comenzando po la esc i u a o g amá ica comp obimu y e minando ismaniosiomas paeškos sis emas de in o mación. Debido bas an e compleja mo ología de la lengua li uanas (daug eglas y sus g upios) y necesidad de lis a lemos con g andes (más de 1 ml d. palab as) ex ynis, e lejinčiais ealią ac ual de la lengua esc i as li uanas condición, a dó ap oximadamen e 5 años desde p ime os en amien os has a losamen e eikiancio a ian o mo ología c eū imo. An e io men e en es e a ículo los ejemplos dados son más ilus a i os, des inados sólo idéis en ende ; ealidad en ealidad las eglas y sus g upos son mucho más complejas, especialmen e las que es án elacionadas con accionesmažodžiam. Con el in de acele a el iempo de c eación de mo ología y e i a e o es al edac a miles de eglas y las asigna a lemomas, inicialmen e se desa olló un p ima io, más abs ac o que las especi icaciones Hunspell eque idas desc ipción de la mo ología (co ykles MS Excel abele a, lemos y su clasi icación MS Access base de da os). También ue on c eadas he amien as p og amá icas a es as p ima ias, homb e más ácilmen e legibles y p as amen e pe cep ibles es uc u as au omá icamen e pe a ky i en.a y.dic iles o o a, aplicación especi icos nusaky ą o mą. Naujausia lie u iškųjų.a e.dic ileų e sión se 8 p esen a au o iaus Gi Hub si io web. Du an e odo el p oceso de o malizacion de mo ología ue on u ilizadas las siguien es uen es p incipales: 8 P ieiga en in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l . VIRGINIJUS DADURKEVIČIUS. mo ología de los idiomas Li uanos en pla a o ma de código abie o BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |7 1) Daba inės lie u ių kalbos g ama ika (DLKG 2006); 2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas 9 – ~140 mln. palab as; 3) Texyns de la aducción au omá ica 10 de Vilniaus uni e sidad ~800 mln. palab as, ~4 mln. unikalių; 4) Seimo de la República de Li uania 11 ( oliau LRS) documen osi ~400 mln. palab as, ~1 mln. unikalių; 5) Ac ualmen e Las dicciona io de la lengua li uanas (DŽ 2006) ~60 1.000. lemų; 6) Dicciona io de la lengua 12 Li uánea ~500 mil. a ículos; 7) Dicciona io In e nacional de palab as (VTŽŽe) ~22 1.000. lemų; 8) Lie u os pa a džių žodynas (LPŽ) (~80 ūks . pa a džių). En o al, se compi ió ap oximadamen e 5000 g upos de eglas di eccionables (18 000 de eglas indi iduales). Como eglas g upos seespa schiusios po pa e del lenguaje, pa odiada 5 imagenle. 5 PAV. Kai ybos eglas g upías apa so amien o po pa e de la lengua.dic ileas (žodynas) ue compues o de 171 000 lemos. Como lemos seiski sčiusios según pa e del habla, puzducha 6 dibuiksle. 9 Acceso en In e ne : h p:// eks ynas. du.l / eks ynas/. 10 Acceso en in e ne : h ps://www. e s i.eu/. 11 Acceso en In e ne : h p://www.l s.l /. 12 Acceso en In e ne : h p://www.lkz.l /. Dik a o džiai (370) Būdu nijs (238) Skai a džiai (55) Į a džiai (64) Veiksmažodžiai (4161) P ie eiksmiai (13) VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania abie o de código hunspell pla o moje BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 |8 6 PAV. Lemų apascun amien o según pa e de la lengua kalidingų, nelie u iškų, ne eik inų, Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama įžeidžiančių, nebe a ojamų palab as. Ve inos obik a o džiai ue on adicionalmen e diso idos en pau des, nomb es, nomb es geog á icos y o os casos. Tal selección acili a la aplicación de la mo ología c eada a la esc i u a comp oba y pe mi e los esul ados de análisis aplica más ácilmen e en las e apas pos e io es de análisis de ex o (sin axis, in í si os en es econocimien o, indexación y pañuelo). La p ecisión del nue o desa ollado analizado mo ológico es de al ededo 98 po cien o., i. i. p omediomen e 98 de 100 palab as el analizado mo ológico in e p e a co ec amen e (Kapočiū ė-Dzikienė y k . 2017). Los es an es 2 p oc. no econocidos palab as suelen compone e o es de o og a ía, o as lenguas palab as (pa das, pa a dés, azios ci as, e c.), ne eik ini, neno minas palab as y eglas palab as, que no ue on incluidas en lemų lis a. 3. PRACTICA TAIKYMAS 3.1. VDU Sin aksinės-seman inės analizės sis ema Nue os c eados mo ología de la lengua li uana en pla a o ma Hunspell en 20112015 años ue adap ado en VDU Sin aksinės-seman inės analizės sis ema a la esc i u a y g ama ika comp oba , ealiza ex o mo ologine y sin aksine análisis 13 (ž . ig. 7). Mo ologica análisisé ue aplejada mix a es adís ico-co ecclino uni eñšminim (pascė ado modelo de Ma ko , según es anda e do ado ap oximimadas ig amas p obabilidades, Vi e bio algo i mo, unas cuan as excepciones). Ampliamen e sob e una eikšminimą en la análisis mo ológica esc ibe Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės y Loïc Boizou publicación (2017). 13 Acceso en in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis. Daik a a džiai (bend inas) (41820) Daik a a džiai ( ik iniai) (73697) Būd a džiai (14552) Skai a džiai (153) Į a džiai (53) Skai a džiai (153) Skai a džiai (153) Į a džiai (53) Veiksmažodžiai (34662) P ie eiksmiai (3850) Oi i (2290) VIRGINIJUS DADURKEVIČIUS. mo ología de la lengua Li uania abie o de código hunspell pla o moje |9 7 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 PAV. Hunspell aplicación de la mo ología de la lengua li uanas VDU Sin aksinės-seman inės analizės sis ema 3.2. LRS egis o de leyes sis ema paješkos En 20112013 años pa aleločiai con nue a c eación de mo ología de la lengua li uanas se lle ó a cabo su adap ación Teisės ak ų egis o paieškos sis emaemoje LRS kancelia ijoje. No malmen e en 14 ales odos los documen os de palab as cambiadas en sus lemas y įsidėmima, donde cuál lema ue. sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y. An es lle ando a cabo paeškos zapklausą su ex o ambién lemu seamos al misma mane a, po lo que más a de se encuen a no solo zapklausia insc i a o ma de la palab a, sino y cualquie a o a o ma de esa palab a, que es é en e ieškomų documen os. Dado que en el sis ema no ue posible u iliza di ec amen e en.dic.a los da os, el sis ema eque ido o iginalus o ma (a chi o ex ual, cuyo cada hilu é es [lema] [pa e de la lengua] [lis a de o mas]) ue gene ándose an e io men e de mencionado p ime ino desc ipción de la mo ología. Aunque de es e desc ipción se puede gene a sob e 15 millones. eó icamen e posibles o mas de palab as, debido a las limi aciones in e nas del sis ema paješkos de ellos ue on u ilizados sólo sob e 1 millón. pachas ecuniosos. Es a solución si ió de bien, pajá ka unciona bas an e sua emen e y se u iliza has a a ui (c . ig. 8). 14 acceso en in e ne : h ps://www.e- a .l.