Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 VIRGINIJUS DADURKEVIČIUS Uni e sidade de Vilna LIETUVI LIBROS MORFOLOGIA ATVIROJO CODO HUNSPELL PLATFORMA 1 ESMINIAI VOODŽIAI: compu ado inė ling is ika, lie u ių kalba, g ama ica, mo ologija, mo ologinė analizė, ašybos ik inimas, ex o indeksa imas, paieška, código abe o, Hunspell. ĮVADAS Há mais de 100 anos Jono Jablonskio es o ços (1901, 1918, 1922) a língua li uânica iniciada no min i e adap ada se p incipaline es ado pa a unijančia p iemone. Já na p imei a Jono Jablonskio Lie u iškos kalbos g ama ikoje (1901) oné ica, mo ologia e sin aksė da língua li uânica o am o malizuados: de inidos concei os p incipais, ap esen adas eg as de pala as cai ybos e sanda os sen inio (ž 1 igu a.). 1 PAV. Iš auka de Jono Jablonskio Lie u iškos kalbos g ama ikos 1901 2 Ines imá el é Jono Jablonski's con ibuição no minando leksiką da língua li uânica, escla ecendo seman íneas peculia idades de pala as. Longgą empo isso comple amen e bas ou a alunos e p o esso es, esc i o es e lei o ojos, adminis inques e cien is as. A si adus ci ilização cambiančiai naujo ei compu ado es clássica g ama ikai e leksikai le an ilo bū inybė apsi ilk i no o d abužį e o na isa e e no os 1 O a igo é p epa ado de aco do com a ap esen ação G amá ica da língua Li uânica no mundo de código abe o, eci ada na 24-oa con e ência in e nacional Jono Jablonskio Skai meniniai kalbos iš ekliai, jų plė os k yp ys i naudojimo galimybės (2017 09 29); ją o ganizou Ins i u o da língua Li uânia Bend inės kalbos y imų cen as e Vilniaus uni e si e o língua Li uãs ka ed a. 2 Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383. VIRGINIJUS DADURKEVIČIUS. mo ologia das línguas Lie u ių ab indo código hunspell pla o moje |2 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 ecnologia. P imei amen e das coisas de linguagem compu ado es p ecisou codi icando ex o (keičian aides į skaičius), au oma icamen e co igindo e os do ex o in oduzido, skiemenuando abipusės ligiu skilo ėsčių eks ą. Quan o mais a de à busca de in o mação, à análise e sín ese de pales a, à adução au omá ica de uma língua pa a ou a, à pe cepção au omá ica de con eúdo, ao ex o sensimine análise e . . Obje i os de linguagem ob iga am a se minulkmeniamen e o malizados e apon ados de ou a, compu ado es pe cebam manei a. O mais impo an e desses assun os mo ologia, pois isso é qualque de p o undugnesnių compu ado inas ling is icas abalhos (sin aksė, seman inė analizė e e c.) base. P imei o al abalho amžių sandū oje oi ealizado pela p og amado a da áb ica expe imen al Bi as Vy au as Zinke ičius (1996, 2000). Be eik dois décadas isso oi nepamainoma e a única e amen a con empo aniškam língua li uãs pesquisa e compu acionais aplicações. Es e sis ema oi usado com sucesso pa a de e a e os de o og a ia em p og amas de edição de ex os, bem como pa a análise mo ológica e sín ese ealizados em abalhos cien í icos e aplicamos no ins i u o Lie u ių kalbos, Vy au as Didžiojo ( enho seus abalhos ecebeu Lemuoklio nome) e Vilniaus uni e si e ues. Foi a é c iada uma a ian e des e sis ema, adap ada à elha língua li uânica analisa (Gelumbeckai ė e k . 2012). No en an o, ala gando as necessidades compu acionais de linguís ica começa am a b iske y as de iciências des e sis ema: nons anda di á ias, não desc i a es u u as de dados; código echado; ne isa e is ce os nomes de, ilia i o, d iskai os, p imei os açõesmažodžių u u o empo, su umpėjusių bei e ų o mų ealiza imas. Especialmen e des e sis ema olimesniam des ol imen o en a ou echado código dados e algo i mo p a icamen e podia muda só o p óp io au o . A im de e i a an e io men e desc i as de iciências e c ia uma no a ge ação compu ado izada da língua li uânica mo ologia, o am le an adas as seguin es exigências: (1) usa e desen ol e apenas o código abe o; 2) apenas dados, mas não sua o ma e in e p e ização, podem e especi icíns língua li uãs de qualidades; (3) odo o código de p og amação de e se uni e salus, á i qualque ou a língua; 4) ap o ei a a ou as línguas do mundo soluções bem adap adas. Minus equisi os co esponde bem à pla a o ma Hunspell. Além disso, ealiza des e modo ap ašius linguagem, 3 pos e io men e nãodu iai.), é possí el e i ica e os de o og a ia em mui os (o e 50) aplicomícios p og amas (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign e . ealiza pala as mo ologica análise e sin ezę, in elec ina paise in o ma ion ex ual e pan. 3 P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell. VIRGINIJUS DADURKEVIČIUS. mo ologia do idioma Lie u ių abe o código Hunspell pla a o ma |3 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 Nes e a igo e isão-se no os ealizando mo ologias do idioma lie u ių Hunspell pla a o ma. Discu em-se os p oblemas com isso elacionados e suas manei as de solução, ap esen am-se exemplos de es e bem sucedido e aplicação p á ica. 1.LITUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS 1.1.Assunções de su gimen o da pla a o ma Hunspell e p incípios ge ais O código abe o Hunspell pla a o ma espalhou-se a pa i de simplesčiausių ins umen os de e i icação de o og a ia Ispell, Aspell, MySpell e pan. Pamažu o nando-as mais complexas e 4 adap ando cada ez di e si icadas línguas (especialmen e aglipaču inacinėms suomios, eng ų, 5 u kų e e c.), o nou-se possí el esol e não só e i icação da esc i a, mas ambém 6 mo ologicas análises e sin eses. Es a pla a o ma ex emamen e popula no mundo au o es p incipalmen e cien is as e engenhei osip og amucedo es de o igem ung ês (T ón e k . 2005). Não é de admi a que seu nome enha o p imei o dėmo Hun- es á segundo o nome de Veng ijos em inglês. As mo ologias de línguas na pla a o ma Hunspell desc e em dois ex o ileis: plė iniu.a записываются kai ybos правила, а plė iniu.dic записывается словарь сложных форм с начальной морфологиной информацией и ссылками в одну или несколько групп правил каi yбо, которые дополнительно могут быть применяются. A ski ą eg as pode se imaginado como ins ução, na qual indica-se: 1) O em o que pode oca em pala a de o mas ocodyno. Pzj., eg a SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX ma ca que se muda a pala a pabaiga, e oca é possí el čias em y. PFX ma ca ia que se muda o começo da pala a. Al e ações do meio da pala a não es ão p e is as. 2) Nume is do g upo de eg as de Cai yba a que se a ibui es a egê. G upê pode cons i ui uma ou á ias eg as, que semp e aplicam jun as. No exemplo an e io dy, egê é a ibuída a g upo, cuja nume is é 85. 3) Condições, sob as quais, a oca é possí el (aplicou-se um ce o o malismo de exp essões egula es). Nos nosso exemplozdy a oca é possí el só com a condição de que a pala a de o mas e odino pabaiga não ščias ( exemplo, aikiščias). 4) In o mação Mo ológica, elacionada com es a al e ação. no nosso exemplo com al mudança de im da pala a é associada a ma cação mo ológica Masc_Sg_Voc ( y iškoji giminė, ienaskai a, šauksmininko eselnis, например., s e y). 4 P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml. 5 acessí el na in e ne : h p://aspell.ne . 6 Accesso na in e ne : h ps://code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell. VIRGINIJUS DADURKEVIČIUS. mo ologia da língua Li uânia em pla a o ma de código abe o BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |4 Mais em de alhe com Hunspell eg as de cai yba compilação e p incípios de indicação de in o mações mo ológicas pode se amilia izado no si e des a pla a o ma, e possibilidades 7 de desc ição da mo ologia de á ias línguas nes a pla a o ma bas an e bem elabo adas na disse ação de Tommi A. Pi inen (2014). 1.2. Requisi os especí icos Li u iškajam ealiza imui Pa a que al o malização da linguagem adequa à análise mo ológica, sín ese, in o mação ex ual indexa e eencon a , é p eciso sa is aze os seguin es dois equisi os: 1) ao diccioná io de o mas de pala as podem se insc i as apenas lemos ( o mas sub i le); 2) an esdėlinė, p eesaginė e sang ąžinė da yba em a sispindė i ne.a , o.dic aile. P imei o equisi o não é ácil de implemen a em língua li uanas de ido à g ande açãomažodžių kai ybos di e sidade (ce ca 170 a iões), mas esol e es a p oblemá ajudou a possibilidade da pla a o ma Hunspell de uma eg a kai ybos k ies is ou a. Embo a ais k y s gylis possa se igual a apenas a uma unidade, isso eduz mui o o amanho do ailo de eg as de cai yba de alguns milhões de a é á iasolicas milha es de eiluças. A sa is ação do segundo pedido quan o expande.dic ailo amanho, po que, po exemplo, das mesmas šaknis im i, paim i, suim i e nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai se ão g a ados sepa ados linhasu ėmis. E es e é não a única consequência nega i a des a exigência pode acilmen e ab iga -se e não inclui de algum qualque menos usado ad e bial ou a ibu o de o ma. D oga, es e p oblema é bas an e de alhadamen e esol ida lemas a elando p incipalmen e não de edi ados diccioná ios, mas de acumuladas ex ynas. Lie u iškųjų.dic e 1.3..a ilesų agmen ai (pa yzdžiai) Keli lie u ių kalbos.dic ailo (žodyno) agmen ai com pa yškin ais Jono Jablonskio a i ik pa yzdinių žodžių a i ikmenimis mos a em 2 pa eiksle. 7 P ieiga na in e ne : h ps://gi hub.com/hunspell/hunspell. VIRGINIJUS DADURKEVIČIUS. mo ologia da língua Lie u ių abe o código hunspell pla a o maje BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 |5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b laukas/1,3,7,10,14,12,20,21,30,9999 po:noun Lauka ičienė (1038,740,745,9999 po:noun_ amily_name ... s ečias/1467,17,1767,1775,1781,1784,1841,9999 po:adjec i e s ečias1,73,85,93,98,1006,116,9999 po:noun s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e s ečiulienė (738,740,745,9999) ... Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name gaidys,264,268,278,280,287,8,300,302,999999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,999999 po:noun_ amily_name peilis,20,20,20,20,20,20,14,14,9999 po:noun_name ... Gaidys,264,264,278,278,288,284,289,992,992,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999- ,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999- ,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999- ,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999- ,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999- ,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999,999, F agmen o do ichei o o mų.dic de pala as. Skaičiai po pas i ojo b ūkšnio ma ca e e ências em ende eçado g upo de eg as kai ybos. Em e melho pa yškin os e e ências a g upos de eg as, que mos ados 3 PAV. Fig. 3 ap esen am alguns agmen os de eg as.a ailo de cai ybos da língua li uânica: SFX 21 Y 1 SFX 21 as uosna. is:Masc_Pl_Il ... SFX 98 Y 2 SFX 98 as ai. is:Masc_Pl_Nom SFX 98 as ų. is:Masc_Pl_Gen ... SFX 264 Y 6 SFX 264 is is. is:Masc_Sg_Nom SFX 264 ys ys. is:Masc_Sg_Nom SFX 264 is žio. is:Masc_Sg_Gen SFX 264 ys žio. is:Masc_Sg_Gen SFX 264 ai ai. is:Masc_Pl_Nom SFX 264 ai ų. is:Masc_Pl_Gen ... SFX 145 Y 12 SFX 145 is iams. is:Masc_Pl_Da SFX 145 ys iams. is:Masc_Pl_Da SFX 145 is iam. is:Masc_Pl_Da _sho SFX 145 ys iam. is:Masc_Pl_Da _sho SFX 145 is ius. is:Masc_Pl_Acc SFX 145 ys ius. is:Masc_Pl_Acc SFX 145 is iais. is:Masc_Pl_Ins SFX 145 ys iais. is:Masc_Pl_Ins SFX 145 is iuses. is:Masc_Pl_Loc SFX 145 ys iuses. is:Masc_Pl_Loc SFX 145 is iuos. is:Masc_Pl_Loc_sho SFX 145 ys iuos. is:Masc_Pl_Loc_sho 3 PAV. Kai ybos eg as.a ailo agmen ai. Pa yškin os algumas eg as, que ainda são usadas à análise mo ológica ilus a . VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 U ilizando-se a desc ição da língua ap esen ada em exemplos e pad ão (nuo idioma independen e) Hunspell e amen as de análise, Jono Jablonskio exemplos pala as ob e iamos al espos a (ž . 4 ig. ). 4 PAV. Exemplo de análise de pala as mo ológicas 2. ORA IGADA E RESULTADOS Quando já cons i ui-se oda e is desc ição de linguagem Hunspell o ma o ( . i. c iam-se co espondami.dic e.a ailai), a endeia p ak iicamen e ilimi adas possibilidades p á icas aplicações começando pela e i icação de o og a ia ou g ama ica e e minando ismaniosias pae sea ch sys ems de in o mação. De ido bas an e complexa mo ologia da língua li uanas (daug eg as e seus g upios) e necessidade de lis a lemes combina com didelhas (mais do que 1 bilhões. pala as) ex os, e li inciais ealią a ual esc i a da língua li uãs condição, necessi ou ce ca de 5 anos a pa i p imei os en amen os a é lushamen e eikiancio a ian e mo ologia c ia u a. An e io men e nes e a igo o necidos exemplos são mais ilus a i ós, des inados apenas idėjai en ende ; na ealidade eg as e seus g upos são mui o mais complicados, especialmen e aquelas que es ão elacionadas com açõesmažodžiam. A im de acele a o empo de c iação de mo ologia e e i a e os em esumi milha es de eg as e as a ibuí-las lemmas, inicialmen e oi c iada uma p imá ia, mais abs a a do que exigida nas especi icações Hunspell desc ição de mo ologia (co ykles MS Excel abelã, lemos e sua classi icação MS Access base de dados). Também o am c iados ins umen os p og amá icos a es as p imá ias, homem mais ácil de le e p on amen e comp eensí eis es u u as au oma icamen e pe a ky i em.a e.dic iles ou ou a, aplicação especi icos nusaky ą o m. A mais no a e são lie u iškųjų.a e.dic iles é ap esen ada no si e 8 Gi Hub do au o . Du an e odo o p ocesso de o malização da mo ologia o am usadas as seguin es on es p incipais: 8 P ieiga na in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l . VIRGINIJUS DADURKEVIČIUS. mo ologia da língua Li uânia em pla a o ma de código abe o BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |7 1) Daba inės lie u ių kalbos g ama ika (DLKG 2006); 2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas 9 – ~140 mln. pala as; 3) Texyns de adução au omá ica da 10 Uni e sidade de Vilnius ~800 mln. pala as, ~4 mln. unikalių; 4) Seimo da República da Li uânia ( LRS) 11 documen ai ~400 mln. pala as, ~1 mln. unikalių; 5) Ago ao ines li uais linguagem diccioná io (DŽ 2006) ~60 milha es. lemų; 6) Dicioná io da língua 12 Li uânica ~500 milha es. a igos; 7) Diccioná io In e nacional de pala as (VTŽŽe) ~22 milha es. lemų; 8) Li u ians pa a džių žodynas (LPŽ) (~80 milha es. pa a džių). No o al, o am cons i uída ce ca de 5000 g upos de eg as ende eçá eis (18 000 de eg as indi iduais). Como eg as de g upos seesca schiá ias po pa e da linguagem, mos ada 5 imagemle. 5 PAV. Kai ybos eg as g upos de seasso imen o po pa e da linguagem.dic ileas (žodynas) oi cons i uído de 171 000 lemų. Como lemos seisci sčiusios de aco do pa e da linguagem, pua duada 6 imagemle. 9 Accesso na in e ne : h p:// eks ynas. du.l / eks ynas/. 10 Accesso na in e ne : h ps://www. e s i.eu/. 11 Accesso na in e ne : h p://www.l s.l /. 12 Accesso na in e ne : h p://www.lkz.l /. Obik a a džiai (370) Būd su name (238) Skai a džiai (55) Į a džiai (64) Veiksmažodžiai (4161) P ie eiksmiai (13) VIRGINIJUS DADURKEVIČIUS. mo ologia das línguas Lie u ių abe o código hunspell pla o moje |8 6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 PAV. Lemų seesca amen o de aco do pa e da língua alidingų, nelie u iškų, ne eik inų, Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama įžeidžiančių, nebe a ojamų žodžių. Ve inhas i ik a a džiai o am adicionalmen e esci s ados em pa a des, nomes, nomes geog á icos e ou os casos. Tal seleção acili a a aplicação da mo ologia c iada à esc i a e i ica e pe mi e os esul ados da análise mais acilmen e aplica em e apas pos e io es de análise do ex o (sin axê, in é idos en idades econhecimen o, indexação e paqueca). A p ecisão do ecém-desen ol ido analisado mo ológico é de ce ca de 98 po cen o, i. e. em média 98 de 100 pala as o analisado mo ológico in e p e a co e amen e (Kapočiū ė-Dzikienė e k . 2017). Os es an es 2 p oc. não econhecidos pala as ge almen e cons i uem e os de o og a ia, ou as línguas pala as ( a das, pa a dés, azios ci ações e e c.), ne eik ini, neno minas pala as e eg as pala as, que não o am incluídas em lemų lis a. 3. PRACTICA TAIKYMAS 3.1. VDU Sin aksinės-seman inės analizės sis ema No amen e c iada mo ologia da língua li uânica na pla a o ma Hunspell em 20112015 oi adap ada no VDU Sin aksinės-seman inės analizės sis ema pa a e i icação o og á ica e g ama ical, pa a ealiza análise mo ológica e 13 sin aksina do ex o (ž . ig. 7). Mo ologická analýze oi complemen ada po mis u a es a ís ica-co eccional uni eismenš im (passeado modelo de Ma ko , segundo pad ão dou ado ap oximimadas ig amas p obabilidades, algo i mo de Vi e bio, algumas exceções). Mais amplamen e sob e uma eikšminimą análise mo ológica esc e e Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės e Loïc Boizou publicação (2017). 13 acessí el na in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis. Daik a a džiai (bend inhas) (41820) Daik a a džiai ( ik iniai) (73697) Būd a džiai (14552) Skai a džiai (153) Į a džiai (53) Veiksmažodžiai (34662) P ie eiksmiai (3850) Oi i (2290) VIRGINIJUS DADURKEVIČIUS. mo ologia das línguas Lie u ių abe o código hunspell pla o moje |9 7 PAV. BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 Hunspell aplicação da mo ologia das línguas li uanas VDU Sin aksinės-seman inės analizės sis ema 3.2. LRS egis o de legislações pai e sea ch sys em Em 20112013 anos pa alelamen e com a c iação da no a mo ologia da língua li uânica oco eu sua adap ação Teisės ak ų egis o paieškos sis ema LRS kancelia ijoje. No malmen e nesses 14 documen os odas as pala as dos documen os são mudadas em seus lemas e įsidėmima, onde qual sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y. lema oi. An es de ealiza paieškos заклауса seu ex o ambém lemualizado nesse mesmo modo, po an o mais a de encon a-se não só na заклауса insc i a o ma de pala a, mas e qualque ou a o ma daquela pala a, es ando en e ieškomų dokumen ų. Uma ez que no sis ema não oi possí el u iliza di e amen e nes e.dic.a dados, o sis ema eque ido o iginalus o ma ( iles ex ual, cujo cada linha é [lema] [pa e da linguagem] [lis a de o mas]) oi ge uojado an e io men e a pa i do mencionado desc ição p imá io da mo ologia. Embo a a pa i des e desc ição seja possí el ge a sob e 15 milhões. eo icamen e possí eis o mas de pala as, de ido às limi ações in e nas do sis ema paiseškos deles o am u ilizados apenas sob e 1 milhão. paços equnios dos. Essa solução deu ce o, pa Sea chka unciona bas an e sua emen e e é usada a é ago a (c . Fig. 8). 14 acessí el na in e ne : h ps://www.e- a .l.