Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 VIRGINIJUS DADURKEVIČIUS Uni e si à di Vilnius LIETUVI LINGUOSO MORFOLOGIA ATVIROJO CODO HUNSPELL PLATFORMA 1 ESMINIAI VODŽIAI: kompu e inė ling is ika, lie u ių kalba, g amma ica, mo ologija, mo ologinė analizė, ašybos ik inimas, eks o indeksa imas, paieška, appe asis kodas, Hunspell. ĮVADAS Più di 100 anni a Jono Jablonskio s o ziami (1901, 1918, 1922) la lingua Li uanea inizia a no min i e ada a a esse e p incipale S a o unijancia p iemone. Già nella p imaione Jono Jablonskio Li u iškos kalbos g ama ikoje (1901) one ica, mo ologia e sin aksė della lingua li uanea sono s a i o malizza i: de ini i i conce i p incipali, p esen a e pa ole di cai ybos e egole sanda os del asinio (ž 1 igu a.). 1 PAV. Iš auka da Jono Jablonskio Lie u iškos kalbos g ama ikos 1901 2 Ines imabile è il con ibu o di Jono Jablonski no minando la lingua leksiką, spiegando seman iche pa icola i à delle pa ole. Lgą empo ques o comple amen e bas ò agli s uden i e insegnan i, sc i o i e le o i, ammincini e scienzia i. A si adus ci il à cambiančiai inno o ei compu ai classica g amma ika e lessikai so silo necessi àbè apside k i nuo o d abužį e di en a e isa e e nuo i 1 L'a icolo p epa a o secondo la elazione G amma ica della lingua Li uania nel mondo di codice ape o, le i a a alla 24oia con e enza in e nazionale Jono Jablonskio Skai meniniai kalbos iš ekliai, jų plė os k yp ys i naudojimo galimybės (2017 09 29); ją o ganizzò Li u ians lingua ins i u o Bend inės kalbos y imų cen as e Vilniaus uni e si e o della Li uania ka ed a. 2 Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383. VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanie del codice ape o hunspell pla o moje |2 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 ecnologia. P ima di u o le cose linguis iche nei compu e hanno ichies o codeggiando es o (keičian aides į skaičius), au oma icamen e co egendo gli e o i del es o in odo o, skiemenuando abipusės ligiuo ės skilčių eks ą. Quan o più a di pe la ice ca di in o mazioni, pa olaccia analisi e sin esi, pe la aduzione au oma ica da una lingua in un'al a, pe la pe cezione au oma ica di con enu o, es o sensiminea analisi e . . Le cose del linguaggio obbliga ano esse e smulkmenicialmen e o malizza e e isc i e e in un al o, ai compu e pe cepibile modo. Il più impo an e di ques i emi mo ologia, pe ché ques o è qualsiasi app o ondugnesnių compu e ine lingu is icas la o i (sin aksė, seman inė analizė e e c.) base. P imà ale la o o amžių sandū oje esegui o del p og amma o e spe imen ale abb ica Bi as Vy au as Zinke ičius (1996, 2000). Be eik due decenni è s a o ques o nepamainoma e unico s umen o con empo aniškam linguaggio li uani s udiamen o e compu e ini applicazioni. Ques o sis ema è s a o u ilizza o con successo pe ile a e e o i di o og a ia nei p og ammi di edagamen o dei es i, nonché pe l'analisi mo ologica e la sin esi in la o i scien i ici e applicomuosi esegui i all'Is i u o Lie u ių kalbos, Vy au as Didžiojo (allì i suoi la o i ice e e o Lemuoklio nome) e Vilniaus uni e si e uose. Fu pe sino c ea a una a ian e di ques o sis ema, ada a a alla ecchia lingua Li uania analizza e (Gelumbeckai ė e k . 2012). Tu a ia, con l'espansione dei bisogni della linguis ica in o ma ica comincia ono a isal a e i di e i di ques o sis ema: non s anda da ine, non desc i e s u u e dei da i; chiuso codice; ne isa e is ik inių a dų, ilia i o, d iskai os, pi minių eiksmažodžių u u o empo, su umpėjusių bei e ų o mų ealiza imas. In pa icola e ques a sis ema alimesniam s iluppoim è os acola o chiuso codice da i e algo i mo p a icamen e po e a cambia e solo lo s esso au o e. Al ine di e i a e p eceden emen e desc i i di e i e c ea e una nuo a gene azione in o ma ica mo ologia della lingua li uana, sono s a e solle a e le seguen i esigenze: (1) u ilizza e e s iluppa e solo il codice ape o; 2) solo i da i, ma non la lo o o ma e in e p e azione, possono a e e speci ici dei li uanici ca a e is iche linguis iche; 3) u o il codice di p og ammazione de e esse e uni e sus, al i qualsiasi al a lingua; 4) s u a e al e lingue del mondo con soluzioni ada a e con successo. Minus equisi i è ben co isponden e la pia a o ma Hunspell. Beside, esegui e in ale modo ap ašius linguà, 3 successi amen e non du amen e.), è possibile e i ica e e o i di o og a ia in mol i (o e 50) applicomųjų p og ammi (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign e . e e ua e pa ole mo ologica analisià e sin ezę, in ellec ina paesccia di in o mazioni es uali e pan. 3 P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell. VIRGINIJUS DADURKEVIČIUS. mo ologia della lingua Li uania a codice ape o hunspell pia a o ma |3 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 In ques o a icolo ediamo insieme nuo e mo ologie della lingua Li uania ealizzandone Hunspell pia a o ma. Vengono discusse i p oblemi co ela i e le lo o soluzioni, engono o ni i esempi di successo di es e di applicazione p a ica. 1.LITUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS 1.1.I p esuppos i di nasci a della pia a o ma Hunspell e i p incipi gene ali Il codice ape o Hunspell pia a o ma espandi o e da semplici più s umen i di e i ica della o og a ia Ispell, Aspell, MySpell e pan. Pamažu endendole più complesse e ada andole semp e 4 di e si ica e alle lingue (especialmen e aglipaču inacinėms suomi, eng ų, u kų e e c.), di enne 5 possibile isol e e non solo il con ollo della sc i u a, ma e mo ologiche analisi e sin ezè i 6 compi i. Ques a pia a o ma es emamen e popola e nel mondo au o i […] p incipalmen e scienzia i e ingegne iip og amma o i di o igine ung ì (T ón e k . 2005). Non nuo amen e, che il suo nome p imo dėmen o Hun- è secondo Veng ijos nome inglese. La mo ologia del linguaggio Hunspell nella pia a o ma desc i e due ex ile: plė iniu.a zpisa e cai ybos egole, e plė iniu.dic zpisa o diziona io delle o me delle pa ole con iniziine mo ologine in o mazioni e i e imen i in una o poche egole kai ybos g uppi, che ul e io men e possono esse e applica e. A ski ą egolae si può immagina e come is uzione, nella quale indica: 1) Cosa in cosa si può cambia e in pa ola da o mų ocodyno. P z., egola SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX segna che cambia a la pa ola pabaiga, e cambia e è possibile čias in y. PFX segne ebbe, che si cambia l'inizio della pa ola. Cambiamen i del mezzo della pa ola non è p e is o. 2) Nume ois del g uppo di egole di canizione a cui si a ibuisce ques a egola. G uppe possono cos i ui e una o più egole, che engono semp e applica e insieme. Nel p eceden e esempiozdyia egola è assegna a a un g uppo, la cui numbe is è 85. 3) Condizioni, so o le quali, il cambio è possibile (applica un ce o o malismo di esp essioni egola i). Nel nos o esempiozdy il cambio è possibile solo con la condizione che della pa ola da o me e dyno pabaiga non ščias ( ecc., aikiščias). 4) In o mazione Mo ologica, lega a a ques o cambio. nell'esempio con ale cambiamen o del e mine della nos a è associa o un ma chio mo ologico Masc_Sg_Voc ( y iškoji giminė, ienaskai a, šauksmininko eselnis, p z., s e y). 4 P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml. 5 Accedo in e ne : h p://aspell.ne . 6 Accedo in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell. VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanie nella pia a o ma di codice ape o BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |4 Più de aglia amen e con Hunspell cai ybos egole di compilazione e p incipi di indicazione mo ologiche si può amilia izza e sul si o di ques a pia a o ma, e la possibili à di 7 desc izione della mo ologia delle a ie lingue in ques a pia a o ma abbas anza bene esnaglia a nella dise azione Tommi A. Pi ineno (2014). 1.2. Requisi i speci ici Li u iškajam ealiza imui Pe che ale o malizzazione del linguaggio alga all'analisi mo ologica, sin esi, in o mazione es uale indicizza e e in accia e, occo e soddis a e i seguen i due equisi i: 1) Nel diziona io delle o me di pa ole possono esse e inse i e solo lemos ( o me so os an e); 2) p iešdėlinė, p iesaginė e sang ąžinė da yba de e a sispinde e ne.a , o.dic aile. Il p imo equisi o in lingua Li uania non è acile implemen a e a causa della g ande azione mažodžių cai ybos a ie ài o ė (apie 170 a i di), ma isol e e ques a p oblemà ha aiu a o la possibili à della pia a o ma Hunspell da una egola cai ybos k ies is al a. Anche se ali cospi i […]gylis può esse e uguale solo all'uni à, ques o iduce no e olmen e il ile size delle egole di ca ibosi à da qualche milione di a qualcheolica migliaia di eilučių. Soddis acimen o del secondo equisi o quan o espande.dic ailo dimensioni, pe ché, ad esempio, delle s esse šaknie im i, paim i, suim i e nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai sa anno egis a i sepa a o in ighe. E ques o non è l'unica conseguenza nega i a di ques a ichies a si può acilmen e ab iga si e non include e di qualche qual mai a amen e usa o e biamoio o a ibu i o del ammen i. Gius o, ques o p oblema è abbas anza de aglia amen e isolciu a lemas a e nendo sop a u o non da espos i dizionynì, ma da accumula ì eks ynì. Lie u iškųjų.dic e 1.3..a ileų agmen ai (pa yzdžiai) Keli lie u ių kalbos.dic ailo (žodyno) agmen ai con pa yškin ais Jono Jablonskio a i ik pa yzdinių žodžių a i ikmenimis mos a i 2 pa eiksle. 7 P iega in e ne : h ps://gi hub.com/hunspell/hunspell. VIRGINIJUS DADURKEVIČIUS. mo ologia della lingua Li uanie codice ape o hunspell pia a o ma BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 |5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b laukas/1,3,7,10,14,12,20,21,30,9999 po:noun Lauka ičienė,1038,740,745,9999 po:noun_ amily_name ... s ečias/1467,17,1767,1775,1781,1784,1841,9999 po:adjec i e s ečias1,73,85,93,94,98,1007,116,997 po:noun s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e S ečiulienė/738,740,745,999999 po:noun_ amily_name ... Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name gaidys,264,268,278,280,287,8,300,302,999999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peili/12,20,20,20,20,20,14,9999 po:noun Gaipus/444,264,278,998,284,284,992,999,999,99 po:noun_geog aphic_name peilinis 2 P. Ve odžių o mų.dic ailo ... agmen as. Skaičiai po pas i ojo b ūkšnio ma ca i e imen i in indi izza iamo cai ybos egole g uppies. In osso pa yškin i i e imen i a g uppi di egole, che mos a i 3 PAV. Fig. 3 engono o ni i qualche linguaggio li uano cai ybo delle egole.a ailo ammen i: SFX 21 Y 1 SFX 21 as uosna. is:Masc_Pl_Il ... SFX 98 Y 2 SFX 98 as ai. is:Masc_Pl_Nom SFX 98 as ų. is:Masc_Pl_Gen ... SFX 264 Y 6 SFX 264 is is. is:Masc_Sg_Nom SFX 264 ys ys. is:Masc_Sg_Nom SFX 264 is žio. is:Masc_Sg_Gen SFX 264 ys žio. is:Masc_Sg_Gen SFX 264 ai ai. is:Masc_Pl_Nom SFX 264 ai ų. is:Masc_Pl_Gen ... SFX 145 Y 12 SFX 145 is iams. is:Masc_Pl_Da SFX 145 ys iams. is:Masc_Pl_Da SFX 145 is iam. is:Masc_Pl_Da _sho SFX 145 ys iam. is:Masc_Pl_Da _sho SFX 145 is ius. is:Masc_Pl_Acc SFX 145 ys ius. is:Masc_Pl_Acc SFX 145 is iais. is:Masc_Pl_Ins SFX 145 ys iais. is:Masc_Pl_Ins SFX 145 is iuose. is:Masc_Pl_Loc SFX 145 ys iuose. is:Masc_Pl_Loc SFX 145 is iuos. is:Masc_Pl_Loc_sho SFX 145 ys iuos. is:Masc_Pl_Loc_sho 3 PAV. Kai ybos egole.a ailo agmen i. Pa iškin i pa ecchie egole, che ul e io men e u ilizza e all'analisi mo ologica illus a e. VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 Usojendo in esempi p esen a a la desc izione della lingua e s anda dine (nuo lingua indipenden e) Hunspell analisi mezzi, Jono Jablonskio esempio pa ole pe iamo ale ispos a (ž . 4 ig. ). 4 PAV. Esempio di analisi delle pa ole mo ologiche 2. OBRA I IGAZA E RESULTATI Quando già iene cos i ui o isa e is desc is lingua o ma o Hunspell ( . y. c ea i co ispondami.dic e.a ailai), ap ia p a i icamen e illimi a e possibili à p a iche applicazioni cominciando spelling o g amma icosa e i icim e inendo ismaniosi sis emi paesškos in o mazioni. A causa abbas anza complessa della mo ologia della lingua li uani (daug egole e lo o g uppi) e necessi àbili à lemų są ašą da ni con didelie (più di 1 ml d. pa ole) es ynai, i liminčiais ealią a uale sc i a della lingua li uani, ichiese ci ca 5 anni dal p imi en a i i ino sco imen o del mo ologio che ungi smoo hly a ian o. An e io men e in ques o a icolo ipo a i esempi sono più illus a i i, des ina i solo idėjai capi e; in eal à egole e lo o g uppi sono mol o più complica i, specialmen e quelle che sono associa e con azionimažodži. Allo scopo di accele a e il empo di c eazione della mo ologia e e i a e e o i sc i endo migliaia di egole e assegnandole ai lemmi, inizialmen e è s a a c ea a una p ima ia, più as a a della desc izione della mo ologia ichies a nelle speci iche Hunspell (co ykles MS Excel abelle a, lemos e la lo o classi icazione MS Access da abase). Anche sono s a e s iluppa e s umen i so wa e a ques e p ima ie, uomo più age olmen e leggibili e p as amen e pe cepibili s u u om au oma icamen e pe a ky i in.a e.dic ileus o al a, applicazione speci ica di una o maci a a. La più ecen e e sione lie u iškųjų.a e.dic ile di iene p esen a a au o iaus Gi Hub si o. 8 Du an e l'in e o p ocesso di o malizzazione della mo ologia sono s a e u ilizza e ques e p incipali on i: 8 P iega in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l . VIRGINIJUS DADURKEVIČIUS. mo ologia della lingua Li uania open code hunspell pia a o ma |7 1) BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 Daba inės lie u ių kalbos g ama ika (DLKG 2006); 2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas 9 – ~140 mln. pa ole; 3) Texynas di aduzione au oma ica 10 dell'Uni e si à di Vilnia ~800 mln. pa ole, ~4 mln. unikali; 4) Seimo della Repubblica Li uana ( LRS) 11 documen ai ~400 mln. pa ole, ~1 mln. unikali; 5) O ac i e diziona io della lingua Li uania (DŽ 2006) ~60 mila. lemų; 6) Diziona io della lingua 12 Li uania ~500 mille. a icoli; 7) In e nazionali dic iona i di pa ole (VTŽŽe) ~22 mila. lemų; 8) Lie u os pa a džių žodynas (LPŽ) (~80 ūks . pa a džių). In o ale è s a a cos i ui a ci ca 5000 g uppi di egole indi izzabili (18 000 indi iduali egole). Come le egole g uppi s'isc i schiusie secondo pa e della lingua, mos a a 5 igu aiksle. 5 PAV. Kai ybos egole g uppi di appo zionamen o secondo pa e della lingua.dic ileas (žodynas) è s a o cos i ui o da 171 000 lemų. Come lemos sisci schiusi secondo pa e della lingua, puzzia a 6 immiksle. 9 Accesso in e ne : h p:// eks ynas. du.l / eks ynas/. 10 Accesso online: h ps://www. e s i.eu/. 11 Accedo online: h p://www.l s.l /. 12 Accedo in e ne : h p://www.lkz.l /. Dik a o džiai (370) Būdo niji (238) Skai a džiai (55) Į a džiai (64) Veiksmažodžiai (4161) P ie eiksmiai (13) VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanie codice ape o hunspell pla o moje |8 6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 PAV. Lemų siissis uzione secondo pa e della lingua malidingų, nelie u iškų, ne eik inų, įžeidžiančių, Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama nebe a ojamų žodžių. Ve inie cosaik a o dzii u ono ul e io men e sca a i in pau des, nomi, nomi geog a ici e al i casi. Tale selezione acili a l'applicazione della mo ologia c ea a a sc i u a di e i ica e pe me e isul a i dell'analisi più acilmen e applica i in successi e asi di analisi del es o (sin axė, in inci i indesi à iconoscimen o, indicizzazione e paesca). L'accu a ezza del nuo o s iluppa o analizza o e mo ologico è di ci ca 98 pe cen o, i. i. mediamen e 98 su 100 pa ole mo ologico analizza o e in e p e a co e amen e (Kapočiū ė-Dzikienė e k . 2017). Il es an e 2 pe cen o. non iconosciu i pa ole spesso cos i uiscono e o i di o og a ia, al e lingue pa ole ( a di, pa a des, azių ci a as e e c.), ne eik ini, neno minie pa ole e egole pa ole, che non sono s a e incluse nella lemų lis a. 3. PRACTICA TAIKYMAS 3.1. VDU Sin aksinės-seman inės analizės sis ema Nuo amen e c ea a mo ologia della lingua li uana in pia a o ma Hunspell negli anni 20112015 è s a a ada a a in VDU Sin aksinės-seman inės analizės sis ema pe spelling e g amma ica e i ica e, esegui e es o 13 mo ologina e sin assina analisi (ž . ig. 7). Mo ologica analisiè è s a a appoggia a mis ia s a is ica-co ezionale uni echnisminimo (pascėp o modello di Ma ko , secondo s anda d d'o o app ossima e ig amì p obabili à, Vi e bio algo i mo, poche eccezioni). Piu os o su una eikšminimą nell'analisi mo ologica sc i e Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės e Loïc Boizou pubblicazione (2017). 13 Accedo in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis. Daik a a džiai (bend iniai) (41820) Daik a a džiai ( ik iniai) (73697) Būd a džiai (14552) Skai a džiai (153) Į a džiai (53) Veiksmažodžiai (34662) P ie eiksmiai (3850) Al i (2290) VIRGINIJUS DADURKEVIČIUS. mo ologia delle lingue Li uanee a codice ape o hunspell pla o moje |9 7 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 PAV. Hunspell applicazione della mo ologia delle lingue li uanee VDU Sin aksinės-seman inės analizės sis ema 3.2. LRS egis o legisla i i paesškos sis ema Negli anni 20112013 pa allelamen e con nuo a c eazione della mo ologia della lingua Li uania eni a suo ada amen o Teisės ak ų egis o paieškos sis ema LRS kancelia ijoje. No malmen e in ali 14 u i i documen i delle pa ole engono cambia i in lo o lemas e įsidėmima, do e quale lema e a. P ima sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y. eseguendo paesškos užklausą il suo es o anche lemui a o in ale s esso modo, quindi successi amen e si o a non solo nell'in oluc o isc i a o ma di pa ola, ma e qualsiasi al a o ma di quella pa ola, che si o i a ieškomų dokumen ų. Poiché nel sis ema non e a possibile u ilizza e di e amen e.dic.a da i, il sis ema ichiede un o iginalus o ma ( es us ile, di cui ciascuna igaè è [lema] [pa e del linguaggio] [ o mų są ašas]) è s a o gene uoja o p eceden emen e da menziona o p ima io desc izione della mo ologia. Anche se da ques a desc izione si può gene a e ci ca 15 mln. eo icamen e possibili o me di pa ole, a causa dei limi i in e ni del sis ema paesškos di lo o sono s a i u ilizza i solo ci ca 1 mln. pačių equniosi. Tale soluzione è anda a bene, pa sea chka unziona abbas anza luidamen e e iene u ilizza a ino adesso (c . ig. 8). 14 P iege in e ne : h ps://www.e- a .l.