Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 VIRGINIJUS DADURKEVIČIUS Uni e si é de Vilnius LIETUVIÉ LIGABOS MORPHOLOGIE ATVIROJO CODO La langue es la langue la plus cou an e dans le monde e la plus cou an e dans le monde. HUNSPELL PLATFORME DE 1 ESMINIAI VOODŽIAI: in o ma ique ling is ique, lie u ių kalba, g ama ika, mo ologija, mo ologinė analizė, éc ybos é i ica ion, ex e indeksa imas, paieška, openasis kodas, Hunspell. ĮVADAS Il y a plus de 100 ans Jono Jablonskio des e o s (1901, 1918, 1922) la langue Li uanien commencée no min i e adap ée ê e p incipale É a uniijančia p iemone. Déjà dans la p emiè e Jono Jablonskio Li u iškos kalbos g ama ikoje (1901) la phoné ique, mo phologie e syn axė des langues li huaniennes on é é o malisuées: dé inis les concep s p incipaux, p ésen és des ègles de mo s cai ybos e sanda os du sen in (ž 1 igu e.). 1 PAV. Iš auka de Jono Jablonskio Li u iškos kalbos g amma ikos 1901 2 Ines imable es Jono Jablonski's appo en no minan les leksiką de la langue Li uanienne, en expliquan séman iques les pa icula i és des mo s. Ilgą emps cela complè emen su i aux élè es e enseignan s, éc i ains e lec eu ojens, ga dinks e scien i iques. A si adus ci ilisa ion changean čiai nou eo ei o dina eu s classique g ammaikai e leksikai su gilo bū inybė apside k i nou eau d abužį e de eni isa e e nou eaux 1 L'a icle es p épa é selon la p ésen a ion G amma ica li ewskiej języka w świecie open sou ce, lec a ą à la 24oe con é ence in e na ionale Jono Jablonski Skai meniniai kalbos iš ekliai, jų plė os k yp ys i naudojimo galimybės (2017 09 29); ją o ganiso Li u iens langue ins i u e Bend inės kalbos y imų cen as e Vilniaus uni e si de la Li uanie ka ed a. 2 Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383. VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uanies du code ou e hunspell pla e o me |2 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 echnologie. Tou d'abo d des suje s de langue in o ma iques nécessi ée encojan ex e (keičian aides į skaičius), au oma iquemen co igan les e eu s du ex e in odui , skiemenuan abipusės lygiu skilo ėsčių eks ą. Quel plus a d la eche che din o ma ions, la pa ole analyse e syn hèse, la aduc ion au oma ique d'une langue en une au e, la pe cep ion au oma ique du con enu, le ex e sen imienne analyse e . . Les suje s du langage obligaien ê e smulkmeniquemen o malisés e no és d'une au e, aux o dina eu s pe cep ible maniè e. Le plus impo an de ces suje s mo phologie, ca ce es n'impo e qu'ils app o ondugnesnių compu e ises lingu is ikes a aux (sin aksė, séman i e analyse e e c.) base. P emie à el a ail amžių sandū oje a e ec ué la p og amma eu expé imen ale usine Bi as Vy au as Zinke ičius (1996, 2000). Be eik deux décennies cela a é é impamainoma e le seul moyen con empo ainškam de la langue Li uénienne eche che e in o ma iques applica ions. Ce sys ème a é é u ilisé a ec succès pou dé ec e des e eu s d'o hog aphe dans des p og ammes d'édi ion de ex es, ainsi que pou l'analyse mo phologique e la syn hèse dans des a aux scien i iques e appliquomoisiens e ec ués au Li u iens kalbos ins i u e, Vy au as Didžiojo (là ses a aux on eçu Lemuoklio nom) e Vilniaus uni e si és. Il a même é é c éé une a ian e de ce sys ème, adap ée à l'ancienne langue Li uanienne analyse (Gelumbeckai ė e k . 2012). Cependan , l'expansion des besoins de linguis ique in o ma ique a commencé à ma que les dé au s de ce sys ème: non s anda da ines, non déc i es s uc u es de données; closé code; ne isa e is ik inių a dų, ilia i o, d iskai os, pi minių eiksmažodžių u u du emps, su umpėjusių bei e ų o mų ealiza imas. En pa iculie ce e sys ème olimesniamemen dé eloppemen a en a é e mé code données e algo i hme p a iquemen pou ai change seulemen lui au eu . A in d'é i e p écédemmen déc i s dé au s e de c ée une nou elle géné a ion in o ma ique de la langue li uanienne mo phologie, on é é soule és les exigences sui an es: 1) u ilise e dé eloppe seulemen le code ou e ; 2) seulemen les données, mais pas leu o me e in e p e a ion, peu en a oi spéci iques des langues li uaniennes des quali és; 3) ou le code de p og amme doi ê e uni e sus, a i n'impo e quelle au e langue; 4) p o i e d'au es langues du monde des solu ions adap ées a ec succès. Minus exigences co esponden bien la pla e o me Hunspell. De plus, e ec ue de elle maniè e ap ašius langue, 3 plus a d n'eu du mal.), il es possible de é i ie des e eu s d'o hog aphe dans beaucoup (o e 50) des applica ions (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign e . e ec ue des mo s mo phologique analyse e syn ezę, in ellec uelle ex e in o ma ion paiešką e pan. 3 P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell. VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uaniennes au code ou e hunspell BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 pla e o me |3 Dans ce a icle s'examine un nou eau ealisa ions de mo ologies des langues Li uaniennes Hunspell pla e o me. Les p oblèmes liés à cela e leu s moyens de ésolu ion son discu és, des exemples de es éussi e d'applica ion p a ique son p ésen és. 1.LITUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS 1.1.P ésupposi ions e p incipes géné aux de l'appa i ion de la pla e o me Hunspell Le code ou e du Hunspell pla e o me išsiplė oi o de simplicčiausių ou ils de é i ica ion de o hog aphe Ispell, Aspell, MySpell e pan. Pamažu les aisan plus complexes e adap an de plus 4 en plus di e si es langues (ypač agliu inacinėms suomiens, eng ens, u cs e e c.), il es de enu 5 possible de ésoud e non seulemen la é i ica ion de l'o hog aphe, mais aussi mo ologiques 6 analyse e syn éese des p oblèmes. Ce e pla e o me ex êmemen populai e dans le monde les au eu s p incipalemen des scien i iques e ingénieu sip og ammeu s d'o igine hong ès (T ón e k . 2005). Nenuisable, que son nom de p emie dėme Hun- es selon Veng ijos nommée en anglais. La mo phologie des langues su la pla e o me Hunspell déc i o deux ex iniai ailai: plė iniu.a записывается катыбо правила, а plė iniu.dic записывается словарь сложных форм с начальной морфологине информацией и ссылками в одну или несколько групп правил катыбо, которые дополнительно могут быть применяются. A ski ą ègle peu ê e imaginé comme une ins uc ion, dans laquelle indiquée: 1) quoi en quoi peu se change dans le mo de o mées ocodyno. P z., ègle SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX ma que que changeable le mo pabaiga, e chos i possible čias en y. PFX ma que ai , que change le débu du mo . Le milieu du mo changemen s n'es pas p é u. 2) Numé is du g oupe de ègles de Kai yba auquel es a ibuée ce e ègle. Un g oupe peu cons i ue une ou plusieu s ègles, qui son oujou s appliquées ensemble. Dans l'exemple p écéden , ègle es a ibuée à un g oupe, don nume is es 85. 3) Condi ions, sous lesquelles, la changeance es possible (applique un ce ain o malisme d'exp essions éguliè es). No e exemplezdyse l'échange es possible seulemen à la condi ion que le mo de o mes le mo yn pabaiga n'es ščias ( exemple, aikiščias). 4) In o ma ion mo phologique, liée à ce changemen . Dans no e exemple a ec el changemen de in du mo es associé un no a ion mo phologique Masc_Sg_Voc ( y iškoji giminė, uneaskai a, šauksmininko eselnis, например., s e y). 4 P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml. 5 Accessible su in e ne : h p://aspell.ne . 6 Accès in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell. VIRGINIJUS DADURKEVIČIUS. la mo phologie de la langue Li uanie su la pla e o me de code ou e BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell |4 Plus en dé ail a ec Hunspell les p incipes de compila ion des ègles de cai yba e de l'indica ion de l'in o ma ion mo phologique peu en ê e amilia isés su le si e de ce e 7 pla e o me, e la possibili é de desc ip ion de la mo phologie des di e ses langues su ce e pla e o me assez bien énaignée dans la disse a ion de Tommi A. Pi inen (2014). 1.2. Des exigences spéci iques Li u iškajam ealiza imui Pou qu'une elle o malisa ion du langage se e à l'analyse mo phologique, syn hèse, in o ma ion ex uelle indexée e chasse, il au sa is ai e les deux exigences sui an es: 1) Dans le dic ionnai e des o mes de mo s peu en ê e en egis ées seulemen lemos ( o mes sous i ulai es); 2) a an dėlinė, p éesaginė e sang ąžinė da yba doi a sispindė i ne.a , o.dic aile. Le p emie exigemen en langues Li uaniennes n'es pas acile de me e en œu e en aison d'une g ande ac ionmažodžių kai ybos į ai o ės (apie 170 a iés), mais ésoud e ce e p oblemà a aidé la possibili é de Hunspell pla e o me d'une ègle de kai ybos k ies is au e. Bien que de els ci és gylis puisse ê e égal à seulemen l'uni é, cela édui considé ablemen la aille du ailo de ègles de changebos de quelques millions de jusqu'à quelquesolices millie s de eilu ies. La sa is ac ion du second exigence combien éplečia.dic ailo dydį, ca , pa exemple, des mêmes châ eaux im i, paim i, suim i e nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai se on en egis és sépa és en lignesu ées. E ce n'es pas la seule conséquence néga i e de ce e exigence on peu acilemen s'éne e e exclu e quelconque plus a emen u ilisé de e be ou adjec i . D oi e, ce p oblème es assez dé aillémen ésolue lemas sélisan ou d'abo d non de émises dic ionnés, mais de cumulées ex ynes. Lie u iškųjų.dic e 1.3..a iles agmen s (pa yzdžiai) Keli lie u ių kalbos.dic ailo (žodyno) agmen s a ec pa yškin ais Jono Jablonskio exemples de mo s a i ikmenimis mon e dans 2 ableau. 7 P ieige su in e ne : h ps://gi hub.com/hunspell/hunspell. VIRGINIJUS DADURKEVIČIUS. la mo ologie de la langue Li uanie au code ou e hunspell BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 pla e o me |5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b champs/1,3,7,10,14,12,20,21,30,9999 po:noun Lauka ičienė (1038,740,745,9999 po:noun_ amily_name ... s ečias/1467,1767,1775,1781,1784,1841,9999 po:adjec i e s ečias1,73,85,93,98,1006,116,997 po:noun ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e S ečiulienė (738,740,745,99997) po:noun_ amily_name ... Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name gaidys,264,268,278,280,287,8,300,302,999999 po:noun Gaidys/264,268,278,998,284,288,300,9999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peili/12,20,20,20,20,20,14,999,99 po:noun Peipus/444,454,444,996,992,999,999,99 po:noun_noun_geog aphic_AV 2 P. F agmen de ichie o mes.dic ... de mo s. Skaičiai sous pas i ojo b ūkšnio ma que é é ences en ad essuojamas g oupes de ègles kai ybos. En ouge pa yškin s les é é ences aux g oupes de ègles, qui son mon és 3 PAV. Fig. 3 p ésen en quelques langues li uaniennes kai ybos ègles.a ailo agmen s: SFX 21 Y 1 SFX 21 as uosna. is:Masc_Pl_Il ... SFX 98 Y 2 SFX 98 as ai. is:Masc_Pl_Nom SFX 98 as ų. is:Masc_Pl_Gen ... SFX 264 Y 6 SFX 264 is is. is:Masc_Sg_Nom SFX 264 ys ys. is:Masc_Sg_Nom SFX 264 is žio. is:Masc_Sg_Gen SFX 264 ys jio. is:Masc_Sg_Gen SFX 264 ai ai. is:Masc_Pl_Nom SFX 264 ai ų. is:Masc_Pl_Gen ... SFX 145 Y 12 SFX 145 is iams. is:Masc_Pl_Da SFX 145 ys iams. is:Masc_Pl_Da SFX 145 is iam. is:Masc_Pl_Da _sho SFX 145 ys iam. is:Masc_Pl_Da _sho SFX 145 is ius. is:Masc_Pl_Acc SFX 145 ys ius. is:Masc_Pl_Acc SFX 145 is iais. is:Masc_Pl_Ins SFX 145 ys iais. is:Masc_Pl_Ins SFX 145 is iues. is:Masc_Pl_Loc SFX 145 ys iues. is:Masc_Pl_Loc SFX 145 is iuos. is:Masc_Pl_Loc_sho SFX 145 ys iuos. is:Masc_Pl_Loc_sho 3 PAV. Kai ybos ègles.a ailo agmen s. Pa isškin es quelques ègles, qui son ensui e u ilisées à l'analyse mo phologique illus e . VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 U ilisan dans les exemples donnée la desc ip ion de la langue e s anda d (nuo langue indépendan ) Hunspell analyse des moyens, Jono Jablonskio aux exemples mo s ob iend ions el éponse (ž . 4 ig. ). 4 PAV. Exemple d'analyse de mo s mo phologiques 2. OB JIGAI ET RÉSULTATES Quand déjà es cons i ué isa e is desc ip ions de langue Hunspell o ma ( . y. c éés co espondami.dic e .a ailai), o bii p a iquemen illimi ée possibili és p a iques applica ions commençan pa la o hog aphie ou g amma icos é i ica ion e inissan ismaniosiomis paieškos sys èmes d'in o ma ion. En aison assez complexe de la langue li uanienne mo phologie ( ou ègles e leu s g upies) e nécessi ébés lemes lis e de ha monise a ec g ands (plus que 1 millia d. mo s) ex ynais, e le in čiais ealią ac uelle éc i ine langue li uaniennes é a é, nécessi ée en i on 5 ans depuis p emie s en a i s jusqu louemen eillan a ian de mo phologie. Aupa a an dans ce a icle les exemples donnés son plus illus a ionna i s, des inés seulemen idei ous comp end e; en éali é les ègles e leu s g oupes son beaucoup plus complexes, pa iculiè emen celles qui son liées à des ac ionmažodži. A in d'accélé e le emps de c éa ion de mo phologie e é i e des e eu s en édigean des millie s de ègles e les a ibuan aux lemmes, a d'abo d é é c éé un p imai e, plus abs ai que les spéci ica ions Hunspell exigées de la desc ip ion de mo phologie (co ykles MS Excel able, lemos e leu classi ica ion MS Access base de données). Aussi on é é c éés des ou ils logiciels à ces p emiè es, humainemen plus aciles à li e e plus simplicemen pe cep ibles s uc u ons au oma iquemen pe a ky i en.a e .dic iles ou au e, applica ion spécios nusaky ą o mą. La plus écen e lie u iškųjų.a e .dic iles e sion es ou nie au si e 8 Gi Hub de l'au eu . Tou au cou s du p ocessus de o malisa ion de la mo phologie on é é u ilisées les p incipales sou ces sui an es: 8 P ieiga su in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l . VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uaniennes au code ou e hunspell BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 pla e o me |7 1) Daba inės lie u ių kalbos g ama ika (DLKG 2006); 2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas 9 – ~140 mln. mo s; 3) Texyns de aduc ion au oma ique 10 de Vilniaus uni e si é ~800 mln. mo s, ~4 mln. unikalių; 4) Seimo de la République de Li uanie ( 11 LRS) documen ai ~400 mln. mo s, ~1 mln. unikalių; 5) Ac uellines lexynos de la langue li ou ienne (DŽ 2006) ~60 mille. lemų; 6) Dic ionnyk de la langue 12 Li uanien ~500 mille. a icles; 7) Dic ionnai e des mo s in e na ionaux (VTŽŽe) ~22 mille. lemų; 8) Li u iens pa žų žodynas (LPŽ) (~80 mille. pa a džių). Au o al, on é é cons i uée en i on 5000 g oupes de ègles ad essables (18 000 ègles indi iduelles). Commen les g oupes de ègles s'espa schiées selon la langue pa ie, pa oyée 5 imagele. 5 PAV. Kai ybos ègles g oupes de s'asso issemen selon la langue.dic ileas (žodynas) a é é cons i ué de 171 000 lemes. Comme lemos siski schiuses selon pa ie de la langue, pa oisée 6 ableauiksle. 9 Accès in e ne : h p:// eks ynas. du.l / eks ynas/. 10 Accessible su in e ne : h ps://www. e s i.eu/. 11 Accessible su In e ne : h p://www.l s.l /. 12 Accès In e ne : h p://www.lkz.l /. Dik a a džiai (370) Būdu ns (238) Skai a džiai (55) Į a džiai (64) Veiksmažodžiai (4161) P ie eiksmiai (13) VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uanies du code ou e hunspell pla e o me |8 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 6 PAV. Lemų seissancemen selon pa ie de la langue aidinges, nelie u iškų, ne eik inų, à Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama l'o ensi eющих, nebe a ojamų mo s. Les é i ables obje s a o džiai on é é addi ionnellemen sculp és en pau des, noms, noms géog aphiques e au es cas. Telle sélec ion acili e l'applica ion de la mo phologie c éée à l'éc i u e é i ie e pe me les ésul a s de l'analyse plus acilemen applique dans les é apes ul é ieu es de l'analyse du ex e (syn axée, in éni és en i és econnaissance, indexa ion e pu sui ). La p écision du nou eau dé eloppé analyseu mo phologique es d'en i on 98 pou cen ., i. i. moyennemen 98 su 100 mo s le analyseu mo phologique in e p è e co ec emen (Kapočiū ė-Dzikienė e k . 2017). Les deux pou cen es an s. non econnus des mo s cons i uen p incipalemen des au es d'o hog aphe, des au es langues mo s (noms, pa a des, ph ases ci a ions e e c.), ne eik ini, neno mines mo s e égulie s mo s, qui n'on pas é é inclus dans lemes lis e. 3. PRACICIS TAIKYMAS 3.1. VDU Sin aksinės-seman inės analizės sis ema Nou ellemen c éée mo phologie de la langue li uanienne dans la pla e o me Hunspell en 20112015 a é é adap ée dans le sys ème VDU Sin aksinės-seman inės analizės à l'o hog aphe e à la g ammai e é i ie , e ec ue une 13 mo phologie e une analyse syn axienne du ex e (ž . ig. 7). Mo ologine analyse a é é complé ée pa un mix e s a is ique-co eccle mono ep éšminim (passep é le modèle de Ma ko , selon l'é alon o app oximimée des ig ames p obabili és, Vi e bi algo i hme, quelques excep ions). Plus long su una eikšminimą analyse mo phologique es éc i dans la publica ion de Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės e Loïc Boizou (2017). 13 Accès in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis. Daik a o džiai (bend ines) (41820) Daik a a džiai ( ik iniai) (73697) Būd a džiai (14552) Skai a džiai (153) Į a džiai (53) Veiksmažodžiai (34662) P ie eiksmiai (3850) Oi i (2290) VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uanies du code ou e hunspell pla e o me |9 7 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 PAV. Hunspell applica ion de la mo phologie de la langue Li uanienne VDU Sin aksinės-seman inės analizės sys ème 3.2. LRS egis e législa i s sys ème paieškos En 20112013 pa allèlemen a ec la c éa ion d'une nou elle mo phologie de la langue Li uanienne s'es dé oulée son adap a ion Teisės ak ų egis o paieškos sys emoje LRS kancelia ijoje. 14 Habi uellemen dans els ous documen s des mo s son changés en leu s lemes e danssidėmima, sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y. où quelle lema é ai . A an e ec uan paieškos užklausą son ex e elle aussi lemuojamas de elle même maniè e, donc plus a d on ou e non seulemen l'запросie insc i e o me du mo , mais e ou e quelle au e o me de ce mo , se ou an en e ieškomų dokumen ų. Puisqu'il n'é ai pas possible dans le sys ème d'u ilise di ec emen ce e.dic.a données, le sys ème nécessi e o iginalus o ma ( ail ex uel, don chaque ligneé es [lema] [pa ie de la langue] [ o mes lis e]) a é é géné é aupa a an de men ionné p emie desc ip ions de mo phologie. Bien que de ce desc ip ion il soi possible de géné e en i on 15 millions. des o mes de mo s héo iquemen possibles, en aison des limi a ions in e nes du sys ème paieškos d'en e eux on é é u ilisés seulemen en i on 1 million. des plus équnius. Ce e solu ion a ma qué, la pa sea chka onc ionne assez luidemen e es u ilisée jusqu'à p ésen (j'se ig. 8). 14 Accessible su in e ne : h ps://www.e- a .l.