scieee Science in your language
[lt] (orig) [de] [fr] [it] [es] [pt]

Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

Read accessible full text
Machine-translated document

This is a machine-generated translation of the original document and may contain errors, omissions, or changes in meaning. Do not rely on this translation for quotations, citations, or authoritative references. Please consult and cite the original document.

Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

Author: Virginijus Dadurkevičius
Year: 2017
Source: https://journals.lki.lt/bendrinekalba/article/download/156/147
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
VIRGINIJUS DADURKEVIČIUS
Uni e si é de Vilnius
LIETUVIÉ LIGABOS MORPHOLOGIE ATVIROJO CODO La langue es la langue la plus cou an e dans le monde e la plus cou an e dans le monde.
HUNSPELL PLATFORME DE
1
ESMINIAI VOODŽIAI: in o ma ique ling is ique, lie u ių kalba, g ama ika,
mo ologija, mo ologinė analizė, éc ybos é i ica ion, ex e indeksa imas,
paieška, openasis kodas, Hunspell.
ĮVADAS
Il y a plus de 100 ans Jono Jablonskio des e o s (1901, 1918, 1922) la langue Li uanien commencée
no min i e adap ée ê e p incipale É a uniijančia p iemone. Déjà dans la p emiè e Jono Jablonskio
Li u iškos kalbos g ama ikoje (1901) la phoné ique, mo phologie e syn axė des langues li huaniennes
on é é o malisuées: dé inis les concep s p incipaux, p ésen és des ègles de mo s cai ybos e
sanda os du sen in (ž 1 igu e.).
1 PAV. Iš auka de Jono Jablonskio Li u iškos kalbos g amma ikos 1901
2
Ines imable es Jono Jablonski's appo en no minan les leksiką de la langue
Li uanienne, en expliquan séman iques les pa icula i és des mo s.
Ilgą emps cela complè emen su i aux élè es e enseignan s, éc i ains e lec eu ojens, ga dinks
e scien i iques. A si adus ci ilisa ion changean čiai nou eo ei o dina eu s classique g ammaikai e
leksikai su gilo bū inybė apside k i nou eau d abužį e de eni isa e e nou eaux
1
L'a icle es p épa é selon la p ésen a ion G amma ica li ewskiej języka w świecie open sou ce, lec a ą à la 24oe
con é ence in e na ionale Jono Jablonski Skai meniniai kalbos iš ekliai, jų plė os k yp ys i naudojimo galimybės (2017 09
29); ją o ganiso Li u iens langue ins i u e Bend inės kalbos y imų cen as e Vilniaus uni e si
de la Li uanie ka ed a.
2
Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383.
VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uanies du code ou e hunspell pla e o me |2
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
echnologie. Tou d'abo d des suje s de langue in o ma iques nécessi ée encojan ex e (keičian
aides į skaičius), au oma iquemen co igan les e eu s du ex e in odui , skiemenuan abipusės
lygiu skilo ėsčių eks ą. Quel plus a d la eche che din o ma ions, la pa ole analyse e syn hèse, la
aduc ion au oma ique d'une langue en une au e, la pe cep ion au oma ique du con enu, le ex e
sen imienne analyse e . . Les suje s du langage obligaien ê e smulkmeniquemen o malisés e
no és d'une au e, aux o dina eu s pe cep ible maniè e. Le plus impo an de ces suje s
mo phologie, ca ce es n'impo e qu'ils app o ondugnesnių compu e ises lingu is ikes a aux
(sin aksė, séman i e analyse e e c.) base. P emie à el a ail amžių sandū oje a e ec ué la
p og amma eu expé imen ale usine Bi as Vy au as Zinke ičius (1996, 2000). Be eik deux décennies
cela a é é impamainoma e le seul moyen con empo ainškam de la langue Li uénienne eche che e
in o ma iques applica ions. Ce sys ème a é é u ilisé a ec succès pou dé ec e des e eu s
d'o hog aphe dans des p og ammes d'édi ion de ex es, ainsi que pou l'analyse mo phologique e la
syn hèse dans des a aux scien i iques e appliquomoisiens e ec ués au Li u iens kalbos ins i u e,
Vy au as Didžiojo (là ses a aux on eçu Lemuoklio nom) e Vilniaus uni e si és. Il a même é é c éé
une a ian e de ce sys ème, adap ée à l'ancienne langue Li uanienne analyse (Gelumbeckai ė e k .
2012). Cependan , l'expansion des besoins de linguis ique in o ma ique a commencé à ma que les
dé au s de ce sys ème: non s anda da ines, non déc i es s uc u es de données; closé code;
ne isa e is ik inių a dų, ilia i o, d iskai os, pi minių eiksmažodžių u u du emps,
su umpėjusių bei e ų o mų ealiza imas. En pa iculie ce e sys ème olimesniamemen
dé eloppemen a en a é e mé code données e algo i hme p a iquemen pou ai change seulemen lui au eu .
A in d'é i e p écédemmen déc i s dé au s e de c ée une nou elle géné a ion
in o ma ique de la langue li uanienne mo phologie, on é é soule és les exigences sui an es:
1) u ilise e dé eloppe seulemen le code ou e ;
2) seulemen les données, mais pas leu o me e in e p e a ion, peu en a oi
spéci iques des langues li uaniennes des quali és;
3) ou le code de p og amme doi ê e uni e sus, a i n'impo e quelle au e langue; 4)
p o i e d'au es langues du monde des solu ions adap ées a ec succès. Minus exigences
co esponden bien la pla e o me Hunspell. De plus, e ec ue de elle maniè e ap ašius langue,
3
plus a d n'eu du mal.), il es possible de é i ie des e eu s d'o hog aphe dans beaucoup
(o e 50) des applica ions (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign e .
e ec ue des mo s mo phologique analyse e syn ezę, in ellec uelle ex e in o ma ion
paiešką e pan.
3
P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell.
VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uaniennes au code ou e hunspell
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
pla e o me |3 Dans ce a icle s'examine un nou eau ealisa ions de mo ologies des langues
Li uaniennes Hunspell pla e o me. Les p oblèmes liés à cela e leu s moyens de ésolu ion son
discu és, des exemples de es éussi e d'applica ion p a ique son p ésen és.
1.LITUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS
1.1.P ésupposi ions e p incipes géné aux de l'appa i ion de la pla e o me Hunspell
Le code ou e du Hunspell pla e o me išsiplė oi o de simplicčiausių ou ils de é i ica ion de
o hog aphe Ispell, Aspell, MySpell e pan. Pamažu les aisan plus complexes e adap an de plus
4
en plus di e si es langues (ypač agliu inacinėms suomiens, eng ens, u cs e e c.), il es de enu
5
possible de ésoud e non seulemen la é i ica ion de l'o hog aphe, mais aussi mo ologiques
6
analyse e syn éese des p oblèmes. Ce e pla e o me ex êmemen populai e dans le monde les
au eu s p incipalemen des scien i iques e ingénieu sip og ammeu s d'o igine hong ès (T ón
e k . 2005). Nenuisable, que son nom de p emie dėme Hun- es selon Veng ijos nommée en anglais.
La mo phologie des langues su la pla e o me Hunspell déc i o deux ex iniai ailai: plė iniu.a
записывается катыбо правила, а plė iniu.dic записывается словарь сложных форм с начальной
морфологине информацией и ссылками в одну или несколько групп правил катыбо, которые
дополнительно могут быть применяются. A ski ą ègle peu ê e imaginé comme une ins uc ion,
dans laquelle indiquée: 1) quoi en quoi peu se change dans le mo de o mées ocodyno. P z.,
ègle SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX ma que que changeable le mo pabaiga, e chos i
possible čias en y. PFX ma que ai , que change le débu du mo . Le milieu du mo changemen s
n'es pas p é u. 2) Numé is du g oupe de ègles de Kai yba auquel es a ibuée ce e ègle. Un
g oupe peu cons i ue une ou plusieu s ègles, qui son oujou s appliquées ensemble. Dans
l'exemple p écéden , ègle es a ibuée à un g oupe, don nume is es 85. 3) Condi ions, sous
lesquelles, la changeance es possible (applique un ce ain o malisme d'exp essions éguliè es).
No e exemplezdyse l'échange es possible seulemen à la condi ion que le mo de o mes le
mo yn pabaiga n'es ščias ( exemple, aikiščias). 4) In o ma ion mo phologique, liée à ce
changemen . Dans no e exemple a ec el changemen de in du mo es associé un no a ion
mo phologique Masc_Sg_Voc ( y iškoji giminė, uneaskai a, šauksmininko eselnis, например.,
s e y).
4
P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml.
5
Accessible su in e ne : h p://aspell.ne .
6
Accès in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell.
VIRGINIJUS DADURKEVIČIUS. la mo phologie de la langue Li uanie su la pla e o me de code ou e
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell |4 Plus en dé ail a ec Hunspell les p incipes de compila ion des ègles de cai yba e de
l'indica ion de l'in o ma ion mo phologique peu en ê e amilia isés su le si e de ce e
7
pla e o me, e la possibili é de desc ip ion de la mo phologie des di e ses langues su ce e
pla e o me assez bien énaignée dans la disse a ion de Tommi A. Pi inen (2014).
1.2. Des exigences spéci iques Li u iškajam ealiza imui
Pou qu'une elle o malisa ion du langage se e à l'analyse mo phologique, syn hèse, in o ma ion
ex uelle indexée e chasse, il au sa is ai e les deux exigences sui an es: 1) Dans le dic ionnai e
des o mes de mo s peu en ê e en egis ées seulemen lemos ( o mes sous i ulai es); 2)
a an dėlinė, p éesaginė e sang ąžinė da yba doi a sispindė i ne.a , o.dic aile. Le p emie
exigemen en langues Li uaniennes n'es pas acile de me e en œu e en aison d'une g ande
ac ionmažodžių kai ybos į ai o ės (apie 170 a iés), mais ésoud e ce e p oblemà a aidé la
possibili é de Hunspell pla e o me d'une ègle de kai ybos k ies is au e. Bien que de els ci és
gylis puisse ê e égal à seulemen l'uni é, cela édui considé ablemen la aille du ailo de ègles
de changebos de quelques millions de jusqu'à quelquesolices millie s de eilu ies.
La sa is ac ion du second exigence combien éplečia.dic ailo dydį, ca , pa exemple, des mêmes
châ eaux im i, paim i, suim i e nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai se on
en egis és sépa és en lignesu ées. E ce n'es pas la seule conséquence néga i e de ce e
exigence on peu acilemen s'éne e e exclu e quelconque plus a emen u ilisé de e be ou
adjec i . D oi e, ce p oblème es assez dé aillémen ésolue lemas sélisan ou d'abo d non de
émises dic ionnés, mais de cumulées ex ynes.
Lie u iškųjų.dic e 1.3..a iles agmen s (pa yzdžiai) Keli lie u ių kalbos.dic ailo
(žodyno) agmen s a ec pa yškin ais Jono Jablonskio exemples de mo s
a i ikmenimis mon e dans 2 ableau.
7
P ieige su in e ne : h ps://gi hub.com/hunspell/hunspell.
VIRGINIJUS DADURKEVIČIUS. la mo ologie de la langue Li uanie au code ou e hunspell
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
pla e o me |5 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b
champs/1,3,7,10,14,12,20,21,30,9999 po:noun
Lauka ičienė (1038,740,745,9999 po:noun_ amily_name
...
s ečias/1467,1767,1775,1781,1784,1841,9999 po:adjec i e
s ečias1,73,85,93,98,1006,116,997 po:noun
ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e
S ečiulienė (738,740,745,99997) po:noun_ amily_name
...
Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name
gaidys,264,268,278,280,287,8,300,302,999999 po:noun Gaidys/264,268,278,998,284,288,300,9999 po:noun_ amily_name
peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peili/12,20,20,20,20,20,14,999,99
po:noun Peipus/444,454,444,996,992,999,999,99 po:noun_noun_geog aphic_AV 2 P. F agmen de ichie o mes.dic
...
de mo s. Skaičiai sous pas i ojo b ūkšnio ma que é é ences en ad essuojamas g oupes de ègles
kai ybos. En ouge pa yškin s les é é ences aux g oupes de ègles, qui son mon és 3 PAV. Fig. 3
p ésen en quelques langues li uaniennes kai ybos ègles.a ailo agmen s:
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_Il
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys jio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Da
SFX 145 ys iams. is:Masc_Pl_Da
SFX 145 is iam. is:Masc_Pl_Da _sho
SFX 145 ys iam. is:Masc_Pl_Da _sho
SFX 145 is ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 is iais. is:Masc_Pl_Ins
SFX 145 ys iais. is:Masc_Pl_Ins
SFX 145 is iues. is:Masc_Pl_Loc
SFX 145 ys iues. is:Masc_Pl_Loc
SFX 145 is iuos. is:Masc_Pl_Loc_sho
SFX 145 ys iuos. is:Masc_Pl_Loc_sho
3 PAV. Kai ybos ègles.a ailo agmen s. Pa isškin es quelques ègles, qui son ensui e u ilisées à
l'analyse mo phologique illus e .

VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
U ilisan dans les exemples donnée la desc ip ion de la langue e s anda d (nuo langue indépendan )
Hunspell analyse des moyens, Jono Jablonskio aux exemples mo s ob iend ions el éponse (ž .
4 ig. ).
4 PAV. Exemple d'analyse de mo s mo phologiques
2. OB JIGAI ET RÉSULTATES
Quand déjà es cons i ué isa e is desc ip ions de langue Hunspell o ma ( . y. c éés
co espondami.dic e .a ailai), o bii p a iquemen illimi ée possibili és p a iques applica ions
commençan pa la o hog aphie ou g amma icos é i ica ion e inissan ismaniosiomis paieškos
sys èmes d'in o ma ion. En aison assez complexe de la langue li uanienne mo phologie ( ou ègles
e leu s g upies) e nécessi ébés lemes lis e de ha monise a ec g ands (plus que 1 millia d. mo s)
ex ynais, e le in čiais ealią ac uelle éc i ine langue li uaniennes é a é, nécessi ée en i on 5 ans
depuis p emie s en a i s jusqu louemen eillan a ian de mo phologie. Aupa a an dans ce
a icle les exemples donnés son plus illus a ionna i s, des inés seulemen idei ous comp end e;
en éali é les ègles e leu s g oupes son beaucoup plus complexes, pa iculiè emen celles qui
son liées à des ac ionmažodži. A in d'accélé e le emps de c éa ion de mo phologie e é i e des
e eu s en édigean des millie s de ègles e les a ibuan aux lemmes, a d'abo d é é c éé un
p imai e, plus abs ai que les spéci ica ions Hunspell exigées de la desc ip ion de mo phologie
(co ykles MS Excel able, lemos e leu classi ica ion MS Access base de données). Aussi on é é
c éés des ou ils logiciels à ces p emiè es, humainemen plus aciles à li e e plus simplicemen
pe cep ibles s uc u ons au oma iquemen pe a ky i en.a e .dic iles ou au e, applica ion
spécios nusaky ą o mą. La plus écen e lie u iškųjų.a e .dic iles e sion es ou nie au si e
8
Gi Hub de l'au eu .
Tou au cou s du p ocessus de o malisa ion de la mo phologie on é é u ilisées les p incipales sou ces sui an es:
8
P ieiga su in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l .
VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uaniennes au code ou e hunspell
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
pla e o me |7 1) Daba inės lie u ių kalbos g ama ika (DLKG 2006);
2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas
9
–
~140 mln. mo s;
3) Texyns de aduc ion au oma ique
10
de Vilniaus uni e si é ~800 mln. mo s, ~4 mln.
unikalių;
4) Seimo de la République de Li uanie (
11
LRS) documen ai ~400 mln. mo s, ~1 mln.
unikalių;
5) Ac uellines lexynos de la langue li ou ienne (DŽ 2006) ~60 mille. lemų;
6) Dic ionnyk de la langue
12
Li uanien ~500 mille. a icles;
7) Dic ionnai e des mo s in e na ionaux (VTŽŽe) ~22 mille. lemų; 8) Li u iens pa žų
žodynas (LPŽ) (~80 mille. pa a džių). Au o al, on é é cons i uée en i on 5000 g oupes de
ègles ad essables (18 000 ègles indi iduelles). Commen les g oupes de ègles
s'espa schiées selon la langue pa ie, pa oyée 5 imagele. 5 PAV. Kai ybos ègles g oupes
de s'asso issemen selon la langue.dic ileas (žodynas) a é é cons i ué de 171 000 lemes.
Comme lemos siski schiuses selon pa ie de la langue, pa oisée 6 ableauiksle.
9
Accès in e ne : h p:// eks ynas. du.l / eks ynas/.
10
Accessible su in e ne : h ps://www. e s i.eu/.
11
Accessible su In e ne : h p://www.l s.l /.
12
Accès In e ne : h p://www.lkz.l /.
Dik a a džiai (370)
Būdu ns (238)
Skai a džiai (55)
Į a džiai (64)
Veiksmažodžiai (4161)
P ie eiksmiai (13)
VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uanies du code ou e hunspell pla e o me |8
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
6 PAV. Lemų seissancemen selon pa ie de la langue aidinges, nelie u iškų, ne eik inų, à
Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama
l'o ensi eющих, nebe a ojamų mo s. Les é i ables obje s a o džiai on é é addi ionnellemen
sculp és en pau des, noms, noms géog aphiques e au es cas. Telle sélec ion acili e l'applica ion
de la mo phologie c éée à l'éc i u e é i ie e pe me les ésul a s de l'analyse plus acilemen
applique dans les é apes ul é ieu es de l'analyse du ex e (syn axée, in éni és en i és
econnaissance, indexa ion e pu sui ).
La p écision du nou eau dé eloppé analyseu mo phologique es d'en i on 98 pou cen ., i. i.
moyennemen 98 su 100 mo s le analyseu mo phologique in e p è e co ec emen
(Kapočiū ė-Dzikienė e k . 2017). Les deux pou cen es an s. non econnus des mo s
cons i uen p incipalemen des au es d'o hog aphe, des au es langues mo s (noms,
pa a des, ph ases ci a ions e e c.), ne eik ini, neno mines mo s e égulie s mo s, qui n'on pas é é inclus dans lemes lis e.
3. PRACICIS TAIKYMAS
3.1. VDU Sin aksinės-seman inės analizės sis ema Nou ellemen c éée mo phologie de la langue
li uanienne dans la pla e o me Hunspell en 20112015 a é é adap ée dans le sys ème VDU
Sin aksinės-seman inės analizės à l'o hog aphe e à la g ammai e é i ie , e ec ue une
13
mo phologie e une analyse syn axienne du ex e (ž . ig. 7). Mo ologine analyse a é é complé ée
pa un mix e s a is ique-co eccle mono ep éšminim (passep é le modèle de Ma ko , selon
l'é alon o app oximimée des ig ames p obabili és, Vi e bi algo i hme, quelques excep ions).
Plus long su una eikšminimą analyse mo phologique es éc i dans la publica ion de Ju gi os
Kapočiū ės-Dzikienės, E ikos Rimku ės e Loïc Boizou (2017).
13
Accès in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis.
Daik a o džiai (bend ines) (41820)
Daik a a džiai ( ik iniai) (73697)
Būd a džiai (14552)
Skai a džiai (153)
Į a džiai (53)
Veiksmažodžiai (34662)
P ie eiksmiai (3850)
Oi i (2290)
VIRGINIJUS DADURKEVIČIUS. mo ologie des langues Li uanies du code ou e hunspell pla e o me |9 7
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
PAV. Hunspell applica ion de la mo phologie de la langue Li uanienne VDU Sin aksinės-seman inės analizės sys ème
3.2. LRS egis e législa i s sys ème paieškos
En 20112013 pa allèlemen a ec la c éa ion d'une nou elle mo phologie de la langue Li uanienne s'es
dé oulée son adap a ion Teisės ak ų egis o paieškos sys emoje LRS kancelia ijoje.
14
Habi uellemen dans els ous documen s des mo s son changés en leu s lemes e danssidėmima,
sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y.
où quelle lema é ai . A an e ec uan paieškos užklausą son ex e elle aussi lemuojamas de elle
même maniè e, donc plus a d on ou e non seulemen l'запросie insc i e o me du mo , mais e
ou e quelle au e o me de ce mo , se ou an en e ieškomų dokumen ų. Puisqu'il n'é ai pas
possible dans le sys ème d'u ilise di ec emen ce e.dic.a données, le sys ème nécessi e
o iginalus o ma ( ail ex uel, don chaque ligneé es [lema] [pa ie de la langue] [ o mes lis e]) a
é é géné é aupa a an de men ionné p emie desc ip ions de mo phologie. Bien que de ce
desc ip ion il soi possible de géné e en i on 15 millions. des o mes de mo s héo iquemen
possibles, en aison des limi a ions in e nes du sys ème paieškos d'en e eux on é é u ilisés
seulemen en i on 1 million. des plus équnius. Ce e solu ion a ma qué, la pa sea chka onc ionne assez luidemen e es u ilisée jusqu'à p ésen (j'se ig. 8).
14
Accessible su in e ne : h ps://www.e- a .l.