BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
VIRGINIJUS DADURKEVIČIUS
Vilnius Uni e si ä
LETUVI SPRECHES MORFOLOGIE ATVIROJO KODO
HUNSPELL PLATFORME
1
ESMINIAI WORDŽIAI: compu e ische ling is ika, li auische sp ache, g amma ik,
mo ologija, mo ologische analise, Sch i p ü ung, Tex indeksae ung, paieška,
o ene Code, Hunspell.
ĮVADAS
Vo meh als 100 Jah en Jono Jablonskiem Bemühungen (1901, 1918, 1922) li auische Sp ache begonnen
no min i und angewik ig sein zu g undlegine S aa lichkei einijančia p iemone. Be ei s e s jäh ige
Jono Jablonskio Lie u iškos kalbos g ama ikoje (1901) de li auischen Sp ache Phone ik, Mo phologie
und Syn axė wu den o malizuo en: de inie e Haup konzep e, angegeben Wo zuschai ybos und
Sa zinsand ose egel (ž 1 ig.).
1 PAV. Iš auka aus Jono Jablonskio Lie u iškos kalbos g amma ikos 1901
2
Unbezahlba is Jono Jablonski's Bei ag no minend li auische Sp ache leksiką,
e klä end seman ische Wo ensonde ungen.
Ilgą Zei das öllig genüg Schüle n und Leh e n, Sch i s elle n und Lesi oje n, Ve wal inken und
Wissenscha le n. A si adus zi ilisa ion e ände ančiai naujo ei kompy e iem klassische
g ammikai und leksikai e hilo no wendinybė apsi zenk i neues d abužį und we den isa e e neue
1
A ikel be ei e nach Be ich e s a ung li auische Sp ache G amma ik de o enen Code Wel , lase y ą 24-oeje
in e na ionalen Jono Jablonskio Kon e enz Skai menische Sp ache quellen, ih e En wicklungs äge und
Nu zungsmöglichkei en (2017 09 29); ją o ganizo e Li uäischen Sp achins i u s Bend inės kalbos Fo schungszen um und Vilniaus Uni e si ä
de li auischen Sp ache Ka hed a.
2
Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383.
VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje |2
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
echnologischem Bes and eil. Zunächs de Sp achen in Compu e n benö ig e koduojend Tex
(keičian aides in o zahlen), au oma isch ko ige end eingeba dem Tex Fehle , skiemenue end
abipusės ligiu skilo ėsčių eks ą. Wie spä e In o ma ionssuche, Sp achanalyse und Syn hese,
maschinellem Übe se zung on eine Sp ache in eine ande e, au oma ischem Inhal swah nehmung,
Tex sinnliche Analyse und s. . Sp achgegens ände e p lich e e sich sein smulkmeniisch
o malizie en und au sch eiben andokiu, Compu e ie n wah nehmba e Weise. De wich igs e on
diesen Themen Mo phologie, denn das is jegliche ie ugnesnių compu e ische linguis ische
A bei en (sin aksė, seman inė analizė und e c.) G undlage. E s ą solchen A bei am agei sandū oje
du ch üh e expe imen elle Fab ik […]Bi as[…] P og ammie Vy au as Zinke ičius (1996, 2000). Be eik
zwei Jah zehn en wa es nepamainoma und das einzige Mi el zei genössiskem li auischen
Sp ach o schung und compu e ischen Anwendungenen. Dieses Sys em wu de e olg eich e wende
ü Sch eib ehle zu e mi eln Tex e edagungsp og ammen, sowie ü mo phologische Analyse
sowie Syn hese in wissenscha lichen und angewandosich en A bei en du chge üh im Lie u ių
kalbos ins i u e, Vy au as Didžiojo ( en seine A bei en e hiel en Lemuoklio Namen) und Vilniaus
Uni e si ä en. wu de soga en wickel diese Sys em a ian e, angepass de al en li auischen
Sp ache zu analysie en (Gelumbeckai ė und k . 2012). Alle dings expandie ende compu e ische
Linguis iken Bedü nissen begannen zu schä en Mängel dieses Sys ems: nich s anda ische, nich
besch iebene Da ens uk u en; geschlossene Code; ne isa e is ik inių a dų, ilia i o, d iskai os,
pi minių eiksmažodžių zukün igen Zei , su umpėjusių bei e ų o mų ealiza imas. Besonde s
diese Sys ems olimesniem En wickljimens hinde e geschlossene Code Da en und Algo i hmus p ak isch konn e nu selbs Au o ände n.
Um zu o besch iebenen Mängel zu e meiden und eine neue Gene a ion
compu e ische li auischen Sp ach Mo phologie zu e s ellen, wu den die olgenden An o de ungen au gewo en:
1. e wenden und en wickeln nu den o enen Code;
2) nu Da en, abe nich ih e Fo m und in e p e ie ung, können spezi ischen li auischen
Sp ach Eigenscha en haben;
(3) de gesam e P og ammcode muss uni e salus sein, a i jede ande en Sp ache; 4) nu zen
zu ande en Wel sp achen e olg eich angepass e Lösungen. Minus An o de ungen en sp ich
gu die Hunspell Pla o m. Beides, au diese Weise du chzu üh en ap ašius Sp ache, spä e
3
nich schwe iai.), kann man übe p ü en Sch eib ehle in ielen (o e 50) angewomųjų
P og ammen (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign und . üh en
Wö ze s mo phologische Analyse und syn ezę, in ellek ine ex liche In o ma ionen paesešką
und pan.
3
P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell.
VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
|3 In diesem A ikel übe blick sich neue li auische sp ach mo ologies ealizie ung Hunspell
pla o mos G undindu. Besp ochen we den die dami e bundenen P obleme und ih e
Lösungswege, o ges ell we den Beispiele e olg eiche Tes ung und p ak ische Anwendung.
1.LETUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS
1.1.Unspell-Pla o ms En s ehungs o ausse zungen und allgemeine P inzipien
De o ene Code Hunspell Pla o m išsiplė o e aus schlich čiausių Sch eibp ü ungsmi el Ispell,
Aspell, MySpell und pan. Pamažu machend sie komplizie e und anpassend imme
4
e schiedene en Sp achen (ypač agliu inacinėms suomien, eng ų, u kų und e c.), wu de möglich
5
zu lösen nich nu Sch eibp ü ung, abe und mo ologischen Analyses sowie Syn eses Au gaben.
6
Diese wel wei äuße s populä e Pla o m Au o en haup sächlich ung ische He kun
Wissenscha le und Ingeniee iaip og ammie e (T ón e k . 2005). Nenue uch, dass ih Namens
e s e dėmem Hun- is nach Veng ijos Namen englisch sp ich . Spbosmo phologiją Hunspell
Pla o m besch eib zwei eks liche Faila: plė iniu.a gesp ochen we den kai ybos Regeln, und
plė iniu.dic gesp ochen wi d Wo zeug o mü Wö e buch mi u sp üngine mo ologine
In o ma ion und Hinweisen in eine ode meh e e kai ybos Regelng uppen, welche zusä zlich
angewende we den können. A ski ą Regelę kann man sich o s ellen als ins uk ion, in de
angegeben wi d: 1) Was in was läss sich wechseln im Wo aus o mų wodyno. Z.B., Regelung SFX
85 čias y [^š]čias is:Masc_Sg_Voc SFX ma kie , dass geände wi d Wo es pabaiga, und
wechseln möglich čias in y. PFX ma kie e, dass sich de Wo beginn wechsel .
Wo mi elwechsel sind nich o gesehen. 2) Kai ybas Regelng uppe, de diese Regel zuzuo dnen
is , nume is. G uppen können einen ode meh e e Regeln bilden, die imme zusammen gel en. Im
o igen Beispielzdy wi d Regel eine G uppe zugewiesen, de en nume is is 85. 3) Kondi ionen, un e
denen, Aus ausch is möglich (angewende ein gewisse Regulie ungsausd ückliche
Fo malismus). Unse em Beispiezdyne Aus auschung möglich nu mi de Bedingung, dass des
Wo es aus Fo men Wö din pabaiga nich ščias ( beispielsweise, aikiščias). 4) Mo ologische
In o ma ionen, die mi diesem Aus ausch e bunden sind. Unse em Beispielzyme mi solchem
Wo endewechsel is e bundene mo phologische Zeichen Masc_Sg_Voc ( y iškoji giminė,
einsaskai a, šauksmininko eselnis, beispielsweise s e y).
4
P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml.
5
Zugang in e ne : h p://aspell.ne .
6
Zugang in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell.
VIRGINIJUS DADURKEVIČIUS. li auische sp achmo phologie des o enen Codes
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
hunspell-Pla o m |4 Aus üh liche mi Hunspell kai ybos Regelnbildung und mo ologischen
In o ma ionen angegeben P inzipien kann sich au diese Pla o m-Websi e e au machen,
7
und de Besch eibung de Mo phologie e schiedine Sp achen in diese Pla o m
Möglichkei en ziemlich gu ausnagedanke Tommi A. Pi ineno disse a ion (2014).
1.2. Spezi ische An o de ungen li auischamam Realisie ungs e ah en
Dass solch Sp ache o malizie ung ge eiche de mo phologischen Analyse, Syn hese, ex lichen
In o ma ionen zu indexie en und zu suchen, müssen olgende zwei An o de ungen e üll we den:
1) In Wo zeug o mü-Wö e buch können nu lemos (un e s ellige Fo men) gesch ieben we den;
2) o dėlinė, p eesaginė und sang ąžinė da yba muss a spiegeln müssen ne.a , o.dic aile. E s es
An o de ungen im li auischen Sp ach is nich leich umzuse zen wegen g oße Akzmažodžių
kai ybos Viel äl igkei (apie 170 Va ien), abe lösen dieses P oblem zu hel en Hunspell Pla o m
Möglichkei on eine kai ybos Regeln k ies is ande es. Obwohl solche kün igen gylis kann sein
gleich nu de Einhei , das eduzie e heblich das Failo G öße on einigen Millionen bis
meh e eeliks Tausende Eilučių.
De Zu iedenhei des Zwei en Ansp uchs wie iel ausb ech a.dic ailo G öße, denn, z. B., de selben
Schoknies im i, paim i, suim i und nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai we den
au gezeichne ge enn en Reihenu e en. Und das is nich die einzige nega i e Konsequenz diese
Fo de ung kann leich umzi k en und nich einzubeziehen i gendeins sel ene e wende en
Ve bmawo ds ode Eigenna iges Gebildes. Rech , dieses P oblem is ziemlich de aillie gelös wi d
lemas auswählend o allem nich aus ausgegebenen Wö e ynen, abe aus angesammel en Texynen.
Lie u iškųjų.dic und 1.3..a iles F agmen en (pa yzdžiai) Keli li auische
Sp ache.dic ailo (žodyno) F agmen en mi pa yškin en Jono Jablonskio
en sp echenden Beispielsweise Wo menimis zeigen 2 bildiksle.
7
P ieiga in e ne : h ps://gi hub.com/hunspell/hunspell.
VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologie o ene kodo hunspell pla o meige |5
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b
eldas/1,3,7,10,14,12,20,21,30,9999 po:noun
Lauka ičienė,1038,740,745,9999 po:noun_ amily_name
...
s ečias/1467,17,1767,1775,1781,1784,1841,9999 po:adjec i e
s ečias1,73,85,93,94,98,1006,116,997 po:noun
s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e
s ečiulienė,78,740,745,999999 po:noun_ amily_name
...
Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name
gaidys,264,268,278,280,287,8,300,302,999999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e
peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peili/12,20,20,20,20,20,14,9999 po:noun
peipus/444,264,274,278,284,284,289,992,999,999,99 po:noun_noun_geog aphic_AV_name 2 P. Wodžių o mų.dic ailo
...
agmen as. Skaičiai nach pas i ojo b ūkšnio ma kie Hinweise in ad essie ungsame kai ybos
Regelng uppen. Ro linig pa yškn en Hinweise in Regelg uppen, die gezeig wu den 3 PAV. Fig. 3 we den
einige li auischen Sp ache Kai ybos Regeln.a ailo F agmen en o ges ell :
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_Il
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Da
SFX 145 ys iams. is:Masc_Pl_Da
SFX 145 is iam. is:Masc_Pl_Da _sho
SFX 145 ys iam. is:Masc_Pl_Da _sho
SFX 145 is ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 is iais. is:Masc_Pl_Ins
SFX 145 ys iais. is:Masc_Pl_Ins
SFX 145 is iuose. is:Masc_Pl_Loc
SFX 145 ys iuchen. is:Masc_Pl_Loc
SFX 145 is iuos. is:Masc_Pl_Loc_sho
SFX 145 ys iuos. is:Masc_Pl_Loc_sho
3 PAV. Kai ybos Regeln.a ailo F agmen a. Pa yškin en einige Regeln, die wei e e wende we den
mo ologische Analyse zu illus ie en.
VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
Benu zend die in Beispielen angegebenen Sp achebesch eibung und s anda dische (nuo sp ach
unabhängige ) Hunspell analäses Mi el, Jono Jablonskies Beispielwö e n e hal e en wi einen solchen An wo en (ž .
4 g a . ).
4 PAV. Mo ologische Wö e analysis Beispiel
2. WERB IGAGA I RESULTATEN
Wenn schon zusammengese z wi d isa e is Sp achasch eibung Hunspell o ma u ( . y.
gescha en we den en sp echami.dic und.a ailai), a spe nie p ak iisch unbeg enz e
Möglichkei en p ak ischen Anwendungenem beginnend Sch i gebung ode G amma ikasp üchung
und endendig mi ichmaniosioma In o ma ionen paeseškos Sys emen. Au g und ziemlich komplexe
li auische Sp achmo phologie ( iel Regeln und de en G uppen) und No wendigkei lemä Lis e zu
de inie en mi g oßen (meh als 1 Millia den. Wö ze ) Texynen, e lek ie end wi kungs eiche
gegenwä ige Sch i liche li auische Sp ache Zus and, benö igig e e wa 5 Jah e on e s en
Ve suchen bis ließen lich weikian iges Mo phologies Va ian e Scha ung. Ea lie in diesem A ikel
au ge üh en Beispiele sind ehe illus a i , gedach nu idėjai zu e s ehen; in de Wi klichkei
Regeln und ih e G uppen sind iel komplizie e , besonde s die, die mi Ak ionsmažodžiem e bunden
sind. Um die E s ellungszei de Mo phologie zu beschleunigen und Fehle zu e meiden bei de
Au sch i ausende Regeln und ihnen zugewiesen lemmen, wu de zunächs en wo en p imä ,
abs ak e als Hunspell speci ika ionen e lang e Mo phologiebesch eibung (Ko ykles MS Excel
Tabele e, lemos und ih e Klassi izie ung MS Access Da enbank). Eben alls wu den en wickel
p og ammische Mi el ü diese P imä en, einem Menschen leich e lesba en und p äs e
wah nehmba en S uk u en au oma isch pe a ky i in.a und.dic iles ode eine ande e,
8
Anwendung speci ikos nusaky ą o m. Neues e lie u iškųjų.a und.dic iles Ve sion wi d o ges ell au o iaus Gi Hub Websi e.
Wäh end des ganzen Mo phologies o malisie ungsp ozesses wu den olgende Haup quellen e wende :
8
P ieiga in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l .
VIRGINIJUS DADURKEVIČIUS. li auische Sp ache Mo phologie o enem Code hunspell Pla o m
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
in de Pla o m |7 1) Daba ischen li auischen Sp achen G amma ik (DLKG 2006);
2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas
9
–
~140 Mio. Wö e ;
3) Vilniaus Uni e si ä s maschinellen
10
Übe se zungs Tex ynus ~800 Mio. Wö e , ~4 Mio.
unikalien;
4) Seimo ( LRS) ~400 Mio. Wo es, ~1 Mio.
11
unikalien;
5) Gegenwa ige li auische Sp ache Wö e yn (DŽ 2006) ~60 aus. lemų;
6) li auische Sp ache
12
Wö e yn ~500 aus. A ikeln;
7) In e na ionale Wo zeichne (VTŽŽe) ~22 aus. lemų; 8) Lie u ių pa a džių žodynas
(LPŽ) (~80 aus. pa a džių). Insgesam wu de zusammengese z e wa 5000
ad essie ende Regeln g upiä (18 000 indi iduale Regeln). Wie Regeln G uppen
siche schiusios nach Sp achen Teil, pa odie 5 bildiksle. 5 PAV. Kai ybos Regeln G upien
siche be ung nach Sp ache Teil.dic ileas (žodynas) wu de zusammengese z aus 171 000
lemų. Wie lemos passki schiusios nach Sp achen Teil, pawaisdue 6 bildiksle.
9
Zugang in e ne : h p:// eks ynas. du.l / eks ynas/.
10
Zug i online: h ps://www. e s i.eu/.
11
Zugang in e ne : h p://www.l s.l /.
12
Zug i in e ne : h p://www.lkz.l /.
Daik a a dnisse (370)
Büdne (238)
Skai wa džiai
(55) Į a džiai (64)
Veiksmažodžiai (4161)
P ie eiksmiai (13)
VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje |8
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
6 PAV. Lemų siche kennung nach sp ach eil klaidinge , nelie u iische , ne eik inens, einžeidžiančių,
Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama
nich a ojamų Wo es. Ech liche Ding a o zungen wu den zusä zlich ski s omi in Paa des,
Namus, geog a ische Namen und ande e Fällen. Solch eine Selek ion e leich e die Anwendung de
einge ich e en Mo phologie sch eiblich zu übe p ü en und e laub Analysene gebnisse leich e
anzuwenden in spä e en Tex analyse-S u en (syn axė, eingewähl en Einhei ene kennung,
Indexie ung und Pauschung).
Neu en wickel e mo phologische Analysa o is die Genauigkei e wa 98 p ozen , i. e.
du chschni lich 98 aus 100 Wö e n mo phologische Analysa o in e p e ie ich ig
(Kapočiū ė-Dzikienė e k . 2017). Die e bleibenden 2 p oc. nich e kann en Wö e bes ehen
meis ens Sch eib ehle , ande e Sp achen Wö e (Namen, pa a des, azien ci a os und so.),
ne eik ini, neno minie Wö e und egelgi Wö e , die nich au genommen wu den in lemų Lis e.
3. PRAKTISCH TAIKYMAS
3.1. VDU Sin aksinės-seman inės analizės sis ema Neuen wickel e li auische Sp achmo phologie
in Hunspell Pla o m 20112015 Jah en wu de VDU Sin aksinės-seman inės analizės Sys em im VDU
ü Sch eib- und G amma ikp ü ungen, ex mo phologine und synak ische Analyse du chge üh
13
(ž . Fig.). 7 Mo ologische Analyse wu de e gänz du ch eine gemisch e
s a is ische-ko ek u liche ein eichschminim (pass ė hes Ma ko os model, nach goldeniem
S anda dą ap oximie e ig amä Wah scheinlichkei en, Vi e bio-Algo i hmus, einige
Ausnahmen). Wei e e übe eina eikšminimą mo ologische Analyse sch eib Ju gi os
Kapočiū ės-Dzikienės, E ikos Rimku ės und Loïc Boizou Publika ion (2017).
13
Zugang in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis.
Daik a a džiai (bend iniai) (41820)
Daik a a džiai ( ik iniai) (73697)
Būdwa džiai (14552)
Skai wa dnisse
(153) Į a dnisse (53)
Veiksmažodžiai (34662)
P ie eiksmiai (3850)
Oi i (2290)
VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje |9 7
BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204
PAV. Hunspell li auische Sp ach Mo phologie Anwendung im VDU Sin aksinės-seman inės analizės Sys em
3.2. LRS Rech sak en egis o pauseškos sys em
20112013 Jah en pa allelle mi neue li auische Sp achmo phologien Scha ung e olg e ih e
Anpassung Teisės ak ų egis o paieškos sys emoje LRS kancelia ijoje. Gewöhnlich in solchen allen
14
Dokumen en Wö e e ände we den in ih e lemas und einsidėmima, wo welche lema wa . Vo de
sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y.
Du ch üh ung paeškos zucklaus ih Tex auch lemuisie au diesen gleichen Weise, dahe spä e
inde sich nich nu au de zucklause eingesch ieb e Wo o m, abe und jede ande e Fo m des
Wo es, die sich zwischen ieškoms Dokumen en. Da im Sys em nich möglich wa di ek in
diesem.dic.a Da en einzuse zen, Sys em e o de o iginalus Fo ma ( ex isches File, dessen
jede Zeilu ä is [lema] [Sp achs eil] [ o ms-Lis e]) wu de gene uoja ühe aus dem e wähn en
u sp ünglichen Mo phologienbeschö e. Obwohl aus diese Besch eibung kann man gene ie en übe
15 Mio. heo e isch möglichen Wo o men, wegen paeseškos Sys ems innige Einsch änkungen aus
ihnen wu den nu übe 1 Mio. pačių häu igs iech e wende . Diese Lösung ha gewi k , paa schka
unk ionie ziemlich ließend und wi d bis heu e (sieh Fig. 8).
14
Zugang in e ne : h ps://www.e- a .l.
