Lietuvių kalbos morfologija atvirojo kodo „Hunspell“ platformoje

BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 VIRGINIJUS DADURKEVIČIUS Vilnius Uni e si ä LETUVI SPRECHES MORFOLOGIE ATVIROJO KODO HUNSPELL PLATFORME 1 ESMINIAI WORDŽIAI: compu e ische ling is ika, li auische sp ache, g amma ik, mo ologija, mo ologische analise, Sch i p ü ung, Tex indeksae ung, paieška, o ene Code, Hunspell. ĮVADAS Vo meh als 100 Jah en Jono Jablonskiem Bemühungen (1901, 1918, 1922) li auische Sp ache begonnen no min i und angewik ig sein zu g undlegine S aa lichkei einijančia p iemone. Be ei s e s jäh ige Jono Jablonskio Lie u iškos kalbos g ama ikoje (1901) de li auischen Sp ache Phone ik, Mo phologie und Syn axė wu den o malizuo en: de inie e Haup konzep e, angegeben Wo zuschai ybos und Sa zinsand ose egel (ž 1 ig.). 1 PAV. Iš auka aus Jono Jablonskio Lie u iškos kalbos g amma ikos 1901 2 Unbezahlba is Jono Jablonski's Bei ag no minend li auische Sp ache leksiką, e klä end seman ische Wo ensonde ungen. Ilgą Zei das öllig genüg Schüle n und Leh e n, Sch i s elle n und Lesi oje n, Ve wal inken und Wissenscha le n. A si adus zi ilisa ion e ände ančiai naujo ei kompy e iem klassische g ammikai und leksikai e hilo no wendinybė apsi zenk i neues d abužį und we den isa e e neue 1 A ikel be ei e nach Be ich e s a ung li auische Sp ache G amma ik de o enen Code Wel , lase y ą 24-oeje in e na ionalen Jono Jablonskio Kon e enz Skai menische Sp ache quellen, ih e En wicklungs äge und Nu zungsmöglichkei en (2017 09 29); ją o ganizo e Li uäischen Sp achins i u s Bend inės kalbos Fo schungszen um und Vilniaus Uni e si ä de li auischen Sp ache Ka hed a. 2 Pa eikslas iš h p://www.epa eldas.l / bspi/biReco d.do?biReco dId=25383. VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje |2 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 echnologischem Bes and eil. Zunächs de Sp achen in Compu e n benö ig e koduojend Tex (keičian aides in o zahlen), au oma isch ko ige end eingeba dem Tex Fehle , skiemenue end abipusės ligiu skilo ėsčių eks ą. Wie spä e In o ma ionssuche, Sp achanalyse und Syn hese, maschinellem Übe se zung on eine Sp ache in eine ande e, au oma ischem Inhal swah nehmung, Tex sinnliche Analyse und s. . Sp achgegens ände e p lich e e sich sein smulkmeniisch o malizie en und au sch eiben andokiu, Compu e ie n wah nehmba e Weise. De wich igs e on diesen Themen Mo phologie, denn das is jegliche ie ugnesnių compu e ische linguis ische A bei en (sin aksė, seman inė analizė und e c.) G undlage. E s ą solchen A bei am agei sandū oje du ch üh e expe imen elle Fab ik […]Bi as[…] P og ammie Vy au as Zinke ičius (1996, 2000). Be eik zwei Jah zehn en wa es nepamainoma und das einzige Mi el zei genössiskem li auischen Sp ach o schung und compu e ischen Anwendungenen. Dieses Sys em wu de e olg eich e wende ü Sch eib ehle zu e mi eln Tex e edagungsp og ammen, sowie ü mo phologische Analyse sowie Syn hese in wissenscha lichen und angewandosich en A bei en du chge üh im Lie u ių kalbos ins i u e, Vy au as Didžiojo ( en seine A bei en e hiel en Lemuoklio Namen) und Vilniaus Uni e si ä en. wu de soga en wickel diese Sys em a ian e, angepass de al en li auischen Sp ache zu analysie en (Gelumbeckai ė und k . 2012). Alle dings expandie ende compu e ische Linguis iken Bedü nissen begannen zu schä en Mängel dieses Sys ems: nich s anda ische, nich besch iebene Da ens uk u en; geschlossene Code; ne isa e is ik inių a dų, ilia i o, d iskai os, pi minių eiksmažodžių zukün igen Zei , su umpėjusių bei e ų o mų ealiza imas. Besonde s diese Sys ems olimesniem En wickljimens hinde e geschlossene Code Da en und Algo i hmus p ak isch konn e nu selbs Au o ände n. Um zu o besch iebenen Mängel zu e meiden und eine neue Gene a ion compu e ische li auischen Sp ach Mo phologie zu e s ellen, wu den die olgenden An o de ungen au gewo en: 1. e wenden und en wickeln nu den o enen Code; 2) nu Da en, abe nich ih e Fo m und in e p e ie ung, können spezi ischen li auischen Sp ach Eigenscha en haben; (3) de gesam e P og ammcode muss uni e salus sein, a i jede ande en Sp ache; 4) nu zen zu ande en Wel sp achen e olg eich angepass e Lösungen. Minus An o de ungen en sp ich gu die Hunspell Pla o m. Beides, au diese Weise du chzu üh en ap ašius Sp ache, spä e 3 nich schwe iai.), kann man übe p ü en Sch eib ehle in ielen (o e 50) angewomųjų P og ammen (OpenO ice, Lib eO ice, Fi e ox, Ch ome, Sa a i, InDesign und . üh en Wö ze s mo phologische Analyse und syn ezę, in ellek ine ex liche In o ma ionen paesešką und pan. 3 P ieiga in e ne e: h ps://en.wikipedia.o g/wiki/Hunspell. VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 |3 In diesem A ikel übe blick sich neue li auische sp ach mo ologies ealizie ung Hunspell pla o mos G undindu. Besp ochen we den die dami e bundenen P obleme und ih e Lösungswege, o ges ell we den Beispiele e olg eiche Tes ung und p ak ische Anwendung. 1.LETUVI KALBOS APRAŠYMO HUNSPELL FORMATU YPATYBS 1.1.Unspell-Pla o ms En s ehungs o ausse zungen und allgemeine P inzipien De o ene Code Hunspell Pla o m išsiplė o e aus schlich čiausių Sch eibp ü ungsmi el Ispell, Aspell, MySpell und pan. Pamažu machend sie komplizie e und anpassend imme 4 e schiedene en Sp achen (ypač agliu inacinėms suomien, eng ų, u kų und e c.), wu de möglich 5 zu lösen nich nu Sch eibp ü ung, abe und mo ologischen Analyses sowie Syn eses Au gaben. 6 Diese wel wei äuße s populä e Pla o m Au o en haup sächlich ung ische He kun Wissenscha le und Ingeniee iaip og ammie e (T ón e k . 2005). Nenue uch, dass ih Namens e s e dėmem Hun- is nach Veng ijos Namen englisch sp ich . Spbosmo phologiją Hunspell Pla o m besch eib zwei eks liche Faila: plė iniu.a gesp ochen we den kai ybos Regeln, und plė iniu.dic gesp ochen wi d Wo zeug o mü Wö e buch mi u sp üngine mo ologine In o ma ion und Hinweisen in eine ode meh e e kai ybos Regelng uppen, welche zusä zlich angewende we den können. A ski ą Regelę kann man sich o s ellen als ins uk ion, in de angegeben wi d: 1) Was in was läss sich wechseln im Wo aus o mų wodyno. Z.B., Regelung SFX 85 čias y [^š]čias is:Masc_Sg_Voc SFX ma kie , dass geände wi d Wo es pabaiga, und wechseln möglich čias in y. PFX ma kie e, dass sich de Wo beginn wechsel . Wo mi elwechsel sind nich o gesehen. 2) Kai ybas Regelng uppe, de diese Regel zuzuo dnen is , nume is. G uppen können einen ode meh e e Regeln bilden, die imme zusammen gel en. Im o igen Beispielzdy wi d Regel eine G uppe zugewiesen, de en nume is is 85. 3) Kondi ionen, un e denen, Aus ausch is möglich (angewende ein gewisse Regulie ungsausd ückliche Fo malismus). Unse em Beispiezdyne Aus auschung möglich nu mi de Bedingung, dass des Wo es aus Fo men Wö din pabaiga nich ščias ( beispielsweise, aikiščias). 4) Mo ologische In o ma ionen, die mi diesem Aus ausch e bunden sind. Unse em Beispielzyme mi solchem Wo endewechsel is e bundene mo phologische Zeichen Masc_Sg_Voc ( y iškoji giminė, einsaskai a, šauksmininko eselnis, beispielsweise s e y). 4 P ieiga in e ne e: h ps://www.cs.hmc.edu/~geo /ispell.h ml. 5 Zugang in e ne : h p://aspell.ne . 6 Zugang in e ne : h ps:code.google.com/a chi e/a/apache-ex as.o g/p/ooo-myspell. VIRGINIJUS DADURKEVIČIUS. li auische sp achmo phologie des o enen Codes BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 hunspell-Pla o m |4 Aus üh liche mi Hunspell kai ybos Regelnbildung und mo ologischen In o ma ionen angegeben P inzipien kann sich au diese Pla o m-Websi e e au machen, 7 und de Besch eibung de Mo phologie e schiedine Sp achen in diese Pla o m Möglichkei en ziemlich gu ausnagedanke Tommi A. Pi ineno disse a ion (2014). 1.2. Spezi ische An o de ungen li auischamam Realisie ungs e ah en Dass solch Sp ache o malizie ung ge eiche de mo phologischen Analyse, Syn hese, ex lichen In o ma ionen zu indexie en und zu suchen, müssen olgende zwei An o de ungen e üll we den: 1) In Wo zeug o mü-Wö e buch können nu lemos (un e s ellige Fo men) gesch ieben we den; 2) o dėlinė, p eesaginė und sang ąžinė da yba muss a spiegeln müssen ne.a , o.dic aile. E s es An o de ungen im li auischen Sp ach is nich leich umzuse zen wegen g oße Akzmažodžių kai ybos Viel äl igkei (apie 170 Va ien), abe lösen dieses P oblem zu hel en Hunspell Pla o m Möglichkei on eine kai ybos Regeln k ies is ande es. Obwohl solche kün igen gylis kann sein gleich nu de Einhei , das eduzie e heblich das Failo G öße on einigen Millionen bis meh e eeliks Tausende Eilučių. De Zu iedenhei des Zwei en Ansp uchs wie iel ausb ech a.dic ailo G öße, denn, z. B., de selben Schoknies im i, paim i, suim i und nesiim idė p iešliniaip iesaginiaisang ąžiniai ediniai we den au gezeichne ge enn en Reihenu e en. Und das is nich die einzige nega i e Konsequenz diese Fo de ung kann leich umzi k en und nich einzubeziehen i gendeins sel ene e wende en Ve bmawo ds ode Eigenna iges Gebildes. Rech , dieses P oblem is ziemlich de aillie gelös wi d lemas auswählend o allem nich aus ausgegebenen Wö e ynen, abe aus angesammel en Texynen. Lie u iškųjų.dic und 1.3..a iles F agmen en (pa yzdžiai) Keli li auische Sp ache.dic ailo (žodyno) F agmen en mi pa yškin en Jono Jablonskio en sp echenden Beispielsweise Wo menimis zeigen 2 bildiksle. 7 P ieiga in e ne : h ps://gi hub.com/hunspell/hunspell. VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologie o ene kodo hunspell pla o meige |5 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 laukakmenis/118,122,132,137,141,145,157,159,9999 po:noun laukan po:ad e b eldas/1,3,7,10,14,12,20,21,30,9999 po:noun Lauka ičienė,1038,740,745,9999 po:noun_ amily_name ... s ečias/1467,17,1767,1775,1781,1784,1841,9999 po:adjec i e s ečias1,73,85,93,94,98,1006,116,997 po:noun s ečia imasis/1308,1310,131315,1313139979 po:noun_ e lexi e s ečiulienė,78,740,745,999999 po:noun_ amily_name ... Gaidulis/118,122,132,141,145,157,9999 po:noun_ amily_name Gaiduly ė38,740,745,754,760,9999 po:noun_ amily_name gaidys,264,268,278,280,287,8,300,302,999999 po:noun_ amily_name peilinis,9936,9999 po:adjec i e peilis/1122,132,21,13,30,17,14,14,15,15,15,19,9999 po:noun peili/12,20,20,20,20,20,14,9999 po:noun peipus/444,264,274,278,284,284,289,992,999,999,99 po:noun_noun_geog aphic_AV_name 2 P. Wodžių o mų.dic ailo ... agmen as. Skaičiai nach pas i ojo b ūkšnio ma kie Hinweise in ad essie ungsame kai ybos Regelng uppen. Ro linig pa yškn en Hinweise in Regelg uppen, die gezeig wu den 3 PAV. Fig. 3 we den einige li auischen Sp ache Kai ybos Regeln.a ailo F agmen en o ges ell : SFX 21 Y 1 SFX 21 as uosna. is:Masc_Pl_Il ... SFX 98 Y 2 SFX 98 as ai. is:Masc_Pl_Nom SFX 98 as ų. is:Masc_Pl_Gen ... SFX 264 Y 6 SFX 264 is is. is:Masc_Sg_Nom SFX 264 ys ys. is:Masc_Sg_Nom SFX 264 is žio. is:Masc_Sg_Gen SFX 264 ys žio. is:Masc_Sg_Gen SFX 264 ai ai. is:Masc_Pl_Nom SFX 264 ai ų. is:Masc_Pl_Gen ... SFX 145 Y 12 SFX 145 is iams. is:Masc_Pl_Da SFX 145 ys iams. is:Masc_Pl_Da SFX 145 is iam. is:Masc_Pl_Da _sho SFX 145 ys iam. is:Masc_Pl_Da _sho SFX 145 is ius. is:Masc_Pl_Acc SFX 145 ys ius. is:Masc_Pl_Acc SFX 145 is iais. is:Masc_Pl_Ins SFX 145 ys iais. is:Masc_Pl_Ins SFX 145 is iuose. is:Masc_Pl_Loc SFX 145 ys iuchen. is:Masc_Pl_Loc SFX 145 is iuos. is:Masc_Pl_Loc_sho SFX 145 ys iuos. is:Masc_Pl_Loc_sho 3 PAV. Kai ybos Regeln.a ailo F agmen a. Pa yškin en einige Regeln, die wei e e wende we den mo ologische Analyse zu illus ie en. VIRGINIJUS DADURKEVIČIUS. Lie u ių kalbos mo ologija a i ojo kodo hunspell pla o moje |6 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 Benu zend die in Beispielen angegebenen Sp achebesch eibung und s anda dische (nuo sp ach unabhängige ) Hunspell analäses Mi el, Jono Jablonskies Beispielwö e n e hal e en wi einen solchen An wo en (ž . 4 g a . ). 4 PAV. Mo ologische Wö e analysis Beispiel 2. WERB IGAGA I RESULTATEN Wenn schon zusammengese z wi d isa e is Sp achasch eibung Hunspell o ma u ( . y. gescha en we den en sp echami.dic und.a ailai), a spe nie p ak iisch unbeg enz e Möglichkei en p ak ischen Anwendungenem beginnend Sch i gebung ode G amma ikasp üchung und endendig mi ichmaniosioma In o ma ionen paeseškos Sys emen. Au g und ziemlich komplexe li auische Sp achmo phologie ( iel Regeln und de en G uppen) und No wendigkei lemä Lis e zu de inie en mi g oßen (meh als 1 Millia den. Wö ze ) Texynen, e lek ie end wi kungs eiche gegenwä ige Sch i liche li auische Sp ache Zus and, benö igig e e wa 5 Jah e on e s en Ve suchen bis ließen lich weikian iges Mo phologies Va ian e Scha ung. Ea lie in diesem A ikel au ge üh en Beispiele sind ehe illus a i , gedach nu idėjai zu e s ehen; in de Wi klichkei Regeln und ih e G uppen sind iel komplizie e , besonde s die, die mi Ak ionsmažodžiem e bunden sind. Um die E s ellungszei de Mo phologie zu beschleunigen und Fehle zu e meiden bei de Au sch i ausende Regeln und ihnen zugewiesen lemmen, wu de zunächs en wo en p imä , abs ak e als Hunspell speci ika ionen e lang e Mo phologiebesch eibung (Ko ykles MS Excel Tabele e, lemos und ih e Klassi izie ung MS Access Da enbank). Eben alls wu den en wickel p og ammische Mi el ü diese P imä en, einem Menschen leich e lesba en und p äs e wah nehmba en S uk u en au oma isch pe a ky i in.a und.dic iles ode eine ande e, 8 Anwendung speci ikos nusaky ą o m. Neues e lie u iškųjų.a und.dic iles Ve sion wi d o ges ell au o iaus Gi Hub Websi e. Wäh end des ganzen Mo phologies o malisie ungsp ozesses wu den olgende Haup quellen e wende : 8 P ieiga in e ne : h ps://gi hub.com/dadu ka/hunspell_mo phology_l . VIRGINIJUS DADURKEVIČIUS. li auische Sp ache Mo phologie o enem Code hunspell Pla o m BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 in de Pla o m |7 1) Daba ischen li auischen Sp achen G amma ik (DLKG 2006); 2) Vy au o Didžiojo uni e si e o ( oliau – VDU) Daba inės lie u ių kalbos eks ynas 9 – ~140 Mio. Wö e ; 3) Vilniaus Uni e si ä s maschinellen 10 Übe se zungs Tex ynus ~800 Mio. Wö e , ~4 Mio. unikalien; 4) Seimo ( LRS) ~400 Mio. Wo es, ~1 Mio. 11 unikalien; 5) Gegenwa ige li auische Sp ache Wö e yn (DŽ 2006) ~60 aus. lemų; 6) li auische Sp ache 12 Wö e yn ~500 aus. A ikeln; 7) In e na ionale Wo zeichne (VTŽŽe) ~22 aus. lemų; 8) Lie u ių pa a džių žodynas (LPŽ) (~80 aus. pa a džių). Insgesam wu de zusammengese z e wa 5000 ad essie ende Regeln g upiä (18 000 indi iduale Regeln). Wie Regeln G uppen siche schiusios nach Sp achen Teil, pa odie 5 bildiksle. 5 PAV. Kai ybos Regeln G upien siche be ung nach Sp ache Teil.dic ileas (žodynas) wu de zusammengese z aus 171 000 lemų. Wie lemos passki schiusios nach Sp achen Teil, pawaisdue 6 bildiksle. 9 Zugang in e ne : h p:// eks ynas. du.l / eks ynas/. 10 Zug i online: h ps://www. e s i.eu/. 11 Zugang in e ne : h p://www.l s.l /. 12 Zug i in e ne : h p://www.lkz.l /. Daik a a dnisse (370) Büdne (238) Skai wa džiai (55) Į a džiai (64) Veiksmažodžiai (4161) P ie eiksmiai (13) VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje |8 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 6 PAV. Lemų siche kennung nach sp ach eil klaidinge , nelie u iische , ne eik inens, einžeidžiančių, Vykdan a anką bu o apsi ibojama ik ai aisyklinga šiuolaikine lie u ių kalba i engiama nich a ojamų Wo es. Ech liche Ding a o zungen wu den zusä zlich ski s omi in Paa des, Namus, geog a ische Namen und ande e Fällen. Solch eine Selek ion e leich e die Anwendung de einge ich e en Mo phologie sch eiblich zu übe p ü en und e laub Analysene gebnisse leich e anzuwenden in spä e en Tex analyse-S u en (syn axė, eingewähl en Einhei ene kennung, Indexie ung und Pauschung). Neu en wickel e mo phologische Analysa o is die Genauigkei e wa 98 p ozen , i. e. du chschni lich 98 aus 100 Wö e n mo phologische Analysa o in e p e ie ich ig (Kapočiū ė-Dzikienė e k . 2017). Die e bleibenden 2 p oc. nich e kann en Wö e bes ehen meis ens Sch eib ehle , ande e Sp achen Wö e (Namen, pa a des, azien ci a os und so.), ne eik ini, neno minie Wö e und egelgi Wö e , die nich au genommen wu den in lemų Lis e. 3. PRAKTISCH TAIKYMAS 3.1. VDU Sin aksinės-seman inės analizės sis ema Neuen wickel e li auische Sp achmo phologie in Hunspell Pla o m 20112015 Jah en wu de VDU Sin aksinės-seman inės analizės Sys em im VDU ü Sch eib- und G amma ikp ü ungen, ex mo phologine und synak ische Analyse du chge üh 13 (ž . Fig.). 7 Mo ologische Analyse wu de e gänz du ch eine gemisch e s a is ische-ko ek u liche ein eichschminim (pass ė hes Ma ko os model, nach goldeniem S anda dą ap oximie e ig amä Wah scheinlichkei en, Vi e bio-Algo i hmus, einige Ausnahmen). Wei e e übe eina eikšminimą mo ologische Analyse sch eib Ju gi os Kapočiū ės-Dzikienės, E ikos Rimku ės und Loïc Boizou Publika ion (2017). 13 Zugang in e ne : h p://seman ika.l /Syn a icAndSeman icAnalysis/Analysis. Daik a a džiai (bend iniai) (41820) Daik a a džiai ( ik iniai) (73697) Būdwa džiai (14552) Skai wa dnisse (153) Į a dnisse (53) Veiksmažodžiai (34662) P ie eiksmiai (3850) Oi i (2290) VIRGINIJUS DADURKEVIČIUS. li auische sp ach mo ologija o enhojo kodo hunspell pla o moje |9 7 BENDRINĖ KALBA 90 (2017) www.bend inekalba.l ISSN 2351-7204 PAV. Hunspell li auische Sp ach Mo phologie Anwendung im VDU Sin aksinės-seman inės analizės Sys em 3.2. LRS Rech sak en egis o pauseškos sys em 20112013 Jah en pa allelle mi neue li auische Sp achmo phologien Scha ung e olg e ih e Anpassung Teisės ak ų egis o paieškos sys emoje LRS kancelia ijoje. Gewöhnlich in solchen allen 14 Dokumen en Wö e e ände we den in ih e lemas und einsidėmima, wo welche lema wa . Vo de sis emose da p ieš ykdan pi mąją paiešką isi dokumen ai y a indeksuojami lemuojan , . y. Du ch üh ung paeškos zucklaus ih Tex auch lemuisie au diesen gleichen Weise, dahe spä e inde sich nich nu au de zucklause eingesch ieb e Wo o m, abe und jede ande e Fo m des Wo es, die sich zwischen ieškoms Dokumen en. Da im Sys em nich möglich wa di ek in diesem.dic.a Da en einzuse zen, Sys em e o de o iginalus Fo ma ( ex isches File, dessen jede Zeilu ä is [lema] [Sp achs eil] [ o ms-Lis e]) wu de gene uoja ühe aus dem e wähn en u sp ünglichen Mo phologienbeschö e. Obwohl aus diese Besch eibung kann man gene ie en übe 15 Mio. heo e isch möglichen Wo o men, wegen paeseškos Sys ems innige Einsch änkungen aus ihnen wu den nu übe 1 Mio. pačių häu igs iech e wende . Diese Lösung ha gewi k , paa schka unk ionie ziemlich ließend und wi d bis heu e (sieh Fig. 8). 14 Zugang in e ne : h ps://www.e- a .l.