Πριν από περισσότερα από 100 χρόνια, χάρη στις προσπάθειες του Jonas Jablonskis (1901, 1918, 1922), άρχισε η τυποποίηση της λιθουανικής γλώσσας και αυτή προσαρμόστηκε ώστε να αποτελέσει το κύριο μέσο ενοποίησης του κράτους. Ήδη στην πρώτη Γραμματική της λιθουανικής γλώσσας του Jonas JablonskisLietuviškos kalbos gramatikoje (1901), η φωνητική, η μορφολογία και η σύνταξη της λιθουανικής γλώσσας είχαν τυποποιηθεί: ορίστηκαν οι βασικές έννοιες και παρουσιάστηκαν οι κανόνες κλίσης των λέξεων και δομής της πρότασης (βλ. Εικ. 1).
ΕΙΚ. 1. Απόσπασμα από τη Lietuviškos kalbos gramatikos του Jonas JablonskisLietuviškos kalbos gramatikos 19012
Ανεκτίμητη είναι η συμβολή του Jonas Jablonskis στην τυποποίηση του λεξιλογίου της λιθουανικής γλώσσας και στην ερμηνεία των σημασιολογικών ιδιαιτεροτήτων των λέξεων.
Για πολύ καιρό, αυτό ήταν απολύτως αρκετό για μαθητές και δασκάλους, συγγραφείς και αναγνώστες, δημόσιους υπαλλήλους και επιστήμονες. Με την εμφάνιση μιας καινοτομίας που άλλαξε τον πολιτισμό —των υπολογιστών—, η κλασική γραμματική και το λεξιλόγιο χρειάστηκε να «φορέσουν νέα ενδύματα» και να γίνουν πλήρως ενταγμένα στις νέες
1 Το άρθρο βασίζεται στην ανακοίνωση Lietuvių kalbos gramatika atvirojo kodo pasaulyje, που παρουσιάστηκε στο 24ο διεθνές συνέδριο Jonas Jablonskis Skaitmeniniai kalbos ištekliai, jų plėtros kryptys ir panaudos galimybės (29.09.2017)· τη διοργάνωσαν το Κέντρο Έρευνας της Κοινής Γλώσσας του Ινστιτούτου Λιθουανικής Γλώσσας και το Τμήμα Λιθουανικής Γλώσσας του Πανεπιστημίου του Βίλνιους.
2 Εικόνα από http://www.epaveldas.lt/vbspi/biRecord.do?biRecordId=25383.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 2
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 2
μέρος της τεχνολογίας. Αρχικά, χρειάστηκε να ενσωματωθούν γλωσσικά δεδομένα στους υπολογιστές για την κωδικοποίηση κειμένου (μετατροπή γραμμάτων σε αριθμούς), την αυτόματη διόρθωση λαθών στο εισαγόμενο κείμενο και τον συλλαβισμό κειμένων σε στήλες με αντικριστή στοίχιση. Λίγο αργότερα, χρειάστηκαν για την αναζήτηση πληροφοριών, την ανάλυση και τη σύνθεση ομιλίας, τη μηχανική μετάφραση από μία γλώσσα σε άλλη, την αυτόματη κατανόηση περιεχομένου, τη «συναισθηματική» ανάλυση κειμένου κ.ο.κ. Τα γλωσσικά δεδομένα έπρεπε να τυποποιηθούν με σχολαστική λεπτομέρεια και να καταγραφούν με διαφορετικό τρόπο, κατανοητό από τους υπολογιστές. Το σημαντικότερο από αυτά είναι η μορφολογία, καθώς αποτελεί τη βάση για κάθε εις βάθος εργασία στην υπολογιστική γλωσσολογία (σύνταξη, σημασιολογική ανάλυση κ.λπ.).
Την πρώτη τέτοια εργασία, στα τέλη του αιώνα, εκπόνησε ο προγραμματιστής της πειραματικής μονάδας παραγωγής «Bitas», Vytautas Zinkevičius (1996, 2000). Για σχεδόν δύο δεκαετίες, αυτό ήταν το αναντικατάστατο και μοναδικό μέσο για τη σύγχρονη έρευνα της λιθουανικής γλώσσας και τις υπολογιστικές εφαρμογές. Το σύστημα χρησιμοποιήθηκε με επιτυχία για τον εντοπισμό ορθογραφικών λαθών σε προγράμματα επεξεργασίας κειμένου, καθώς και για μορφολογική ανάλυση και σύνθεση σε ερευνητικές και εφαρμοσμένες εργασίες στο Ινστιτούτο Λιθουανικής Γλώσσας, στο Πανεπιστήμιο Vytautas Magnus (όπου οι εργασίες του έλαβαν την ονομασία «Lemuoklis») και στο Πανεπιστήμιο του Vilnius. Δημιουργήθηκε μάλιστα και μια εκδοχή του συστήματος προσαρμοσμένη στην ανάλυση της παλαιάς λιθουανικής γλώσσας (Gelumbeckaitė et al. 2012). Ωστόσο, καθώς διευρύνονταν οι ανάγκες της υπολογιστικής γλωσσολογίας, άρχισαν να διαφαίνονται τα μειονεκτήματα του συστήματος: μη τυποποιημένες, μη ζητηθείσες δομές δεδομένων· κλειστός κώδικας· ελλιπής υλοποίηση κύριων ονομάτων, αιτιατικής κατεύθυνσης, δυϊκού αριθμού, μέλλοντα χρόνου πρωτογενών ρημάτων, συντετμημένων και σπάνιων τύπων. Το κλειστό λογισμικό αποτελούσε ιδιαίτερο εμπόδιο στην περαιτέρω ανάπτυξη του συστήματος, καθώς στην πράξη μόνο ο ίδιος ο δημιουργός μπορούσε να τροποποιεί τα δεδομένα και τον αλγόριθμο.
Για να αποφευχθούν τα μειονεκτήματα που περιγράφηκαν παραπάνω και να δημιουργηθεί μια νέα γενιά υπολογιστικής μορφολογίας της λιθουανικής γλώσσας, τέθηκαν οι ακόλουθες απαιτήσεις:
1) να χρησιμοποιείται και να δημιουργείται αποκλειστικά λογισμικό ανοικτού κώδικα·
2) μόνο τα δεδομένα, όχι όμως η μορφή ή η ερμηνεία τους, μπορούν να έχουν ειδικά χαρακτηριστικά της λιθουανικής γλώσσας·
3) όλος ο κώδικας του λογισμικού πρέπει να είναι καθολικής εφαρμογής και κατάλληλος για οποιαδήποτε άλλη γλώσσα·
4) να αξιοποιηθούν λύσεις που έχουν εφαρμοστεί με επιτυχία σε άλλες γλώσσες του κόσμου.
Οι απαιτήσεις που αναφέρθηκαν καλύπτονται ικανοποιητικά από την πλατφόρμα Hunspell3. Επιπλέον, αφού περιγραφεί έτσι μια γλώσσα, είναι εύκολο στη συνέχεια να ελέγχονται ορθογραφικά λάθη σε πολλά (πάνω από 50) προγράμματα εφαρμογών (OpenOffice, LibreOffice, Firefox, Chrome, Safari, InDesign κ.ο.κ.), να πραγματοποιούνται μορφολογική ανάλυση και σύνθεση λέξεων, να εκτελείται ευφυής αναζήτηση κειμενικών πληροφοριών κ.λπ.
3 Πρόσβαση στο διαδίκτυο: https://en.wikipedia.org/wiki/Hunspell.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 3
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 3
Το άρθρο αυτό παρουσιάζει μια νέα υλοποίηση της μορφολογίας της λιθουανικής γλώσσας με βάση την πλατφόρμα Hunspell. Συζητούνται τα σχετικά προβλήματα και οι τρόποι επίλυσής τους, ενώ παρατίθενται παραδείγματα επιτυχών δοκιμών και πρακτικής εφαρμογής.
1. ΙΔΙΑΙΤΕΡΟΤΗΤΕΣ ΤΗΣ ΠΕΡΙΓΡΑΦΗΣ ΤΗΣ ΛΙΘΟΥΑΝΙΚΗΣ ΓΛΩΣΣΑΣ ΣΤΗ ΜΟΡΦΗ HUNSPELL
1.1. Προϋποθέσεις για την εμφάνιση της πλατφόρμας Hunspell και γενικές αρχές
Η πλατφόρμα ανοιχτού κώδικα Hunspell εξελίχθηκε από τα απλούστερα εργαλεία ορθογραφικού ελέγχου Ispell4, Aspell5, MySpell6 κ.ά. Καθώς σταδιακά γίνονταν πιο σύνθετα και προσαρμόζονταν σε ολοένα περισσότερες γλώσσες (ιδίως συγκολλητικές, όπως τα φινλανδικά, τα ουγγρικά, τα τουρκικά κ.ά.), κατέστη δυνατή η αντιμετώπιση όχι μόνο εργασιών ορθογραφικού ελέγχου, αλλά και εργασιών μορφολογικής ανάλυσης και σύνθεσης. Οι δημιουργοί αυτής της εξαιρετικά δημοφιλούς παγκοσμίως πλατφόρμας είναι κυρίως επιστήμονες και μηχανικοί-προγραμματιστές ουγγρικής καταγωγής (Trón ir kt. 2005). Δεν είναι περίεργο που το πρώτο συνθετικό της ονομασίας της, «Hun-», προέρχεται από την αγγλική ονομασία της Ουγγαρίας.
Η μορφολογία μιας γλώσσας στην πλατφόρμα Hunspell περιγράφεται σε δύο αρχεία κειμένου: στο αρχείο με επέκταση .aff καταγράφονται οι κανόνες κλίσης, ενώ στο αρχείο με επέκταση .dic καταγράφεται λεξικό λεκτικών τύπων, με αρχικές μορφολογικές πληροφορίες και παραπομπές σε μία ή περισσότερες ομάδες κανόνων κλίσης που μπορούν να εφαρμοστούν επιπλέον. Ένας μεμονωμένος κανόνας μπορεί να νοηθεί ως οδηγία που προσδιορίζει:
1) Τι μπορεί να αντικατασταθεί και με τι στη λέξη του λεξικού τύπων. Για παράδειγμα, στον κανόνα
SFX 85 čias ty [^š]čias is:Masc_Sg_Voc
Το «SFX» δηλώνει ότι αλλάζει το τέλος της λέξης και ότι το «-čias» μπορεί να αντικατασταθεί από το «-ty».
Το «PFX» θα δήλωνε ότι αλλάζει η αρχή της λέξης. Δεν προβλέπονται αλλαγές στο μέσο της λέξης.
2) Τον αριθμό της ομάδας κανόνων κλίσης στην οποία ανήκει αυτός ο κανόνας. Η ομάδα μπορεί να αποτελείται από έναν ή περισσότερους κανόνες, οι οποίοι εφαρμόζονται πάντοτε μαζί. Στο προηγούμενο παράδειγμα, ο κανόνας ανήκει στην ομάδα με αριθμό «85».
3) Τις συνθήκες υπό τις οποίες είναι δυνατή η αντικατάσταση (χρησιμοποιείται ένας ορισμένος φορμαλισμός κανονικών εκφράσεων). Στο παράδειγμά μας, η αντικατάσταση είναι δυνατή μόνο με την προϋπόθεση ότι το τέλος της λέξης από το λεξικό τύπων δεν είναι «-ščias» (π.χ. «vaikiščias»).
4) Τις μορφολογικές πληροφορίες που σχετίζονται με αυτή την αντικατάσταση. Στο παράδειγμά μας, με αυτή την αλλαγή στο τέλος της λέξης συνδέεται η μορφολογική ετικέτα «Masc_Sg_Voc» (αρσενικό γένος, ενικός αριθμός, κλητική πτώση, π.χ. «svety»).
4 Πρόσβαση στο διαδίκτυο: https://www.cs.hmc.edu/~geoff/ispell.html.
5 Πρόσβαση στο διαδίκτυο: http://aspell.net.
6 Πρόσβαση στο διαδίκτυο: https://code.google.com/archive/a/apache-extras.org/p/ooo-myspell.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 4
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 4
Περισσότερα σχετικά με τις αρχές σύνταξης κανόνων κλίσης του Hunspell και δήλωσης μορφολογικών πληροφοριών μπορείτε να βρείτε στον ιστότοπο αυτής της πλατφόρμας7, ενώ οι δυνατότητες περιγραφής της μορφολογίας διαφόρων γλωσσών σε αυτήν την πλατφόρμα έχουν εξεταστεί αρκετά διεξοδικά στη διατριβή του Tommi A. Pirinen (2014).
1.2. Ειδικές απαιτήσεις για την υλοποίηση στη λιθουανική γλώσσα
Για να είναι κατάλληλη αυτή η τυποποίηση της γλώσσας για μορφολογική ανάλυση και σύνθεση, καθώς και για την ευρετηρίαση και αναζήτηση κειμενικών πληροφοριών, πρέπει να ικανοποιούνται οι ακόλουθες δύο απαιτήσεις:
1) στο λεξικό των μορφών λέξεων να καταχωρίζονται μόνο λήμματα (λημματικές μορφές)·
2) η παραγωγή με προθήματα, επιθήματα και ανακλαστικά στοιχεία να αποτυπώνεται όχι στο .aff, αλλά στο αρχείο .dic.
Η πρώτη απαίτηση δεν είναι εύκολο να υλοποιηθεί στη λιθουανική γλώσσα λόγω της μεγάλης ποικιλίας κλιτικών παραλλαγών των ρημάτων (περίπου 170), αλλά η δυνατότητα της πλατφόρμας Hunspell να καλεί έναν κανόνα κλίσης από έναν άλλο βοήθησε στην επίλυση αυτού του προβλήματος. Παρότι το «βάθος» τέτοιων κλήσεων μπορεί να είναι μόνο ένα, αυτό μειώνει σημαντικά το μέγεθος του αρχείου κανόνων κλίσης — από αρκετά εκατομμύρια σε μερικές δεκάδες χιλιάδες γραμμές.
Η ικανοποίηση της δεύτερης απαίτησης αυξάνει κάπως το μέγεθος του αρχείου .dic, καθώς, για παράδειγμα, παράγωγα με προθήματα, επιθήματα και ανακλαστικά στοιχεία από την ίδια ρίζα, όπως τα «imti», «paimti», «suimti» και «nesiimti», θα καταχωρίζονται σε ξεχωριστές γραμμές. Και αυτή δεν είναι η μόνη αρνητική συνέπεια της απαίτησης — είναι εύκολο να γίνει λάθος και να παραλειφθεί κάποιο λιγότερο συχνό παράγωγο ρήματος ή επιθέτου. Ωστόσο, το πρόβλημα αυτό αντιμετωπίζεται αρκετά διεξοδικά με την επιλογή λημμάτων κυρίως από συγκεντρωμένα σώματα κειμένων και όχι από δημοσιευμένα λεξικά.
Μερικά αποσπάσματα του αρχείου .dic (λεξικού) της λιθουανικής γλώσσας, με επισημασμένα τα αντίστοιχα των παραδειγματικών λέξεων του Jonas Jablonskis, παρουσιάζονται στο Σχήμα 2.
7 Διαθέσιμο στο διαδίκτυο: https://github.com/hunspell/hunspell.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 5
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 5
μικρό μαχαίρι/1,3,8,10,12,14,20,21,30,9999 po:noun
Peipus/444,446,452,9999 po:noun_geographic_name
ΣΧΗΜΑ 2. Απόσπασμα του αρχείου .dic με τύπους λέξεων. Οι αριθμοί μετά την κάθετο δηλώνουν παραπομπές σε ομάδες κανόνων κλίσης που μπορούν να εφαρμοστούν. Οι παραπομπές στις ομάδες κανόνων που παρουσιάζονται στο ΣΧΗΜΑ 3 είναι τονισμένες με κόκκινο.
Στο Σχ. 3 παρουσιάζονται ορισμένα αποσπάσματα του αρχείου κανόνων κλίσης της λιθουανικής γλώσσας .aff:
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_I
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Dat
SFX 145 ys iams. is:Masc_Pl_Dat
SFX 145 είναι iam. είναι:Masc_Pl_Dat_short
SFX 145 ys iam. είναι:Masc_Pl_Dat_short
SFX 145 είναι ius. είναι:Masc_Pl_Acc
SFX 145 ys ius. είναι:Masc_Pl_Acc
SFX 145 είναι iais. είναι:Masc_Pl_Inst
SFX 145 ys iais. είναι:Masc_Pl_Inst
SFX 145 yra iuose. yra:Masc_Pl_Loc
SFX 145 ys iuose. yra:Masc_Pl_Loc
SFX 145 yra iuos. yra:Masc_Pl_Loc_short
SFX 145 ys iuos. yra:Masc_Pl_Loc_short
ΣΧΗΜΑ 3. Αποσπάσματα του αρχείου κανόνων κλίσης .aff. Επισημαίνονται με έντονα γράμματα ορισμένοι κανόνες, οι οποίοι χρησιμοποιούνται παρακάτω για την επεξήγηση της μορφολογικής ανάλυσης.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 6
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 6
Αφού χρησιμοποιήσουμε την περιγραφή της γλώσσας που παρουσιάστηκε στα παραδείγματα και τα τυπικά (ανεξάρτητα από τη γλώσσα) εργαλεία ανάλυσης του Hunspell, θα λαμβάναμε την ακόλουθη απάντηση για τα παραδειγματικά λήμματα του Jonas Jablonskis (βλ. Εικ. 4).
ΕΙΚ. 4. Παράδειγμα μορφολογικής ανάλυσης λέξεων
2. ΠΟΡΕΙΑ ΕΡΓΑΣΙΑΣ ΚΑΙ ΑΠΟΤΕΛΕΣΜΑΤΑ
Μόλις συνταχθεί μια πλήρης περιγραφή της γλώσσας σε μορφή Hunspell (δηλαδή δημιουργηθούν τα αντίστοιχα αρχεία .dic και.aff), ανοίγονται πρακτικά απεριόριστες δυνατότητες πρακτικών εφαρμογών — από τον ορθογραφικό ή γραμματικό έλεγχο έως τα ευφυή συστήματα ανάκτησης πληροφοριών. Λόγω της σχετικά σύνθετης μορφολογίας της λιθουανικής γλώσσας (πολλοί κανόνες και ομάδες κανόνων) και της ανάγκης προσαρμογής του καταλόγου λημμάτων σε μεγάλα σώματα κειμένων (πάνω από 1 δισεκατομμύριο λέξεις), τα οποία αντικατοπτρίζουν την πραγματική κατάσταση της σύγχρονης γραπτής λιθουανικής γλώσσας, χρειάστηκαν περίπου 5 χρόνια από τις πρώτες προσπάθειες έως τη δημιουργία μιας ομαλά λειτουργούσας εκδοχής της μορφολογίας. Τα παραδείγματα που παρουσιάστηκαν νωρίτερα στο άρθρο είναι περισσότερο ενδεικτικά και αποσκοπούν μόνο στην κατανόηση της ιδέας· στην πραγματικότητα, οι κανόνες και οι ομάδες τους είναι πολύ πιο σύνθετοι, ιδίως όσοι σχετίζονται με τα ρήματα.
Για να επιταχυνθεί η ανάπτυξη της μορφολογίας και να αποφευχθούν λάθη κατά την καταγραφή χιλιάδων κανόνων και την αντιστοίχισή τους στα λήμματα, αρχικά δημιουργήθηκε μια πρωτογενής περιγραφή της μορφολογίας, πιο αφηρημένη από εκείνη που απαιτείται στις προδιαγραφές του Hunspell (οι κανόνες σε υπολογιστικό φύλλο MS Excel, τα λήμματα και η ταξινόμησή τους σε βάση δεδομένων MS Access). Δημιουργήθηκαν επίσης εργαλεία λογισμικού για την αυτόματη μετατροπή αυτών των αρχικών δομών, που είναι ευκολότερες στην ανάγνωση και κατανόηση από τον άνθρωπο, σε αρχεία .aff και.dic ή σε άλλη μορφή που καθορίζεται από τις ιδιαιτερότητες της εφαρμογής. Η νεότερη έκδοση των λιθουανικών αρχείων .aff και.dic διατίθεται στον ιστότοπο του συγγραφέα GitHub8.
Σε όλη τη διαδικασία τυποποίησης της μορφολογίας χρησιμοποιήθηκαν οι ακόλουθες κύριες πηγές:
8 Διαθέσιμο στο διαδίκτυο: https://github.com/dadurka/hunspell_morphology_lt.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 7
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 7
1) Γραμματική της σύγχρονης λιθουανικής γλώσσας (DLKG 2006)·
2) Το Σώμα κειμένων της σύγχρονης λιθουανικής γλώσσας του Πανεπιστημίου Vytautas Magnus (στο εξής – VDU)9 – περίπου 140 εκατομμύρια λέξεις·
3) Το σώμα κειμένων μηχανικής μετάφρασης του Πανεπιστημίου του Vilnius10 – περίπου 800 εκατομμύρια λέξεις, περίπου 4 εκατομμύρια μοναδικές·
4) Έγγραφα του Seimas της Δημοκρατίας της Λιθουανίας (στο εξής – LRS)11 – περίπου 400 εκατομμύρια λέξεις, περίπου 1 εκατομμύριο μοναδικές·
5) Λεξικό της σύγχρονης λιθουανικής γλώσσας (DŽ 2006) – περίπου 60 χιλιάδες λήμματα·
6) Λεξικό της λιθουανικής γλώσσας12 – περίπου 500 χιλιάδες λήμματα λεξικού·
7) Λεξικό διεθνών λέξεων (VTŽŽe) – περίπου 22 χιλιάδες λήμματα·
Συνολικά δημιουργήθηκαν περίπου 5.000 διευθυνσιοδοτήσιμες ομάδες κανόνων (18.000 μεμονωμένοι κανόνες). Η κατανομή των ομάδων κανόνων ανά μέρος του λόγου παρουσιάζεται στο Σχήμα 5.
ΕΙΚ. 5. Κατανομή των ομάδων κανόνων κλίσης ανά μέρος του λόγου
Το αρχείο .dic (λεξικό) δημιουργήθηκε από 171.000 λήμματα. Η κατανομή των λημμάτων ανά μέρος του λόγου απεικονίζεται στο Σχήμα 6.
9 Διαθέσιμο στο διαδίκτυο: http://tekstynas.vdu.lt/tekstynas/.
10 Διαθέσιμο στο διαδίκτυο: https://www.versti.eu/.
11 Διαθέσιμο στο διαδίκτυο: http://www.lrs.lt/.
12 Διαθέσιμο στο διαδίκτυο: http://www.lkz.lt/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 8
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 8
ΕΙΚ. 6. Κατανομή των λημμάτων ανά μέρος του λόγου
Κατά την επιλογή περιοριστήκαμε μόνο στην ορθή σύγχρονη λιθουανική γλώσσα και αποφύγαμε λανθασμένες, μη λιθουανικές, μη αποδεκτές, προσβλητικές και παρωχημένες λέξεις. Τα κύρια ουσιαστικά ταξινομήθηκαν επιπλέον σε επώνυμα, ονόματα, γεωγραφικές ονομασίες και άλλες περιπτώσεις. Αυτή η επιλογή διευκολύνει την εφαρμογή της αναπτυγμένης μορφολογίας στον ορθογραφικό έλεγχο και επιτρέπει την ευκολότερη αξιοποίηση των αποτελεσμάτων της ανάλυσης σε μεταγενέστερα στάδια ανάλυσης κειμένου (σύνταξη, αναγνώριση ονοματισμένων οντοτήτων, ευρετηρίαση και αναζήτηση).
Η ακρίβεια του νεοαναπτυγμένου μορφολογικού αναλυτή είναι περίπου 98%, δηλαδή κατά μέσο όρο ο μορφολογικός αναλυτής ερμηνεύει σωστά 98 από τις 100 λέξεις (Kapočiūtė-Dzikienė et al. 2017). Το υπόλοιπο 2% των μη αναγνωρισμένων λέξεων αποτελείται συνήθως από ορθογραφικά λάθη, λέξεις άλλων γλωσσών (ονόματα, επώνυμα, παραθέματα φράσεων κ.λπ.), μη αποδεκτές ή μη τυποποιημένες λέξεις, καθώς και ορθές λέξεις που δεν συμπεριλήφθηκαν στον κατάλογο λημμάτων.
3. ΠΡΑΚΤΙΚΗ ΕΦΑΡΜΟΓΗ
3.1. Σύστημα Συντακτικής-Σημασιολογικής Ανάλυσης του VDU
Η νέα μορφολογία της λιθουανικής γλώσσας που δημιουργήθηκε στην πλατφόρμα Hunspell εφαρμόστηκε κατά τα έτη 2011–2015 στο Σύστημα Συντακτικής-Σημασιολογικής Ανάλυσης του VDU13 για τον έλεγχο της ορθογραφίας και της γραμματικής και για τη μορφολογική και συντακτική ανάλυση κειμένου (βλ. Σχ. 7). Η μορφολογική ανάλυση συμπληρώθηκε με μικτή στατιστική-βασισμένη σε κανόνες αποσαφήνιση (κρυφό μοντέλο Markov, πιθανότητες τριγράμμων προσεγγισμένες βάσει χρυσού προτύπου, αλγόριθμος Viterbi, μερικές εξαιρέσεις). Περισσότερα για την αποσαφήνιση στη μορφολογική ανάλυση αναφέρονται στη δημοσίευση των Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė και Loïc Boizou (2017).
13 Πρόσβαση στο διαδίκτυο: http://semantika.lt/SyntacticAndSemanticAnalysis/Analysis.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 9
ΣΧ. 7. Hunspell Εφαρμογή της μορφολογίας της λιθουανικής γλώσσας στο Σύστημα Συντακτικής-Σημασιολογικής Ανάλυσης του VDU
3.2. Σύστημα αναζήτησης του μητρώου νομικών πράξεων του LRS
Κατά τα έτη 2011–2013, παράλληλα με τη δημιουργία της νέας μορφολογίας της λιθουανικής γλώσσας, πραγματοποιήθηκε η εφαρμογή της στο σύστημα αναζήτησης του Μητρώου Νομικών Πράξεων της γραμματείας του LRS14. Συνήθως, σε τέτοια συστήματα, πριν από την πρώτη αναζήτηση, όλα τα έγγραφα ευρετηριάζονται με λημματοποίηση, δηλαδή όλες οι λέξεις των εγγράφων μετατρέπονται στα λήμματά τους και καταγράφεται πού εμφανίζεται κάθε λήμμα. Πριν εκτελεστεί ένα ερώτημα αναζήτησης, το κείμενό του λημματοποιείται επίσης με τον ίδιο τρόπο, επομένως αργότερα εντοπίζεται όχι μόνο η μορφή της λέξης που αναγράφεται στο ερώτημα, αλλά και οποιαδήποτε άλλη μορφή της λέξης υπάρχει στα έγγραφα που αναζητούνται. Επειδή σε αυτό το σύστημα δεν ήταν δυνατό να χρησιμοποιηθούν απευθείας τα δεδομένα .dic,.aff, η αρχική μορφή που απαιτούνταν από το σύστημα (αρχείο κειμένου, όπου κάθε γραμμή είναι [λήμμα] [μέρος του λόγου] → [κατάλογος τύπων]) δημιουργήθηκε από την πρωτογενή περιγραφή της μορφολογίας που αναφέρθηκε προηγουμένως. Αν και από αυτή την περιγραφή μπορούν να παραχθούν περίπου 15 εκατομμύρια θεωρητικά δυνατοί τύποι λέξεων, λόγω των εσωτερικών περιορισμών του συστήματος αναζήτησης χρησιμοποιήθηκε μόνο περίπου 1 εκατομμύριο από τους συχνότερους. Η λύση αυτή αποδείχθηκε επιτυχής· η αναζήτηση λειτουργεί αρκετά ομαλά και χρησιμοποιείται μέχρι σήμερα (βλ. Σχ. 8).
14 Πρόσβαση στο διαδίκτυο: https://www.e-tar.lt
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 10
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 10
ΕΙΚ. 8. Εφαρμογή της μορφολογίας της λιθουανικής γλώσσας στην αναζήτηση του Μητρώου Νομοθετικών Πράξεων του LRS
4.3. Σύστημα ανοικτού κώδικα για την ευρετηρίαση και αναζήτηση εγγράφων Solr/Lucene15
Για την ευρύτερη αξιοποίηση των πλεονεκτημάτων του ανοικτού κώδικα και της εμπειρίας που αποκτήθηκε κατά την υλοποίηση της μορφολογίας της λιθουανικής γλώσσας στο Μητρώο Νομοθετικών Πράξεων, δημιουργήθηκε σύστημα ευρετηρίασης και αναζήτησης λιθουανικών εγγράφων με βάση το Solr/Lucene. Η άμεση εφαρμογή των δεδομένων .dic,.aff σε αυτό το σύστημα είναι δυνατή, αλλά πολύ αναποτελεσματική· γι’ αυτό αντικαταστάθηκε από έναν μετατροπέα πεπερασμένων καταστάσεων (FST – Finite State Transducer), ο οποίος κατασκευάστηκε από την προαναφερθείσα αρχική μορφολογική περιγραφή και παράγει όλες τις θεωρητικά δυνατές μορφές λέξεων σύμφωνα με αυτήν. Η λύση αυτή επιτρέπει όχι μόνο την ακριβή ευρετηρίαση και την εύρεση όλων των επιθυμητών μορφών λέξεων, αλλά και την επιτάχυνση της ευρετηρίασης εκατοντάδες φορές, ενώ τα αποτελέσματα της αναζήτησης μπορούν να αξιοποιούν διάφορες σημασιολογικές σχέσεις, λαμβάνοντας υπόψη πρόσθετες ταξινομικές-σημασιολογικές πληροφορίες. Για παράδειγμα, αν στο ερώτημα δοθεί η λέξη «gyvatė» (φίδι), το σύστημα αναζητεί επιπλέον τις λέξεις «angis» (οχιά), «barškuolė» (κροταλίας) κ.ο.κ. (βλ. εικ. 9), ενώ αν στο ερώτημα δοθεί η λέξη «angis», στα αποτελέσματα της αναζήτησης δεν θα υπάρχουν πλέον ούτε οι λέξεις «gyvačių» ούτε οι «barškuolių» (Ralys, Dadurkevičius 2017).
15 Διαθέσιμο στο διαδίκτυο: http://lucene.apache.org/solr/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 11
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 11
ΕΙΚ. 9. Παράδειγμα εφαρμογής της μορφολογίας της λιθουανικής γλώσσας στο σύστημα ανοικτού κώδικα ευρετηρίασης και αναζήτησης εγγράφων Solr/Lucene
4. ΠΡΟΟΠΤΙΚΕΣ
Για την ευρύτερη εφαρμογή της υλοποίησης της μορφολογίας της λιθουανικής γλώσσας στην πλατφόρμα Hunspell, θα πρέπει να αναπτυχθούν δύο εκδοχές της: η εκδοχή της πρότυπης γλώσσας και η πλήρης εκδοχή (πρότυπη και μη πρότυπη γλώσσα). Η πρώτη εκδοχή θα επέτρεπε τη συνέχιση των εργασιών ορθογραφικού ελέγχου και την παροχή συστάσεων για τη διόρθωση παραβιάσεων των γλωσσικών κανόνων, ενώ η δεύτερη θα ήταν κατάλληλη για την επίλυση εφαρμοσμένων προβλημάτων ανάλυσης της ζωντανής γλώσσας.
Εξίσου σημαντικό μελλοντικό καθήκον είναι η συνεχής συμπλήρωση του μορφολογικού λεξικού με λέξεις που δεν περιλαμβάνονται σε αυτό και με νέες λέξεις, η διόρθωση σφαλμάτων στους κανόνες κλίσης και στην ταξινόμηση των λέξεων που έχουν εντοπιστεί, καθώς και η δημοσίευση της πιο πρόσφατης έκδοσης των .dic,.aff τουλάχιστον μία φορά τον χρόνο.
Με βάση την εμπειρία που έχει ήδη συγκεντρωθεί, θα ήταν εύκολο να συνταχθεί επίσης μια τυπική περιγραφή των λιθουανικών διαλέκτων (ιδίως της διαλέκτου της Σαμογιτίας) ή της παλαιάς γλώσσας των λιθουανικών γραπτών.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 12
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 12
ŠALTINIAI
DLKG 2006 – Dabartinės lietuvių kalbos gramatika. Red. Vytautas Ambrazas. 4-oji pataisyta laida, Vilnius: Mokslo ir enciklopedijų leidybos institutas.
DŽ 2006 – Dabartinės lietuvių kalbos žodynas (elektroninis). Vyr. red. Stasys Keinys. 6-as leid. Vilnius: Lietuvių kalbos institutas.
LKŽe – Lietuvių kalbos žodynas, elektroninis variantas. Red. kolegija: Gertrūda Naktinienė (vyr. red.), Jonas Paulauskas, Ritutė Petrokienė, Vytautas Vitkauskas, Jolanta Zabarskaitė, Vilnius: Lietuvių kalbos institutas, 2005. Atnaujinta versija, 2008. Prieiga internete: www.lkz.lt.
LPŽ – Aleksandras Vanagas (red.), Lietuvių pavardžių žodynas 1–2, Vilnius: Mokslas, 1985–1989.
VTŽŽe 2003 – Vaitkevičiūtė V. Tarptautinių žodžių žodynas (elektroninis). Vilnius: Fotonija.
LITERATŪRA
Gelumbeckaite ir kt. 2012: Gelumbeckaite J., Šinkūnas M., Zinkevičius V. Old Lithuanian Reference Corpus (SLIEKKAS) and Automated Grammatical Annotation. – Journal for Language Technology and Computational Linguistics (JLCL), 2012. - 27.2. Altüberlieferte Sprachen als Gegenstand der Texttechnologie. Ancient Languages as the Object of Text Technology, ed. by Armin Hoenen, Thomas Jügel, Gesellschaft für Sprachentechnologie und Computerlinguistik (GSCL), 83–96 p.
Jablonskis J. 1901: Lietuviškos kalbos gramatika. Rašytojams ir skaitytojams vadovėlis. Parašė Petras Kriaušaitis. Tilžėje 1901. Spausdinta pas Otto v. Mauderode. 88 p.
Jablonskis J. 1918: Lietuvių kalbos gramatika: etimologija: pirmosioms mūsų aukštesniosioms mokslo įstaigoms / P. Kriaušaičio ir Rygiškių Jono. Vilnius: Lietuvių mokslo draugija. 237 p.
Jablonskis J. 1922: Lietuvių kalbos gramatika: etimologija: vidurinėms mokslo įstaigoms / Rygiškių Jonas. 2-asis leid. Kaunas; Vilnius: „Švyturio“ b-vė, (Tilžė: Otto v. Mauderodės sp.). 280 p.
Kapočiūtė-Dzikienė J. ir kt. 2017: Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė, Loïc Boizou Comparison of Lithuanian Morphological Analyzers. – Text, Speech, and Dialogue. 20th International Conference, TSD 2017, Prague, August 27–31, 2017, Proceedings, 47–56.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 13
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 13
Ralys D., Dadurkevičius V. 2017: Informacijos paieškos sistemos ir lietuvių kalba, [žiūrėta 2017-10-30]. Prieiga internete:
Tommi A Pirinen 2014: Weighted Finite-State Methods in Spell-Checking and Correction, Doctoral dissertation, University of Helsinki.
Trón V. ir kt. 2005: Viktor Trón, András Kornai, György Gyepesi, László Németh, Péter Halácsy, and Dániel Varga. 2005. Hunmorph: open source word analysis. – Proceedings of the Workshop on Software (Software '05). Association for Computational Linguistics, Stroudsburg, PA, USA, 77–85.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimo lingvistiniai aspektai. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 148–154.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimas. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 155–162.
Zinkevičius V. 2000: Lemuoblis – morfologinei analizei. – Darbai ir dienos 24, 245–273.
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 14
LITHUANIAN MORPHOLOGY IN THE HUNSPELL FRAMEWORK
Summary
The paper presents the results of an attempt to build basic Lithuanian language resources using the widespread Hunspell platform. The spelling is actually the primary target of this open-source platform but the morphological analysis and synthesis are also possible. Moreover, the ability to efficiently perform lemmatization (stemming) makes this platform the best option for text search engines (e.g. Solr/Lucene) and information retrieval. Taggers, grammar checkers and other basic natural language processing tools can also be build using properly built Hunspell language resources.
Every Hunspell language resource consists of two files: dictionary and affixes (it may be empty). The dictionary contains main forms (lemmas) whereas the affixes contain the morphological rules to generate all possible forms. As a source for the dictionary we have used the Modern Lithuanian Dictionary (6-th edition), Corpus of the Contemporary Lithuanian Language compiled at the Center of Computation Linguistics of Vytautas Magnus University, database of documents of the Lithuanian Parliament, versti.eu machine translation corpus of Vilnius University and various public internet sources (totally 1.3 billion tokens). Main criteria for semi-manual compilation of the Lithuanian dictionary of lemmas from these sources was correctness, usability, actuality and approval by language authorities. Deprecated loanwords or extremely rare, exotic, obsolete, jargon, insulting forms were discarded from the list. Resulting dictionary consists of 171 000 lemmas: 42 000 common nouns, 73 000 proper nouns, 15 000 adjectives, 53 pronouns, 153 numerals, 35 000 verbs, 4 000 adverbs and 2 000 others (prepositions, conjunctions, particles, onomatopoeias, interjections, acronyms and abbreviations).
The second component of language resource, the so called “affix file”, contains information of various kind: metadata, preferable suggestions for spelling correction, grouping of rules, explicit tags for flexing and non-flexing properties, rules for suffix and affix alteration.
In order to make the Hunspell resources suitable for creating basic language tools, e.g. morphological analyzer and synthesizer, some principles should be kept:
1) every flexion paradigm (consisting of one or more rules) should be thoroughly generated from one single lemma in dictionary file (it is not trivial, especially for irregular verbs);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 15
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 15
2) every individual alteration case should have its own morphological tag, e.g. ‘Masc_Sg_Il’ for masculine + singular + illative;
3) every dictionary item should have references for part of speech and other non-flexing information;
4) avoid prefixation via rules, use dictionary instead – affixed forms may have completely different meanings and using them under single lemma may cause problems for text search engines;
5) do not rely much on calling rules from rules – calling depth can by no more than 1.
The coverage of the contemporary Lithuanian by this implementation of Lithuanian morphology is about 98 percent. The full list of all the theoretically possible forms generated by this resource contains about 17 million entries.
This work clearly shows an efficient way for any language (especially with scarce funding resources) to make basic language tools using a single open source development platform – the Hunspell.
