The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)

NATALIIA DARCHUK Taraso Ševčenkos nacionalinis Kijevo universitetas ORCID id: orcid.org/0000-0001-8932-9301 Tyrimų sritys: kompiuterinė lingvistika, tekstynų lingvistika, kiekybinė lingvistika, ukrainiečių kalbos gramatika ir semantika. OKSANA ZUBAN Taraso Ševčenkos nacionalinis Kijevo universitetas ORCID id: orcid.org/0000-0002-2644-3892 Tyrimų sritys: kompiuterinė lingvistika, lingvistinė ekspertizė, kiekybinė lingvistika, ukrainiečių kalbos gramatika ir semantika. VALENTYNA ROBEIKO Taraso Ševčenkos nacionalinis Kijevo universitetas ORCID id: orcid.org/0000-0003-2266-7650 Tyrimų sritys: kalbos analizė, atpažinimas ir sintezė, fonetika, natūraliosios kalbos apdorojimas. YULIIA TSYHVINTSEVA Taraso Ševčenkos nacionalinis Kijevo universitetas, Ukrainiečių kalbos institutas prie Ukrainos nacionalinės mokslų akademijos ORCID id: orcid.org/0000-0002-9684-3840 Tyrimų sritys: ukrainiečių neologija, leksikologija ir leksikografija. VICTOR SOROKIN Taraso Ševčenkos nacionalinis Kijevo universitetas ORCID id: orcid.org/0000-0002-3637-0535 Tyrimų sritys: automatinė sintaksės analizė, automatinė semantinė analizė, natūraliosios kalbos apdorojimas. Straipsniai / Articles 223 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK MYKOLA SAZHOK Ukrainos nacionalinės mokslų akademijos Informacinių technologijų ir sistemų institutas ORCID id: orcid.org/0000-0003-1169-6851 Tyrimų sritys: kalbos analizė, atpažinimas ir sintezė, natūraliosios kalbos apdorojimas. DOI: doi.org/10.35321/all91-09 AUTOMATINĖS UKRAINIEČIŲ ŽINIASKLAIDOS TEKSTŲ STILOMETRINĖS ANALIZĖS SISTEMA TEXTATTRIBUTOR 1.0 (METODAI, PRIEMONĖS, FUNKCIONALUMAS) Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas) SANTRAUKA Šiame straipsnyje pristatoma autorių sukurta automatinė sistema TextAttributor, jos struktūra, algoritmai, įgyvendinimas ir eksperimentų rezultatai. Sistema skirta ukrainiečių kalbos tekstams statistiškai parametrizuoti, naudojant daugiaparametrį statistinių rodiklių rinkinį, apibūdinantį autoriaus teksto stilių ir pritaikomą autorystės nustatymo uždaviniams. Remdamasi sukurtais lingvistiniais ištekliais ir programine įranga, sistema generuoja lingvistinę analizę pagal apskaičiuotus statistinius rodiklius ir atlieka dviejų tekstų lyginamąjį tyrimą. Papildomas statistinio indeksavimo kriterijus yra teksto toksiškumo indeksas, apskaičiuojamas taikant toksinio sentimentų turinio žodinio identifikavimo metodą. Autorystės ir toksiškumo nustatymo uždaviniai sprendžiami dviem metodais: žodyniniais ir taisyklėmis grindžiamais statistiniais skaičiavimais bei mašininiu mokymusi. Išsamiai nagrinėjami dabartiniai rezultatai, įgyvendinti TextAttributor beta versijoje. RAKTINIAI ŽODŽIAI: kompiuterinė lingvistika, ukrainiečių kalba, sentimentų analizė, autorystės nustatymas, stilometrija, tekstų klasifikavimas. 224 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) S A N T R A U K A Šiame straipsnyje pristatoma straipsnio autorių sukurtos automatinės sistemos „TextAttributor“, skirtos statistiniam ukrainiečių kalbos tekstų parametrizavimui naudojant daugiaparametrinį statistinių rodiklių rinkinį, apibūdinantį autoriaus teksto stilių ir taikomą autorystės atribucijos uždaviniams, struktūrą, algoritmai, įdiegimas ir eksperimentiniai rezultatai. Sukurtų lingvistinių išteklių ir programinės įrangos pagrindu sistema generuoja lingvistinę analizę pagal apskaičiuotus statistinius indeksus ir atlieka dviejų tekstų lyginamąją analizę. Papildomas statistinio indeksavimo kriterijus yra neigiamas nuotaikas sukeliančio teksto indeksas, apskaičiuojamas taikant žodinio neigiamų nuotaikų identifikavimo metodą. Autorystės ir pagiežos nustatymo užduotys sprendžiamos dviem metodais: žodynu ir taisyklėmis pagrįstais statistiniais skaičiavimais ir mašininiu mokymusi. Dabartiniai rezultatai, gauti naudojantis „TextAttributor“ beta versija, išsamiai išnagrinėti. ESMINIAI ŽODŽIAI: kompiuterinė lingvistika, ukrainiečių kalba, jausmingumo analizė, autorystės priskyrimas, stilometrija, teksto klasifikavimas. 1. ĮVADAS Tekstologiniai tyrimai įgijo naują mokslinę reikšmę tobulėjant kompiuterinės lingvistikos metodams, kurie prisidėjo prie naujos krypties, laikytinos skaitmenine tekstologija, susiformavimo. Šioje besiformuojančioje disciplinoje skaitmeninę tekstologiją suvokiame kaip automatizuotų tekstynų lingvistikos metodų taikymą kartu su matematiniais modeliais kiekybinei tekstų analizei. Vadovaudamasi šiuolaikinės kiekybinės lingvistikos ir natūraliosios kalbos apdorojimo uždaviniais, mūsų komanda sukūrė automatinės lingvistinės-statistinės žiniasklaidos tekstų analizės sistemą, įgyvendintą kaip saityno taikomoji programa TextAttributor (TextAttributor 1.0 2024). Sistema atlieka keturis uždavinius: 1) statistinį teksto parametrizavimą; 2) stilometriją: idioleko lingvistinių-statistinių ypatybių nustatymą; 3) atribuciją: tekstų panašumo laipsnio nustatymą; ir 4) sentimentų analizę: neigiamų sentimentų leksikos tekstuose nustatymą. Be to, sistemoje pagal antrojo ir ketvirtojo uždavinių rezultatus automatiškai generuojamos dvi lingvistinės ekspertų išvados. Daugiafunkcė TextAttributor sistema reikalauja, kad naudotojai susipažintų su jos veikimo principais. Šio straipsnio tikslas – supažindinti akademinę ir edukacinę filologų bendruomenę su sistemos kūrimo metodika, architektūra ir veikimo rezultatais, kad būtų aiškiai suprastos jos funkcijos ir analitinės galimybės, kurios yra ypač aktualios. Šis metodas ypač aktualus analizuojant didelius internetinės komunikacijos kiekius ir Straipsniai / Articles 225 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA RОBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK stiprinant informacinės gynybos strategijas vykstančio Rusijos–Ukrainos karo metu. Automatinės ukrainiečių kalbos tekstų atribucijos sistemos kūrimo idėja kilo iš projekto autorių atliktos ukrainiečių tekstynų lingvistikos srities tyrimų (Darčuk 2013) ir statistinių autoriaus stiliaus tyrimų (Darčuk et al. 2021; Darchuk, Sorokin 2022; Zuban 2019), vykdytų naudojant Ukrainiečių kalbos tekstyno (KUM) priemones, analizės. Kuriant TextAttributor sistemą buvo taikomi šie metodai: komponentų analizė, distributyvinė analizė ir turinio analizė. Turinio analizė – kiekybinis ir kokybinis informacijos išgavimo iš teksto metodas – buvo atliekama taikant natūraliosios kalbos apdorojimo ir statistinius metodus. Taip pat taikyti kvantifikavimas ir sentimentų analizė. Sentimentų analizė automatiškai nustato teksto tonaciją pagal emocinį atspalvį ir autoriaus įvykių ar objektų vertinimą; tai buvo pasiekta taikant žodyniniais ir taisyklėmis grindžiamus statistinius skaičiavimus. Be to, buvo įtraukti mašininio mokymosi metodai, įskaitant gilųjį mokymąsi. Teksto statistinė struktūra, suprantama kaip jo kiekybinis modelis, leidžia nustatyti funkcinį stilių, autorystę ir sukūrimo laikotarpį. Šiame darbe statistinės struktūros komponentai buvo išskirti analizuojant leksinius ir gramatinius statistinius požymius, naudojant indeksavimo metodus ir Euklido atstumo metrikas. Euklido atstumas, matuojantis atstumą tarp dviejų taškų n-mačiame Euklido erdvės, yra viena plačiausiai lingvostatistikoje naudojamų metrikų klasterinei analizei stilometrijoje ir autorystės nustatymo uždaviniuose. Rezultatų naujumas – pirmasis kompiuterinėje lingvistikoje automatizuotas morfosintaksinis-semantinis stilometrinis tekstų analizės modelis, paremtas 15 statistinių indeksų, pirmiausia parametrizuojančių morfologinę, taip pat sintaksinę ir semantinę teksto struktūrą, įgyvendinimas. Stilometrinis modelis – tai statistinių teksto parametrų (leksinių, morfologinių, sintaksinių ir kt.) visuma, kuria remiantis atliekama šio teksto lyginamoji analizė su funkcinio stiliaus stilometriniu modeliu. Mūsų nuomone, naudojant statinius metodus stilometriniam modeliui kurti galima gauti griežtą, deterministinę, moksliškai pagrįstą bendrų ir skiriamųjų stilių, žanrų ir kt. požymių sistemą. Pirmą kartą stilometriniame modelyje įvestas toksiškumo indekso parametras, būdingai apibūdinantis žiniasklaidos tekstus Rusijos–Ukrainos karo metu. Šis modelis įgyvendintas ne tik tekstų statistinio parametrizavimo funkcijoje, kuri būdinga tokio tipo sistemoms, bet ir funkcijoje, leidžiančioje lyginti analizuojamą tekstą su ukrainiečių kalbos žiniasklaidos stiliumi, taip pat stilometrijos ir atribucijos uždaviniuose, kuriuose dalyvauja du ar daugiau tekstų. Teorinė reikšmė apima dviejų tekstų toksiškumo ir 226 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) autorystės ukrainiečių kalba nustatymo metodų validavimą: 1) taikant žodyninį ir taisyklėmis grindžiamą metodą ir 2) naudojant mašininį mokymąsi, įskaitant gilųjį mokymąsi. 2. SUSIJĘ DARBAI Šiuolaikinėje ukrainiečių lingvistikoje atlikta nemažai lingvistinių-statistinių ukrainiečių rašytojų ir poetų, įskaitant Tarasą Ševčenką, Lesią Ukrainką, Vasilį Stusą (Zuban’ 2019), Ivaną Franko (Buk 2021), Romaną Ivanyčuką (Lototska 2022), Valerijų Ševčuką (Volos, Levchenko 2023), Mariją Matios, Jurijų Andruchovyčių, Oksaną Zabužko (Karasov, Levchenko 2024), Ivaną Dračą, Mykolą Vingranovskį (Darchuk et al. 2024), Liną Kostenko (Zuban’ 2019; Darchuk et al. 2024) ir kitų idiolektų tyrimų. Šie tyrimai atlikti remiantis reprezentatyviomis tekstų imtimis (ilgais tekstais), daugiausia naudojant vieną ar kelis (ne daugiau kaip penkis) statistinius parametrus, dažnai netaikant stilometrinio palyginimo. Be to, dėl daug darbo reikalaujančio lingvistinių-statistinių eksperimentų vykdymo ukrainiečių lingvistikoje iš esmės nebuvo išsamiai nagrinėjamas statistinis parametrizavimas, analizuojamų tekstų palyginimas su standartiniais funkcinių stilių statistiniais parametrais, tekstų panašumo laipsnio nustatymas, taip pat trumpų tekstų stilometrinė ir atribucinė analizė. TextAttributor sistemos naudojimas lingvistiniuose-statistiniuose tyrimuose, skirtas šioms užduotims atlikti automatiškai, ne tik suteiks kalbinių reiškinių dažnumo charakteristikas, bet ir sudarys sąlygas veiksmingai stilometrinei analizei, kurios rezultatas – eksperto išvada. TextAttributor sistema turi pranašumų, palyginti su jos analogais pasaulio moksle. Dauguma esamų sistemų ir modelių taip pat orientuoti į atskirų lingvistinių-statistinių modulių naudojimą vienam ar keliems, daugiausia formaliems (n-gramoms, dažniausiems žodžiams, raidėms), teksto parametrams nustatyti (Eder 2015; Canhasi et al. 2022; LIWC-22; Khomytska et al. 2023; ALIAS). O TextAttributor 1.0 siūlo visapusišką metodą, apimantį interaktyvią leksinės, morfologinės, sintaksinės ir semantinės teksto struktūros statistinę analizę realiuoju laiku pagal 15 parametrų. Tekstų autorystės nustatymas aktyviai plėtojamas užsienio tekstologijoje, ypač Burrows metodas (Burrows 2002; Argamon 2007; Eder, Rybicki 2013; Burrows et al. 2014) išbandomas daugelyje tyrimų, kuriuose analizuojami dideli įvairių stilių tekstinių duomenų kiekiai, pavyzdžiui: XX a. pradžios anglų proza (Hoover 2004); šiuolaikinė anglų poezija (Hoover 2005); poetiniai kūriniai lotynų kalba (Rybicki, Eder 2011); pagrindinių žanrų prozos kūriniai anglų, prancūzų, italų, vokiečių, lenkų, vengrų, taip pat lotynų ir arabų kalbomis (Rybicki, Eder 2011; Evert et al. 2015; Jannidis et al. 2015); politiniai tekstai anglų kalba, įskaitant Straipsniai / Articles 227 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Amerikos prezidentų kalbų atribuciją (Savoy 2015). Kitas automatinės lingvistinės analizės metodas, vadinamas „Linguistic Inquiry and Word Count“ (LIWC), įgyvendintas kaip komercinė taikomoji programa ir pritaikytas kelioms kalboms (Meier et al. 2019; LIWC-22). Pastaraisiais metais automatinės tekstų atribucijos uždaviniuose daugiausia taikyti arba taisyklėmis grindžiami stilometriniai metodai, arba giliojo mokymosi metodai (Eder 2015; Canhasi et al. 2022). Abu metodai įgyvendinti TextAttributor sistemoje; jie veiksmingi, tačiau duoda skirtingus rezultatus: 1) taisyklėmis grindžiamas metodas leidžia automatizuoti lingvistinių išvadų apie idiolektą ir teksto toksiškumą generavimą; 2) mašininio mokymosi metodas nustato tik toksiškumo laipsnį ir tekstų panašumą, be to, gali būti naudojamas tekstinio turinio stebėsenos klasifikavimo uždaviniuose. Naujausi mašininio mokymosi metodai sentimentų analizei ir tekstų autorystei nustatyti grindžiami statistiniais metodais (TF-IDF, Latent Dirichlet Allocation) ir giliojo mokymosi technikomis, taikomomis su įvairiomis architektūromis (CNN, LSTM, BERT) kartu su stilometriniais metodais (Gupta et al. 2019; Canhasi et al. 2022; Bonetti et al. 2023). Skelbiami rezultatai itin priklauso nuo klasių skaičiaus (toksiškumo tipų, autorių), žanro, teksto ilgio ir, svarbiausia, nuo tinkamai anotuoto tekstyno, naudojamo mokymo procedūrai, apimties. Taigi didelis, daugiau kaip 90%, tikslumas toksiškumo ir neapykantos kalbos nustatymo uždaviniuose pasiekiamas naudojant tekstyną, kuriame yra dešimtys tūkstančių dokumentų (Alkomah, Ma 2022). Pavyzdžiui, daugiau kaip 90% autorystės nustatymo tikslumas pasiekiamas tiriant angliškus literatūros kūrinius, kurių autoriai yra 1000 autorių, naudojant 6000 dokumentų tekstyną, skirtą 15 autorių. Savo ruožtu tekstynuose, kuriuose yra mažiau nei 1500 dokumentų, nurodomas maždaug 70% tikslumas (Khan et al. 2023). Ukrainiečių kalbos tekstų autorystės nustatymas ir sentimentų / toksiškumo analizė yra mažai ištirtos problemos (Lupei et al. 2020); be to, tokios sistemos nepateikia lingvistinės ekspertizės ir negali būti naudojamos kaip lingvistinių tyrimų priemonės. 3. BENDROSIOS TEXTATTRIBUTOR SISTEMOS VEIKIMO CHARAKTERISTIKOS Kuriant TextAttributor buvo įgyvendinti šie uždaviniai: 1) Teorinė lingvistika: sukurta formalizuotos morfologinės, statistinės, stilometrinės, atribucinės ir sentimentų analizės metodika; 2) Programinės įrangos inžinerija: sukurta minėtoms automatinėms analizėms skirta lingvistinių duomenų bazių struktūra ir programinė įranga; 3) Eksperimentinė lingvistika: sistema išbandyta su ukrainiečių žiniasklaidos tekstais, ir 228 Acta Linguistica Lithuanica XCI Automatinės ukrainiečių žiniasklaidos tekstų stilometrinės analizės sistema TextAttributor 1.0 (metodai, priemonės, funkcionalumas) įgyvendintas automatinio stilometrinio tyrimo analitinis modulis. Automatinė lingvistinė sistema, įgyvendinta kaip saityno taikomoji programa, apdoroja naudotojo įvestus žiniasklaidos stiliaus tekstus ir generuoja skaitines statistinių parametrų reikšmes, apibūdinančias teksto požymius. Sistema veikia pagal struktūruotą operacijų seką: 1. Teksto tokenizavimas: teksto skaidymas į sakinius ir žodžius analizei. 2. Morfologinis žymėjimas: žodžių žymėjimas pagal jų gramatines formas. 3. Kontekstinė analizė: morfologinių žymų atnaujinimas atsižvelgiant į kontekstą. 4. Sintaksinė analizė: dvejetainių žodžių ryšių sakiniuose nustatymas siekiant suprasti jų gramatinę struktūrą. 5. Sintaksinių ryšių nustatymas: sintaksinių sąsajų nustatymas remiantis iš anksto apibrėžtomis taisyklėmis. 6. Emociškai neigiamo žodyno atitikties nustatymas: žodžių iš iš anksto nustatyto neigiamo žodyno rinkinio identifikavimas. 7. Statistinių parametrų vertinimas: įvesties teksto statistinių parametrų vertinimas naudojant automatiškai sudarytus dažnumo žodynus. 8. Rezultatų vizualizavimas: statistinio parametrizavimo rezultatų pateikimas grafiškai, nurodant empirines reikšmes ir pasikliautinuosius intervalus. 9. Rezultatų lyginimas: dviejų žiniasklaidos stiliaus tekstų statistinio parametrizavimo rezultatų vizualizavimas, sudarantis sąlygas juos palyginti. 10. Euklido atstumo vertinimas: dviejų žiniasklaidos stiliaus tekstų nepanašumo kiekybinis įvertinimas. 11. Ekspertų išvadų generavimas: dviejų ekspertų išvadų generavimas: vienos apie teksto atribuciją, kitos – apie teksto toksiškumą, remiantis lingvistiniu tyrimu. 12. Toksiškumo nustatymas ir autorystės identifikavimas: mašininio mokymosi metodų, ypač neuroninių tinklų modelių, taikymas toksiškumui nustatyti ir autoriams identifikuoti. Sistemos rezultatai suskirstyti į šiuos skyrius: Teksto atribucijos indeksų grupė, Teksto atribucijos eksperto išvada, Teksto atribucijos lyginimas, Lingvistinė teksto toksiškumo ekspertizė ir Neuroninių tinklų išvados. Skiltyje Teksto atribucijos indeksų grupė (1 pav.) statistiniai parametrai suskirstyti pagal įvesties tekstą: 1 stulpelyje pateikiamas indekso pavadinimas, 2 stulpelyje – empirinė skaitinė reikšmė, o 3 stulpelyje pateikiama vaizdinė nuoroda, lyginant empirinę indekso reikšmę su pasikliautinojo intervalo Straipsniai / Articles 229 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK ribomis (apatine ir viršutine), išvestomis iš ukrainiečių žiniasklaidos stiliaus tekstų. Empirinė skaitinė reikšmė skalėje vaizduojama užpildytu apverstu trikampiu. 1 PAVEIKSLAS: Teksto atribucijos rezultato fragmentas Skiltyje Teksto atribucijos eksperto išvada (2 pav.) pateikiamos išvados apie tipinius arba individualius lingvistinius-statistinius požymius, išskirtus iš analizuojamo teksto pagal kiekvieną įvertintą indeksą. Šios išvados grindžiamos atsakymais į klausimą: ar skaitinė indekso reikšmė patenka į ukrainiečių kalbos žiniasklaidos stiliaus pasikliautinąjį intervalą? Remdamasi skaitinių reikšmių palyginimu su pasikliautinojo intervalo ribinėmis reikšmėmis, sistema pateikia tris galimus atsakymus (tipiniai žiniasklaidos stiliaus požymiai, mažesni nei įprasta žiniasklaidos stiliaus idiolekto požymiai ir didesni nei įprasta žiniasklaidos stiliaus idiolekto požymiai). Skiltyje Teksto atribucijos lyginimas (4 pav., 4.2 poskyris), pasirinkus „Apskaičiuoti vektorinį atstumą“, lentelės duomenys nedelsiant atnaujinami taip: 1 stulpelyje pateikiami naudotojo įvesti tekstai ir anksčiau išanalizuotas tekstas; 2 stulpelyje rodomas kiekvieno teksto sakinių skaičius; 3 stulpelyje – žodžių skaičius; 4 stulpelyje pateikiamas Euklido atstumas tarp analizuojamo teksto ir kiekvieno lentelėje esančio teksto; 5 stulpelyje, pavadintame „Palyginti“, inicijuojamas automatinis statistinių indeksų palyginimas tarp analizuojamo ir pasirinkto tekstų. Aktyvinus atitinkamą elementą „Palyginti“, grupėje „Teksto atribucijos indeksai“ pateikiama išsami dviejų tekstų statistinio palyginimo informacija (3 pav.). 230 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 2 PAVEIKSLAS: Sugeneruotos eksperto išvados pavyzdys Skiltyje Lingvistinė teksto toksiškumo ekspertizė (4.3 poskyris) pateikiama apskaičiuoto toksiškumo indekso leksinė-semantinė interpretacija (6 pav.). Skiltyje Neuroninių tinklų išvados pateikiami mūsų giliojo mokymosi modelio rezultatai; jis kiekybiškai įvertina teksto toksiškumą skalėje nuo 0 (netoksiškas) iki 1 (didelis toksiškumas). Taip pat vertiname teksto panašumą į žinomus autorius; reikšmės svyruoja nuo 0 (panašumo nėra) iki 1 (didelis panašumas), remiantis autoriais, kurių tekstais modelis buvo apmokytas. Rezultatai rodomi tik tiems bandymams, kurių panašumo matas viršija 0,1. Dabartinė mūsų sistema veikia demonstraciniu režimu ir naudoja ribotą autorių tekstų tekstyną panašumui su naudotojo įvestu tekstu įvertinti. 4. UKRAINIEČIŲ KALBOS TEKSTŲ ATRIBUCIJA: EKSPERIMENTAI, REZULTATAI IR APTARIMAS 4.1. Statistinio parametrizavimo indeksai Sukurtas stilometrinis modelis sprendžia du uždavinius: 1) individualių autoriaus stiliaus ypatybių nustatymą (stilometrija); 2) dviejų tekstų panašumo vertinimą pagal lingvistinius ir statistinius parametrus (atribucija). Straipsniai / Articles 231 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Naudojami 19 parametrų naudotojo įvestam tekstui statistiškai analizuoti (žr. Teksto atribucijos indeksų grupę 1 pav.). Pirmieji keturi parametrai apima pagrindinius kiekybinius duomenis: žodžių skaičių, neapdorotus žodžius, žodyno dydį ir sakinių skaičių. Į žodžių skaičių neįtraukiama sistemos neapdorojama leksika, pavyzdžiui, dialektizmai, maskvitiški žodžiai, okazionalizmai ir kt. Likę 15 parametrų yra apskaičiuojami indeksai, kurių rezultatas – skaliariniai dydžiai. Stilometrinei analizei patikrinsime 1 hipotezę. Ši hipotezė teigia, kad analizuojant empirinius duomenis, apimančius statistinius parametrus, patenkančius ir nepatenkančius į ukrainiečių žiniasklaidos stiliaus pasikliautinąjį intervalą, galima nustatyti unikalias konkretaus žiniasklaidos teksto autoriaus ypatybes. Kiekvienam lingvistiniam parametrui, remiantis ukrainiečių žiniasklaidos tekstų imtimis, apskaičiuoti du pasikliautinųjų intervalų rinkiniai: vienas tekstams, ilgesniems nei 1000 žodžių (imties dydis: 124,576 žodžio), kitas – tekstams, kuriuose yra ne daugiau kaip 1000 žodžių (imties dydis: 15,635 žodžio). Kiekvieno statistinio parametro pasikliautinasis intervalas nustatytas naudojant indekso vidutinės skaitinės reikšmės (ANVI) standartinį nuokrypį σ tekstų imtyje; jis žymimas ANVI ± σ. Standartinis nuokrypis įvertina, kiek statistinių indeksų empirinės skaitinės reikšmės gali nukrypti nuo vidutinės indekso skaitinės reikšmės žiniasklaidos stiliuje. Siekiant užtikrinti tikslumą, σ pasikliautinasis intervalas nustatytas lingvistiniu-statistiniu eksperimentu. Todėl tikrinant 1 hipotezę sistema pateikia tris galimas išvadas: 1) indekso skaitinė reikšmė patenka į pasikliautinąjį intervalą; 2) indekso skaitinė reikšmė yra žemiau apatinės intervalo ribos; arba 3) indekso skaitinė reikšmė viršija viršutinę intervalo ribą. Panagrinėkime rezultatus, gautus parametrizuojant tinklaraštininko Oleksii Honcharenko parašytą 1 tekstą (žr. 1 pav.). Ši analizė grindžiama statistiniais parametrais ir vėlesniu jų interpretavimu, pateiktu sugeneruotoje eksperto išvadoje, pavaizduotoje 2 pav. Statistiniai leksikos ir teksto apimties rodikliai atskleidžia kiekybinį ryšį. 1 tekste visi šie rodikliai patenka į žiniasklaidos stiliui būdingą intervalą: 1) Įvairovės indeksas (IB) išreiškia unikalių žodžių santykį su bendra teksto apimtimi ir yra leksinio turtingumo matas. IB reikšmė 0,54 patenka į 30–60% intervalą, rodantį vidutinį leksinės įvairovės lygį; 2) Teksto išskirtinumo indeksas (IVT) išreiškia tekste vieną kartą pasitaikančių hapaks legomenų skaičiaus santykį su teksto apimtimi. IVT reikšmė 0,36 patenka į 20–40% intervalą, rodantį nedidelį leksinį išskirtinumą); 232 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 3) Žodyno išskirtinumo indeksas (IVL) išreiškia tik vieną kartą tekste pasitaikančių hapaks legomenų skaičiaus santykį su bendru žodyno tūriu. IVL reikšmė 0,66 patenka į 60–76% intervalą, rodantį didelį leksinio išskirtinumo laipsnį. Toliau panagrinėkime leksinių ir gramatinių žodžių klasių kiekybinės koreliacijos statistinius parametrus 1 tekste: 1) Nominalinių požymių indeksas, arba epitetizacija, (IIO) išreiškia daiktavardžių skaičiaus santykį su būdvardžių skaičiumi. IIO reikšmė 1,07 yra didesnė už žiniasklaidos stiliaus normą 1,0 ir rodo daiktavardžių vyravimą prieš būdvardžius, todėl tekste yra mažiau epitetų; 2) Veiksmažodinių požymių indeksas (IDO) išreiškia prieveiksmių skaičiaus santykį su veiksmažodžių skaičiumi. IDO reikšmė 0,57 yra didesnė už žiniasklaidos stiliaus normą 0,56. Toks prieveiksmių santykis rodo nedidelį veiksmažodinių požymių laipsnį tekste; 3) Nominalizacijos laipsnis (STN) išreiškia daiktavardžių skaičiaus santykį su veiksmažodžių skaičiumi. STN reikšmė 1,76 yra mažesnė už žiniasklaidos stiliaus normą 3,00. Šio indekso sumažėjimas rodo veiksmažodžių vyravimą prieš daiktavardžius ir nedidelį teksto nominalizacijos laipsnį; 4) Įvardinimo indeksas (IPRO) išreiškia asmeninių įvardžių skaičiaus santykį su teksto žodžių vartojimo apimtimi. IPRO reikšmė 0,09 yra didesnė už žiniasklaidos stiliaus normą ir yra idiolekto požymis. Asmeniniai įvardžiai sudaro daugiau kaip 7% teksto, o tai rodo teksto rišlumo laipsnį; 5) Modalumo indeksas (MOD) išreiškia dalelyčių skaičiaus santykį su žodžių skaičiumi tekste. IMOD, lygus 0,07, yra didesnis už 4% medijų stiliaus normą ir yra idiostiliaus požymis. Dalelytės sudaro daugiau kaip 4% teksto, o tai lemia, kokiu mastu autorius tekste reiškia įvairius reiškinių ir situacijų vertinimus; 6) Substantyvumo indeksas (ISUB) išreiškia daiktavardžių skaičiaus santykį su teksto žodžių vartojimo apimtimi. ISUB, lygus 0,26, yra mažesnis už medijų stiliaus normą. Daiktavardžiai sudaro mažiau kaip 30% teksto, o tai lemia nedidelį statinio teksto laipsnį. Paaiškinkime frazių ir sakinių kiekybinio santykio statistinius parametrus Tekste 1: 1) Dinamiškumo indeksas (IDYN) išreiškia veiksmažodinių frazių skaičiaus santykį su daiktavardinių frazių skaičiumi. IDYN, lygus 0,74, yra didesnis už 0,6 medijų stiliaus normą ir yra idiostiliaus požymis. Veiksmažodinių frazių vyravimas prieš daiktavardines frazes (IDYN didesnis už 1,0) lemia dinamišką ir greitą įvykių sklaidą teksto reikšmėje; Straipsniai / Articles 233 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK 2) Rišlumo indeksas (IZV) išreiškia prielinksnių ir jungtukų skaičiaus santykį su sakinių skaičiumi tekste. IZV, lygus 0,66, patenka į tipinį nuo 0,45 iki 0,90 medijų stiliaus intervalą ir rodo, kad sakinių skaičius vyrauja prieš prielinksnių ir jungtukų skaičių. Tai lemia vidutinį Tekste 1 aprašomų realijų, reiškinių ir situacijų rišlumo laipsnį. Ypatingas dėmesys bus skiriamas psicholingvistiniams statistiniams parametrams (Chuhunov 2009) Tekste 1: 1) Tragerio koeficientas (KT) išreiškia veiksmažodžių skaičiaus santykį su būdvardžių skaičiumi tekste ir rodo kalbėtojo emocinį stabilumą / nestabilumą. KT, lygus 0,61, yra didesnis už 0,5 medijų stiliaus normą ir yra idiostiliaus požymis. Psichologiniu požiūriu tai rodo nedidelį autoriaus / kalbėtojo emocionalumą, neryžtingumą imtis aktyvių praktinių veiksmų ir nerimą. 1,35 ± 0,05 intervalo reikšmė lemia normalią autoriaus emocinę stabilią būseną ir reguliaciją; 2) Veiksmų tikrumo koeficientas (KOD) išreiškia veiksmažodžių skaičiaus santykį su daiktavardžių skaičiumi tekste. Šis santykis rodo autoriaus socializacijos laipsnį ir teiginio sintaksinį užbaigtumą. KOD, lygus 0,57, patenka į tipinį nuo 0,30 iki 0,60 medijų stiliaus intervalą ir rodo nedidelį suobjektinto veiksmo koeficiento laipsnį. Psichologiniu požiūriu tai rodo nedidelį autoriaus / kalbėtojo emocionalumą, neryžtingumą dėl aktyvių praktinių veiksmų ir nerimą. Reikšmė nuo 1,35 ± 0,05 lemia normalią emocinę autoriaus stabilią būseną ir emocijų reguliavimą; remiantis kalbiniais požymiais, tai rodo normalų sakinių sintaksinį užbaigtumą ir taisyklingą sintaksinę struktūrą; 3) Agresyvumo koeficientas (KA) išreiškia veiksmažodžių ir veiksmažodžių vartojimo skaičiaus santykį su bendru žodžių skaičiumi tekste ir žymi kalbos agresyvumą psicholingvistiniu aspektu. KA, lygus 0,15, yra didesnis už 13% medijų stiliaus normą ir yra idiostiliaus požymis. Psichologiniu požiūriu mažesnės nei 60% reikšmės rodo nedidelį agresyvumo laipsnį, autoriaus slopinamas emocijas ir jo neryžtingumą. Artėjimas prie 60% lemia normalų autoriaus agresyvumo ir emocinio stabilumo laipsnį, o didesnės nei 60% reikšmės rodo didelį autoriaus agresyvumą ir emocinį susijaudinimą. Galiausiai apsvarstykime semantinį statistinį Teksto 1 parametrą: Teksto toksiškumo indeksas (ITOX) apskaičiuojamas pagal neigiamos leksikos tekste dažnį (išsamiau žr. 4.3 skyrių). ITOX reikšmė, lygi 0,36, patenka į tipinį nuo 0,1 iki 0,7 medijų stiliaus intervalą. ITOX formuoja kognityvines ir pragmatines nuostatas neigiamų emocijų atžvilgiu. 234 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 4.2. Tekstų palyginimas pagal statistinius parametrus Dviejų tekstų panašumo laipsnio vertinimo užduotis apėmė 2 hipotezės tikrinimą. Ši hipotezė teigia, kad jei empiriniai duomenys, gauti statistiškai parametruojant du tekstus, rodo tik nedidelį indeksų skaitinių reikšmių skirtumą, šie tekstai priklauso tam pačiam autoriui. Ši hipotezė sistemoje tikrinama dviem būdais: 1) lyginant kiekvieno indekso skaitines reikšmes dviejuose tekstuose; 2) nustatant vektorinį atstumą tarp dviejų tekstų. Šios užduotys įgyvendintos skiltyje „Comparison of Text Attribution“. Pirmoji užduotis apima tekstų empirinių duomenų palyginimą, naudojant indeksus medijų stiliaus pasikliautinojo intervalo skalėje (3 pav.). Kaip parodyta 3 pav., abiejų tekstų parametrų kiekybinės charakteristikos naudotojo patogumui pateikiamos skirtingomis spalvomis. Vizualizacijoje abiejų tekstų empirinės indeksų reikšmės lyginamos su pasikliautinojo intervalo ribomis (apatine ir viršutine), gautomis iš ukrainiečių medijų stiliaus tekstų. 3 PAVEIKSLAS: Tekstų vektorinio atstumo palyginimas Antroji užduotis – apskaičiuoti vektorinį atstumą tarp dviejų tekstų, naudojant Euklido atstumo formulę. Tai apima dviejų tekstų 15 statistinių parametrų skaitinių reikšmių skirtumų kvadratų sumavimą. Tada apskaičiuojama šios sumos kvadratinė šaknis. Skaitinės reikšmės Straipsniai / Articles 235 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK vektorinio atstumo rodo statistinio tekstų nepanašumo mastą ir pateikia atstumo tarp jų matą. Nors vektorinio atstumo reikšmės svyravimai medijų tekstuose nėra gerai žinomi, lyginant tapačius tekstus atstumas gali būti lygus 0. Tai reiškia, kad tekstai skiriasi, jei vektorinis atstumas yra didesnis už 0. Be to, kuo didesnė vektorinės atstumo reikšmė, tuo didesni kalbiniai ir statistiniai skirtumai tarp tekstų. Euklido atstumo palyginimas pateikiamas lentelės forma. 4 pav. 4 skiltyje skaitinės reikšmės reiškia Euklido atstumus. 4 pav. pateikiamas Oleksii Honcharenko analizuoto teksto (Teksto 1) palyginimas su trimis kitais to paties autoriaus tekstais: 1 eilutė skirta Tekstui 2 (atstumas 0,44); 2 eilutė – Tekstui 3 (atstumas 0,56); 3 eilutė – Tekstui 4 (atstumas 0,77). Empiriniai duomenys rodo, kad vieno autoriaus tekstų panašumas išlieka ne didesnis kaip 1, o kitų autorių tekstų (4–10 eilutės) atstumai yra didesni už 1. 4 PAVEIKSLAS. Euklido atstumo tarp tekstų sisteminimas Tekstų statistinių parametrų palyginimas įtikina, kad siūloma atribucijos metodika atskleidžia ukrainiečių kalbos tekstų stilometrinį modelį. Šis modelis taip pat gali būti naudojamas teksto autorystei nustatyti. Tai patvirtinsime vizualiai pateikdami 7 trijų skirtingų autorių tekstų atribuciją pagal 15 statistinių parametrų, naudodami Uniform Manifold Approximation and Projection (UMAP) metodą (McInnes et al. 2020), kurio algoritmas taip pat įdiegtas TextAttributor sistemoje. Šis 236 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) metodas leidžia sumažinti požymių erdvės matmenį, projektuojant 15 matmenų erdvę į plokštumą. 5 pav. skirtingų formų taškai (P1–P7 – Autoriui 1, F1–F7 – Autoriui 2, M1–M7 – Autoriui 3) atitinka po 7 atsitiktinai atrinktus skirtingų autorių tekstus. Kaip matome, sumažinus matmenų skaičių, trijų autorių tekstų taškų atvaizdžiai gali būti aiškiai atskirti į atskiras sritis. Šis pavyzdys patvirtina, kad TextAttributor apibrėžti parametrai yra svarbūs aprašant tekstų stilistines ypatybes ir nustatant teksto autorystę (net ir sumažintu pavidalu). 5 PAVEIKSLAS: Grafinis tekstų atribucijos vaizdavimas naudojant UMAP metodą 4.3. Neigiamo teksto jausmingumo indeksavimas Kurdami statistinių parametrų sistemą teksto stiliui ir autorystei nustatyti, pripažinome, kad teksto toksiškumas gali būti naudojamas kaip atribucijos indeksas. Todėl TextAttributor sukūrėme atskirą modulį toksiškumo indeksui automatiškai nustatyti. Straispsniai / Articles 237 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Šiandien informacinis komponentas tapo ypač svarbus hibridiniame kare. Todėl mūsų tyrimo medžiaga buvo 10 mln. žodžių apimties internetinių medijų politinio diskurso tekstų tyrimo korpusas. Terminą „toksinis tekstas“ vartojame plačiąja prasme. Šiems tekstams būdingas priekabiavimas, grasinimai, nešvankybės, kibernetinės patyčios, trolinimas ir tapatybe pagrįsti neapykantos tekstai; juose taip pat yra jaustukų – tai reiškiniai ir objektai, sukeliantys žmogui neigiamas emocijas (pvz., war, air raid, corruption). Šio projekto tikslas buvo nustatyti neigiamo jausmingumo raiškos ukrainiečių tekstuose potencialą ir sukurti automatizuotą toksinio turinio atpažinimo sistemą. Šią užduotį sudarė dvi nuoseklios pot užduotys: pirma, toksinių tekstų lingvistinio tyrimo sistemos, nustatančios toksiškumo indeksus žodyno analizės ir taisyklėmis grįstais metodais, kūrimas; antra, mokymo duomenų rinkinio sudarymas mašininio mokymosi reikmėms ir neuroninio tinklo, prognozuojančio tekstų toksiškumo indeksus, kūrimas. Pažvelkime į pirmosios užduoties atlikimą. Tam buvo sukurta leksikografinė duomenų bazė, kurioje saugomi trys skirtingi žodynai: 1) Emotiogenų žodynas: 5000 žodžių rinkinys (pagal leksinių-semantinių variantų reikšmes), pasižyminčių neigiamo jausmingumo atspalviais, įvertintais −2 balais. Pavyzdžiai: immoral, impunity, bribery ir steal; 2) Neapykantos kalbos žodynas: 3000 žodžių, įskaitant asmenų pavadinimus (1620), nešvankius terminus (613) ir įžeidžią kalbą (787). Pavyzdžiai: westerner (западенець: menkinamas Vakarų Ukrainos regionų gyventojų pavadinimas) ir huckster; 3) Toksiškos frazės: 1500 idiomatinių posakių, reiškiančių neigiamas emocijas, rinkinys. Pavyzdys: grimaces like a monkey, kisses his arse and opens his mouth. Kiekvienas šių sąrašų įrašas buvo anotuotas semantiniais požymiais; Neapykantos kalbos žodynas turi 18 požymių, o Toksiškų frazių sąrašas – 26. Pavyzdžiui, Neapykantos kalbos žodyno žodžiai buvo pažymėti tokiais požymiais kaip „s“ – seksizmas, „r“ – rasizmas ir „e“ – ageizmas. Ši leksikografinė duomenų bazė, multiparametrė sistema, priskiria semantinius požymius vienetams (žodžiams ar frazėms), o kartu su analizuojamo teksto dažnio duomenimis leidžia atlikti toksiškumo analizę. Teksto toksiškumo indeksas apskaičiuojamas pagal formulę: Itox = (e + |K| (m + t)) / n * 10, Čia n yra teksto apimtis; e – emocinių žodžių skaičius; m – neapykantos kalbos žodžių skaičius; t – toksinių frazių skaičius; K – koeficientas, lygus −2; jis pabrėžia neapykantos kalbos žodžius ir toksines frazes, kurios penkių skaitmenų skalėje 238 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) penki skaitmenys (+2, +1, 0, −1, −2) atitinka −2. Indekso reikšmės svyruoja nuo 0 iki +1. Pavyzdžiui, teksto „Žmonės su raudonu rašikliu (Люди з червоною ручкою)“ toksiškumo indeksas yra 1,01; tai rodo didelį jo toksiškumą, nes tokio trumpumo tekstų riba svyruoja nuo 0,1 iki 0,7. Kartu sistema generuoja automatinio lingvistinio teksto toksiškumo tyrimo rezultatus (žr. 6 pav.), kuriuos sudaro: 1) neigiamos leksikos semantinių klasių statistinis žemėlapis pagal leksikografinių sąrašų klasifikacinius žymenis (emotiogenai – 5, vulgarizmai – 2, seksizmas – 2); 2) tekstas su konkrečiais neigiamo jausmingumo žodžiais, įkūnijančiais statistinio žemėlapio kategorijas. Pažvelkime į ištrauką iš analizuoto realaus teksto (6 pav.): those people who walk around with a red pen and correct mistakes in other people’s posts: who even are you? Do you have any idea how annoying you are? I study your profiles on purpose, I’m curious about the world you exist in. This world scares me a lot. I sincerely hope that in real life we will not cross paths under any circumstances. (оці люди, які ходять з червоною ручкою і виправляють помилки в чужих постах: ви хто взагалі такі? Ви хоч уявляєте, як ви бісите? Я спеціально вивчаю ваші профілі, мені цікаво в якому світі ви існуєте. Мене цей світ дуже лякає. Щиро сподіваюся, що в реальному житті ми з вами не пересі­чемося ні за яких обставин). Čia sistema automatiškai paryškina šiuos žodžius, turinčius neigiamą komponentą: klaidas (помилки), kitų žmonių (чужих), erzinantis (бісите), gąsdina (лякає). 6 PAVEIKSLAS: Automatinio lingvistinio teksto toksiškumo tyrimo fragmentas Straipsniai / Articles 239 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK 5. MAŠININIO MOKYMOSI METODAI: EKSPERIMENTAI, REZULTATAI IR APTARIMAS Sutelkime dėmesį į antrąjį TextAttributor sistemos veikimo režimą, skirtą mašininio mokymosi metodams. Modeliui mokyti kaip įvestį turime tekstų korpusus, paženklintus pagal kiekvienos pot užduoties tikslą: (a) toksinio turinio aptikimą tekstinėje informacijoje ir (b) autorystės nustatymą. Kiekvienas korpusas padalytas į mokymo ir kontrolinį rinkinius, o pakankamai dideliam korpusui sudaromas ir validavimo rinkinys. Pasirinkto problemos sprendimo modelio parametrai įvertinami mokymo rinkinyje. Modelio hiperparametrai koreguojami pagal validavimo rinkinį. Galutiniai modelio veikimo rodikliai matuojami kontroliniame rinkinyje, atsižvelgiant į skaičiavimo išteklių, būtinų modelio veikimui, prieinamumą. Kiekvienos pot užduoties korpusas buvo kuriamas lygiagrečiai su TextAttributor mašininio mokymosi komponentu, todėl dabartiniai modeliai buvo mokomi naudojant palyginti nedidelius duomenų kiekius, įskaitant trumpus ukrainiečių kalbos interneto tinklaraščių tekstus, komentarus, straipsnius ir kt. 5.1. Toksinio turinio aptikimas Atlikus keletą eksperimentinių tyrimų, pasirinkta skaičiavimams efektyvi architektūra, pagrįsta fastText metodu ir jo priemonėmis (Joulin et al. 2016). Šis metodas pateikia žodžių vektorines reprezentacijas ir įvertina dokumentų tikimybinį pasiskirstymą pagal iš anksto nustatytas klases. Žodžiai pateikiami vektoriaus forma, automatiškai suskaidant žodžius į dalis (pogrupius), taip imituojant žodyno atvirumą. Pogrupinė reprezentacija yra svarbi, nes ukrainiečių kalba yra labai fleksinė, todėl reikia aprėpti daugybę nežinomų žodžių ir žodžių su rašybos klaidomis. Naudojamo metodo veiksmingumą taip pat lemia sistemos veikimo techninės sąlygos ir turimi tekstiniai ištekliai modeliui mokyti. Dvejetainei klasifikacijai, skirtai toksiniam turiniui aptikti, buvo panaudotas parengtas maždaug 12 000 tekstinių dokumentų korpusas. Geriausias rezultatas, pagrįstas apibendrintu rodikliu (F1 = 79,4%), pasiektas naudojant šiuos hiperparametrų nustatymus: 56 matmenų žodžių vektorius, pradinis mokymosi greitis – 0,15, 500 mokymo epochų, leksinis kontekstas, pateiktas bigramomis, pogrupių ilgis nuo 2 iki 5 simbolių ir sprendimo riba – 0,4. Be to, modelio jautrumas siekė 85%, o tikslumas – maždaug 70%. 240 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 5.2. Autorystės nustatymas Eksperimentinis tekstų autorystės nustatymo modelių tyrimas atliktas naudojant dalį viešai prieinamų socialinio ir politinio pobūdžio tekstų korpuso, kuriame galima nustatyti dokumento autorių. Atrinkti iš viso 702 keturių autorių tekstai, paskelbti po daugiausia dokumentų ir sudaryti iš 60–1000 simbolių. Didžiausias autoriaus publikacijų skaičius – 304 (115 tūkst. simbolių), mažiausias – 109 (49 tūkst. simbolių). Testavimui atsitiktinai atrinkta po 25 kiekvieno pasirinkto autoriaus tekstus. Likę dokumentai sudarė mokymo rinkinį. Geriausias rezultatas pagal apibendrintą rodiklį (F1 = 81%) pasiektas naudojant šias hiperparametrų reikšmes: 50 matmenų žodžių įterpinių erdvė, pradinis mokymosi greitis – 0,1, 50 mokymo epochų, leksinis kontekstas, pateiktas bigramomis, pogrupių ilgis nuo 2 iki 5 simbolių ir sprendimo priėmimo riba – 0,5. Pažymėtina, kad tam tikrose modelio konfigūracijose jautrumas autoriui, turinčiam daugiausia dokumentų duomenų rinkinyje, siekė 100%, o tikslumas viršijo 90%. Šie rezultatai rodo, kad galima sukurti veiksmingą sistemą, gebančią tiksliai aprėpti autorių, pakankamai atstovaujamų mokymo rinkinyje, tekstus. Išmokyti neuroninių tinklų modeliai buvo integruoti į TextAttributor sistemą pagal kliento ir serverio architektūrą, kurioje pateikiami dviejų užduočių rezultatai: (a) toksiškumo nustatymas ir (b) autorystės aptikimas. Sistemos darbo su tekstu „Ukrainos aukštojo mokslo įstatymas“ rezultatas: toksiškumo indeksas (įvertis tikimybės forma: koks toksiškas yra tekstas) – 0,04, panašumas su autoriais (įverčiai autoriaus tikimybės forma sistemoje žinomiems autoriams): I. Farion – 0,49, Oleksii Honcharenko – 0,30 ir Mariana Bezugla – 0,22. 6. IŠVADOS Šiuo metu TextAttributor sistema testuojama siekiant spręsti autorystės nustatymo ir toksiškumo įvertinimo ukrainiečių kalbos tekstuose problemas. Ši sistema yra patogi ir veiksminga atliekant įvairius technologinius tyrimus. Per 5 mėnesius TextAttributor interneto programa automatiškai išanalizavo 784 ukrainiečių tekstus, kuriuos pateikė 226 naudotojai. Mūsų rezultatai rodo mūsų metodo, apimančio verbalinių elementų kvantifikavimą pagal formalius gramatinius ir semantinius parametrus, ypač neigiamą jausmingumą, veiksmingumą. Tai pasiekiama derinant žodyno ir taisyklėmis grįstus metodus, papildytus mašininiu mokymusi Straipsniai / Articles 241 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK metodais. Eksperimentiniai mašininio mokymosi tyrimai, skirti toksiškumui aptikti ir autorystei nustatyti pagal tekstą, leido gauti rezultatus, panašius į kitomis kalbomis atliktų eksperimentų, pasižyminčių panašiomis modelio charakteristikomis (dokumentų ir autorių skaičiumi), rezultatus. Pogrupių modeliai pasižymėjo didesniu atsparumu leksiniam atvirumui ir tekstinėms klaidoms. Atliktas tyrimas atveria kelią spręsti tokias ukrainiečių kalbos problemas kaip toksinio turinio, neapykantos kalbos ir dezinformacijos aptikimas bei stebėsena, autorystės tikrinimas ir deobfuskacija, autoriaus profiliavimas ir diarizavimas, psicholingvistinis profiliavimas, stiliaus modeliavimas, melagingo turinio šaltinio sekimas ir kt. Sukurta tekstų analizės ir atribucijos schema taip pat gali būti taikoma kitoms kalboms. Ateityje planuojame integruoti automatinį tekstų autorystės nustatymo ir toksiškumo aptikimo įrankį su semantine, sintaksine, psicholingvistine ir sociolingvistine analize. Ši integracija leis geriau suprasti poveikį skaitytojui. Naudodami leksinės taksonomijos semantinę analizę siekiame nustatyti tekstui būdingus naratyvinius elementus ir taip padidinti tekstų atribucijos patikimumą autorystės nustatymo procedūrose. Be to, planuojame išplėsti tekstų korpusus ir pasitelkti daugiakalbius didžiuosius kalbos modelius, kad toliau plėstume savo sistemos galimybes ir įdiegtume statistinio tekstų palyginimo įrankius visiems ukrainiečių kalbos stiliams. Padėkos Sistema sukurta vykdant projektą, kurį parėmė Didžiosios Britanijos ambasada Kyjive ir įgyvendino Taras Shevchenko Kyiv National University Ukrainian Language and Applied Linguistics Chair pedagogų ir tyrėjų komanda. Nuoširdžiai dėkojame Didžiosios Britanijos ambasadai Kyjive už finansinę paramą šiam mokslinių tyrimų projektui. Esame dėkingi Svitlana Yavorska ir Iryna Bezkorovayna už vadovavimą ir pagalbą viso projekto metu. Ypatingą padėką reiškiame Kostiantyn Goncharenko už projekto organizacinę ir dokumentinę paramą. Taip pat dėkojame Taras Shevchenko National University of Kyiv studijų programos „Applied (Computer) Linguistics and English Language“ studentams. Jie skyrė savo laiką, žinias ir pastangas ukrainiečių toksinių tekstų korpusui sudaryti. Esame dėkingi Oksana Tolochko, mūsų bakalauro studijų programos absolventei, už ukrainiečių kalbos toninio žodyno sukūrimą, kurį naudojome neigiamų jaustukų leksikografiniam sąrašui sudaryti. Be to, labai vertiname Mykola Kostikov pastangas renkant duomenis. Nuoširdžiai dėkojame visiems tyrėjų bendruomenės nariams, kurie savo patarimais ir konsultacijomis prisidėjo prie šio tyrimo. 242 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) REFERENCES ALIAS – Automated Linguistic Identification & Assessment System. Available at: https://aliastechnology.com/alias-overview/. Alkomah Fatimah, Ma Xiaogang 2022: A Literature Review of Textual Hate Speech Detection Methods and Datasets. – Information 13(6), 273. DOI: 10.3390/info13060273. Argamon Shlomo 2007: Interpreting Burrows’s Delta: Geometric and Probabilistic Foundations. – Literary and Linguistic Computing 23, 131–147. DOI: 10.1093/llc/fqn003. Bonetti Andrea, Martínez-Sober Marcelino, Torres Julio, Vega Jose, Pellerin Sebastien, Vila-Francés Joan 2023: Comparison between Machine Learning and Deep Learning Approaches for the Detection of Toxic Comments on Social Networks. – Applied Sciences 13(10), 6038. DOI: 10.3390/app13106038. Buk Solomija 2021: Long prose fiction by I. Franko: electronic corpus, frequency dictionaries and other interdisciplinary contexts, LNU imeni Ivana Franka [Ivan Franko National University of Lviv]. Burrows John 2002: “Delta”: a Measure of Stylistic Difference and a Guide to Likely Authorship. – Literary and Linguistic Computing 17(3), 267–287. DOI: 10.1093/llc/17.3.267. Burrows Steven, Uitdenbogerd Alexandra, Turpin Andrew 2014: Comparing techniques for authorship attribution of source code. – Software: Practice and Experience 44(1), 1–32. DOI: 10.1002/spe.2146. Canhasi Ercan, Kadriu Arbana, Misini Arta 2022: A Survey on Authorship Analysis Tasks and Techniques. – SEEU Review 17(2), 153–167. DOI: 10.2478/seeur-2022-0100. Chuhunov Vadym 2009: Diahnostyka v psyk hoterapii ta psykhoterapevtychnyi diahnoz, Kharkiv: Nauka. Darchuk Natalia, Sorokin Viktor 2022: Parameterization of the Ukrainian Text Corpus based on parsing. – Computational Linguistics and Intelligent Systems, Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022) 1: Main Conference, eds. V. Lytvyn, N. Sharonova, I. Jonek-Kowalska, A. Kowalska-Styczen, V. Vysotska, Ye. Kuprianov, O. Kanischeva, O. Cherednichenko, Th. Hamon, N. Grabar, Poland, 12–13 May, 2022, 256–265. Darchuk Natalia, Zuban’ Oksana, Sorokin Viktor 2024: On stylistic differentiation in Ukrainian poetic speech based on the syntactic structure of Straipsniai / Articles 243 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK sentences. – Bulletin of Taras Shevchenko National University of Kyiv. Literary Studies. Linguistics. Folklore Studies 1(35), 5–10. DOI: 10.17721/1728-2659.2024.35.01. Darčuk Natalija 2013: Komp’juterne anotuvannja ukrajin’s’koho tekstu: rezul’taty i perspektyvyj, Kyiv: Osvita Ukrajiny. Darčuk Natalija, Vasyl’jeva Iryna, Vasyl’jev Oleksij 2021: Vektorna model’ analizu stylistyku tekstiv. – Ukrajins’kyj fizičnyj žurnal 66(5), 373–378. Eder Maciej 2015: Does size matter? Authorship attribution, small samples, big problem. – Digital Scholarship in the Humanities 30(2), 167–182. DOI: 10.1093/llc/fqt066. Eder Maciej, Rybicki Jan 2013: Do birds of a feather really flock together, or how to choose training samples for authorship attribution. – Literary and Linguistic Computing 28(2), 229–236. DOI: 10.1093/llc/fqs036. Evert Stefan, Proisl Thomas, Schöch Christof, Jannidis Fotis, Pielström Steffen, Vitt Thorsten 2015: Explaining Delta, or: How do distance measures for authorship attribution work? – Corpus Linguistics 2015: Abstract Book, United Kingdom, 21 July 2015, eds. F. Formato, A. Hardie, Lancaster: UCREL. Available at: https://zenodo.org/records/18308. Gupta Shriya T. P., Sahoo Jajati K., Roul Rajendra K. 2019: Authorship identification using recurrent neural networks. – ICISDM’19: Proceedings of the 2019 3rd International Conference on Information System and Data Mining, United States, 06 April 2019, New York: Association for Computing Machinery, 133–137. DOI: 10.1145/3325917.3325935. Hoover David 2004: Testing Burrows’s delta. – Literary and Linguistic Computing 19(4), 453–475. DOI: 10.1093/llc/19.4.453. Hoover David 2005: Delta, Delta Prime, and Modern American Poetry: Authorship Attribution Theory and Method. – ACH/ALIC 2005: Proceedings of the 17th Joint International Conference of the Association for Computers and the Humanities (ACH) and the Association for Literary and Linguistic Computing, Canada, 15–18 June 2005, University of Victoria: Humanities Computing and Media Centre, 79–80. Jannidis Fotis, Pielström Steffen, Schöch Christof, Vitt Thorsten 2015: Improving Burrows’ Delta – An empirical evaluation of text distance measures. – DH 2015: Digital Humanities, Abstracts of the Global Digital Humanities Conference 11, Australia, 29 June – 3 July 2015, Sydney. DOI: https://zenodo.org/records/1321296. Joulin Armand, Grave Edouard, Bojanowski Piotr, Douze Matthijs, Jégou Hervé, Mikolov Tomas 2016: FastText.zip: Compressing text classification models. – ArXiv e-prints 1612.03651. DOI: 10.48550/arXiv.1612.03651. 244 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Karasov Vitalii, Levchenko Olena 2024: Statistical profile of O. Zabuzhko’s idio style. – CEUR Workshop Proceedings 3722: Proceedings of the 8th International Conference on Computational Linguistics and Intelligent Systems, Lviv, April 12–13, 2024, 251–264. Khan Talha F., Anwar Waheed, Arshad Humera, Abbas Syed N. 2023: An Empirical Study on Authorship Verification for Low Resource Language Using Hyper-Tuned CNN Approach. – IEEE Access 11, 80403–80415. DOI: 10.1109/ACCESS.2023.3299565. Khomytska Iryna, Teslyuk Vasyl, Bazylevych Iryna, Karamysheva Iryna 2023: Automated Identification of Authorial Styles. – CEUR Workshop Proceedings: Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems, 3396, Kharkiv, April 20–21, 2023. Available at: https://ceur-ws.org/Vol–3396/paper26.pdf. KUM – Korpus ukrajins’koji movy: Linhvistyčnyj portal Mova.info. Available at: http://www.mova.info/corpus.aspx. LIWC–22 – Linguistic Inquiry and Word Count. Available at: https://www.liwc.app. Lototska Nataliia 2022: Statistical Characteristics of Roman Ivanychuk’s Idiolect (Based on Writer’s Text Corpus). – CEUR Workshop Proceedings 3171, 487–500. Lupei Maksym, Mitsa Aleksander, Reparіuk Volodymyr, Sharkan Vasyl 2020: Identification of authorship of Ukrainian-language texts of journalistic style using neural networks. – Eastern-European Journal of Enterprise Technologies 1/2(103), 30–36. DOI: 10.15587/1729–4061.2020.195041. McInnes Leland, Healy John, Melville James 2020: UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. – ArXiv e-prints 1802.03426. DOI: 10.48550/arXiv.1802.03426. Meier Tabea, Boyd Ryan, Pennebaker James, Meh Matthiasl, Martin Mike, Wolf Markus, Horn Andrea 2019: “LIWC auf Deutsch”: The development, psychometrics, and introduction of DE-LIWC2015. – PsyArXiv Preprints. DOI: 10.31234/osf.io/uq8zt. Rybicki Jan, Eder Maciej 2011: Deeper Delta across Genres and Languages: Do We Really Need the Most Frequent Words? – Literary and Linguistic Computing 26(3), 315–321. DOI: 10.1093/llc/fqr031. Savoy Jacques 2015: Comparative evaluation of term selection functions for authorship attribution. – Digital Scholarship in the Humanities 30(2), 246–261. DOI: 10.1093/llc/fqt047. Straipsniai / Articles 245 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK TextAttributor 1.0 2024: TextAttributor 1.0: The system for automatic stylometric analysis of Ukrainian media texts. Available at: ta.mova.info. Volos Yana, Levchenko Olena 2023: Statistical profile of Valerie Shevchuk’s idiostyle (morphological level). – Slobozhan Scientific Bulletin, Ser. Philology, 3, 32–36. DOI:10.32782/philspu/2023.3.6. Zuban’ Oksana 2019: The Morphemic System Stylometric Analysis of the Ukrainian Poets’ Idiostyles: Corpus Based Approach. – Linhvistychni studiji 38, 96–104. DOI: 10.31558/1815-3070.2019.38.15. Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas) SANTRAUKA Sistema „TextAttributor“ statistiškai parametrizuoja ukrainiečių kalbos tekstus autorystės atpažinimo ir nuotaikų analizės aspektais. Naudodama daugiaparametrinį 15 statistinių indeksų rinkinį, „TextAttributor“ apibūdina autorines stilistines ypatybes. Ji integruoja tokius metodus kaip komponentinė analizė, paskirstymo analizė, kvantavimas ir nuotaikų analizė panaudojant žodynus ir mašininio mokymosi metodus, skirtus nemandag aus teksto ir autorystės išaiškinimui. Sistema apdoroja tekstus taikydama tokenizavimą, morfologinį žymėjimą, kontekstinę ir sintaksinę analizę ir emociškai neigiamo žodyno atitikimą, leidžiantį išsamiai vizualizuoti ir ekspertiškai įvertinti teksto priskyrimą ir neigiamą turinį. Eksperimentai patvirtina sistemos gebėjimą nustatyti unikalius autoriaus bruožus ir įvertinti teksto panašumą, ypač politinio diskurso ir nemandagios komunikacijos žiniasklaidos kontekste Rusijos ir Ukrainos karo metu. Straipsnyje pabrėžiama praktinė ir teorinė „TextAttributor“ reikšmė, demonstruojant jos efektyvumą didelėms teksto apimtims ir tikslioms analitinėms galimybėms. Sėkmingas žodynais, taisyklėmis pagrįstų ir mašininio mokymosi metodų taikymas pabrėžia sistemos tvirtumą ir universalumą. Beta versija ir tebevykdomų tyrimų rezultatai yra nuodugniai išnagrinėti, o būsimos jų kryptys nustatomos siekiant išplėsti kalbinį korpusą ir tobulinti mašininio mokymosi modelius, siekiant pagerinti tikslumą ir pritaikomumą. 246 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Įteikta 2024 m. lapkričio 25 d. NATALIIA DARCHIUK Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] OKSANA ZUBAN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] VALENTYNA ROBEIKO Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] YULIIA TSYHYVINTSEVA Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine Institute of the Ukrainian Language of the National Academy of Sciences of Ukraine 4 Mykhailo Hrushevskyi Street Kyiv, 01001, Ukraine [email protected] VICTOR SOROKIN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] MYKOLA SAZHOK Institute for information technologies and systems of the National Academy of Sciences of Ukraine 40 Akademika Hlushkova Avenue Kyiv, 03187, Ukraine [email protected] Straipsniai / Articles 247