Az Ukrán Nemzeti Tudományos Akadémia Információs Technológiák és Rendszerek Intézete
ORCID-azonosító: orcid.org/0000-0003-1169-6851
Kutatási területek: beszédelemzés, beszédfelismerés és -szintézis, természetesnyelv-feldolgozás.
DOI: doi.org/10.35321/all91-09
AZ UKRÁN MÉDIASZÖVEGEK AUTOMATIKUS STILOMETRIAI ELEMZÉSÉNEK RENDSZERE, A TEXTATTRIBUTOR 1.0 (MÓDSZEREK, ESZKÖZÖK, FUNKCIONALITÁS)
Ukrán médiaszövegek automatikus stilometriai elemzésének rendszere, a „TextAttributor 1.0” (módszerek, eszközök, funkcionalitás)
ÖSSZEFOGLALÓ
A tanulmány bemutatja a szerzők által kidolgozott automatikus TextAttributor rendszer felépítését, algoritmusait, megvalósítását és kísérleti eredményeit. A rendszer az ukrán nyelvű szövegek statisztikai paraméterezését végzi többparaméteres statisztikai mutatókészlet alkalmazásával; ezek jellemzik a szerző szövegstílusát, és alkalmazhatók a szerzőség-hozzárendelési feladatokban. A létrehozott nyelvészeti erőforrásokra és szoftverre támaszkodva a rendszer a kiszámított statisztikai mutatók alapján nyelvészeti elemzést generál, valamint két szöveg összehasonlító vizsgálatát végzi el. A statisztikai indexelés további kritériuma a szövegtoxicitási index, amelyet a toxikus érzelmi töltet verbális azonosításának módszerével számítanak ki. A szerzőség- és toxicitásfelismerési feladatokat két módszerrel oldják meg: szótár- és szabályalapú statisztikai számításokkal, valamint gépi tanulással. A TextAttributor béta-verziójában megvalósított jelenlegi eredményeket részletesen megvizsgálják.
KULCSSZAVAK: számítógépes nyelvészet, ukrán nyelv, érzelemelemzés, szerzőség-hozzárendelés, stilometria, szövegosztályozás.
224
Acta Linguistica Lithuanica XCI
Page 3
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Ö S S Z E F O G L A L Ó
A tanulmány bemutatja a cikk szerzői által létrehozott, az ukrán nyelvű szövegek statisztikai paraméterezésére szolgáló automatikus „TextAttributor” rendszer felépítését, algoritmusait, megvalósítását és kísérleti eredményeit. A rendszer többparaméteres statisztikai mutatókészletet alkalmaz, amely jellemzi a szerző szövegstílusát, és felhasználható a szerzőség-hozzárendelési feladatokban. A létrehozott nyelvészeti erőforrások és szoftver alapján a rendszer a kiszámított statisztikai indexek szerint nyelvészeti elemzést generál, és két szöveg összehasonlító elemzését végzi el. A statisztikai indexelés további kritériuma a negatív hangulatot kiváltó szöveg indexe, amelyet a negatív hangulat verbális azonosításának módszerével számítanak ki. A szerzőség- és ellenségesség-meghatározási feladatokat két módszerrel oldják meg: szótár- és szabályalapú statisztikai számításokkal, valamint gépi tanulással. A „TextAttributor” béta-verziójával kapott jelenlegi eredményeket részletesen megvizsgálják.
FŐBB KULCSSZAVAK: számítógépes nyelvészet, ukrán nyelv, érzelemelemzés, szerzőség-hozzárendelés, stilometria, szövegosztályozás.
1. BEVEZETÉS
A szövegtani kutatások új tudományos jelentőségre tettek szert a számítógépes nyelvészeti módszerek fejlődésével, amelyek hozzájárultak egy új irányzat kialakulásához, amely digitális szövegtanként értelmezhető. E kialakuló tudományterületen a digitális szövegtant úgy fogjuk fel, mint az automatizált korpusznyelvészeti technikák matematikai modellekkel összekapcsolt alkalmazását a kvantitatív szövegelemzésben. A modern kvantitatív nyelvészet és a természetesnyelv-feldolgozás aktuális feladatait követve munkacsoportunk kidolgozott egy médiaszövegek automatikus nyelvészeti-statisztikai elemzésére szolgáló rendszert, amelyet TextAttributor néven webalkalmazásként valósítottunk meg (TextAttributor 1.0 2024). A rendszer négy feladatot lát el: 1) statisztikai szövegparaméterezés; 2) stilometria: az idiolektus nyelvészeti-statisztikai jellemzőinek meghatározása; 3) attribúció: a szövegek közötti hasonlóság fokának meghatározása; és 4) érzelemelemzés: a negatív érzelmi töltetű lexika azonosítása a szövegekben. Emellett a rendszer automatikusan két nyelvészeti szakértői véleményt generál a második és a negyedik feladat eredményei alapján. A TextAttributor rendszer többfunkciós jellege megköveteli, hogy a felhasználók megismerkedjenek működési elveivel. E cikk célja, hogy megismertesse a tudományos és oktatási filológiai közösséget a rendszer létrehozásának módszertanával, architektúrájával és működési eredményeivel, ezáltal világos képet adjon funkcióiról és elemzési lehetőségeiről, amelyek különösen relevánsak. Ez a megközelítés különösen fontos az internetes kommunikáció nagy mennyiségű adatának elemzéséhez és
az információvédelmi stratégiák javításához a folyamatban lévő orosz–ukrán háború idején. Az ukrán nyelvű szövegek attribúciójára szolgáló automatikus rendszer kidolgozásának gondolata az ukrán korpusznyelvészet területén végzett kutatások (Darčuk 2013), valamint a cikk szerzői által az Ukrán Nyelvi Korpusznak (KUM) az eszközeivel végzett, a szerzői stílusra vonatkozó statisztikai vizsgálatok (Darčuk et al. 2021; Darchuk, Sorokin 2022; Zuban 2019) elemzéséből született.
A TextAttributor rendszer fejlesztése során a következő módszereket alkalmaztuk: komponenselemzést, disztributív elemzést és tartalomelemzést. A tartalomelemzés, amely a szövegből történő információkinyerés kvantitatív és kvalitatív módszere, természetesnyelv-feldolgozási és statisztikai technikákat alkalmazott. Kvantálást és érzelemelemzést is alkalmaztunk. Az érzelemelemzés automatikusan azonosítja a szöveg hangulatát az érzelmi színezet, valamint a szerző eseményekről vagy tárgyakról alkotott értékelése alapján; ezt szótár- és szabályalapú statisztikai számítások alkalmazásával értük el.
Emellett gépi tanulási módszereket, köztük mélytanulást is beépítettünk. A szöveg statisztikai szerkezete, amelyet kvantitatív modelljeként értelmezünk, lehetővé teszi funkcionális stílusának, szerzőségének és keletkezési korszakának azonosítását. Ebben a munkában a statisztikai szerkezet összetevőit lexikai és grammatikai statisztikai jellemzők indexelési technikákkal és euklideszi távolságmérőkkel végzett elemzésével nyertük ki. Az euklideszi távolság, amely két pont közötti távolságot méri egy n-dimenziós euklideszi térben, a stilometriában és a szerzőség-hozzárendelésben végzett klaszterelemzés egyik legszélesebb körben használt mérőszáma a nyelvstatisztikában.
Az eredmények újdonsága a szövegelemzésre szolgáló automatizált morfoszintaktikai-szemantikai stilometriai modell első megvalósítása a számítógépes nyelvészetben. A modell 15 statisztikai indexen alapul, amelyek elsősorban a szöveg morfológiai, valamint szintaktikai és szemantikai szerkezetét paraméterezi. A stilometriai modell a szöveg statisztikai paramétereinek (lexikai, morfológiai, szintaktikai stb.) összessége; ezek alapján végezzük el az adott szöveg összehasonlító elemzését a funkcionális stílus stilometriai modelljével. Véleményünk szerint statikus módszerek alkalmazásával a stilometriai modell felépítésében szigorú, determinisztikus, tudományosan megalapozott rendszert hozhatunk létre a stílusok, műfajok stb. közös és megkülönböztető jegyeiből. A stilometriai modell első alkalommal vezeti be a toxicitási index paraméterét, amely jellegzetesen meghatározza a médiaszövegeket az orosz–ukrán háború idején. Ezt a modellt nemcsak a szövegek statisztikai paraméterezésének funkciójában valósítottuk meg, ami az ilyen típusú rendszerekre jellemző, hanem az elemzett szövegnek az ukrán nyelv médiasílusával való összehasonlítására, valamint a két vagy több szöveget érintő stilometriai és attribúciós feladatokra szolgáló funkcióban is. Az elméleti jelentőség kiterjed a szöveg toxicitásának és
226
Acta Linguistica Lithuanica XCI
Page 5
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
a szerzőség meghatározására ukrán nyelven: 1) szótár- és szabályalapú megközelítésekkel, valamint 2) gépi tanulással, beleértve a mélytanulást is.
2. KAPCSOLÓDÓ MUNKÁK
A modern ukrán nyelvészetben jelentős nyelvészeti-statisztikai kutatásokat végeztek ukrán írók és költők, köztük Tarasz Sevcsenko, Leszja Ukrajinka, Vaszil Sztusz (Zuban’ 2019), Ivan Franko (Buk 2021), Roman Ivanycsuk (Lototska 2022), Valerij Sevcsuk (Volos, Levchenko 2023), Marija Matiosz, Jurij Andruchovics, Okszana Zabuzsko (Karasov, Levchenko 2024), Ivan Drach, Mikola Vinhranovszkij (Darchuk et al. 2024), Lina Kostenko (Zuban’ 2019; Darchuk et al. 2024) idiolektusain. Ezeket a vizsgálatokat reprezentatív szövegmintákon (hosszú szövegeken) végezték, túlnyomórészt egy vagy néhány (legfeljebb öt) statisztikai paraméter alkalmazásával, gyakran stilometriai összehasonlítás nélkül. Továbbá, a nyelvészeti-statisztikai kísérletek elvégzésének munkaigényes jellege miatt az ukrán nyelvészet nagyrészt figyelmen kívül hagyta az átfogó statisztikai paraméterezést, az elemzett szövegek funkcionális stílusok standard statisztikai paramétereivel való összehasonlítását, a szöveghasonlóság fokának meghatározását, valamint a rövid szövegek stilometriai és attribúciós elemzését. A TextAttributor rendszer nyelvészeti-statisztikai kutatásokban való alkalmazása, amely e feladatok automatikus elvégzésére irányul, nemcsak a nyelvi jelenségek gyakorisági jellemzőit biztosítja, hanem hatékony stilometriai elemzést is lehetővé tesz, amely szakértői véleményhez vezet.
A TextAttributor rendszer előnyökkel rendelkezik a globális tudományban alkalmazott megfelelőihez képest. A legtöbb meglévő rendszer és modell egy vagy néhány, többnyire formális szövegparaméter (n-gramok, leggyakoribb szavak, betűk) azonosítására szolgáló egyedi nyelvészeti-statisztikai modulok használatára összpontosít (Eder 2015; Canhasi et al. 2022; LIWC-22; Khomytska et al. 2023; ALIAS). Ezzel szemben a TextAttributor 1.0 átfogó megközelítést kínál, amely magában foglalja a szöveg lexikai, morfológiai, szintaktikai és szemantikai szerkezetének valós idejű, interaktív statisztikai elemzését 15 paraméter alapján.
A szövegek attribúcióját aktívan fejlesztik a külföldi szövegtani kutatásokban, különösen Burrows módszerét (Burrows 2002; Argamon 2007; Eder, Rybicki 2013; Burrows et al. 2014), amelynek hatékonyságát különböző stílusú szöveges adatok nagy mennyiségén végzett számos tanulmányban tesztelték, például: a 20. század eleji angol prózán th(Hoover 2004); modern angol költészeten (Hoover 2005); latin nyelvű költői műveken (Rybicki, Eder 2011); angol, francia, olasz, német, lengyel és magyar nyelvű, valamint latin és arab nyelvű nagy műfajok prózai alkotásain (Rybicki, Eder 2011; Evert et al. 2015; Jannidis et al. 2015); angol nyelvű politikai szövegeken, beleértve
az amerikai elnökök beszédeinek attribúcióját (Savoy 2015). Egy másik automatizált nyelvészeti elemzési módszert, a „Linguistic Inquiry and Word Count” (LIWC) módszerét kereskedelmi alkalmazásként valósították meg, és több nyelvre adaptálták (Meier et al. 2019; LIWC-22).
Az utóbbi években az automatikus szövegattribúció feladataiban túlnyomórészt vagy szabályalapú stilometriai módszereket, vagy mélytanulási módszereket alkalmaztak (Eder 2015; Canhasi et al. 2022). Mindkét módszert megvalósítottuk a TextAttributor rendszerben; hatékonyan működnek, de eltérő eredményeket adnak: 1) a szabályalapú módszer lehetővé teszi az idiolekttel és a szöveg toxicitásával kapcsolatos nyelvészeti következtetések generálásának automatizálását; 2) a gépi tanulási módszer csak a toxicitás fokát és a szövegek hasonlóságát határozza meg, és osztályozási feladatokban használható a szöveges tartalom monitorozására.
Az érzelemelemzésre és a szövegszerzőség azonosítására szolgáló újabb gépi tanulási módszerek statisztikai megközelítéseken (TF-IDF, Latent Dirichlet Allocation) és különböző architektúrájú mélytanulási technikákon (CNN, LSTM, BERT) alapulnak, stilometriai módszerekkel kombinálva (Gupta et al. 2019; Canhasi et al. 2022; Bonetti et al. 2023). A közölt eredmények rendkívül függnek az osztályok (a toxicitás típusai, szerzők) számától, a műfajtól, a szöveg hosszától, és mindenekelőtt a tanítási eljáráshoz használt, megfelelően annotált szövegkorpusz nagyságától. Így a toxicitás és a gyűlöletbeszéd felismerésének feladataiban elért magas pontossági arányok meghaladják a 90%-ot tízezernyi dokumentumot tartalmazó korpusz használatával (Alkomah, Ma 2022). Például a szerzőség-hozzárendelésben több mint 90%-os pontosság érhető el angol nyelvű irodalmi művek esetében 1000 szerző bevonásával, illetve 6000, 15 szerzőhöz tartozó dokumentumot tartalmazó korpusz használatával. Az 1500 dokumentumnál kevesebbet tartalmazó korpuszok esetében a közölt pontosság körülbelül 70% (Khan et al. 2023). Az ukrán nyelv esetében a szövegszerzőség azonosítása, valamint az érzelem-/toxicitáselemzés kevéssé kutatott probléma (Lupei et al. 2020); ráadásul az ilyen rendszerek nem állítanak elő nyelvészeti szakértői véleményt, és nem használhatók nyelvészeti kutatási eszközként.
3. A TEXTATTRIBUTOR RENDSZER MŰKÖDÉSÉNEK ÁLTALÁNOS JELLEMZŐI
A TextAttributor fejlesztése során a következő feladatokat valósítottuk meg: 1) elméleti nyelvészet: módszertant dolgoztunk ki a formalizált morfológiai, statisztikai, stilometriai, attribúciós és érzelemanalízishez; 2) szoftverfejlesztés: kidolgoztuk a nyelvészeti adatbázisok szerkezetét és a fent említett automatikus elemzések szoftverét; 3) kísérleti nyelvészet: a rendszert ukrán médiaszövegeken teszteltük, és
228
Acta Linguistica Lithuanica XCI
Page 7
Az ukrán médiaszövegek automatikus stilometriai elemzésének rendszere, a TextAttributor 1.0 (módszerek, eszközök, funkcionalitás)
megvalósítottunk egy automatikus stilometriai vizsgálatra szolgáló elemzőmodult. A webalkalmazásként megvalósított automatizált nyelvészeti rendszer a felhasználó által bevitt, médiasílusú szövegeket dolgozza fel, és a szöveg jellemzőit leíró statisztikai paraméterek numerikus értékeit generálja. A rendszer strukturált műveletsort követ:
1. Szövegtokenizálás: A szöveg mondatokra és szavakra bontása elemzés céljából.
2. Morfológiai címkézés: A szavak grammatikai formájuk alapján történő címkézése.
3. Kontextuális elemzés: A morfológiai címkék frissítése a kontextus figyelembevételével.
4. Szintaktikai elemzés: A mondatok szavai közötti bináris kapcsolatok megállapítása grammatikai szerkezetük megértése céljából.
5. Szintaktikai kapcsolatok megállapítása: A szintaktikai kapcsolatok meghatározása előre rögzített szabályok alapján.
6. Érzelmileg negatív szókincs illesztése: A negatív szókincs előre meghatározott halmazából származó szavak azonosítása.
7. Statisztikai paraméterek értékelése: A bemeneti szöveg statisztikai paramétereinek értékelése automatikusan összeállított gyakorisági szótárak segítségével.
8. Az eredmények vizualizációja: A statisztikai paraméterezés eredményeinek grafikus megjelenítése empirikus értékekkel és konfidenciaintervallumokkal.
9. Az eredmények összehasonlítása: Két médiasílusú szöveg statisztikai paraméterezési eredményeinek vizualizációja, amely megkönnyíti az összehasonlítást.
10. Euklideszi távolság értékelése: Két médiasílusú szöveg közötti különbség számszerűsítése.
11. Szakértői vélemény generálása: Két szakértői vélemény generálása: az egyik a szöveg attribúciójáról, a másik pedig a szöveg toxicitásáról nyelvészeti vizsgálat alapján.
12. Toxicitásészlelés és szerzőazonosítás: Gépi tanulási technikák, különösen neurális hálózati modellek alkalmazása a toxicitás észlelésére és a szerzők azonosítására.
A rendszer eredményei a következő részekbe rendeződnek: Text Attribution Index Group, Text Attribution Expert Opinion, Comparison of Text Attribution, Linguistic Expertise of Text Toxicity és Neural Network Opinions.
A Text Attribution Index Group részben (1. ábra) a statisztikai paraméterek a bemeneti szöveg alapján vannak rendezve: az 1. oszlop az Index címét jeleníti meg, a 2. oszlop az empirikus numerikus értéket mutatja, a 3. oszlop pedig vizuális összehasonlítást nyújt az index empirikus értéke és a konfidenciaintervallum
alsó és felső küszöbértékeivel, amelyeket ukrán médiasílusú szövegekből vezettek le. Az empirikus numerikus értéket a skálán egy kitöltött, fordított háromszög jelöli.
1. ÁBRA: A szövegattribúciós eredmény egy részlete
A Text Attribution Expert Opinion részben (2. ábra) az elemzett szövegből kinyert tipikus vagy egyéni nyelvészeti-statisztikai jellemzőkre vonatkozó következtetéseket mutatjuk be minden becsült index esetében. E következtetések arra a kérdésre adott válaszokból származnak: Az index numerikus értéke az ukrán nyelv médiasílusának konfidenciaintervallumába esik-e? A numerikus értékeknek a konfidenciaintervallum küszöbértékeivel való összehasonlítása alapján a rendszer három lehetséges választ generál (a médiasílus tipikus jegyei, a normál médiasílusnál alacsonyabb idiosztílus jegyei, valamint a normál médiasílusnál magasabb idiosztílus jegyei).
A Comparison of Text Attribution részben (4. ábra, 4.2. alfejezet) a „Calculate Vector Distance” kiválasztásakor a táblázatos adatok azonnal frissülnek a következőképpen: az 1. oszlop a felhasználó által bevitt szövegeket és a korábban elemzett szöveget sorolja fel; a 2. oszlop az egyes szövegek mondatainak számát jeleníti meg; a 3. oszlop a szószámot mutatja; a 4. oszlop az elemzett szöveg és a táblázatban szereplő egyes szövegek közötti euklideszi távolságot adja meg; az 5. oszlop, amelynek címkéje „Compare”, elindítja az elemzett szöveg és a kiválasztott szöveg statisztikai indexeinek automatikus összehasonlítását. A megfelelő „Compare” elem aktiválásakor a két szöveg közötti statisztikai összehasonlítás átfogó információi jelennek meg a „Text Attribution Indices” csoportban (3. ábra).
230
Acta Linguistica Lithuanica XCI
Page 9
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
2. ÁBRA: Generált szakértői vélemény példája
A Linguistic Expertise of Text Toxicity részben (4.3. alfejezet) a kiszámított toxicitási index lexikai-szemantikai értelmezését mutatjuk be (6. ábra).
A Neural Network Opinions részben mélytanulási modellünk kimenetét mutatjuk be, amely a szöveg toxicitását 0-tól (nem toxikus) 1-ig (magas toxicitás) terjedő skálán számszerűsíti. A szöveg ismert szerzőkhöz való hasonlóságát is értékeljük; az értékek 0-tól (nincs hasonlóság) 1-ig (nagyfokú hasonlóság) terjednek, a modell tanításához használt szerzők alapján. Az eredmények csak a 0,1-nél nagyobb hasonlósági mérőszámú tesztek esetében jelennek meg. Jelenlegi rendszerünk demó módban működik, és a szerzői szövegek korlátozott korpuszát használja a felhasználó által bevitt szöveggel való hasonlóság felmérésére.
4. UKRÁN NYELVŰ SZÖVEGEK ATTRIBÚCIÓJA: KÍSÉRLETEK, EREDMÉNYEK ÉS MEGVITATÁSUK
4.1. Statisztikai paraméterezési indexek
A kidolgozott stilometriai modell két feladatot old meg: 1) a szerzői stílus egyéni jellemzőinek azonosítása (stilometria); 2) két szöveg közötti hasonlóság értékelése nyelvészeti és statisztikai paraméterek alapján (attribúció).
A felhasználó által bevitt szöveg statisztikai elemzéséhez 19 paramétert alkalmazunk (lásd az 1. ábrán a Text Attribution Index Group részt). Az első négy paraméter alapvető kvantitatív adatokat foglal magában: szószám, feldolgozatlan szavak, szótárméret és mondatszám. A szószám nem tartalmazza a rendszer által nem feldolgozott szókincset, például a nyelvjárási szavakat, moszkvaitizmusokat, alkalmi szóalkotásokat stb. A fennmaradó 15 paraméter számítható indexekből áll, amelyek skaláris mennyiségeket eredményeznek.
A stilometriai elemzéshez az 1. hipotézist fogjuk ellenőrizni. E hipotézis szerint az ukrán médiasílus konfidenciaintervallumán belüli és azon kívüli statisztikai paramétereket magában foglaló empirikus adatok elemzésével megkülönböztethetők az adott médiaszöveg egyedi szerzői jellemzői. Az egyes nyelvészeti paraméterekhez két konfidenciaintervallum-készletet számítottunk ki ukrán médiaszövegek mintái alapján: egyet az 1000 szónál hosszabb szövegekre (mintanagyság: 124,576 szó), egyet pedig az 1000 szóig terjedő szövegekre (mintanagyság: 15,635 szó).
Minden statisztikai paraméter konfidenciaintervallumát az index átlagos numerikus értékének (ANVI) a szövegmintán belüli σ szórásával, vagyis ANVI ± σ formában állapítottuk meg. A szórás azt becsüli, hogy a statisztikai indexek empirikus numerikus értékei milyen mértékben térhetnek el az indexnek a médiasíluson belüli átlagos numerikus értékétől. A pontosság biztosítása érdekében a σ konfidenciaintervallumát nyelvészeti és statisztikai kísérlet segítségével határoztuk meg. Következésképpen a rendszer az 1. hipotézis vizsgálatakor három lehetséges következtetést kínál: 1) az index numerikus értéke a konfidenciaintervallumba esik; 2) az index numerikus értéke az intervallum alsó küszöbértéke alatt van; vagy 3) az index numerikus értéke meghaladja az intervallum felső küszöbértékét.
Tekintsük át a blogger Oleksii Honcharenko által írt 1. szöveg paraméterezéséből származó eredményeket (lásd az 1. ábrát). Az elemzés a statisztikai paramétereken és azok ezt követő értelmezésén alapul, amelyet a 2. ábrán bemutatott generált szakértői vélemény foglal össze.
A szókincsre és a szöveg terjedelmére vonatkozó statisztikai mérőszámok kvantitatív összefüggést tárnak fel. Az 1. szövegben mindegyik mutató a médiasílusra jellemző tartományon belül van:
1) A változatossági index (IB) az egyedi szavak és a teljes szövegméret arányát jelenti, és a lexikai gazdagság mérőszolgál. Az IB 0,54-es értéke a 30%–60%-os tartományba esik, ami a lexikai változatosság mérsékelt szintjét jelzi;
2) A szövegexkluzivitási index (IVT) a szövegben egyszer előforduló hapax legomenonok számának és a szöveg terjedelmének arányát fejezi ki. A 0,36-os IVT a 20%–40%-os tartományba esik, ami alacsony lexikai exkluzivitást jelez;
232
Acta Linguistica Lithuanica XCI
Page 11
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
3) A szókincs-exkluzivitási index (IVL) a szövegben csak egyszer előforduló hapax legomenonok számának és a teljes szókincs terjedelmének arányát fejezi ki. A 0,66-os IVL a 60%–76%-os tartományba esik, ami a lexikai exkluzivitás magas fokát jelzi.
Ezután tekintsük át az 1. szövegben a lexikai és grammatikai szófajok mennyiségi korrelációjának statisztikai paramétereit:
1) A nominális attribútumok indexe, vagyis az epitetizáció (IIO) a főnevek számának a melléknevek számához viszonyított arányát fejezi ki. Az 1,07-es IIO magasabb a médiastílus 1,0-s normájánál, ami a főneveknek a melléknevekkel szembeni túlsúlyát jelzi, és ennek következtében kevesebb epitet fordul elő a szövegben;
2) Az igei attribútumok indexe (IDO) a határozószók számának az igék számához viszonyított arányát fejezi ki. A 0,57-es IDO magasabb a médiastílus 0,56-os normájánál. A határozószók ézen aránya az igei attribútumok alacsony fokát jelzi a szövegben;
3) A nominalizáció foka (STN) a főnevek számának az igék számához viszonyított arányát fejezi ki. Az 1,76-os STN alacsonyabb a médiastílus 3,00-s normájánál. Ezen index csökkenése az igéknek a főnevekkel szembeni túlsúlyát, valamint a szöveg alacsony nominalizációs fokát jelzi;
4) A pronominalizációs index (IPRO) a személyes névmások számának a szöveg szóhasználati terjedelméhez viszonyított arányát fejezi ki. A 0,09-es IPRO magasabb a médiastílus normájánál, és az idiostílus jele. A személyes névmások a szöveg több mint 7%-át teszik ki, ami a szöveg kohéziójának fokát jelzi;
5) A modalitásindex (MOD) a partikulák számának a szöveg szavainak számához viszonyított arányát fejezi ki. A 0,07-es IMOD magasabb a médiastílus 4%-os normájánál, és az idiostílus jele. A partikulák a szöveg több mint 4%-át teszik ki, ami meghatározza, hogy a szerző milyen mértékben fejez ki különféle értékeléseket a szövegben leírt jelenségekről és helyzetekről;
6) A szubsztantivitási index (ISUB) a főnevek számának a szöveg szóhasználati terjedelméhez viszonyított arányát fejezi ki. A 0,26-os ISUB alacsonyabb a médiastílus normájánál. A főnevek a szöveg kevesebb mint 30%-át teszik ki, ami a szöveg alacsony statikussági fokát határozza meg.
Magyarázzuk meg az 1. szöveg kifejezései és mondatai mennyiségi arányának statisztikai paramétereit:
1) A dinamizmusindex (IDYN) az igés kifejezések számának a főnévi kifejezések számához viszonyított arányát fejezi ki. A 0,74-es IDYN magasabb a médiastílus 0,6-os normájánál, és az idiostílus jele. Az igés kifejezéseknek a főnévi kifejezésekkel szembeni túlsúlya (az 1,0-nál nagyobb IDYN) határozza meg az események dinamikus és gyors kibontakozását a szöveg jelentésében;
2) A kohéziós index (IZV) az elöljárószók és kötőszók számának a szöveg mondatai számához viszonyított arányát fejezi ki. A 0,66-os IZV a médiastílus 0,45 és 0,90 közötti tipikus tartományába esik, ami a mondatok számának az elöljárószók és kötőszók számával szembeni túlsúlyát jelzi. Ez határozza meg az 1. szövegben leírt valóságok, jelenségek és helyzetek közötti kohézió átlagos fokát.
Különös figyelmet szentelünk az 1. szöveg pszicholingvisztikai statisztikai paramétereinek (Chuhunov 2009):
1) A Trager-együttható (KT) a szövegben szereplő igék számának a melléknevek számához viszonyított arányát fejezi ki, jelezve a beszélő érzelmi stabilitását/instabilitását. A 0,61-es KT magasabb a médiastílus 0,5-ös normájánál, és az idiostílus jele. Pszichológiai értelmezés szerint ez a szerző/beszélő alacsony emocionalitását, az aktív gyakorlati cselekvések megtételével kapcsolatos bizonytalanságát és szorongását jelzi. Az 1,35 ± 0,05 közötti érték normális érzelmi stabilitást és szabályozást határoz meg a szerző esetében;
2) A cselekvésbizonyossági együttható (KOD) az igék számának a főnevek számához viszonyított arányát fejezi ki a szövegben. Ez az arány a szerző szocializációjának fokát és a kijelentés szintaktikai teljességét jelzi. A 0,57-es KOD a médiastílus 0,30 és 0,60 közötti tipikus tartományába esik, ami az objektivizált cselekvési együttható alacsony fokát jelzi. Pszichológiai értelmezés szerint ez a szerző/beszélő alacsony emocionalitására, az aktív gyakorlati cselekvésekkel kapcsolatos bizonytalanságára és szorongására utal. Az 1,35 ± 0,05 közötti érték normális érzelmi stabilitást és az érzelmek szerző általi szabályozását határozza meg, ami a nyelvi jellemzők alapján a mondatok normális szintaktikai teljességét és helyes szintaktikai szerkezetét jelzi;
3) Az agresszivitási együttható (KA) az igék és az igehasználat számának a szöveg szavainak teljes számához viszonyított arányát fejezi ki, és pszicholingvisztikai szempontból a nyelv agresszivitását jelöli. A 0,15-ös KA magasabb a médiastílus 13%-os normájánál, és az idiostílus jele. Pszichológiai értelmezés szerint a 60% alatti értékek az agresszivitás alacsony fokát, a szerző elfojtott érzelmeit és bizonytalanságát jelzik. A 60% megközelítése a szerző agresszivitásának és érzelmi stabilitásának normális fokát határozza meg, míg a 60% feletti értékek a szerző magas agresszivitását és érzelmi izgatottságát jelzik.
Végül tekintsük át az 1. szöveg szemantikai statisztikai paraméterét: A szöveg toxicitási indexét (ITOX) a szövegben előforduló negatív szókincs gyakorisága alapján számítjuk ki (részletesebben lásd a 4.3. szakaszt). A 0,36-os ITOX-érték a médiastílus 0,1 és 0,7 közötti tipikus tartományába esik. Az ITOX a negatív érzelmekhez való kognitív és pragmatikai attitűdöket alakítja.
234
Acta Linguistica Lithuanica XCI
Page 13
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
4.2. Szövegek összehasonlítása statisztikai paraméterek alapján
A két szöveg közötti hasonlóság mértékének felmérésére irányuló feladat a 2. hipotézis tesztelését foglalta magában. E hipotézis szerint, ha két szöveg statisztikai paraméterezéséből származó empirikus adatok csak kis különbséget mutatnak az indexek számértékeiben, akkor e szövegek ugyanahhoz a szerzőhöz tartoznak. Ezt a hipotézist a rendszerben kétféleképpen teszteljük: 1) a két szöveg egyes indexeinek számértékeit összehasonlítva; 2) a két szöveg közötti vektortávolság meghatározásával. E problémákat a Szövegattribúció összehasonlítása szakaszban valósítottuk meg. Az első feladat a szövegek empirikus adatainak összehasonlítását jelenti a médiastílus konfidenciaintervallum-skáláján lévő indexek segítségével (3. ábra). Amint a 3. ábrán látható, a felhasználó kényelme érdekében mindkét szöveg paramétereinek mennyiségi jellemzői különböző színekben jelennek meg. A vizualizáció mindkét szöveg indexeinek empirikus értékeit az ukrán médiastílusú szövegekből származtatott konfidenciaintervallum-küszöbértékekkel (alsó és felső) hasonlítja össze.
3. ÁBRA: A szövegek vektortávolságának összehasonlítása
A második feladat két szöveg közötti vektortávolság kiszámítása az euklideszi távolság képletével. Ez magában foglalja a két szöveg 15 statisztikai paraméterének számértékei közötti különbségek négyzetének összegzését. Ezt követően kiszámítjuk ezen összeg négyzetgyökét. A számértékek
a vektortávolságé jelzik a szövegek közötti statisztikai eltérés mértékét, és mérőszámot biztosítanak a köztük lévő távolságra. Bár a médiaszövegek vektortávolságértékének ingadozásai nem ismertek kellőképpen, a távolság azonos szövegek összehasonlításakor 0 lehet. Ez azt jelenti, hogy a szövegek különböznek, ha a vektortávolság nagyobb 0-nál. Emellett minél nagyobb a vektortávolság számértéke, annál nagyobbak a szövegek közötti nyelvi és statisztikai különbségek. Az euklideszi távolság összehasonlítása táblázatos formában jelenik meg. A 4. ábra 4. oszlopában a számértékek az euklideszi távolságokat jelölik. A 4. ábra Oleksii Honcharenko elemzett szövegét (1. szöveg) ugyanazon szerző három másik szövegével hasonlítja össze: az 1. sor a 2. szöveget (0,44-es távolság); a 2. sor a 3. szöveget (0,56-os távolság); a 3. sor a 4. szöveget (0,77-es távolság) mutatja. Az empirikus adatok azt mutatják, hogy az egyetlen szerző által írt szövegek hasonlósága 1-en belül marad, míg más szerzők szövegei (4–10. sor) 1-nél nagyobb távolságokat mutatnak.
4. ÁBRA. A szövegek közötti euklideszi távolság rendszerezése
A szövegek statisztikai paramétereinek összehasonlítása meggyőz bennünket arról, hogy a javasolt attribúciós módszertan feltárja az ukrán nyelvű szövegek stilometriai modelljét. Ez a modell a szöveg szerzőségének meghatározására is felhasználható. Ezt három különböző szerző 7 szövegének 15 statisztikai paraméter alapján végzett attribúciójának vizuális bemutatásával erősítjük meg, az Uniform Manifold Approximation and Projection (UMAP) módszerével (McInnes et al. 2020), amelynek algoritmusát szintén megvalósítottuk a TextAttributor rendszerben. Ez
236
Acta Linguistica Lithuanica XCI
Page 15
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
a technika lehetővé teszi a jellemzőtér dimenzionalitásának csökkentését egy 15 dimenziós tér síkra történő vetítésével. Az 5. ábrán a különböző alakzatú pontok (P1–P7 az 1. szerzőhöz, F1–F7 a 2. szerzőhöz, M1–M7 a 3. szerzőhöz) különböző szerzőktől véletlenszerűen kiválasztott 7 szövegnek felelnek meg.
Amint láthatjuk, a dimenzionalitás csökkentése után a három szerző szövegeinek pontleképezései láthatóan elkülönülnek egymástól különböző területeken. Ez a példa megerősíti, hogy a TextAttributor által meghatározott paraméterek fontosak a szövegek stilisztikai jellemzőinek leírásához és a szöveg szerzőségének meghatározásához (még csökkentett formában is).
5. ÁBRA: A szövegattribúció grafikus ábrázolása az UMAP-módszerrel
4.3. A szöveg negatív érzelmi töltésének indexelése
A szöveg stílusának és szerzőségének meghatározására szolgáló statisztikai paraméterrendszer kidolgozása során felismertük, hogy a szöveg toxicitása attribúciós indexként szolgálhat. Ezért külön modult hoztunk létre a toxicitási index automatikus meghatározására a TextAttributorban.
Napjainkban az információs komponens különösen fontossá vált a hibrid hadviselésben. Ezért kutatásunk anyaga egy 10 millió szóból álló, politikai diskurzushoz tartozó online médiatextusokból álló kutatási korpusz volt. A „toxikus szöveg” kifejezést tág értelemben használjuk. Ezeket a szövegeket zaklatás, fenyegetés, obszcenitás, kiberzaklatás, trollkodás és identitásalapú gyűlöletszövegek jellemzik, továbbá hangulatjeleket tartalmaznak, amelyek olyan jelenségek és tárgyak, amelyek negatív érzelmeket váltanak ki az emberből (pl. war, air raid, corruption).
A projekt célja az ukrán szövegekben megjelenő negatív érzelmi töltés megvalósulási lehetőségeinek meghatározása és a toxikus tartalom azonosítására szolgáló automatizált rendszer kidolgozása volt. Ez a feladat két egymást követő részfeladatból állt: először a toxikus szöveg nyelvészeti vizsgálati rendszerének kidolgozásából, a toxicitási indexek szótárelemzésen és szabályalapú módszereken keresztüli meghatározásával; másodszor a gépi tanulás céljára szolgáló tanítóadatkészlet létrehozásából és a szöveg toxicitási indexeit előrejelző neurális hálózat kifejlesztéséből.
Tekintsük át az első feladat teljesítését. Ez egy három különböző szótárat tartalmazó lexikográfiai adatbázis létrehozását foglalta magában:
1) Emotiogen-szótár: 5000 szóból álló gyűjtemény (lexikai-szemantikai változatok jelentései szerint), negatív érzelmi tónusokkal, −2-es skálán értékelve. Példák: immoral, impunity, bribery és steal;
2) Gyűlöletbeszéd-szótár: 3000 szót tartalmaz, köztük személyneveket (1620), obszcén kifejezéseket (613) és sértő nyelvi elemeket (787). Példák: westerner (западенець: Ukrajna nyugati régióiból származó emberek pejoratív megnevezése) és huckster;
3) Toxikus kifejezések: 1500, negatív érzelmeket kifejező idiomatikus kifejezés gyűjteménye. Példák: grimaces like a monkey, kisses his arse and opens his mouth.
E listák minden egyes bejegyzését szemantikai jegyekkel láttuk el; a Gyűlöletbeszéd-szótár 18, a Toxikus kifejezések listája pedig 26 jegyet tartalmazott. A Gyűlöletbeszéd-szótár szavait például olyan jellemzőkkel címkéztük, mint az „s” a szexizmus, az „r” a rasszizmus és az „e” az ageizmus jelölésére. Ez a lexikográfiai adatbázis, amely multiparametrikus rendszerként működik, szemantikai jegyeket rendel az egységekhez (szavakhoz vagy kifejezésekhez), ami az elemzett szöveg gyakorisági adataival kombinálva lehetővé teszi a toxicitás elemzését.
A szöveg toxicitási indexét a következő képlettel számítjuk ki:
Itox = (e + |K| (m + t)) / n * 10,
Itt n a szöveg terjedelme; e az érzelmi szavak száma; m a gyűlöletbeszédhez tartozó szavak száma; t a toxikus kifejezések száma; K egy −2-vel egyenlő együttható, amely kiemeli a gyűlöletbeszédhez tartozó szavakat és a toxikus kifejezéseket, amelyek egy
238
Acta Linguistica Lithuanica XCI
Page 17
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
öt számjegyű (+2, +1, 0, −1, −2) skálán −2-nek felelnek meg. Az indexértékek 0 és +1 között változnak.
Például a „Piros tollal rendelkező emberek (Люди з червоною ручкою)” című szöveg toxicitási indexe (12 mondat, 129 szó) 1,01, ami magas toxicitásra utal, mivel az ilyen rövid szövegek küszöbértéke 0,1 és 0,7 között van. Ezzel egyidejűleg a rendszer létrehozza a szöveg toxicitásának automatikus nyelvészeti vizsgálati eredményeit (lásd a 6. ábrát), amelyek a következőkből állnak: 1) a negatív szókincs szemantikai osztályainak statisztikai térképe a lexikográfiai listák osztályozási jelölői szerint (emotiogének – 5, vulgarizmusok – 2, szexizmus – 2); 2) szöveg a negatív érzelmi töltésű konkrét szavakkal, amelyek verbalizálják a statisztikai térkép kategóriáit. Tekintsünk meg egy részletet az elemzett valós szövegből (6. ábra):
azok az emberek, akik piros tollal járnak körbe, és kijavítják a hibákat mások bejegyzéseiben: egyáltalán kik vagytok? Van fogalmatok arról, mennyire idegesítőek vagytok? Szándékosan tanulmányozom a profiljaitokat, kíváncsi vagyok arra a világra, amelyben léteztek. Ez a világ rémiszt engem nagyon. Őszintén remélem, hogy a való életben semmilyen körülmények között nem fogunk találkozni. (оці люди, які ходять з червоною ручкою і виправляють a hibákat mások bejegyzéseiben: egyáltalán kik vagytok? Van fogalmatok arról, mennyire idegesítőek vagytok? Szándékosan tanulmányozom a profiljaitokat, kíváncsi vagyok arra a világra, amelyben léteztek. Ez a világ nagyon rémiszt. Őszintén remélem, hogy a való életben semmilyen körülmények között nem fogunk találkozni).
Itt a rendszer automatikusan félkövérrel emeli ki a következő, negatív komponenst tartalmazó szavakat: hibákat (помилки), mások (чужих), idegesítőek (бісите), megijeszt (лякає).
6. ÁBRA: A szöveg toxicitásának automatizált nyelvészeti vizsgálatából származó részlet
5. GÉPI TANULÁSI MEGKÖZELÍTÉSEK: KÍSÉRLETEK, EREDMÉNYEK ÉS MEGVITATÁS
Összpontosítsunk a TextAttributor rendszer gépi tanulási technikákra szolgáló második működési módjára. A modell tanításának bemeneténél a részfeladatok célja szerint címkézett szövegkorpuszok állnak rendelkezésünkre: (a) a toxicitásérzékeléshez szükséges szöveginformáció és (b) a szerzőség azonosítása. Minden korpuszt tanító- és kontrollkészletre, valamint kellően nagy korpusz esetén validációs készletre osztunk. A kiválasztott problémamegoldó modell paramétereit a tanítókészleten becsüljük meg. A modell hiperparamétereit a validációs készlet segítségével hangoljuk. A modell végső teljesítménymutatóit kontrollkészleten mérjük, figyelembe véve a számítási erőforrások rendelkezésre állását, amelyek a modell működőképességéhez szükségesek. Az egyes részfeladatok korpuszát a TextAttributor gépi tanulási komponensével párhuzamosan fejlesztettük ki, ezért a jelenlegi modelleket viszonylag kis adatmennyiségen tanítottuk, amely ukrán nyelvű blogok rövid internetes szövegeit, megjegyzéseit, cikkeit stb. tartalmazta.
5.1. Toxicitásérzékelés
Kísérleti vizsgálatok sorozatának eredményeként a fastText módszerén és eszközein alapuló, számítási szempontból hatékony architektúrát választottunk (Joulin et al. 2016). Ez a módszer szóbeágyazásokat biztosít, és megbecsüli a dokumentumok előre meghatározott osztályok szerinti valószínűségi eloszlását. A szavakat vektoros formában ábrázoljuk, a szavak részekre (alfogalmakra) történő automatikus felbontása alapján, ami a szótár nyitottságát szimulálja. Az alfogalmi ábrázolás fontos, mivel az ukrán nyelv erősen flektáló, ezért számos, korábban nem látott szót, valamint helyesírási hibákat tartalmazó szót is le kell fedni. Az alkalmazott megközelítés hatékonyságát a rendszer működésének technikai feltételei és a modell tanítására rendelkezésre álló szöveges erőforrások is meghatározzák.
A toxikus tartalom érzékelésére bináris osztályozáshoz egy körülbelül 12 000 szöveges dokumentumból álló előkészített korpuszt használtunk. A legjobb eredményt az általánosított mérőszám alapján (F1 = 79,4%) a következő hiperparaméter-beállításokkal értük el: 56 dimenziós szóvektortér, 0,15-ös kezdeti tanulási ráta, 500 tanítási korszak, bigramokkal megjelenített lexikai kontextus, 2 és 5 karakter közötti alfogalmi hossz, valamint 0,4-es döntési küszöbérték. Emellett a modell 85%-os érzékenységet mutatott, miközben körülbelül 70%-os pontosságot ért el.
240
Acta Linguistica Lithuanica XCI
Page 19
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
5.2. Szerzőségazonosítás
A szövegek szerzőségének azonosítására szolgáló modellek kísérleti kutatását nyilvánosan hozzáférhető társadalmi-politikai szövegek korpuszának egy részén végeztük, amelyben azonosítható a dokumentum szerzője. Összesen 702, négy olyan szerzőtől származó szöveget választottunk ki, akik 60 és 1000 karakter közötti terjedelemben a legtöbb dokumentumot tették közzé. A szerzőnkénti publikációk legnagyobb száma 304 (115 ezer karakter), a legkisebb pedig 109 (49 ezer karakter). A teszteléshez minden kiválasztott szerzőtől véletlenszerűen 25 szöveget vettünk. A többi dokumentum alkotta a tanítókészletet.
A legjobb eredményt az általánosított mérőszám szerint (F1 = 81%) a következő hiperparaméter-értékekkel értük el: 50 dimenziós szóbeágyazási tér, 0,1-es kezdeti tanulási ráta, 50 tanítási korszak, bigramokkal megjelenített lexikai kontextus, 2 és 5 karakter közötti alfogalmi hossz, valamint 0,5-ös döntési küszöbérték. Figyelemre méltó, hogy bizonyos modellkonfigurációk esetében az adatkészletben legtöbb dokumentummal rendelkező szerző iránti érzékenység elérte a 100%-ot, a pontosság pedig meghaladta a 90%-ot. Ezek az eredmények bizonyítják egy olyan hatékony rendszer kifejlesztésének megvalósíthatóságát, amely képes pontosan lefedni a tanítókészletben kellően reprezentált szerzők szövegeit.
A betanított neurálishálózat-modelleket „kliens-szerver” architektúrában integráltuk a TextAttributor rendszerbe, ahol két feladat eredményei jelennek meg: (a) a toxicitás meghatározása és (b) a szerzőség érzékelése. A rendszer munkájának eredménye „Ukrajna felsőoktatásról szóló törvényének” szövegén: Toxicitási index (valószínűségi becslés: mennyire toxikus a szöveg) – 0,04, hasonlóság a szerzőkkel (a szerzőség valószínűségének becslése a rendszer által ismert szerzők esetében): 0,49 I. Farion esetében, 0,30 Oleksii Honcharenko esetében és 0,22 Mariana Bezugla esetében.
6. KÖVETKEZTETÉSEK
A TextAttributor rendszer jelenleg tesztelési fázisban van, hogy kezelje az ukrán nyelvű szövegek attribúciójával és toxicitásának meghatározásával kapcsolatos kérdéseket. Ez a rendszer kényelmes és hatékony különféle technológiai vizsgálatokhoz. A TextAttributor webalkalmazás 5 hónap alatt 226 felhasználó 784 ukrán szövegét elemezte automatikusan.
Eredményeink bizonyítják módszerünk hatékonyságát, amely a verbális elemek formális grammatikai és szemantikai paraméterek, különösen a negatív érzelmi töltés alapján történő kvantálásán alapul. Ezt szótár- és szabályalapú megközelítések kombinációjával, gépi tanulással kiegészítve valósítjuk meg
technikákkal. A toxicitás érzékelésére és a szerzőség szöveg alapján történő azonosítására irányuló kísérleti gépi tanulási kutatás lehetővé tette, hogy a más nyelvekre vonatkozó, hasonló modelljellemzőkkel (dokumentumok és szerzők száma) végzett kísérletek eredményeihez mérhető eredményeket érjünk el. Az alfogalmi modellek nagyobb robusztusságot mutattak a lexikai nyitottsággal és a szöveghibákkal szemben.
Az elvégzett kutatás megnyitja az utat az ukrán nyelv olyan problémáinak megoldása előtt, mint a toxikus tartalom, a gyűlöletbeszéd és a félretájékoztatás érzékelése és monitorozása, a szerzőség ellenőrzése és a dezobfuszkáció, a szerzői profilalkotás és diarizálás, a pszicholingvisztikai profilalkotás, a stílusmodellezés, valamint a hamis tartalom forrásának nyomon követése stb. A kidolgozott szövegelemzési és attribúciós séma más nyelvekre is alkalmazható.
A jövőben azt tervezzük, hogy automatikus szövegattribúciós és toxicitásérzékelő eszközünket szemantikai, szintaktikai, pszicholingvisztikai és szociolingvisztikai elemzéssel integráljuk. Ez az integráció mélyebb megértést biztosít majd számunkra az olvasóra gyakorolt hatásról. A lexikai taxonómia szemantikai elemzésével azonosítani kívánjuk a szövegben rejlő narratív elemeket, ezáltal növelve a szövegattribúció megbízhatóságát a szerzőségazonosítási eljárásokban. Emellett tervezzük szövegkorpuszaink bővítését és többnyelvű nagy nyelvi modellek alkalmazását rendszerünk képességeinek további kiterjesztése érdekében, valamint statisztikai szöveg-összehasonlító eszközök megvalósítását az ukrán nyelv valamennyi stílusára.
Köszönetnyilvánítás
A rendszert a Kyiv-i Brit Nagykövetség által támogatott projekt keretében hozták létre, amelyet a Taras Shevchenko National University of Kyiv Ukrán Nyelvi és Alkalmazott Nyelvészeti Tanszékének oktatóiból és kutatóiból álló csapat valósított meg.
Őszinte köszönetünket szeretnénk kifejezni a Kyiv-i Brit Nagykövetségnek e kutatási projekt pénzügyi támogatásáért. Hálásak vagyunk Svitlana Yavorska és Iryna Bezkorovayna útmutatásáért és a projekt során nyújtott segítségéért. Külön köszönet illeti Kostiantyn Goncharenkót a projekt szervezéséért és dokumentációs támogatásáért. Továbbá hálásak vagyunk a Taras Shevchenko National University of Kyiv „Alkalmazott (számítógépes) nyelvészet és angol nyelv” oktatási programja hallgatóinak. Idejükkel, szakértelmükkel és erőfeszítéseikkel hozzájárultak az ukrán toxikus szövegek korpuszának kialakításához. Hálásak vagyunk Oksana Tolochkónak, alapképzési programunk végzett hallgatójának, az ukrán nyelv tónusszótárának létrehozásáért, amelyet a negatív hangulatjelek lexikográfiai listájának összeállításához használtunk. Emellett mélyen nagyra értékeljük Mykola Kostikov adatgyűjtési folyamatban végzett munkáját. Őszinte köszönetünket fejezzük ki a kutatói közösség minden tagjának, aki tanácsaival és konzultációival hozzájárult e tanulmányhoz.
242
Acta Linguistica Lithuanica XCI
Page 21
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
REFERENCES
ALIAS – Automated Linguistic Identification & Assessment System. Available at: https://aliastechnology.com/alias-overview/.
Alkomah Fatimah, Ma Xiaogang 2022: A Literature Review of Textual Hate Speech Detection Methods and Datasets. – Information 13(6), 273. DOI: 10.3390/info13060273.
Argamon Shlomo 2007: Interpreting Burrows’s Delta: Geometric and Probabilistic Foundations. – Literary and Linguistic Computing 23, 131–147. DOI: 10.1093/llc/fqn003.
Bonetti Andrea, Martínez-Sober Marcelino, Torres Julio, Vega Jose, Pellerin Sebastien, Vila-Francés Joan 2023: Comparison between Machine Learning and Deep Learning Approaches for the Detection of Toxic Comments on Social Networks. – Applied Sciences 13(10), 6038. DOI: 10.3390/app13106038.
Buk Solomija 2021: Long prose fiction by I. Franko: electronic corpus, frequency dictionaries and other interdisciplinary contexts, LNU imeni Ivana Franka [Ivan Franko National University of Lviv].
Burrows John 2002: “Delta”: a Measure of Stylistic Difference and a Guide to Likely Authorship. – Literary and Linguistic Computing 17(3), 267–287. DOI: 10.1093/llc/17.3.267.
Burrows Steven, Uitdenbogerd Alexandra, Turpin Andrew 2014: Comparing techniques for authorship attribution of source code. – Software: Practice and Experience 44(1), 1–32. DOI: 10.1002/spe.2146.
Canhasi Ercan, Kadriu Arbana, Misini Arta 2022: A Survey on Authorship Analysis Tasks and Techniques. – SEEU Review 17(2), 153–167. DOI: 10.2478/seeur-2022-0100.
Chuhunov Vadym 2009: Diahnostyka v psyk hoterapii ta psykhoterapevtychnyi diahnoz, Kharkiv: Nauka.
Darchuk Natalia, Sorokin Viktor 2022: Parameterization of the Ukrainian Text Corpus based on parsing. – Computational Linguistics and Intelligent Systems, Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022) 1: Main Conference, eds. V. Lytvyn, N. Sharonova, I. Jonek-Kowalska, A. Kowalska-Styczen, V. Vysotska, Ye. Kuprianov, O. Kanischeva, O. Cherednichenko, Th. Hamon, N. Grabar, Poland, 12–13 May, 2022, 256–265.
Darchuk Natalia, Zuban’ Oksana, Sorokin Viktor 2024: On stylistic differentiation in Ukrainian poetic speech based on the syntactic structure of
sentences. – Bulletin of Taras Shevchenko National University of Kyiv. Literary Studies. Linguistics. Folklore Studies 1(35), 5–10. DOI: 10.17721/1728-2659.2024.35.01.
Eder Maciej 2015: Does size matter? Authorship attribution, small samples, big problem. – Digital Scholarship in the Humanities 30(2), 167–182. DOI: 10.1093/llc/fqt066.
Eder Maciej, Rybicki Jan 2013: Do birds of a feather really flock together, or how to choose training samples for authorship attribution. – Literary and Linguistic Computing 28(2), 229–236. DOI: 10.1093/llc/fqs036.
Evert Stefan, Proisl Thomas, Schöch Christof, Jannidis Fotis, Pielström Steffen, Vitt Thorsten 2015: Explaining Delta, or: How do distance measures for authorship attribution work? – Corpus Linguistics 2015: Abstract Book, United Kingdom, 21 July 2015, eds. F. Formato, A. Hardie, Lancaster: UCREL. Available at: https://zenodo.org/records/18308.
Gupta Shriya T. P., Sahoo Jajati K., Roul Rajendra K. 2019: Authorship identification using recurrent neural networks. – ICISDM’19: Proceedings of the 2019 3rd International Conference on Information System and Data Mining, United States, 06 April 2019, New York: Association for Computing Machinery, 133–137. DOI: 10.1145/3325917.3325935.
Hoover David 2004: Testing Burrows’s delta. – Literary and Linguistic Computing 19(4), 453–475. DOI: 10.1093/llc/19.4.453.
Hoover David 2005: Delta, Delta Prime, and Modern American Poetry: Authorship Attribution Theory and Method. – ACH/ALIC 2005: Proceedings of the 17th Joint International Conference of the Association for Computers and the Humanities (ACH) and the Association for Literary and Linguistic Computing, Canada, 15–18 June 2005, University of Victoria: Humanities Computing and Media Centre, 79–80.
Jannidis Fotis, Pielström Steffen, Schöch Christof, Vitt Thorsten 2015: Improving Burrows’ Delta – An empirical evaluation of text distance measures. – DH 2015: Digital Humanities, Abstracts of the Global Digital Humanities Conference 11, Australia, 29 June – 3 July 2015, Sydney. DOI: https://zenodo.org/records/1321296.
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Karasov Vitalii, Levchenko Olena 2024: Statistical profile of O. Zabuzhko’s idio style. – CEUR Workshop Proceedings 3722: Proceedings of the 8th International Conference on Computational Linguistics and Intelligent Systems, Lviv, April 12–13, 2024, 251–264.
Khan Talha F., Anwar Waheed, Arshad Humera, Abbas Syed N. 2023: An Empirical Study on Authorship Verification for Low Resource Language Using Hyper-Tuned CNN Approach. – IEEE Access 11, 80403–80415. DOI: 10.1109/ACCESS.2023.3299565.
Khomytska Iryna, Teslyuk Vasyl, Bazylevych Iryna, Karamysheva Iryna 2023: Automated Identification of Authorial Styles. – CEUR Workshop Proceedings: Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems, 3396, Kharkiv, April 20–21, 2023. Available at: https://ceur-ws.org/Vol–3396/paper26.pdf.
KUM – Korpus ukrajins’koji movy: Linhvistyčnyj portal Mova.info. Available at: http://www.mova.info/corpus.aspx.
LIWC–22 – Linguistic Inquiry and Word Count. Available at: https://www.liwc.app.
Lototska Nataliia 2022: Statistical Characteristics of Roman Ivanychuk’s Idiolect (Based on Writer’s Text Corpus). – CEUR Workshop Proceedings 3171, 487–500.
Lupei Maksym, Mitsa Aleksander, Reparіuk Volodymyr, Sharkan Vasyl 2020: Identification of authorship of Ukrainian-language texts of journalistic style using neural networks. – Eastern-European Journal of Enterprise Technologies 1/2(103), 30–36. DOI: 10.15587/1729–4061.2020.195041.
McInnes Leland, Healy John, Melville James 2020: UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. – ArXiv e-prints 1802.03426. DOI: 10.48550/arXiv.1802.03426.
Meier Tabea, Boyd Ryan, Pennebaker James, Meh Matthiasl, Martin Mike, Wolf Markus, Horn Andrea 2019: “LIWC auf Deutsch”: The development, psychometrics, and introduction of DE-LIWC2015. – PsyArXiv Preprints. DOI: 10.31234/osf.io/uq8zt.
Rybicki Jan, Eder Maciej 2011: Deeper Delta across Genres and Languages: Do We Really Need the Most Frequent Words? – Literary and Linguistic Computing 26(3), 315–321. DOI: 10.1093/llc/fqr031.
Savoy Jacques 2015: Comparative evaluation of term selection functions for authorship attribution. – Digital Scholarship in the Humanities 30(2), 246–261. DOI: 10.1093/llc/fqt047.
Zuban’ Oksana 2019: The Morphemic System Stylometric Analysis of the Ukrainian Poets’ Idiostyles: Corpus Based Approach. – Linhvistychni studiji 38, 96–104. DOI: 10.31558/1815-3070.2019.38.15.
Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas)
SANTRAUKA
Sistema „TextAttributor“ statistiškai parametrizuoja ukrainiečių kalbos tekstus autorystės atpažinimo ir nuotaikų analizės aspektais. Naudodama daugiaparametrinį 15 statistinių indeksų rinkinį, „TextAttributor“ apibūdina autorines stilistines ypatybes. Ji integruoja tokius metodus kaip komponentinė analizė, paskirstymo analizė, kvantavimas ir nuotaikų analizė panaudojant žodynus ir mašininio mokymosi metodus, skirtus nemandag aus teksto ir autorystės išaiškinimui. Sistema apdoroja tekstus taikydama tokenizavimą, morfologinį žymėjimą, kontekstinę ir sintaksinę analizę ir emociškai neigiamo žodyno atitikimą, leidžiantį išsamiai vizualizuoti ir ekspertiškai įvertinti teksto priskyrimą ir neigiamą turinį. Eksperimentai patvirtina sistemos gebėjimą nustatyti unikalius autoriaus bruožus ir įvertinti teksto panašumą, ypač politinio diskurso ir nemandagios komunikacijos žiniasklaidos kontekste Rusijos ir Ukrainos karo metu. Straipsnyje pabrėžiama praktinė ir teorinė „TextAttributor“ reikšmė, demonstruojant jos efektyvumą didelėms teksto apimtims ir tikslioms analitinėms galimybėms. Sėkmingas žodynais, taisyklėmis pagrįstų ir mašininio mokymosi metodų taikymas pabrėžia sistemos tvirtumą ir universalumą. Beta versija ir tebevykdomų tyrimų rezultatai yra nuodugniai išnagrinėti, o būsimos jų kryptys nustatomos siekiant išplėsti kalbinį korpusą ir tobulinti mašininio mokymosi modelius, siekiant pagerinti tikslumą ir pritaikomumą.
246
Acta Linguistica Lithuanica XCI
Page 25
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Įteikta 2024 m. lapkričio 25 d.
NATALIIA DARCHIUK Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
OKSANA ZUBAN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
VALENTYNA ROBEIKO Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
YULIIA TSYHYVINTSEVA Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine Institute of the Ukrainian Language of the National Academy of Sciences of Ukraine 4 Mykhailo Hrushevskyi Street Kyiv, 01001, Ukraine [email protected]
VICTOR SOROKIN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
MYKOLA SAZHOK Institute for information technologies and systems of the National Academy of Sciences of Ukraine 40 Akademika Hlushkova Avenue Kyiv, 03187, Ukraine [email protected]
