Obszary badań: analiza mowy, rozpoznawanie i synteza, przetwarzanie języka naturalnego.
DOI: doi.org/10.35321/all91-09
SYSTEM AUTOMATYCZNEJ ANALIZY STYLOMETRYCZNEJ UKRAIŃSKICH TEKSTÓW MEDIALNYCH TEXTATTRIBUTOR 1.0 (TECHNIKI, ŚRODKI, FUNKCJONALNOŚĆ)
System automatycznej analizy stylometrycznej ukraińskich tekstów medialnych „TextAttributor 1.0” (metody, środki, funkcjonalność)
STRESZCZENIE
W artykule przedstawiono strukturę, algorytmy, implementację i wyniki eksperymentalne automatycznego systemu TextAttributor, opracowanego przez autorów artykułu do statystycznej parametryzacji tekstów w języku ukraińskim z wykorzystaniem wieloparametrowego zestawu wskaźników statystycznych charakteryzujących styl tekstu autora i mających zastosowanie w zadaniach atrybucji autorstwa. Na podstawie utworzonych zasobów lingwistycznych i oprogramowania system generuje analizę lingwistyczną opartą na obliczonych wskaźnikach statystycznych oraz przeprowadza analizę porównawczą dwóch tekstów. Dodatkowym kryterium indeksowania statystycznego jest wskaźnik toksyczności tekstu, obliczany metodą werbalnej identyfikacji toksycznego sentymentu. Zadania wykrywania autorstwa i toksyczności są rozwiązywane za pomocą dwóch metod: obliczeń statystycznych opartych na słowniku i regułach oraz uczenia maszynowego. Aktualne wyniki zaimplementowane w wersji beta TextAttributor zostały szczegółowo przeanalizowane.
SŁOWA KLUCZOWE: lingwistyka komputerowa, język ukraiński, analiza sentymentu, atrybucja autorstwa, stylometria, klasyfikacja tekstu.
224
Acta Linguistica Lithuanica XCI
Page 3
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
S T R E S Z C Z E N I E
W artykule przedstawiono strukturę, algorytmy, implementację i wyniki eksperymentalne automatycznego systemu „TextAttributor”, opracowanego przez autorów artykułu do statystycznej parametryzacji tekstów w języku ukraińskim z wykorzystaniem wieloparametrowego zestawu wskaźników statystycznych charakteryzujących styl tekstu autora i stosowanych w zadaniach atrybucji autorstwa. Na podstawie utworzonych zasobów lingwistycznych i oprogramowania system generuje analizę lingwistyczną na podstawie obliczonych indeksów statystycznych oraz przeprowadza analizę porównawczą dwóch tekstów. Dodatkowym kryterium indeksowania statystycznego jest indeks tekstu wywołującego negatywne nastroje, obliczany za pomocą metody werbalnej identyfikacji negatywnych nastrojów. Zadania ustalania autorstwa i wykrywania wrogości są rozwiązywane dwiema metodami: obliczeniami statystycznymi opartymi na słowniku i regułach oraz uczeniem maszynowym. Aktualne wyniki uzyskane przy użyciu wersji beta „TextAttributor” zostały szczegółowo przeanalizowane.
SŁOWA KLUCZOWE: lingwistyka komputerowa, język ukraiński, analiza afektywności, przypisywanie autorstwa, stylometria, klasyfikacja tekstu.
1. WPROWADZENIE
Badania tekstologiczne zyskały nowe znaczenie naukowe wraz z rozwojem metod lingwistyki komputerowej, które przyczyniły się do powstania nowego kierunku, który można uznać za tekstologię cyfrową. W ramach tej rozwijającej się dyscypliny konceptualizujemy tekstologię cyfrową jako wykorzystanie zautomatyzowanych technik lingwistyki korpusowej połączonych z modelami matematycznymi do ilościowej analizy tekstu. Kierując się aktualnymi zadaniami współczesnej lingwistyki ilościowej i przetwarzania języka naturalnego, nasz zespół opracował system automatycznej analizy lingwistyczno-statystycznej tekstów medialnych, wdrożony jako aplikacja internetowa o nazwie TextAttributor (TextAttributor 1.0 2024). System realizuje cztery zadania: 1) statystyczną parametryzację tekstu; 2) stylometrię: określanie lingwistyczno-statystycznych cech idiolektu; 3) atrybucję: określanie stopnia podobieństwa między tekstami; oraz 4) analizę sentymentu: identyfikację leksyki wyrażającej negatywny sentyment w tekstach. Ponadto w ramach systemu automatycznie generowane są dwa wnioski eksperta lingwistycznego na podstawie wyników drugiego i czwartego zadania. Wielofunkcyjność systemu TextAttributor wymaga od użytkowników zapoznania się z zasadami jego działania. Celem artykułu jest zapoznanie akademickiego i edukacyjnego środowiska filologicznego z metodologią tworzenia systemu, jego architekturą i wynikami działania, aby zapewnić jasne rozumienie jego funkcji i możliwości analitycznych, które mają szczególne znaczenie. Podejście to jest szczególnie istotne w analizie dużych ilości komunikacji internetowej oraz
wzmacniania strategii ochrony informacji podczas trwającej wojny rosyjsko-ukraińskiej. Koncepcja opracowania automatycznego systemu atrybucji tekstów w języku ukraińskim powstała na podstawie analizy badań z zakresu ukraińskiej lingwistyki korpusowej (Darčuk 2013) oraz statystycznych badań stylu autora (Darčuk et al. 2021; Darchuk, Sorokin 2022; Zuban 2019), przeprowadzonych z wykorzystaniem narzędzi Korpusu Języka Ukraińskiego (KUM) przez autorów projektu.
Podczas opracowywania systemu TextAttributor zastosowano następujące metody: analizę komponentową, analizę dystrybucyjną i analizę treści. Analiza treści, ilościowa i jakościowa metoda wydobywania informacji z tekstu, wykorzystywała przetwarzanie języka naturalnego i techniki statystyczne. Zastosowano również kwantyzację i analizę sentymentu. Analiza sentymentu automatycznie identyfikuje tonację tekstu na podstawie zarówno zabarwienia emocjonalnego, jak i oceny wydarzeń lub obiektów dokonanej przez autora; osiągnięto to z wykorzystaniem obliczeń statystycznych opartych na słowniku i regułach.
Ponadto włączono metody uczenia maszynowego, w tym uczenie głębokie. Struktura statystyczna tekstu, rozumiana jako jego model ilościowy, umożliwia identyfikację jego stylu funkcjonalnego, autorstwa i okresu powstania. W niniejszej pracy składniki struktury statystycznej wyodrębniono poprzez analizę leksykalnych i gramatycznych cech statystycznych z wykorzystaniem technik indeksowania i metryk odległości euklidesowej. Odległość euklidesowa, mierząca odległość między dwoma punktami w n-wymiarowej przestrzeni euklidesowej, jest jedną z najczęściej stosowanych metryk w lingwostatystyce do analizy skupień w stylometrii i atrybucji autorstwa.
Nowością wyników jest pierwsza w lingwistyce komputerowej implementacja zautomatyzowanego morfosyntaktyczno-semantycznego modelu stylometrycznego do analizy tekstu, opartego na 15 wskaźnikach statystycznych, które przede wszystkim parametryzują strukturę morfologiczną, a także składniową i semantyczną tekstu. Model stylometryczny to zbiór parametrów statystycznych tekstu (leksykalnych, morfologicznych, składniowych itd.), na podstawie których przeprowadza się analizę porównawczą tego tekstu z modelem stylometrycznym stylu funkcjonalnego. Naszym zdaniem zastosowanie metod statycznych przy konstruowaniu modelu stylometrycznego umożliwia uzyskanie ścisłego, deterministycznego i naukowo uzasadnionego systemu cech wspólnych i dystynktywnych w stylach, gatunkach itd. Po raz pierwszy model stylometryczny wprowadza parametr wskaźnika toksyczności, który w charakterystyczny sposób definiuje teksty medialne podczas wojny rosyjsko-ukraińskiej. Model ten jest zaimplementowany nie tylko w funkcji statystycznej parametryzacji tekstów, typowej dla systemów tego rodzaju, lecz także w funkcji porównywania analizowanego tekstu ze stylem medialnym języka ukraińskiego oraz w zadaniach stylometrycznych i atrybucyjnych obejmujących dwa lub więcej tekstów. Znaczenie teoretyczne obejmuje walidację dwóch metod określania toksyczności tekstu i
226
Acta Linguistica Lithuanica XCI
Page 5
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
autorstwa w języku ukraińskim: 1) za pomocą podejść opartych na słowniku i regułach oraz 2) za pomocą uczenia maszynowego, w tym uczenia głębokiego.
2. STAN BADAŃ
We współczesnej lingwistyce ukraińskiej przeprowadzono znaczące badania lingwistyczno-statystyczne idiolektów ukraińskich pisarzy i poetów, w tym Tarasa Szewczenki, Łesi Ukrainki, Wasyla Stusa (Zuban’ 2019), Iwana Franki (Buk 2021), Romana Iwanyczuka (Lototska 2022), Wałerija SzeWczuka (Volos, Levchenko 2023), Marii Matios, Jurija Andruchowycza, Oksany Zabużko (Karasov, Levchenko 2024), Iwana Drača, Mykoły Winhranowskiego (Darchuk et al. 2024), Liny Kostenko (Zuban’ 2019; Darchuk et al. 2024) i innych. Badania te przeprowadzono na reprezentatywnych próbkach tekstów (długich tekstach), wykorzystując głównie jeden lub kilka (nie więcej niż pięć) parametrów statystycznych, często bez zastosowania porównania stylometrycznego. Ponadto ze względu na pracochłonny charakter prowadzenia eksperymentów lingwistyczno-statystycznych lingwistyka ukraińska w dużej mierze pomijała kompleksową parametryzację statystyczną, porównywanie analizowanych tekstów ze standardowymi parametrami statystycznymi stylów funkcjonalnych, określanie stopnia podobieństwa tekstów, a także analizę stylometryczną i atrybucyjną krótkich tekstów. Wykorzystanie systemu TextAttributor w badaniach lingwistyczno-statystycznych, mające na celu automatyczne wykonywanie tych zadań, zapewni nie tylko charakterystykę frekwencyjną zjawisk językowych, lecz także umożliwi efektywną analizę stylometryczną prowadzącą do wydania opinii eksperckiej.
System TextAttributor ma przewagę nad swoimi odpowiednikami w nauce światowej. Większość istniejących systemów i modeli koncentruje się również na wykorzystaniu pojedynczych modułów lingwistyczno-statystycznych do identyfikacji jednego lub kilku, głównie formalnych (n-gramów, najczęstszych słów, liter), parametrów tekstu (Eder 2015; Canhasi et al. 2022; LIWC-22; Khomytska et al. 2023; ALIAS). W przeciwieństwie do nich TextAttributor 1.0 oferuje kompleksowe podejście, obejmujące interaktywną analizę statystyczną leksykalnej, morfologicznej, składniowej i semantycznej struktury tekstu w czasie rzeczywistym w 15 parametrach.
Atrybucja tekstów jest aktywnie rozwijana w zagranicznych badaniach tekstologicznych, w szczególności metoda Burrowsa (Burrows 2002; Argamon 2007; Eder, Rybicki 2013; Burrows et al. 2014) została przetestowana pod względem skuteczności w wielu badaniach dużych zbiorów danych tekstowych reprezentujących różne style, takich jak: angielska proza z początku XXth wieku (Hoover 2004); współczesna poezja angielska (Hoover 2005); utwory poetyckie po łacinie (Rybicki, Eder 2011); utwory prozatorskie głównych gatunków w języku angielskim, francuskim, włoskim, niemieckim, polskim, węgierskim, a także po łacinie i arabsku (Rybicki, Eder 2011; Evert et al. 2015; Jannidis et al. 2015); teksty polityczne w języku angielskim, w tym
atrybucję przemówień prezydentów amerykańskich (Savoy 2015). Jeszcze jedna zautomatyzowana metoda analizy lingwistycznej, nazwana „Linguistic Inquiry and Word Count” (LIWC), jest wdrożona jako aplikacja komercyjna i dostosowana do kilku języków (Meier et al. 2019; LIWC-22).
W ostatnich latach w zadaniach automatycznej atrybucji tekstu stosowano głównie albo stylometryczne metody oparte na regułach, albo metody uczenia głębokiego (Eder 2015; Canhasi et al. 2022). Obie metody zaimplementowano w systemie TextAttributor; działają skutecznie, lecz dają różne wyniki: 1) metoda oparta na regułach umożliwia automatyzację generowania wniosków lingwistycznych dotyczących idiolektu i toksyczności tekstu; 2) metoda uczenia maszynowego określa jedynie stopień toksyczności i podobieństwo tekstów oraz może być stosowana w zadaniach klasyfikacyjnych do monitorowania treści tekstowych.
Najnowsze metody uczenia maszynowego stosowane w analizie sentymentu i identyfikacji autorstwa tekstu opierają się na podejściach statystycznych (TF-IDF, Latent Dirichlet Allocation) oraz technikach uczenia głębokiego o różnych architekturach (CNN, LSTM, BERT), połączonych z metodami stylometrycznymi (Gupta et al. 2019; Canhasi et al. 2022; Bonetti et al. 2023). Raportowane wyniki są silnie zależne od liczby klas (rodzajów toksyczności, autorów), gatunku, długości tekstu i, co najważniejsze, objętości właściwie anotowanego korpusu tekstów wykorzystanego w procesie trenowania. Zatem wysoki poziom dokładności w zadaniach wykrywania toksyczności i mowy nienawiści przekracza 90% przy użyciu korpusu zawierającego dziesiątki tysięcy dokumentów (Alkomah, Ma 2022). Na przykład w atrybucji autorstwa anglojęzycznych utworów literackich wśród 1000 autorów osiąga się ponad 90% dokładności, wykorzystując korpus 6000 dokumentów dla 15 autorów. Z kolei dla korpusów zawierających mniej niż 1500 dokumentów raportowana dokładność wynosi około 70% (Khan et al. 2023). W przypadku języka ukraińskiego identyfikacja autorstwa tekstów oraz analiza sentymentu/toksyczności są słabo zbadanymi problemami (Lupei et al. 2020); ponadto systemy takie nie wydają ekspertyzy lingwistycznej i nie mogą być wykorzystywane jako narzędzia badań lingwistycznych.
3. OGÓLNA CHARAKTERYSTYKA DZIAŁANIA SYSTEMU TEXTATTRIBUTOR
Podczas opracowywania TextAttributor wykonano następujące zadania: 1) Lingwistyka teoretyczna: opracowano metodologię sformalizowanej analizy morfologicznej, statystycznej, stylometrycznej, atrybucyjnej i sentymentu; 2) Inżynieria oprogramowania: opracowano strukturę lingwistycznych baz danych oraz oprogramowanie do wyżej wymienionych analiz automatycznych; 3) Lingwistyka eksperymentalna: system przetestowano na ukraińskich tekstach medialnych, a
228
Acta Linguistica Lithuanica XCI
Page 7
System automatycznej analizy stylometrycznej ukraińskich tekstów medialnych TextAttributor 1.0 (techniki, środki, funkcjonalność)
zaimplementowano moduł automatycznego badania stylometrycznego. Zautomatyzowany system lingwistyczny, wdrożony jako aplikacja internetowa, przetwarza wprowadzone przez użytkownika teksty w stylu medialnym, generując wartości liczbowe parametrów statystycznych charakteryzujących cechy tekstu. System działa według uporządkowanej sekwencji operacji:
1. Tokenizacja tekstu: podział tekstu na zdania i słowa w celu przeprowadzenia analizy.
2. Etykietowanie morfologiczne: przypisywanie słowom etykiet na podstawie ich form gramatycznych.
3. Analiza kontekstowa: aktualizowanie etykiet morfologicznych z uwzględnieniem kontekstu.
4. Analiza składniowa: ustalanie binarnych relacji między słowami w zdaniach w celu zrozumienia ich struktury gramatycznej.
5. Ustalanie relacji składniowych: określanie powiązań składniowych na podstawie wcześniej zdefiniowanych reguł.
6. Dopasowywanie słownictwa o zabarwieniu emocjonalnie negatywnym: identyfikowanie słów ze zdefiniowanego wcześniej zbioru słownictwa negatywnego.
7. Ocena parametrów statystycznych: ocena parametrów statystycznych tekstu wejściowego z wykorzystaniem automatycznie opracowanych słowników frekwencyjnych.
8. Wizualizacja wyników: graficzna prezentacja wyników parametryzacji statystycznej wraz z wartościami empirycznymi i przedziałami ufności.
9. Porównanie wyników: wizualizacja wyników parametryzacji statystycznej dla dwóch tekstów w stylu medialnym, ułatwiająca porównanie.
10. Ocena odległości euklidesowej: ilościowe określanie różnicy między dwoma tekstami w stylu medialnym.
11. Generowanie opinii eksperckiej: generowanie dwóch opinii eksperckich: jednej dotyczącej atrybucji tekstu, a drugiej toksyczności tekstu na podstawie badania lingwistycznego.
12. Wykrywanie toksyczności i identyfikacja autorstwa: wykorzystanie technik uczenia maszynowego, w szczególności modeli sieci neuronowych, do wykrywania toksyczności i identyfikacji autorów.
Wyniki systemu są uporządkowane w następujących sekcjach: grupa indeksów atrybucji tekstu, opinia ekspercka dotycząca atrybucji tekstu, porównanie atrybucji tekstu, ekspertyza lingwistyczna toksyczności tekstu oraz opinie sieci neuronowej.
W grupie indeksów atrybucji tekstu (rys. 1) parametry statystyczne są uporządkowane na podstawie tekstu wejściowego: kolumna 1 przedstawia tytuł indeksu, kolumna 2 prezentuje empiryczną wartość liczbową, a kolumna 3 zapewnia wizualne odniesienie poprzez porównanie empirycznej wartości indeksu z przedziałem ufności
progami (dolnym i górnym) wyprowadzonymi z tekstów w stylu medialnym języka ukraińskiego. Empiryczna wartość liczbowa jest przedstawiona na skali za pomocą wypełnionego odwróconego trójkąta.
RYSUNEK 1: Fragment wyniku atrybucji tekstu
W opinii eksperckiej dotyczącej atrybucji tekstu (rys. 2) przedstawiamy wnioski dotyczące typowych lub indywidualnych lingwistycznych cech statystycznych wyodrębnionych z analizowanego tekstu dla każdego oszacowanego indeksu. Wnioski te wynikają z odpowiedzi na pytanie: Czy wartość liczbowa indeksu mieści się w przedziale ufności stylu medialnego języka ukraińskiego? Na podstawie porównania wartości liczbowych z wartościami progowymi przedziału ufności system generuje trzy możliwe odpowiedzi (typowe oznaki stylu medialnego, oznaki idio stylu niższe niż normalny styl medialny oraz oznaki idio stylu wyższe niż normalny styl medialny).
W porównaniu atrybucji tekstu (rys. 4, podrozdział 4.2), po wybraniu opcji „Oblicz odległość wektorową” dane tabelaryczne są natychmiast aktualizowane w następujący sposób: Kolumna 1 zawiera teksty wprowadzone przez użytkownika wraz z wcześniej analizowanym tekstem; Kolumna 2 wyświetla liczbę zdań w każdym tekście; Kolumna 3 pokazuje liczbę słów; Kolumna 4 przedstawia odległość euklidesową między analizowanym tekstem a każdym tekstem w tabeli; Kolumna 5, oznaczona „Porównaj”, uruchamia automatyczne porównanie indeksów statystycznych analizowanego tekstu z wybranym tekstem. Po aktywowaniu odpowiedniego elementu „Porównaj” w grupie „Indeksy atrybucji tekstu” (rys. 3) udostępniane są wyczerpujące informacje o porównaniu statystycznym dwóch tekstów.
230
Acta Linguistica Lithuanica XCI
Page 9
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
RYSUNEK 2: Przykład wygenerowanej opinii eksperckiej
W ekspertyzie lingwistycznej toksyczności tekstu (podrozdział 4.3) przedstawiono leksykalno-semantyczną interpretację obliczonego indeksu toksyczności (rys. 6).
W opiniach sieci neuronowej przedstawiamy wynik naszego modelu uczenia głębokiego, który kwantyfikuje toksyczność tekstu w skali od 0 (nietoksyczny) do 1 (wysoka toksyczność). Oceniamy również podobieństwo tekstu do znanych autorów, przy czym wartości mieszczą się w zakresie od 0 (brak podobieństwa) do 1 (wysokie podobieństwo), na podstawie autorów, na których model był trenowany. Wyniki są przedstawiane wyłącznie dla testów, w których miara podobieństwa przekracza 0,1. Nasz obecny system działa w trybie demonstracyjnym, wykorzystując ograniczony korpus tekstów autorów do oceny podobieństwa z tekstem wprowadzonym przez użytkownika.
4. ATRYBUCJA TEKSTÓW W JĘZYKU UKRAIŃSKIM: EKSPERYMENTY, WYNIKI I DYSKUSJA
4.1. Wskaźniki parametryzacji statystycznej
Opracowany model stylometryczny rozwiązuje dwa zadania: 1) identyfikację indywidualnych cech stylu autora (stylometrię); 2) ocenę podobieństwa między dwoma tekstami na podstawie parametrów lingwistycznych i statystycznych (atrybucję).
Do statystycznej analizy tekstu wprowadzonego przez użytkownika wykorzystuje się 19 parametrów (zob. rys. 1, grupa indeksów atrybucji tekstu). Pierwsze cztery parametry obejmują podstawowe dane ilościowe: liczbę słów, słowa nieprzetworzone, rozmiar słownika i liczbę zdań. Liczba słów nie obejmuje słownictwa nieprzetwarzanego przez system, takiego jak dialektyzmy, moskowityzmy, okazjonalizmy itd. Pozostałe 15 parametrów stanowi obliczalne indeksy dające wartości skalarne.
W analizie stylometrycznej zamierzamy zweryfikować hipotezę 1. Hipoteza ta głosi, że poprzez analizę danych empirycznych obejmujących parametry statystyczne mieszczące się w przedziale ufności ukraińskiego stylu medialnego i wykraczające poza ten przedział można rozpoznać unikalne cechy autorskie w danym tekście medialnym. Dla każdego parametru lingwistycznego obliczono dwa zestawy przedziałów ufności na podstawie próbek ukraińskich tekstów medialnych: jeden dla tekstów liczących ponad 1000 słów (liczebność próby: 124,576 słów), a drugi dla tekstów liczących do 1000 słów (liczebność próby: 15,635 słów).
Przedział ufności dla każdego parametru statystycznego ustalono z wykorzystaniem odchylenia standardowego, σ, Średniej Wartości Liczbowej Indeksu (ANVI) w próbie tekstów, oznaczonej jako ANVI ± σ. Odchylenie standardowe szacuje, jak bardzo empiryczne wartości liczbowe indeksów statystycznych mogą odbiegać od średniej wartości liczbowej indeksu w obrębie stylu medialnego. Aby zapewnić dokładność, przedział ufności dla σ określono w drodze eksperymentu lingwistyczno-statystycznego. W konsekwencji system oferuje trzy możliwe wnioski podczas testowania hipotezy 1: 1) wartość liczbowa indeksu mieści się w przedziale ufności; 2) wartość liczbowa indeksu znajduje się poniżej dolnego progu przedziału; lub 3) wartość liczbowa indeksu przekracza górny próg przedziału.
Rozważmy wyniki uzyskane z parametryzacji tekstu 1 autorstwa blogera Oleksii Honcharenko (zob. rys. 1). Analiza ta opiera się na parametrach statystycznych i ich późniejszej interpretacji zawartej w wygenerowanej opinii eksperckiej, przedstawionej na rys. 2.
Wskaźniki statystyczne dotyczące słownictwa i objętości tekstu ujawniają zależność ilościową. W tekście 1 wszystkie te wskaźniki mieszczą się w typowym zakresie dla stylu medialnego:
1) Indeks różnorodności (IB) przedstawia stosunek liczby unikalnych słów do całkowitej objętości tekstu i służy jako miara bogactwa leksykalnego. Wartość IB wynosząca 0.54 mieści się w przedziale 30%–60%, wskazując na umiarkowany poziom różnorodności leksykalnej;
2) Indeks ekskluzywności tekstu (IVT) wyraża stosunek liczby hapaks legomenów występujących w tekście jednokrotnie do objętości tekstu. Wartość IVT wynosząca 0.36 mieści się w przedziale 20%–40%, wskazując na niską ekskluzywność leksykalną);
232
Acta Linguistica Lithuanica XCI
Page 11
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
3) Indeks ekskluzywności słownictwa (IVL) wyraża stosunek liczby hapaks legomenów występujących w tekście tylko raz do całkowitej objętości słownictwa. Wartość IVL wynosząca 0.66 mieści się w przedziale 60%–76%, wskazując na wysoki stopień ekskluzywności leksykalnej.
Następnie rozważmy parametry statystyczne ilościowej korelacji leksykalnych i gramatycznych klas słów w tekście 1:
1) Wskaźnik atrybutów nominalnych, czyli epitetizacja (IIO) wyraża stosunek liczby rzeczowników do liczby przymiotników. IIO wynoszący 1,07 jest wyższy od normy stylu medialnego wynoszącej 1,0, co wskazuje na przewagę rzeczowników nad przymiotnikami, skutkującą mniejszą liczbą epitetów w tekście;
2) Wskaźnik atrybutów czasownikowych (IDO) wyraża stosunek liczby przysłówków do liczby czasowników. IDO wynoszący 0,57 jest wyższy od normy stylu medialnego wynoszącej 0,56. Taka proporcja przysłówków wskazuje na niski stopień atrybutywności czasowników w tekście;
3) Stopień nominalizacji (STN) wyraża stosunek liczby rzeczowników do liczby czasowników. STN wynoszący 1,76 jest niższy od normy stylu medialnego wynoszącej 3,00. Spadek tego wskaźnika wskazuje na przewagę czasowników nad rzeczownikami oraz niski stopień nominalizacji tekstu;
4) Wskaźnik pronominalizacji (IPRO) wyraża stosunek liczby zaimków osobowych do objętości użycia słów w tekście. IPRO wynoszący 0,09 jest wyższy od normy stylu medialnego i stanowi oznakę idio stylu. Zaimki osobowe obejmują ponad 7% tekstu, wskazując na stopień jego spójności;
5) Wskaźnik modalności (MOD) wyraża stosunek liczby partykuł do liczby słów w tekście. IMOD wynoszący 0,07 jest wyższy od normy stylu medialnego wynoszącej 4% i stanowi oznakę idiostylu. Partykuły obejmują ponad 4% tekstu, co określa stopień, w jakim autor wyraża różne oceny zjawisk i sytuacji w tekście;
6) Wskaźnik substantywności (ISUB) wyraża stosunek liczby rzeczowników do objętości użycia słów w tekście. ISUB wynoszący 0,26 jest niższy od normy stylu medialnego. Rzeczowniki obejmują mniej niż 30% tekstu, co określa niski stopień statyczności tekstu.
Wyjaśnijmy parametry statystyczne ilościowego stosunku fraz i zdań w Tekście 1:
1) Wskaźnik dynamizmu (IDYN) wyraża stosunek liczby fraz czasownikowych do liczby fraz rzeczownikowych. IDYN wynoszący 0,74 jest wyższy od normy stylu medialnego wynoszącej 0,6 i stanowi oznakę idiostylu. Przewaga fraz czasownikowych nad frazami rzeczownikowymi (IDYN większy niż 1,0) określa dynamiczny i szybki rozwój wydarzeń w znaczeniu tekstu;
2) Wskaźnik spójności (IZV) wyraża stosunek liczby przyimków i spójników do liczby zdań w tekście. IZV wynoszący 0,66 mieści się w typowym zakresie od 0,45 do 0,90 dla stylu medialnego, wskazując na przewagę liczby zdań nad liczbą przyimków i spójników. Określa to średni stopień spójności między realiami, zjawiskami i sytuacjami opisanymi w Tekście 1.
Szczególna uwaga zostanie poświęcona psycholingwistycznym parametrom statystycznym (Chuhunov 2009) w Tekście 1:
1) Współczynnik Tragera (KT) wyraża stosunek liczby czasowników do liczby przymiotników w tekście, wskazując na emocjonalną stabilność/niestabilność mówiącego. KT wynoszący 0,61 jest wyższy od normy stylu medialnego wynoszącej 0,5 i stanowi oznakę idiostylu. Zgodnie z interpretacją psychologiczną wskazuje to na niską emocjonalność autora/mówcy, niezdecydowanie w podejmowaniu aktywnych działań praktycznych oraz niepokój. Wartość w zakresie 1,35 ± 0,05 określa normalną stabilność emocjonalną i regulację emocji przez autora;
2) Współczynnik pewności działania (KOD) wyraża stosunek liczby czasowników do liczby rzeczowników w tekście. Stosunek ten wskazuje na stopień socjalizacji autora oraz składniową kompletność wypowiedzi. KOD wynoszący 0,57 mieści się w typowym zakresie od 0,30 do 0,60 dla stylu medialnego, wskazując na niski stopień współczynnika zobiektywizowanego działania. Zgodnie z interpretacją psychologiczną sugeruje to niski poziom emocjonalności autora/mówcy, niezdecydowanie dotyczące aktywnych działań praktycznych oraz niepokój. Wartość w zakresie 1,35 ± 0,05 określa normalną stabilność emocjonalną i regulację emocji przez autora, co na podstawie cech językowych wskazuje na normalny stopień składniowej kompletności zdań i poprawną strukturę składniową;
3) Współczynnik agresywności (KA) wyraża stosunek liczby czasowników i użyć czasowników do całkowitej liczby słów w tekście, oznaczający agresywność języka w aspekcie psycholingwistycznym. KA wynoszący 0,15 jest wyższy od normy stylu medialnego wynoszącej 13% i stanowi oznakę idiostylu. Zgodnie z interpretacją psychologiczną wartości poniżej 60% wskazują na niski stopień agresywności, tłumione emocje autora oraz jego niezdecydowanie. Zbliżanie się do 60% określa normalny stopień agresywności i stabilności emocjonalnej autora, natomiast wartości powyżej 60% wskazują na wysoką agresywność autora i pobudzenie emocjonalne.
Na koniec rozważmy semantyczny parametr statystyczny Tekstu 1: Wskaźnik toksyczności tekstu (ITOX) jest obliczany na podstawie częstości występowania słownictwa negatywnego w tekście (więcej szczegółów zob. sekcja 4.3). Wartość ITOX wynosząca 0,36 mieści się w typowym zakresie od 0,1 do 0,7 dla stylu medialnego. ITOX kształtuje poznawcze i pragmatyczne postawy wobec negatywnych emocji.
234
Acta Linguistica Lithuanica XCI
Page 13
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
4.2. Porównywanie tekstów według parametrów statystycznych
Zadanie oceny stopnia podobieństwa między dwoma tekstami obejmowało testowanie Hipotezy 2. Hipoteza ta głosi, że jeśli dane empiryczne uzyskane w wyniku statystycznej parametryzacji dwóch tekstów wykazują jedynie niewielką różnicę w wartościach liczbowych wskaźników, wówczas teksty te należą do tego samego autora. Hipotezę tę testuje się w systemie na dwa sposoby: 1) przez porównanie wartości liczbowych każdego wskaźnika w obu tekstach; 2) przez określenie odległości wektorowej między dwoma tekstami. Zadania te są realizowane w sekcji Comparison of Text Attribution. Pierwsze zadanie obejmuje porównanie danych empirycznych tekstów za pomocą wskaźników na skali przedziału ufności stylu medialnego (Fig. 3). Jak przedstawiono na Fig. 3, ilościowe charakterystyki parametrów obu tekstów są wyświetlane w różnych kolorach dla wygody użytkownika. Wizualizacja porównuje wartości empiryczne wskaźników obu tekstów z progami przedziału ufności (dolnym i górnym) wyprowadzonymi z ukraińskich tekstów w stylu medialnym.
FIGURE 3: Porównanie odległości wektorowej tekstów
Drugie zadanie polega na obliczeniu odległości wektorowej między dwoma tekstami za pomocą wzoru na odległość euklidesową. Obejmuje to zsumowanie kwadratów różnic między wartościami liczbowymi 15 parametrów statystycznych obu tekstów. Następnie obliczany jest pierwiastek kwadratowy z tej sumy. Wartości liczbowe
odległości wektorowej wskazują zakres statystycznego niepodobieństwa tekstów i dostarczają miary odległości między nimi. Chociaż wahania wartości odległości wektorowej dla tekstów medialnych nie są dobrze znane, odległość może wynosić 0 przy porównywaniu identycznych tekstów. Oznacza to, że teksty są różne, jeśli odległość wektorowa jest większa od 0. Ponadto im większa jest liczbowa wartość odległości wektorowej, tym większe są różnice językowe i statystyczne między tekstami. Porównanie odległości euklidesowej przedstawiono w formie tabeli. W Kolumnie 4 na Fig. 4 wartości liczbowe reprezentują odległości euklidesowe. Fig. 4 przedstawia porównanie analizowanego tekstu autorstwa Oleksii Honcharenko (Tekst 1) z trzema innymi tekstami tego samego autora: wiersz 1 dla Tekstu 2 (odległość 0,44); wiersz 2 dla Tekstu 3 (odległość 0,56); wiersz 3 dla Tekstu 4 (odległość 0,77). Dane empiryczne pokazują, że podobieństwo między tekstami jednego autora pozostaje w granicach 1, podczas gdy teksty innych autorów (wiersze 4–10) wykazują odległości większe niż 1.
FIGURE 4. Systematyzacja odległości euklidesowej między tekstami
Porównanie parametrów statystycznych tekstów przekonuje nas, że proponowana metodologia atrybucji ujawnia model stylometryczny tekstów ukraińskojęzycznych. Model ten może być również wykorzystywany do określania autorstwa tekstu. Potwierdzimy to za pomocą wizualnej prezentacji atrybucji 7 tekstów trzech różnych autorów według 15 parametrów statystycznych z wykorzystaniem metody Uniform Manifold Approximation and Projection (UMAP) (McInnes et al. 2020), której algorytm również zaimplementowano w systemie TextAttributor. Ta
236
Acta Linguistica Lithuanica XCI
Page 15
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
technika pozwala zmniejszyć wymiarowość przestrzeni cech przez rzutowanie przestrzeni 15-wymiarowej na płaszczyznę. Na Fig. 5 punkty o różnych kształtach (P1–P7 dla Autora 1, F1–F7 dla Autora 2, M1–M7 dla Autora 3) odpowiadają 7 losowo wybranym tekstom różnych autorów.
Jak widać, po redukcji wymiarowości odwzorowania punktów tekstów trzech autorów można wyraźnie rozdzielić na odrębne obszary. Przykład ten potwierdza, że parametry zdefiniowane przez TextAttributor są ważne dla opisu cech stylistycznych tekstów i określania ich autorstwa (nawet w postaci zredukowanej).
FIGURE 5: Graficzna reprezentacja atrybucji tekstu z wykorzystaniem metody UMAP
4.3. Indeksowanie negatywnego sentymentu tekstu
Podczas opracowywania systemu parametrów statystycznych służących do określania stylu i autorstwa tekstu uznaliśmy, że toksyczność tekstu może pełnić funkcję wskaźnika atrybucji. Dlatego utworzyliśmy oddzielny moduł do automatycznego określania wskaźnika toksyczności w TextAttributor.
Obecnie komponent informacyjny stał się szczególnie ważny w wojnie hybrydowej. Dlatego materiałem naszego badania był korpus badawczy internetowych tekstów medialnych dyskursu politycznego o objętości 10 milionów słów. Terminu „tekst toksyczny” używamy w szerokim znaczeniu. Teksty te charakteryzują się nękaniem, groźbami, obscenicznością, cyberprzemocą, trollingiem i tekstami nawołującymi do nienawiści ze względu na tożsamość, a także zawierają emotikony, czyli zjawiska i obiekty wywołujące u człowieka negatywne emocje (np. wojna, nalot, korupcja).
Celem tego projektu było określenie potencjału realizacji negatywnego sentymentu w tekstach ukraińskich oraz opracowanie zautomatyzowanego systemu identyfikacji treści toksycznych. Zadanie to obejmowało dwa następujące po sobie podzadania: po pierwsze, opracowanie systemu lingwistycznego badania tekstów toksycznych z określeniem wskaźników toksyczności za pomocą analizy słownikowej i metod opartych na regułach; po drugie, skonstruowanie zbioru danych treningowych do celów uczenia maszynowego i opracowanie sieci neuronowej do przewidywania wskaźników toksyczności tekstu.
Przyjrzyjmy się realizacji pierwszego zadania. Obejmowało ono skonstruowanie leksykograficznej bazy danych zawierającej trzy odrębne słowniki:
1) Słownik emotiogenów: Zestawienie 5000 słów (zgodnie ze znaczeniami wariantów leksykalno-semantycznych) o negatywnym zabarwieniu sentymentalnym, ocenianym w skali do −2. Przykłady obejmują niemoralny, bezkarność, łapówkarstwo oraz kraść;
2) Słownik mowy nienawiści: Obejmuje 3000 słów, w tym nazwy osób (1620), określenia obsceniczne (613) oraz język obraźliwy (787). Przykłady obejmują zachodnik (западенець: obraźliwe określenie osób z zachodnich regionów Ukrainy) oraz handlarz;
3) Toksyczne frazy: Zbiór 1500 wyrażeń idiomatycznych wyrażających negatywne emocje. Przykłady obejmują robić małpie miny, całuje własny tyłek i otwiera usta.
Każdy wpis na tych listach opatrzono cechami semantycznymi; Słownik mowy nienawiści ma 18 cech, a lista Toksycznych fraz — 26. Na przykład słowa w Słowniku mowy nienawiści oznaczano charakterystykami takimi jak „s” dla seksizmu, „r” dla rasizmu i „e” dla ageizmu. Ta leksykograficzna baza danych, będąca systemem multiparametrycznym, przypisuje jednostkom (słowom lub frazom) cechy semantyczne, które w połączeniu z danymi o częstości występowania w analizowanym tekście umożliwiają analizę toksyczności.
Wskaźnik toksyczności tekstu oblicza się za pomocą wzoru:
Itox = (e + |K| (m + t)) / n * 10,
Tutaj n oznacza objętość tekstu; e oznacza liczbę słów nacechowanych emocjonalnie; m oznacza liczbę słów mowy nienawiści; t oznacza liczbę toksycznych fraz; K jest współczynnikiem równym −2; podkreśla on słowa mowy nienawiści i toksyczne frazy, które w skali
238
Acta Linguistica Lithuanica XCI
Page 17
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
pięciu cyfr (+2, +1, 0, −1, −2) odpowiadają −2. Wartości wskaźnika zmieniają się od 0 do +1.
Na przykład wskaźnik toksyczności tekstu „Ludzie z czerwoną długopisową ręką (Люди з червоною ручкою)” (12 zdań, 129 słów) wynosi 1,01, co wskazuje na jego wysoką toksyczność, ponieważ próg dla tak krótkich tekstów mieści się w zakresie od 0,1 do 0,7. Jednocześnie system generuje wyniki automatycznego lingwistycznego badania toksyczności tekstu (zob. Fig. 6), obejmujące: 1) mapę statystyczną klas semantycznych słownictwa negatywnego zgodnie z markerami klasyfikacyjnymi list leksykograficznych (emotiogeny – 5, wulgaryzmy – 2, seksizm – 2); 2) tekst z określonymi słowami o negatywnym sentymencie, werbalizującymi kategorie mapy statystycznej. Przyjrzyjmy się fragmentowi analizowanego tekstu autentycznego (Fig. 6):
ci ludzie, którzy chodzą z czerwoną długopisową ręką i poprawiają błędy w cudzych postach: kim wy w ogóle jesteście? Czy macie pojęcie, jak irytujący jesteście? Celowo przeglądam wasze profile, ciekawi mnie świat, w którym istniejecie. Ten świat przeraża mnie bardzo. Szczerze mam nadzieję, że w prawdziwym życiu w żadnych okolicznościach nie spotkamy się na swojej drodze. (оці люди, які ходять з червоною ручкою і виправляють помилки в чужих постах: ви хто взагалі такі? Ви хоч уявляєте, як ви бісите? Я спеціально вивчаю ваші профілі, мені цікаво в якому світі ви існуєте. Мене цей світ дуже лякає. Щиро сподіваюся, що в реальному житті ми з вами не пересічемося ні за яких обставин).
Tutaj system automatycznie pogrubia następujące słowa zawierające komponent negatywny: błędy (помилки), cudzych (чужих), irytujący (бісите), przeraża (лякає).
FIGURE 6: Fragment automatycznego lingwistycznego badania toksyczności tekstu
5. PODEJŚCIA Z WYKORZYSTANIEM UCZENIA MASZYNOWEGO: EKSPERYMENTY, WYNIKI I DYSKUSJE
Skupmy się na drugim trybie działania systemu TextAttributor, poświęconym technikom uczenia maszynowego. Na wejściu do trenowania modelu mamy korpusy tekstów oznaczone zgodnie z celem każdego podzadania: (a) informacje tekstowe dotyczące wykrywania toksyczności oraz (b) identyfikację autorstwa. Każdy korpus dzieli się na zbiory treningowy i kontrolny, a także — w przypadku dostatecznie dużego korpusu — na zbiór walidacyjny. Parametry wybranego modelu rozwiązywania problemu szacuje się na zbiorze treningowym. Hiperparametry modelu dostosowuje się na podstawie zbioru walidacyjnego. Końcowe wskaźniki wydajności modelu mierzy się na zbiorze kontrolnym, uwzględniając dostępność zasobów obliczeniowych niezbędnych do działania modelu. Korpus dla każdego podzadania opracowywano równolegle z komponentem uczenia maszynowego TextAttributor, dlatego obecne modele trenowano na stosunkowo małych danych, obejmujących krótkie ukraińskojęzyczne teksty internetowe z blogów, komentarzy, artykułów itp.
5.1. Wykrywanie toksyczności
W wyniku serii badań eksperymentalnych wybrano efektywną obliczeniowo architekturę opartą na metodzie fastText i jej narzędziach (Joulin et al. 2016). Metoda ta zapewnia osadzania słów i szacuje rozkład prawdopodobieństwa dokumentów według zdefiniowanych wcześniej klas. Słowa przedstawia się w postaci wektorowej na podstawie automatycznego dzielenia słów na części (podwyrazy), co symuluje otwartość słownika. Reprezentacja podwyrazowa jest ważna, ponieważ język ukraiński jest wysoce fleksyjny i należy uwzględnić wiele nieobserwowanych słów, a także słów z błędami ortograficznymi. Skuteczność zastosowanego podejścia zależy również od technicznych warunków działania systemu i dostępnych zasobów tekstowych do trenowania modelu.
Przygotowany korpus około 12 000 dokumentów tekstowych wykorzystano do klasyfikacji binarnej w celu wykrywania treści toksycznych. Najlepszy wynik, oparty na uogólnionej metryce (F1 = 79,4%), osiągnięto przy następujących ustawieniach hiperparametrów: wymiarowość wektora słowa 56, początkowe tempo uczenia 0,15, 500 epok treningowych, kontekst leksykalny reprezentowany przez bigramy, długości podwyrazów od 2 do 5 znaków oraz próg decyzyjny 0,4. Ponadto model wykazał czułość 85% przy dokładności wynoszącej około 70%.
240
Acta Linguistica Lithuanica XCI
Page 19
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
5.2. Identyfikacja autorstwa
Badania eksperymentalne modeli identyfikacji autorstwa tekstu przeprowadzono z wykorzystaniem części korpusu publicznie dostępnych tekstów społeczno-politycznych, w których można zidentyfikować osobę będącą autorem dokumentu. Wybrano łącznie 702 teksty czterech autorów, którzy opublikowali największą liczbę dokumentów o długości od 60 do 1000 znaków. Największa liczba publikacji autora wynosi 304 (115 tysięcy znaków), a najmniejsza 109 (49 tysięcy znaków). Do testów losowo pobrano po 25 tekstów dla każdego wybranego autora. Pozostałe dokumenty utworzyły zbiór treningowy.
Najlepszy wynik, zgodnie z uogólnioną metryką (F1 = 81%), osiągnięto przy następujących wartościach hiperparametrów: wymiar przestrzeni osadzeń słów 50, początkowe tempo uczenia 0,1, 50 epok treningowych, kontekst leksykalny reprezentowany przez bigramy, długości podwyrazów od 2 do 5 znaków oraz próg decyzyjny 0,5. Warto zauważyć, że dla niektórych konfiguracji modelu czułość względem autora z największą liczbą dokumentów w zbiorze danych osiągnęła 100%, przy dokładności przekraczającej 90%. Wyniki te pokazują możliwość opracowania skutecznego systemu zdolnego do dokładnego obejmowania tekstów autorów wystarczająco reprezentowanych w zbiorze treningowym.
Wytrenowane modele sieci neuronowych zintegrowano z systemem TextAttributor w architekturze „klient-serwer”, w której przedstawiane są wyniki dwóch zadań: (a) określania toksyczności oraz (b) wykrywania autorstwa. Wynik działania systemu dla tekstu „Ustawy Ukrainy o szkolnictwie wyższym”: Wskaźnik toksyczności (ocena w postaci prawdopodobieństwa: jak toksyczny jest tekst) – 0,04, podobieństwo do autorów (oceny w postaci prawdopodobieństwa autorstwa dla autorów znanych systemowi): 0,49 dla I. Farion, 0,30 dla Oleksii Honcharenko oraz 0,22 dla Mariana Bezugla.
6. WNIOSKI
System TextAttributor znajduje się obecnie w fazie testów mających na celu rozwiązanie problemów atrybucji i określania toksyczności tekstów ukraińskojęzycznych. System ten jest wygodny i skuteczny w różnych badaniach technologicznych. W ciągu 5 miesięcy aplikacja internetowa TextAttributor automatycznie przeanalizowała 784 teksty ukraińskie 226 użytkowników.
Nasze wyniki dowodzą skuteczności naszej metody, która polega na kwantyfikacji elementów werbalnych na podstawie formalnych parametrów gramatycznych i semantycznych, szczególnie w odniesieniu do negatywnej emocjonalności. Osiąga się to przez połączenie podejść słownikowych i opartych na regułach, uzupełnionych uczeniem maszynowym
technikami. Eksperymentalne badania uczenia maszynowego w zakresie wykrywania toksyczności i identyfikacji autorstwa na podstawie tekstu pozwoliły uzyskać wyniki porównywalne z wynikami eksperymentów o podobnych charakterystykach modeli (liczbie dokumentów i autorów) odnotowanymi dla innych języków. Modele podwyrazowe wykazały większą odporność na otwartość leksykalną i błędy tekstowe.
Przeprowadzone badania otwierają drogę do rozwiązywania w języku ukraińskim takich problemów, jak wykrywanie i monitorowanie treści toksycznych, mowy nienawiści i dezinformacji, weryfikacja autorstwa i deobfuskacja, profilowanie autorów i diarizacja, profilowanie psycholingwistyczne, modelowanie stylu oraz śledzenie źródła fałszywych treści itp. Opracowany schemat analizy i atrybucji tekstu można również zastosować do innych języków.
W przyszłości planujemy zintegrować nasze narzędzie do automatycznej atrybucji tekstu i wykrywania toksyczności z analizą semantyczną, składniową, psycholingwistyczną i socjolingwistyczną. Integracja ta pozwoli nam lepiej zrozumieć wpływ na czytelnika. Wykorzystując semantyczną analizę taksonomii leksykalnej, zamierzamy identyfikować elementy narracyjne właściwe tekstowi, zwiększając tym samym wiarygodność atrybucji tekstu w procedurach identyfikacji autorstwa. Ponadto planujemy rozszerzyć nasze korpusy tekstów i wykorzystać wielojęzyczne duże modele językowe, aby dalej zwiększać możliwości naszego systemu, a także wdrożyć narzędzia do statystycznego porównywania tekstów we wszystkich stylach języka ukraińskiego.
Podziękowania
System utworzono w ramach projektu wspieranego przez Ambasadę Brytyjską w Kyiv i realizowanego przez zespół dydaktyków i badaczy Katedry Języka Ukraińskiego i Lingwistyki Stosowanej National University of Kyiv Taras Shevchenko.
Chcielibyśmy wyrazić nasze szczere podziękowania Ambasadzie Brytyjskiej w Kyiv za finansowe wsparcie tego projektu badawczego. Jesteśmy wdzięczni Svitlana Yavorska i Iryna Bezkorovayna za ich wskazówki i pomoc podczas realizacji projektu. Szczególne podziękowania składamy Kostiantyn Goncharenko za organizacyjne i dokumentacyjne wsparcie projektu. Ponadto jesteśmy wdzięczni studentom programu edukacyjnego „Lingwistyka stosowana (komputerowa) i język angielski” na Taras Shevchenko National University of Kyiv. Wnieśli oni swój czas, wiedzę specjalistyczną i wysiłek w tworzenie korpusu ukraińskich tekstów toksycznych. Jesteśmy wdzięczni Oksana Tolochko, absolwentce naszego programu licencjackiego, za stworzenie słownika tonalnego języka ukraińskiego, którego użyliśmy do opracowania listy leksykograficznej negatywnych emotikonów. Ponadto jesteśmy głęboko wdzięczni Mykola Kostikov za wysiłek włożony w proces gromadzenia danych. Chcielibyśmy wyrazić nasze szczere podziękowania wszystkim członkom społeczności badawczej, którzy przyczynili się do tego badania, udzielając rad i konsultacji.
242
Acta Linguistica Lithuanica XCI
Page 21
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
REFERENCES
ALIAS – Automated Linguistic Identification & Assessment System. Available at: https://aliastechnology.com/alias-overview/.
Alkomah Fatimah, Ma Xiaogang 2022: A Literature Review of Textual Hate Speech Detection Methods and Datasets. – Information 13(6), 273. DOI: 10.3390/info13060273.
Argamon Shlomo 2007: Interpreting Burrows’s Delta: Geometric and Probabilistic Foundations. – Literary and Linguistic Computing 23, 131–147. DOI: 10.1093/llc/fqn003.
Bonetti Andrea, Martínez-Sober Marcelino, Torres Julio, Vega Jose, Pellerin Sebastien, Vila-Francés Joan 2023: Comparison between Machine Learning and Deep Learning Approaches for the Detection of Toxic Comments on Social Networks. – Applied Sciences 13(10), 6038. DOI: 10.3390/app13106038.
Buk Solomija 2021: Long prose fiction by I. Franko: electronic corpus, frequency dictionaries and other interdisciplinary contexts, LNU imeni Ivana Franka [Ivan Franko National University of Lviv].
Burrows John 2002: “Delta”: a Measure of Stylistic Difference and a Guide to Likely Authorship. – Literary and Linguistic Computing 17(3), 267–287. DOI: 10.1093/llc/17.3.267.
Burrows Steven, Uitdenbogerd Alexandra, Turpin Andrew 2014: Comparing techniques for authorship attribution of source code. – Software: Practice and Experience 44(1), 1–32. DOI: 10.1002/spe.2146.
Canhasi Ercan, Kadriu Arbana, Misini Arta 2022: A Survey on Authorship Analysis Tasks and Techniques. – SEEU Review 17(2), 153–167. DOI: 10.2478/seeur-2022-0100.
Chuhunov Vadym 2009: Diahnostyka v psyk hoterapii ta psykhoterapevtychnyi diahnoz, Kharkiv: Nauka.
Darchuk Natalia, Sorokin Viktor 2022: Parameterization of the Ukrainian Text Corpus based on parsing. – Computational Linguistics and Intelligent Systems, Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022) 1: Main Conference, eds. V. Lytvyn, N. Sharonova, I. Jonek-Kowalska, A. Kowalska-Styczen, V. Vysotska, Ye. Kuprianov, O. Kanischeva, O. Cherednichenko, Th. Hamon, N. Grabar, Poland, 12–13 May, 2022, 256–265.
Darchuk Natalia, Zuban’ Oksana, Sorokin Viktor 2024: On stylistic differentiation in Ukrainian poetic speech based on the syntactic structure of
sentences. – Bulletin of Taras Shevchenko National University of Kyiv. Literary Studies. Linguistics. Folklore Studies 1(35), 5–10. DOI: 10.17721/1728-2659.2024.35.01.
Eder Maciej 2015: Does size matter? Authorship attribution, small samples, big problem. – Digital Scholarship in the Humanities 30(2), 167–182. DOI: 10.1093/llc/fqt066.
Eder Maciej, Rybicki Jan 2013: Do birds of a feather really flock together, or how to choose training samples for authorship attribution. – Literary and Linguistic Computing 28(2), 229–236. DOI: 10.1093/llc/fqs036.
Evert Stefan, Proisl Thomas, Schöch Christof, Jannidis Fotis, Pielström Steffen, Vitt Thorsten 2015: Explaining Delta, or: How do distance measures for authorship attribution work? – Corpus Linguistics 2015: Abstract Book, United Kingdom, 21 July 2015, eds. F. Formato, A. Hardie, Lancaster: UCREL. Available at: https://zenodo.org/records/18308.
Gupta Shriya T. P., Sahoo Jajati K., Roul Rajendra K. 2019: Authorship identification using recurrent neural networks. – ICISDM’19: Proceedings of the 2019 3rd International Conference on Information System and Data Mining, United States, 06 April 2019, New York: Association for Computing Machinery, 133–137. DOI: 10.1145/3325917.3325935.
Hoover David 2004: Testing Burrows’s delta. – Literary and Linguistic Computing 19(4), 453–475. DOI: 10.1093/llc/19.4.453.
Hoover David 2005: Delta, Delta Prime, and Modern American Poetry: Authorship Attribution Theory and Method. – ACH/ALIC 2005: Proceedings of the 17th Joint International Conference of the Association for Computers and the Humanities (ACH) and the Association for Literary and Linguistic Computing, Canada, 15–18 June 2005, University of Victoria: Humanities Computing and Media Centre, 79–80.
Jannidis Fotis, Pielström Steffen, Schöch Christof, Vitt Thorsten 2015: Improving Burrows’ Delta – An empirical evaluation of text distance measures. – DH 2015: Digital Humanities, Abstracts of the Global Digital Humanities Conference 11, Australia, 29 June – 3 July 2015, Sydney. DOI: https://zenodo.org/records/1321296.
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Karasov Vitalii, Levchenko Olena 2024: Statistical profile of O. Zabuzhko’s idio style. – CEUR Workshop Proceedings 3722: Proceedings of the 8th International Conference on Computational Linguistics and Intelligent Systems, Lviv, April 12–13, 2024, 251–264.
Khan Talha F., Anwar Waheed, Arshad Humera, Abbas Syed N. 2023: An Empirical Study on Authorship Verification for Low Resource Language Using Hyper-Tuned CNN Approach. – IEEE Access 11, 80403–80415. DOI: 10.1109/ACCESS.2023.3299565.
Khomytska Iryna, Teslyuk Vasyl, Bazylevych Iryna, Karamysheva Iryna 2023: Automated Identification of Authorial Styles. – CEUR Workshop Proceedings: Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems, 3396, Kharkiv, April 20–21, 2023. Available at: https://ceur-ws.org/Vol–3396/paper26.pdf.
KUM – Korpus ukrajins’koji movy: Linhvistyčnyj portal Mova.info. Available at: http://www.mova.info/corpus.aspx.
LIWC–22 – Linguistic Inquiry and Word Count. Available at: https://www.liwc.app.
Lototska Nataliia 2022: Statistical Characteristics of Roman Ivanychuk’s Idiolect (Based on Writer’s Text Corpus). – CEUR Workshop Proceedings 3171, 487–500.
Lupei Maksym, Mitsa Aleksander, Reparіuk Volodymyr, Sharkan Vasyl 2020: Identification of authorship of Ukrainian-language texts of journalistic style using neural networks. – Eastern-European Journal of Enterprise Technologies 1/2(103), 30–36. DOI: 10.15587/1729–4061.2020.195041.
McInnes Leland, Healy John, Melville James 2020: UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. – ArXiv e-prints 1802.03426. DOI: 10.48550/arXiv.1802.03426.
Meier Tabea, Boyd Ryan, Pennebaker James, Meh Matthiasl, Martin Mike, Wolf Markus, Horn Andrea 2019: “LIWC auf Deutsch”: The development, psychometrics, and introduction of DE-LIWC2015. – PsyArXiv Preprints. DOI: 10.31234/osf.io/uq8zt.
Rybicki Jan, Eder Maciej 2011: Deeper Delta across Genres and Languages: Do We Really Need the Most Frequent Words? – Literary and Linguistic Computing 26(3), 315–321. DOI: 10.1093/llc/fqr031.
Savoy Jacques 2015: Comparative evaluation of term selection functions for authorship attribution. – Digital Scholarship in the Humanities 30(2), 246–261. DOI: 10.1093/llc/fqt047.
Zuban’ Oksana 2019: The Morphemic System Stylometric Analysis of the Ukrainian Poets’ Idiostyles: Corpus Based Approach. – Linhvistychni studiji 38, 96–104. DOI: 10.31558/1815-3070.2019.38.15.
Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas)
SANTRAUKA
Sistema „TextAttributor“ statistiškai parametrizuoja ukrainiečių kalbos tekstus autorystės atpažinimo ir nuotaikų analizės aspektais. Naudodama daugiaparametrinį 15 statistinių indeksų rinkinį, „TextAttributor“ apibūdina autorines stilistines ypatybes. Ji integruoja tokius metodus kaip komponentinė analizė, paskirstymo analizė, kvantavimas ir nuotaikų analizė panaudojant žodynus ir mašininio mokymosi metodus, skirtus nemandag aus teksto ir autorystės išaiškinimui. Sistema apdoroja tekstus taikydama tokenizavimą, morfologinį žymėjimą, kontekstinę ir sintaksinę analizę ir emociškai neigiamo žodyno atitikimą, leidžiantį išsamiai vizualizuoti ir ekspertiškai įvertinti teksto priskyrimą ir neigiamą turinį. Eksperimentai patvirtina sistemos gebėjimą nustatyti unikalius autoriaus bruožus ir įvertinti teksto panašumą, ypač politinio diskurso ir nemandagios komunikacijos žiniasklaidos kontekste Rusijos ir Ukrainos karo metu. Straipsnyje pabrėžiama praktinė ir teorinė „TextAttributor“ reikšmė, demonstruojant jos efektyvumą didelėms teksto apimtims ir tikslioms analitinėms galimybėms. Sėkmingas žodynais, taisyklėmis pagrįstų ir mašininio mokymosi metodų taikymas pabrėžia sistemos tvirtumą ir universalumą. Beta versija ir tebevykdomų tyrimų rezultatai yra nuodugniai išnagrinėti, o būsimos jų kryptys nustatomos siekiant išplėsti kalbinį korpusą ir tobulinti mašininio mokymosi modelius, siekiant pagerinti tikslumą ir pritaikomumą.
246
Acta Linguistica Lithuanica XCI
Page 25
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Įteikta 2024 m. lapkričio 25 d.
NATALIIA DARCHIUK Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
OKSANA ZUBAN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
VALENTYNA ROBEIKO Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
YULIIA TSYHYVINTSEVA Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine Institute of the Ukrainian Language of the National Academy of Sciences of Ukraine 4 Mykhailo Hrushevskyi Street Kyiv, 01001, Ukraine [email protected]
VICTOR SOROKIN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
MYKOLA SAZHOK Institute for information technologies and systems of the National Academy of Sciences of Ukraine 40 Akademika Hlushkova Avenue Kyiv, 03187, Ukraine [email protected]
