The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)

NATALIIA DARCHUK Taras Shevchenko Nationale Universität Kyjiw ORCID-ID: orcid.org/0000-0001-8932-9301 Forschungsgebiete: Computerlinguistik, Korpuslinguistik, quantitative Linguistik, Grammatik und Semantik der ukrainischen Sprache. OKSANA ZUBAN Taras Shevchenko Nationale Universität Kyjiw ORCID-ID: orcid.org/0000-0002-2644-3892 Forschungsgebiete: Computerlinguistik, linguistische Begutachtung, quantitative Linguistik, Grammatik und Semantik der ukrainischen Sprache. VALENTYNA ROBEIKO Taras Shevchenko Nationale Universität Kyjiw ORCID-ID: orcid.org/0000-0003-2266-7650 Forschungsgebiete: Sprachanalyse, Spracherkennung und Sprachsynthese, Phonetik, Verarbeitung natürlicher Sprache. YULIIA TSYHVINTSEVA Taras Shevchenko Nationale Universität Kyjiw, Institut für ukrainische Sprache der Nationalen Akademie der Wissenschaften der Ukraine ORCID-ID: orcid.org/0000-0002-9684-3840 Forschungsgebiete: ukrainische Neologie, Lexikologie und Lexikografie. VICTOR SOROKIN Taras Shevchenko Nationale Universität Kyjiw ORCID-ID: orcid.org/0000-0002-3637-0535 Forschungsgebiete: automatische Syntaxanalyse, automatische semantische Analyse, Verarbeitung natürlicher Sprache. Straipsniai / Articles 223 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK MYKOLA SAZHOK Institut für Informationstechnologien und -systeme der Nationalen Akademie der Wissenschaften der Ukraine ORCID-ID: orcid.org/0000-0003-1169-6851 Forschungsgebiete: Sprachanalyse, Spracherkennung und Sprachsynthese, Verarbeitung natürlicher Sprache. DOI: doi.org/10.35321/all91-09 DAS SYSTEM ZUR AUTOMATISCHEN STYLOMETRISCHEN ANALYSE UKRAINISCHER MEDIENTEXTE TEXTATTRIBUTOR 1.0 (METHODEN, MITTEL, FUNKTIONALITÄT) Das System zur automatischen stylometrischen Analyse ukrainischer Medientexte „TextAttributor 1.0“ (Methoden, Mittel, Funktionalität) ANNOTATION Dieser Beitrag präsentiert die Struktur, Algorithmen, Implementierung und experimentellen Ergebnisse des von den Autoren entwickelten automatischen Systems TextAttributor zur statistischen Parametrisierung ukrainischsprachiger Texte mithilfe eines multiparametrischen Satzes statistischer Indizes, die den Textstil des Autors charakterisieren und auf Aufgaben der Autorenzuordnung anwendbar sind. Auf Grundlage der erstellten linguistischen Ressourcen und Software erzeugt das System eine linguistische Analyse anhand der berechneten statistischen Indizes und führt eine vergleichende Untersuchung zweier Texte durch. Ein zusätzliches Kriterium der statistischen Indexierung ist der Toxizitätsindex des Textes, der mithilfe der Methode der verbalen Identifizierung toxischer Stimmung berechnet wird. Die Aufgaben der Erkennung von Autorschaft und Toxizität werden mit zwei Methoden bearbeitet: statistischen Berechnungen auf Wörterbuch- und Regelbasis sowie maschinellem Lernen. Die aktuellen, in der Betaversion von TextAttributor implementierten Ergebnisse werden eingehend untersucht. SCHLÜSSELWÖRTER: Computerlinguistik, ukrainische Sprache, Sentimentanalyse, Autorenzuordnung, Stylometrie, Textklassifikation. 224 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) A N O T A C I J A In diesem Beitrag werden die Struktur, Algorithmen, Implementierung und experimentellen Ergebnisse des von den Autoren entwickelten automatischen Systems „TextAttributor“ vorgestellt, das der statistischen Parametrisierung ukrainischsprachiger Texte mithilfe eines multiparametrischen Satzes statistischer Indizes dient, welche den Textstil des Autors charakterisieren und auf Aufgaben der Autorenzuordnung anwendbar sind. Auf Grundlage der erstellten linguistischen Ressourcen und Software erzeugt das System eine linguistische Analyse anhand der berechneten statistischen Indizes und führt eine vergleichende Analyse zweier Texte durch. Ein zusätzliches Kriterium der statistischen Indexierung ist der Index des toxischen Textes, der mithilfe der Methode der verbalen Identifizierung toxischer Stimmung berechnet wird. Die Aufgaben der Bestimmung der Autorschaft und der Toxizität werden mit zwei Methoden gelöst: statistischen Berechnungen auf Wörterbuch- und Regelbasis sowie maschinellem Lernen. Die aktuellen Ergebnisse, die mithilfe der Betaversion von „TextAttributor“ erzielt wurden, werden eingehend untersucht. SCHLÜSSELWÖRTER: Computerlinguistik, ukrainische Sprache, Sentimentanalyse, Autorenzuordnung, Stylometrie, Textklassifikation. 1. EINLEITUNG Textologische Forschung erlangte mit der Weiterentwicklung computergestützter linguistischer Methoden neue wissenschaftliche Bedeutung. Diese trugen zur Herausbildung einer neuen Richtung bei, die als digitale Textologie betrachtet werden kann. Innerhalb dieser entstehenden Disziplin verstehen wir digitale Textologie als die Nutzung automatisierter korpuslinguistischer Verfahren in Verbindung mit mathematischen Modellen zur quantitativen Textanalyse. Ausgehend von den aktuellen Aufgaben der modernen quantitativen Linguistik und der Verarbeitung natürlicher Sprache hat unser Team ein System zur automatischen linguistisch-statistischen Analyse von Medientexten entwickelt, das als Webanwendung unter dem Namen TextAttributor implementiert wurde (TextAttributor 1.0 2024). Das System erfüllt vier Aufgaben: 1) statistische Textparametrisierung; 2) Stylometrie: Bestimmung der linguistisch-statistischen Merkmale des Idiolekts; 3) Attribution: Bestimmung des Ähnlichkeitsgrades zwischen Texten; und 4) Sentimentanalyse: Ermittlung des Lexikons negativer Stimmung in Texten. Darüber hinaus werden im System auf Grundlage der Ergebnisse der zweiten und vierten Aufgabe automatisch zwei linguistische Expertenurteile erstellt. Die Multifunktionalität des Systems TextAttributor erfordert, dass sich die Benutzer mit seinen Funktionsprinzipien vertraut machen. Ziel dieses Artikels ist es, die akademische und philologische Bildungsgemeinschaft mit der Methodik der Systementwicklung, seiner Architektur und den Betriebsergebnissen bekannt zu machen, um ein klares Verständnis seiner Funktionen und analytischen Möglichkeiten zu vermitteln, die von besonderer Bedeutung sind. Dieser Ansatz ist insbesondere für die Analyse großer Mengen von Internetkommunikation und Straipsniai / Articles 225 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA RОBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK der Verbesserung von Strategien zur Informationsverteidigung während des andauernden russisch-ukrainischen Krieges von besonderer Bedeutung. Das Konzept zur Entwicklung eines automatischen Systems zur Attribution ukrainischsprachiger Texte entstand aus der Analyse von Forschungsarbeiten auf dem Gebiet der ukrainischen Korpuslinguistik (Darčuk 2013) und statistischer Untersuchungen des Autorenstils (Darčuk et al. 2021; Darchuk, Sorokin 2022; Zuban 2019), die von den Projektautoren mithilfe der Werkzeuge des Ukrainischen Sprachenkorpus (KUM) durchgeführt wurden. Bei der Entwicklung des Systems TextAttributor wurden folgende Methoden eingesetzt: Komponentenanalyse, distributive Analyse und Inhaltsanalyse. Die Inhaltsanalyse, eine quantitative und qualitative Methode zur Gewinnung von Informationen aus Texten, nutzte Verfahren der Verarbeitung natürlicher Sprache und statistische Techniken. Außerdem wurden Quantisierung und Sentimentanalyse angewandt. Die Sentimentanalyse identifiziert automatisch die Tonalität eines Textes anhand sowohl seiner emotionalen Färbung als auch der Bewertung von Ereignissen oder Gegenständen durch den Autor; dies wurde mithilfe statistischer Berechnungen auf Wörterbuch- und Regelbasis erreicht. Zusätzlich wurden Methoden des maschinellen Lernens, einschließlich Deep Learning, einbezogen. Die statistische Struktur eines Textes, verstanden als sein quantitatives Modell, ermöglicht die Bestimmung seines funktionalen Stils, seiner Autorschaft und seines Entstehungszeitraums. In dieser Arbeit wurden die Komponenten der statistischen Struktur durch die Analyse lexikalischer und grammatischer statistischer Merkmale mithilfe von Indexierungstechniken und euklidischen Distanzmaßen extrahiert. Die euklidische Distanz, die den Abstand zwischen zwei Punkten in einem n-dimensionalen euklidischen Raum misst, ist eines der am häufigsten verwendeten Maße in der Linguostatistik für die Clusteranalyse in der Stylometrie und Autorenzuordnung. Die Neuheit der Ergebnisse besteht in der ersten Implementierung eines automatisierten morphosyntaktisch-semantischen stylometrischen Modells zur Textanalyse in der Computerlinguistik, das auf 15 statistischen Indizes basiert, die vor allem die morphologische sowie die syntaktische und semantische Struktur des Textes parametrisieren. Ein stylometrisches Modell ist eine Menge statistischer Parameter eines Textes (lexikalischer, morphologischer, syntaktischer usw. Art), auf deren Grundlage eine vergleichende Analyse dieses Textes mit dem stylometrischen Modell des funktionalen Stils durchgeführt wird. Unserer Ansicht nach ist es durch die Verwendung statischer Methoden bei der Erstellung eines stylometrischen Modells möglich, ein strenges, deterministisches und wissenschaftlich fundiertes System gemeinsamer und unterscheidender Merkmale von Stilen, Gattungen usw. zu erhalten. Erstmals führt das stylometrische Modell den Parameter des Toxizitätsindex ein, der Medientexte während des russisch-ukrainischen Krieges charakteristisch beschreibt. Dieses Modell ist nicht nur in der Funktion der statistischen Parametrisierung von Texten implementiert, wie sie für Systeme dieses Typs typisch ist, sondern auch in der Funktion des Vergleichs des analysierten Textes mit dem Medienstil der ukrainischen Sprache sowie für stylometrische und Attributionsaufgaben, an denen zwei oder mehr Texte beteiligt sind. Die theoretische Bedeutung erstreckt sich auf die Validierung zweier Methoden zur Bestimmung der Texttoxizität und 226 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) der Autorschaft im Ukrainischen: 1) durch wörterbuch- und regelbasierte Ansätze und 2) mithilfe maschinellen Lernens, einschließlich Deep Learning. 2. VERWANDTE ARBEITEN In der modernen ukrainischen Linguistik wurden umfangreiche linguistisch-statistische Untersuchungen zu den Idiolekten ukrainischer Schriftsteller und Dichter durchgeführt, darunter Taras Shevchenko, Lesya Ukrainka, Vasyl Stus (Zuban’ 2019), Ivan Franko (Buk 2021), Roman Ivanychuk (Lototska 2022), Valerii Shevchuk (Volos, Levchenko 2023), Mariia Matios, Yurii Andrukhovych, Oksana Zabuzhko (Karasov, Levchenko 2024), Ivan Drach, Mykola Vingranovsky (Darchuk et al. 2024), Lina Kostenko (Zuban’ 2019; Darchuk et al. 2024) und andere. Diese Untersuchungen wurden an repräsentativen Textproben (langen Texten) durchgeführt, wobei überwiegend ein oder wenige (nicht mehr als fünf) statistische Parameter verwendet wurden, häufig ohne stylometrischen Vergleich. Aufgrund des hohen Arbeitsaufwands linguistisch-statistischer Experimente hat die ukrainische Linguistik außerdem die umfassende statistische Parametrisierung, den Vergleich analysierter Texte mit standardmäßigen statistischen Parametern funktionaler Stile, die Bestimmung des Ähnlichkeitsgrades von Texten sowie die stylometrische und attributionelle Analyse kurzer Texte weitgehend vernachlässigt. Der Einsatz des Systems TextAttributor in der linguistisch-statistischen Forschung, mit dem Ziel, diese Aufgaben automatisch auszuführen, wird nicht nur Frequenzmerkmale sprachlicher Phänomene liefern, sondern auch eine effiziente stylometrische Analyse ermöglichen, die in einem Expertenurteil mündet. Das System TextAttributor bietet gegenüber seinen Gegenstücken in der internationalen Wissenschaft Vorteile. Die meisten bestehenden Systeme und Modelle konzentrieren sich ebenfalls auf die Verwendung einzelner linguistisch-statistischer Module zur Ermittlung eines oder einiger weniger, meist formaler Textparameter (N-Gramme, häufigste Wörter, Buchstaben) (Eder 2015; Canhasi et al. 2022; LIWC-22; Khomytska et al. 2023; ALIAS). Im Gegensatz dazu bietet TextAttributor 1.0 einen umfassenden Ansatz, der eine interaktive statistische Analyse der lexikalischen, morphologischen, syntaktischen und semantischen Struktur des Textes in Echtzeit anhand von 15 Parametern umfasst. Die Attribution von Texten wird in der ausländischen Textforschung aktiv entwickelt; insbesondere wird die Wirksamkeit der Methode von Burrows (Burrows 2002; Argamon 2007; Eder, Rybicki 2013; Burrows et al. 2014) in zahlreichen Untersuchungen an großen Mengen von Textdaten verschiedener Stile geprüft, etwa an englischer Prosa des frühen 20.th Jahrhunderts (Hoover 2004), moderner englischer Lyrik (Hoover 2005), poetischen Werken in lateinischer Sprache (Rybicki, Eder 2011), Prosawerken wichtiger Gattungen auf Englisch, Französisch, Italienisch, Deutsch, Polnisch und Ungarisch sowie auf Lateinisch und Arabisch (Rybicki, Eder 2011; Evert et al. 2015; Jannidis et al. 2015), politischen Texten auf Englisch, einschließlich Straipsniai / Articles 227 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK der Attribution von Reden amerikanischer Präsidenten (Savoy 2015). Eine weitere automatisierte Methode der linguistischen Analyse mit der Bezeichnung „Linguistic Inquiry and Word Count“ (LIWC) ist als kommerzielle Anwendung implementiert und an mehrere Sprachen angepasst (Meier et al. 2019; LIWC-22). In den letzten Jahren wurden für die Aufgaben der automatischen Textattribution überwiegend entweder regelbasierte stylometrische Methoden oder Deep-Learning-Methoden eingesetzt (Eder 2015; Canhasi et al. 2022). Beide Methoden wurden im System TextAttributor implementiert; sie funktionieren effektiv, liefern jedoch unterschiedliche Ergebnisse: 1) Die regelbasierte Methode ermöglicht die Automatisierung der Erstellung linguistischer Schlussfolgerungen über den Idiolekt und die Toxizität des Textes; 2) die Methode des maschinellen Lernens bestimmt lediglich den Grad der Toxizität und die Ähnlichkeit von Texten und kann bei Klassifikationsaufgaben zur Überwachung von Textinhalten eingesetzt werden. Die aktuellen Methoden des maschinellen Lernens für die Sentimentanalyse und die Identifizierung der Textautorschaft beruhen auf statistischen Ansätzen (TF-IDF, Latent Dirichlet Allocation) und Deep-Learning-Techniken mit verschiedenen Architekturen (CNN, LSTM, BERT) in Kombination mit stylometrischen Methoden (Gupta et al. 2019; Canhasi et al. 2022; Bonetti et al. 2023). Die berichteten Ergebnisse hängen stark von der Anzahl der Klassen (Toxizitätstypen, Autoren), der Gattung, der Textlänge und vor allem vom Umfang des korrekt annotierten Textkorpus ab, das für das Trainingsverfahren verwendet wird. So überschreiten hohe Genauigkeitsraten bei der Erkennung von Toxizität und Hassrede 90%, wenn ein Korpus mit Zehntausenden Dokumenten verwendet wird (Alkomah, Ma 2022). Beispielsweise wird bei englischsprachigen literarischen Werken von 1000 Autoren eine Genauigkeit von über 90% bei der Autorenzuordnung erzielt, wobei ein Korpus von 6000 Dokumenten für 15 Autoren verwendet wird. Bei Korpora mit weniger als 1500 Dokumenten liegt die berichtete Genauigkeit dagegen bei etwa 70% (Khan et al. 2023). Für die ukrainische Sprache sind die Identifizierung der Textautorschaft und die Sentiment-/Toxizitätsanalyse unzureichend erforschte Probleme (Lupei et al. 2020); außerdem erzeugen solche Systeme keine linguistische Begutachtung und können nicht als Werkzeuge für die linguistische Forschung eingesetzt werden. 3. ALLGEMEINE MERKMALE DES BETRIEBS DES SYSTEMS TEXTATTRIBUTOR Bei der Entwicklung von TextAttributor wurden folgende Aufgaben bewältigt: 1) Theoretische Linguistik: Eine Methodik für formalisierte morphologische, statistische, stylometrische, attributionelle und Sentimentanalysen wurde entwickelt; 2) Softwareentwicklung: Die Struktur linguistischer Datenbanken und die Software für die genannten automatischen Analysen wurden entwickelt; 3) Experimentelle Linguistik: Das System wurde an ukrainischen Medientexten getestet, und 228 Acta Linguistica Lithuanica XCI Das System zur automatischen stylometrischen Analyse ukrainischer Medientexte TextAttributor 1.0 (Methoden, Mittel, Funktionalität) ein analytisches Modul zur automatischen stylometrischen Untersuchung wurde implementiert. Das als Webanwendung implementierte automatisierte linguistische System verarbeitet von Benutzern eingegebene Texte im Medienstil und erzeugt numerische Werte für statistische Parameter, die die Merkmale des Textes charakterisieren. Das System folgt einer strukturierten Abfolge von Operationen: 1. Texttokenisierung: Zerlegung des Textes in Sätze und Wörter zur Analyse. 2. Morphologische Kennzeichnung: Zuweisung von Kennzeichnungen zu Wörtern auf Grundlage ihrer grammatischen Formen. 3. Kontextanalyse: Aktualisierung der morphologischen Kennzeichnungen unter Berücksichtigung des Kontexts. 4. Syntaktische Analyse: Herstellung binärer Beziehungen zwischen Wörtern in Sätzen zum Verständnis ihrer grammatischen Struktur. 5. Herstellung syntaktischer Beziehungen: Bestimmung syntaktischer Verbindungen auf Grundlage vordefinierter Regeln. 6. Abgleich emotional negativer Lexik: Identifizierung von Wörtern aus einer vordefinierten Menge negativer Lexik. 7. Bewertung statistischer Parameter: Bewertung statistischer Parameter des Eingabetextes mithilfe automatisch erstellter Frequenzwörterbücher. 8. Visualisierung der Ergebnisse: Grafische Darstellung der Ergebnisse der statistischen Parametrisierung mit empirischen Werten und Konfidenzintervallen. 9. Vergleich der Ergebnisse: Visualisierung der Ergebnisse der statistischen Parametrisierung zweier Texte im Medienstil zur Erleichterung des Vergleichs. 10. Bewertung der euklidischen Distanz: Quantifizierung der Unähnlichkeit zwischen zwei Texten im Medienstil. 11. Erstellung eines Expertenurteils: Erstellung zweier Expertenurteile: eines zur Textattribution und eines zur Texttoxizität durch linguistische Untersuchung. 12. Toxizitätserkennung und Identifizierung der Autorschaft: Einsatz von Methoden des maschinellen Lernens, insbesondere neuronaler Netzwerkmodelle, zur Erkennung von Toxizität und Identifizierung von Autoren. Die Ergebnisse des Systems sind in folgende Bereiche gegliedert: Indexgruppe der Textattribution, Expertenurteil zur Textattribution, Vergleich der Textattribution, linguistische Begutachtung der Texttoxizität und Urteile neuronaler Netze. In der Indexgruppe der Textattribution (Abb. 1) sind die statistischen Parameter auf Grundlage des Eingabetextes angeordnet: Spalte 1 zeigt den Indexnamen, Spalte 2 den empirischen Zahlenwert und Spalte 3 bietet eine visuelle Referenz, indem sie den empirischen Indexwert mit den Grenzen des Konfidenzintervalls Straipsniai / Articles 229 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK (untere und obere) vergleicht, die aus Texten im ukrainischen Medienstil abgeleitet wurden. Der empirische Zahlenwert wird auf der Skala durch ein ausgefülltes umgekehrtes Dreieck dargestellt. ABBILDUNG 1: Ein Ausschnitt aus dem Ergebnis der Textattribution In der Expertenmeinung zur Textattribution (Abb. 2) präsentieren wir Schlussfolgerungen zu den typischen oder individuellen linguistisch-statistischen Merkmalen, die für jeden geschätzten Index aus dem analysierten Text extrahiert wurden. Diese Schlussfolgerungen leiten sich aus der Antwort auf die Frage ab: Fällt der Zahlenwert des Index in das Konfidenzintervall des Medienstils der ukrainischen Sprache? Auf Grundlage des Vergleichs der Zahlenwerte mit den Schwellenwerten des Konfidenzintervalls erzeugt das System drei mögliche Antworten (typische Merkmale des Medienstils, Merkmale des Idiostils unterhalb des normalen Medienstils und Merkmale des Idiostils oberhalb des normalen Medienstils). In der Vergleich der Textattribution (Abb. 4, Unterabschnitt 4.2) werden nach Auswahl von „Vektordistanz berechnen“ die Tabellendaten unverzüglich wie folgt aktualisiert: Spalte 1 führt die vom Benutzer eingegebenen Texte zusammen mit dem zuvor analysierten Text auf; Spalte 2 zeigt die Anzahl der Sätze in jedem Text; Spalte 3 die Wortanzahl; Spalte 4 die euklidische Distanz zwischen dem analysierten Text und jedem Text in der Tabelle; Spalte 5 mit der Bezeichnung „Vergleichen“ leitet einen automatischen Vergleich der statistischen Indizes zwischen dem analysierten Text und dem ausgewählten Text ein. Nach Aktivierung des entsprechenden Elements „Vergleichen“ werden in der Gruppe „Textattributionsindizes“ umfassende Informationen über den statistischen Vergleich zweier Texte bereitgestellt (Abb. 3). 230 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) ABBILDUNG 2: Beispiel eines erstellten Expertenurteils In der Linguistischen Begutachtung der Texttoxizität (Unterabschnitt 4.3) wird eine lexikalisch-semantische Interpretation des berechneten Toxizitätsindex präsentiert (Abb. 6). Unter Urteile neuronaler Netze präsentieren wir die Ausgabe unseres Deep-Learning-Modells, das die Texttoxizität auf einer Skala von 0 (nicht toxisch) bis 1 (hohe Toxizität) quantifiziert. Außerdem bewerten wir die Textähnlichkeit mit bekannten Autoren; die Werte reichen von 0 (keine Ähnlichkeit) bis 1 (hohe Ähnlichkeit) und basieren auf den Autoren, mit deren Texten das Modell trainiert wurde. Ergebnisse werden nur für Tests mit einem Ähnlichkeitsmaß über 0,1 angezeigt. Unser derzeitiges System arbeitet im Demomodus und verwendet ein begrenztes Korpus von Autorentexten, um die Ähnlichkeit mit vom Benutzer eingegebenen Texten zu bestimmen. 4. ATTRIBUTION OF UKRAINIAN- LANGUAGE TEXTS: EXPERIMENTS, RESULTS AND DISCUSSIONS 4.1. Indizes der statistischen Parametrisierung Das entwickelte stylometrische Modell erfüllt zwei Aufgaben: 1) Identifizierung individueller Merkmale des Stils eines Autors (Stylometrie); 2) Bewertung der Ähnlichkeit zwischen zwei Texten auf Grundlage linguistischer und statistischer Parameter (Attribution). Straipsniai / Articles 231 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Zur statistischen Analyse des vom Benutzer eingegebenen Textes werden 19 Parameter verwendet (siehe Abb. 1 zur Indexgruppe der Textattribution). Die ersten vier Parameter umfassen grundlegende quantitative Daten: Wortanzahl, unbearbeitete Wörter, Wörterbuchumfang und Satzanzahl. Die Wortanzahl schließt Vokabular aus, das vom System nicht verarbeitet wurde, etwa Dialektismen, Moskauerismen, Okkasionalismen usw. Die übrigen 15 Parameter bestehen aus berechenbaren Indizes, die skalare Größen liefern. Für die stylometrische Analyse werden wir Hypothese 1 überprüfen. Diese Hypothese besagt, dass sich durch die Analyse empirischer Daten, die statistische Parameter innerhalb und außerhalb des Konfidenzintervalls des ukrainischen Medienstils umfassen, einzigartige Merkmale eines Autors in einem bestimmten Medientext erkennen lassen. Für jeden linguistischen Parameter wurden auf Grundlage von Stichproben ukrainischer Medientexte zwei Konfidenzintervalle berechnet: eines für Texte mit mehr als 1000 Wörtern (Stichprobengröße: 124,576 Wörter) und eines für Texte mit bis zu 1000 Wörtern (Stichprobengröße: 15,635 Wörter). Das Konfidenzintervall für jeden statistischen Parameter wurde mithilfe der Standardabweichung, σ, des durchschnittlichen Zahlenwerts des Index (ANVI) innerhalb der Textstichprobe festgelegt und als ANVI ± σ bezeichnet. Die Standardabweichung schätzt, wie stark die empirischen Zahlenwerte statistischer Indizes vom durchschnittlichen Zahlenwert des Index innerhalb des Medienstils abweichen können. Um die Genauigkeit sicherzustellen, wurde das Konfidenzintervall für σ durch ein linguistisches und statistisches Experiment bestimmt. Folglich bietet das System bei der Prüfung von Hypothese 1 drei mögliche Schlussfolgerungen: 1) Der Zahlenwert des Index liegt innerhalb des Konfidenzintervalls; 2) der Zahlenwert des Index liegt unterhalb der unteren Grenze des Intervalls; oder 3) der Zahlenwert des Index überschreitet die obere Grenze des Intervalls. Betrachten wir die Ergebnisse der Parametrisierung von Text 1, dessen Autor der Blogger Oleksii Honcharenko ist (siehe Abb. 1). Diese Analyse basiert auf statistischen Parametern und ihrer anschließenden Interpretation, die im erzeugten Expertenurteil zusammengefasst ist, wie in Abb. 2 dargestellt. Die statistischen Kennwerte zu Wortschatz und Textumfang zeigen einen quantitativen Zusammenhang. In Text 1 liegen all diese Indikatoren im typischen Bereich des Medienstils: 1) Der Vielfaltsindex (IB) stellt das Verhältnis der einzigartigen Wörter zur Gesamtgröße des Textes dar und dient als Maß für den lexikalischen Reichtum. Der IB-Wert von 0.54 liegt im Bereich von 30%–60% und weist auf eine mäßige lexikalische Vielfalt hin; 2) Der Textexklusivitätsindex (IVT) bezeichnet das Verhältnis der Anzahl der Hapax legomena, die einmal im Text vorkommen, zum Textumfang. Der IVT-Wert von 0.36 liegt im Bereich von 20%–40% und weist auf eine geringe lexikalische Exklusivität hin); 232 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 3) Der Exklusivitätsindex des Wortschatzes (IVL) bezeichnet das Verhältnis der Anzahl der Hapax legomena, die nur einmal im Text vorkommen, zum Gesamtumfang des Wortschatzes. Der IVL-Wert von 0.66 liegt im Bereich von 60%–76% und weist auf einen hohen Grad lexikalischer Exklusivität hin. Betrachten wir nun die statistischen Parameter der quantitativen Korrelation lexikalischer und grammatischer Wortklassen in Text 1: 1) Der Index nominaler Attribute oder Epithetonisierung (IIO) bezeichnet das Verhältnis der Anzahl der Substantive zur Anzahl der Adjektive. Der IIO-Wert von 1.07 liegt über der Norm des Medienstils von 1.0 und weist auf ein Überwiegen der Substantive gegenüber den Adjektiven hin, was zu weniger Epitheta im Text führt; 2) Der Index verbaler Attribute (IDO) bezeichnet das Verhältnis der Anzahl der Adverbien zur Anzahl der Verben. Der IDO-Wert von 0.57 liegt über der Norm des Medienstils von 0.56. Dieser Anteil an Adverbien weist auf einen geringen Grad verbaler Attribute im Text hin; 3) Der Nominalisierungsgrad (STN) bezeichnet das Verhältnis der Anzahl der Substantive zur Anzahl der Verben. Der STN von 1,76 liegt unter dem medienstilistischen Normwert von 3,00. Eine Abnahme dieses Index weist auf ein Überwiegen von Verben gegenüber Substantiven und einen geringen Nominalisierungsgrad des Textes hin; 4) Der Pronominalisierungsindex (IPRO) bezeichnet das Verhältnis der Anzahl der Personalpronomen zum Umfang des Wortgebrauchs im Text. Ein IPRO von 0,09 liegt über dem medienstilistischen Normwert und ist ein Zeichen des Idiostils. Personalpronomen machen mehr als 7% des Textes aus, was den Grad der Kohärenz des Textes anzeigt; 5) Der Modalitätsindex (MOD) bezeichnet das Verhältnis der Anzahl der Partikeln zur Anzahl der Wörter im Text. Ein IMOD von 0,07 liegt über dem medienstilistischen Normwert von 4% und ist ein Zeichen des Idiostils. Partikeln machen mehr als 4% des Textes aus, wodurch der Grad bestimmt wird, in dem der Autor verschiedene Bewertungen von Phänomenen und Situationen im Text zum Ausdruck bringt; 6) Der Substantivitätsindex (ISUB) bezeichnet das Verhältnis der Anzahl der Substantive zum Umfang des Wortgebrauchs im Text. Ein ISUB von 0,26 liegt unter dem medienstilistischen Normwert. Substantive machen weniger als 30% des Textes aus, wodurch der geringe Grad der Statik des Textes bestimmt wird. Wir erläutern nun die statistischen Parameter des quantitativen Verhältnisses von Phrasen und Sätzen in Text 1: 1) Der Dynamikindex (IDYN) bezeichnet das Verhältnis der Anzahl der Verbalphrasen zur Anzahl der Nominalphrasen. Ein IDYN von 0,74 liegt über dem medienstilistischen Normwert von 0,6 und ist ein Zeichen des Idiostils. Das Überwiegen von Verbalphrasen gegenüber Nominalphrasen (IDYN größer als 1,0) bestimmt die dynamische und schnelle Entfaltung der Ereignisse in der Bedeutung des Textes; Straipsniai / Articles 233 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK 2) Der Kohärenzindex (IZV) bezeichnet das Verhältnis der Anzahl der Präpositionen und Konjunktionen zur Anzahl der Sätze im Text. Ein IZV von 0,66 liegt innerhalb des typischen Bereichs von 0,45 bis 0,90 für den Medienstil und weist auf ein Überwiegen der Anzahl der Sätze gegenüber der Anzahl der Präpositionen und Konjunktionen hin. Dies bestimmt den mittleren Grad der Kohärenz zwischen den in Text 1 beschriebenen Wirklichkeiten, Phänomenen und Situationen. Besondere Aufmerksamkeit gilt den psycholinguistischen statistischen Parametern (Chuhunov 2009) in Text 1: 1) Der Trager-Koeffizient (KT) bezeichnet das Verhältnis der Anzahl der Verben zur Anzahl der Adjektive im Text und zeigt die emotionale Stabilität/Instabilität des Sprechers an. Ein KT von 0,61 liegt über dem medienstilistischen Normwert von 0,5 und ist ein Zeichen des Idiostils. Nach psychologischer Interpretation weist dies auf die geringe Emotionalität des Autors/Sprechers, seine Unentschlossenheit, aktive praktische Handlungen zu ergreifen, und auf Ängstlichkeit hin. Ein Wert im Bereich von 1,35 ± 0,05 bestimmt die normale emotionale Stabilität und Regulation des Autors; 2) Der Koeffizient der Handlungssicherheit (KOD) bezeichnet das Verhältnis der Anzahl der Verben zur Anzahl der Substantive im Text. Dieses Verhältnis zeigt den Grad der sozialen Einbindung des Autors und die syntaktische Vollständigkeit der Aussage an. Ein KOD von 0,57 liegt innerhalb des typischen Bereichs von 0,30 bis 0,60 für den Medienstil und weist auf einen geringen Grad des Koeffizienten der objektivierten Handlung hin. Nach psychologischer Interpretation deutet dies auf ein niedriges Emotionalitätsniveau des Autors/Sprechers, Unentschlossenheit hinsichtlich aktiver praktischer Handlungen und Ängstlichkeit hin. Ein Wert im Bereich von 1,35 ± 0,05 bestimmt die normale emotionale Stabilität und Regulation der Emotionen durch den Autor, was auf der Grundlage sprachlicher Merkmale einen normalen Grad der syntaktischen Vollständigkeit der Sätze und eine korrekte syntaktische Struktur anzeigt; 3) Der Aggressivitätskoeffizient (KA) bezeichnet das Verhältnis der Anzahl der Verben und des Verbgebrauchs zur Gesamtzahl der Wörter im Text und kennzeichnet die Aggressivität der Sprache unter psycholinguistischem Aspekt. Ein KA von 0,15 liegt über dem medienstilistischen Normwert von 13% und ist ein Zeichen des Idiostils. Nach psychologischer Interpretation weisen Werte unter 60% auf einen geringen Grad der Aggressivität, unterdrückte Emotionen des Autors und seine Unentschlossenheit hin. Ein Annähern an 60% bestimmt den normalen Grad der Aggressivität und die emotionale Stabilität des Autors, während Werte über 60% auf eine hohe Aggressivität des Autors und emotionale Erregung hinweisen. Betrachten wir abschließend den semantischen statistischen Parameter von Text 1: Der Texttoxizitätsindex (ITOX) wird anhand der Häufigkeit des negativen Vokabulars im Text berechnet (weitere Einzelheiten siehe Abschnitt 4.3). Der ITOX-Wert von 0,36 liegt innerhalb des typischen Bereichs von 0,1 bis 0,7 für den Medienstil. Der ITOX prägt kognitive und pragmatische Einstellungen gegenüber negativen Emotionen. 234 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 4.2. Textvergleich anhand statistischer Parameter Die Aufgabe, den Grad der Ähnlichkeit zwischen zwei Texten zu bewerten, umfasste die Prüfung von Hypothese 2. Diese Hypothese besagt, dass die Texte demselben Autor angehören, wenn die aus der statistischen Parametrisierung zweier Texte resultierenden empirischen Daten nur geringe Unterschiede in den numerischen Werten der Indizes zeigen. Diese Hypothese wird innerhalb des Systems auf zwei Arten geprüft: 1) durch den Vergleich der numerischen Werte jedes Index in den beiden Texten; 2) durch die Bestimmung der Vektordistanz zwischen den beiden Texten. Diese Aufgaben sind im Abschnitt „Vergleich der Textattribution“ umgesetzt. Die erste Aufgabe umfasst den Vergleich empirischer Textdaten anhand von Indizes auf der Skala des Konfidenzintervalls des Medienstils (Abb. 3). Wie in Abb. 3 dargestellt, werden die quantitativen Merkmale der Parameter beider Texte zur Benutzerfreundlichkeit in unterschiedlichen Farben angezeigt. Die Visualisierung vergleicht die empirischen Indexwerte beider Texte mit den Schwellenwerten des Konfidenzintervalls (untere und obere), die aus ukrainischen Texten im Medienstil abgeleitet wurden. ABBILDUNG 3: Vergleich der Vektordistanz von Texten Die zweite Aufgabe besteht darin, die Vektordistanz zwischen zwei Texten mithilfe der euklidischen Distanzformel zu berechnen. Dazu werden die Quadrate der Differenzen zwischen den numerischen Werten von 15 statistischen Parametern der beiden Texte summiert. Anschließend wird die Quadratwurzel dieser Summe berechnet. Die numerischen Werte Straipsniai / Articles 235 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK der Vektordistanz geben das Ausmaß der statistischen Unähnlichkeit zwischen den Texten an und liefern ein Maß für die Distanz zwischen ihnen. Obwohl die Schwankungen des Vektordistanzwerts bei Medientexten nicht genau bekannt sind, kann die Distanz beim Vergleich identischer Texte 0 betragen. Dies bedeutet, dass die Texte verschieden sind, wenn die Vektordistanz größer als 0 ist. Je größer außerdem der numerische Wert der Vektordistanz ist, desto größer sind die sprachlichen und statistischen Unterschiede zwischen den Texten. Der Vergleich der euklidischen Distanz wird in Tabellenform dargestellt. In Spalte 4 von Abb. 4 stellen numerische Werte die euklidischen Distanzen dar. Abb. 4 zeigt den Vergleich des von Oleksii Honcharenko verfassten analysierten Textes (Text 1) mit drei weiteren Texten desselben Autors: Zeile 1 für Text 2 (Distanz 0,44); Zeile 2 für Text 3 (Distanz 0,56); Zeile 3 für Text 4 (Distanz 0,77). Die empirischen Daten zeigen, dass die Ähnlichkeit zwischen Texten eines einzelnen Autors innerhalb von 1 bleibt, während Texte anderer Autoren (Zeilen 4–10) Distanzen von mehr als 1 aufweisen. ABBILDUNG 4. Systematisierung der euklidischen Distanz zwischen Texten Ein Vergleich der statistischen Parameter der Texte überzeugt uns davon, dass die vorgeschlagene Attributionsmethodik ein stilometrisches Modell ukrainischsprachiger Texte offenlegt. Dieses Modell kann auch zur Bestimmung der Autorschaft des Textes verwendet werden. Wir werden dies durch eine visuelle Darstellung der Attribution von 7 Texten dreier verschiedener Autoren anhand von 15 statistischen Parametern mit der Methode Uniform Manifold Approximation and Projection (UMAP) (McInnes et al. 2020) bestätigen, deren Algorithmus ebenfalls im TextAttributor-System implementiert ist. Diese 236 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Technik ermöglicht es, die Dimensionalität des Merkmalsraums zu reduzieren, indem ein 15-dimensionaler Raum auf die Ebene projiziert wird. In Abb. 5 entsprechen Punkte unterschiedlicher Formen (P1–P7 für Autor 1, F1–F7 für Autor 2, M1–M7 für Autor 3) 7 zufällig ausgewählten Texten verschiedener Autoren. Wie wir sehen können, lassen sich die Punktabbildungen der Texte der drei Autoren nach der Dimensionsreduktion sichtbar in voneinander getrennte Bereiche gliedern. Dieses Beispiel bestätigt, dass die von TextAttributor definierten Parameter für die Beschreibung der stilistischen Merkmale von Texten und die Bestimmung der Autorschaft des Textes wichtig sind (selbst in reduzierter Form). ABBILDUNG 5: Grafische Darstellung der Textattribution mithilfe der UMAP-Methode 4.3. Indexierung der negativen Stimmung des Textes Bei der Entwicklung eines Systems statistischer Parameter zur Bestimmung des Stils und der Autorschaft des Textes erkannten wir, dass die Texttoxizität als Attributionsindex dienen könnte. Daher erstellten wir ein separates Modul zur automatischen Bestimmung des Toxizitätsindex in TextAttributor. Straispsniai / Articles 237 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Heute ist die Informationskomponente in der hybriden Kriegsführung besonders wichtig geworden. Daher bestand das Material unserer Studie aus einem Forschungskorpus von Online-Medientexten des politischen Diskurses mit einem Umfang von 10 Millionen Wörtern. Wir verwenden den Begriff „toxischer Text“ im weiteren Sinne. Diese Texte sind durch Belästigung, Drohungen, Obszönität, Cybermobbing, Trolling und identitätsbezogene Hassrede gekennzeichnet und enthalten Emoticons, also Phänomene und Objekte, die bei einer Person negative Emotionen hervorrufen (z. B. Krieg, Luftangriff, Korruption). Ziel dieses Projekts war es, das Potenzial für die Realisierung negativer Stimmung in ukrainischen Texten zu bestimmen und ein automatisiertes System zur Identifizierung toxischer Inhalte zu entwickeln. Diese Aufgabe umfasste zwei aufeinanderfolgende Teilaufgaben: erstens die Entwicklung eines Systems zur linguistischen Untersuchung toxischer Texte mit der Bestimmung der Toxizitätsindizes durch Wörterbuchanalyse und regelbasierte Methoden; zweitens die Erstellung eines Trainingsdatensatzes für maschinelles Lernen und die Entwicklung eines neuronalen Netzes zur Vorhersage von Toxizitätsindizes des Textes. Betrachten wir die Erfüllung der ersten Aufgabe. Dazu wurde eine lexikografische Datenbank mit drei verschiedenen Wörterbüchern aufgebaut: 1) Emotiogen-Wörterbuch: Eine Zusammenstellung von 5000 Wörtern (entsprechend den Bedeutungen lexikalisch-semantischer Varianten) mit negativen Stimmungstönen, bewertet auf einer Skala von −2. Beispiele sind unmoralisch, Straflosigkeit, Bestechung und stehlen; 2) Hassrede-Wörterbuch: Es umfasst 3000 Wörter, darunter Bezeichnungen für Personen (1620), obszöne Begriffe (613) und beleidigende Ausdrücke (787). Beispiele sind Westler (западенець: eine abwertende Bezeichnung für Menschen aus den westlichen Regionen der Ukraine) und Halsabschneider; 3) Toxische Phrasen: Eine Sammlung von 1500 idiomatischen Ausdrücken, die negative Emotionen vermitteln. Beispiele sind grinst wie ein Affe, küsst seinen Arsch und reißt den Mund auf. Jeder Eintrag in diesen Listen wurde mit semantischen Merkmalen annotiert; das Hassrede-Wörterbuch verfügt über 18 Merkmale und die Liste der toxischen Phrasen über 26. So wurden beispielsweise Wörter im Hassrede-Wörterbuch mit Merkmalen wie „s“ für Sexismus, „r“ für Rassismus und „e“ für Ageismus versehen. Diese lexikografische Datenbank, ein multiparametrisches System, weist Einheiten (Wörtern oder Phrasen) semantische Merkmale zu, die in Verbindung mit Häufigkeitsdaten aus dem analysierten Text eine Toxizitätsanalyse ermöglichen. Der Toxizitätsindex des Textes wird anhand der folgenden Formel berechnet: Itox = (e + |K| (m + t)) / n * 10, Hier bezeichnet n den Textumfang; e ist die Anzahl der emotionalen Wörter; m ist die Anzahl der Hassredewörter; t ist die Anzahl der toxischen Phrasen; K ist ein Koeffizient gleich −2; er hebt Hassredewörter und toxische Phrasen hervor, die auf einer Skala von 238 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) fünf Ziffern (+2, +1, 0, −1, −2) −2 entsprechen. Die Indexwerte reichen von 0 bis +1. Beispielsweise beträgt der Toxizitätsindex des Textes „Menschen mit einem roten Stift (Люди з червоною ручкою)“ (12 Sätze, 129 Wörter) 1,01, was auf seine hohe Toxizität hinweist, da der Schwellenwert für derart kurze Texte zwischen 0,1 und 0,7 liegt. Gleichzeitig generiert das System die Ergebnisse einer automatischen linguistischen Untersuchung der Texttoxizität (siehe Abb. 6), bestehend aus: 1) einer statistischen Karte der semantischen Klassen des negativen Vokabulars gemäß den Klassifikationsmarkierungen der lexikografischen Listen (Emotiogene – 5, Vulgarismen – 2, Sexismus – 2); 2) einem Text mit spezifischen Wörtern negativer Stimmung, die die Kategorien der statistischen Karte verbalisieren. Sehen wir uns einen Auszug aus dem analysierten realen Text an (Abb. 6): diese Menschen, die mit einem roten Stift herumlaufen und Fehler in den Beiträgen anderer korrigieren: Wer seid ihr überhaupt? Habt ihr eine Ahnung, wie nervig ihr seid? Ich studiere eure Profile absichtlich, ich bin neugierig auf die Welt, in der ihr existiert. Diese Welt macht mir Angst. Ich hoffe aufrichtig, dass wir uns im wirklichen Leben unter keinen Umständen begegnen werden. (оці люди, які ходять з червоною ручкою і виправляють помилки в чужих постах: ви хто взагалі такі? Ви хоч уявляєте, як ви бісите? Я спеціально вивчаю ваші профілі, мені цікаво в якому світі ви існуєте. Мене цей світ дуже лякає. Щиро сподіваюся, що в реальному житті ми з вами не пересі­чемося ні за яких обставин). Hier hebt das System automatisch die folgenden Wörter mit einer negativen Komponente fett hervor: Fehler (помилки), den Beiträgen anderer (чужих), nervig (бісите), macht mir Angst (лякає). ABBILDUNG 6: Ein Fragment der automatischen linguistischen Untersuchung der Texttoxizität Straipsniai / Articles 239 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK 5. MACHINE LEARNING APPROACHES: EXPERIMENTS, RESULTS AND DISCUSSIONS Konzentrieren wir uns auf den zweiten Betriebsmodus des TextAttributor-Systems, der den Techniken des maschinellen Lernens gewidmet ist. Als Eingang für das Modelltraining liegen uns Textkorpora vor, die entsprechend dem Ziel jeder Teilaufgabe gekennzeichnet sind: (a) Textinformationen zur Toxizitätserkennung und (b) Identifizierung der Autorschaft. Jeder Korpus wird in Trainings- und Kontrollmengen sowie – bei ausreichend großen Korpora – in eine Validierungsmenge unterteilt. Die Parameter des gewählten Problemlösungsmodells werden anhand der Trainingsmenge geschätzt. Die Hyperparameter des Modells werden anhand der Validierungsmenge angepasst. Die endgültigen Leistungsindikatoren des Modells werden anhand einer Kontrollmenge gemessen, wobei die Verfügbarkeit der Rechenressourcen berücksichtigt wird, die für die Funktionsfähigkeit des Modells erforderlich sind. Für jede Teilaufgabe wurde parallel zur Komponente des maschinellen Lernens von TextAttributor ein Korpus entwickelt; daher wurden die aktuellen Modelle mit relativ kleinen Datenmengen trainiert, darunter kurze ukrainischsprachige Internettexte aus Blogs, Kommentaren, Artikeln usw. 5.1. Toxizitätserkennung Als Ergebnis einer Reihe experimenteller Untersuchungen wurde eine recheneffiziente Architektur ausgewählt, die auf der fastText-Methode und ihren Werkzeugen basiert (Joulin et al. 2016). Diese Methode stellt Worteinbettungen bereit und schätzt die Wahrscheinlichkeitsverteilung von Dokumenten gemäß vordefinierten Klassen. Wörter werden in Vektorform dargestellt, basierend auf der automatischen Aufteilung von Wörtern in Teile (Subwörter), wodurch die Offenheit des Wörterbuchs simuliert wird. Die Subwortdarstellung ist wichtig, da die ukrainische Sprache stark flektierend ist und zahlreiche unbekannte Wörter sowie Wörter mit Rechtschreibfehlern abgedeckt werden müssen. Die Wirksamkeit des verwendeten Ansatzes wird außerdem durch die technischen Bedingungen des Systembetriebs und die für das Modelltraining verfügbaren Textressourcen bestimmt. Für die binäre Klassifikation zur Erkennung toxischer Inhalte wurde ein vorbereiteter Korpus von etwa 12.000 Textdokumenten verwendet. Das beste Ergebnis auf Grundlage der generalisierten Metrik (F1 = 79,4%) wurde mit folgenden Hyperparametereinstellungen erzielt: eine Wortvektordimensionalität von 56, eine anfängliche Lernrate von 0,15, 500 Trainingsepochen, ein durch Bigramme dargestellter lexikalischer Kontext, Subwortlängen von 2 bis 5 Zeichen und ein Entscheidungsschwellenwert von 0,4. Zusätzlich zeigte das Modell eine Sensitivität von 85% bei einer Genauigkeit von etwa 70%. 240 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 5.2. Identifizierung der Autorschaft Die experimentelle Untersuchung von Modellen zur Identifizierung der Textautorschaft wurde anhand eines Teils des Korpus öffentlich zugänglicher gesellschaftspolitischer Texte durchgeführt, bei denen die Person, die das Dokument verfasst hat, identifiziert werden kann. Insgesamt wurden 702 Texte von vier Autoren ausgewählt, die zwischen 60 und 1000 Zeichen die größte Anzahl an Dokumenten veröffentlicht hatten. Die größte Anzahl an Veröffentlichungen eines Autors beträgt 304 (115.000 Zeichen), die kleinste 109 (49.000 Zeichen). Für die Prüfung wurden für jeden ausgewählten Autor zufällig 25 Texte ausgewählt. Die übrigen Dokumente bildeten die Trainingsmenge. Das beste Ergebnis gemäß der generalisierten Metrik (F1 = 81%) wurde mit folgenden Hyperparameterwerten erzielt: eine Dimension des Wortrepräsentationsraums von 50, eine anfängliche Lernrate von 0,1, 50 Trainingsepochen, ein durch Bigramme dargestellter lexikalischer Kontext, Subwortlängen von 2 bis 5 Zeichen und ein Entscheidungsschwellenwert von 0,5. Bemerkenswert ist, dass bei bestimmten Modellkonfigurationen die Sensitivität für den Autor mit der größten Anzahl von Dokumenten im Datensatz 100% erreichte, bei einer Genauigkeit von über 90%. Diese Ergebnisse zeigen die Machbarkeit der Entwicklung eines effektiven Systems, das Texte von Autoren, die in der Trainingsmenge ausreichend vertreten sind, präzise abdecken kann. Die trainierten neuronalen Netzwerkmodelle wurden in das TextAttributor-System in einer „Client-Server“-Architektur integriert, in der die Ergebnisse zweier Aufgaben dargestellt werden: (a) Toxizitätsbestimmung und (b) Autorschaftserkennung. Das Ergebnis der Systemarbeit am Text „Gesetz der Ukraine über die Hochschulbildung“: Toxizitätsindex (Schätzung in Form einer Wahrscheinlichkeit: wie toxisch der Text ist) – 0,04; Ähnlichkeit mit Autoren (Schätzungen in Form der Wahrscheinlichkeit der Autorschaft für dem System bekannte Autoren): 0,49 für I. Farion, 0,30 für Oleksii Honcharenko und 0,22 für Mariana Bezugla. 6. SCHLUSSFOLGERUNGEN Das TextAttributor-System befindet sich derzeit in Testphasen, um Fragen der Attribution und der Toxizitätsbestimmung in ukrainischsprachigen Texten zu bearbeiten. Dieses System ist für verschiedene technologische Untersuchungen sowohl praktisch als auch effektiv. In einem Zeitraum von über 5 Monaten hat die TextAttributor-Webanwendung automatisch 784 ukrainische Texte von 226 Nutzern analysiert. Unsere Ergebnisse belegen die Wirksamkeit unserer Methode, bei der verbale Elemente anhand formaler grammatischer und semantischer Parameter, insbesondere hinsichtlich negativer Emotionalität, quantifiziert werden. Dies wird durch eine Kombination aus wörterbuch- und regelbasierten Ansätzen erreicht, ergänzt durch maschinelles Lernen Straipsniai / Articles 241 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Techniken. Experimentelle Untersuchungen des maschinellen Lernens zur Toxizitätserkennung und zur Identifizierung der Autorschaft anhand von Texten ermöglichten es uns, Ergebnisse zu erzielen, die mit den Ergebnissen von Experimenten mit ähnlichen Modelleigenschaften (Anzahl der Dokumente und Autoren) für andere Sprachen vergleichbar sind. Subwortmodelle zeigten eine erhöhte Robustheit gegenüber lexikalischer Offenheit und Textfehlern. Die durchgeführte Forschung ebnet den Weg zur Lösung solcher Probleme für das Ukrainische wie die Erkennung und Überwachung toxischer Inhalte, von Hassrede und Desinformation, die Verifizierung der Autorschaft und Entobfuskation, die Erstellung von Autorenprofilen und die Sprecherdiarisierung, psycholinguistische Profilierung, Stilmodellierung und die Rückverfolgung der Quelle gefälschter Inhalte usw. Das entwickelte Schema zur Textanalyse und -attribution kann auch auf andere Sprachen angewendet werden. Für die Zukunft planen wir, unser Werkzeug zur automatischen Textattribution und Toxizitätserkennung mit semantischer, syntaktischer, psycholinguistischer und soziolinguistischer Analyse zu integrieren. Diese Integration wird uns ein tieferes Verständnis der Auswirkungen auf den Leser vermitteln. Durch die semantische Analyse der lexikalischen Taxonomie wollen wir narrative Elemente identifizieren, die dem Text inhärent sind, und dadurch die Zuverlässigkeit der Textattribution in Verfahren zur Identifizierung der Autorschaft erhöhen. Darüber hinaus planen wir, unsere Textkorpora zu erweitern und mehrsprachige große Sprachmodelle zu nutzen, um die Fähigkeiten unseres Systems weiter auszubauen sowie Werkzeuge für den statistischen Textvergleich für alle Stile der ukrainischen Sprache zu implementieren. Danksagungen Das System wurde im Rahmen eines von der Britischen Botschaft in Kyiv unterstützten Projekts geschaffen und von einem Team aus Lehrenden und Forschenden des Lehrstuhls für ukrainische Sprache und angewandte Linguistik der Taras Shevchenko National University of Kyiv durchgeführt. Wir möchten der Britischen Botschaft in Kyiv unseren aufrichtigen Dank für ihre finanzielle Unterstützung dieses Forschungsprojekts aussprechen. Wir danken Svitlana Yavorska und Iryna Bezkorovayna für ihre Anleitung und Unterstützung während des gesamten Projekts. Besonderer Dank gilt Kostiantyn Goncharenko für die organisatorische und dokumentarische Unterstützung des Projekts. Darüber hinaus danken wir den Studierenden des Studienprogramms „Angewandte (Computer-)Linguistik und englische Sprache“ der Taras Shevchenko National University of Kyiv. Sie haben ihre Zeit, ihr Fachwissen und ihre Anstrengungen in die Bildung des Korpus ukrainischer toxischer Texte eingebracht. Wir danken Oksana Tolochko, einer Absolventin unseres Bachelorstudiengangs, für die Erstellung eines Tonwörterbuchs der ukrainischen Sprache, das wir zur Zusammenstellung einer lexikografischen Liste negativer Emoticons verwendet haben. Außerdem würdigen wir zutiefst die von Mykola Kostikov bei der Datenerhebung geleisteten Anstrengungen. Wir möchten allen Mitgliedern der Forschungsgemeinschaft unseren aufrichtigen Dank aussprechen, die mit ihren Ratschlägen und Konsultationen zu dieser Studie beigetragen haben. 242 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) REFERENCES ALIAS – Automated Linguistic Identification & Assessment System. Available at: https://aliastechnology.com/alias-overview/. Alkomah Fatimah, Ma Xiaogang 2022: A Literature Review of Textual Hate Speech Detection Methods and Datasets. – Information 13(6), 273. DOI: 10.3390/info13060273. Argamon Shlomo 2007: Interpreting Burrows’s Delta: Geometric and Probabilistic Foundations. – Literary and Linguistic Computing 23, 131–147. DOI: 10.1093/llc/fqn003. Bonetti Andrea, Martínez-Sober Marcelino, Torres Julio, Vega Jose, Pellerin Sebastien, Vila-Francés Joan 2023: Comparison between Machine Learning and Deep Learning Approaches for the Detection of Toxic Comments on Social Networks. – Applied Sciences 13(10), 6038. DOI: 10.3390/app13106038. Buk Solomija 2021: Long prose fiction by I. Franko: electronic corpus, frequency dictionaries and other interdisciplinary contexts, LNU imeni Ivana Franka [Ivan Franko National University of Lviv]. Burrows John 2002: “Delta”: a Measure of Stylistic Difference and a Guide to Likely Authorship. – Literary and Linguistic Computing 17(3), 267–287. DOI: 10.1093/llc/17.3.267. Burrows Steven, Uitdenbogerd Alexandra, Turpin Andrew 2014: Comparing techniques for authorship attribution of source code. – Software: Practice and Experience 44(1), 1–32. DOI: 10.1002/spe.2146. Canhasi Ercan, Kadriu Arbana, Misini Arta 2022: A Survey on Authorship Analysis Tasks and Techniques. – SEEU Review 17(2), 153–167. DOI: 10.2478/seeur-2022-0100. Chuhunov Vadym 2009: Diahnostyka v psyk hoterapii ta psykhoterapevtychnyi diahnoz, Kharkiv: Nauka. Darchuk Natalia, Sorokin Viktor 2022: Parameterization of the Ukrainian Text Corpus based on parsing. – Computational Linguistics and Intelligent Systems, Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022) 1: Main Conference, eds. V. Lytvyn, N. Sharonova, I. Jonek-Kowalska, A. Kowalska-Styczen, V. Vysotska, Ye. Kuprianov, O. Kanischeva, O. Cherednichenko, Th. Hamon, N. Grabar, Poland, 12–13 May, 2022, 256–265. Darchuk Natalia, Zuban’ Oksana, Sorokin Viktor 2024: On stylistic differentiation in Ukrainian poetic speech based on the syntactic structure of Straipsniai / Articles 243 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK sentences. – Bulletin of Taras Shevchenko National University of Kyiv. Literary Studies. Linguistics. Folklore Studies 1(35), 5–10. DOI: 10.17721/1728-2659.2024.35.01. Darčuk Natalija 2013: Komp’juterne anotuvannja ukrajin’s’koho tekstu: rezul’taty i perspektyvyj, Kyiv: Osvita Ukrajiny. Darčuk Natalija, Vasyl’jeva Iryna, Vasyl’jev Oleksij 2021: Vektorna model’ analizu stylistyku tekstiv. – Ukrajins’kyj fizičnyj žurnal 66(5), 373–378. Eder Maciej 2015: Does size matter? Authorship attribution, small samples, big problem. – Digital Scholarship in the Humanities 30(2), 167–182. DOI: 10.1093/llc/fqt066. Eder Maciej, Rybicki Jan 2013: Do birds of a feather really flock together, or how to choose training samples for authorship attribution. – Literary and Linguistic Computing 28(2), 229–236. DOI: 10.1093/llc/fqs036. Evert Stefan, Proisl Thomas, Schöch Christof, Jannidis Fotis, Pielström Steffen, Vitt Thorsten 2015: Explaining Delta, or: How do distance measures for authorship attribution work? – Corpus Linguistics 2015: Abstract Book, United Kingdom, 21 July 2015, eds. F. Formato, A. Hardie, Lancaster: UCREL. Available at: https://zenodo.org/records/18308. Gupta Shriya T. P., Sahoo Jajati K., Roul Rajendra K. 2019: Authorship identification using recurrent neural networks. – ICISDM’19: Proceedings of the 2019 3rd International Conference on Information System and Data Mining, United States, 06 April 2019, New York: Association for Computing Machinery, 133–137. DOI: 10.1145/3325917.3325935. Hoover David 2004: Testing Burrows’s delta. – Literary and Linguistic Computing 19(4), 453–475. DOI: 10.1093/llc/19.4.453. Hoover David 2005: Delta, Delta Prime, and Modern American Poetry: Authorship Attribution Theory and Method. – ACH/ALIC 2005: Proceedings of the 17th Joint International Conference of the Association for Computers and the Humanities (ACH) and the Association for Literary and Linguistic Computing, Canada, 15–18 June 2005, University of Victoria: Humanities Computing and Media Centre, 79–80. Jannidis Fotis, Pielström Steffen, Schöch Christof, Vitt Thorsten 2015: Improving Burrows’ Delta – An empirical evaluation of text distance measures. – DH 2015: Digital Humanities, Abstracts of the Global Digital Humanities Conference 11, Australia, 29 June – 3 July 2015, Sydney. DOI: https://zenodo.org/records/1321296. Joulin Armand, Grave Edouard, Bojanowski Piotr, Douze Matthijs, Jégou Hervé, Mikolov Tomas 2016: FastText.zip: Compressing text classification models. – ArXiv e-prints 1612.03651. DOI: 10.48550/arXiv.1612.03651. 244 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Karasov Vitalii, Levchenko Olena 2024: Statistical profile of O. Zabuzhko’s idio style. – CEUR Workshop Proceedings 3722: Proceedings of the 8th International Conference on Computational Linguistics and Intelligent Systems, Lviv, April 12–13, 2024, 251–264. Khan Talha F., Anwar Waheed, Arshad Humera, Abbas Syed N. 2023: An Empirical Study on Authorship Verification for Low Resource Language Using Hyper-Tuned CNN Approach. – IEEE Access 11, 80403–80415. DOI: 10.1109/ACCESS.2023.3299565. Khomytska Iryna, Teslyuk Vasyl, Bazylevych Iryna, Karamysheva Iryna 2023: Automated Identification of Authorial Styles. – CEUR Workshop Proceedings: Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems, 3396, Kharkiv, April 20–21, 2023. Available at: https://ceur-ws.org/Vol–3396/paper26.pdf. KUM – Korpus ukrajins’koji movy: Linhvistyčnyj portal Mova.info. Available at: http://www.mova.info/corpus.aspx. LIWC–22 – Linguistic Inquiry and Word Count. Available at: https://www.liwc.app. Lototska Nataliia 2022: Statistical Characteristics of Roman Ivanychuk’s Idiolect (Based on Writer’s Text Corpus). – CEUR Workshop Proceedings 3171, 487–500. Lupei Maksym, Mitsa Aleksander, Reparіuk Volodymyr, Sharkan Vasyl 2020: Identification of authorship of Ukrainian-language texts of journalistic style using neural networks. – Eastern-European Journal of Enterprise Technologies 1/2(103), 30–36. DOI: 10.15587/1729–4061.2020.195041. McInnes Leland, Healy John, Melville James 2020: UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. – ArXiv e-prints 1802.03426. DOI: 10.48550/arXiv.1802.03426. Meier Tabea, Boyd Ryan, Pennebaker James, Meh Matthiasl, Martin Mike, Wolf Markus, Horn Andrea 2019: “LIWC auf Deutsch”: The development, psychometrics, and introduction of DE-LIWC2015. – PsyArXiv Preprints. DOI: 10.31234/osf.io/uq8zt. Rybicki Jan, Eder Maciej 2011: Deeper Delta across Genres and Languages: Do We Really Need the Most Frequent Words? – Literary and Linguistic Computing 26(3), 315–321. DOI: 10.1093/llc/fqr031. Savoy Jacques 2015: Comparative evaluation of term selection functions for authorship attribution. – Digital Scholarship in the Humanities 30(2), 246–261. DOI: 10.1093/llc/fqt047. Straipsniai / Articles 245 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK TextAttributor 1.0 2024: TextAttributor 1.0: The system for automatic stylometric analysis of Ukrainian media texts. Available at: ta.mova.info. Volos Yana, Levchenko Olena 2023: Statistical profile of Valerie Shevchuk’s idiostyle (morphological level). – Slobozhan Scientific Bulletin, Ser. Philology, 3, 32–36. DOI:10.32782/philspu/2023.3.6. Zuban’ Oksana 2019: The Morphemic System Stylometric Analysis of the Ukrainian Poets’ Idiostyles: Corpus Based Approach. – Linhvistychni studiji 38, 96–104. DOI: 10.31558/1815-3070.2019.38.15. Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas) SANTRAUKA Sistema „TextAttributor“ statistiškai parametrizuoja ukrainiečių kalbos tekstus autorystės atpažinimo ir nuotaikų analizės aspektais. Naudodama daugiaparametrinį 15 statistinių indeksų rinkinį, „TextAttributor“ apibūdina autorines stilistines ypatybes. Ji integruoja tokius metodus kaip komponentinė analizė, paskirstymo analizė, kvantavimas ir nuotaikų analizė panaudojant žodynus ir mašininio mokymosi metodus, skirtus nemandag aus teksto ir autorystės išaiškinimui. Sistema apdoroja tekstus taikydama tokenizavimą, morfologinį žymėjimą, kontekstinę ir sintaksinę analizę ir emociškai neigiamo žodyno atitikimą, leidžiantį išsamiai vizualizuoti ir ekspertiškai įvertinti teksto priskyrimą ir neigiamą turinį. Eksperimentai patvirtina sistemos gebėjimą nustatyti unikalius autoriaus bruožus ir įvertinti teksto panašumą, ypač politinio diskurso ir nemandagios komunikacijos žiniasklaidos kontekste Rusijos ir Ukrainos karo metu. Straipsnyje pabrėžiama praktinė ir teorinė „TextAttributor“ reikšmė, demonstruojant jos efektyvumą didelėms teksto apimtims ir tikslioms analitinėms galimybėms. Sėkmingas žodynais, taisyklėmis pagrįstų ir mašininio mokymosi metodų taikymas pabrėžia sistemos tvirtumą ir universalumą. Beta versija ir tebevykdomų tyrimų rezultatai yra nuodugniai išnagrinėti, o būsimos jų kryptys nustatomos siekiant išplėsti kalbinį korpusą ir tobulinti mašininio mokymosi modelius, siekiant pagerinti tikslumą ir pritaikomumą. 246 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Įteikta 2024 m. lapkričio 25 d. NATALIIA DARCHIUK Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] OKSANA ZUBAN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] VALENTYNA ROBEIKO Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] YULIIA TSYHYVINTSEVA Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine Institute of the Ukrainian Language of the National Academy of Sciences of Ukraine 4 Mykhailo Hrushevskyi Street Kyiv, 01001, Ukraine [email protected] VICTOR SOROKIN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] MYKOLA SAZHOK Institute for information technologies and systems of the National Academy of Sciences of Ukraine 40 Akademika Hlushkova Avenue Kyiv, 03187, Ukraine [email protected] Straipsniai / Articles 247