The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)

NATALIIA DARCHUK Università Nazionale Taras Ševčenko di Kyiv ID ORCID: orcid.org/0000-0001-8932-9301 Ambiti di ricerca: linguistica computazionale, linguistica dei corpora, linguistica quantitativa, grammatica e semantica della lingua ucraina. OKSANA ZUBAN Università Nazionale Taras Ševčenko di Kyiv ID ORCID: orcid.org/0000-0002-2644-3892 Ambiti di ricerca: linguistica computazionale, expertise linguistica, linguistica quantitativa, grammatica e semantica della lingua ucraina. VALENTYNA ROBEIKO Università Nazionale Taras Ševčenko di Kyiv ID ORCID: orcid.org/0000-0003-2266-7650 Ambiti di ricerca: analisi, riconoscimento e sintesi del parlato, fonetica, elaborazione del linguaggio naturale. YULIIA TSYHVINTSEVA Università Nazionale Taras Ševčenko di Kyiv, Istituto della lingua ucraina dell’Accademia Nazionale delle Scienze dell’Ucraina ID ORCID: orcid.org/0000-0002-9684-3840 Ambiti di ricerca: neologia ucraina, lessicologia e lessicografia. VICTOR SOROKIN Università Nazionale Taras Ševčenko di Kyiv ID ORCID: orcid.org/0000-0002-3637-0535 Ambiti di ricerca: analisi automatica della sintassi, analisi semantica automatica, elaborazione del linguaggio naturale. Straipsniai / Articles 223 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK MYKOLA SAZHOK Istituto per le tecnologie e i sistemi dell’informazione dell’Accademia Nazionale delle Scienze dell’Ucraina ID ORCID: orcid.org/0000-0003-1169-6851 Ambiti di ricerca: analisi, riconoscimento e sintesi del parlato, elaborazione del linguaggio naturale. DOI: doi.org/10.35321/all91-09 IL SISTEMA PER L’ANALISI STILOMETRICA AUTOMATICA DEI TESTI DEI MEDIA UCRAINI TEXTATTRIBUTOR 1.0 (TECNICHE, STRUMENTI, FUNZIONALITÀ) Sistema di analisi stilometrica automatica dei testi dei media ucraini «TextAttributor 1.0» (metodi, strumenti, funzionalità) ANNOTAZIONE Questo articolo presenta la struttura, gli algoritmi, l’implementazione e i risultati sperimentali del sistema automatico TextAttributor, sviluppato dagli autori dell’articolo per la parametrizzazione statistica dei testi in lingua ucraina mediante un insieme multiparametrico di indici statistici, che caratterizza lo stile testuale dell’autore ed è applicabile ai compiti di attribuzione autoriale. Sulla base delle risorse linguistiche e del software creati, il sistema genera un’analisi linguistica fondata sugli indici statistici calcolati e realizza uno studio comparativo di due testi. Un criterio aggiuntivo per l’indicizzazione statistica è l’indice di tossicità del testo, calcolato mediante il metodo di identificazione verbale del sentimento tossico. I compiti di rilevamento dell’autore e della tossicità sono affrontati mediante due metodi: calcoli statistici basati su dizionario e regole e apprendimento automatico. I risultati attuali implementati nella versione beta di TextAttributor sono esaminati dettagliatamente. PAROLE CHIAVE: linguistica computazionale, lingua ucraina, analisi del sentimento, attribuzione autoriale, stilometria, classificazione dei testi. 224 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) A N O T A C I J A Questo articolo presenta la struttura, gli algoritmi, l’implementazione e i risultati sperimentali del sistema automatico «TextAttributor», creato dagli autori dell’articolo per la parametrizzazione statistica dei testi in lingua ucraina mediante un insieme multiparametrico di indicatori statistici, che caratterizza lo stile testuale dell’autore ed è applicabile ai compiti di attribuzione autoriale. Sulla base delle risorse linguistiche e del software creati, il sistema genera un’analisi linguistica secondo gli indici statistici calcolati ed esegue un’analisi comparativa di due testi. Un criterio aggiuntivo dell’indicizzazione statistica è l’indice del testo che suscita umori negativi, calcolato applicando il metodo di identificazione verbale degli umori negativi. I compiti di determinazione dell’autore e della malignità sono risolti mediante due metodi: calcoli statistici basati su dizionario e regole e apprendimento automatico. I risultati attuali, ottenuti utilizzando la versione beta di «TextAttributor», sono esaminati dettagliatamente. PAROLE CHIAVE: linguistica computazionale, lingua ucraina, analisi del sentimento, attribuzione autoriale, stilometria, classificazione dei testi. 1. INTRODUZIONE La ricerca testologica ha acquisito una nuova importanza scientifica con l’avanzamento dei metodi della linguistica computazionale, che ha contribuito alla formazione di un nuovo indirizzo definibile testologia digitale. Nell’ambito di questa disciplina emergente, concepiamo la testologia digitale come l’impiego di tecniche automatizzate di linguistica dei corpora, associate a modelli matematici per l’analisi quantitativa dei testi. Guidato dai compiti attuali della linguistica quantitativa moderna e dell’elaborazione del linguaggio naturale, il nostro gruppo ha sviluppato un sistema per l’analisi linguistico-statistica automatica dei testi dei media, implementato come applicazione web denominata TextAttributor (TextAttributor 1.0 2024). Il sistema opera in quattro ambiti: 1) parametrizzazione statistica dei testi; 2) stilometria: determinazione delle caratteristiche linguistico-statistiche dell’idioletto; 3) attribuzione: determinazione del grado di somiglianza tra i testi; e 4) analisi del sentimento: identificazione del lessico dal sentimento negativo nei testi. Inoltre, all’interno del sistema vengono generate automaticamente due conclusioni di expertise linguistica sulla base dei risultati del secondo e del quarto compito. La multifunzionalità del sistema TextAttributor richiede che gli utenti ne conoscano i principi di funzionamento. Lo scopo di questo articolo è far conoscere alla comunità accademica ed educativa filologica la metodologia di creazione, l’architettura e i risultati operativi del sistema, per fornire una comprensione chiara delle sue funzioni e capacità analitiche, particolarmente pertinenti. Questo approccio è particolarmente rilevante per l’analisi di grandi volumi di comunicazioni su Internet e Straipsniai / Articles 225 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA RОBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK il potenziamento delle strategie di difesa dell’informazione durante la guerra russo-ucraina in corso. Il concetto di sviluppare un sistema automatico di attribuzione dei testi in lingua ucraina è emerso dall’analisi delle ricerche nel campo della linguistica dei corpora ucraina (Darčuk 2013) e degli studi statistici sullo stile dell’autore (Darčuk et al. 2021; Darchuk, Sorokin 2022; Zuban 2019), condotti utilizzando gli strumenti del Corpus della lingua ucraina (KUM) dagli autori del progetto. Durante lo sviluppo del sistema TextAttributor sono stati impiegati i seguenti metodi: analisi componenziale, analisi distributiva e analisi del contenuto. L’analisi del contenuto, metodo quantitativo e qualitativo per estrarre informazioni dal testo, ha utilizzato l’elaborazione del linguaggio naturale e tecniche statistiche. Sono state applicate anche la quantizzazione e l’analisi del sentimento. L’analisi del sentimento identifica automaticamente la tonalità del testo sulla base sia della coloritura emotiva sia della valutazione dell’autore di eventi o oggetti; ciò è stato ottenuto utilizzando calcoli statistici basati su dizionario e regole. Inoltre, sono stati incorporati metodi di apprendimento automatico, incluso il deep learning. La struttura statistica di un testo, intesa come suo modello quantitativo, consente di identificare il suo stile funzionale, l’autore e il periodo di creazione. In questo lavoro, le componenti della struttura statistica sono state estratte analizzando le caratteristiche statistiche lessicali e grammaticali mediante tecniche di indicizzazione e metriche della distanza euclidea. La distanza euclidea, che misura la distanza tra due punti in uno spazio euclideo n-dimensionale, è una delle metriche più utilizzate nella linguostatistica per l’analisi dei cluster nella stilometria e nell’attribuzione autoriale. La novità dei risultati consiste nella prima implementazione, nella linguistica computazionale, di un modello stilometrico morfo-sintattico-semantico automatizzato per l’analisi dei testi, basato su 15 indici statistici che parametrizzano principalmente la struttura morfologica, nonché quella sintattica e semantica, del testo. Un modello stilometrico è un insieme di parametri statistici di un testo (lessicali, morfologici, sintattici ecc.), sulla base dei quali viene effettuata un’analisi comparativa di questo testo con il modello stilometrico dello stile funzionale. A nostro avviso, utilizzando metodi statici nella costruzione di un modello stilometrico, è possibile ottenere un sistema rigoroso, deterministico e scientificamente fondato di caratteristiche comuni e distintive negli stili, nei generi ecc. Per la prima volta, il modello stilometrico introduce il parametro dell’indice di tossicità, che caratterizza in modo peculiare i testi dei media durante la guerra russo-ucraina. Questo modello è implementato non solo nella funzione di parametrizzazione statistica dei testi, tipica dei sistemi di questo tipo, ma anche nella funzione di confronto del testo analizzato con lo stile dei media della lingua ucraina e per compiti stilometrici e di attribuzione che coinvolgono due o più testi. La rilevanza teorica si estende alla validazione di due metodi per determinare la tossicità del testo e 226 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) l’autore in ucraino: 1) mediante approcci basati su dizionario e regole e 2) attraverso l’apprendimento automatico, incluso il deep learning. 2. LAVORI CORRELATI Nella linguistica ucraina moderna sono stati condotti ampi studi linguistico-statistici sugli idioletti di scrittori e poeti ucraini, tra cui Taras Shevchenko, Lesya Ukrainka, Vasyl Stus (Zuban’ 2019), Ivan Franko (Buk 2021), Roman Ivanychuk (Lototska 2022), Valerii Shevchuk (Volos, Levchenko 2023), Mariia Matios, Yurii Andrukhovych, Oksana Zabuzhko (Karasov, Levchenko 2024), Ivan Drach, Mykola Vingranovsky (Darchuk et al. 2024), Lina Kostenko (Zuban’ 2019; Darchuk et al. 2024), tra gli altri. Questi studi sono stati condotti su campioni testuali rappresentativi (testi lunghi), utilizzando prevalentemente uno o pochi parametri statistici (non più di cinque), spesso senza applicare il confronto stilometrico. Inoltre, a causa della natura laboriosa degli esperimenti linguistico-statistici, la linguistica ucraina ha in gran parte trascurato la parametrizzazione statistica completa, il confronto dei testi analizzati con i parametri statistici standard degli stili funzionali, la determinazione del grado di somiglianza dei testi, nonché l’analisi stilometrica e attributiva dei testi brevi. L’impiego del sistema TextAttributor nella ricerca linguistico-statistica, volto a svolgere automaticamente questi compiti, non fornirà soltanto caratteristiche di frequenza dei fenomeni linguistici, ma consentirà anche un’efficiente analisi stilometrica che sfocerà in un parere di expertise. Il sistema TextAttributor presenta vantaggi rispetto ai suoi omologhi nella scienza mondiale. La maggior parte dei sistemi e modelli esistenti si concentra inoltre sull’uso di singoli moduli linguistico-statistici per identificare uno o pochi parametri testuali, per lo più formali (n-grammi, parole più frequenti, lettere) (Eder 2015; Canhasi et al. 2022; LIWC-22; Khomytska et al. 2023; ALIAS). Al contrario, TextAttributor 1.0 offre un approccio completo, comprendente l’analisi statistica interattiva della struttura lessicale, morfologica, sintattica e semantica del testo in tempo reale su 15 parametri. L’attribuzione dei testi è attivamente sviluppata negli studi testuali stranieri; in particolare, l’efficacia del metodo di Burrows (Burrows 2002; Argamon 2007; Eder, Rybicki 2013; Burrows et al. 2014) è verificata in numerosi studi su grandi volumi di dati testuali di vari stili, quali: la prosa inglese dell’inizio del XXth secolo (Hoover 2004); la poesia inglese moderna (Hoover 2005); opere poetiche in latino (Rybicki, Eder 2011); opere in prosa dei principali generi in inglese, francese, italiano, tedesco, polacco, ungherese, nonché in latino e arabo (Rybicki, Eder 2011; Evert et al. 2015; Jannidis et al. 2015); testi politici in inglese, inclusi Straipsniai / Articles 227 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK l’attribuzione dei discorsi dei presidenti americani (Savoy 2015). Un altro metodo di analisi linguistica automatizzata, denominato «Linguistic Inquiry and Word Count» (LIWC), è implementato come applicazione commerciale e adattato a diverse lingue (Meier et al. 2019; LIWC-22). Negli ultimi anni, i compiti di attribuzione automatica dei testi hanno utilizzato prevalentemente metodi stilometrici basati su regole oppure metodi di deep learning (Eder 2015; Canhasi et al. 2022). Entrambi i metodi sono stati implementati nel sistema TextAttributor, funzionano efficacemente ma producono risultati diversi: 1) il metodo basato su regole consente di automatizzare la generazione di conclusioni linguistiche sull’idioletto e sulla tossicità del testo; 2) il metodo di apprendimento automatico determina soltanto il grado di tossicità e la somiglianza dei testi e può essere utilizzato nei compiti di classificazione per il monitoraggio dei contenuti testuali. I recenti metodi di apprendimento automatico per l’analisi del sentimento e l’identificazione dell’autore del testo si basano su approcci statistici (TF-IDF, Latent Dirichlet Allocation) e tecniche di deep learning con diverse architetture (CNN, LSTM, BERT), in combinazione con metodi stilometrici (Gupta et al. 2019; Canhasi et al. 2022; Bonetti et al. 2023). I risultati riportati dipendono fortemente dal numero di classi (tipi di tossicità, autori), dal genere, dalla lunghezza del testo e, soprattutto, dalla quantità del corpus testuale correttamente annotato utilizzato per la procedura di addestramento. Pertanto, tassi di accuratezza elevati nei compiti di rilevamento della tossicità e dell’hate speech superano il 90% utilizzando un corpus contenente decine di migliaia di documenti (Alkomah, Ma 2022). Per esempio, si ottiene un’accuratezza superiore al 90% nell’attribuzione autoriale di opere letterarie in lingua inglese per 1000 autori, utilizzando un corpus di 6000 documenti per 15 autori. A sua volta, per i corpora contenenti meno di 1500 documenti, l’accuratezza riportata è di circa il 70% (Khan et al. 2023). Per la lingua ucraina, l’identificazione dell’autore dei testi e l’analisi del sentimento/della tossicità sono problemi ancora poco studiati (Lupei et al. 2020); inoltre, tali sistemi non producono expertise linguistica e non possono essere utilizzati come strumenti per la ricerca linguistica. 3. CARATTERISTICHE GENERALI DEL FUNZIONAMENTO DEL SISTEMA TEXTATTRIBUTOR Durante lo sviluppo di TextAttributor sono stati portati a termine i seguenti compiti: 1) linguistica teorica: è stata sviluppata una metodologia per le analisi morfologica, statistica, stilometrica, attributiva e del sentimento formalizzate; 2) ingegneria del software: sono state sviluppate la struttura delle banche dati linguistiche e il software per le suddette analisi automatiche; 3) linguistica sperimentale: il sistema è stato testato su testi dei media ucraini e 228 Acta Linguistica Lithuanica XCI Il sistema per l’analisi stilometrica automatica dei testi dei media ucraini TextAttributor 1.0 (tecniche, strumenti, funzionalità) è stato implementato un modulo analitico per l’esame stilometrico automatico. Il sistema linguistico automatizzato, implementato come applicazione web, elabora i testi in stile giornalistico inseriti dall’utente, generando valori numerici per i parametri statistici che caratterizzano gli attributi del testo. Il sistema segue una sequenza operativa strutturata: 1. Tokenizzazione del testo: suddivisione del testo in frasi e parole per l’analisi. 2. Etichettatura morfologica: assegnazione di etichette alle parole sulla base delle loro forme grammaticali. 3. Analisi contestuale: aggiornamento delle etichette morfologiche in relazione al contesto. 4. Analisi sintattica: definizione delle relazioni binarie tra le parole nelle frasi per comprenderne la struttura grammaticale. 5. Definizione delle relazioni sintattiche: determinazione dei collegamenti sintattici sulla base di regole predefinite. 6. Corrispondenza del vocabolario emotivamente negativo: identificazione delle parole appartenenti a un insieme predefinito di vocaboli negativi. 7. Valutazione dei parametri statistici: valutazione dei parametri statistici per il testo in ingresso mediante vocabolari di frequenza compilati automaticamente. 8. Visualizzazione dei risultati: presentazione grafica dei risultati della parametrizzazione statistica, con valori empirici e intervalli di confidenza. 9. Confronto dei risultati: visualizzazione dei risultati della parametrizzazione statistica per due testi in stile giornalistico, facilitandone il confronto. 10. Valutazione della distanza euclidea: quantificazione della dissimilarità tra due testi in stile giornalistico. 11. Generazione del parere di expertise: generazione di due pareri di expertise: uno sull’attribuzione del testo e l’altro sulla tossicità del testo mediante esame linguistico. 12. Rilevamento della tossicità e identificazione dell’autore: impiego di tecniche di apprendimento automatico, in particolare modelli di reti neurali, per rilevare la tossicità e identificare gli autori. I risultati del sistema sono organizzati nelle seguenti sezioni: Gruppo degli indici di attribuzione del testo, Parere di expertise sull’attribuzione del testo, Confronto dell’attribuzione dei testi, Expertise linguistica sulla tossicità del testo e Pareri della rete neurale. Nel Gruppo degli indici di attribuzione del testo (Fig. 1), i parametri statistici sono organizzati sulla base del testo in ingresso: la colonna 1 mostra il titolo dell’indice, la colonna 2 presenta il valore numerico empirico e la colonna 3 fornisce un riferimento visivo confrontando il valore empirico dell’indice con l’intervallo di confidenza Straipsniai / Articles 229 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK soglie (inferiore e superiore) derivate dai testi in stile giornalistico ucraino. Il valore numerico empirico è rappresentato sulla scala da un triangolo rovesciato pieno. FIGURA 1: Frammento del risultato dell’attribuzione del testo Nel Parere di expertise sull’attribuzione del testo (Fig. 2), presentiamo conclusioni riguardanti le caratteristiche linguistico-statistiche tipiche o individuali estratte dal testo analizzato per ciascun indice stimato. Queste conclusioni derivano dalle risposte alla domanda: il valore numerico dell’indice rientra nell’intervallo di confidenza dello stile giornalistico della lingua ucraina? Sulla base di un confronto dei valori numerici con i valori soglia dell’intervallo di confidenza, il sistema genera tre possibili risposte (segni tipici dello stile giornalistico, segni dell’idiostile inferiori alla norma dello stile giornalistico e segni dell’idiostile superiori alla norma dello stile giornalistico). Nel Confronto dell’attribuzione dei testi (Fig. 4, sottosezione 4.2), dopo aver selezionato «Calcola la distanza vettoriale», i dati tabellari vengono aggiornati tempestivamente come segue: la colonna 1 elenca i testi inseriti dall’utente insieme al testo precedentemente analizzato; la colonna 2 mostra il numero di frasi di ciascun testo; la colonna 3 mostra il conteggio delle parole; la colonna 4 presenta la distanza euclidea tra il testo analizzato e ciascun testo nella tabella; la colonna 5, denominata «Confronta», avvia un confronto automatico degli indici statistici tra il testo analizzato e il testo selezionato. Attivando l’elemento «Confronta» corrispondente, nel gruppo «Indici di attribuzione del testo» (Fig. 3) vengono fornite informazioni complete sul confronto statistico tra due testi. 230 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) FIGURA 2: Esempio di parere di expertise generato Nell’Expertise linguistica sulla tossicità del testo (sottosezione 4.3), viene presentata un’interpretazione lessico-semantica dell’indice di tossicità calcolato (Fig. 6). Nei Pareri della rete neurale presentiamo l’output del nostro modello di deep learning, che quantifica la tossicità del testo su una scala da 0 (non tossicità) a 1 (tossicità elevata). Valutiamo inoltre la somiglianza del testo con autori noti, con valori compresi tra 0 (nessuna somiglianza) e 1 (somiglianza elevata), sulla base degli autori sui quali il modello è stato addestrato. I risultati sono mostrati solo per i test con una misura di somiglianza superiore a 0,1. Il nostro sistema attuale opera in modalità demo, utilizzando un corpus limitato di testi d’autore per valutare la somiglianza con il testo inserito dall’utente. 4. ATTRIBUZIONE DEI TESTI IN LINGUA UCRAINA: ESPERIMENTI, RISULTATI E DISCUSSIONE 4.1. Indici di parametrizzazione statistica Il modello stilometrico sviluppato risolve due compiti: 1) identificare le caratteristiche individuali dello stile di un autore (stilometria); 2) valutare la somiglianza tra due testi sulla base di parametri linguistici e statistici (attribuzione). Straipsniai / Articles 231 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Per analizzare statisticamente il testo inserito dall’utente vengono utilizzati 19 parametri (si veda la Fig. 1 per il Gruppo degli indici di attribuzione del testo). I primi quattro parametri comprendono dati quantitativi di base: conteggio delle parole, parole non elaborate, dimensione del dizionario e conteggio delle frasi. Il conteggio delle parole esclude il vocabolario non elaborato dal sistema, come dialettismi, moscovitismi, occasionalismi ecc. I restanti 15 parametri sono costituiti da indici calcolabili che producono quantità scalari. Per l’analisi stilometrica, procederemo a verificare l’Ipotesi 1. Questa ipotesi afferma che, analizzando dati empirici comprendenti parametri statistici interni ed esterni all’intervallo di confidenza dello stile giornalistico ucraino, è possibile discernere caratteristiche autoriali uniche all’interno di un determinato testo dei media. Sono stati calcolati due insiemi di intervalli di confidenza per ciascun parametro linguistico sulla base di campioni di testi dei media ucraini: uno per i testi di oltre 1000 parole (dimensione del campione: 124,576 parole) e uno per i testi fino a 1000 parole (dimensione del campione: 15,635 parole). L’intervallo di confidenza per ciascun parametro statistico è stato stabilito utilizzando la deviazione standard, σ, del Valore Numerico Medio dell’Indice (ANVI) all’interno del campione testuale, indicato come ANVI ± σ. La deviazione standard stima quanto i valori numerici empirici degli indici statistici possano discostarsi dal valore numerico medio dell’indice all’interno dello stile giornalistico. Per garantire l’accuratezza, l’intervallo di confidenza di σ è stato determinato mediante un esperimento linguistico-statistico. Di conseguenza, il sistema offre tre possibili conclusioni nel test dell’Ipotesi 1: 1) il valore numerico dell’indice rientra nell’intervallo di confidenza; 2) il valore numerico dell’indice è inferiore alla soglia minima dell’intervallo; oppure 3) il valore numerico dell’indice supera la soglia massima dell’intervallo. Consideriamo i risultati derivati dalla parametrizzazione del Testo 1, scritto dal blogger Oleksii Honcharenko (si veda la Fig. 1). Questa analisi si basa sui parametri statistici e sulla loro successiva interpretazione, racchiusa nel parere di expertise generato, come illustrato nella Fig. 2. Le metriche statistiche relative al vocabolario e al volume del testo rivelano una relazione quantitativa. Nel Testo 1, tutti questi indicatori rientrano nell’intervallo tipico dello stile giornalistico: 1) L’Indice di varietà (IB) rappresenta il rapporto tra le parole uniche e la dimensione complessiva del testo, fungendo da misura della ricchezza lessicale. Il valore IB di 0.54 rientra nell’intervallo 30%–60%, indicando un livello moderato di diversità lessicale; 2) L’Indice di esclusività del testo (IVT) esprime il rapporto tra il numero degli hapax legomena che compaiono una volta nel testo e il volume del testo. L’IVT di 0.36 rientra nell’intervallo 20%–40%, indicando una bassa esclusività lessicale); 232 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 3) L’Indice di esclusività del vocabolario (IVL) esprime il rapporto tra il numero degli hapax legomena che compaiono una sola volta nel testo e il volume totale del vocabolario. L’IVL di 0.66 rientra nell’intervallo 60%–76%, indicando un elevato grado di esclusività lessicale. Passiamo ora a considerare i parametri statistici della correlazione quantitativa delle classi lessicali e grammaticali delle parole nel Testo 1: 1) L’Indice degli attributi nominali, o epitetizzazione, (IIO) esprime il rapporto tra il numero di sostantivi e il numero di aggettivi. Un IIO pari a 1.07 è superiore alla norma dello stile mediatico, pari a 1.0, indicando una prevalenza dei sostantivi sugli aggettivi, con conseguente riduzione degli epiteti nel testo; 2) L’Indice degli attributi verbali (IDO) esprime il rapporto tra il numero di avverbi e il numero di verbi. Un IDO pari a 0.57 è superiore alla norma dello stile mediatico, pari a 0.56. Questa proporzione di avverbi indica un basso grado di attributività verbale nel testo; 3) Il grado di nominalizzazione (STN) esprime il rapporto tra il numero di sostantivi e il numero di verbi. Un STN pari a 1.76 è inferiore alla norma dello stile mediatico, pari a 3.00. Una diminuzione di questo indice indica una predominanza dei verbi sui sostantivi e un basso grado di nominalizzazione del testo; 4) L’Indice di pronominalizzazione (IPRO) esprime il rapporto tra il numero di pronomi personali e il volume delle parole usate nel testo. Un IPRO pari a 0.09 è superiore alla norma dello stile mediatico ed è un segno dell’idiostile. I pronomi personali costituiscono oltre il 7% del testo, indicando il grado di coesione testuale; 5) L’Indice di modalità (MOD) esprime il rapporto tra il numero di particelle e il numero di parole nel testo. Un IMOD pari a 0.07 è superiore alla norma dello stile mediatico, pari al 4%, ed è un segno dell’idiostile. Le particelle costituiscono oltre il 4% del testo, determinando il grado in cui l’autore esprime diverse valutazioni di fenomeni e situazioni nel testo; 6) L’Indice di sostantività (ISUB) esprime il rapporto tra il numero di sostantivi e il volume delle parole usate nel testo. Un ISUB pari a 0.26 è inferiore alla norma dello stile mediatico. I sostantivi costituiscono meno del 30% del testo, determinando il basso grado di staticità testuale. Spieghiamo i parametri statistici del rapporto quantitativo tra sintagmi e frasi nel Testo 1: 1) L’Indice di dinamismo (IDYN) esprime il rapporto tra il numero di sintagmi verbali e il numero di sintagmi nominali. Un IDYN pari a 0.74 è superiore alla norma dello stile mediatico, pari a 0.6, ed è un segno dell’idiostile. La prevalenza dei sintagmi verbali sui sintagmi nominali (IDYN maggiore di 1.0) determina lo svolgimento dinamico e rapido degli eventi nel significato del testo; Straipsniai / Articles 233 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK 2) L’Indice di coesione (IZV) esprime il rapporto tra il numero di preposizioni e congiunzioni e il numero di frasi nel testo. Un IZV pari a 0.66 rientra nell’intervallo tipico da 0.45 a 0.90 dello stile mediatico, indicando una predominanza del numero di frasi sul numero di preposizioni e congiunzioni. Ciò determina il grado medio di coesione tra le realtà, i fenomeni e le situazioni descritti nel Testo 1. Particolare attenzione sarà dedicata ai parametri statistici psicolinguistici (Chuhunov 2009) nel Testo 1: 1) Il coefficiente di Trager (KT) esprime il rapporto tra il numero di verbi e il numero di aggettivi nel testo, indicando la stabilità/instabilità emotiva del parlante. Un KT pari a 0.61 è superiore alla norma dello stile mediatico, pari a 0.5, ed è un segno dell’idiostile. Secondo l’interpretazione psicologica, ciò indica la bassa emotività dell’autore/parlante, l’indecisione nell’intraprendere azioni pratiche attive e l’ansia. Il valore nell’intervallo di 1.35 ± 0.05 determina la normale stabilità emotiva e regolazione dell’autore; 2) Il coefficiente di certezza dell’azione (KOD) esprime il rapporto tra il numero di verbi e il numero di sostantivi nel testo. Questo rapporto indica il grado di socializzazione dell’autore e la completezza sintattica dell’enunciato. Un KOD pari a 0.57 rientra nell’intervallo tipico da 0.30 a 0.60 dello stile mediatico, indicando un basso grado del coefficiente d’azione oggettivata. Secondo l’interpretazione psicologica, ciò suggerisce un basso livello di emotività nell’autore/parlante, indecisione riguardo ad azioni pratiche attive e ansia. Un valore nell’intervallo di 1.35 ± 0.05 determina la normale stabilità emotiva e la regolazione delle emozioni da parte dell’autore, il che, sulla base delle caratteristiche linguistiche, indica un normale grado di completezza sintattica nelle frasi e una struttura sintattica corretta; 3) Il coefficiente di aggressività (KA) esprime il rapporto tra il numero di verbi e l’uso dei verbi e il numero totale di parole nel testo, segnando l’aggressività del linguaggio sotto il profilo psicolinguistico. Un KA pari a 0.15 è superiore alla norma dello stile mediatico, pari al 13%, ed è un segno dell’idiostile. Secondo l’interpretazione psicologica, valori inferiori al 60% indicano un basso grado di aggressività, emozioni represse dell’autore e la sua indecisione. Avvicinandosi al 60% si determina il normale grado di aggressività e stabilità emotiva dell’autore, mentre valori superiori al 60% indicano un’elevata aggressività dell’autore e un’eccitazione emotiva. Infine, consideriamo il parametro statistico semantico del Testo 1: l’Indice di tossicità del testo (ITOX) è calcolato in base alla frequenza del vocabolario negativo nel testo (per maggiori dettagli, si veda la sezione 4.3). Un valore ITOX pari a 0.36 rientra nell’intervallo tipico da 0.1 a 0.7 dello stile mediatico. ITOX modella gli atteggiamenti cognitivi e pragmatici nei confronti delle emozioni negative. 234 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 4.2. Confronto dei testi mediante parametri statistici Il compito di valutare il grado di somiglianza tra due testi ha comportato la verifica dell’Ipotesi 2. Tale ipotesi afferma che, se i dati empirici risultanti dalla parametrizzazione statistica di due testi mostrano solo una piccola differenza nei valori numerici degli indici, allora questi testi appartengono allo stesso autore. Questa ipotesi viene verificata nel sistema in due modi: 1) confrontando i valori numerici di ciascun indice nei due testi; 2) determinando la distanza vettoriale tra i due testi. Questi problemi sono implementati nella sezione Confronto dell’attribuzione dei testi. Il primo compito consiste nel confrontare i dati empirici dei testi utilizzando gli indici sulla scala dell’intervallo di confidenza dello stile mediatico (Fig. 3). Come illustrato nella Fig. 3, le caratteristiche quantitative dei parametri di entrambi i testi sono visualizzate in colori diversi per comodità dell’utente. La visualizzazione confronta i valori empirici degli indici di entrambi i testi con le soglie dell’intervallo di confidenza (inferiore e superiore) derivate dai testi dello stile mediatico ucraino. FIGURA 3: Confronto della distanza vettoriale dei testi Il secondo compito consiste nel calcolare la distanza vettoriale tra due testi utilizzando la formula della distanza euclidea. Ciò comporta la somma dei quadrati delle differenze tra i valori numerici di 15 parametri statistici dei due testi. Si calcola quindi la radice quadrata di questa somma. I valori numerici Straipsniai / Articles 235 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK della distanza vettoriale indicano l’entità della dissimilarità statistica tra i testi e forniscono una misura della distanza tra essi. Sebbene le variazioni del valore della distanza vettoriale per i testi mediatici non siano ben note, la distanza può essere pari a 0 quando si confrontano testi identici. Ciò implica che i testi sono diversi se la distanza vettoriale è maggiore di 0. Inoltre, quanto maggiore è il valore numerico della distanza vettoriale, tanto maggiori sono le differenze linguistiche e statistiche tra i testi. Il confronto della distanza euclidea è presentato in forma tabellare. Nella Colonna 4 della Fig. 4, i valori numerici rappresentano le distanze euclidee. La Fig. 4 mostra il confronto del testo analizzato di Oleksii Honcharenko (Testo 1) con altri tre testi dello stesso autore: riga 1 per il Testo 2 (distanza 0.44); riga 2 per il Testo 3 (distanza 0.56); riga 3 per il Testo 4 (distanza 0.77). I dati empirici dimostrano che la somiglianza tra i testi di un singolo autore rimane entro 1, mentre i testi di altri autori (righe 4–10) presentano distanze superiori a 1. FIGURA 4. Sistematizzazione della distanza euclidea tra i testi Il confronto dei parametri statistici dei testi ci convince che la metodologia di attribuzione proposta rivela un modello stilometrico dei testi in lingua ucraina. Questo modello può essere utilizzato anche per determinare l’autore del testo. Lo confermeremo con una rappresentazione visiva dell’attribuzione di 7 testi di tre autori diversi secondo 15 parametri statistici, utilizzando il metodo Uniform Manifold Approximation and Projection (UMAP) (McInnes et al. 2020), il cui algoritmo è anch’esso implementato nel sistema TextAttributor. Questo 236 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) metodo consente di ridurre la dimensionalità dello spazio delle caratteristiche proiettando uno spazio a 15 dimensioni sul piano. Nella Fig. 5, i punti di forme diverse (P1–P7 per l’Autore 1, F1–F7 per l’Autore 2, M1–M7 per l’Autore 3) corrispondono a 7 testi selezionati casualmente da autori diversi. Come possiamo vedere, dopo la riduzione della dimensionalità, le rappresentazioni puntuali dei testi dei tre autori possono essere visibilmente separate in aree distinte. Questo esempio conferma che i parametri definiti da TextAttributor sono importanti per descrivere le caratteristiche stilistiche dei testi e per determinarne l’autore (anche in forma ridotta). FIGURA 5: Rappresentazione grafica dell’attribuzione dei testi mediante il metodo UMAP 4.3. Indicizzazione del sentimento negativo del testo Durante lo sviluppo di un sistema di parametri statistici per determinare lo stile e l’autore del testo, abbiamo riconosciuto che la tossicità testuale poteva fungere da indice di attribuzione. Abbiamo pertanto creato un modulo separato per determinare automaticamente l’indice di tossicità in TextAttributor. Straispsniai / Articles 237 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK Oggi la componente informativa è diventata particolarmente importante nella guerra ibrida. Pertanto, il materiale del nostro studio era costituito da un corpus di ricerca di testi mediatici online del discorso politico, con un volume di 10 milioni di parole. Usiamo il termine «testo tossico» in senso ampio. Questi testi sono caratterizzati da molestie, minacce, oscenità, cyberbullismo, trolling e testi d’odio basati sull’identità, e contengono emoticon, ossia fenomeni e oggetti che provocano emozioni negative in una persona (ad es. guerra, attacco aereo, corruzione). Questo progetto mirava a determinare il potenziale di manifestazione del sentimento negativo nei testi ucraini e a sviluppare un sistema automatizzato per identificare i contenuti tossici. Il compito comprendeva due sottocompiti consecutivi: primo, sviluppare un sistema di esame linguistico dei testi tossici con determinazione degli indici di tossicità mediante analisi dizionariale e metodi basati su regole; secondo, costruire un dataset di addestramento per l’apprendimento automatico e sviluppare una rete neurale per prevedere gli indici di tossicità del testo. Esaminiamo il completamento del primo compito. Esso ha comportato la costruzione di una banca dati lessicografica contenente tre dizionari distinti: 1) Dizionario emotiogeno: una raccolta di 5000 parole (secondo i significati delle varianti lessico-semantiche) con connotazioni sentimentali negative, valutate su una scala di −2. Gli esempi includono immorale, impunità, corruzione e rubare; 2) Dizionario del discorso d’odio: comprendente 3000 parole, inclusi nomi di persone (1620), termini osceni (613) e linguaggio ingiurioso (787). Gli esempi includono occidentale (западенець: nome dispregiativo per le persone delle regioni occidentali dell’Ucraina) e imbonitore; 3) Espressioni tossiche: una raccolta di 1500 espressioni idiomatiche che trasmettono emozioni negative. Gli esempi includono fa smorfie come una scimmia, bacia il suo culo e apre la bocca. Ogni voce di questi elenchi è stata annotata con caratteristiche semantiche; il Dizionario del discorso d’odio presenta 18 caratteristiche e l’elenco delle Espressioni tossiche ne presenta 26. Per esempio, le parole del Dizionario del discorso d’odio erano contrassegnate con caratteristiche come «s» per sessismo, «r» per razzismo ed «e» per ageismo. Questa banca dati lessicografica, un sistema multiparametrico, assegna caratteristiche semantiche alle unità (parole o frasi) che, combinate con i dati di frequenza del testo analizzato, consentono l’analisi della tossicità. L’indice di tossicità del testo viene calcolato mediante la formula: Itox = (e + |K| (m + t)) / n * 10, Qui, n è il volume del testo; e è il numero di parole emotive; m è il numero di parole del discorso d’odio; t è il numero di espressioni tossiche; K è un coefficiente pari a −2, che enfatizza le parole del discorso d’odio e le espressioni tossiche, le quali su una scala di 238 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) cinque cifre (+2, +1, 0, −1, −2) corrisponde a −2. I valori dell’indice variano da 0 a +1. Per esempio, l’indice di tossicità del testo «Persone con una penna rossa (Люди з червоною ручкою)» (12 frasi, 129 parole) è 1.01, indicando la sua elevata tossicità, poiché la soglia per testi così brevi varia da 0.1 a 0.7. Contestualmente, il sistema genera i risultati di un esame linguistico automatico della tossicità del testo (si veda la Fig. 6), comprendente: 1) una mappa statistica delle classi semantiche del vocabolario negativo secondo i marcatori di classificazione degli elenchi lessicografici (emotiogeni – 5, volgarismi – 2, sessismo – 2); 2) un testo con parole specifiche dal sentimento negativo, che verbalizzano le categorie della mappa statistica. Esaminiamo un estratto del testo reale analizzato (Fig. 6): quelle persone che vanno in giro con una penna rossa e correggono errori nei post degli altri: ma chi siete? Avete idea di quanto fastidiosi siete? Studio apposta i vostri profili, sono curioso del mondo in cui esistete. Questo mondo mi spaventa molto. Spero sinceramente che nella vita reale non incroceremo le nostre strade in nessuna circostanza. (оці люди, які ходять з червоною ручкою і виправляють помилки в чужих постах: ви хто взагалі такі? Ви хоч уявляєте, як ви бісите? Я спеціально вивчаю ваші профілі, мені цікаво в якому світі ви існуєте. Мене цей світ дуже лякає. Щиро сподіваюся, що в реальному житті ми з вами не пересі­чемося ні за яких обставин). Qui il sistema evidenzia automaticamente in grassetto le seguenti parole con una componente negativa: errori (помилки), post degli altri (чужих), fastidiosi (бісите), mi spaventa (лякає). FIGURA 6: Frammento dell’esame linguistico automatico della tossicità del testo Straipsniai / Articles 239 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK 5. APPROCCI DI APPRENDIMENTO AUTOMATICO: ESPERIMENTI, RISULTATI E DISCUSSIONE Concentriamoci sulla seconda modalità operativa del sistema TextAttributor, dedicata alle tecniche di apprendimento automatico. Come input per l’addestramento del modello, disponiamo di corpora testuali etichettati secondo l’obiettivo di ciascun sottocompito: (a) informazioni testuali per il rilevamento della tossicità e (b) identificazione dell’autore. Ogni corpus è suddiviso in set di addestramento e di controllo, nonché, per i corpus sufficientemente grandi, in un set di validazione. I parametri del modello scelto per la risoluzione del problema sono stimati sul set di addestramento. Gli iperparametri del modello vengono regolati mediante il set di validazione. Gli indicatori finali delle prestazioni del modello sono misurati su un set di controllo, tenendo conto della disponibilità delle risorse informatiche necessarie al funzionamento del modello. Un corpus per ciascun sottocompito è stato sviluppato parallelamente alla componente di apprendimento automatico di TextAttributor; pertanto, i modelli attuali sono stati addestrati su dati relativamente limitati, comprendenti brevi testi ucraini provenienti da blog, commenti, articoli ecc. su Internet. 5.1. Rilevamento della tossicità Come risultato di una serie di studi sperimentali, è stata scelta un’architettura computazionalmente efficiente basata sul metodo fastText e sui suoi strumenti (Joulin et al. 2016). Questo metodo fornisce rappresentazioni vettoriali delle parole e stima la distribuzione di probabilità dei documenti secondo classi predefinite. Le parole sono rappresentate in forma vettoriale sulla base della suddivisione automatica delle parole in parti (sottoparole), simulando l’apertura del dizionario. La rappresentazione tramite sottoparole è importante poiché la lingua ucraina è altamente flessiva e devono essere coperte numerose parole non osservate, nonché parole con errori ortografici. L’efficacia dell’approccio utilizzato è determinata anche dalle condizioni tecniche di funzionamento del sistema e dalle risorse testuali disponibili per l’addestramento del modello. Un corpus preparato di circa 12,000 documenti testuali è stato utilizzato per la classificazione binaria finalizzata al rilevamento dei contenuti tossici. Il risultato migliore, basato sulla metrica generalizzata (F1 = 79.4%), è stato ottenuto con le seguenti impostazioni degli iperparametri: dimensionalità del vettore delle parole pari a 56, tasso di apprendimento iniziale pari a 0.15, 500 epoche di addestramento, contesto lessicale rappresentato da bigrammi, lunghezze delle sottoparole comprese tra 2 e 5 caratteri e soglia decisionale pari a 0.4. Inoltre, il modello ha dimostrato una sensibilità dell’85%, raggiungendo al contempo un’accuratezza di circa il 70%. 240 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) 5.2. Identificazione dell’autore La ricerca sperimentale sui modelli per l’identificazione dell’autore dei testi è stata condotta utilizzando una parte del corpus di testi sociopolitici pubblicamente disponibili, nei quali è possibile identificare la persona autrice del documento. Sono stati selezionati complessivamente 702 testi di quattro autori che avevano pubblicato il maggior numero di documenti, di lunghezza compresa tra 60 e 1000 caratteri. Il maggior numero di pubblicazioni di un autore è 304 (115 mila caratteri), mentre il numero minore è 109 (49 mila caratteri). Per i test sono stati selezionati casualmente 25 testi per ciascun autore scelto. I documenti rimanenti hanno costituito il set di addestramento. Il risultato migliore, secondo la metrica generalizzata (F1 = 81%), è stato ottenuto con i seguenti valori degli iperparametri: dimensione dello spazio delle rappresentazioni vettoriali delle parole pari a 50, tasso di apprendimento iniziale pari a 0.1, 50 epoche di addestramento, contesto lessicale rappresentato da bigrammi, lunghezze delle sottoparole comprese tra 2 e 5 caratteri e soglia decisionale pari a 0.5. In particolare, per alcune configurazioni del modello, la sensibilità verso l’autore con il maggior numero di documenti nel dataset ha raggiunto il 100%, con un’accuratezza superiore al 90%. Questi risultati dimostrano la possibilità di sviluppare un sistema efficace, capace di trattare accuratamente i testi di autori sufficientemente rappresentati nel set di addestramento. I modelli di rete neurale addestrati sono stati integrati nel sistema TextAttributor mediante l’architettura «client-server», nella quale sono presentati i risultati di due compiti: (a) determinazione della tossicità e (b) rilevamento dell’autore. Il risultato del funzionamento del sistema sul testo della «Legge dell’Ucraina sull’istruzione superiore»: Indice di tossicità (stima sotto forma di probabilità: quanto è tossico il testo) – 0.04, somiglianza con gli autori (stime sotto forma di probabilità di paternità per gli autori noti al sistema): 0.49 per I. Farion, 0.30 per Oleksii Honcharenko e 0.22 per Mariana Bezugla. 6. CONCLUSIONI Il sistema TextAttributor è attualmente in fase di test per affrontare i problemi di attribuzione e determinazione della tossicità nei testi in lingua ucraina. Questo sistema è pratico ed efficace per diversi studi tecnologici. In 5 mesi, l’applicazione web TextAttributor ha analizzato automaticamente 784 testi ucraini di 226 utenti. I nostri risultati dimostrano l’efficacia del metodo, che consiste nel quantificare gli elementi verbali sulla base di parametri grammaticali formali e semantici, in particolare per l’emotività negativa. Ciò si ottiene attraverso una combinazione di approcci dizionariali e basati su regole, integrati dall’apprendimento automatico Straipsniai / Articles 241 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK tecniche. La ricerca sperimentale di apprendimento automatico per il rilevamento della tossicità e l’identificazione dell’autore mediante il testo ci ha permesso di ottenere risultati comparabili a quelli degli esperimenti con caratteristiche simili del modello (numero di documenti e autori) riportati per altre lingue. I modelli a sottoparole hanno mostrato una maggiore robustezza rispetto all’apertura lessicale e agli errori testuali. La ricerca condotta apre la strada alla soluzione, per l’ucraino, di problemi quali il rilevamento e il monitoraggio dei contenuti tossici, del discorso d’odio e della disinformazione, la verifica dell’autore e la deoffuscazione, la profilazione e la diarizzazione dell’autore, la profilazione psicolinguistica, la modellizzazione dello stile e il tracciamento della fonte dei contenuti falsi, ecc. Lo schema sviluppato di analisi e attribuzione dei testi può essere applicato anche ad altre lingue. In prospettiva, intendiamo integrare il nostro strumento automatico di attribuzione dei testi e rilevamento della tossicità con l’analisi semantica, sintattica, psicolinguistica e sociolinguistica. Questa integrazione ci offrirà una comprensione più approfondita dell’impatto sul lettore. Utilizzando l’analisi semantica della tassonomia lessicale, puntiamo a identificare gli elementi narrativi inerenti al testo, aumentando così l’affidabilità dell’attribuzione dei testi nelle procedure di identificazione dell’autore. Inoltre, prevediamo di ampliare i nostri corpora testuali e di utilizzare modelli linguistici di grandi dimensioni multilingui per estendere ulteriormente le capacità del sistema, nonché di implementare strumenti per il confronto statistico dei testi per tutti gli stili della lingua ucraina. Ringraziamenti Il sistema è stato creato nell’ambito di un progetto sostenuto dall’Ambasciata britannica a Kyiv e realizzato da un gruppo di docenti e ricercatori della Cattedra di lingua ucraina e linguistica applicata dell’Università Nazionale Taras Shevchenko di Kyiv. Desideriamo esprimere il nostro sincero apprezzamento all’Ambasciata britannica a Kyiv per il sostegno finanziario a questo progetto di ricerca. Siamo grati a Svitlana Yavorska e Iryna Bezkorovayna per la loro guida e assistenza durante tutto il progetto. Un ringraziamento speciale a Kostiantyn Goncharenko per l’organizzazione e il supporto documentale del progetto. Inoltre, siamo grati agli studenti del programma educativo «Linguistica applicata (informatica) e lingua inglese» dell’Università Nazionale Taras Shevchenko di Kyiv. Hanno contribuito con il loro tempo, le loro competenze e i loro sforzi alla formazione del corpus di testi tossici ucraini. Siamo grati a Oksana Tolochko, laureata del nostro corso di laurea, per aver creato un dizionario tonale della lingua ucraina, che abbiamo utilizzato per compilare un elenco lessicografico di emoticon negative. Inoltre, apprezziamo profondamente gli sforzi compiuti da Mykola Kostikov nel processo di raccolta dei dati. Desideriamo esprimere la nostra sincera gratitudine a tutti i membri della comunità di ricerca che hanno contribuito a questo studio con i loro consigli e le loro consulenze. 242 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) REFERENCES ALIAS – Automated Linguistic Identification & Assessment System. Available at: https://aliastechnology.com/alias-overview/. Alkomah Fatimah, Ma Xiaogang 2022: A Literature Review of Textual Hate Speech Detection Methods and Datasets. – Information 13(6), 273. DOI: 10.3390/info13060273. Argamon Shlomo 2007: Interpreting Burrows’s Delta: Geometric and Probabilistic Foundations. – Literary and Linguistic Computing 23, 131–147. DOI: 10.1093/llc/fqn003. Bonetti Andrea, Martínez-Sober Marcelino, Torres Julio, Vega Jose, Pellerin Sebastien, Vila-Francés Joan 2023: Comparison between Machine Learning and Deep Learning Approaches for the Detection of Toxic Comments on Social Networks. – Applied Sciences 13(10), 6038. DOI: 10.3390/app13106038. Buk Solomija 2021: Long prose fiction by I. Franko: electronic corpus, frequency dictionaries and other interdisciplinary contexts, LNU imeni Ivana Franka [Ivan Franko National University of Lviv]. Burrows John 2002: “Delta”: a Measure of Stylistic Difference and a Guide to Likely Authorship. – Literary and Linguistic Computing 17(3), 267–287. DOI: 10.1093/llc/17.3.267. Burrows Steven, Uitdenbogerd Alexandra, Turpin Andrew 2014: Comparing techniques for authorship attribution of source code. – Software: Practice and Experience 44(1), 1–32. DOI: 10.1002/spe.2146. Canhasi Ercan, Kadriu Arbana, Misini Arta 2022: A Survey on Authorship Analysis Tasks and Techniques. – SEEU Review 17(2), 153–167. DOI: 10.2478/seeur-2022-0100. Chuhunov Vadym 2009: Diahnostyka v psyk hoterapii ta psykhoterapevtychnyi diahnoz, Kharkiv: Nauka. Darchuk Natalia, Sorokin Viktor 2022: Parameterization of the Ukrainian Text Corpus based on parsing. – Computational Linguistics and Intelligent Systems, Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022) 1: Main Conference, eds. V. Lytvyn, N. Sharonova, I. Jonek-Kowalska, A. Kowalska-Styczen, V. Vysotska, Ye. Kuprianov, O. Kanischeva, O. Cherednichenko, Th. Hamon, N. Grabar, Poland, 12–13 May, 2022, 256–265. Darchuk Natalia, Zuban’ Oksana, Sorokin Viktor 2024: On stylistic differentiation in Ukrainian poetic speech based on the syntactic structure of Straipsniai / Articles 243 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK sentences. – Bulletin of Taras Shevchenko National University of Kyiv. Literary Studies. Linguistics. Folklore Studies 1(35), 5–10. DOI: 10.17721/1728-2659.2024.35.01. Darčuk Natalija 2013: Komp’juterne anotuvannja ukrajin’s’koho tekstu: rezul’taty i perspektyvyj, Kyiv: Osvita Ukrajiny. Darčuk Natalija, Vasyl’jeva Iryna, Vasyl’jev Oleksij 2021: Vektorna model’ analizu stylistyku tekstiv. – Ukrajins’kyj fizičnyj žurnal 66(5), 373–378. Eder Maciej 2015: Does size matter? Authorship attribution, small samples, big problem. – Digital Scholarship in the Humanities 30(2), 167–182. DOI: 10.1093/llc/fqt066. Eder Maciej, Rybicki Jan 2013: Do birds of a feather really flock together, or how to choose training samples for authorship attribution. – Literary and Linguistic Computing 28(2), 229–236. DOI: 10.1093/llc/fqs036. Evert Stefan, Proisl Thomas, Schöch Christof, Jannidis Fotis, Pielström Steffen, Vitt Thorsten 2015: Explaining Delta, or: How do distance measures for authorship attribution work? – Corpus Linguistics 2015: Abstract Book, United Kingdom, 21 July 2015, eds. F. Formato, A. Hardie, Lancaster: UCREL. Available at: https://zenodo.org/records/18308. Gupta Shriya T. P., Sahoo Jajati K., Roul Rajendra K. 2019: Authorship identification using recurrent neural networks. – ICISDM’19: Proceedings of the 2019 3rd International Conference on Information System and Data Mining, United States, 06 April 2019, New York: Association for Computing Machinery, 133–137. DOI: 10.1145/3325917.3325935. Hoover David 2004: Testing Burrows’s delta. – Literary and Linguistic Computing 19(4), 453–475. DOI: 10.1093/llc/19.4.453. Hoover David 2005: Delta, Delta Prime, and Modern American Poetry: Authorship Attribution Theory and Method. – ACH/ALIC 2005: Proceedings of the 17th Joint International Conference of the Association for Computers and the Humanities (ACH) and the Association for Literary and Linguistic Computing, Canada, 15–18 June 2005, University of Victoria: Humanities Computing and Media Centre, 79–80. Jannidis Fotis, Pielström Steffen, Schöch Christof, Vitt Thorsten 2015: Improving Burrows’ Delta – An empirical evaluation of text distance measures. – DH 2015: Digital Humanities, Abstracts of the Global Digital Humanities Conference 11, Australia, 29 June – 3 July 2015, Sydney. DOI: https://zenodo.org/records/1321296. Joulin Armand, Grave Edouard, Bojanowski Piotr, Douze Matthijs, Jégou Hervé, Mikolov Tomas 2016: FastText.zip: Compressing text classification models. – ArXiv e-prints 1612.03651. DOI: 10.48550/arXiv.1612.03651. 244 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Karasov Vitalii, Levchenko Olena 2024: Statistical profile of O. Zabuzhko’s idio style. – CEUR Workshop Proceedings 3722: Proceedings of the 8th International Conference on Computational Linguistics and Intelligent Systems, Lviv, April 12–13, 2024, 251–264. Khan Talha F., Anwar Waheed, Arshad Humera, Abbas Syed N. 2023: An Empirical Study on Authorship Verification for Low Resource Language Using Hyper-Tuned CNN Approach. – IEEE Access 11, 80403–80415. DOI: 10.1109/ACCESS.2023.3299565. Khomytska Iryna, Teslyuk Vasyl, Bazylevych Iryna, Karamysheva Iryna 2023: Automated Identification of Authorial Styles. – CEUR Workshop Proceedings: Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems, 3396, Kharkiv, April 20–21, 2023. Available at: https://ceur-ws.org/Vol–3396/paper26.pdf. KUM – Korpus ukrajins’koji movy: Linhvistyčnyj portal Mova.info. Available at: http://www.mova.info/corpus.aspx. LIWC–22 – Linguistic Inquiry and Word Count. Available at: https://www.liwc.app. Lototska Nataliia 2022: Statistical Characteristics of Roman Ivanychuk’s Idiolect (Based on Writer’s Text Corpus). – CEUR Workshop Proceedings 3171, 487–500. Lupei Maksym, Mitsa Aleksander, Reparіuk Volodymyr, Sharkan Vasyl 2020: Identification of authorship of Ukrainian-language texts of journalistic style using neural networks. – Eastern-European Journal of Enterprise Technologies 1/2(103), 30–36. DOI: 10.15587/1729–4061.2020.195041. McInnes Leland, Healy John, Melville James 2020: UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. – ArXiv e-prints 1802.03426. DOI: 10.48550/arXiv.1802.03426. Meier Tabea, Boyd Ryan, Pennebaker James, Meh Matthiasl, Martin Mike, Wolf Markus, Horn Andrea 2019: “LIWC auf Deutsch”: The development, psychometrics, and introduction of DE-LIWC2015. – PsyArXiv Preprints. DOI: 10.31234/osf.io/uq8zt. Rybicki Jan, Eder Maciej 2011: Deeper Delta across Genres and Languages: Do We Really Need the Most Frequent Words? – Literary and Linguistic Computing 26(3), 315–321. DOI: 10.1093/llc/fqr031. Savoy Jacques 2015: Comparative evaluation of term selection functions for authorship attribution. – Digital Scholarship in the Humanities 30(2), 246–261. DOI: 10.1093/llc/fqt047. Straipsniai / Articles 245 NATALIIA DARCHUK, OKSANA ZUBAN, VALENTYNA ROBEIKO, YULIIA TSYHVINTSEVA, VICTOR SOROKIN, MYKOLA SAZHOK TextAttributor 1.0 2024: TextAttributor 1.0: The system for automatic stylometric analysis of Ukrainian media texts. Available at: ta.mova.info. Volos Yana, Levchenko Olena 2023: Statistical profile of Valerie Shevchuk’s idiostyle (morphological level). – Slobozhan Scientific Bulletin, Ser. Philology, 3, 32–36. DOI:10.32782/philspu/2023.3.6. Zuban’ Oksana 2019: The Morphemic System Stylometric Analysis of the Ukrainian Poets’ Idiostyles: Corpus Based Approach. – Linhvistychni studiji 38, 96–104. DOI: 10.31558/1815-3070.2019.38.15. Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas) SANTRAUKA Sistema „TextAttributor“ statistiškai parametrizuoja ukrainiečių kalbos tekstus autorystės atpažinimo ir nuotaikų analizės aspektais. Naudodama daugiaparametrinį 15 statistinių indeksų rinkinį, „TextAttributor“ apibūdina autorines stilistines ypatybes. Ji integruoja tokius metodus kaip komponentinė analizė, paskirstymo analizė, kvantavimas ir nuotaikų analizė panaudojant žodynus ir mašininio mokymosi metodus, skirtus nemandag aus teksto ir autorystės išaiškinimui. Sistema apdoroja tekstus taikydama tokenizavimą, morfologinį žymėjimą, kontekstinę ir sintaksinę analizę ir emociškai neigiamo žodyno atitikimą, leidžiantį išsamiai vizualizuoti ir ekspertiškai įvertinti teksto priskyrimą ir neigiamą turinį. Eksperimentai patvirtina sistemos gebėjimą nustatyti unikalius autoriaus bruožus ir įvertinti teksto panašumą, ypač politinio diskurso ir nemandagios komunikacijos žiniasklaidos kontekste Rusijos ir Ukrainos karo metu. Straipsnyje pabrėžiama praktinė ir teorinė „TextAttributor“ reikšmė, demonstruojant jos efektyvumą didelėms teksto apimtims ir tikslioms analitinėms galimybėms. Sėkmingas žodynais, taisyklėmis pagrįstų ir mašininio mokymosi metodų taikymas pabrėžia sistemos tvirtumą ir universalumą. Beta versija ir tebevykdomų tyrimų rezultatai yra nuodugniai išnagrinėti, o būsimos jų kryptys nustatomos siekiant išplėsti kalbinį korpusą ir tobulinti mašininio mokymosi modelius, siekiant pagerinti tikslumą ir pritaikomumą. 246 Acta Linguistica Lithuanica XCI The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality) Įteikta 2024 m. lapkričio 25 d. NATALIIA DARCHIUK Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] OKSANA ZUBAN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] VALENTYNA ROBEIKO Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] YULIIA TSYHYVINTSEVA Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine Institute of the Ukrainian Language of the National Academy of Sciences of Ukraine 4 Mykhailo Hrushevskyi Street Kyiv, 01001, Ukraine [email protected] VICTOR SOROKIN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected] MYKOLA SAZHOK Institute for information technologies and systems of the National Academy of Sciences of Ukraine 40 Akademika Hlushkova Avenue Kyiv, 03187, Ukraine [email protected] Straipsniai / Articles 247