Instituto de Tecnologias e Sistemas de Informação da Academia Nacional de Ciências da Ucrânia
ID ORCID: orcid.org/0000-0003-1169-6851
Áreas de investigação: análise, reconhecimento e síntese da fala, processamento de linguagem natural.
DOI: doi.org/10.35321/all91-09
O SISTEMA PARA A ANÁLISE ESTILOMÉTRICA AUTOMÁTICA DE TEXTOS UCRANIANOS DE MEIOS DE COMUNICAÇÃO TEXTATTRIBUTOR 1.0 (TÉCNICAS, MEIOS, FUNCIONALIDADE)
Sistema de análise estilométrica automática de textos da comunicação social ucraniana „TextAttributor 1.0“ (métodos, meios, funcionalidade)
RESUMO
Este artigo apresenta a estrutura, os algoritmos, a implementação e os resultados experimentais do sistema automático TextAttributor, desenvolvido pelos autores do artigo para a parametrização estatística de textos em língua ucraniana mediante um conjunto multiparamétrico de índices estatísticos, que caracteriza o estilo textual do autor e é aplicável a tarefas de atribuição de autoria. Com base nos recursos linguísticos e no software criados, o sistema gera uma análise linguística com base nos índices estatísticos calculados e realiza um estudo comparativo de dois textos. Um critério adicional para a indexação estatística é o índice de toxicidade do texto, calculado através do método de identificação verbal do sentimento tóxico. As tarefas de deteção de autoria e toxicidade são abordadas utilizando dois métodos: cálculos estatísticos baseados em dicionários e regras e aprendizagem automática. Os resultados atuais, implementados na versão beta do TextAttributor, são examinados detalhadamente.
PALAVRAS-CHAVE: linguística computacional, língua ucraniana, análise de sentimentos, atribuição de autoria, estilometria, classificação de textos.
224
Acta Linguistica Lithuanica XCI
Page 3
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
R E S U M O
Este artigo apresenta a estrutura, os algoritmos, a implementação e os resultados experimentais do sistema automático „TextAttributor“, criado pelos autores do artigo para a parametrização estatística de textos em língua ucraniana, utilizando um conjunto multiparamétrico de índices estatísticos que caracteriza o estilo textual do autor e é aplicável a tarefas de atribuição de autoria. Com base nos recursos linguísticos e no software criados, o sistema gera uma análise linguística segundo os índices estatísticos calculados e realiza uma análise comparativa de dois textos. Um critério adicional da indexação estatística é o índice de toxicidade do texto, calculado mediante o método de identificação verbal de sentimentos tóxicos. As tarefas de determinação da autoria e da toxicidade são resolvidas por dois métodos: cálculos estatísticos baseados em dicionário e regras e aprendizagem automática. Os resultados atuais, obtidos com a versão beta do „TextAttributor“, são analisados detalhadamente.
PALAVRAS-CHAVE: linguística computacional, língua ucraniana, análise de sentimentos, atribuição de autoria, estilometria, classificação de textos.
1. INTRODUÇÃO
A investigação textológica adquiriu nova importância científica com o avanço dos métodos de linguística computacional, que contribuíram para a formação de uma nova área que pode ser considerada textologia digital. No âmbito desta disciplina emergente, conceptualizamos a textologia digital como a utilização de técnicas automatizadas de linguística de corpus, associadas a modelos matemáticos para a análise quantitativa de textos. Orientada pelas tarefas atuais da linguística quantitativa moderna e do processamento de linguagem natural, a nossa equipa desenvolveu um sistema para a análise linguístico-estatística automática de textos dos meios de comunicação social, implementado como uma aplicação web denominada TextAttributor (TextAttributor 1.0 2024). O sistema opera em quatro tarefas: 1) parametrização estatística do texto; 2) estilometria: determinação das características linguístico-estatísticas do idioleto; 3) atribuição: determinação do grau de semelhança entre textos; e 4) análise de sentimentos: identificação do léxico de sentimentos negativos nos textos. Além disso, no âmbito do sistema, são geradas automaticamente duas conclusões de peritagem linguística com base nos resultados da segunda e da quarta tarefas. A multifuncionalidade do sistema TextAttributor exige que os utilizadores se familiarizem com os seus princípios de funcionamento. O objetivo deste artigo é dar a conhecer à comunidade filológica académica e educativa a metodologia de criação, a arquitetura e os resultados operacionais do sistema, proporcionando uma compreensão clara das suas funções e capacidades analíticas, que são particularmente relevantes. Esta abordagem é especialmente relevante para a análise de grandes volumes de comunicações na Internet e
reforçar as estratégias de defesa da informação durante a atual guerra russo-ucraniana. O conceito de desenvolver um sistema automático de atribuição de textos em língua ucraniana surgiu da análise de investigações no domínio da linguística de corpus ucraniana (Darčuk 2013) e de estudos estatísticos do estilo do autor (Darčuk et al. 2021; Darchuk, Sorokin 2022; Zuban 2019), realizados pelos autores do projeto com recurso ao Corpus da Língua Ucraniana (KUM).
Durante o desenvolvimento do sistema TextAttributor, foram utilizados os seguintes métodos: análise de componentes, análise distributiva e análise de conteúdo. A análise de conteúdo, um método quantitativo e qualitativo de extração de informação de textos, utilizou o processamento de linguagem natural e técnicas estatísticas. Também foram aplicadas a quantificação e a análise de sentimentos. A análise de sentimentos identifica automaticamente a tonalidade do texto com base tanto na coloração emocional como na avaliação que o autor faz de acontecimentos ou objetos, o que foi conseguido através de cálculos estatísticos baseados em dicionário e regras.
Além disso, foram incorporados métodos de aprendizagem automática, incluindo a aprendizagem profunda. A estrutura estatística de um texto, entendida como o seu modelo quantitativo, permite identificar o seu estilo funcional, a autoria e o período de criação. Neste trabalho, os componentes da estrutura estatística foram extraídos através da análise de características estatísticas lexicais e gramaticais, utilizando técnicas de indexação e métricas de distância euclidiana. A distância euclidiana, que mede a distância entre dois pontos num espaço euclidiano n-dimensional, é uma das métricas mais utilizadas em linguoestatística para a análise de clusters em estilometria e atribuição de autoria.
A novidade dos resultados consiste na primeira implementação, em linguística computacional, de um modelo estilométrico morfossintático-semântico automatizado para a análise textual, baseado em 15 índices estatísticos que parametrizam principalmente a estrutura morfológica, bem como as estruturas sintática e semântica do texto. Um modelo estilométrico é um conjunto de parâmetros estatísticos de um texto (lexicais, morfológicos, sintáticos, etc.), com base nos quais se realiza uma análise comparativa desse texto com o modelo estilométrico do estilo funcional. Em nossa opinião, é possível obter um sistema rigoroso, determinístico e cientificamente fundamentado de características comuns e distintivas em estilos, géneros, etc., através da utilização de métodos estáticos na construção de um modelo estilométrico. Pela primeira vez, o modelo estilométrico introduz o parâmetro do índice de toxicidade, que caracteriza de forma particular os textos dos meios de comunicação social durante a guerra russo-ucraniana. Este modelo é implementado não só na função de parametrização estatística dos textos, típica dos sistemas deste tipo, mas também na função de comparação do texto analisado com o estilo mediático da língua ucraniana e em tarefas estilométricas e de atribuição que envolvem dois ou mais textos. A importância teórica estende-se à validação de dois métodos para determinar a toxicidade do texto e
226
Acta Linguistica Lithuanica XCI
Page 5
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
a autoria em ucraniano: 1) através de abordagens baseadas em dicionários e regras; e 2) através de aprendizagem automática, incluindo aprendizagem profunda.
2. TRABALHOS RELACIONADOS
Na linguística ucraniana moderna, foram realizados estudos linguístico-estatísticos substanciais sobre os idioletos de escritores e poetas ucranianos, incluindo Taras Shevchenko, Lesya Ukrainka, Vasyl Stus (Zuban’ 2019), Ivan Franko (Buk 2021), Roman Ivanychuk (Lototska 2022), Valerii Shevchuk (Volos, Levchenko 2023), Mariia Matios, Yurii Andrukhovych, Oksana Zabuzhko (Karasov, Levchenko 2024), Ivan Drach, Mykola Vingranovsky (Darchuk et al. 2024), Lina Kostenko (Zuban’ 2019; Darchuk et al. 2024), entre outros. Estes estudos foram realizados com amostras textuais representativas (textos longos), utilizando predominantemente um ou alguns (não mais de cinco) parâmetros estatísticos, frequentemente sem aplicar comparação estilométrica. Além disso, devido à natureza laboriosa da realização de experiências linguístico-estatísticas, a linguística ucraniana negligenciou em grande medida a parametrização estatística abrangente, a comparação dos textos analisados com parâmetros estatísticos padrão dos estilos funcionais, a determinação do grau de semelhança textual, bem como a análise estilométrica e de atribuição de textos curtos. A utilização do sistema TextAttributor na investigação linguístico-estatística, destinada a executar automaticamente estas tarefas, não só fornecerá características de frequência dos fenómenos linguísticos, como também permitirá uma análise estilométrica eficiente, resultando num parecer pericial.
O sistema TextAttributor apresenta vantagens em comparação com os seus equivalentes na ciência mundial. A maioria dos sistemas e modelos existentes também se concentra na utilização de módulos linguístico-estatísticos individuais para identificar um ou alguns parâmetros textuais, sobretudo formais (n-gramas, palavras mais frequentes, letras) (Eder 2015; Canhasi et al. 2022; LIWC-22; Khomytska et al. 2023; ALIAS). Em contraste, o TextAttributor 1.0 oferece uma abordagem abrangente, incluindo a análise estatística interativa da estrutura lexical, morfológica, sintática e semântica do texto, em tempo real, através de 15 parâmetros.
A atribuição de textos é desenvolvida ativamente nos estudos textuais estrangeiros, em particular, a eficácia do método de Burrows (Burrows 2002; Argamon 2007; Eder, Rybicki 2013; Burrows et al. 2014) é testada em muitos estudos sobre grandes volumes de dados textuais de vários estilos, tais como: prosa inglesa do início do século XX (Hoover 2004); poesia inglesa contemporânea (Hoover 2005); obras poéticas em latim (Rybicki, Eder 2011); obras em prosa dos principais géneros em inglês, francês, italiano, alemão, polaco, húngaro, bem como em latim e árabe (Rybicki, Eder 2011; Evert et al. 2015; Jannidis et al. 2015); textos políticos em inglês, incluindo
a atribuição de discursos de presidentes americanos (Savoy 2015). Outro método de análise linguística automática, denominado “Linguistic Inquiry and Word Count” (LIWC), é implementado como uma aplicação comercial e adaptado a várias línguas (Meier et al. 2019; LIWC-22).
Nos últimos anos, as tarefas de atribuição automática de textos utilizaram predominantemente métodos estilométricos baseados em regras ou métodos de aprendizagem profunda (Eder 2015; Canhasi et al. 2022). Ambos os métodos foram implementados no sistema TextAttributor, funcionando eficazmente, mas produzindo resultados diferentes: 1) o método baseado em regras permite automatizar a geração de conclusões linguísticas sobre o idioleto e a toxicidade do texto; 2) o método de aprendizagem automática determina apenas o grau de toxicidade e a semelhança entre textos e pode ser utilizado em tarefas de classificação para a monitorização de conteúdos textuais.
Os métodos recentes de aprendizagem automática para a análise de sentimentos e a identificação da autoria de textos baseiam-se em abordagens estatísticas (TF-IDF, Latent Dirichlet Allocation) e em técnicas de aprendizagem profunda com várias arquiteturas (CNN, LSTM, BERT), em combinação com métodos estilométricos (Gupta et al. 2019; Canhasi et al. 2022; Bonetti et al. 2023). Os resultados apresentados dependem extremamente do número de classes (tipos de toxicidade, autores), do género, do comprimento do texto e, sobretudo, do volume do corpus textual devidamente anotado utilizado no procedimento de treino. Assim, taxas elevadas de precisão nas tarefas de deteção de toxicidade e discurso de ódio ultrapassam 90% utilizando um corpus que contém dezenas de milhares de documentos (Alkomah, Ma 2022). Por exemplo, alcança-se uma precisão superior a 90% na atribuição de autoria de obras literárias em língua inglesa entre 1000 autores, utilizando um corpus de 6000 documentos para 15 autores. Por sua vez, para corpora que contêm menos de 1500 documentos, a precisão apresentada é de cerca de 70% (Khan et al. 2023). Para a língua ucraniana, a identificação da autoria textual e a análise de sentimentos/toxicidade são problemas pouco estudados (Lupei et al. 2020); além disso, esses sistemas não produzem perícia linguística e não podem ser utilizados como ferramentas de investigação linguística.
3. CARACTERÍSTICAS GERAIS DO FUNCIONAMENTO DO SISTEMA TEXTATTRIBUTOR
Durante o desenvolvimento do TextAttributor, foram realizadas as seguintes tarefas: 1) Linguística teórica: foi desenvolvida uma metodologia para análises morfológica, estatística, estilométrica, de atribuição e de sentimentos formalizadas; 2) Engenharia de software: foram desenvolvidas a estrutura das bases de dados linguísticas e o software para as análises automáticas anteriormente mencionadas; 3) Linguística experimental: o sistema foi testado em textos ucranianos dos meios de comunicação social, e
228
Acta Linguistica Lithuanica XCI
Page 7
O Sistema para a Análise Estilométrica Automática de Textos Ucranianos de Meios de Comunicação TextAttributor 1.0 (Técnicas, Meios, Funcionalidade)
foi implementado um módulo analítico para o exame estilométrico automático. O sistema linguístico automatizado, implementado como uma aplicação web, processa textos introduzidos pelo utilizador no estilo dos meios de comunicação social, gerando valores numéricos para parâmetros estatísticos que caracterizam os atributos do texto. O sistema segue uma sequência estruturada de operações:
1. Tokenização do texto: decomposição do texto em frases e palavras para análise.
2. Rotulagem morfológica: atribuição de rótulos às palavras com base nas suas formas gramaticais.
3. Análise contextual: atualização dos rótulos morfológicos em função do contexto.
4. Análise sintática: estabelecimento de relações binárias entre palavras nas frases para compreender a sua estrutura gramatical.
5. Estabelecimento de relações sintáticas: determinação das conexões sintáticas com base em regras predefinidas.
6. Correspondência de vocabulário emocionalmente negativo: identificação de palavras pertencentes a um conjunto predefinido de vocabulário negativo.
7. Avaliação de parâmetros estatísticos: avaliação dos parâmetros estatísticos do texto de entrada utilizando vocabulários de frequência compilados automaticamente.
8. Visualização dos resultados: apresentação gráfica dos resultados da parametrização estatística, com valores empíricos e intervalos de confiança.
9. Comparação dos resultados: visualização dos resultados da parametrização estatística de dois textos no estilo dos meios de comunicação social, facilitando a comparação.
10. Avaliação da distância euclidiana: quantificação da dissimilaridade entre dois textos no estilo dos meios de comunicação social.
11. Geração de parecer pericial: geração de dois pareceres periciais: um sobre a atribuição do texto e outro sobre a toxicidade textual, através de exame linguístico.
12. Deteção de toxicidade e identificação de autoria: utilização de técnicas de aprendizagem automática, particularmente modelos de redes neuronais, para detetar a toxicidade e identificar autores.
Os resultados do sistema estão organizados nas seguintes secções: Grupo de Índices de Atribuição Textual, Parecer Pericial sobre Atribuição Textual, Comparação da Atribuição Textual, Perícia Linguística da Toxicidade Textual e Pareceres da Rede Neuronal.
No Grupo de Índices de Atribuição Textual (Fig. 1), os parâmetros estatísticos são organizados com base no texto de entrada: a coluna 1 apresenta o título do índice, a coluna 2 apresenta o valor numérico empírico e a coluna 3 fornece uma referência visual, comparando o valor empírico do índice com os limiares do intervalo de confiança
(inferior e superior) obtidos a partir de textos do estilo mediático ucraniano. O valor numérico empírico é representado na escala por um triângulo invertido preenchido.
FIGURA 1: Fragmento do resultado da atribuição textual
Na Parecer Pericial sobre Atribuição Textual (Fig. 2), apresentamos conclusões relativas às características linguístico-estatísticas típicas ou individuais extraídas do texto analisado para cada índice estimado. Estas conclusões são derivadas das respostas à pergunta: o valor numérico do índice encontra-se dentro do intervalo de confiança do estilo mediático da língua ucraniana? Com base na comparação dos valores numéricos com os valores-limite do intervalo de confiança, o sistema gera três respostas possíveis (sinais típicos do estilo mediático, sinais de idioleto inferiores ao estilo mediático normal e sinais de idioleto superiores ao estilo mediático normal).
Na Comparação da Atribuição Textual (Fig. 4, subseção 4.2), após selecionar “Calcular distância vetorial”, os dados tabulados são prontamente atualizados da seguinte forma: a coluna 1 enumera os textos introduzidos pelo utilizador, juntamente com o texto anteriormente analisado; a coluna 2 apresenta o número de frases de cada texto; a coluna 3 mostra a contagem de palavras; a coluna 4 apresenta a distância euclidiana entre o texto analisado e cada texto da tabela; a coluna 5, intitulada “Comparar”, inicia uma comparação automática dos índices estatísticos entre o texto analisado e o texto selecionado. Ao ativar o elemento “Comparar” correspondente, são fornecidas informações abrangentes sobre a comparação estatística entre dois textos no grupo “Índices de Atribuição Textual” (Fig. 3).
230
Acta Linguistica Lithuanica XCI
Page 9
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
FIGURA 2: Exemplo de parecer pericial gerado
Na Perícia Linguística da Toxicidade Textual (subsecção 4.3), é apresentada uma interpretação léxico-semântica do índice de toxicidade calculado (Fig. 6).
Nos Pareceres da Rede Neuronal apresentamos o resultado do nosso modelo de aprendizagem profunda, que quantifica a toxicidade textual numa escala de 0 (não tóxico) a 1 (alta toxicidade). Avaliamos também a semelhança do texto com autores conhecidos, com valores que variam de 0 (sem semelhança) a 1 (alta semelhança), com base nos autores com os quais o modelo foi treinado. Os resultados são apresentados apenas para testes com uma medida de semelhança superior a 0,1. O nosso sistema atual funciona em modo de demonstração, utilizando um corpus limitado de textos de autores para avaliar a semelhança com o texto introduzido pelo utilizador.
4. ATRIBUIÇÃO DE TEXTOS EM LÍNGUA UCRANIANA: EXPERIÊNCIAS, RESULTADOS E DISCUSSÕES
4.1. Índices de parametrização estatística
O modelo estilométrico desenvolvido resolve duas tarefas: 1) identificar características individuais do estilo de um autor (estilometria); 2) avaliar a semelhança entre dois textos com base em parâmetros linguísticos e estatísticos (atribuição).
São utilizados 19 parâmetros para analisar estatisticamente o texto introduzido pelo utilizador (ver a Fig. 1 para o Grupo de Índices de Atribuição Textual). Os quatro parâmetros iniciais abrangem dados quantitativos básicos: contagem de palavras, palavras não processadas, dimensão do dicionário e contagem de frases. A contagem de palavras exclui o vocabulário não processado pelo sistema, como dialetismos, moscovitismos, ocasionalismos, etc. Os 15 parâmetros restantes consistem em índices calculáveis que produzem quantidades escalares.
Para a análise estilométrica, vamos validar a Hipótese 1. Esta hipótese afirma que, através da análise de dados empíricos que abrangem parâmetros estatísticos dentro e fora do intervalo de confiança do estilo mediático ucraniano, é possível discernir características autorais únicas num determinado texto mediático. Foram calculados dois conjuntos de intervalos de confiança para cada parâmetro linguístico com base em amostras de textos mediáticos ucranianos: um para textos com mais de 1000 palavras (dimensão da amostra: 124,576 palavras) e outro para textos até 1000 palavras (dimensão da amostra: 15,635 palavras).
O intervalo de confiança para cada parâmetro estatístico foi estabelecido utilizando o desvio-padrão, σ, do Valor Numérico Médio do Índice (ANVI) na amostra textual, designado por ANVI ± σ. O desvio-padrão estima em que medida os valores numéricos empíricos dos índices estatísticos podem desviar-se do valor numérico médio do índice no estilo mediático. Para garantir a exatidão, o intervalo de confiança de σ foi determinado através de uma experiência linguística e estatística. Consequentemente, o sistema oferece três conclusões possíveis ao testar a Hipótese 1: 1) o valor numérico do índice encontra-se dentro do intervalo de confiança; 2) o valor numérico do índice está abaixo do limiar inferior do intervalo; ou 3) o valor numérico do índice excede o limiar superior do intervalo.
Consideremos os resultados derivados da parametrização do Texto 1, da autoria do blogger Oleksii Honcharenko (ver Fig. 1). Esta análise baseia-se em parâmetros estatísticos e na sua subsequente interpretação, apresentada no parecer pericial gerado, conforme ilustrado na Fig. 2.
As métricas estatísticas relativas ao vocabulário e ao volume textual revelam uma relação quantitativa. No Texto 1, todos estes indicadores encontram-se dentro do intervalo típico do estilo mediático:
1) O Índice de Variedade (IB) representa a proporção entre as palavras únicas e a dimensão total do texto, servindo como medida da riqueza lexical. O valor de IB, 0.54, encontra-se no intervalo de 30%–60%, indicando um nível moderado de diversidade lexical;
2) O Índice de Exclusividade Textual (IVT) expressa a proporção entre o número de hapax legomena que ocorrem uma vez no texto e o volume textual. O IVT de 0.36 encontra-se no intervalo de 20%–40%, indicando baixa exclusividade lexical);
232
Acta Linguistica Lithuanica XCI
Page 11
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
3) O Índice de Exclusividade do Vocabulário (IVL) expressa a proporção entre o número de hapax legomena que ocorrem apenas uma vez no texto e o volume total do vocabulário. O IVL de 0.66 encontra-se no intervalo de 60%–76%, indicando um elevado grau de exclusividade lexical.
Em seguida, consideremos os parâmetros estatísticos da correlação quantitativa das classes lexicais e gramaticais de palavras no Texto 1:
1) O Índice de Atributos Nominais, ou Epitetização, (IIO) expressa a razão entre o número de substantivos e o número de adjetivos. O IIO de 1.07 é superior à norma do estilo jornalístico de 1.0, indicando uma predominância de substantivos sobre adjetivos, resultando em menos epítetos no texto;
2) O Índice de Atributos Verbais (IDO) expressa a razão entre o número de advérbios e o número de verbos. O IDO de 0.57 é superior à norma do estilo jornalístico de 0.56. Essa proporção de advérbios indica um baixo grau de atributos verbais no texto;
3) O Grau de Nominalização (STN) expressa a razão entre o número de substantivos e o número de verbos. O STN de 1.76 é inferior à norma do estilo jornalístico de 3.00. Uma diminuição desse índice indica uma predominância de verbos sobre substantivos e um baixo grau de nominalização do texto;
4) O Índice de Pronominalização (IPRO) expressa a razão entre o número de pronomes pessoais e o volume de palavras utilizadas no texto. O IPRO de 0.09 é superior à norma do estilo jornalístico e constitui um sinal do idioestilo. Os pronomes pessoais abrangem mais de 7% do texto, indicando o grau de coesão textual;
5) O Índice de Modalidade (MOD) expressa a razão entre o número de partículas e o número de palavras do texto. O IMOD de 0.07 é superior à norma do estilo jornalístico de 4% e constitui um sinal do idioestilo. As partículas abrangem mais de 4% do texto, o que determina o grau em que o autor expressa diversas avaliações de fenômenos e situações no texto;
6) O Índice de Substantividade (ISUB) expressa a razão entre o número de substantivos e o volume de palavras utilizadas no texto. O ISUB de 0.26 é inferior à norma do estilo jornalístico. Os substantivos abrangem menos de 30% do texto, o que determina o baixo grau de estaticidade textual.
Expliquemos os parâmetros estatísticos da razão quantitativa entre sintagmas e frases no Texto 1:
1) O Índice de Dinamismo (IDYN) expressa a razão entre o número de sintagmas verbais e o número de sintagmas nominais. O IDYN de 0.74 é superior à norma do estilo jornalístico de 0.6 e constitui um sinal do idioestilo. A predominância de sintagmas verbais sobre sintagmas nominais (IDYN superior a 1.0) determina o desenrolar dinâmico e rápido dos acontecimentos no significado do texto;
2) O Índice de Coerência (IZV) expressa a razão entre o número de preposições e conjunções e o número de frases no texto. O IZV de 0.66 situa-se no intervalo típico de 0.45 a 0.90 do estilo jornalístico, indicando uma predominância do número de frases sobre o número de preposições e conjunções. Isso determina o grau médio de coerência entre as realidades, os fenômenos e as situações descritos no Texto 1.
Será dada atenção especial aos parâmetros estatísticos psicolinguísticos (Chuhunov 2009) no Texto 1:
1) O coeficiente de Trager (KT) expressa a razão entre o número de verbos e o número de adjetivos no texto, indicando a estabilidade/instabilidade emocional do falante. O KT de 0.61 é superior à norma do estilo jornalístico de 0.5 e constitui um sinal do idioestilo. Segundo a interpretação psicológica, isso indica a baixa emotividade do autor/falante, indecisão para tomar ações práticas ativas e ansiedade. O valor no intervalo de 1.35 ± 0.05 determina a estabilidade emocional e a regulação normais do autor;
2) O Coeficiente de Certeza da Ação (KOD) expressa a razão entre o número de verbos e o número de substantivos no texto. Essa razão indica o grau de socialização do autor e a completude sintática do enunciado. O KOD de 0.57 situa-se no intervalo típico de 0.30 a 0.60 do estilo jornalístico, indicando um baixo grau do coeficiente de ação objetificado. Segundo a interpretação psicológica, isso sugere um baixo nível de emotividade no autor/falante, indecisão em relação a ações práticas ativas e ansiedade. Um valor no intervalo de 1.35 ± 0.05 determina a estabilidade emocional normal e a regulação das emoções pelo autor, o que, com base nas características linguísticas, indica um grau normal de completude sintática nas frases e uma estrutura sintática correta;
3) O Coeficiente de Agressividade (KA) expressa a razão entre o número de verbos e o uso de verbos e o número total de palavras no texto, marcando a agressividade da linguagem no aspecto psicolinguístico. O KA de 0.15 é superior à norma do estilo jornalístico de 13% e constitui um sinal do idioestilo. Segundo a interpretação psicológica, valores inferiores a 60% indicam um baixo grau de agressividade, emoções reprimidas do autor e sua indecisão. Aproximar-se de 60% determina o grau normal de agressividade e estabilidade emocional do autor, enquanto valores superiores a 60% indicam alta agressividade e excitação emocional do autor.
Por fim, consideremos o parâmetro estatístico semântico do Texto 1: o Índice de Toxicidade Textual (ITOX) é calculado a partir da frequência do vocabulário negativo no texto (para mais detalhes, ver a seção 4.3). O valor de ITOX de 0.36 situa-se no intervalo típico de 0.1 a 0.7 do estilo jornalístico. O ITOX molda atitudes cognitivas e pragmáticas em relação às emoções negativas.
234
Acta Linguistica Lithuanica XCI
Page 13
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
4.2. Comparação de textos por parâmetros estatísticos
A tarefa de avaliar o grau de similaridade entre dois textos envolveu o teste da Hipótese 2. Essa hipótese afirma que, se os dados empíricos resultantes da parametrização estatística de dois textos mostrarem apenas uma pequena diferença nos valores numéricos dos índices, então esses textos pertencem ao mesmo autor. Essa hipótese é testada no sistema de duas maneiras: 1) comparando os valores numéricos de cada índice nos dois textos; 2) determinando a distância vetorial entre os dois textos. Esses problemas são implementados na seção Comparação da Atribuição Textual. A primeira tarefa envolve a comparação dos dados empíricos dos textos usando índices na escala do intervalo de confiança do estilo jornalístico (Fig. 3). Conforme mostrado na Fig. 3, as características quantitativas dos parâmetros de ambos os textos são exibidas em cores diferentes para conveniência do usuário. A visualização compara os valores empíricos dos índices de ambos os textos com os limiares do intervalo de confiança (inferior e superior) derivados de textos do estilo jornalístico ucraniano.
FIGURA 3: Comparação da distância vetorial dos textos
A segunda tarefa consiste em calcular a distância vetorial entre dois textos usando a fórmula da distância euclidiana. Isso envolve somar os quadrados das diferenças entre os valores numéricos de 15 parâmetros estatísticos dos dois textos. Em seguida, calcula-se a raiz quadrada dessa soma. Os valores numéricos
da distância vetorial indicam a extensão da dissimilaridade estatística entre os textos e fornecem uma medida da distância entre eles. Embora as flutuações no valor da distância vetorial para textos jornalísticos não sejam bem conhecidas, a distância pode ser 0 ao comparar textos idênticos. Isso implica que os textos são diferentes se a distância vetorial for superior a 0. Além disso, quanto maior o valor numérico da distância vetorial, maiores serão as diferenças linguísticas e estatísticas entre os textos. A comparação da distância euclidiana é apresentada em formato tabular. Na Coluna 4 da Fig. 4, os valores numéricos representam as distâncias euclidianas. A Fig. 4 apresenta a comparação do texto analisado de Oleksii Honcharenko (Texto 1) com três outros textos do mesmo autor: linha 1 para o Texto 2 (distância 0.44); linha 2 para o Texto 3 (distância 0.56); linha 3 para o Texto 4 (distância 0.77). Os dados empíricos demonstram que a similaridade entre textos de um único autor permanece dentro de 1, enquanto textos de outros autores (linhas 4–10) apresentam distâncias superiores a 1.
FIGURA 4. Sistematização da distância euclidiana entre textos
Uma comparação dos parâmetros estatísticos dos textos nos convence de que a metodologia de atribuição proposta revela um modelo estilométrico de textos em língua ucraniana. Esse modelo também pode ser usado para determinar a autoria do texto. Confirmaremos isso com uma apresentação visual da atribuição de 7 textos de três autores diferentes segundo 15 parâmetros estatísticos, usando o método de Aproximação e Projeção Uniforme de Variedades (UMAP) (McInnes et al. 2020), cujo algoritmo também está implementado no sistema TextAttributor. Isso
236
Acta Linguistica Lithuanica XCI
Page 15
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
técnica permite reduzir a dimensionalidade do espaço de características projetando um espaço de 15 dimensões sobre o plano. Na Fig. 5, pontos de formas diferentes (P1–P7 para o Autor 1, F1–F7 para o Autor 2, M1–M7 para o Autor 3) correspondem a 7 textos selecionados aleatoriamente de autores diferentes.
Como podemos observar, após a redução da dimensionalidade, as representações dos pontos dos textos dos três autores podem ser visivelmente segregadas em áreas distintas. Este exemplo confirma que os parâmetros definidos pelo TextAttributor são importantes para descrever as características estilísticas dos textos e determinar a autoria do texto (mesmo de forma reduzida).
FIGURA 5: Representação gráfica da atribuição textual usando o método UMAP
4.3. Indexação do sentimento negativo do texto
Ao desenvolver um sistema de parâmetros estatísticos para determinar o estilo e a autoria do texto, reconhecemos que a toxicidade textual poderia servir como índice de atribuição. Por isso, criamos um módulo separado para determinar automaticamente o índice de toxicidade no TextAttributor.
Hoje, o componente informacional tornou-se particularmente importante na guerra híbrida. Portanto, o material do nosso estudo foi um corpus de pesquisa de textos jornalísticos on-line de discurso político, com um volume de 10 milhões de palavras. Usamos o termo “texto tóxico” em sentido amplo. Esses textos caracterizam-se por assédio, ameaças, obscenidade, cyberbullying, trolling e textos de ódio baseados na identidade, e contêm emoticons, que são fenômenos e objetos que causam emoções negativas em uma pessoa (por exemplo, guerra, ataque aéreo, corrupção).
Este projeto teve como objetivo determinar o potencial de manifestação do sentimento negativo em textos ucranianos e desenvolver um sistema automatizado para identificar conteúdo tóxico. Essa tarefa compreendia duas subtarefas consecutivas: primeiro, desenvolver um sistema de exame linguístico de textos tóxicos, com determinação dos índices de toxicidade por meio de análise baseada em dicionário e métodos baseados em regras; segundo, construir um conjunto de dados de treinamento para fins de aprendizado de máquina e desenvolver uma rede neural para prever índices de toxicidade textual.
Vejamos a realização da primeira tarefa. Isso envolveu a construção de um banco de dados lexicográfico que abriga três dicionários distintos:
1) Dicionário emotiogênico: uma compilação de 5000 palavras (de acordo com os significados das variantes léxico-semânticas) com tonalidades de sentimento negativo, avaliadas em uma escala de −2. Os exemplos incluem imoral, impunidade, suborno e roubar;
2) Dicionário de Discurso de Ódio: composto por 3000 palavras, incluindo nomes de indivíduos (1620), termos obscenos (613) e linguagem ofensiva (787). Os exemplos incluem ocidental (западенець: nome depreciativo para pessoas das regiões ocidentais da Ucrânia) e atravessador;
3) Frases Tóxicas: uma coleção de 1500 expressões idiomáticas que transmitem emoções negativas. Os exemplos incluem faz caretas como um macaco, beija a bunda e abre a boca.
Cada entrada dessas listas foi anotada com características semânticas; o Dicionário de Discurso de Ódio possui 18 características e a lista de Frases Tóxicas, 26. Por exemplo, as palavras do Dicionário de Discurso de Ódio foram marcadas com características como ‘s’ para sexismo, ‘r’ para racismo e ‘e’ para etarismo. Esse banco de dados lexicográfico, um sistema multiparamétrico, atribui características semânticas a unidades (palavras ou frases) que, combinadas com dados de frequência do texto analisado, permitem a análise da toxicidade.
O índice de toxicidade do texto é calculado usando a fórmula:
Itox = (e + |K| (m + t)) / n * 10,
Aqui, n é o volume do texto; e é a contagem de palavras emocionais; m é a contagem de palavras de discurso de ódio; t é a contagem de frases tóxicas; K é um coeficiente igual a −2; ele enfatiza palavras de discurso de ódio e frases tóxicas, que, em uma escala de
238
Acta Linguistica Lithuanica XCI
Page 17
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
cinco algarismos (+2, +1, 0, −1, −2), corresponde a −2. Os valores do índice variam de 0 a +1.
Por exemplo, o índice de toxicidade do texto “Pessoas com uma caneta vermelha (Люди з червоною ручкою)” (12 frases, 129 palavras) é 1.01, indicando sua alta toxicidade, pois o limiar para textos tão curtos varia de 0.1 a 0.7. Simultaneamente, o sistema gera os resultados de um exame linguístico automático da toxicidade textual (ver Fig. 6), composto por: 1) um mapa estatístico das classes semânticas do vocabulário negativo segundo os marcadores de classificação das listas lexicográficas (emotiogênicos – 5, vulgarismos – 2, sexismo – 2); 2) um texto com palavras específicas de sentimento negativo, que verbalizam as categorias do mapa estatístico. Vejamos um trecho do texto real analisado (Fig. 6):
aquelas pessoas que andam por aí com uma caneta vermelha e corrigem erros em postagens de outras pessoas: quem são vocês afinal? Vocês fazem ideia de como são irritantes? Eu estudo seus perfis de propósito, tenho curiosidade sobre o mundo em que vocês existem. Esse mundo assusta muito a mim. Sinceramente, espero que, na vida real, não nos cruzemos sob nenhuma circunstância. (оці люди, які ходять з червоною ручкою і виправляють помилки в чужих постах: ви хто взагалі такі? Ви хоч уявляєте, як ви бісите? Я спеціально вивчаю ваші профілі, мені цікаво в якому світі ви існуєте. Мене цей світ дуже лякає. Щиро сподіваюся, що в реальному житті ми з вами не пересічемося ні за яких обставин).
Aqui, o sistema destaca automaticamente em negrito as seguintes palavras com um componente negativo: erros (помилки), postagens de outras pessoas (чужих), irritantes (бісите), assusta (лякає).
FIGURA 6: Fragmento do exame linguístico automático da toxicidade textual
5. ABORDAGENS DE APRENDIZADO DE MÁQUINA: EXPERIMENTOS, RESULTADOS E DISCUSSÕES
Concentremo-nos no segundo modo de operação do sistema TextAttributor, dedicado às técnicas de aprendizado de máquina. Na entrada para o treinamento do modelo, temos corpora textuais rotulados de acordo com o objetivo de cada subtarefa: (a) informações textuais para detecção de toxicidade e (b) identificação de autoria. Cada corpus é dividido em conjuntos de treinamento e controle e, para um corpus suficientemente grande, também em um conjunto de validação. Os parâmetros do modelo escolhido para resolver o problema são estimados no conjunto de treinamento. Os hiperparâmetros do modelo são ajustados pelo conjunto de validação. Os indicadores finais de desempenho do modelo são medidos em um conjunto de controle, levando em conta a disponibilidade de recursos computacionais necessários para a operacionalidade do modelo. Um corpus para cada subtarefa foi desenvolvido em paralelo com o componente de aprendizado de máquina do TextAttributor; portanto, os modelos atuais foram treinados com dados relativamente pequenos, incluindo textos curtos de blogs, comentários, artigos etc. em língua ucraniana na Internet.
5.1. Detecção de toxicidade
Como resultado de uma série de estudos experimentais, foi escolhida uma arquitetura computacionalmente eficiente baseada no método fastText e em suas ferramentas (Joulin et al. 2016). Esse método fornece representações vetoriais de palavras e estima a distribuição de probabilidade dos documentos de acordo com classes predefinidas. As palavras são apresentadas em forma vetorial com base na divisão automática das palavras em partes (subpalavras), o que simula a abertura do dicionário. A representação por subpalavras é importante, pois a língua ucraniana é altamente flexional, e é necessário abranger muitas palavras não observadas, bem como palavras com erros ortográficos. A eficácia da abordagem utilizada também é determinada pelas condições técnicas de operação do sistema e pelos recursos textuais disponíveis para o treinamento do modelo.
Um corpus preparado de aproximadamente 12.000 documentos textuais foi usado para a classificação binária destinada a detectar conteúdo tóxico. O melhor resultado, com base na métrica generalizada (F1 = 79.4%), foi obtido com as seguintes configurações de hiperparâmetros: dimensionalidade do vetor de palavras de 56, taxa de aprendizado inicial de 0.15, 500 épocas de treinamento, contexto lexical representado por bigramas, comprimentos de subpalavras variando de 2 a 5 caracteres e limiar de decisão de 0.4. Além disso, o modelo demonstrou sensibilidade de 85%, alcançando uma precisão de aproximadamente 70%.
240
Acta Linguistica Lithuanica XCI
Page 19
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
5.2. Identificação de autoria
A pesquisa experimental de modelos para identificação da autoria textual foi realizada usando parte do corpus de textos sociopolíticos publicamente disponíveis, nos quais é possível identificar a pessoa autora do documento. Foram selecionados ao todo 702 textos de quatro autores que publicaram o maior número de documentos, com extensão entre 60 e 1000 caracteres. O maior número de publicações de um autor é 304 (115 mil caracteres), e o menor é 109 (49 mil caracteres). Para o teste, foram selecionados aleatoriamente 25 textos de cada autor escolhido. Os demais documentos compuseram o conjunto de treinamento.
O melhor resultado, de acordo com a métrica generalizada (F1 = 81%), foi obtido com os seguintes valores de hiperparâmetros: dimensão do espaço de incorporação de palavras de 50, taxa de aprendizado inicial de 0.1, 50 épocas de treinamento, contexto lexical representado por bigramas, comprimentos de subpalavras variando de 2 a 5 caracteres e limiar de decisão de 0.5. Notavelmente, para determinadas configurações do modelo, a sensibilidade ao autor com o maior número de documentos no conjunto de dados alcançou 100%, com precisão superior a 90%. Esses resultados demonstram a viabilidade de desenvolver um sistema eficaz capaz de abranger com precisão textos de autores suficientemente representados no conjunto de treinamento.
Os modelos de redes neurais treinados foram integrados ao sistema TextAttributor em uma arquitetura “cliente-servidor”, na qual são apresentados os resultados de duas tarefas: (a) determinação da toxicidade e (b) detecção da autoria. O resultado do trabalho do sistema sobre o texto da “Lei da Ucrânia sobre o Ensino Superior”: Índice de toxicidade (estimativa na forma de probabilidade: quão tóxico é o texto) – 0.04; similaridade com autores (estimativas na forma da probabilidade de autoria para autores conhecidos pelo sistema): 0.49 para I. Farion, 0.30 para Oleksii Honcharenko e 0.22 para Mariana Bezugla.
6. CONCLUSÕES
O sistema TextAttributor encontra-se atualmente em fases de teste para abordar questões de atribuição e determinação de toxicidade em textos em língua ucraniana. Esse sistema é conveniente e eficaz para diversos estudos tecnológicos. Ao longo de 5 meses, o aplicativo web TextAttributor analisou automaticamente 784 textos ucranianos de 226 usuários.
Nossas conclusões demonstram a eficácia do nosso método, que envolve a quantificação de elementos verbais com base em parâmetros gramaticais formais e semânticos, particularmente para a emocionalidade negativa. Isso é alcançado por meio de uma combinação de abordagens baseadas em dicionário e em regras, complementadas por aprendizado de máquina
técnicas. A pesquisa experimental de aprendizado de máquina para detecção de toxicidade e identificação de autoria por texto permitiu obter resultados comparáveis aos resultados de experimentos com características de modelo semelhantes (número de documentos e autores) relatados para outras línguas. Os modelos de subpalavras demonstraram maior robustez diante da abertura lexical e dos erros textuais.
A pesquisa realizada abre caminho para resolver, no ucraniano, problemas como a detecção e o monitoramento de conteúdo tóxico, discurso de ódio e desinformação; verificação de autoria e desofuscação; criação de perfis de autores e diarização; criação de perfis psicolinguísticos; modelagem de estilo; rastreamento da fonte de conteúdo falso, entre outros. O esquema desenvolvido de análise e atribuição textual também pode ser aplicado a outras línguas.
No futuro, planejamos integrar nossa ferramenta automática de atribuição textual e detecção de toxicidade com a análise semântica, sintática, psicolinguística e sociolinguística. Essa integração nos proporcionará uma compreensão mais profunda do impacto sobre o leitor. Ao utilizar a análise semântica da taxonomia lexical, pretendemos identificar elementos narrativos inerentes ao texto, aumentando assim a confiabilidade da atribuição textual nos procedimentos de identificação de autoria. Além disso, planejamos ampliar nossos corpora textuais e utilizar grandes modelos de linguagem multilíngues para expandir ainda mais as capacidades do nosso sistema, bem como implementar ferramentas de comparação estatística de textos para todos os estilos da língua ucraniana.
Agradecimentos
O sistema foi criado no âmbito de um projeto apoiado pela Embaixada Britânica em Kyiv e realizado por uma equipe de educadores e pesquisadores da Cátedra de Língua Ucraniana e Linguística Aplicada da Universidade Nacional Taras Shevchenko de Kyiv.
Gostaríamos de expressar nosso sincero apreço à Embaixada Britânica em Kyiv pelo apoio financeiro a este projeto de pesquisa. Somos gratos a Svitlana Yavorska e Iryna Bezkorovayna por sua orientação e assistência ao longo do projeto. Agradecimentos especiais a Kostiantyn Goncharenko pela organização e pelo apoio documental do projeto. Além disso, somos gratos aos estudantes do programa educacional “Linguística Aplicada (Computacional) e Língua Inglesa” da Universidade Nacional Taras Shevchenko de Kyiv. Eles contribuíram com seu tempo, conhecimento especializado e esforços para formar o corpus de textos tóxicos ucranianos. Somos gratos a Oksana Tolochko, formada em nosso programa de bacharelado, por criar um dicionário tonal da língua ucraniana, que usamos para compilar uma lista lexicográfica de emoticons negativos. Além disso, somos profundamente gratos pelos esforços de Mykola Kostikov no processo de coleta de dados. Gostaríamos de expressar nossa sincera gratidão a todos os membros da comunidade de pesquisa que contribuíram para este estudo com seus conselhos e consultas.
242
Acta Linguistica Lithuanica XCI
Page 21
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
REFERENCES
ALIAS – Automated Linguistic Identification & Assessment System. Available at: https://aliastechnology.com/alias-overview/.
Alkomah Fatimah, Ma Xiaogang 2022: A Literature Review of Textual Hate Speech Detection Methods and Datasets. – Information 13(6), 273. DOI: 10.3390/info13060273.
Argamon Shlomo 2007: Interpreting Burrows’s Delta: Geometric and Probabilistic Foundations. – Literary and Linguistic Computing 23, 131–147. DOI: 10.1093/llc/fqn003.
Bonetti Andrea, Martínez-Sober Marcelino, Torres Julio, Vega Jose, Pellerin Sebastien, Vila-Francés Joan 2023: Comparison between Machine Learning and Deep Learning Approaches for the Detection of Toxic Comments on Social Networks. – Applied Sciences 13(10), 6038. DOI: 10.3390/app13106038.
Buk Solomija 2021: Long prose fiction by I. Franko: electronic corpus, frequency dictionaries and other interdisciplinary contexts, LNU imeni Ivana Franka [Ivan Franko National University of Lviv].
Burrows John 2002: “Delta”: a Measure of Stylistic Difference and a Guide to Likely Authorship. – Literary and Linguistic Computing 17(3), 267–287. DOI: 10.1093/llc/17.3.267.
Burrows Steven, Uitdenbogerd Alexandra, Turpin Andrew 2014: Comparing techniques for authorship attribution of source code. – Software: Practice and Experience 44(1), 1–32. DOI: 10.1002/spe.2146.
Canhasi Ercan, Kadriu Arbana, Misini Arta 2022: A Survey on Authorship Analysis Tasks and Techniques. – SEEU Review 17(2), 153–167. DOI: 10.2478/seeur-2022-0100.
Chuhunov Vadym 2009: Diahnostyka v psyk hoterapii ta psykhoterapevtychnyi diahnoz, Kharkiv: Nauka.
Darchuk Natalia, Sorokin Viktor 2022: Parameterization of the Ukrainian Text Corpus based on parsing. – Computational Linguistics and Intelligent Systems, Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (COLINS-2022) 1: Main Conference, eds. V. Lytvyn, N. Sharonova, I. Jonek-Kowalska, A. Kowalska-Styczen, V. Vysotska, Ye. Kuprianov, O. Kanischeva, O. Cherednichenko, Th. Hamon, N. Grabar, Poland, 12–13 May, 2022, 256–265.
Darchuk Natalia, Zuban’ Oksana, Sorokin Viktor 2024: On stylistic differentiation in Ukrainian poetic speech based on the syntactic structure of
sentences. – Bulletin of Taras Shevchenko National University of Kyiv. Literary Studies. Linguistics. Folklore Studies 1(35), 5–10. DOI: 10.17721/1728-2659.2024.35.01.
Eder Maciej 2015: Does size matter? Authorship attribution, small samples, big problem. – Digital Scholarship in the Humanities 30(2), 167–182. DOI: 10.1093/llc/fqt066.
Eder Maciej, Rybicki Jan 2013: Do birds of a feather really flock together, or how to choose training samples for authorship attribution. – Literary and Linguistic Computing 28(2), 229–236. DOI: 10.1093/llc/fqs036.
Evert Stefan, Proisl Thomas, Schöch Christof, Jannidis Fotis, Pielström Steffen, Vitt Thorsten 2015: Explaining Delta, or: How do distance measures for authorship attribution work? – Corpus Linguistics 2015: Abstract Book, United Kingdom, 21 July 2015, eds. F. Formato, A. Hardie, Lancaster: UCREL. Available at: https://zenodo.org/records/18308.
Gupta Shriya T. P., Sahoo Jajati K., Roul Rajendra K. 2019: Authorship identification using recurrent neural networks. – ICISDM’19: Proceedings of the 2019 3rd International Conference on Information System and Data Mining, United States, 06 April 2019, New York: Association for Computing Machinery, 133–137. DOI: 10.1145/3325917.3325935.
Hoover David 2004: Testing Burrows’s delta. – Literary and Linguistic Computing 19(4), 453–475. DOI: 10.1093/llc/19.4.453.
Hoover David 2005: Delta, Delta Prime, and Modern American Poetry: Authorship Attribution Theory and Method. – ACH/ALIC 2005: Proceedings of the 17th Joint International Conference of the Association for Computers and the Humanities (ACH) and the Association for Literary and Linguistic Computing, Canada, 15–18 June 2005, University of Victoria: Humanities Computing and Media Centre, 79–80.
Jannidis Fotis, Pielström Steffen, Schöch Christof, Vitt Thorsten 2015: Improving Burrows’ Delta – An empirical evaluation of text distance measures. – DH 2015: Digital Humanities, Abstracts of the Global Digital Humanities Conference 11, Australia, 29 June – 3 July 2015, Sydney. DOI: https://zenodo.org/records/1321296.
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Karasov Vitalii, Levchenko Olena 2024: Statistical profile of O. Zabuzhko’s idio style. – CEUR Workshop Proceedings 3722: Proceedings of the 8th International Conference on Computational Linguistics and Intelligent Systems, Lviv, April 12–13, 2024, 251–264.
Khan Talha F., Anwar Waheed, Arshad Humera, Abbas Syed N. 2023: An Empirical Study on Authorship Verification for Low Resource Language Using Hyper-Tuned CNN Approach. – IEEE Access 11, 80403–80415. DOI: 10.1109/ACCESS.2023.3299565.
Khomytska Iryna, Teslyuk Vasyl, Bazylevych Iryna, Karamysheva Iryna 2023: Automated Identification of Authorial Styles. – CEUR Workshop Proceedings: Proceedings of the 7th International Conference on Computational Linguistics and Intelligent Systems, 3396, Kharkiv, April 20–21, 2023. Available at: https://ceur-ws.org/Vol–3396/paper26.pdf.
KUM – Korpus ukrajins’koji movy: Linhvistyčnyj portal Mova.info. Available at: http://www.mova.info/corpus.aspx.
LIWC–22 – Linguistic Inquiry and Word Count. Available at: https://www.liwc.app.
Lototska Nataliia 2022: Statistical Characteristics of Roman Ivanychuk’s Idiolect (Based on Writer’s Text Corpus). – CEUR Workshop Proceedings 3171, 487–500.
Lupei Maksym, Mitsa Aleksander, Reparіuk Volodymyr, Sharkan Vasyl 2020: Identification of authorship of Ukrainian-language texts of journalistic style using neural networks. – Eastern-European Journal of Enterprise Technologies 1/2(103), 30–36. DOI: 10.15587/1729–4061.2020.195041.
McInnes Leland, Healy John, Melville James 2020: UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. – ArXiv e-prints 1802.03426. DOI: 10.48550/arXiv.1802.03426.
Meier Tabea, Boyd Ryan, Pennebaker James, Meh Matthiasl, Martin Mike, Wolf Markus, Horn Andrea 2019: “LIWC auf Deutsch”: The development, psychometrics, and introduction of DE-LIWC2015. – PsyArXiv Preprints. DOI: 10.31234/osf.io/uq8zt.
Rybicki Jan, Eder Maciej 2011: Deeper Delta across Genres and Languages: Do We Really Need the Most Frequent Words? – Literary and Linguistic Computing 26(3), 315–321. DOI: 10.1093/llc/fqr031.
Savoy Jacques 2015: Comparative evaluation of term selection functions for authorship attribution. – Digital Scholarship in the Humanities 30(2), 246–261. DOI: 10.1093/llc/fqt047.
Zuban’ Oksana 2019: The Morphemic System Stylometric Analysis of the Ukrainian Poets’ Idiostyles: Corpus Based Approach. – Linhvistychni studiji 38, 96–104. DOI: 10.31558/1815-3070.2019.38.15.
Ukrainos žiniasklaidos tekstų automatinės stilometrinės analizės sistema „TextAttributor 1.0“ (metodai, priemonės, funkcionalumas)
SANTRAUKA
Sistema „TextAttributor“ statistiškai parametrizuoja ukrainiečių kalbos tekstus autorystės atpažinimo ir nuotaikų analizės aspektais. Naudodama daugiaparametrinį 15 statistinių indeksų rinkinį, „TextAttributor“ apibūdina autorines stilistines ypatybes. Ji integruoja tokius metodus kaip komponentinė analizė, paskirstymo analizė, kvantavimas ir nuotaikų analizė panaudojant žodynus ir mašininio mokymosi metodus, skirtus nemandag aus teksto ir autorystės išaiškinimui. Sistema apdoroja tekstus taikydama tokenizavimą, morfologinį žymėjimą, kontekstinę ir sintaksinę analizę ir emociškai neigiamo žodyno atitikimą, leidžiantį išsamiai vizualizuoti ir ekspertiškai įvertinti teksto priskyrimą ir neigiamą turinį. Eksperimentai patvirtina sistemos gebėjimą nustatyti unikalius autoriaus bruožus ir įvertinti teksto panašumą, ypač politinio diskurso ir nemandagios komunikacijos žiniasklaidos kontekste Rusijos ir Ukrainos karo metu. Straipsnyje pabrėžiama praktinė ir teorinė „TextAttributor“ reikšmė, demonstruojant jos efektyvumą didelėms teksto apimtims ir tikslioms analitinėms galimybėms. Sėkmingas žodynais, taisyklėmis pagrįstų ir mašininio mokymosi metodų taikymas pabrėžia sistemos tvirtumą ir universalumą. Beta versija ir tebevykdomų tyrimų rezultatai yra nuodugniai išnagrinėti, o būsimos jų kryptys nustatomos siekiant išplėsti kalbinį korpusą ir tobulinti mašininio mokymosi modelius, siekiant pagerinti tikslumą ir pritaikomumą.
246
Acta Linguistica Lithuanica XCI
Page 25
The System for Automatic Stylometric Analysis of Ukrainian Media Texts TextAttributor 1.0 (Techniques, Means, Functionality)
Įteikta 2024 m. lapkričio 25 d.
NATALIIA DARCHIUK Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
OKSANA ZUBAN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
VALENTYNA ROBEIKO Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
YULIIA TSYHYVINTSEVA Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine Institute of the Ukrainian Language of the National Academy of Sciences of Ukraine 4 Mykhailo Hrushevskyi Street Kyiv, 01001, Ukraine [email protected]
VICTOR SOROKIN Taras Shevchenko National University of Kyiv 60 Volodymyrska Street Kyiv, 01033, Ukraine [email protected]
MYKOLA SAZHOK Institute for information technologies and systems of the National Academy of Sciences of Ukraine 40 Akademika Hlushkova Avenue Kyiv, 03187, Ukraine [email protected]
