Exploring Scaled AIC within English closed compounds

CHARITON CHARITONIDIS Pesquisador independente ORCID id: orcid.org/0000-0003-0298-2629 Áreas de investigação: formação de palavras, expressões multiverbais, semântica lexical, reconhecimento de palavras, emoção. DOI: doi.org/10.35321/all90-11 EXPLORANDO O AIC ESCALADO NO ÂMBITO DOS COMPOSTOS FECHADOS DO INGLÊS Estudo do AIC escalado no âmbito dos compostos fechados (palavras compostas) do inglês ANOTAÇÃO O Critério de Informação de Akaike (AIC) é uma medida consolidada de qualidade do ajuste para a seleção de modelos na análise de dados empíricos. Contudo, o AIC é sensível ao tamanho da amostra. Pesquisas anteriores do autor demonstraram que o AIC escalado, isto é, o AIC dividido pelo tamanho da amostra, é uma ferramenta eficaz para avaliar a qualidade do ajuste do modelo e hierarquizar modelos de regressão. O presente estudo explora outras propriedades dessa variável. O objeto da investigação são 66 modelos de regressão múltipla referentes ao processamento de compostos fechados (concatenados) do inglês, extraídos da Large Database of English Compounds (LADEC) de Gagné et al. (2019). Em particular, o AIC escalado é contraposto ao English Lexicon Project (ELP) e ao British Lexicon Project (BLP) como fontes de tempos de resposta, às tarefas de decisão lexical e nomeação, ao comprimento dos compostos e às normas de transparência. ANOVA de uma via, análise dos efeitos principais e testes não paramétricos são utilizados como métodos. Os resultados sugerem que o AIC escalado é sensível ao desenho experimental, à fonte dos tempos de resposta e às tarefas de decisão lexical e nomeação. Ao mesmo tempo, os resultados deste estudo oferecem apoio empírico à validação dos métodos empregados por Gagné et al. (2019). PALAVRAS-CHAVE: compostos do inglês, AIC escalado, decisão lexical, nomeação. ANOTAÇÃO O Critério de Informação de Akaike (ingl. AIC) é uma medida consolidada da qualidade do ajuste dos modelos, aplicada à análise de dados empíricos. Contudo, o AIC é sensível ao tamanho da amostra. Pesquisas anteriores do Straipsniai / Articles 273 CHARITON CHARITONIDIS autor demonstraram que o AIC escalado, dividido pelo tamanho da amostra, é uma ferramenta eficaz para avaliar a qualidade do ajuste do modelo e hierarquizar modelos de regressão. Este estudo examina outras características dessa variável. O objeto da investigação são 66 modelos de regressão múltipla relacionados ao processamento de compostos fechados (palavras compostas) do inglês, extraídos da Large Database of English Compounds (ingl. LADEC) de Gagné et al. (2019). Em primeiro lugar, o AIC escalado é comparado ao English Lexicon Project (ingl. ELP) e ao British Lexicon Project (ingl. BLP), como fontes de tempos de resposta, tarefas de decisão lexical e nomeação, comprimento dos compostos e normas de transparência. Os métodos utilizados são ANOVA de uma via (ingl. Analysis of variance), análise dos efeitos principais e testes não paramétricos. Os resultados mostram que o AIC escalado reage ao desenho experimental, à fonte dos tempos de resposta e às tarefas de decisão lexical e nomeação. Ao mesmo tempo, os resultados deste estudo oferecem uma base empírica para a validação dos métodos aplicados por Gagné et al. (2019). PALAVRAS-CHAVE: compostos do inglês (palavras compostas), AIC escalado, decisão lexical, nomeação. 1. A LARGE DATABASE OF ENGLISH COMPOUNDS (LADEC: GAGNÉ ET AL. 2019)¹ A Large Database of English Compounds (LADEC: Gagné et al. 2019) é a maior base de dados existente de palavras compostas. Ela contém mais de 8000 compostos sem espaço (“fechados” ou “concatenados”) (=substantivos), selecionados de várias fontes, incluindo, entre outras, a base de dados CELEX (Baayen et al. 1995), o English Lexicon Project (ELP; Balota et al. 2007), o British Lexicon Project (BLP; Keuleers et al. 2012), o British National Corpus (BNC) e o Wordnet. Do conjunto completo de entradas da LADEC, 7,804 compostos podem ser analisados univocamente em dois constituintes morfêmicos livres.² Considera-se uma grande variedade de compostos, por exemplo, compostos substantivo-substantivo, como buttercup, shipyard, compostos com um segundo constituinte derivado de um radical verbal, como pacemaker, painkiller, etc. (para definições das classes de compostos, ver Lieber 2004: 46). O primeiro constituinte não nuclear abrange uma ampla gama de categorias gramaticais. A Figura 1 contém uma breve amostra das entradas da LADEC. Os modelos de regressão múltipla de Gagné et al. (2019) incluem uma ampla gama de variáveis preditoras (=independentes), como o comprimento do composto, a frequência de bigramas ¹ Esta seção foi adaptada de Chariton Charitonidis (2022), com pequenas alterações. ² A LADEC inclui plurais de compostos já listados como entradas separadas. 274 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds no limite morfêmico, tamanho da família, frequência de palavras, medidas de probabilidade e associação (baseadas em vetores), normas emocionais/de sentimento calculadas a partir das avaliações dos participantes, etc. Os tempos de resposta logarítmicos dos compostos do ELP (decisão lexical, nomeação) e do BLP (decisão lexical) são utilizados como variáveis dependentes. Na maior parte dos casos, o comprimento do composto (número de caracteres) e a frequência logarítmica do composto (=palavra) do corpus SUBTLEX-US (Brysbaert, New 2009)³ e do BNC (BLP) são utilizados como variáveis de controle. Nos modelos de Gagné et al. (2019), as variáveis preditoras mencionadas acima tiveram efeitos significativos sobre os tempos de decisão lexical e de nomeação. FIGURA 1. Entradas da LADEC: amostra O foco principal do estudo de Gagné et al. (2019) recaiu sobre várias medidas de transparência semântica. Gagné et al. (2019) solicitaram aos participantes que avaliassem os compostos considerando quão previsível é o significado do composto a partir de suas partes (avaliações de previsibilidade do significado, baseadas no composto) e quanto do significado de cada constituinte é retido no composto (avaliações de retenção do significado, baseadas no constituinte). Os autores constataram que a distribuição das transparências do constituinte segundo era muito mais concentrada e elevada do que a distribuição das transparências do primeiro constituinte (MC1: 64.80 [SD: 19.59] vs. MC2: 71.00 [SD: 16.46]. N = 8115). Contudo, a avaliação do ³ O corpus SUBTLEX–US é um corpus de 51 milhões de tokens baseado em legendas de filmes e programas de televisão dos EUA. Vários estudos recentes forneceram evidências de que as normas de frequência obtidas de legendas de filmes e programas de televisão tendem a ser mais eficazes do que as derivadas de textos impressos para explicar as diferenças no tempo de processamento lexical e, em alguns casos, na precisão entre falantes nativos de várias línguas (ver Chen et al. 2018: 2 e as referências ali contidas). Straipsniai / Articles 275 CHARITON CHARITONIDIS primeiro constituinte estava mais fortemente correlacionado com a avaliação do composto inteiro do que a avaliação do segundo constituinte (c1~cmp: r = 0.75, p <.001 vs. c2~cmp: r = 0.66, p <.001. N = 429).⁴ Mais notavelmente, a avaliação da retenção do significado do primeiro constituinte e a avaliação da previsibilidade do significado do composto predisseram os três tipos de tempos de resposta, isto é, os tempos de decisão lexical do ELP, os tempos de decisão lexical do BLP e os tempos de nomeação do ELP. Em conclusão, a distribuição mais concentrada e elevada das transparências do segundo constituinte e a associação mais forte do primeiro constituinte com a previsibilidade do significado do composto parecem ser mapeadas diretamente nas operações de núcleo dos compostos do inglês. O segundo constituinte, isto é, o núcleo, é uma unidade cuja transparência é reforçada categórica e semanticamente (quanto ao aspecto semântico, ver as relações de acarretamento e hiponímia). O primeiro constituinte, isto é, o modificador, é o fator mais crítico para estabelecer a referência do composto. Consequentemente, a sua transparência covaria mais fortemente com a transparência do composto.⁵ 2. CRITÉRIO DE INFORMAÇÃO DE AKAIKE (AIC) Em 1973, Hirotugu Akaike desenvolveu um método para estimar a expectativa relativa da distância de Kullback–Leibler (Kullback 1959) utilizando a log-verossimilhança maximizada de Fisher (Fisher 1922; ver também Aldrich 1997). Essa medida, comumente denominada Critério de Informação de Akaike (AIC; Akaike 1973), introduziu uma nova estrutura para a seleção de modelos na análise de dados empíricos, marcando uma mudança paradigmática significativa (Burnham, Anderson 2002). O AIC é normalmente calculado da seguinte forma: −2lnL + 2k, em que “lnL” se refere à log-verossimilhança maximizada/completa do modelo e “k” se refere ao número de parâmetros, incluindo a constante. Um conjunto menor de preditores está normalmente associado a modelos mais eficientes (modelos com menor perda de informação). Quanto menor (=mais negativo) for o valor do AIC, melhor será o ajuste do modelo. Nesse contexto, o AIC penaliza, como medida da qualidade do ajuste, o uso de um grande número de preditores que, potencialmente, resulta em valores mais elevados de AIC (ver a parte “+2k” da equação do AIC). ⁴ O teste z de Steiger (1980) mostrou que essa diferença era significativa, z = 27.71, p <.0001 (Gagné et al. 2019). ⁵ Referindo-se a pesquisas anteriores, Gagné et al. (2019) relatam que “o modificador (o primeiro constituinte em inglês) tende a desempenhar um papel maior na seleção da facilidade de relação durante o processamento de compostos e sintagmas nominais.” 276 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds O AIC é sensível ao tamanho da amostra. O AICc, uma versão corrigida do AIC, incorpora o tamanho da amostra por meio da fórmula 2k (k + 1)/ (n − k − 1). Contudo, ele trata especificamente de amostras pequenas e não é recomendado para modelos baseados em amostras grandes, como a de Gagné et al. (2019).⁶ Deve-se observar que pesquisadores como Kenneth P. Burnham & David R. Anderson (2002) não oferecem uma solução definitiva para comparar os valores de AIC de modelos ajustados com tamanhos de amostra tanto diferentes quanto grandes.⁷ Em particular, Burnham & Anderson (2002: 80–85, 334–335) apresentam uma discussão abrangente das implicações de tamanhos de amostra desiguais para a comparação de modelos. Eles argumentam que empregar critérios de informação para comparar modelos com diferentes tamanhos de amostra pode conduzir a resultados enganosos. Do mesmo modo, conforme observado em uma discussão on-line de Svetunkov em 2016 (ver a referência após a bibliografia), todos os critérios de informação baseiam-se na função de verossimilhança que, por sua vez, depende do tamanho da amostra. Especificamente, à medida que o tamanho da amostra aumenta, a verossimilhança diminui. Consequentemente, os critérios de informação também aumentarão nesses casos.⁸ 3. PESQUISAS ANTERIORES Em Charitonidis (2022), os valores de AIC de 44 modelos de regressão múltipla com diferentes combinações de variáveis emocionais (valência, ativação e concretude para (a) palavras e (b) contextos de palavras) foram divididos pelo tamanho da amostra (N), produzindo valores de AIC escalado (AIC/N). Posteriormente, esses valores foram utilizados para avaliar ⁶ Para mais informações sobre o AICc, recomenda-se ao leitor consultar Burnham & Anderson (2002: 374–380). ⁷ Uma das soluções propostas por Burnham & Anderson (2002) refere-se à transformação dos valores de AIC em “pesos de Akaike”, definidos como “a verossimilhança relativa do modelo, dados os dados” (Burnham, Anderson 2002: xiii; ver também Wagenmakers, Farrell 2004). ⁸ Disponível em: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [acesso em 16.06.2023]. O leitor pode compreender a afirmação de Svetunkov substituindo diferentes valores pelo componente “lnL” na equação do AIC, mantendo constante o componente “2k”. Uma diminuição no valor de lnL resultará em um valor de AIC mais elevado, isto é, inferior. ⁹ Na literatura, o AIC escalado também é denominado “AIC médio”. Segundo Svetunkov (comunicação pessoal), a prática de dividir o Critério de Informação de Akaike pelo tamanho da amostra não é nova. Por exemplo, Hastie et al. (2009: 230–231) definem o AIC de maneira não canônica, empregando N como denominador da fórmula. Embora esse desvio da fórmula convencional do AIC não seja isento de críticas, ele continua sendo uma abordagem prevalente, como exemplificado por sua inclusão no pacote de software estatístico Stata. Por exemplo, o Stata apresenta “AIC dividido por N” na saída do modelo, como demonstram vários exemplos disponíveis on-line (agradece-se a I. Svetunkov por fornecer essa informação). Straipsniai / Articles 277 CHARITON CHARITONIDIS e comparar a qualidade do ajuste dos modelos. A inserção de preditores essenciais em modelos globais, isto é, gerais, mostrou que os tempos de decisão lexical do BLP exigiam uma qualidade de ajuste melhor do que os tempos de decisão lexical do ELP. O ajuste dos modelos de nomeação do ELP situou-se dentro do intervalo dos observados para os modelos de decisão lexical do ELP e do BLP. Mais notavelmente, a concretude do contexto para o segundo constituinte emergiu como um preditor significativo em todos os modelos com frequência do SUBTLEX-US, tanto na decisão lexical quanto na nomeação. Em Charitonidis (2024), todos os coeficientes significativos dos modelos globais com frequência do SUBTLEX-US foram contrapostos à variável de hiponímia (Gagné et al. 2020). Verificou-se que os modelos que incluíam tanto a hiponímia quanto a concretude do contexto para o segundo constituinte estavam sempre associados ao menor (=melhor) valor de AIC escalado, em comparação com modelos aninhados, isto é, reduzidos, que omitiam uma dessas duas variáveis. Os testes de Wald aplicados subsequentemente mostraram que os modelos aninhados sempre se referiam a uma redução significativa (=deterioração) do coeficiente de determinação (R2). As Tabelas 1 e 2 apresentam, respectivamente, os valores de AIC escalado e os resultados dos testes de Wald correspondentes. TABELA 1. Valores de AIC escalado para modelos aninhados que omitem a hiponímia (‘Modelo 2’) ou a concretude do contexto para o segundo constituinte (‘Modelo 3’) dos modelos completos (‘Modelo 1’) para prever os tempos de decisão lexical do English Lexicon Project (ELP), os tempos de decisão lexical do British Lexicon Project (BLP) e os tempos de nomeação do ELP Modelo | AIC escalado | AIC | N ELP LD 1 | −3.36281ᵃ | −3557.85 | 1058 2 | −3.30375 | −4169.334 | 1262 3 | −3.34845 | −3700.038 | 1105 BLP LD 1 | −3.79552ᵃ | −2903.574 | 765 2 | −3.76618 | −3920.592 | 1041 3 | −3.76718 | −2987.37 | 793 Nomeação ELP 1 | −3.58686ᵇ | −7396.108 | 2062 2 | −3.54304 | −8418.27 | 2376 3 | −3.58379 | −7389.784 | 2062 278 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds a. Preditores: (Constante), julgamento de hiponímia, comprimento do composto, frequência do SUBTLEX–US, valência de representação (cmp), concretude do contexto (c2) b. Preditores: (Constante), julgamento de hiponímia, comprimento do composto, frequência do SUBTLEX–US, valência do contexto (cmp), ativação do contexto (c1), ativação do contexto (c2), concretude do contexto (c2) TABELA 2. Testes de Wald para modelos aninhados que omitem a hiponímia (‘Modelo 2’) ou a concretude do contexto para o segundo constituinte (‘Modelo 3’) dos modelos completos (‘Modelo 1’) para prever os tempos de decisão lexical do English Lexicon Project (ELP), os tempos de decisão lexical do British Lexicon Project (BLP) e os tempos de nomeação do ELP Modelo | R2 quadrado | Mudança de F | df1 | df2 | p ELP LD 1 |.184a | 47.506 | 5 | 1052 |.000 2 | −.004 | 4.562 | 1 | 1052 |.033 3 | −.010 | 13.175 | 1 | 1052 |.000 BLP LD 1 |.211a | 40.479 | 5 | 759 |.000 2 | −.013 | 12.091 | 1 | 759 |.001 3 | −.015 | 14.007 | 1 | 759 |.000 Nomeação ELP 1 |.288b | 118.711 | 7 | 2054 |.000 2 | −.003 | 8.286 | 1 | 2054 |.004 3 | −.003 | 8.309 | 1 | 2054 |.004 a. Preditores: (Constante), julgamento de hiponímia, comprimento do composto, frequência do SUBTLEX–US, valência de representação (cmp), concretude do contexto (c2) b. Preditores: (Constante), julgamento de hiponímia, comprimento do composto, frequência do SUBTLEX–US, valência do contexto (cmp), ativação do contexto (c1), ativação do contexto (c2), concretude do contexto (c2) Em conclusão, duas medidas diferentes do tamanho do efeito, a saber, o AIC escalado e R2, hierarquizaram os mesmos modelos de regressão de forma idêntica, demonstrando simultaneamente a mesma preferência pelo melhor modelo. Assim, há fortes evidências de que a medida do AIC escalado é uma ferramenta qualitativa para avaliar a qualidade do ajuste do modelo. Straipsniai / Articles 279 CHARITON CHARITONIDIS 4. O PRESENTE ESTUDO O presente estudo baseia-se na pesquisa anterior do autor, apresentada na seção 3. Os objetos de investigação são 66 modelos de decisão lexical e nomeação para os compostos fechados (concatenados) do inglês, elaborados por Gagné et al. (2019). Todos os modelos incluem a frequência do SUBTLEX-US como variável de controle. Nossos objetivos são duplos e desenvolvem-se em paralelo. Primeiro, avaliamos as características dos modelos de Gagné et al. (ibid.). Segundo, exploramos propriedades essenciais da medida do AIC escalado. As perguntas de investigação são: 1. O AIC escalado é sensível ao desenho do modelo em Gagné et al. (2019)? Quais grupos de modelos são favorecidos? 2. Qual é o impacto das variáveis de controle “frequência do composto” e “comprimento do composto” sobre o AIC escalado? 3. Como a transparência morfológica se relaciona com o AIC escalado? Nosso estudo está estruturado da seguinte forma: a Seção 5 apresenta uma visão geral de nossos métodos. A Seção 6.1 apresenta estatísticas descritivas para o AIC escalado referentes aos modelos considerados. Dá-se ênfase às características paramétricas versus não paramétricas das categorias de modelos. A Seção 6.2 explora a relação entre a fonte dos tempos de resposta e as tarefas de processamento lexical. A Seção 6.3 contrapõe o AIC escalado às variáveis de controle “frequência do composto” e “comprimento do composto”. Na seção 6.4, os níveis de significância dos coeficientes de transparência dos modelos de Gagné et al. (2019) são mapeados nos valores de AIC escalado. Os principais resultados são resumidos na seção 7, seguidos de uma discussão dos resultados na seção 8. 5. MÉTODOS Nosso método geral foi a análise comparativa dos principais parâmetros e características dos modelos de Gagné et al. (2019), utilizando o AIC escalado como variável dependente. As variáveis independentes incluíram características da amostra (por exemplo, fonte do tempo de resposta e tarefas de processamento lexical), desenho do estudo (por exemplo, variáveis de controle) e o nível de significância dos coeficientes de transparência, entre outros fatores. Os métodos estatísticos específicos empregados foram os seguintes: (a) estatísticas descritivas relativas a médias e medianas, juntamente com a aplicação do teste de Shapiro–Wilk para avaliar a tendência central, a variabilidade e a distribuição do AIC escalado entre diferentes categorias e grupos de modelos (seções 6.1 e 6.2), (b) análises dos efeitos principais realizadas para a fonte dos tempos de resposta (ELP/BLP) e as tarefas de processamento lexical (decisão lexical/nomeação) (seção 280 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds 6.2), (c) ANOVAs distintas realizadas sobre a fonte dos tempos de resposta e as tarefas de processamento lexical, incorporando o comprimento do composto como covariável (seção 6.3), e (d) utilização dos testes de Kruskal–Wallis e Jonckheere–Terpstra para explorar diferenças entre as ordens dos coeficientes recodificados ordinalmente para a transparência semântica (seção 6.4). Para mais informações sobre os métodos, recomenda-se ao leitor consultar as análises nas seções 6.1–6.4. 6. ANÁLISES 6.1. AIC escalado vs. categorias de modelos Os 66 valores de AIC dos modelos de regressão múltipla de Gagné et al. (2019), com a frequência do SUBTLEX–US como variável de controle, foram divididos pelo tamanho da amostra de cada modelo, produzindo um conjunto de 66 valores de AIC escalado. A Tabela 3 abaixo apresenta as estatísticas descritivas do AIC escalado, e a Figura 2 mostra o boxplot correspondente referente ao conjunto ordenado de valores.10 Não houve valores discrepantes na amostra. Os valores de assimetria (Sk) e curtose (Ku) foram aceitáveis.11 O valor médio do AIC escalado foi −3.50030. O desvio-padrão foi 0.19052, ou seja, as observações estavam relativamente concentradas em torno da média. Os valores mínimo e máximo foram −3.85502 e −3.15754, respectivamente. O valor mediano foi −3.55732, isto é, ligeiramente inferior ao valor médio.12 Os 50% centrais dos dados situaram-se entre −3.66575 (primeiro quartil, Q1) e −3.30959 (terceiro quartil, Q3). Assim, o intervalo interquartil (IQR) foi 0.35616. 10 A linha inferior ou do primeiro quartil da caixa (Q1) marca o limite abaixo do qual se estende os 25% inferiores dos dados. Do mesmo modo, a linha superior ou do terceiro quartil da caixa (Q3) marca o limite acima do qual se estendem os 25% superiores dos dados. A área sombreada mostra os limites dos 50% centrais dos dados ou do intervalo interquartil (IQR), que pode ser calculado subtraindo o primeiro quartil do terceiro quartil (Q3−Q1). A linha horizontal dentro da caixa mostra a mediana ou o quartil central (Q2), isto é, o valor que se encontra no meio do conjunto de dados. 11 No ambiente SPSS, os valores entre −1 e +1 para a assimetria e entre −2 e +2 para a curtose são geralmente considerados aceitáveis para a avaliação da distribuição normal. Vale observar, contudo, que a assimetria e a curtose, por si sós, não fornecem uma prova conclusiva de normalidade (ver também a discussão sobre https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data). 12 De acordo com esse padrão, havia uma pequena assimetria positiva nos dados (0.494). Straipsniai / Articles 281 CHARITON CHARITONIDIS TABELA 3. Estatísticas descritivas do AIC escalado (conjunto completo) Média DP Mín. Máx. −3.50030 0.19052 −3.85502 −3.15754 Mediana IQR Q1 Q3 −3.55732 0.35616 −3.66575 −3.30959 N=66. Sk=0.494, Ku=−1.101 FIGURA 2. Distribuição do AIC escalado (conjunto completo): Boxplot Esperava-se que o conjunto completo de valores de AIC escalado não apresentasse distribuição normal, pois abrangia tarefas diferentes (decisão lexical, nomeação) e era derivado de fontes diferentes de tempos de resposta (ELP, BLP). O teste de Shapiro–Wilk e o teste de Kolmogorov–Smirnov confirmaram nossas suposições.13 Em particular, as estatísticas do teste de Shapiro–Wilk foram W (66) = 0.90, p <.001, e as estatísticas do teste de Kolmogorov–Smirnov foram D (66) = 0.17, p <.001. Deve-se observar que o mesmo conjunto completo não apresentou distribuição normal, mesmo após a aplicação das transformações de logaritmo natural e raiz quadrada aos valores absolutos. A Tabela 4 abaixo apresenta as estatísticas descritivas do AIC escalado em relação às principais categorias de modelos em Gagné et al. (2019), isto é, decisão lexical do ELP, decisão lexical do BLP e nomeação do ELP (cada grupo contém 22 modelos). A Figura 3 apresenta os boxplots correspondentes. Como se pode observar, as médias e medianas 13 O teste de Kolmogorov–Smirnov aplicou a Correção de Significância de Lilliefors. 282 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds para a decisão lexical do BLP e a nomeação do ELP referiam-se a valores de AIC escalado semelhantes. A decisão lexical do ELP referia-se a valores mais elevados (=inferiores) que, além disso, eram disjuntos dos valores da decisão lexical do BLP.14 Em resumo, a decisão lexical do BLP e a nomeação do ELP sempre exigiram modelos melhores do que a decisão lexical do ELP. TABELA 4. Estatísticas descritivas do AIC escalado por categoria principal de modelo Esperava-se que o perfil não paramétrico do conjunto completo de valores de AIC escalado fosse menos provável de ocorrer dentro das principais categorias de modelos, isto é, nas principais combinações de tempos de resposta e tarefas. Como ficará evidente, essa expectativa foi confirmada. O teste de Shapiro-Wilk mostrou que os dados de decisão lexical do ELP se desviavam significativamente da normalidade. Em particular, calculamos uma estatística de teste de W (22) = 0.90, p <.05.15 Os dados de decisão lexical do BLP apresentavam distribuição normal. As estatísticas correspondentes foram W (22) = 0.92, p >.05 (Shapiro-Wilk). 14 Um teste t aplicado aos dados resumidos da decisão lexical do ELP e da decisão lexical do BLP (Tabela 4) indicou uma diferença altamente significativa entre as médias das amostras, t = 18.296, p <.0001. 15 Deve-se observar que um conjunto de seis modelos de decisão lexical do ELP apresentou valores de AIC Escalonado próximos do valor máximo de −3.15754, indicando o pior ajuste de todo o conjunto de dados. Esses modelos contribuíram para um pico proeminente em direção à extremidade superior da distribuição (variando de −3.17304 a −3.15754), resultando em um padrão de distribuição quase bimodal. Essa observação é sustentada por um valor de curtose negativa relativamente alto, de −1.444. Straipsniai / Articles 283 CHARITON CHARITONIDIS FIGURA 3. Representações em boxplot do AIC Escalonado por categorias principais de modelos Da mesma forma, os dados de nomeação do ELP apresentaram distribuição normal. As estatísticas correspondentes foram W (22) = 0.93, p >.05 (Shapiro–Wilk). Em síntese, tanto o conjunto completo de modelos quanto os modelos de decisão lexical do ELP estavam associados a uma distribuição não paramétrica do AIC Escalonado. Por outro lado, os dados de decisão lexical do BLP e de nomeação do ELP apresentaram distribuição normal. Vejamos agora a influência de fatores individuais sobre o AIC Escalonado. 6.2. AIC Escalonado versus fonte dos tempos de resposta e tarefas A Tabela 5 abaixo contém as estatísticas descritivas dos valores de AIC Escalonado para os grupos categorizados segundo os fatores principais ‘tempos de resposta’ e ‘tarefas’, isto é, (a) tempos de resposta do ELP, (b) tempos de resposta do BLP, (c) tarefa de nomeação e (d) tarefa de decisão lexical. Os tempos de resposta do ELP e a tarefa de decisão lexical 284 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds são grupos abrangentes referentes, respectivamente, a ‘decisão lexical e nomeação’ e ‘ELP e BLP’. Os grupos ‘BLP’ e ‘Nomeação’ são idênticos às categorias de modelos ‘decisão lexical do BLP’ e ‘nomeação do ELP’, respectivamente, já apresentadas na Tabela 4 (seção 6.1). A Figura 4 apresenta as respectivas representações em boxplot. Como se pode ver na Tabela 5, tanto ‘BLP’ quanto ‘Nomeação’ apresentaram (a) valores principais e medianos mais baixos (=melhores) para o AIC Escalonado e (b) valores menores de desvio-padrão (SD) e amplitude interquartil (IQR), em contraste com os grupos abrangentes ‘tempos de resposta do ELP’ e ‘decisão lexical’.16 Os mesmos grupos abrangentes apresentam valores de curtose relativamente altos, isto é, −1.403 e −1.616, respectivamente (nos histogramas desses grupos — não apresentados aqui — emergiram dois picos claros, semelhantes aos de uma distribuição bimodal de valores). Esses padrões sugerem que a medida de AIC Escalonado esteve associada de modo único às categorias experimentais bem definidas de decisão lexical do BLP (ver grupo ‘BLP’) e nomeação do ELP (ver grupo ‘Nomeação’). TABELA 5. Estatísticas descritivas do AIC Escalonado referentes aos grupos categorizados sob ‘tempos de resposta’ e ‘tarefas’ Tempos de resposta Tarefas ELP BLP Nomeação Decisão lexical Média −3.43917 −3.62255 −3.62495 −3.43797 SD 0.20286 0.06778 0.08710 0.19808 Mín. −3.85502 −3.75547 −3.85502 −3.75547 Máx. −3.15754 −3.52945 −3.50150 −3.15754 Mediana −3.42626 −3.62174 −3.61886 −3.44024 IQR 0.35152 0.13704 0.13758 0.36196 Q1 −3.62127 −3.68840 −3.69419 −3.63171 Q3 −3.26975 −3.55136 −3.55662 −3.26975 Sk −0.126 −0.097 −0.559 −0.006 Ku −1.403 −1.244 0.725 −1.616 44 22 22 44 16 Médias e medianas mais baixas, juntamente com valores menores de desvio-padrão e amplitude interquartil, indicam maior confiabilidade e menor suscetibilidade a valores atípicos ou extremos. Straipsniai / Articles 285 CHARITON CHARITONIDIS FIGURA 4. Representações em boxplot do AIC Escalonado referentes aos grupos categorizados sob ‘tempos de resposta’ e ‘tarefas’ Assim como ocorreu com o conjunto completo de valores de AIC Escalonado discutido na seção 6.1, esperava-se que um perfil não paramétrico fosse evidente para os grupos abrangentes ‘ELP’ e ‘decisão lexical’, não limitados por experimentos específicos. Os testes de normalidade confirmaram nossas expectativas. Com referência ao teste de Shapiro–Wilk, os dados de AIC Escalonado do grupo ELP desviaram-se significativamente da normalidade. Calculamos uma estatística de teste de W (44) = 0.91, p <.01. Da mesma forma, os dados de AIC Escalonado do grupo de decisão lexical desviaram-se significativamente da normalidade. Calculamos uma estatística de teste de W (44) = 0.89, p <.001. Passemos agora à análise dos efeitos principais. O objetivo primário foi determinar se os grupos de decisão lexical do BLP e de nomeação do ELP continuam a prever modelos melhores ao controlar os efeitos de cada grupo. Nos testes estatísticos a seguir, os grupos categorizados segundo os fatores principais ‘tempos de resposta’ e ‘tarefas’ receberam valores nominais. A média do AIC Escalonado para o grupo BLP, isto é, −3.623, foi usada como célula de referência ou intercepto. Os resultados mostraram que tanto os tempos de resposta quanto as tarefas tiveram um efeito principal sobre o AIC Escalonado, mas não houve interação. Em particular, houve um efeito principal significativo dos tempos de resposta, F (1, 63) = 271.87, p <.001. Em termos de regressão, o coeficiente para o ELP previu um valor mais alto, isto é, inferior, de AIC Escalonado, b = 0.37, SE = 0.02, t = 16.49, p <.001. Além disso, houve um efeito principal significativo das tarefas, F (1, 63) = 275.42, p <.001. Em termos de regressão, o coeficiente para a nomeação previu um valor mais baixo, isto é, melhor, de AIC Escalonado, b = −0.37, SE = 0.02, t = −16.60, p <.001. A Figura 5 apresenta uma visão geral dos efeitos principais por meio de um gráfico de pontos e linhas. A célula de intercepto ou de referência refere-se simultaneamente ao menor valor de nomeação do ELP e ao maior valor de decisão lexical do BLP, isto é, −3.623. As linhas estão empilhadas 286 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds verticalmente porque os intervalos de valores de AIC Escalonado para a decisão lexical do ELP e a decisão lexical do BLP eram disjuntos (ver Tabela 4). Além disso, as linhas são paralelas porque a ausência de um grupo ‘nomeação do BLP’ nas tarefas eliminou quaisquer efeitos de interação. Em resumo, os tempos de resposta do BLP e a tarefa de nomeação previram persistentemente valores melhores de AIC Escalonado, mesmo após o controle mútuo dos fatores relevantes. Essas descobertas aumentam a precisão e a eficácia dos respectivos modelos. FIGURA 5. Gráfico dos efeitos principais para o AIC Escalonado Deve-se observar que a análise dos efeitos principais apresentada nesta seção é mais aplicável à fonte dos tempos de resposta do que ao desempenho da tarefa, pois, como já mencionado, a combinação ‘nomeação do BLP’ não estava disponível. Esse fato pode limitar a generalização dos resultados para além das amostras específicas. 6.3. AIC Escalonado versus variáveis de controle Nesta seção, a ênfase será colocada nas variáveis de controle comprimento do composto (em caracteres) e frequência SUBTLEX-US, isto é, a frequência logarítmica do composto derivada do corpus SUBTLEX-US (Brysbaert, New 2009). Ambas as variáveis foram amplamente utilizadas nos modelos de regressão de Gagné et al. (2019). Straipsniai / Articles 287 CHARITON CHARITONIDIS Para detectar a influência do comprimento e da frequência do composto sobre o AIC Escalonado, os respectivos coeficientes de regressão foram recodificados em valores ordinais de acordo com sua positividade e nível de significância; ver Tabela 6. Os níveis de significância foram mapeados em escalas ordinais porque representavam pontos de corte convencionais baseados nos valores exatos de significância. TABELA 6. Quadro de recodificação ordinal dos coeficientes de regressão Significância Positividade Valores ordinais Descrição p <.001 negativa −3 efeito negativo grande p <.01 negativa −2 efeito negativo moderado p <.05 negativa −1 efeito negativo pequeno p >.05 negativa/positiva 0 efeito não significativo p <.05 positiva 1 efeito positivo pequeno p <.01 positiva 2 efeito positivo moderado p <.001 positiva 3 efeito positivo grande Nos modelos de Gagné et al. (2019), a frequência SUBTLEX-US esteve sempre associada a coeficientes negativos (=redutores da latência) com efeito grande, p <.001. Assim, todos os coeficientes foram recodificados como −3, valor que era perfeitamente colinear com a variável de resultado, AIC Escalonado. Por esse motivo, a frequência SUBTLEX-US foi excluída da presente análise. Quanto ao comprimento do composto, todos os coeficientes de regressão significativos dos modelos de Gagné et al. (2019) apresentaram um efeito positivo grande (=indutor de latência), p <.001. Em contraste com a variável SUBTLEX-US, surgiram vários coeficientes não significativos. Diante desses padrões, foi criada uma variável categórica com os valores ‘1’ para efeito positivo (=interferência do comprimento do composto) e ‘0’ para ausência de efeito (=ausência de interferência do comprimento do composto). A amostra resultante continha 39 valores de AIC Escalonado. O teste de correlação de Pearson entre o comprimento do composto e o AIC Escalonado produziu um coeficiente de correlação altamente significativo de 0.51, p =.001, indicando uma correlação moderada a forte entre as duas variáveis. O comprimento do composto foi incluído como uma única variável independente em um modelo de regressão linear. Verificou-se que a média prevista do AIC Escalonado para a ausência de interferência do comprimento do composto era 3.611 (=o intercepto). A interferência do comprimento do composto resultou em um valor mais alto (=inferior) de −3.407 (b = 0.204, p =.001). A Figura 6 abaixo ilustra esses padrões. Em suma, o AIC Escalonado se deteriora quando o comprimento do composto se torna relevante nos modelos. 288 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds FIGURA 6. Comprimento do composto e AIC Escalonado Realizamos ANOVAs separadas para a fonte do tempo de resposta (ELP/BLP) e o desempenho da tarefa (decisão lexical/nomeação), levando em conta o comprimento do composto como covariável. O objetivo primário foi identificar disparidades nas médias previamente ajustadas para acomodar os efeitos de controle do comprimento do composto. (a) ANOVA para a fonte do tempo de resposta. Ao BLP foi atribuído o valor ‘0’ e ao ELP foi atribuído o valor ‘1’. O teste de correlação de Pearson revelou uma forte colinearidade entre a fonte do tempo de resposta e o comprimento do composto, r = 1 (N = 39). As evidências a seguir sustentam nossa descoberta: primeiro, o grupo ELP mostrou consistentemente correlações positivas significativas com o comprimento do composto, indicando um efeito grande. Segundo, o grupo BLP apresentou consistentemente correlações não significativas com o comprimento do composto. Consequentemente, a média prevista do AIC Escalonado para a fonte do tempo de resposta foi a mesma com ou sem o comprimento do composto na análise (M = 3.407 em ambos os casos). Em resumo, o comprimento do composto não teve efeito significativo sobre o AIC Escalonado quando a fonte do tempo de resposta foi incluída. (b) ANOVA para o desempenho da tarefa. À nomeação foi atribuído o valor ‘0’ e à decisão lexical foi atribuído o valor ‘1’. O teste de correlação de Pearson revelou uma correlação negativa entre a tarefa e o comprimento do composto, indicando um efeito moderado, r = −.5, p =.001 (N = 39). Esse resultado sugere que o comprimento do composto é mais relevante para a nomeação do que para a decisão lexical. 17 Deve-se observar que 11 dos 13 coeficientes do BLP eram negativos. Straipsniai / Articles 289 CHARITON CHARITONIDIS Ao considerar a tarefa como variável primária, o comprimento do composto foi um preditor significativo do AIC Escalonado, F (1, 145.030), p =.000. Da mesma forma, ao considerar o comprimento do composto como variável primária, a tarefa foi um preditor significativo do AIC Escalonado, F (1, 125.30), p =.000. A média prevista do AIC Escalonado apenas para a tarefa diferiu significativamente da média prevista do AIC Escalonado quando o comprimento do composto foi levado em conta (3.584 versus 3.203, respectivamente). Da mesma forma, a média prevista do AIC Escalonado apenas para o comprimento do composto (3.584) diferiu significativamente da média prevista do AIC Escalonado quando a tarefa foi levada em conta (−3.23). Em síntese, em termos de ajuste por covariável, tanto a tarefa de decisão lexical quanto o comprimento do composto previram modelos inferiores. 6.4. AIC Escalonado versus normas de transparência Esta seção investiga o efeito dos coeficientes de regressão para a transparência semântica nos modelos de Gagné et al. (2019) sobre o AIC Escalonado. Esses coeficientes de regressão foram codificados em três escalas ordinais, cada uma correspondendo a um dos três níveis morfológicos, isto é, composto, primeiro constituinte e segundo constituinte. O quadro de recodificação ordinal pode ser encontrado na Tabela 6. A Tabela 7 abaixo apresenta as medianas e os intervalos dos coeficientes de transparência transformados ordinalmente para os três níveis morfológicos. As medianas fornecem informações úteis sobre a tendência central e a dispersão dos valores ordinais e podem ajudar a orientar análises baseadas em variáveis ordinais. TABELA 7. Coeficientes de transparência transformados ordinalmente: medianas e intervalos Mediana Mínimo Máximo Composto −3 −3 −1 Primeiro constituinte 2 −3 3 Segundo constituinte 0 −2 3 N = 18 Como se pode ver, a mediana para o composto foi ‘−3’, a mediana para o primeiro constituinte foi ‘2’ e a mediana para o segundo constituinte foi ‘0’. Essas descobertas sugerem que, nos modelos de Gagné et al. (2019) com frequência SUBTLEX–US, a transparência do composto esteve associada a um efeito negativo grande (tempos de resposta mais curtos), a transparência do primeiro constituinte esteve associada a um efeito positivo moderado (tempos de resposta mais longos) e a transparência do segundo constituinte não teve efeito significativo ou apresentou 290 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds um papel incerto. As classificações mais altas de transparência para o segundo constituinte, relatadas por Gagné et al. (ibid.), sugerem um viés inerente a seu favor, levando a que a transparência geral do composto dependa da transparência do primeiro constituinte. Nesse contexto, a mediana positiva, indutora de latência, do primeiro constituinte indica seu papel mediador, talvez estabelecedor de referência, nessa relação (ver também a seção 1). Ainda é preciso demonstrar quais são as funções semânticas que representam suficientemente, em termos de processamento, o viés inerente do segundo constituinte.18 A questão de pesquisa a ser abordada agora é se a positividade e o nível de significância dos coeficientes de transparência influenciam o AIC Escalonado. Nosso método visa principalmente detectar efeitos de sobreajuste. Como argumentam Daniel J. Navarro & Jay I. Myung (2005), “um modelo complexo com muitos parâmetros e forma altamente não linear pode frequentemente ajustar os dados melhor do que um modelo simples com poucos parâmetros, mesmo que este último tenha gerado os dados” (Navarro, Myung 2005: 1240). Consequentemente, um grande número de parâmetros pode capturar ruído ou características singulares dos dados disponíveis, mas pode dificultar a capacidade do modelo de generalizar para novos dados. O AIC atenua o problema do sobreajuste ao introduzir uma penalização pela inclusão de numerosos parâmetros em um modelo; ver a parte ‘+2k’ da equação do AIC na seção 2. Quanto à análise a seguir, postula-se que os modelos que apresentam valores mais altos (=inferiores) de AIC Escalonado podem possuir coeficientes significativos, derivados sistematicamente, isto é, coeficientes relevantes apenas de acordo com o conjunto de dados LADEC. Nesse contexto, nossa conjectura sugere que pode surgir uma tendência contrastante na relação entre transparência e AIC Escalonado, em comparação com a indicação fornecida pelas medianas na Tabela 7. Em particular, valores mais baixos (=melhores) de AIC Escalonado podem estar associados a (a) coeficientes positivos (tempos de resposta mais longos) referentes ao composto inteiro, (b) coeficientes negativos (tempos de resposta mais curtos) referentes ao primeiro constituinte e (c) coeficientes positivos ou negativos (tempos de resposta mais longos ou mais curtos, respectivamente) referentes ao segundo constituinte. Deve-se observar que, no caso do segundo constituinte, a mediana na Tabela 7 sugere ausência de efeito. Para responder à questão de pesquisa, serão empregadas duas medidas não paramétricas, isto é, o teste de Kruskal–Wallis e o teste de Jonckheere–Terpstra. O teste de Kruskal–Wallis, também conhecido como ‘teste H’, é um teste não paramétrico baseado em 18 Em Charitonidis (2024), argumenta-se que tanto a hiponímia quanto a concretude do contexto para o segundo constituinte são preditores semânticos significativos na decisão lexical e na nomeação. A análise ali apresentada mostra que a inclusão de ambos os preditores resulta em uma melhoria no AIC Escalonado e em R2, em comparação com modelos que omitem qualquer uma dessas variáveis. Straipsniai / Articles 291 CHARITON CHARITONIDIS a distribuição qui-quadrado. Ele exige que a variável dependente seja ordinal ou contínua. Esse teste foi concebido para determinar se existem diferenças significativas entre as medianas de dois ou mais grupos e é usado como alternativa à ANOVA de uma via. Quanto ao procedimento, os valores da variável dependente contínua, isto é, o AIC Escalonado, foram ordenados do menor para o maior e foram atribuídos postos aos escores. Os postos resultantes foram reinseridos nos grupos do nível de significância (a variável independente), e os postos de cada grupo foram somados. A fórmula para calcular ‘H’ envolvia, entre outros elementos, elevar ao quadrado a soma dos postos de cada grupo e então dividir esse valor pelo tamanho da amostra. As Tabelas 8–10 contêm os dados de entrada considerados e a soma dos postos de cada grupo. 19 20 soma dos postos de cada grupo. TABELA 8. Composto Níveis de significância | N | Soma dos postos do AIC Escalonado | 1 – efeito negativo pequeno | 1 | 2 | 2 – efeito negativo moderado | 5 | 46 | 3 – efeito negativo grande | 12 | 123 | Total | 18 | TABELA 9. Primeiro constituinte Níveis de significância | N | Soma dos postos do AIC Escalonado | 1 – efeito positivo grande | 6 | 59 | 2 – efeito positivo moderado | 4 | 34 | 3 – efeito positivo pequeno | 1 | 3 | 4 – ausência de efeito | 1 | 2 | 5 – efeito negativo pequeno | 1 | 10 | 6 – efeito negativo moderado | 1 | 11 | 7 – efeito negativo grande | 4 | 52 | Total | 18 | 19 Para o restante dos cálculos, ver Field (2009: 561–562). 20 Nas três tabelas, a soma total dos postos é aproximadamente 171. Ela é igual à soma dos inteiros de 1 a 18; ver o tamanho da amostra (N). 292 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds TABELA 10. Segundo constituinte AIC Escalonado | Níveis de significância | N | Soma dos postos do AIC Escalonado | 1 – efeito positivo grande | 6 | 59 AIC Escalonado | 2 – efeito positivo pequeno | 1 | 14 AIC Escalonado | 3 – ausência de efeito | 8 | 59 AIC Escalonado | 4 – efeito negativo pequeno | 1 | 18 AIC Escalonado | 5 – efeito negativo moderado | 2 | 21 | Total | 18 | Antes de examinar os resultados do teste de Kruskal-Wallis (H), é importante observar que esse teste não fornece informações sobre as diferenças específicas entre grupos individuais. Para abordar essa questão, o teste de Jonckheere-Terpstra (JT) também foi empregado. Esse teste forneceu informações sobre se as medianas dos grupos aumentavam ou diminuíam na ordem especificada pela variável de codificação (=agrupamento), especificamente do efeito positivo grande ao efeito negativo grande. Quanto aos métodos, a estatística JT foi convertida em um escore z. Um valor z positivo indicava uma tendência de medianas ascendentes, isto é, as medianas aumentavam (=AIC Escalonado mais alto/inferior) à medida que os valores da variável de codificação aumentavam. Um valor z negativo indicava uma tendência de medianas descendentes, isto é, as medianas diminuíam (=AIC Escalonado mais baixo/melhor) à medida que os valores da variável de codificação aumentavam. A seguir, os resultados dos testes de Kruskal-Wallis (H) e Jonckheere-Terpstra (JT) são apresentados conjuntamente. (a) O AIC Escalonado para o composto não foi significativamente afetado pelo nível de significância, conforme determinado pelo teste de Kruskal-Wallis (H (2) = 2.226, p >.05). Foi encontrada uma tendência de medianas ascendentes, confirmando nossa hipótese de sobreajuste; ver a mediana negativa para o composto na Tabela 7. Essa tendência, contudo, não foi estatisticamente significativa segundo o teste de Jonckheere-Terpstra (JT = 50, z = 1.064, p >.05). (b) O AIC Escalonado para o primeiro constituinte não foi significativamente afetado pelo nível de significância, conforme determinado pelo teste de Kruskal-Wallis (H (6) = 5.427, p >.05). Foi encontrada uma tendência de medianas ascendentes, rejeitando nossa hipótese de sobreajuste; ver a mediana positiva para o primeiro constituinte na Tabela 7. Essa tendência, contudo, não foi estatisticamente significativa segundo o teste de Jonckheere-Terpstra (JT = 70, z = 0.549, p >.05). (c) O AIC Escalonado para o segundo constituinte não foi significativamente afetado pelo nível de significância, conforme determinado pelo teste de Kruskal-Wallis (H (4) = 4.607, p >.05). Não foi observada uma tendência de medianas ascendentes ou descendentes, rejeitando Straipsniai / Articles 293 CHARITON CHARITONIDIS nossa hipótese de sobreajuste. Em particular, a estatística z do teste de Jonckheere–Terpstra foi essencialmente igual a zero, de acordo com a mediana zero para o segundo constituinte na Tabela 7 (JT = 54, z = 0.041, p >.05). Em síntese, pode-se inferir que o nível de significância dos coeficientes de transparência nos modelos de Gagné et al. (2019) com frequência SUBTLEX-US não afeta a magnitude do AIC Escalonado. Essa descoberta apoia indiretamente a qualidade dos modelos de Gagné et al. (2019) com preditores de transparência, indicando especificamente que a hipótese de sobreajuste para esses modelos não é sustentável. Uma limitação do presente estudo é o pequeno tamanho da amostra utilizada, com N = 18. Para confirmar nossas descobertas, são necessárias mais pesquisas utilizando uma gama mais ampla de valores de AIC Escalonado. Para garantir clareza e completude na apresentação dos resultados de nossa pesquisa, incorporamos uma seção dedicada a resumir as principais descobertas do estudo. Para essa visão geral abrangente, prossiga para a Seção 7. 7. PRINCIPAIS DESCOBERTAS A Tabela 11 abaixo apresenta uma análise abrangente do desempenho dos modelos e das variáveis relevantes no contexto das tarefas de decisão lexical e nomeação, com base nas descobertas de Gagné et al. (2019). Cada seção da tabela examina assuntos específicos, revelando quais modelos são mais eficazes. A ANOVA e os testes de Kruskal–Wallis/Jonckheere–Terpstra (seções 6.3 e 6.4) foram aplicados após a atribuição de valores nominais (ordinais ou categóricos) aos coeficientes de regressão dos modelos de Gagné et al. (2019). Para detalhes sobre os testes especiais aplicados, consulte as respectivas seções. TABELA 11. AIC Escalonado em compostos fechados do inglês: análise abrangente do desempenho dos modelos nas tarefas de decisão lexical e nomeação (Gagné et al. 2019) 294 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds Temas | Estatísticas | Avaliação | Seção Variáveis de controle | ANOVA | Frequência do composto ✓; Comprimento do composto ~ | 6.3 Transparência semântica | Kruskal–Wallis Jonckheere–Terpstra | Primeiro constituinte NOF/ns; Segundo constituinte NOF/ns; Composto NOF/ns | 6.4 PAR: dados paramétricos | NPAR: dados não paramétricos | ✓: modelos melhores (AIC mais baixo) ~: modelos inferiores (AIC mais alto) | NOF/ns: ausência de sobreajuste/teste não significativo 8. DISCUSSÃO Pesquisas anteriores de Charitonidis (2022, 2024) demonstraram que o AIC Escalonado é uma medida confiável de qualidade do ajuste que pode ser empregada na seleção de modelos, talvez em conjunto com outras medidas, como o teste de Wald (ver seção 3). Com referência aos modelos de regressão múltipla de Gagné et al. (2019) com frequência SUBTLEX-US, a presente análise introduziu propriedades adicionais da medida de AIC Escalonado. Embora tenham sido levantadas preocupações válidas quanto à comparação de modelos ajustados a tamanhos de amostra diferentes usando critérios de informação (ver seção 2), as descobertas deste estudo sugerem que, em determinados contextos, o AIC Escalonado pode de fato ser uma ferramenta valiosa para avaliar o ajuste dos modelos e hierarquizar modelos de regressão. Nossa pesquisa demonstrou que o AIC Escalonado responde ao desenho experimental, às fontes dos tempos de resposta e às tarefas específicas. Contudo, é essencial reconhecer que a aplicabilidade do AIC Escalonado pode depender do contexto, e sua utilidade deve ser avaliada caso a caso. Antes de prosseguir para as principais descobertas deste artigo, é importante abordar as questões de pesquisa formuladas na seção 4. 1. As distribuições dos valores de Scaled AIC, juntamente com combinações de diferentes fontes de tempos de resposta e tarefas de processamento, sugerem que Scaled AIC identifica eficazmente a presença ou ausência de fatores subjacentes bem definidos no delineamento experimental e na modelagem estatística. Nesse contexto, a decisão lexical do BLP e a nomeação do ELP exibiram maior poder preditivo para Scaled AIC, mesmo sob condições controladas. 2. A frequência do composto foi invariavelmente um preditor negativo de Scaled AIC, indicando sempre um efeito grande. A decisão lexical do ELP mostrou consistentemente Straipsniai / Articles 295 CHARITON CHARITONIDIS correlações positivas significativas com o comprimento do composto, prevendo valores mais altos (=inferiores) de Scaled AIC. A decisão lexical do BLP mostrou consistentemente correlações não significativas com o comprimento do composto. Tanto a decisão lexical quanto o comprimento do composto previram modelos inferiores no ajuste por covariáveis. 3. A positividade e o nível de significância dos coeficientes de transparência nos modelos de Gagné et al. (2019) não afetaram a magnitude de Scaled AIC. Essa descoberta implica que os modelos de Gagné et al. (2019) com preditores de transparência não introduzem viés de sobreajuste. Ao fazer referência a seções específicas das análises, os principais resultados deste estudo podem ser resumidos da seguinte forma: Na Seção 6.1, nossa análise concentrou-se na comparação entre os valores de Scaled AIC em várias categorias de modelos. Mesmo após tentar as transformações ‘logaritmo natural’ e ‘raiz quadrada’ sobre os valores absolutos, a amostra geral de Scaled AIC não apresentou distribuição normal. Da mesma forma, os modelos de decisão lexical do ELP exibiram uma distribuição não paramétrica de seus valores de Scaled AIC. Em contrapartida, os dados relativos à decisão lexical do BLP e à nomeação do ELP seguiram um padrão de distribuição normal. Na Seção 6.2, nosso foco passou a ser o exame da relação entre Scaled AIC e (a) as fontes dos tempos de resposta e (b) o desempenho na tarefa. Curiosamente, os intervalos dos valores de Scaled AIC para os modelos de decisão lexical do ELP e do BLP não se sobrepuseram, indicando sua distinção. Os resultados dos testes revelaram efeitos principais significativos tanto da fonte do tempo de resposta quanto do desempenho na tarefa sobre Scaled AIC. Notavelmente, a capacidade preditiva de Scaled AIC foi melhor para os modelos associados aos tempos de decisão lexical do BLP e à tarefa de nomeação. Essas descobertas contribuem significativamente para a precisão e a eficácia dos respectivos modelos. Na Seção 6.3, nossa investigação aprofundou-se na relação entre Scaled AIC e as variáveis de controle ‘frequência do composto’ e ‘comprimento do composto’. A frequência do composto foi excluída da análise porque era perfeitamente colinear com Scaled AIC. Por outro lado, observou-se uma diminuição dos valores de Scaled AIC quando o comprimento do composto se tornou um fator relevante nos modelos. Concomitantemente, o comprimento do composto foi mais relevante para a tarefa de nomeação. No que diz respeito ao ajuste por covariáveis, tanto a tarefa de decisão lexical quanto o comprimento do composto foram preditores de modelos inferiores. Na Seção 6.4, nosso foco voltou-se para a relação entre Scaled AIC e a transparência semântica. A questão de pesquisa era saber se a positividade e o nível de significância dos coeficientes de transparência nos modelos de Gagné et al. (2019) tinham impacto sobre Scaled AIC. O objetivo principal do nosso método era detectar possíveis efeitos de sobreajuste. Postulamos que modelos com valores inferiores de Scaled AIC poderiam possuir coeficientes significativos que mantivessem relevância 296 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds de acordo apenas com o conjunto de dados LADEC. Embora tenhamos observado uma tendência de aumento dos valores de Scaled AIC (=inferiores) para um agrupamento de coeficientes negativos significativos no nível do composto — em consonância com nossa hipótese de sobreajuste —, o teste de Jonckheere–Terpstra mostrou que essa tendência não alcançou significância estatística. Em conclusão, a exploração de diferentes parâmetros usando Scaled AIC como variável dependente elucidou as diversas maneiras pelas quais as categorias de modelos, a fonte do tempo de resposta, as tarefas de processamento, as variáveis de controle e a transparência semântica afetam a qualidade do ajuste dos modelos. Ao reconhecer as relações nuançadas entre esses elementos, os pesquisadores estão mais bem preparados para tomar decisões informadas na seleção, nos ajustes e na interpretação dos modelos. REFERENCES Akaike Hirotugu 1973: Information Theory and an Extension of the Maximum Likelihood Principle. – Second International Symposium on Information Theory, eds. B. F. Csaki, B. N. Petrov, Budapest: Academiai Kiado, 267–281. Aldrich John R. 1997: R. A. Fisher and the Making of Maximum Likelihood 1912–1922. – Statistical Science 12(3), 162–176. Baayen Harald R., Piepenbrock Richard, Gulikers Leon 1995: The CELEX Lexical Database (Data set, Release 2, CD-ROM), Linguistic Data Consortium, University of Pennsylvania. Available at: https://catalog.ldc.upenn.edu. Balota David A., Yap Melvin J., Cortese Michael J., Hutchison Keith I., Kessler Brett, Loftis Bjorn, Neely James H., Nelson Douglas L., Simpson Greg B., Treiman Rebecca 2007: The English Lexicon Project. – Behavior Research Methods 39, 445–459. Brysbaert Marc, New Boris 2009: Moving Beyond Kučera and Francis: A Critical Evaluation of Current Word Frequency Norms and the Introduction of a New and Improved Word Frequency Measure for American English. – Behavior Research Methods 41, 977–990. DOI: doi.org/10.3758/BRM.41.4.977. Burnham Kenneth P., Anderson David R. 2002: Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach, 2ⁿᵈ edition, New York: Springer. DOI: dx.doi.org/10.1007/b97636. Charitonidis Chariton 2022: Context Concreteness for the Second Constituent Slows Down Compound-Word Processing. – Lexis 20. DOI: doi.org/10.4000/lexis.6769. Straipsniai / Articles 297 CHARITON CHARITONIDIS Charitonidis Chariton 2024: The Role of Hyponymy and Context Concreteness in Compound Word Processing. – Studia Neophilologica. DOI: doi.org/10.1080/00393274.2024.2336851. Chen Xiaocong, Dong Yanping, Yu Xiufen 2018: On the Predictive Validity of Various Corpus-Based Frequency Norms in L2 English Lexical Processing. – Behavior Research Methods 50, 1–25. DOI: doi.org/10.3758/s13428-017-1001-8. Field Andy 2009: Discovering statistics using SPSS, 3rd edition, London: Sage Publications. Fisher Ronald A. 1922: On the Mathematical Foundations of Theoretical Statistics. – Philosophical Transactions of the Royal Society of London, Series A 222, 309–368. Gagné Christina L., Spalding Thomas L., Schmidtke Daniel 2019: LADEC: The Large Database of English Compounds. – Behavior Research Methods 51, 2152–2179. DOI: doi.org/10.3758/s13428-019-01282-6. Gagné Christina L., Spalding Thomas L., Spicer Patricia, Wong Dixie, Rubio Beatriz, Perez-Cruz Karen 2020: Is Buttercup a Kind of Cup? Hyponymy and Semantic Transparency in Compound Words. – Journal of Memory and Language 113. DOI: doi.org/10.1016/j.jml.2020.104110. Hastie Trevor, Tibshirani Robert, Friedman Jerome 2009: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd edition, New York: Springer. Keuleers Emmanuel, Lacey Paula, Rastle Kathleen, Brysbaert Marc 2012: The British Lexicon Project: Lexical Decision Data for 28,730 Monosyllabic and Disyllabic English Words. – Behavior Research Methods 44, 287–304. DOI: doi.org/10.3758/s13428-011-0118-4. Kullback Solomon 1959: Information Theory and Statistics. New York: Wiley. Navarro Daniel J., Myung Jay I. 2005: Model Evaluation. – Encyclopedia of Statistics in Behavioral Science, vol. 3, eds. B. S. Everitt, D. C. Howell, Chichester: Wiley, 1239–1242. Steiger James H. 1980: Tests for Comparing Elements of a Correlation Matrix. – Psychological Bulletin 87(2), 245–251. DOI: doi.org/10.1037/0033-2909.87.2.245. Wagenmakers Eric-Jan, Farrell Simon 2004: AIC Model Selection Using Akaike Weights. – Psychonomic Bulletin & Review 11(1), 192–196. 298 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds I N T E R N E T D I S C U S S I O N S Model comparison with AIC based on different sample size. Available at: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [accessed 15.5.2024]. What is the acceptable range of skewness and kurtosis for normal distribution of data? Available at: https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data [accessed 15.5.2024]. L A R G E L A N G U A G E M O D E L S GPT-3.5 (available at: https://chat.openai.com/) and Google Gemini (available at: https://gemini.google.com [accessed 11.10.2023]) were selectively used as auxiliary proofreading and editing tools. The responses from both AI tools were further proofread and edited by the author. Anglų kalbos uždarųjų junginių (sudurtinių žodžių) skalės AIC tyrimas S A N T R A U K A Šiame tyrime nagrinėjamos modifikuotos Akaikės informacijos kriterijaus, pavadinto skalės kriterijumi, t. y. AIC, kaip tinkamumo rodiklio, padalinto iš imties dydžio, varianto ypatybės. Tyrimo objektas – 66 daugialypės regresijos modeliai, susiję su uždarųjų (sudurtinių) anglų kalbos žodžių junginių, paimtų iš Gagné'es ir kitų (2019) Anglų kalbos sudurtinių žodžių (junginių) didžiosios duomenų bazės (angl. LADEC), apdorojimu. Toliau pateikiami išsamios analizės rezultatai: 1. Modelių kategorijų modeliai pasižymi nevienareikšmiais rezultatais. Britų kalbos žodyno projekto (angl. BLP) leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto (angl. ELP) įvardijimo modeliai veikia geriau (tai rodo mažesnis AIC), palyginus su Anglų kalbos žodyno projekto (angl. ELP) leksinių sprendimų modeliais. Straipsniai / Articles 299 CHARITON CHARITONIDIS 2. Laiko šaltinio ir leksikos apdorojimo užduočių atsakymais atskleidžia reikšmingus pagrindinius skalės AIC rezultatus. Britų kalbos žodyno projekto leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto įvardijimo modeliai veikia gerai, o pastarojo projekto leksinių sprendimų modeliai yra mažiau veiksmingi. 3. Įvertinus kontrolinius kintamuosius, tokius kaip junginių dažnumas ir junginių ilgis, matyti, kad modelių rezultatyvumas skiriasi. Junginių dažnumas yra stiprus veiksnys (parodo didesnis produktyvumas), o sudėtinio ilgio modelių prognozės blogesnės. 4. Kalbant apie pirmosios ir antrosios žodžių junginių sudedamųjų dalių, taip pat ir apie junginių semantinį skaidrumą, modeliai nerodo per didelio suderinamumo. Tai parodo, kad semantinis skaidrumas nesumažina modelių galėjimo apibendrinti naujus duomenis. Įteikta 2024 m. sausio 11 d. CHARITON CHARITONIDIS [email protected] 300 Acta Linguistica Lithuanica XC