CHARITON CHARITONIDIS Chercheur indépendant ORCID id: orcid.org/0000-0003-0298-2629 Domaines de recherche: formation des mots, expressions polylexicales, sémantique lexicale, reconnaissance des mots, émotion. DOI: doi.org/10.35321/all90-11
EXPLORATION DE L’AIC SCALED DANS LES COMPOSÉS ANGLAIS FERMÉS
Étude de l’AIC Scaled des composés anglais fermés (mots composés)
ANNOTATION
Le critère d’information d’Akaike (AIC) est une mesure établie de la qualité de l’ajustement pour sélectionner des modèles dans l’analyse de données empiriques. Cependant, l’AIC est sensible à la taille de l’échantillon. Les recherches antérieures de l’auteur ont montré que l’AIC Scaled, c’est-à-dire l’AIC divisé par la taille de l’échantillon, est un outil efficace pour évaluer l’ajustement des modèles et hiérarchiser les modèles de régression. La présente étude explore plus avant les propriétés de cette variable. L’objet de l’étude est constitué de 66 modèles de régression multiple portant sur le traitement de composés anglais fermés (concaténés), tirés de la Large Database of English Compounds (LADEC) de Gagné et al. (2019). En particulier, l’AIC Scaled est mis en regard de l’English Lexicon Project (ELP) et du British Lexicon Project (BLP) en tant que sources des temps de réponse, des tâches de décision lexicale et de dénomination, de la longueur des composés et des normes de transparence. L’ANOVA à un facteur, l’analyse des effets principaux et des tests non paramétriques sont utilisés comme méthodes. Les résultats suggèrent que l’AIC Scaled réagit au plan expérimental, à la source des temps de réponse ainsi qu’aux tâches de décision lexicale et de dénomination. Parallèlement, les résultats de cette étude fournissent un appui empirique à la validation des méthodes employées par Gagné et al. (2019).
MOTS-CLÉS: composés anglais, AIC Scaled, décision lexicale, dénomination.
ANNOTATION
Le critère d’information d’Akaike (angl. AIC) est une mesure stable de la qualité de l’ajustement des modèles, appliquée à l’analyse de données empiriques. Cependant, l’AIC est sensible à la taille de l’échantillon. Les recherches antérieures de
Straipsniai / Articles
273
CHARITON CHARITONIDIS
l’auteur ont montré que l’AIC Scaled, divisé par la taille de l’échantillon, est un outil efficace pour évaluer l’ajustement des modèles et hiérarchiser les modèles de régression. La présente étude examine les propriétés ultérieures de cette variable. L’objet de l’étude est constitué de 66 modèles de régression multiple liés au traitement de composés anglais fermés (composés), tirés de la Large Database of English Compounds (LADEC) de Gagné et al. (2019). L’AIC Scaled est tout d’abord mis en regard de l’English Lexicon Project (ELP) et du British Lexicon Project (BLP), en tant que sources des temps de réponse, des tâches de décision lexicale et de dénomination, de la longueur des composés et des normes de transparence. Les méthodes utilisées sont l’ANOVA à un facteur (angl. Analysis of variance), l’analyse des résultats principaux et des tests non paramétriques. Les conclusions montrent que l’AIC Scaled réagit au plan expérimental, à la source des temps de réponse ainsi qu’aux tâches de décision lexicale et de dénomination. Parallèlement, les résultats de cette étude fournissent une base empirique à la validation des méthodes employées par Gagné et al. (2019).
MOTS-CLÉS: composés anglais (mots composés), AIC Scaled, décision lexicale, dénomination.
1. LA LARGE DATABASE OF ENGLISH COMPOUNDS (LADEC: GAGNÉ ET AL. 2019)¹
La Large Database of English Compounds (LADEC: Gagné et al. 2019) est la plus grande base de données existante de mots composés. Elle contient plus de 8000 composés sans espace (« fermés » ou « concaténés ») (= noms) sélectionnés à partir de diverses sources, notamment la base de données CELEX (Baayen et al. 1995), l’English Lexicon Project (ELP; Balota et al. 2007), le British Lexicon Project (BLP; Keuleers et al. 2012), le British National Corpus (BNC) et Wordnet. Dans l’ensemble complet des entrées de LADEC, 7,804 composés peuvent être analysés de manière unique en deux constituants morphémiques libres.² Une très grande variété de composés est prise en compte, par exemple les composés nom-nom, p. ex. buttercup, shipyard, les composés dont le second constituant est dérivé d’un radical verbal, p. ex. pacemaker, painkiller, etc. (pour les définitions des classes de composés, voir Lieber 2004: 46). Le premier constituant non-tête renvoie à un large éventail de catégories grammaticales. La Figure 1 contient un bref échantillon des entrées de LADEC.
Les modèles de régression multiple de Gagné et al. (2019) comprennent un large éventail de variables prédictives (= indépendantes), telles que la longueur du composé, la fréquence des bigrammes
¹ Cette section a été adaptée de Chariton Charitonidis (2022), avec de légères modifications.
² LADEC inclut les pluriels de composés déjà répertoriés comme entrées distinctes.
274
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
à la frontière morphémique, la taille de la famille, la fréquence des mots, les mesures de probabilité et d’association (fondées sur les vecteurs), les normes émotionnelles/de sentiment calculées à partir des évaluations des participants, etc. Les temps de réponse logarithmiques des composés provenant de l’ELP (décision lexicale, dénomination) et du BLP (décision lexicale) sont utilisés comme variables dépendantes. Pour l’essentiel, la longueur des composés (nombre de caractères) et la fréquence logarithmique des composés (= mots) du corpus SUBTLEX-US (Brysbaert, New 2009)³ et du BNC (BLP) sont utilisées comme variables de contrôle. Dans les modèles de Gagné et al. (2019), les variables prédictives mentionnées ci-dessus avaient des effets significatifs sur les temps de décision lexicale et de dénomination.
FIGURE 1. LADEC entries: sample
L’étude de Gagné et al. (2019) était principalement centrée sur diverses mesures de transparence sémantique. Gagné et al. (2019) ont demandé aux participants d’évaluer les composés en considérant dans quelle mesure le sens du composé est prévisible à partir de ses parties (évaluations de prévisibilité du sens, fondées sur le composé) et dans quelle mesure le sens de chacun des constituants est conservé dans le composé (évaluations de conservation du sens, fondées sur les constituants). Les auteurs ont constaté que la distribution des transparences du constituant second était beaucoup plus pointue et plus élevée que celle des transparences du premier constituant (MC1: 64.80 [SD: 19.59] contre MC2: 71.00 [SD: 16.46]. N = 8115). Cependant, l’évaluation du
³ Le corpus SUBTLEX–US est un corpus de 51 millions de tokens fondé sur les sous-titres de films et de programmes télévisés américains. Plusieurs études récentes ont fourni des éléments indiquant que les normes de fréquence obtenues à partir des sous-titres de films et de programmes télévisés tendent à être plus efficaces que celles dérivées de textes imprimés lorsqu’il s’agit d’expliquer les différences de temps de traitement lexical et, dans certains cas, de précision chez les locuteurs natifs de diverses langues (voir Chen et al. 2018: 2 et les références qui y sont citées).
Straipsniai / Articles
275
CHARITON CHARITONIDIS
premier constituant était plus fortement corrélée à l’évaluation du composé entier que ne l’était l’évaluation du second constituant (c1~cmp: r = 0.75, p <.001 contre c2~cmp: r = 0.66, p <.001. N = 429).⁴ Plus particulièrement, l’évaluation de la conservation du sens pour le premier constituant et l’évaluation de la prévisibilité du sens pour le composé prédisaient les trois types de temps de réponse, à savoir les temps de décision lexicale de l’ELP, les temps de décision lexicale du BLP et les temps de dénomination de l’ELP.
En conclusion, la distribution plus pointue et plus élevée des transparences du second constituant et la meilleure association du premier constituant avec la prévisibilité du sens du composé semblent se traduire directement par les opérations de tête dans les composés anglais. Le second constituant, c’est-à-dire la tête, est une unité dont la transparence est renforcée sur les plans catégoriel et sémantique (pour l’aspect sémantique, voir les relations d’implication et d’hyponymie). Le premier constituant, c’est-à-dire le modifieur, est le facteur le plus critique dans l’établissement de la référence du composé. Par conséquent, sa transparence covarie le plus fortement avec celle du composé.⁵
2. CRITÈRE D’INFORMATION D’AKAIKE (AIC)
En 1973, Hirotugu Akaike a élaboré une méthode pour estimer l’espérance relative de la distance de Kullback–Leibler (Kullback 1959) à l’aide du log-vraisemblance maximisé de Fisher (Fisher 1922; voir aussi Aldrich 1997). Cette mesure, communément appelée critère d’information d’Akaike (AIC; Akaike 1973), a introduit un nouveau cadre pour la sélection de modèles dans l’analyse de données empiriques, marquant un changement de paradigme important (Burnham, Anderson 2002).
L’AIC se calcule généralement comme suit: −2lnL + 2k, où « lnL » désigne le log-vraisemblance maximisé/complet du modèle et « k » désigne le nombre de paramètres, constante comprise. Un ensemble plus réduit de prédicteurs est généralement associé à des modèles plus efficaces (des modèles présentant une perte d’information plus faible). Plus la valeur de l’AIC est faible (= plus négative), meilleur est l’ajustement du modèle. Dans ce contexte, l’AIC pénalise, en tant que mesure de la qualité de l’ajustement, l’utilisation d’un grand nombre de prédicteurs qui peuvent conduire à des valeurs d’AIC plus élevées (voir la partie « +2k » de l’équation de l’AIC).
⁴ Le test z de Steiger (1980) a montré que cette différence était significative, z = 27.71, p <.0001 (Gagné et al. 2019).
⁵ En se référant aux recherches antérieures, Gagné et al. (2019) rapportent que « le modifieur (le premier constituant en anglais) tend à jouer un rôle plus important dans la sélection de la facilité de relation lors du traitement des composés et des syntagmes nominaux ».
276
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
L’AIC est sensible à la taille de l’échantillon. L’AICc, une version corrigée de l’AIC, intègre la taille de l’échantillon au moyen de la formule 2k (k + 1)/ (n − k − 1). Cependant, il traite spécifiquement les petites tailles d’échantillon et n’est pas recommandé pour les modèles fondés sur de grandes tailles d’échantillon, comme celui de Gagné et al. (2019).⁶ Il convient de noter que des chercheurs tels que Kenneth P. Burnham & David R. Anderson (2002) ne proposent pas de solution définitive pour comparer les valeurs d’AIC de modèles ajustés sur des tailles d’échantillon à la fois différentes et grandes.⁷
En particulier, Burnham & Anderson (2002: 80–85, 334–335) proposent une discussion approfondie des implications de tailles d’échantillon inégales pour la comparaison de modèles. Ils soutiennent que l’utilisation de critères d’information pour comparer des modèles fondés sur des tailles d’échantillon différentes peut conduire à des résultats trompeurs. De même, comme l’a indiqué Svetunkov dans une discussion en ligne en 2016 (voir la référence après la bibliographie), tous les critères d’information reposent sur la fonction de vraisemblance qui, à son tour, dépend de la taille de l’échantillon. Plus précisément, lorsque la taille de l’échantillon augmente, la vraisemblance diminue. Par conséquent, les critères d’information augmentent également dans de tels cas.⁸
3. RECHERCHES ANTÉRIEURES
Dans Charitonidis (2022), les valeurs d’AIC de 44 modèles de régression multiple comportant différentes combinaisons de variables émotionnelles (valence, éveil et concrétude pour (a) les mots et (b) les contextes de mots) ont été divisées par la taille de l’échantillon (N) afin d’obtenir des valeurs d’AIC Scaled (AIC/N). Par la suite, ces valeurs ont été utilisées pour évaluer
⁶ Pour de plus amples informations sur l’AICc, le lecteur est renvoyé à Burnham & Anderson (2002: 374–380).
⁷ L’une des solutions proposées par Burnham & Anderson (2002) concerne la transformation des valeurs d’AIC en « poids d’Akaike », définis comme « la vraisemblance relative du modèle, compte tenu des données » (Burnham, Anderson 2002: xiii; voir aussi Wagenmakers, Farrell 2004).
⁸ Disponible à l’adresse: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [consulté le 16.06.2023]. Le lecteur peut comprendre l’énoncé de Svetunkov en substituant différentes valeurs à la composante « lnL » de l’équation de l’AIC, tout en maintenant constante la composante « 2k ». Une diminution de la valeur de lnL entraînera une valeur d’AIC plus élevée, c’est-à-dire inférieure.
⁹ Dans la littérature, l’AIC Scaled est également appelé « AIC moyen ». Selon Svetunkov (communication personnelle), la pratique consistant à diviser le critère d’information d’Akaike par la taille de l’échantillon n’est pas nouvelle. Par exemple, Hastie et al. (2009: 230–231) définissent l’AIC d’une manière non canonique, en employant N comme dénominateur dans la formule. Bien que cet écart par rapport à la formule conventionnelle de l’AIC ne soit pas exempt de critiques, il demeure une approche courante, comme l’illustre son inclusion dans le progiciel statistique Stata. Par exemple, Stata indique « AIC divisé par N » dans la sortie de ses modèles, comme l’attestent divers exemples disponibles en ligne (Nous remercions I. Svetunkov pour ces informations).
Straipsniai / Articles
277
CHARITON CHARITONIDIS
et à comparer la qualité d’ajustement des modèles. L’insertion de prédicteurs clés dans les modèles globaux, c’est-à-dire généraux, a montré que les temps de décision lexicale du BLP appelaient une meilleure qualité d’ajustement que les temps de décision lexicale de l’ELP. L’ajustement des modèles de dénomination de l’ELP se situait dans la gamme de ceux observés pour les modèles de décision lexicale de l’ELP et du BLP. Plus particulièrement, la concrétude contextuelle du second constituant s’est révélée être un prédicteur significatif dans tous les modèles comportant la fréquence SUBTLEX-US, pour la décision lexicale comme pour la dénomination.
Dans Charitonidis (2024), tous les coefficients significatifs des modèles globaux comportant la fréquence SUBTLEX-US ont été mis en regard de la variable d’hyponymie (Gagné et al. 2020). Il a été constaté que les modèles incluant à la fois l’hyponymie et la concrétude contextuelle du second constituant étaient toujours associés à la valeur d’AIC Scaled la plus faible (= la meilleure), comparativement aux modèles emboîtés, c’est-à-dire réduits, omettant l’une ou l’autre de ces deux variables. Les tests de Wald appliqués ensuite ont montré que les modèles emboîtés renvoyaient toujours à une réduction significative (= détérioration) du coefficient de détermination (R2). Les tableaux 1 et 2 présentent respectivement les valeurs d’AIC Scaled et les résultats des tests de Wald correspondants.
TABLEAU 1.
Valeurs d’AIC Scaled pour les modèles emboîtés omettant l’hyponymie (« Modèle 2 ») ou la concrétude contextuelle du second constituant (« Modèle 3 ») à partir des modèles complets (« Modèle 1 ») pour prédire les temps de décision lexicale (LD) de l’English Lexicon Project (ELP), les temps de décision lexicale du British Lexicon Project (BLP) et les temps de dénomination de l’ELP
Modèle | AIC Scaled | AIC | N ELP LD 1 | −3.36281ᵃ | −3557.85 | 1058 2 | −3.30375 | −4169.334 | 1262 3 | −3.34845 | −3700.038 | 1105 BLP LD 1 | −3.79552ᵃ | −2903.574 | 765 2 | −3.76618 | −3920.592 | 1041 3 | −3.76718 | −2987.37 | 793 ELP dénomination 1 | −3.58686ᵇ | −7396.108 | 2062 2 | −3.54304 | −8418.27 | 2376 3 | −3.58379 | −7389.784 | 2062
278
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
a. Prédicteurs: (Constante), jugement d’hyponymie, longueur du composé, fréquence SUBTLEX–US, valence de représentation (cmp), concrétude contextuelle (c2)
b. Prédicteurs: (Constante), jugement d’hyponymie, longueur du composé, fréquence SUBTLEX–US, valence contextuelle (cmp), éveil contextuel (c1), éveil contextuel (c2), concrétude contextuelle (c2)
TABLEAU 2.
Tests de Wald pour les modèles emboîtés omettant l’hyponymie (« Modèle 2 ») ou la concrétude contextuelle du second constituant (« Modèle 3 ») à partir des modèles complets (« Modèle 1 ») pour prédire les temps de décision lexicale (LD) de l’English Lexicon Project (ELP), les temps de décision lexicale du British Lexicon Project (BLP) et les temps de dénomination de l’ELP
Modèle | R2 carré | Variation de F | df1 | df2 | p ELP LD 1 |.184a | 47.506 | 5 | 1052 |.000 2 | −.004 | 4.562 | 1 | 1052 |.033 3 | −.010 | 13.175 | 1 | 1052 |.000 BLP LD 1 |.211a | 40.479 | 5 | 759 |.000 2 | −.013 | 12.091 | 1 | 759 |.001 3 | −.015 | 14.007 | 1 | 759 |.000 ELP dénomination 1 |.288b | 118.711 | 7 | 2054 |.000 2 | −.003 | 8.286 | 1 | 2054 |.004 3 | −.003 | 8.309 | 1 | 2054 |.004
a. Prédicteurs: (Constante), jugement d’hyponymie, longueur du composé, fréquence SUBTLEX–US, valence de représentation (cmp), concrétude contextuelle (c2)
b. Prédicteurs: (Constante), jugement d’hyponymie, longueur du composé, fréquence SUBTLEX–US, valence contextuelle (cmp), éveil contextuel (c1), éveil contextuel (c2), concrétude contextuelle (c2)
En conclusion, deux mesures différentes de la taille de l’effet, à savoir l’AIC Scaled et R2, ont hiérarchisé les mêmes modèles de régression de manière identique tout en montrant la même préférence pour le meilleur modèle. Il existe donc des preuves solides que la mesure AIC Scaled constitue un outil qualitatif pour évaluer l’ajustement des modèles.
Straipsniai / Articles
279
CHARITON CHARITONIDIS
4. LA PRÉSENTE ÉTUDE
La présente étude s’appuie sur les recherches antérieures de l’auteur présentées à la section 3. Les sujets de recherche sont 66 modèles de décision lexicale et de dénomination pour les composés anglais fermés (concaténés) construits par Gagné et al. (2019). Tous les modèles incluent la fréquence SUBTLEX-US comme variable de contrôle. Nos objectifs sont doubles et avancent en parallèle. Premièrement, nous évaluons les caractéristiques des modèles de Gagné et al. (ibid.). Deuxièmement, nous explorons les propriétés essentielles de la mesure AIC Scaled.
Les questions de recherche sont les suivantes: 1. L’AIC Scaled est-il sensible à la conception des modèles de Gagné et al. (2019)? Quels groupes de modèles sont favorisés? 2. Quel est l’impact des variables de contrôle « fréquence du composé » et « longueur du composé » sur l’AIC Scaled? 3. Comment la transparence morphologique est-elle liée à l’AIC Scaled?
Notre étude est structurée comme suit: la section 5 donne un aperçu de nos méthodes. La section 6.1 fournit des statistiques descriptives pour l’AIC Scaled se rapportant aux modèles considérés. L’accent est mis sur les caractéristiques paramétriques et non paramétriques des catégories de modèles. La section 6.2 explore la relation entre la source des temps de réponse et les tâches de traitement lexical. La section 6.3 met en regard l’AIC Scaled et les variables de contrôle « fréquence du composé » et « longueur du composé ». Dans la section 6.4, les niveaux de significativité des coefficients de transparence des modèles de Gagné et al. (2019) sont mis en correspondance avec les valeurs d’AIC Scaled. Les principales conclusions sont résumées à la section 7, suivies d’une discussion des résultats à la section 8.
5. MÉTHODES
Notre méthode générale consistait en une analyse comparative des principaux paramètres et caractéristiques des modèles de Gagné et al. (2019), en utilisant l’AIC Scaled comme variable dépendante. Les variables indépendantes comprenaient les caractéristiques de l’échantillon (p. ex. la source des temps de réponse et les tâches de traitement lexical), le plan de l’étude (p. ex. les variables de contrôle) et le niveau de significativité des coefficients de transparence, entre autres facteurs.
Les méthodes statistiques spécifiques employées étaient les suivantes: (a) des statistiques descriptives portant sur les moyennes et les médianes, ainsi que l’application du test de Shapiro–Wilk pour évaluer la tendance centrale, la variabilité et la distribution de l’AIC Scaled dans différentes catégories et différents groupes de modèles (sections 6.1 et 6.2), (b) des analyses des effets principaux menées pour la source des temps de réponse (ELP/BLP) et les tâches de traitement lexical (décision lexicale/dénomination) (section
280
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
6.2), (c) des ANOVA distinctes réalisées sur la source des temps de réponse et les tâches de traitement lexical, en intégrant la longueur du composé comme covariable (section 6.3), et (d) l’utilisation des tests de Kruskal–Wallis et de Jonckheere–Terpstra pour explorer les différences entre les rangs de coefficients recodés ordinalement pour la transparence sémantique (section 6.4). Pour plus d’informations sur les méthodes, le lecteur est renvoyé aux analyses des sections 6.1–6.4.
6. ANALYSES
6.1. AIC Scaled vs. catégories de modèles
Les 66 valeurs d’AIC issues des modèles de régression multiple de Gagné et al. (2019), avec la fréquence SUBTLEX–US comme variable de contrôle, ont été divisées par la taille de l’échantillon de chaque modèle afin d’obtenir un ensemble de 66 valeurs d’AIC Scaled.
Le tableau 3 ci-dessous fournit les statistiques descriptives de l’AIC Scaled et la Figure 2 présente le boxplot correspondant se rapportant à l’ensemble ordonné des valeurs.10 Aucun résultat aberrant n’a été observé dans l’échantillon. Les valeurs d’asymétrie (Sk) et d’aplatissement (Ku) étaient acceptables.11
La valeur moyenne de l’AIC Scaled était de −3.50030. L’écart-type était de 0.19052, ce qui signifie que les observations étaient relativement regroupées autour de la moyenne. Les valeurs minimale et maximale étaient respectivement de −3.85502 et −3.15754. La valeur médiane était de −3.55732, c’est-à-dire légèrement inférieure à la valeur moyenne.12 Les 50% centraux des données s’étendaient de −3.66575 (premier quartile, Q1) à −3.30959 (troisième quartile, Q3). En conséquence, l’intervalle interquartile (IQR) était de 0.35616.
10 La ligne inférieure, ou premier quartile, de la boîte (Q1) marque la limite au-dessous de laquelle s’étendent les 25% inférieurs des données. De même, la ligne supérieure, ou troisième quartile, de la boîte (Q3) marque la limite au-dessus de laquelle s’étendent les 25% supérieurs des données. La zone ombrée indique les limites des 50% centraux des données, ou intervalle interquartile (IQR), qui peut être calculé en soustrayant le premier quartile du troisième quartile (Q3−Q1). La ligne horizontale à l’intérieur de la boîte indique la médiane, ou quartile central (Q2), c’est-à-dire la valeur qui se situe au milieu de l’ensemble de données.
11 Dans l’environnement SPSS, les valeurs comprises entre −1 et +1 pour l’asymétrie et entre −2 et +2 pour l’aplatissement sont généralement considérées comme acceptables pour l’évaluation d’une distribution normale. Il convient toutefois de noter que l’asymétrie et l’aplatissement seuls ne constituent pas une preuve concluante de la normalité (voir également la discussion sur https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data).
12 Conformément à ce profil, les données présentaient une faible asymétrie positive (0.494).
Straipsniai / Articles
281
CHARITON CHARITONIDIS
TABLEAU 3. Statistiques descriptives de l’AIC Scaled (ensemble complet)
Moyenne ET Min Max −3.50030 0.19052 −3.85502 −3.15754 Médiane IQR Q1 Q3 −3.55732 0.35616 −3.66575 −3.30959
N=66. Sk=0.494, Ku=−1.101
FIGURE 2. Distribution de l’AIC Scaled (ensemble complet): boxplot
On s’attendait à ce que l’ensemble complet des valeurs d’AIC Scaled ne présente pas une distribution normale, car il englobait différentes tâches (décision lexicale, dénomination) et était dérivé de différentes sources de temps de réponse (ELP, BLP). Le test de Shapiro–Wilk et le test de Kolmogorov–Smirnov ont confirmé nos hypothèses.13 Plus précisément, les statistiques du test de Shapiro–Wilk étaient W (66) = 0.90, p <.001, et les statistiques du test de Kolmogorov–Smirnov étaient D (66) = 0.17, p <.001. Il convient de noter que le même ensemble complet ne présentait pas de distribution normale, même après application du logarithme naturel et des transformations par racine carrée aux valeurs absolues.
Le tableau 4 ci-dessous fournit les statistiques descriptives de l’AIC Scaled en référence aux principales catégories de modèles de Gagné et al. (2019), à savoir la décision lexicale ELP, la décision lexicale BLP et la dénomination ELP (chaque groupe contient 22 modèles). La Figure 3 présente les boxplots correspondants. Comme on peut le voir, les moyennes et les médianes
13 Le test de Kolmogorov–Smirnov a appliqué la correction de signification de Lilliefors.
282
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
pour la décision lexicale BLP et la dénomination ELP renvoyaient à des valeurs d’AIC Scaled similaires. La décision lexicale ELP renvoyait à des valeurs plus élevées (= inférieures) qui étaient, en outre, disjointes des valeurs de décision lexicale BLP.14 En résumé, la décision lexicale BLP et la dénomination ELP appelaient toujours des modèles meilleurs que la décision lexicale ELP.
TABLEAU 4. Statistiques descriptives de l’AIC Scaled par principales catégories de modèles
On s’attendait à ce que le profil non paramétrique de l’ensemble complet des valeurs d’AIC Scaled soit moins susceptible de se manifester au sein des principales catégories de modèles, c’est-à-dire les principales combinaisons de temps de réponse et de tâches. Comme on le verra, cette attente a été confirmée.
Le test de Shapiro-Wilk a montré que les données de décision lexicale ELP s’écartaient significativement de la normalité. Plus précisément, nous avons calculé une statistique de test de W (22) = 0.90, p <.05.15
Les données de décision lexicale BLP étaient distribuées normalement. Les statistiques correspondantes étaient W (22) = 0.92, p >.05 (Shapiro-Wilk).
14 Un test t réalisé sur les données récapitulatives de la décision lexicale ELP et de la décision lexicale BLP (Tableau 4) a indiqué une différence hautement significative entre les moyennes des échantillons, t = 18.296, p <.0001.
15 Il convient de noter qu’un ensemble de six modèles de décision lexicale de l’ELP renvoyaient à des valeurs d’AIC mise à l’échelle proches de la valeur maximale de −3.15754, indiquant le moins bon ajustement de l’ensemble des données. Ces modèles ont contribué à un pic marqué vers l’extrémité supérieure de la distribution (allant de −3.17304 à −3.15754), donnant lieu à une distribution presque bimodale. Cette observation est étayée par une valeur relativement élevée de kurtosis négative de −1.444.
Straipsniai / Articles
283
CHARITON CHARITONIDIS
FIGURE 3. Représentations en boîte à moustaches de l’AIC mise à l’échelle selon les principales catégories de modèles
De même, les données de dénomination de l’ELP étaient distribuées normalement. Les statistiques correspondantes étaient W (22) = 0.93, p >.05 (Shapiro–Wilk).
En résumé, tant l’ensemble complet des modèles que les modèles de décision lexicale de l’ELP étaient associés à une distribution non paramétrique de l’AIC mise à l’échelle. En revanche, les données de décision lexicale du BLP et de dénomination de l’ELP étaient distribuées normalement. Examinons maintenant l’influence de facteurs individuels sur l’AIC mise à l’échelle.
6.2. AIC mise à l’échelle par rapport à la source des temps de réponse et aux tâches
Le tableau 5 ci-dessous contient les statistiques descriptives des valeurs d’AIC mise à l’échelle pour les groupes catégorisés selon les facteurs principaux « temps de réponse » et « tâches », c’est-à-dire (a) les temps de réponse de l’ELP, (b) les temps de réponse du BLP, (c) la tâche de dénomination et (d) la tâche de décision lexicale. Les temps de réponse de l’ELP et la tâche de décision lexicale
284
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
sont des groupes généraux renvoyant respectivement à « décision lexicale et dénomination » et « ELP et BLP ». Les groupes « BLP » et « Dénomination » sont identiques aux catégories de modèles « décision lexicale BLP » et « dénomination ELP », respectivement, déjà présentées dans le tableau 4 (section 6.1). La figure 4 présente les représentations en boîte à moustaches correspondantes.
Comme on peut le voir dans le tableau 5, tant « BLP » que « Dénomination » renvoyaient à (a) des valeurs moyennes et médianes principales plus faibles (= meilleures) de l’AIC mise à l’échelle, et (b) des valeurs plus faibles d’écart type (SD) et d’intervalle interquartile (IQR), contrairement aux groupes généraux « temps de réponse de l’ELP » et « décision lexicale ».16 Ces mêmes groupes généraux présentent des valeurs de kurtosis relativement élevées, à savoir −1.403 et −1.616, respectivement (dans les histogrammes de ces groupes — non présentés ici — deux pics nets sont apparus, similaires à ceux d’une distribution bimodale des valeurs). Ces profils suggèrent que la mesure d’AIC mise à l’échelle était associée de manière singulière aux catégories expérimentales bien définies « décision lexicale BLP » (voir le groupe « BLP ») et « dénomination ELP » (voir le groupe « Dénomination »).
TABLEAU 5.
Statistiques descriptives de l’AIC mise à l’échelle concernant les groupes catégorisés sous « temps de réponse » et « tâches »
Temps de réponse Tâches ELP BLP Dénomination Décision lexicale Moyenne −3.43917 −3.62255 −3.62495 −3.43797 SD 0.20286 0.06778 0.08710 0.19808 Min −3.85502 −3.75547 −3.85502 −3.75547 Max −3.15754 −3.52945 −3.50150 −3.15754 Médiane −3.42626 −3.62174 −3.61886 −3.44024 IQR 0.35152 0.13704 0.13758 0.36196 Q1 −3.62127 −3.68840 −3.69419 −3.63171 Q3 −3.26975 −3.55136 −3.55662 −3.26975 Sk −0.126 −0.097 −0.559 −0.006 Ku −1.403 −1.244 0.725 −1.616 44 22 22 44
16 Des moyennes et médianes plus faibles, associées à des valeurs plus petites d’écart type et d’intervalle interquartile, indiquent une plus grande fiabilité et une moindre sensibilité aux valeurs aberrantes ou extrêmes.
Straipsniai / Articles
285
CHARITON CHARITONIDIS
FIGURE 4. Représentations en boîte à moustaches de l’AIC mise à l’échelle concernant les groupes catégorisés sous « temps de réponse » et « tâches »
Comme pour l’ensemble des valeurs d’AIC mise à l’échelle examinées à la section 6.1, on s’attendait à observer un profil non paramétrique pour les groupes généraux « ELP » et « décision lexicale », qui ne sont pas limités à des expériences particulières. Les tests de normalité ont confirmé nos attentes.
Selon le test de Shapiro–Wilk, les données d’AIC mise à l’échelle du groupe ELP s’écartaient significativement de la normalité. Nous avons calculé une statistique de test W (44) = 0.91, p <.01. De même, les données d’AIC mise à l’échelle du groupe de décision lexicale s’écartaient significativement de la normalité. Nous avons calculé une statistique de test W (44) = 0.89, p <.001.
Passons maintenant à l’analyse des effets principaux. L’objectif premier était de déterminer si les groupes « décision lexicale BLP » et « dénomination ELP » continuaient à prédire de meilleurs modèles après contrôle des effets de l’un ou l’autre groupe.
Dans les tests statistiques qui suivent, les groupes catégorisés selon les facteurs principaux « temps de réponse » et « tâches » se sont vu attribuer des valeurs nominales. La moyenne d’AIC mise à l’échelle du groupe BLP, soit −3.623, a été utilisée comme cellule de référence ou ordonnée à l’origine.
Les résultats ont montré que les temps de réponse et les tâches avaient tous deux un effet principal sur l’AIC mise à l’échelle, mais qu’il n’y avait pas d’interaction. En particulier, il y avait un effet principal significatif des temps de réponse, F (1, 63) = 271.87, p <.001. En termes de régression, le coefficient pour l’ELP prédisait une valeur plus élevée, c’est-à-dire inférieure, de l’AIC mise à l’échelle, b = 0.37, SE = 0.02, t = 16.49, p <.001. En outre, il y avait un effet principal significatif des tâches, F (1, 63) = 275.42, p <.001. En termes de régression, le coefficient pour la dénomination prédisait une valeur plus faible, c’est-à-dire meilleure, de l’AIC mise à l’échelle, b = −0.37, SE = 0.02, t = −16.60, p <.001.
La figure 5 donne un aperçu des effets principaux au moyen d’un graphique de points et de lignes. La cellule d’interception ou de référence renvoie à la fois à la valeur la plus faible de la dénomination ELP et à la valeur la plus élevée de la décision lexicale BLP, soit −3.623. Les lignes sont empilées
286
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
verticalement parce que les plages de valeurs d’AIC mise à l’échelle pour la décision lexicale ELP et la décision lexicale BLP étaient disjointes (voir le tableau 4). En outre, les lignes sont parallèles parce que l’absence d’un groupe « dénomination BLP » parmi les tâches éliminait tout effet d’interaction.
En résumé, les temps de réponse du BLP et la tâche de dénomination prédisaient systématiquement de meilleures valeurs d’AIC mise à l’échelle, même après contrôle mutuel des facteurs pertinents. Ces résultats améliorent la précision et l’efficacité des modèles correspondants.
FIGURE 5. Graphique des effets principaux pour l’AIC mise à l’échelle
Il convient de noter que l’analyse des effets principaux présentée dans cette section s’applique davantage à la source des temps de réponse qu’à la performance des tâches car, comme nous l’avons déjà mentionné, la combinaison « dénomination BLP » n’était pas disponible. Ce fait peut limiter la généralisation des résultats au-delà des échantillons particuliers.
6.3. AIC mise à l’échelle par rapport aux variables de contrôle
Dans cette section, l’accent sera mis sur les variables de contrôle longueur du composé (en caractères) et fréquence SUBTLEX-US, c’est-à-dire la fréquence logarithmique du composé dérivée du corpus SUBTLEX-US (Brysbaert, New 2009). Les deux variables ont été largement utilisées dans les modèles de régression de Gagné et al. (2019).
Straipsniai / Articles
287
CHARITON CHARITONIDIS
Pour détecter l’influence de la longueur et de la fréquence des composés sur l’AIC mise à l’échelle, les coefficients de régression correspondants ont été recodés en valeurs ordinales selon leur positivité et leur niveau de significativité; voir le tableau 6. Les niveaux de significativité ont été associés à des échelles ordinales parce qu’ils représentaient des points de coupure conventionnels fondés sur les valeurs exactes de significativité.
TABLEAU 6. Tableau de recodage ordinal des coefficients de régression
Significativité Positivité Valeurs ordinales Description p <.001 négative −3 effet négatif important p <.01 négative −2 effet négatif modéré p <.05 négative −1 effet négatif faible p >.05 négative/positive 0 effet non significatif p <.05 positive 1 effet positif faible p <.01 positive 2 effet positif modéré p <.001 positive 3 effet positif important
Dans les modèles de Gagné et al. (2019), la fréquence SUBTLEX-US était toujours associée à des coefficients négatifs (= réduisant la latence) avec un effet important, p <.001. En conséquence, tous les coefficients ont été recodés en −3, valeur parfaitement colinéaire à la variable dépendante, l’AIC mise à l’échelle. Pour cette raison, la fréquence SUBTLEX-US a été exclue de l’analyse présente.
Concernant la longueur du composé, tous les coefficients de régression significatifs des modèles de Gagné et al. (2019) avaient un effet positif important (= induisant une latence), p <.001. Contrairement à la variable SUBTLEX-US, plusieurs coefficients non significatifs sont apparus. Compte tenu de ces profils, une variable catégorielle a été créée avec les valeurs « 1 » pour un effet positif (= interférence de la longueur du composé) et « 0 » pour une absence d’effet (= absence d’interférence de la longueur du composé). L’échantillon obtenu contenait 39 valeurs d’AIC mise à l’échelle. Le test de corrélation de Pearson entre la longueur du composé et l’AIC mise à l’échelle a produit un coefficient de corrélation hautement significatif de 0.51, p =.001, indiquant une corrélation modérée à forte entre les deux variables.
La longueur du composé a été incluse comme unique variable indépendante dans un modèle de régression linéaire. Il a été constaté que la moyenne prédite de l’AIC mise à l’échelle en l’absence d’interférence de la longueur du composé était de 3.611 (= l’interception). L’interférence de la longueur du composé a donné lieu à une valeur plus élevée (= inférieure) de −3.407 (b = 0.204, p =.001). La figure 6 ci-dessous illustre ces profils. En bref, l’AIC mise à l’échelle se dégrade lorsque la longueur du composé devient pertinente dans les modèles.
288
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
FIGURE 6. Longueur du composé et AIC mise à l’échelle
Nous avons réalisé des ANOVA distinctes pour la source des temps de réponse (ELP/BLP) et la performance des tâches (décision lexicale/dénomination), en tenant compte de la longueur du composé comme covariable. L’objectif premier était d’identifier les disparités entre les moyennes précédemment ajustées afin de prendre en compte les effets de contrôle de la longueur du composé.
(a) ANOVA pour la source des temps de réponse. La valeur « 0 » a été attribuée au BLP et la valeur « 1 » à l’ELP. Le test de corrélation de Pearson a révélé une forte colinéarité entre la source des temps de réponse et la longueur du composé, r = 1 (N = 39). Les éléments suivants étayent notre résultat: premièrement, le groupe ELP présentait systématiquement des corrélations positives significatives avec la longueur du composé, indiquant un effet important. Deuxièmement, le groupe BLP présentait systématiquement des corrélations non significatives avec la longueur du composé. Par conséquent, la moyenne prédite de l’AIC mise à l’échelle pour la source des temps de réponse était identique avec ou sans longueur du composé dans l’analyse (M = 3.407 dans les deux cas). En résumé, la longueur du composé n’avait pas d’effet significatif sur l’AIC mise à l’échelle lorsque la source des temps de réponse était incluse.
(b) ANOVA pour la performance des tâches. La valeur « 0 » a été attribuée à la dénomination et la valeur « 1 » à la décision lexicale. Le test de corrélation de Pearson a révélé une corrélation négative entre la tâche et la longueur du composé, indiquant un effet modéré, r = −.5, p =.001 (N = 39). Ce résultat suggère que la longueur du composé est plus pertinente pour la dénomination que pour la décision lexicale.
17 Il convient de noter que 11 des 13 coefficients du BLP étaient négatifs.
Straipsniai / Articles
289
CHARITON CHARITONIDIS
Lorsque la tâche était considérée comme variable principale, la longueur du composé était un prédicteur significatif de l’AIC mise à l’échelle, F (1, 145.030), p =.000. De même, lorsque la longueur du composé était considérée comme variable principale, la tâche était un prédicteur significatif de l’AIC mise à l’échelle, F (1, 125.30), p =.000. La moyenne prédite de l’AIC mise à l’échelle pour la tâche seule différait significativement de la moyenne prédite de l’AIC mise à l’échelle lorsque la longueur du composé était prise en compte (3.584 contre 3.203, respectivement). De même, la moyenne prédite de l’AIC mise à l’échelle pour la longueur du composé seule (3.584) différait significativement de la moyenne prédite de l’AIC mise à l’échelle lorsque la tâche était prise en compte (−3.23). En résumé, en termes d’ajustement par covariable, la tâche de décision lexicale et la longueur du composé prédisaient toutes deux des modèles inférieurs.
6.4. AIC mise à l’échelle par rapport aux normes de transparence
Cette section examine l’effet des coefficients de régression de la transparence sémantique dans les modèles de Gagné et al. (2019) sur l’AIC mise à l’échelle. Ces coefficients de régression ont été codés sur trois échelles ordinales, chacune correspondant à l’un des trois niveaux morphologiques, à savoir le composé, le premier constituant et le second constituant. Le tableau de recodage ordinal se trouve dans le tableau 6.
Le tableau 7 ci-dessous présente les médianes et les étendues des coefficients de transparence transformés ordinalement pour les trois niveaux morphologiques. Les médianes fournissent des informations utiles sur la tendance centrale et la dispersion des valeurs ordinales et peuvent contribuer à éclairer les analyses fondées sur des variables ordinales.
TABLEAU 7. Coefficients de transparence transformés ordinalement: médianes et étendues
Médiane Minimum Maximum Composé −3 −3 −1 Premier constituant 2 −3 3 Second constituant 0 −2 3
N = 18
Comme on peut le voir, la médiane pour le composé était « −3 », celle du premier constituant était « 2 », et celle du second constituant était « 0 ». Ces résultats suggèrent que, dans les modèles de Gagné et al. (2019) avec la fréquence SUBTLEX–US, la transparence du composé était associée à un effet négatif important (temps de réponse plus courts), la transparence du premier constituant était associée à un effet positif modéré (temps de réponse plus longs), et la transparence du second constituant n’avait pas d’effet significatif ou avait
290
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
un rôle incertain. Les scores de transparence plus élevés du second constituant, rapportés par Gagné et al. (ibid.), suggèrent un biais inhérent en sa faveur, faisant dépendre la transparence globale du composé de la transparence du premier constituant. Dans ce contexte, la médiane positive, induisant une latence, du premier constituant indique son rôle médiateur, peut-être établissant la référence, dans cette relation (voir également la section 1). Il reste à démontrer quelles fonctions sémantiques représentent suffisamment, en termes de traitement, le biais inhérent du second constituant.18
La question de recherche à traiter maintenant est de savoir si la positivité et le niveau de significativité des coefficients de transparence influencent l’AIC mise à l’échelle. Notre méthode vise principalement à détecter les effets de surajustement. Comme l’affirment Daniel J. Navarro & Jay I. Myung (2005), « un modèle complexe comportant de nombreux paramètres et une forme fortement non linéaire peut souvent mieux ajuster les données qu’un modèle simple comportant peu de paramètres, même si ce dernier a généré les données » (Navarro, Myung 2005: 1240). En conséquence, un grand nombre de paramètres peut capter le bruit ou les caractéristiques particulières des données disponibles, mais peut entraver la capacité du modèle à généraliser à de nouvelles données. L’AIC atténue le problème du surajustement en introduisant une pénalité pour l’inclusion de nombreux paramètres dans un modèle; voir la partie « +2k » de l’équation de l’AIC à la section 2.
Concernant l’analyse qui suit, on postule que les modèles présentant des valeurs d’AIC mise à l’échelle plus élevées (= inférieures) peuvent posséder des coefficients significatifs, systématiquement dérivés, c’est-à-dire des coefficients pertinents selon le seul jeu de données LADEC. Dans ce contexte, notre conjecture suggère qu’une tendance opposée pourrait apparaître dans le rapport entre la transparence et l’AIC mise à l’échelle, par comparaison avec l’indication fournie par les médianes du tableau 7.
En particulier, des valeurs d’AIC mise à l’échelle plus faibles (= meilleures) peuvent être associées à (a) des coefficients positifs (temps de réponse plus longs) concernant l’ensemble du composé, (b) des coefficients négatifs (temps de réponse plus courts) concernant le premier constituant, et (c) des coefficients positifs ou négatifs (temps de réponse plus longs ou plus courts, respectivement) concernant le second constituant. Il convient de noter que, concernant le second constituant, la médiane du tableau 7 suggère une absence d’effet.
Pour répondre à la question de recherche, deux mesures non paramétriques seront employées, à savoir le test de Kruskal–Wallis et le test de Jonckheere–Terpstra. Le test de Kruskal–Wallis, également appelé « test H », est un test non paramétrique fondé sur
18 Dans Charitonidis (2024), il est avancé que l’hyponymie et la concrétude contextuelle du second constituant sont toutes deux des prédicteurs sémantiques significatifs dans la décision lexicale et la dénomination. L’analyse qui y est présentée montre que l’inclusion de ces deux prédicteurs entraîne une amélioration de l’AIC mise à l’échelle et de R2 par rapport aux modèles qui omettent l’une ou l’autre de ces variables.
Straipsniai / Articles
291
CHARITON CHARITONIDIS
la distribution du chi carré. Il exige que la variable dépendante soit ordinale ou continue. Ce test vise à déterminer s’il existe des différences significatives entre les médianes de deux groupes ou plus et est utilisé comme solution de remplacement à l’ANOVA à un facteur. Pour la procédure, les valeurs de la variable dépendante continue, c’est-à-dire l’AIC mise à l’échelle, ont été ordonnées de la plus faible à la plus élevée et des rangs ont été attribués aux scores. Les rangs obtenus ont ensuite été réintroduits dans les groupes de niveau de significativité (la variable indépendante), et les rangs de chaque groupe ont été additionnés. La formule de calcul de « H » impliquait notamment de mettre au carré la somme des rangs de chaque groupe, puis de diviser cette valeur par la taille de l’échantillon.
Les tableaux 8–10 contiennent les données d’entrée considérées et la somme des rangs pour chaque groupe.
19
20
somme des rangs pour chaque groupe.
TABLEAU 8. Composé
Niveaux de significativité | N | Somme des rangs AIC mise à l’échelle | 1 – effet négatif faible | 1 | 2 | 2 – effet négatif modéré | 5 | 46 | 3 – effet négatif important | 12 | 123 | Total | 18 |
TABLEAU 9. Premier constituant
Niveaux de significativité | N | Somme des rangs AIC mise à l’échelle | 1 – effet positif important | 6 | 59 | 2 – effet positif modéré | 4 | 34 | 3 – effet positif faible | 1 | 3 | 4 – absence d’effet | 1 | 2 | 5 – effet négatif faible | 1 | 10 | 6 – effet négatif modéré | 1 | 11 | 7 – effet négatif important | 4 | 52 | Total | 18 |
19 Pour le reste des calculs, voir Field (2009: 561–562).
20 Dans les trois tableaux, la somme totale des rangs est approximativement égale à 171. Elle correspond à la somme des entiers de 1 à 18, voir la taille de l’échantillon (N).
292
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
TABLEAU 10. Second constituant
AIC mise à l’échelle | Niveaux de significativité | N | Somme des rangs AIC mise à l’échelle | 1 – effet positif important | 6 | 59 AIC mise à l’échelle | 2 – effet positif faible | 1 | 14 AIC mise à l’échelle | 3 – absence d’effet | 8 | 59 AIC mise à l’échelle | 4 – effet négatif faible | 1 | 18 AIC mise à l’échelle | 5 – effet négatif modéré | 2 | 21 | Total | 18 |
Avant d’examiner les résultats du test de Kruskal-Wallis (H), il est important de noter que ce test ne fournit pas d’informations sur les différences spécifiques entre les groupes individuels. Pour résoudre ce problème, le test de Jonckheere-Terpstra (JT) a également été employé. Ce test a fourni des informations sur la question de savoir si les médianes des groupes augmentaient ou diminuaient dans l’ordre spécifié par la variable de codage (= de regroupement), spécifiquement d’un effet positif important à un effet négatif important. Sur le plan méthodologique, la statistique JT a été convertie en score z. Une valeur z positive indiquait une tendance à l’augmentation des médianes, c’est-à-dire que les médianes augmentaient (= AIC mise à l’échelle plus élevée/inférieure) à mesure que les valeurs de la variable de codage augmentaient. Une valeur z négative indiquait une tendance à la diminution des médianes, c’est-à-dire que les médianes diminuaient (= AIC mise à l’échelle plus faible/meilleure) à mesure que les valeurs de la variable de codage augmentaient. Dans ce qui suit, les résultats des tests de Kruskal-Wallis (H) et de Jonckheere-Terpstra (JT) sont présentés conjointement.
(a) L’AIC mise à l’échelle du composé n’était pas significativement affectée par le niveau de significativité, comme l’a déterminé le test de Kruskal-Wallis (H (2) = 2.226, p >.05). Une tendance à l’augmentation des médianes a été observée, confirmant notre hypothèse de surajustement; voir la médiane négative du composé dans le tableau 7. Cette tendance n’était toutefois pas statistiquement significative selon le test de Jonckheere-Terpstra (JT = 50, z = 1.064, p >.05).
(b) L’AIC mise à l’échelle du premier constituant n’était pas significativement affectée par le niveau de significativité, comme l’a déterminé le test de Kruskal-Wallis (H (6) = 5.427, p >.05). Une tendance à l’augmentation des médianes a été observée, rejetant notre hypothèse de surajustement; voir la médiane positive du premier constituant dans le tableau 7. Cette tendance n’était toutefois pas statistiquement significative selon le test de Jonckheere-Terpstra (JT = 70, z = 0.549, p >.05).
(c) L’AIC mise à l’échelle du second constituant n’était pas significativement affectée par le niveau de significativité, comme l’a déterminé le test de Kruskal-Wallis (H (4) = 4.607, p >.05). Aucune tendance à l’augmentation ou à la diminution des médianes n’a été observée, ce qui réfute
Straipsniai / Articles
293
CHARITON CHARITONIDIS
notre hypothèse de surajustement. En particulier, la statistique z du test de Jonckheere–Terpstra était essentiellement nulle, conformément à la médiane nulle du second constituant dans le tableau 7 (JT = 54, z = 0.041, p >.05).
En résumé, on peut déduire que le niveau de significativité des coefficients de transparence dans les modèles de Gagné et al. (2019) avec la fréquence SUBTLEX-US n’affecte pas l’ampleur de l’AIC mise à l’échelle. Ce résultat étaye indirectement la qualité des modèles de Gagné et al. (2019) comportant des prédicteurs de transparence, indiquant notamment que l’hypothèse de surajustement pour ces modèles n’est pas tenable. Une limite de la présente étude réside dans la petite taille de l’échantillon utilisé, avec N = 18. Pour confirmer nos résultats, des recherches supplémentaires sont nécessaires au moyen d’une gamme plus étendue de valeurs d’AIC mise à l’échelle.
Afin de garantir la clarté et l’exhaustivité de la présentation des résultats de notre recherche, nous avons intégré une section consacrée à la synthèse des principaux résultats de notre étude. Pour cet aperçu complet, veuillez passer à la section 7.
7. PRINCIPAUX RÉSULTATS
Le tableau 11 ci-dessous présente une analyse complète de la performance des modèles et des variables pertinentes dans le contexte des tâches de décision lexicale et de dénomination, fondée sur les résultats de Gagné et al. (2019). Chaque section du tableau examine des sujets spécifiques et révèle quels modèles sont les plus efficaces. Les tests ANOVA et de Kruskal–Wallis/Jonckheere–Terpstra (sections 6.3 et 6.4) ont été appliqués après l’attribution de valeurs nominales (ordinales ou catégorielles) aux coefficients de régression des modèles de Gagné et al. (2019). Pour plus de détails sur les tests particuliers appliqués, veuillez consulter les sections correspondantes.
TABLEAU 11.
AIC mise à l’échelle dans les composés fermés anglais: analyse complète de la performance des modèles dans les tâches de décision lexicale et de dénomination (Gagné et al. 2019)
294
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
Sujets | Statistiques | Évaluation | Section Variables de contrôle | ANOVA | Fréquence du composé ✓; Longueur du composé ~ | 6.3 Transparence sémantique | Kruskal–Wallis Jonckheere–Terpstra | Premier constituant NOF/ns; Second constituant NOF/ns; Composé NOF/ns | 6.4
PAR: données paramétriques | NPAR: données non paramétriques | ✓: meilleurs modèles (AIC plus faible) ~: modèles inférieurs (AIC plus élevée) | NOF/ns: absence de surajustement/test non significatif
8. DISCUSSION
Les recherches antérieures de Charitonidis (2022, 2024) ont montré que l’AIC mise à l’échelle est une mesure fiable de la qualité de l’ajustement qui peut être employée dans la sélection de modèles, éventuellement en association avec d’autres mesures telles que le test de Wald (voir section 3). En référence aux modèles de régression multiple de Gagné et al. (2019) avec la fréquence SUBTLEX-US, la présente analyse a introduit des propriétés supplémentaires de la mesure d’AIC mise à l’échelle. Bien que des réserves légitimes aient été soulevées concernant la comparaison de modèles ajustés sur des tailles d’échantillon différentes au moyen de critères d’information (voir section 2), les résultats de cette étude suggèrent que, dans certains contextes, l’AIC mise à l’échelle peut effectivement constituer un outil précieux pour évaluer la qualité de l’ajustement des modèles et hiérarchiser les modèles de régression. Notre recherche a montré que l’AIC mise à l’échelle réagit au plan expérimental, aux sources des temps de réponse et aux tâches spécifiques. Cependant, il est essentiel de reconnaître que l’applicabilité de l’AIC mise à l’échelle peut dépendre du contexte et que son utilité doit être évaluée au cas par cas.
Avant de passer aux principaux résultats de cet article, il est important d’aborder les questions de recherche formulées à la section 4.
1. Les distributions des valeurs de Scaled AIC, ainsi que les combinaisons de différentes sources de temps de réponse et de tâches de traitement, suggèrent que Scaled AIC identifie efficacement la présence ou l’absence de facteurs sous-jacents bien définis dans le plan expérimental et la modélisation statistique. Dans ce contexte, la décision lexicale du BLP et la dénomination de l’ELP ont présenté un pouvoir prédictif plus élevé pour Scaled AIC, même dans des conditions contrôlées.
2. La fréquence des composés était invariablement un prédicteur négatif de Scaled AIC, indiquant toujours un effet important. La décision lexicale de l’ELP a constamment montré
Straipsniai / Articles
295
CHARITON CHARITONIDIS
des corrélations positives significatives avec la longueur des composés, prédisant des valeurs de Scaled AIC plus élevées (= inférieures). La décision lexicale du BLP a constamment montré des corrélations non significatives avec la longueur des composés. Tant la décision lexicale que la longueur des composés prédisaient des modèles inférieurs après ajustement des covariables.
3. La positivité et le niveau de signification des coefficients de transparence dans les modèles de Gagné et al. (2019) n’ont pas affecté l’ampleur de Scaled AIC. Ce résultat implique que les modèles de Gagné et al. (2019) comportant des prédicteurs de transparence n’introduisent pas de biais de surajustement.
En faisant référence à des sections précises des analyses, les principaux résultats de cette étude peuvent être résumés comme suit:
Dans la Section 6.1, notre analyse s’est concentrée sur la comparaison des valeurs de Scaled AIC entre différentes catégories de modèles. Même après avoir tenté les transformations « logarithme naturel » et « racine carrée » sur les valeurs absolues, l’échantillon global de Scaled AIC ne suivait pas une distribution normale. De même, les modèles de décision lexicale de l’ELP présentaient une distribution non paramétrique de leurs valeurs de Scaled AIC. En revanche, les données relatives à la décision lexicale du BLP et à la dénomination de l’ELP suivaient une distribution normale.
Dans la Section 6.2, notre attention s’est portée sur l’examen de la relation entre Scaled AIC et (a) les sources des temps de réponse et (b) la performance à la tâche. Fait intéressant, les intervalles des valeurs de Scaled AIC des modèles de décision lexicale de l’ELP et du BLP ne se chevauchaient pas, ce qui témoignait de leur caractère distinct. Les résultats des tests ont révélé des effets principaux significatifs de la source du temps de réponse et de la performance à la tâche sur Scaled AIC. Il convient de noter que la capacité prédictive de Scaled AIC était meilleure pour les modèles associés aux temps de décision lexicale du BLP et à la tâche de dénomination. Ces résultats contribuent considérablement à la précision et à l’efficacité des modèles respectifs.
Dans la Section 6.3, notre étude s’est penchée sur la relation entre Scaled AIC et les variables de contrôle « fréquence des composés » et « longueur des composés ». La fréquence des composés a été exclue de l’analyse parce qu’elle était parfaitement colinéaire à Scaled AIC. En revanche, une diminution des valeurs de Scaled AIC a été observée lorsque la longueur des composés devenait un facteur pertinent dans les modèles. Parallèlement, la longueur des composés était particulièrement pertinente pour la tâche de dénomination.
En ce qui concerne l’ajustement des covariables, la tâche de décision lexicale et la longueur des composés prédisaient toutes deux des modèles inférieurs.
Dans la Section 6.4, nous nous sommes concentrés sur la relation entre Scaled AIC et la transparence sémantique. La question de recherche était de savoir si la positivité et le niveau de signification des coefficients de transparence dans les modèles de Gagné et al. (2019) avaient un impact sur Scaled AIC. L’objectif principal de notre méthode était de détecter d’éventuels effets de surajustement. Nous avons posé l’hypothèse que les modèles présentant des valeurs de Scaled AIC inférieures pouvaient comporter des coefficients significatifs qui revêtaient une pertinence
296
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
selon le seul jeu de données LADEC. Bien que nous ayons observé une tendance à l’augmentation des valeurs de Scaled AIC (= inférieures) pour un groupe de coefficients négatifs significatifs au niveau du composé — ce qui concorde avec notre hypothèse de surajustement —, le test de Jonckheere–Terpstra a montré que cette tendance n’atteignait pas le seuil de signification statistique.
En conclusion, l’exploration de différents paramètres à l’aide de Scaled AIC comme variable dépendante a mis en lumière les diverses manières dont les catégories de modèles, la source des temps de réponse, les tâches de traitement, les variables de contrôle et la transparence sémantique influent sur la qualité de l’ajustement des modèles. En reconnaissant les relations nuancées entre ces éléments, les chercheurs sont mieux à même de prendre des décisions éclairées concernant la sélection, l’ajustement et l’interprétation des modèles.
REFERENCES
Akaike Hirotugu 1973: Information Theory and an Extension of the Maximum Likelihood Principle. – Second International Symposium on Information Theory, eds. B. F. Csaki, B. N. Petrov, Budapest: Academiai Kiado, 267–281.
Aldrich John R. 1997: R. A. Fisher and the Making of Maximum Likelihood 1912–1922. – Statistical Science 12(3), 162–176.
Baayen Harald R., Piepenbrock Richard, Gulikers Leon 1995: The CELEX Lexical Database (Data set, Release 2, CD-ROM), Linguistic Data Consortium, University of Pennsylvania. Available at: https://catalog.ldc.upenn.edu.
Balota David A., Yap Melvin J., Cortese Michael J., Hutchison Keith I., Kessler Brett, Loftis Bjorn, Neely James H., Nelson Douglas L., Simpson Greg B., Treiman Rebecca 2007: The English Lexicon Project. – Behavior Research Methods 39, 445–459.
Brysbaert Marc, New Boris 2009: Moving Beyond Kučera and Francis: A Critical Evaluation of Current Word Frequency Norms and the Introduction of a New and Improved Word Frequency Measure for American English. – Behavior Research Methods 41, 977–990. DOI: doi.org/10.3758/BRM.41.4.977.
Burnham Kenneth P., Anderson David R. 2002: Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach, 2ⁿᵈ edition, New York: Springer. DOI: dx.doi.org/10.1007/b97636.
Charitonidis Chariton 2022: Context Concreteness for the Second Constituent Slows Down Compound-Word Processing. – Lexis 20. DOI: doi.org/10.4000/lexis.6769.
Straipsniai / Articles
297
CHARITON CHARITONIDIS
Charitonidis Chariton 2024: The Role of Hyponymy and Context Concreteness in Compound Word Processing. – Studia Neophilologica. DOI: doi.org/10.1080/00393274.2024.2336851.
Chen Xiaocong, Dong Yanping, Yu Xiufen 2018: On the Predictive Validity of Various Corpus-Based Frequency Norms in L2 English Lexical Processing. – Behavior Research Methods 50, 1–25. DOI: doi.org/10.3758/s13428-017-1001-8.
Field Andy 2009: Discovering statistics using SPSS, 3rd edition, London: Sage Publications.
Fisher Ronald A. 1922: On the Mathematical Foundations of Theoretical Statistics. – Philosophical Transactions of the Royal Society of London, Series A 222, 309–368.
Gagné Christina L., Spalding Thomas L., Schmidtke Daniel 2019: LADEC: The Large Database of English Compounds. – Behavior Research Methods 51, 2152–2179. DOI: doi.org/10.3758/s13428-019-01282-6.
Gagné Christina L., Spalding Thomas L., Spicer Patricia, Wong Dixie, Rubio Beatriz, Perez-Cruz Karen 2020: Is Buttercup a Kind of Cup? Hyponymy and Semantic Transparency in Compound Words. – Journal of Memory and Language 113. DOI: doi.org/10.1016/j.jml.2020.104110.
Hastie Trevor, Tibshirani Robert, Friedman Jerome 2009: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd edition, New York: Springer.
Keuleers Emmanuel, Lacey Paula, Rastle Kathleen, Brysbaert Marc 2012: The British Lexicon Project: Lexical Decision Data for 28,730 Monosyllabic and Disyllabic English Words. – Behavior Research Methods 44, 287–304. DOI: doi.org/10.3758/s13428-011-0118-4.
Kullback Solomon 1959: Information Theory and Statistics. New York: Wiley.
Navarro Daniel J., Myung Jay I. 2005: Model Evaluation. – Encyclopedia of Statistics in Behavioral Science, vol. 3, eds. B. S. Everitt, D. C. Howell, Chichester: Wiley, 1239–1242.
Steiger James H. 1980: Tests for Comparing Elements of a Correlation Matrix. – Psychological Bulletin 87(2), 245–251. DOI: doi.org/10.1037/0033-2909.87.2.245.
Wagenmakers Eric-Jan, Farrell Simon 2004: AIC Model Selection Using Akaike Weights. – Psychonomic Bulletin & Review 11(1), 192–196.
298
Acta Linguistica Lithuanica XC
Exploring Scaled AIC within English Closed Compounds
I N T E R N E T D I S C U S S I O N S
Model comparison with AIC based on different sample size. Available at: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [accessed 15.5.2024].
What is the acceptable range of skewness and kurtosis for normal distribution of data? Available at: https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data [accessed 15.5.2024].
L A R G E L A N G U A G E M O D E L S
GPT-3.5 (available at: https://chat.openai.com/) and Google Gemini (available at: https://gemini.google.com [accessed 11.10.2023]) were selectively used as auxiliary proofreading and editing tools. The responses from both AI tools were further proofread and edited by the author.
Anglų kalbos uždarųjų junginių (sudurtinių žodžių) skalės AIC tyrimas
S A N T R A U K A
Šiame tyrime nagrinėjamos modifikuotos Akaikės informacijos kriterijaus, pavadinto skalės kriterijumi, t. y. AIC, kaip tinkamumo rodiklio, padalinto iš imties dydžio, varianto ypatybės. Tyrimo objektas – 66 daugialypės regresijos modeliai, susiję su uždarųjų (sudurtinių) anglų kalbos žodžių junginių, paimtų iš Gagné'es ir kitų (2019) Anglų kalbos sudurtinių žodžių (junginių) didžiosios duomenų bazės (angl. LADEC), apdorojimu. Toliau pateikiami išsamios analizės rezultatai:
1. Modelių kategorijų modeliai pasižymi nevienareikšmiais rezultatais. Britų kalbos žodyno projekto (angl. BLP) leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto (angl. ELP) įvardijimo modeliai veikia geriau (tai rodo mažesnis AIC), palyginus su Anglų kalbos žodyno projekto (angl. ELP) leksinių sprendimų modeliais.
Straipsniai / Articles
299
CHARITON CHARITONIDIS
2. Laiko šaltinio ir leksikos apdorojimo užduočių atsakymais atskleidžia reikšmingus pagrindinius skalės AIC rezultatus. Britų kalbos žodyno projekto leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto įvardijimo modeliai veikia gerai, o pastarojo projekto leksinių sprendimų modeliai yra mažiau veiksmingi.
3. Įvertinus kontrolinius kintamuosius, tokius kaip junginių dažnumas ir junginių ilgis, matyti, kad modelių rezultatyvumas skiriasi. Junginių dažnumas yra stiprus veiksnys (parodo didesnis produktyvumas), o sudėtinio ilgio modelių prognozės blogesnės.
4. Kalbant apie pirmosios ir antrosios žodžių junginių sudedamųjų dalių, taip pat ir apie junginių semantinį skaidrumą, modeliai nerodo per didelio suderinamumo. Tai parodo, kad semantinis skaidrumas nesumažina modelių galėjimo apibendrinti naujus duomenis.
Įteikta 2024 m. sausio 11 d.
CHARITON CHARITONIDIS
[email protected]
300
Acta Linguistica Lithuanica XC