Exploring Scaled AIC within English closed compounds

CHARITON CHARITONIDIS Ricercatore indipendente ORCID id: orcid.org/0000-0003-0298-2629 Ambiti di ricerca: formazione delle parole, espressioni pluriparola, semantica lessicale, riconoscimento delle parole, emozione. DOI: doi.org/10.35321/all90-11 ESPLORANDO LO SCALED AIC ALL’INTERNO DEI COMPOSTI INGLESI CHIUSI Studio dello Scaled AIC dei composti chiusi (parole composte) inglesi ANNOTAZIONE Il criterio d’informazione di Akaike (AIC) è una misura consolidata della bontà dell’adattamento per la selezione dei modelli nell’analisi dei dati empirici. Tuttavia, l’AIC è sensibile alla dimensione del campione. Le precedenti ricerche dell’autore hanno mostrato che lo Scaled AIC, cioè l’AIC diviso per la dimensione del campione, è uno strumento efficace per valutare l’adattamento del modello e gerarchizzare i modelli di regressione. Il presente studio esplora ulteriori proprietà di questa variabile. L’oggetto dell’indagine è costituito da 66 modelli di regressione multipla relativi all’elaborazione di composti inglesi chiusi (concatenati), tratti dalla Large Database of English Compounds (LADEC) di Gagné et al. (2019). In particolare, lo Scaled AIC è posto a confronto con l’English Lexicon Project (ELP) e il British Lexicon Project (BLP) in quanto fonti dei tempi di risposta, dei compiti di decisione lessicale e denominazione, della lunghezza dei composti e delle norme di trasparenza. Come metodi vengono utilizzati l’ANOVA a una via, l’analisi degli effetti principali e test non parametrici. I risultati suggeriscono che lo Scaled AIC è sensibile al disegno sperimentale, alla fonte dei tempi di risposta e ai compiti di decisione lessicale e denominazione. Al contempo, i risultati di questo studio forniscono un sostegno empirico alla validazione dei metodi impiegati da Gagné et al. (2019). PAROLE CHIAVE: composti inglesi, Scaled AIC, decisione lessicale, denominazione. ANNOTAZIONE Il criterio d’informazione di Akaike (ingl. AIC) è una misura consolidata dell’adeguatezza dei modelli, applicata all’analisi dei dati empirici. Tuttavia, l’AIC è sensibile alla dimensione del campione. Ricerche precedenti Straipsniai / Articles 273 CHARITON CHARITONIDIS dell’autore hanno mostrato che lo Scaled AIC, diviso per la dimensione del campione, è uno strumento efficace per valutare l’adeguatezza del modello e gerarchizzare i modelli di regressione. Il presente studio esamina ulteriori caratteristiche di questa variabile. L’oggetto dell’indagine è costituito da 66 modelli di regressione multipla relativi all’elaborazione di composti inglesi chiusi (composti), tratti dalla Large Database of English Compounds (ingl. LADEC) di Gagné et al. (2019). In primo luogo, l’AIC viene confrontato con l’English Lexicon Project (ingl. ELP) e il British Lexicon Project (ingl. BLP), in quanto fonti dei tempi di risposta, dei compiti di decisione lessicale e denominazione, della lunghezza dei composti e delle norme di trasparenza. I metodi utilizzati sono l’ANOVA a una via (ingl. Analysis of variance), l’analisi dei risultati principali e test non parametrici. I risultati mostrano che lo Scaled AIC reagisce al disegno sperimentale, alla fonte dei tempi di risposta e ai compiti di decisione lessicale e denominazione. Allo stesso tempo, i risultati di questo studio forniscono una base empirica per la convalida dei metodi applicati da Gagné et al. (2019). PAROLE CHIAVE: composti inglesi (parole composte), Scaled AIC, decisione lessicale, denominazione. 1. LA LARGE DATABASE OF ENGLISH COMPOUNDS (LADEC: GAGNÉ ET AL. 2019)¹ La Large Database of English Compounds (LADEC: Gagné et al. 2019) è il più grande database esistente di parole composte. Contiene oltre 8000 composti non spaziati («chiusi» o «concatenati») (=sostantivi) selezionati da varie fonti, tra cui il database CELEX (Baayen et al. 1995), l’English Lexicon Project (ELP; Balota et al. 2007), il British Lexicon Project (BLP; Keuleers et al. 2012), il British National Corpus (BNC) e Wordnet. Dall’insieme completo delle voci LADEC, 7,804 composti possono essere analizzati univocamente in due costituenti morfemici liberi.² È considerata una grande varietà di composti, per esempio composti nome-nome, ad es. buttercup, shipyard, composti con un secondo costituente derivato da una radice verbale, ad es. pacemaker, painkiller, ecc. (per le definizioni delle classi di composti si veda Lieber 2004: 46). Il primo costituente non testa si riferisce a un’ampia gamma di categorie grammaticali. La Figura 1 contiene un breve campione delle voci LADEC. I modelli di regressione multipla di Gagné et al. (2019) includono un’ampia gamma di variabili predittive (=indipendenti), come la lunghezza del composto, la frequenza del bigramma ¹ Questa sezione è stata tratta da Chariton Charitonidis (2022), con lievi modifiche. ² LADEC include i plurali dei composti già elencati come voci separate. 274 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds al confine morfemico, la dimensione della famiglia, la frequenza delle parole, misure di probabilità e associazione (basate su vettori), norme emotive/affettive calcolate a partire dalle valutazioni dei partecipanti, ecc. I tempi di risposta logaritmici per i composti dell’ELP (decisione lessicale, denominazione) e del BLP (decisione lessicale) sono utilizzati come variabili dipendenti. Nella maggior parte dei casi, la lunghezza del composto (numero di caratteri) e la frequenza logaritmica del composto (=parola) dal corpus SUBTLEX-US (Brysbaert, New 2009)³ e dal BNC (BLP) sono utilizzate come variabili di controllo. Nei modelli di Gagné et al. (2019), le variabili predittive menzionate sopra avevano effetti significativi sui tempi di decisione lessicale e denominazione. FIGURA 1. Voci LADEC: campione Il fulcro principale dello studio di Gagné et al. (2019) era costituito da varie misure di trasparenza semantica. Gagné et al. (2019) hanno chiesto ai partecipanti di valutare i composti considerando quanto sia prevedibile il significato del composto a partire dalle sue parti (valutazioni di prevedibilità del significato, basate sul composto) e quanto del significato di ciascun costituente venga conservato nel composto (valutazioni di conservazione del significato, basate sul costituente). Gli autori hanno rilevato che la distribuzione delle trasparenze del secondo costituente era molto più appuntita e più elevata rispetto alla distribuzione delle trasparenze del primo costituente (MC1: 64.80 [SD: 19.59] vs. MC2: 71.00 [SD: 16.46]. N = 8115). Tuttavia, la valutazione per il ³ Il corpus SUBTLEX–US è un corpus di 51 milioni di token basato sui sottotitoli di film e programmi televisivi statunitensi. Diversi studi recenti hanno fornito prove del fatto che le norme di frequenza ottenute dai sottotitoli di film e programmi televisivi tendono a essere più efficaci di quelle derivate da testi a stampa nello spiegare le differenze nei tempi di elaborazione lessicale e, in alcuni casi, nell’accuratezza tra parlanti nativi di diverse lingue (si veda Chen et al. 2018: 2 e i riferimenti ivi contenuti). Straipsniai / Articles 275 CHARITON CHARITONIDIS primo costituente era più fortemente correlato alla valutazione dell’intero composto rispetto alla valutazione del secondo costituente (c1~cmp: r = 0.75, p <.001 vs. c2~cmp: r = 0.66, p <.001. N = 429).⁴ In particolare, la valutazione della conservazione del significato per il primo costituente e la valutazione della prevedibilità del significato per il composto predicevano tutti e tre i tipi di tempi di risposta, cioè i tempi di decisione lessicale dell’ELP, i tempi di decisione lessicale del BLP e i tempi di denominazione dell’ELP. In conclusione, la distribuzione più appuntita e più elevata delle trasparenze per il secondo costituente e la migliore associazione del primo costituente con la prevedibilità del significato del composto sembrano tradursi immediatamente nelle operazioni relative alla testa nei composti inglesi. Il secondo costituente, cioè la testa, è un’unità la cui trasparenza è rafforzata categoricamente e semanticamente (per l’aspetto semantico, si vedano le relazioni di implicazione e iponimia). Il primo costituente, cioè il modificatore, è il fattore più critico nello stabilire il riferimento del composto. Di conseguenza, la sua trasparenza covaria più fortemente con la trasparenza del composto.⁵ 2. CRITERIO D’INFORMAZIONE DI AKAIKE (AIC) Nel 1973, Hirotugu Akaike sviluppò un metodo per stimare l’aspettativa relativa della distanza di Kullback–Leibler (Kullback 1959) utilizzando la log-verosimiglianza massimizzata di Fisher (Fisher 1922; si veda anche Aldrich 1997). Questa misura, comunemente indicata come criterio d’informazione di Akaike (AIC; Akaike 1973), introdusse un nuovo quadro per la selezione dei modelli nell’analisi dei dati empirici, segnando un significativo cambiamento di paradigma (Burnham, Anderson 2002). L’AIC viene generalmente calcolato come segue: −2lnL + 2k, dove «lnL» si riferisce alla log-verosimiglianza massimizzata/completa del modello e «k» si riferisce al numero di parametri, compresa la costante. Un insieme più ridotto di predittori è generalmente associato a modelli più efficienti (modelli con una minore perdita d’informazione). Quanto più basso (=più negativo) è il valore dell’AIC, tanto migliore è l’adattamento del modello. In questo contesto, l’AIC penalizza, in quanto misura della bontà dell’adattamento, l’uso di un numero elevato di predittori che, potenzialmente, produce valori AIC più elevati (si veda la parte «+2k» dell’equazione dell’AIC). ⁴ Il test z di Steiger (1980) ha mostrato che questa differenza era significativa, z = 27.71, p <.0001 (Gagné et al. 2019). ⁵ Facendo riferimento a ricerche precedenti, Gagné et al. (2019) riportano che «il modificatore (il primo costituente in inglese) tende a svolgere un ruolo maggiore nella selezione della facilità della relazione durante l’elaborazione dei composti e dei sintagmi nominali». 276 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds L’AIC è sensibile alla dimensione del campione. L’AICc, una versione corretta dell’AIC, incorpora la dimensione del campione attraverso la formula 2k (k + 1)/ (n − k − 1). Tuttavia, affronta specificamente i campioni di piccole dimensioni e non è raccomandato per modelli basati su campioni di grandi dimensioni, come quello di Gagné et al. (2019).⁶ Va osservato che ricercatori come Kenneth P. Burnham & David R. Anderson (2002) non offrono una soluzione definitiva per confrontare i valori AIC di modelli adattati a campioni sia diversi sia grandi.⁷ In particolare, Burnham & Anderson (2002: 80–85, 334–335) forniscono una discussione completa delle implicazioni delle dimensioni disuguali dei campioni per il confronto tra modelli. Sostengono che l’impiego di criteri informativi per confrontare modelli con dimensioni campionarie diverse può portare a risultati fuorvianti. Analogamente, come osservato in una discussione online da Svetunkov nel 2016 (si veda il riferimento dopo la bibliografia), tutti i criteri informativi si basano sulla funzione di verosimiglianza che, a sua volta, dipende dalla dimensione del campione. In particolare, all’aumentare della dimensione del campione, la verosimiglianza diminuisce. Di conseguenza, anche i criteri informativi aumenteranno in tali casi.⁸ 3. RICERCHE PRECEDENTI In Charitonidis (2022), i valori AIC di 44 modelli di regressione multipla con diverse combinazioni di variabili emotive (valenza, attivazione e concretezza per (a) le parole e (b) i contesti delle parole) sono stati divisi per la dimensione del campione (N), ottenendo valori di Scaled AIC (AIC/N). Successivamente, questi valori sono stati utilizzati per valutare ⁶ Per ulteriori informazioni sull’AICc, si rimanda il lettore a Burnham & Anderson (2002: 374–380). ⁷ Una delle soluzioni proposte da Burnham & Anderson (2002) riguarda la trasformazione dei valori AIC in «pesi di Akaike», definiti come «la verosimiglianza relativa del modello, dati i dati» (Burnham, Anderson 2002: xiii; si veda anche Wagenmakers, Farrell 2004). ⁸ Disponibile all’indirizzo: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [consultato il 16.06.2023]. Il lettore può comprendere l’affermazione di Svetunkov sostituendo valori diversi per la componente «lnL» nell’equazione dell’AIC, mantenendo costante la componente «2k». Una diminuzione del valore di lnL produrrà un valore AIC più elevato, cioè peggiore. ⁹ Nella letteratura, lo Scaled AIC è indicato anche come «AIC medio». Secondo Svetunkov (comunicazione personale), la pratica di dividere il criterio d’informazione di Akaike per la dimensione del campione non è nuova. Per esempio, Hastie et al. (2009: 230–231) definiscono l’AIC in modo non canonico, utilizzando N come denominatore nella formula. Sebbene questa deviazione dalla formula convenzionale dell’AIC non sia priva di critiche, essa rimane un approccio diffuso, come dimostra la sua inclusione nel pacchetto software statistico Stata. Per esempio, Stata riporta «AIC divided by N» nell’output del modello, come evidenziato da vari esempi disponibili online (si ringrazia I. Svetunkov per aver fornito questa informazione). Straipsniai / Articles 277 CHARITON CHARITONIDIS e confrontare la bontà dell’adattamento dei modelli. L’inserimento di predittori chiave nei modelli globali, cioè generali, ha mostrato che i tempi di decisione lessicale del BLP richiedevano una bontà dell’adattamento migliore rispetto ai tempi di decisione lessicale dell’ELP. L’adattamento dei modelli di denominazione dell’ELP rientrava nell’intervallo di quelli osservati per i modelli di decisione lessicale dell’ELP e del BLP. In particolare, la concretezza del contesto per il secondo costituente è emersa come predittore significativo in tutti i modelli con frequenza SUBTLEX-US, sia per la decisione lessicale sia per la denominazione. In Charitonidis (2024), tutti i coefficienti significativi dei modelli globali con frequenza SUBTLEX-US sono stati posti a confronto con la variabile iponimia (Gagné et al. 2020). È emerso che i modelli comprendenti sia l’iponimia sia la concretezza del contesto per il secondo costituente erano sempre associati al valore più basso (=migliore) dello Scaled AIC rispetto ai modelli annidati, cioè ridotti, che omettevano una delle due variabili. I test di Wald applicati successivamente hanno mostrato che i modelli annidati si riferivano sempre a una riduzione significativa (=deterioramento) del coefficiente di determinazione (R2). Le Tabelle 1 e 2 mostrano rispettivamente i valori dello Scaled AIC e i risultati dei corrispondenti test di Wald. TABELLA 1. Valori dello Scaled AIC per modelli annidati che omettono l’iponimia («Modello 2») o la concretezza del contesto per il secondo costituente («Modello 3») dai modelli completi («Modello 1») per predire i tempi di decisione lessicale dell’English Lexicon Project (ELP), i tempi di decisione lessicale del British Lexicon Project (BLP) e i tempi di denominazione dell’ELP Modello | Scaled AIC | AIC | N ELP LD 1 | −3.36281ᵃ | −3557.85 | 1058 2 | −3.30375 | −4169.334 | 1262 3 | −3.34845 | −3700.038 | 1105 BLP LD 1 | −3.79552ᵃ | −2903.574 | 765 2 | −3.76618 | −3920.592 | 1041 3 | −3.76718 | −2987.37 | 793 ELP naming 1 | −3.58686ᵇ | −7396.108 | 2062 2 | −3.54304 | −8418.27 | 2376 3 | −3.58379 | −7389.784 | 2062 278 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds a. Predittori: (Costante), giudizio di iponimia, lunghezza del composto, frequenza SUBTLEX–US, valenza della rappresentazione (cmp), concretezza del contesto (c2) b. Predittori: (Costante), giudizio di iponimia, lunghezza del composto, frequenza SUBTLEX–US, valenza del contesto (cmp), attivazione del contesto (c1), attivazione del contesto (c2), concretezza del contesto (c2) TABELLA 2. Test di Wald per modelli annidati che omettono l’iponimia («Modello 2») o la concretezza del contesto per il secondo costituente («Modello 3») dai modelli completi («Modello 1») per predire i tempi di decisione lessicale dell’English Lexicon Project (ELP), i tempi di decisione lessicale del British Lexicon Project (BLP) e i tempi di denominazione dell’ELP Modello | R2 quadrato | Variazione di F | df1 | df2 | p ELP LD 1 |.184a | 47.506 | 5 | 1052 |.000 2 | −.004 | 4.562 | 1 | 1052 |.033 3 | −.010 | 13.175 | 1 | 1052 |.000 BLP LD 1 |.211a | 40.479 | 5 | 759 |.000 2 | −.013 | 12.091 | 1 | 759 |.001 3 | −.015 | 14.007 | 1 | 759 |.000 ELP naming 1 |.288b | 118.711 | 7 | 2054 |.000 2 | −.003 | 8.286 | 1 | 2054 |.004 3 | −.003 | 8.309 | 1 | 2054 |.004 a. Predittori: (Costante), giudizio di iponimia, lunghezza del composto, frequenza SUBTLEX–US, valenza della rappresentazione (cmp), concretezza del contesto (c2) b. Predittori: (Costante), giudizio di iponimia, lunghezza del composto, frequenza SUBTLEX–US, valenza del contesto (cmp), attivazione del contesto (c1), attivazione del contesto (c2), concretezza del contesto (c2) In conclusione, due diverse misure della dimensione dell’effetto, vale a dire lo Scaled AIC e R2, hanno gerarchizzato gli stessi modelli di regressione in modo identico, mostrando al contempo la stessa preferenza per il modello migliore. Pertanto, vi sono solide prove che la misura dello Scaled AIC sia uno strumento qualitativo per valutare l’adattamento del modello. Straipsniai / Articles 279 CHARITON CHARITONIDIS 4. IL PRESENTE STUDIO Il presente studio si basa sulle precedenti ricerche dell’autore presentate nella sezione 3. I soggetti della ricerca sono 66 modelli di decisione lessicale e denominazione per i composti inglesi chiusi (concatenati) costruiti da Gagné et al. (2019). Tutti i modelli includono la frequenza SUBTLEX-US come variabile di controllo. I nostri obiettivi sono duplice e procedono in parallelo. In primo luogo, valutiamo le caratteristiche dei modelli di Gagné et al. (ibid.). In secondo luogo, esploriamo le proprietà essenziali della misura dello Scaled AIC. Le domande di ricerca sono: 1. Lo Scaled AIC è sensibile alla struttura del modello in Gagné et al. (2019)? Quali gruppi di modelli sono favoriti? 2. Qual è l’impatto delle variabili di controllo «frequenza del composto» e «lunghezza del composto» sullo Scaled AIC? 3. In che modo la trasparenza morfologica è correlata allo Scaled AIC? Il nostro studio è strutturato come segue: la sezione 5 fornisce una panoramica dei nostri metodi. La sezione 6.1 presenta le statistiche descrittive per lo Scaled AIC relative ai modelli considerati. Viene data enfasi alle caratteristiche parametriche rispetto a quelle non parametriche delle categorie di modelli. La sezione 6.2 esplora la relazione tra la fonte dei tempi di risposta e i compiti di elaborazione lessicale. La sezione 6.3 pone a confronto lo Scaled AIC con le variabili di controllo «frequenza del composto» e «lunghezza del composto». Nella sezione 6.4 i livelli di significatività dei coefficienti di trasparenza dei modelli di Gagné et al. (2019) vengono messi in relazione con i valori dello Scaled AIC. I risultati principali sono sintetizzati nella sezione 7, seguita da una discussione dei risultati nella sezione 8. 5. METODI Il nostro metodo generale consisteva nell’analisi comparativa dei principali parametri e delle caratteristiche dei modelli di Gagné et al. (2019), utilizzando lo Scaled AIC come variabile dipendente. Le variabili indipendenti comprendevano le caratteristiche del campione (ad es. la fonte dei tempi di risposta e i compiti di elaborazione lessicale), il disegno dello studio (ad es. le variabili di controllo) e il livello di significatività dei coefficienti di trasparenza, tra gli altri fattori. I metodi statistici specifici impiegati erano i seguenti: (a) statistiche descrittive relative a medie e mediane, insieme all’applicazione del test di Shapiro–Wilk per valutare la tendenza centrale, la variabilità e la distribuzione dello Scaled AIC nelle diverse categorie e gruppi di modelli (sezioni 6.1 e 6.2), (b) analisi degli effetti principali condotte per la fonte dei tempi di risposta (ELP/BLP) e per i compiti di elaborazione lessicale (decisione lessicale/denominazione) (sezione 280 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds 6.2), (c) ANOVA distinte eseguite sulla fonte dei tempi di risposta e sui compiti di elaborazione lessicale, incorporando la lunghezza del composto come covariata (sezione 6.3), e (d) impiego dei test di Kruskal–Wallis e Jonckheere–Terpstra per esplorare le differenze tra i ranghi dei coefficienti ricodificati ordinalmente per la trasparenza semantica (sezione 6.4). Per ulteriori informazioni sui metodi, si rimanda il lettore alle analisi nelle sezioni 6.1–6.4. 6. ANALISI 6.1. Scaled AIC vs. model categories I 66 valori AIC dei modelli di regressione multipla di Gagné et al. (2019), con la frequenza SUBTLEX–US come variabile di controllo, sono stati divisi per la dimensione del campione di ciascun modello, ottenendo un insieme di 66 valori di Scaled AIC. La Tabella 3 seguente fornisce le statistiche descrittive per lo Scaled AIC e la Figura 2 mostra il boxplot corrispondente relativo all’insieme ordinato dei valori.10 Non vi erano valori anomali nel campione. I valori di asimmetria (Sk) e curtosi (Ku) erano tollerabili.11 Il valore medio dello Scaled AIC era −3.50030. La deviazione standard era 0.19052, cioè le osservazioni erano relativamente strettamente raggruppate attorno alla media. I valori minimo e massimo erano rispettivamente −3.85502 e −3.15754. Il valore mediano era −3.55732, cioè leggermente inferiore al valore medio.12 Il 50% centrale dei dati variava tra −3.66575 (primo quartile, Q1) e −3.30959 (terzo quartile, Q3). Di conseguenza, l’intervallo interquartile (IQR) era 0.35616. 10 La linea inferiore, o primo quartile, del riquadro (Q1) segna il limite al di sotto del quale si estende il 25% inferiore dei dati. Analogamente, la linea superiore, o terzo quartile, del riquadro (Q3) segna il limite al di sopra del quale si estende il 25% superiore dei dati. L’area ombreggiata mostra i limiti del 50% centrale dei dati, o intervallo interquartile (IQR), che può essere calcolato sottraendo il primo quartile dal terzo quartile (Q3−Q1). La linea orizzontale all’interno del riquadro mostra la mediana, o quartile centrale (Q2), cioè il valore che si trova al centro dell’insieme di dati. 11 Con riferimento all’ambiente SPSS, i valori compresi tra −1 e +1 per l’asimmetria e tra −2 e +2 per la curtosi sono generalmente considerati accettabili per la valutazione della distribuzione normale. È tuttavia opportuno osservare che la sola asimmetria e la sola curtosi non forniscono una prova conclusiva della normalità (si veda anche la discussione su https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data). 12 In linea con questo andamento, nei dati si osservava una lieve asimmetria positiva (0.494). Straipsniai / Articles 281 CHARITON CHARITONIDIS TABELLA 3. Statistiche descrittive per lo Scaled AIC (insieme completo) Media SD Min Max −3.50030 0.19052 −3.85502 −3.15754 Mediana IQR Q1 Q3 −3.55732 0.35616 −3.66575 −3.30959 N=66. Sk=0.494, Ku=−1.101 FIGURA 2. Distribuzione dello Scaled AIC (insieme completo): boxplot Ci si aspettava che l’insieme completo dei valori dello Scaled AIC non mostrasse una distribuzione normale, poiché comprendeva compiti diversi (decisione lessicale, denominazione) e derivava da fonti diverse di tempi di risposta (ELP, BLP). Il test di Shapiro–Wilk e il test di Kolmogorov–Smirnov hanno confermato le nostre ipotesi.13 In particolare, le statistiche per il test di Shapiro–Wilk erano W (66) = 0.90, p <.001, mentre le statistiche per il test di Kolmogorov–Smirnov erano D (66) = 0.17, p <.001. Va osservato che lo stesso insieme completo non mostrava una distribuzione normale neppure dopo l’applicazione delle trasformazioni del logaritmo naturale e della radice quadrata ai valori assoluti. La Tabella 4 seguente fornisce le statistiche descrittive per lo Scaled AIC con riferimento alle principali categorie di modelli in Gagné et al. (2019), cioè decisione lessicale ELP, decisione lessicale BLP e denominazione ELP (ogni gruppo contiene 22 modelli). La Figura 3 mostra i boxplot corrispondenti. Come si può vedere, le medie e le mediane 13 Il test di Kolmogorov–Smirnov ha applicato la correzione di significatività di Lilliefors. 282 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds per la decisione lessicale BLP e la denominazione ELP si riferivano a valori simili di Scaled AIC. La decisione lessicale ELP si riferiva a valori più elevati (=peggiori) che, inoltre, erano disgiunti dai valori della decisione lessicale BLP.14 In sintesi, la decisione lessicale BLP e la denominazione ELP richiedevano sempre modelli migliori rispetto alla decisione lessicale ELP. TABELLA 4. Statistiche descrittive per lo Scaled AIC secondo le principali categorie di modelli Ci si aspettava che il profilo non parametrico dell’insieme completo dei valori dello Scaled AIC avesse meno probabilità di manifestarsi all’interno delle principali categorie di modelli, cioè le principali combinazioni di tempi di risposta e compiti. Come risulterà evidente, questa aspettativa è stata confermata. Il test di Shapiro-Wilk ha mostrato che i dati relativi alla decisione lessicale ELP si discostavano significativamente dalla normalità. In particolare, abbiamo calcolato una statistica del test pari a W (22) = 0.90, p <.05.15 I dati relativi alla decisione lessicale BLP erano distribuiti normalmente. Le statistiche corrispondenti erano W (22) = 0.92, p >.05 (Shapiro-Wilk). 14 Un t-test sui dati riassuntivi relativi alla decisione lessicale ELP e alla decisione lessicale BLP (Tabella 4) ha indicato una differenza altamente significativa tra le medie campionarie, t = 18.296, p <.0001. 15 Va notato che un insieme di sei modelli di decisione lessicale dell’ELP faceva riferimento a valori di AIC scalato prossimi al valore massimo di −3.15754, indicando il peggior adattamento nell’intero dataset. Questi modelli contribuivano a un picco pronunciato verso l’estremità superiore della distribuzione (da −3.17304 a −3.15754), dando luogo a un andamento distributivo quasi bimodale. Questa osservazione è supportata da un valore relativamente elevato di curtosi negativa pari a −1.444. Straipsniai / Articles 283 CHARITON CHARITONIDIS FIGURA 3. Rappresentazioni boxplot dell’AIC scalato per le principali categorie di modelli Analogamente, i dati di denominazione dell’ELP erano distribuiti normalmente. Le statistiche corrispondenti erano W (22) = 0.93, p >.05 (Shapiro–Wilk). In sintesi, sia l’insieme completo dei modelli sia i modelli di decisione lessicale dell’ELP erano associati a una distribuzione non parametrica dell’AIC scalato. D’altra parte, i dati di decisione lessicale del BLP e di denominazione dell’ELP erano distribuiti normalmente. Proviamo ora a individuare l’influenza dei singoli fattori sull’AIC scalato. 6.2. AIC scalato rispetto alla fonte dei tempi di risposta e ai compiti La Tabella 5 seguente contiene le statistiche descrittive dei valori di AIC scalato per i gruppi classificati secondo i fattori principali «tempi di risposta» e «compiti», ossia (a) tempi di risposta dell’ELP, (b) tempi di risposta del BLP, (c) compito di denominazione e (d) compito di decisione lessicale. I tempi di risposta dell’ELP e il compito di decisione lessicale 284 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds sono gruppi sovraordinati riferiti rispettivamente a «decisione lessicale e denominazione» e «ELP e BLP». I gruppi «BLP» e «Denominazione» sono identici alle categorie di modelli «decisione lessicale BLP» e «denominazione ELP», rispettivamente, già presentate nella Tabella 4 (sezione 6.1). La Figura 4 mostra le rispettive rappresentazioni boxplot. Come si può vedere nella Tabella 5, sia «BLP» sia «Denominazione» si riferivano a (a) valori medi e mediani principali più bassi (= migliori) dell’AIC scalato e (b) valori inferiori della deviazione standard (SD) e dell’intervallo interquartile (IQR), rispetto ai gruppi sovraordinati «tempi di risposta dell’ELP» e «decisione lessicale».16 Gli stessi gruppi sovraordinati presentano valori di curtosi relativamente elevati, ossia rispettivamente −1.403 e −1.616 (negli istogrammi di questi gruppi – non riportati qui – sono emersi due picchi netti, simili a quelli di una distribuzione bimodale dei valori). Questi andamenti suggeriscono che la misura dell’AIC scalato fosse associata in modo univoco alle categorie sperimentali ben definite «decisione lessicale BLP» (si veda il gruppo «BLP») e «denominazione ELP» (si veda il gruppo «Denominazione»). TABELLA 5. Statistiche descrittive dell’AIC scalato per i gruppi classificati secondo «tempi di risposta» e «compiti» Tempi di risposta Compiti ELP BLP Denominazione Decisione lessicale Media −3.43917 −3.62255 −3.62495 −3.43797 SD 0.20286 0.06778 0.08710 0.19808 Min −3.85502 −3.75547 −3.85502 −3.75547 Max −3.15754 −3.52945 −3.50150 −3.15754 Mediana −3.42626 −3.62174 −3.61886 −3.44024 IQR 0.35152 0.13704 0.13758 0.36196 Q1 −3.62127 −3.68840 −3.69419 −3.63171 Q3 −3.26975 −3.55136 −3.55662 −3.26975 Sk −0.126 −0.097 −0.559 −0.006 Ku −1.403 −1.244 0.725 −1.616 44 22 22 44 16 Medie e mediane inferiori, insieme a valori più bassi della deviazione standard e dell’intervallo interquartile, indicano una maggiore affidabilità e una minore suscettibilità ai valori anomali o estremi. Straipsniai / Articles 285 CHARITON CHARITONIDIS FIGURA 4. Rappresentazioni boxplot dell’AIC scalato per i gruppi classificati secondo «tempi di risposta» e «compiti» Come per l’insieme completo dei valori di AIC scalato discusso nella sezione 6.1, ci si aspettava che un profilo non parametrico fosse evidente per i gruppi sovraordinati «ELP» e «decisione lessicale», non vincolati a esperimenti specifici. I test di normalità hanno confermato le nostre aspettative. Con riferimento al test di Shapiro–Wilk, i dati di AIC scalato del gruppo ELP si discostavano significativamente dalla normalità. Abbiamo calcolato una statistica del test pari a W (44) = 0.91, p <.01. Analogamente, i dati di AIC scalato del gruppo di decisione lessicale si discostavano significativamente dalla normalità. Abbiamo calcolato una statistica del test pari a W (44) = 0.89, p <.001. Passiamo ora all’analisi degli effetti principali. L’obiettivo primario era accertare se i gruppi «decisione lessicale BLP» e «denominazione ELP» continuassero a prevedere modelli migliori controllando gli effetti dell’uno o dell’altro gruppo. Nei test statistici seguenti, ai gruppi classificati secondo i fattori principali «tempi di risposta» e «compiti» furono assegnati valori nominali. La media dell’AIC scalato per il gruppo BLP, ossia −3.623, fu usata come cella di riferimento o intercetta. I risultati hanno mostrato che sia i tempi di risposta sia i compiti avevano un effetto principale sull’AIC scalato, ma non vi era interazione. In particolare, vi era un effetto principale significativo dei tempi di risposta, F (1, 63) = 271.87, p <.001. In termini di regressione, il coefficiente per l’ELP prediceva un valore più elevato, cioè inferiore, di AIC scalato, b = 0.37, SE = 0.02, t = 16.49, p <.001. Inoltre, vi era un effetto principale significativo dei compiti, F (1, 63) = 275.42, p <.001. In termini di regressione, il coefficiente per la denominazione prediceva un valore più basso, cioè migliore, di AIC scalato, b = −0.37, SE = 0.02, t = −16.60, p <.001. La Figura 5 offre una panoramica degli effetti principali mediante un grafico a punti e linee. L’intercetta o cella di riferimento si riferisce sia al valore più basso della denominazione ELP sia al valore più alto della decisione lessicale BLP, ossia −3.623. Le linee sono sovrapposte 286 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds verticalmente perché gli intervalli dei valori di AIC scalato per la decisione lessicale ELP e la decisione lessicale BLP erano disgiunti (si veda la Tabella 4). Inoltre, le linee sono parallele perché l’assenza di un gruppo «denominazione BLP» tra i compiti eliminava qualsiasi effetto di interazione. In sintesi, i tempi di risposta del BLP e il compito di denominazione continuavano a predire valori migliori di AIC scalato, anche dopo il controllo reciproco dei fattori pertinenti. Questi risultati accrescono l’accuratezza e l’efficacia dei rispettivi modelli. FIGURA 5. Grafico degli effetti principali per l’AIC scalato Va notato che l’analisi degli effetti principali presentata in questa sezione è più applicabile alla fonte dei tempi di risposta che alla prestazione nel compito perché, come già menzionato, la combinazione «denominazione BLP» non era disponibile. Questo fatto può limitare la generalizzabilità dei risultati oltre i campioni specifici. 6.3. AIC scalato rispetto alle variabili di controllo In questa sezione, l’attenzione sarà rivolta alle variabili di controllo lunghezza del composto (in caratteri) e frequenza SUBTLEX-US, ossia la frequenza logaritmica del composto derivata dal corpus SUBTLEX-US (Brysbaert, New 2009). Entrambe le variabili sono state ampiamente utilizzate nei modelli di regressione di Gagné et al. (2019). Straipsniai / Articles 287 CHARITON CHARITONIDIS Per rilevare l’influenza della lunghezza e della frequenza del composto sull’AIC scalato, i rispettivi coefficienti di regressione sono stati ricodificati in valori ordinali secondo la loro positività e il livello di significatività; si veda la Tabella 6. I livelli di significatività sono stati mappati su scale ordinali perché rappresentavano punti di cut-off convenzionali basati sui valori esatti di significatività. TABELLA 6. Schema di ricodifica ordinale dei coefficienti di regressione Significatività Positività Valori ordinali Descrizione p <.001 negativo −3 grande effetto negativo p <.01 negativo −2 effetto negativo moderato p <.05 negativo −1 piccolo effetto negativo p >.05 negativo/positivo 0 effetto non significativo p <.05 positivo 1 piccolo effetto positivo p <.01 positivo 2 effetto positivo moderato p <.001 positivo 3 grande effetto positivo Nei modelli di Gagné et al. (2019), la frequenza SUBTLEX-US era sempre associata a coefficienti negativi (= riduzione della latenza) con un grande effetto, p <.001. Di conseguenza, tutti i coefficienti sono stati ricodificati come −3, un valore perfettamente collineare con la variabile di esito, AIC scalato. Per questo motivo, la frequenza SUBTLEX-US è stata esclusa dall’analisi presente. Quanto alla lunghezza del composto, tutti i coefficienti di regressione significativi dei modelli di Gagné et al. (2019) avevano un grande effetto positivo (= induzione della latenza), p <.001. A differenza della variabile SUBTLEX-US, emersero diversi coefficienti non significativi. Considerati questi andamenti, è stata creata una variabile categoriale con i valori «1» per l’effetto positivo (= interferenza della lunghezza del composto) e «0» per l’assenza di effetto (= nessuna interferenza della lunghezza del composto). Il campione risultante conteneva 39 valori di AIC scalato. Il test di correlazione di Pearson tra lunghezza del composto e AIC scalato ha prodotto un coefficiente di correlazione altamente significativo pari a 0.51, p =.001, indicando una correlazione da moderata a forte tra le due variabili. La lunghezza del composto è stata inclusa come unica variabile indipendente in un modello di regressione lineare. È stato rilevato che la media prevista dell’AIC scalato in assenza di interferenza della lunghezza del composto era 3.611 (= l’intercetta). L’interferenza della lunghezza del composto ha prodotto un valore più elevato (= inferiore) di −3.407 (b = 0.204, p =.001). La Figura 6 seguente illustra questi andamenti. In breve, l’AIC scalato peggiora quando la lunghezza del composto diventa rilevante nei modelli. 288 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds FIGURA 6. Lunghezza del composto e AIC scalato Abbiamo condotto ANOVA separate per la fonte dei tempi di risposta (ELP/BLP) e la prestazione nel compito (decisione lessicale/denominazione), tenendo conto della lunghezza del composto come covariata. L’obiettivo primario era identificare le differenze tra le medie precedentemente corrette per tenere conto degli effetti di controllo della lunghezza del composto. (a) ANOVA per la fonte dei tempi di risposta. A BLP è stato assegnato il valore «0» e a ELP il valore «1». Il test di correlazione di Pearson ha rivelato una forte collinearità tra la fonte dei tempi di risposta e la lunghezza del composto, r = 1 (N = 39). Le seguenti evidenze supportano il nostro risultato: primo, il gruppo ELP mostrava costantemente correlazioni positive significative con la lunghezza del composto, indicando un grande effetto. Secondo, il gruppo BLP mostrava costantemente correlazioni non significative con la lunghezza del composto. Di conseguenza, la media prevista dell’AIC scalato per la fonte dei tempi di risposta era la stessa con o senza la lunghezza del composto nell’analisi (M = 3.407 in entrambi i casi). In sintesi, la lunghezza del composto non aveva un effetto significativo sull’AIC scalato quando la fonte dei tempi di risposta era inclusa. (b) ANOVA per la prestazione nel compito. A denominazione è stato assegnato il valore «0» e a decisione lessicale il valore «1». Il test di correlazione di Pearson ha rivelato una correlazione negativa tra compito e lunghezza del composto, indicando un effetto moderato, r = −.5, p =.001 (N = 39). Questo risultato suggerisce che la lunghezza del composto è più rilevante per la denominazione che per la decisione lessicale. 17 Va notato che 11 dei 13 coefficienti BLP erano negativi. Straipsniai / Articles 289 CHARITON CHARITONIDIS Considerando il compito come variabile primaria, la lunghezza del composto era un predittore significativo dell’AIC scalato, F (1, 145.030), p =.000. Analogamente, considerando la lunghezza del composto come variabile primaria, il compito era un predittore significativo dell’AIC scalato, F (1, 125.30), p =.000. La media prevista dell’AIC scalato per il solo compito era significativamente diversa dalla media prevista dell’AIC scalato quando si teneva conto della lunghezza del composto (rispettivamente 3.584 e 3.203). Analogamente, la media prevista dell’AIC scalato per la sola lunghezza del composto (3.584) era significativamente diversa dalla media prevista dell’AIC scalato quando si teneva conto del compito (−3.23). In sintesi, in termini di correzione per la covariata, sia il compito di decisione lessicale sia la lunghezza del composto predicevano modelli inferiori. 6.4. AIC scalato rispetto alle norme di trasparenza Questa sezione esamina l’effetto dei coefficienti di regressione della trasparenza semantica nei modelli di Gagné et al. (2019) sull’AIC scalato. Questi coefficienti di regressione sono stati codificati su tre scale ordinali, ciascuna corrispondente a uno dei tre livelli morfologici, ossia composto, primo costituente e secondo costituente. Lo schema di ricodifica ordinale è riportato nella Tabella 6. La Tabella 7 seguente mostra le mediane e gli intervalli dei coefficienti di trasparenza trasformati ordinalmente per tutti e tre i livelli morfologici. Le mediane forniscono informazioni utili sulla tendenza centrale e sulla dispersione dei valori ordinali e possono contribuire a orientare le analisi basate su variabili ordinali. TABELLA 7. Coefficienti di trasparenza trasformati ordinalmente: mediane e intervalli Mediana Minimo Massimo Composto −3 −3 −1 Primo costituente 2 −3 3 Secondo costituente 0 −2 3 N = 18 Come si può vedere, la mediana per il composto era «−3», quella per il primo costituente era «2» e quella per il secondo costituente era «0». Questi risultati suggeriscono che nei modelli di Gagné et al. (2019) con frequenza SUBTLEX–US, la trasparenza del composto era associata a un grande effetto negativo (tempi di risposta più brevi), la trasparenza del primo costituente era associata a un effetto positivo moderato (tempi di risposta più lunghi) e la trasparenza del secondo costituente non aveva un effetto significativo o aveva 290 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds un ruolo incerto. I punteggi di trasparenza più elevati per il secondo costituente, riportati da Gagné et al. (ibid.), suggeriscono un bias intrinseco a suo favore, facendo sì che la trasparenza complessiva del composto dipenda dalla trasparenza del primo costituente. In questo contesto, la mediana positiva, che induce latenza, del primo costituente indica il suo ruolo di mediazione, forse di instaurazione del riferimento, in questa relazione (si veda anche la sezione 1). Resta da dimostrare quali siano le funzioni semantiche che rappresentino adeguatamente, in termini di elaborazione, il bias intrinseco del secondo costituente.18 La domanda di ricerca da affrontare ora è se la positività e il livello di significatività dei coefficienti di trasparenza influenzino l’AIC scalato. Il nostro metodo mira principalmente a rilevare gli effetti di overfitting. Come sostengono Daniel J. Navarro & Jay I. Myung (2005), «un modello complesso con molti parametri e una forma altamente non lineare può spesso adattarsi ai dati meglio di un modello semplice con pochi parametri, anche se è quest’ultimo ad aver generato i dati» (Navarro, Myung 2005: 1240). Di conseguenza, un numero elevato di parametri può catturare il rumore o caratteristiche uniche dei dati disponibili, ma può ostacolare la capacità del modello di generalizzare a nuovi dati. L’AIC attenua il problema dell’overfitting introducendo una penalizzazione per l’inclusione di numerosi parametri in un modello; si veda la parte «+2k» dell’equazione dell’AIC nella sezione 2. Per quanto riguarda l’analisi seguente, si postula che i modelli che presentano valori più elevati (= inferiori) di AIC scalato possano possedere coefficienti significativi, derivati sistematicamente, ossia coefficienti rilevanti secondo il solo dataset LADEC. In questo contesto, la nostra congettura suggerisce che potrebbe emergere una tendenza contraria nella relazione tra trasparenza e AIC scalato rispetto all’indicazione fornita dalle mediane nella Tabella 7. In particolare, valori più bassi (= migliori) di AIC scalato possono essere associati a (a) coefficienti positivi (tempi di risposta più lunghi) relativi all’intero composto, (b) coefficienti negativi (tempi di risposta più brevi) relativi al primo costituente e (c) coefficienti positivi o negativi (tempi di risposta rispettivamente più lunghi o più brevi) relativi al secondo costituente. Va notato che, per il secondo costituente, la mediana nella Tabella 7 suggerisce l’assenza di effetto. Per rispondere alla domanda di ricerca, saranno impiegate due misure non parametriche, ossia il test di Kruskal–Wallis e il test di Jonckheere–Terpstra. Il test di Kruskal–Wallis, noto anche come «test H», è un test non parametrico basato su 18 In Charitonidis (2024) si sostiene che sia l’iponimia sia la concretezza del contesto per il secondo costituente siano predittori semantici significativi nella decisione lessicale e nella denominazione. L’analisi ivi presentata mostra che l’inclusione di entrambi questi predittori produce un miglioramento dell’AIC scalato e di R2 rispetto ai modelli che omettono una delle due variabili. Straipsniai / Articles 291 CHARITON CHARITONIDIS la distribuzione chi-quadrato. Richiede che la variabile dipendente sia ordinale o continua. Questo test è progettato per determinare se esistano differenze significative tra le mediane di due o più gruppi ed è utilizzato come alternativa all’ANOVA a una via. Quanto alla procedura, i valori della variabile dipendente continua, ossia l’AIC scalato, sono stati ordinati dal più basso al più alto e ai punteggi sono stati assegnati ranghi. I ranghi risultanti sono stati reinseriti nei gruppi del livello di significatività (la variabile indipendente) e i ranghi di ciascun gruppo sono stati sommati. La formula per il calcolo di «H» comprendeva, tra l’altro, l’elevamento al quadrato della somma dei ranghi per ciascun gruppo e la successiva divisione di tale valore per la dimensione del campione. Le Tabelle 8–10 contengono i dati di input considerati e la somma dei ranghi per ciascun gruppo. 19 20 somma dei ranghi per ciascun gruppo. TABELLA 8. Composto Livelli di significatività | N | Somma dei ranghi AIC scalato | 1 – piccolo effetto negativo | 1 | 2 | 2 – effetto negativo moderato | 5 | 46 | 3 – grande effetto negativo | 12 | 123 | Totale | 18 | TABELLA 9. Primo costituente Livelli di significatività | N | Somma dei ranghi AIC scalato | 1 – grande effetto positivo | 6 | 59 | 2 – effetto positivo moderato | 4 | 34 | 3 – piccolo effetto positivo | 1 | 3 | 4 – nessun effetto | 1 | 2 | 5 – piccolo effetto negativo | 1 | 10 | 6 – effetto negativo moderato | 1 | 11 | 7 – grande effetto negativo | 4 | 52 | Totale | 18 | 19 Per il resto dei calcoli si veda Field (2009: 561–562). 20 In tutte e tre le tabelle, la somma totale dei ranghi è approssimativamente 171. È uguale alla somma degli interi da 1 a 18; si veda la dimensione del campione (N). 292 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds TABELLA 10. Secondo costituente AIC scalato | Livelli di significatività | N | Somma dei ranghi AIC scalato | 1 – grande effetto positivo | 6 | 59 AIC scalato | 2 – piccolo effetto positivo | 1 | 14 AIC scalato | 3 – nessun effetto | 8 | 59 AIC scalato | 4 – piccolo effetto negativo | 1 | 18 AIC scalato | 5 – effetto negativo moderato | 2 | 21 | Totale | 18 | Prima di esaminare i risultati del test di Kruskal–Wallis (H), è importante notare che questo test non fornisce informazioni sulle differenze specifiche tra i singoli gruppi. Per affrontare questo problema, è stato inoltre impiegato il test di Jonckheere–Terpstra (JT). Questo test ha fornito informazioni sul fatto che le mediane dei gruppi aumentassero o diminuissero nell’ordine specificato dalla variabile di codifica (= raggruppamento), precisamente da grande effetto positivo a grande effetto negativo. Quanto ai metodi, la statistica JT è stata convertita in uno z-score. Un valore z positivo indicava una tendenza a mediane crescenti, vale a dire che le mediane aumentavano (= AIC scalato più elevato/inferiore) all’aumentare dei valori della variabile di codifica. Un valore z negativo indicava una tendenza a mediane decrescenti, vale a dire che le mediane diminuivano (= AIC scalato più basso/migliore) all’aumentare dei valori della variabile di codifica. Di seguito, i risultati dei test di Kruskal–Wallis (H) e Jonckheere–Terpstra (JT) sono presentati congiuntamente. (a) L’AIC scalato per il composto non era significativamente influenzato dal livello di significatività, come determinato dal test di Kruskal–Wallis (H (2) = 2.226, p >.05). È stata rilevata una tendenza a mediane crescenti, a conferma della nostra ipotesi di overfitting; si veda la mediana negativa per il composto nella Tabella 7. Questa tendenza, tuttavia, non era statisticamente significativa secondo il test di Jonckheere–Terpstra (JT = 50, z = 1.064, p >.05). (b) L’AIC scalato per il primo costituente non era significativamente influenzato dal livello di significatività, come determinato dal test di Kruskal–Wallis (H (6) = 5.427, p >.05). È stata rilevata una tendenza a mediane crescenti, che respinge la nostra ipotesi di overfitting; si veda la mediana positiva per il primo costituente nella Tabella 7. Questa tendenza, tuttavia, non era statisticamente significativa secondo il test di Jonckheere–Terpstra (JT = 70, z = 0.549, p >.05). (c) L’AIC scalato per il secondo costituente non era significativamente influenzato dal livello di significatività, come determinato dal test di Kruskal–Wallis (H (4) = 4.607, p >.05). Non è stata osservata una tendenza a mediane crescenti o decrescenti, respingendo Straipsniai / Articles 293 CHARITON CHARITONIDIS la nostra ipotesi di overfitting. In particolare, la statistica z del test di Jonckheere–Terpstra era essenzialmente pari a zero, in accordo con la mediana nulla per il secondo costituente nella Tabella 7 (JT = 54, z = 0.041, p >.05). In sintesi, si può inferire che il livello di significatività dei coefficienti di trasparenza nei modelli di Gagné et al. (2019) con frequenza SUBTLEX-US non influisca sull’entità dell’AIC scalato. Questo risultato sostiene indirettamente la qualità dei modelli di Gagné et al. (2019) con predittori di trasparenza, indicando in particolare che l’ipotesi di overfitting per questi modelli non è sostenibile. Un limite del presente studio è la ridotta dimensione del campione utilizzato, con N = 18. Per confermare i nostri risultati, sono necessarie ulteriori ricerche che utilizzino una gamma più ampia di valori di AIC scalato. Per garantire chiarezza e completezza nella presentazione dei risultati della nostra ricerca, abbiamo inserito una sezione dedicata alla sintesi dei principali risultati dello studio. Per questa panoramica completa, si prega di proseguire alla Sezione 7. 7. RISULTATI PRINCIPALI La Tabella 11 seguente presenta un’analisi completa delle prestazioni dei modelli e delle variabili pertinenti nel contesto dei compiti di decisione lessicale e denominazione, sulla base dei risultati di Gagné et al. (2019). Ogni sezione della tabella esamina argomenti specifici, mostrando quali modelli siano più efficaci. I test ANOVA e Kruskal–Wallis/Jonckheere–Terpstra (sezioni 6.3 e 6.4) sono stati applicati dopo aver assegnato valori nominali (ordinali o categoriali) ai coefficienti di regressione dei modelli di Gagné et al. (2019). Per i dettagli sui test speciali applicati, si vedano le sezioni pertinenti. TABELLA 11. AIC scalato all’interno dei composti inglesi chiusi: analisi completa delle prestazioni dei modelli nei compiti di decisione lessicale e denominazione (Gagné et al. 2019) 294 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds Soggetti | Statistiche | Valutazione | Sezione Variabili di controllo | ANOVA | Frequenza del composto ✓; Lunghezza del composto ~ | 6.3 Trasparenza semantica | Kruskal–Wallis Jonckheere–Terpstra | Primo costituente NOF/ns; Secondo costituente NOF/ns; Composto NOF/ns | 6.4 PAR: dati parametrici | NPAR: dati non parametrici | ✓: modelli migliori (AIC inferiore) ~: modelli inferiori (AIC superiore) | NOF/ns: nessun overfitting/test non significativo 8. DISCUSSIONE Ricerche precedenti di Charitonidis (2022, 2024) hanno dimostrato che l’AIC scalato è una misura affidabile della bontà dell’adattamento, utilizzabile nella selezione dei modelli, forse in combinazione con altre misure come il test di Wald (si veda la sezione 3). Con riferimento ai modelli di regressione multipla di Gagné et al. (2019) con frequenza SUBTLEX-US, l’analisi presente ha introdotto ulteriori proprietà della misura dell’AIC scalato. Sebbene siano state sollevate valide preoccupazioni riguardo al confronto tra modelli adattati a campioni di dimensioni diverse mediante criteri informativi (si veda la sezione 2), i risultati di questo studio suggeriscono che, in determinati contesti, l’AIC scalato possa effettivamente costituire uno strumento prezioso per valutare l’adattamento dei modelli e gerarchizzare i modelli di regressione. La nostra ricerca ha dimostrato che l’AIC scalato è sensibile al disegno sperimentale, alle fonti dei tempi di risposta e ai compiti specifici. Tuttavia, è essenziale riconoscere che l’applicabilità dell’AIC scalato può dipendere dal contesto e che la sua utilità dovrebbe essere valutata caso per caso. Prima di procedere ai risultati principali di questo articolo, è importante affrontare le domande di ricerca formulate nella sezione 4. 1. Le distribuzioni dei valori di Scaled AIC, insieme alle combinazioni di diverse fonti dei tempi di risposta e dei compiti di elaborazione, suggeriscono che Scaled AIC identifichi efficacemente la presenza o l’assenza di fattori sottostanti ben definiti nella progettazione sperimentale e nella modellizzazione statistica. In questo contesto, la decisione lessicale BLP e la denominazione ELP hanno mostrato un potere predittivo maggiore per Scaled AIC anche in condizioni controllate. 2. La frequenza del composto è stata invariabilmente un predittore negativo di Scaled AIC, indicando sempre un effetto grande. La decisione lessicale ELP ha mostrato costantemente Straipsniai / Articles 295 CHARITON CHARITONIDIS correlazioni positive significative con la lunghezza del composto, predicendo valori di Scaled AIC più elevati (= inferiori). La decisione lessicale BLP ha mostrato costantemente correlazioni non significative con la lunghezza del composto. Sia la decisione lessicale sia la lunghezza del composto hanno predetto modelli inferiori nell’aggiustamento per le covariate. 3. La positività e il livello di significatività dei coefficienti di trasparenza nei modelli di Gagné et al. (2019) non hanno influenzato l’entità di Scaled AIC. Questo risultato implica che i modelli di Gagné et al. (2019) con predittori di trasparenza non introducono un bias da overfitting. Facendo riferimento a sezioni specifiche delle analisi, i principali risultati di questo studio possono essere riassunti come segue: Nella Sezione 6.1, la nostra analisi si è concentrata sul confronto tra i valori di Scaled AIC nelle diverse categorie di modelli. Anche dopo aver tentato le trasformazioni «logaritmo naturale» e «radice quadrata» sui valori assoluti, il campione complessivo di Scaled AIC non si conformava a una distribuzione normale. Analogamente, i modelli di decisione lessicale ELP mostravano una distribuzione non parametrica dei relativi valori di Scaled AIC. Al contrario, i dati relativi alla decisione lessicale BLP e alla denominazione ELP seguivano una distribuzione normale. Nella Sezione 6.2, l’attenzione si è spostata sull’esame della relazione tra Scaled AIC e (a) le fonti dei tempi di risposta e (b) la prestazione nel compito. È interessante notare che gli intervalli dei valori di Scaled AIC per i modelli di decisione lessicale ELP e BLP non si sovrapponevano, evidenziandone la distinzione. I risultati dei test hanno rivelato effetti principali significativi sia della fonte dei tempi di risposta sia della prestazione nel compito su Scaled AIC. In particolare, la capacità predittiva di Scaled AIC era migliore per i modelli associati ai tempi di decisione lessicale BLP e al compito di denominazione. Questi risultati contribuiscono significativamente alla precisione e all’efficacia dei rispettivi modelli. Nella Sezione 6.3, la nostra esplorazione ha approfondito la relazione tra Scaled AIC e le variabili di controllo «frequenza del composto» e «lunghezza del composto». La frequenza del composto è stata esclusa dall’analisi perché era perfettamente collineare con Scaled AIC. D’altro canto, si è osservata una diminuzione dei valori di Scaled AIC quando la lunghezza del composto diventava un fattore rilevante nei modelli. Contestualmente, la lunghezza del composto era più rilevante per il compito di denominazione. In termini di aggiustamento per le covariate, sia il compito di decisione lessicale sia la lunghezza del composto erano predittivi di modelli inferiori. Nella Sezione 6.4, l’attenzione si è concentrata sulla relazione tra Scaled AIC e la trasparenza semantica. La domanda di ricerca era se la positività e il livello di significatività dei coefficienti di trasparenza nei modelli di Gagné et al. (2019) avessero un impatto su Scaled AIC. L’obiettivo principale del nostro metodo era rilevare potenziali effetti di overfitting. Abbiamo ipotizzato che i modelli con valori di Scaled AIC inferiori potessero possedere coefficienti significativi che risultassero rilevanti 296 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds secondo il solo dataset LADEC. Sebbene abbiamo osservato una tendenza all’aumento dei valori di Scaled AIC (= inferiori) per un gruppo di coefficienti negativi significativi a livello del composto — in linea con la nostra ipotesi di overfitting — il test di Jonckheere–Terpstra ha mostrato che tale tendenza non raggiungeva la significatività statistica. In conclusione, l’esplorazione di diversi parametri utilizzando Scaled AIC come variabile dipendente ha messo in luce i diversi modi in cui le categorie di modelli, la fonte dei tempi di risposta, i compiti di elaborazione, le variabili di controllo e la trasparenza semantica influenzano la bontà dell’adattamento dei modelli. Riconoscendo le relazioni sfumate tra questi elementi, i ricercatori sono meglio attrezzati per prendere decisioni informate nella selezione, nell’aggiustamento e nell’interpretazione dei modelli. REFERENCES Akaike Hirotugu 1973: Information Theory and an Extension of the Maximum Likelihood Principle. – Second International Symposium on Information Theory, eds. B. F. Csaki, B. N. Petrov, Budapest: Academiai Kiado, 267–281. Aldrich John R. 1997: R. A. Fisher and the Making of Maximum Likelihood 1912–1922. – Statistical Science 12(3), 162–176. Baayen Harald R., Piepenbrock Richard, Gulikers Leon 1995: The CELEX Lexical Database (Data set, Release 2, CD-ROM), Linguistic Data Consortium, University of Pennsylvania. Available at: https://catalog.ldc.upenn.edu. Balota David A., Yap Melvin J., Cortese Michael J., Hutchison Keith I., Kessler Brett, Loftis Bjorn, Neely James H., Nelson Douglas L., Simpson Greg B., Treiman Rebecca 2007: The English Lexicon Project. – Behavior Research Methods 39, 445–459. Brysbaert Marc, New Boris 2009: Moving Beyond Kučera and Francis: A Critical Evaluation of Current Word Frequency Norms and the Introduction of a New and Improved Word Frequency Measure for American English. – Behavior Research Methods 41, 977–990. DOI: doi.org/10.3758/BRM.41.4.977. Burnham Kenneth P., Anderson David R. 2002: Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach, 2ⁿᵈ edition, New York: Springer. DOI: dx.doi.org/10.1007/b97636. Charitonidis Chariton 2022: Context Concreteness for the Second Constituent Slows Down Compound-Word Processing. – Lexis 20. DOI: doi.org/10.4000/lexis.6769. Straipsniai / Articles 297 CHARITON CHARITONIDIS Charitonidis Chariton 2024: The Role of Hyponymy and Context Concreteness in Compound Word Processing. – Studia Neophilologica. DOI: doi.org/10.1080/00393274.2024.2336851. Chen Xiaocong, Dong Yanping, Yu Xiufen 2018: On the Predictive Validity of Various Corpus-Based Frequency Norms in L2 English Lexical Processing. – Behavior Research Methods 50, 1–25. DOI: doi.org/10.3758/s13428-017-1001-8. Field Andy 2009: Discovering statistics using SPSS, 3rd edition, London: Sage Publications. Fisher Ronald A. 1922: On the Mathematical Foundations of Theoretical Statistics. – Philosophical Transactions of the Royal Society of London, Series A 222, 309–368. Gagné Christina L., Spalding Thomas L., Schmidtke Daniel 2019: LADEC: The Large Database of English Compounds. – Behavior Research Methods 51, 2152–2179. DOI: doi.org/10.3758/s13428-019-01282-6. Gagné Christina L., Spalding Thomas L., Spicer Patricia, Wong Dixie, Rubio Beatriz, Perez-Cruz Karen 2020: Is Buttercup a Kind of Cup? Hyponymy and Semantic Transparency in Compound Words. – Journal of Memory and Language 113. DOI: doi.org/10.1016/j.jml.2020.104110. Hastie Trevor, Tibshirani Robert, Friedman Jerome 2009: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd edition, New York: Springer. Keuleers Emmanuel, Lacey Paula, Rastle Kathleen, Brysbaert Marc 2012: The British Lexicon Project: Lexical Decision Data for 28,730 Monosyllabic and Disyllabic English Words. – Behavior Research Methods 44, 287–304. DOI: doi.org/10.3758/s13428-011-0118-4. Kullback Solomon 1959: Information Theory and Statistics. New York: Wiley. Navarro Daniel J., Myung Jay I. 2005: Model Evaluation. – Encyclopedia of Statistics in Behavioral Science, vol. 3, eds. B. S. Everitt, D. C. Howell, Chichester: Wiley, 1239–1242. Steiger James H. 1980: Tests for Comparing Elements of a Correlation Matrix. – Psychological Bulletin 87(2), 245–251. DOI: doi.org/10.1037/0033-2909.87.2.245. Wagenmakers Eric-Jan, Farrell Simon 2004: AIC Model Selection Using Akaike Weights. – Psychonomic Bulletin & Review 11(1), 192–196. 298 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds I N T E R N E T D I S C U S S I O N S Model comparison with AIC based on different sample size. Available at: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [accessed 15.5.2024]. What is the acceptable range of skewness and kurtosis for normal distribution of data? Available at: https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data [accessed 15.5.2024]. L A R G E L A N G U A G E M O D E L S GPT-3.5 (available at: https://chat.openai.com/) and Google Gemini (available at: https://gemini.google.com [accessed 11.10.2023]) were selectively used as auxiliary proofreading and editing tools. The responses from both AI tools were further proofread and edited by the author. Anglų kalbos uždarųjų junginių (sudurtinių žodžių) skalės AIC tyrimas S A N T R A U K A Šiame tyrime nagrinėjamos modifikuotos Akaikės informacijos kriterijaus, pavadinto skalės kriterijumi, t. y. AIC, kaip tinkamumo rodiklio, padalinto iš imties dydžio, varianto ypatybės. Tyrimo objektas – 66 daugialypės regresijos modeliai, susiję su uždarųjų (sudurtinių) anglų kalbos žodžių junginių, paimtų iš Gagné'es ir kitų (2019) Anglų kalbos sudurtinių žodžių (junginių) didžiosios duomenų bazės (angl. LADEC), apdorojimu. Toliau pateikiami išsamios analizės rezultatai: 1. Modelių kategorijų modeliai pasižymi nevienareikšmiais rezultatais. Britų kalbos žodyno projekto (angl. BLP) leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto (angl. ELP) įvardijimo modeliai veikia geriau (tai rodo mažesnis AIC), palyginus su Anglų kalbos žodyno projekto (angl. ELP) leksinių sprendimų modeliais. Straipsniai / Articles 299 CHARITON CHARITONIDIS 2. Laiko šaltinio ir leksikos apdorojimo užduočių atsakymais atskleidžia reikšmingus pagrindinius skalės AIC rezultatus. Britų kalbos žodyno projekto leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto įvardijimo modeliai veikia gerai, o pastarojo projekto leksinių sprendimų modeliai yra mažiau veiksmingi. 3. Įvertinus kontrolinius kintamuosius, tokius kaip junginių dažnumas ir junginių ilgis, matyti, kad modelių rezultatyvumas skiriasi. Junginių dažnumas yra stiprus veiksnys (parodo didesnis produktyvumas), o sudėtinio ilgio modelių prognozės blogesnės. 4. Kalbant apie pirmosios ir antrosios žodžių junginių sudedamųjų dalių, taip pat ir apie junginių semantinį skaidrumą, modeliai nerodo per didelio suderinamumo. Tai parodo, kad semantinis skaidrumas nesumažina modelių galėjimo apibendrinti naujus duomenis. Įteikta 2024 m. sausio 11 d. CHARITON CHARITONIDIS [email protected] 300 Acta Linguistica Lithuanica XC