Exploring Scaled AIC within English closed compounds

CHARITON CHARITONIDIS Badacz niezależny ORCID id: orcid.org/0000-0003-0298-2629 Obszary badań: słowotwórstwo, wyrażenia wielowyrazowe, semantyka leksykalna, rozpoznawanie słów, emocje. DOI: doi.org/10.35321/all90-11 BADANIE SKALOWANEGO AIC W OBRĘBIE ANGIELSKICH ZŁOŻEŃ ZAMKNIĘTYCH Badanie skalowanego AIC w obrębie angielskich złożeń zamkniętych (wyrazów złożonych) ADNOTACJA Kryterium informacyjne Akaike (AIC) jest uznaną miarą dopasowania, służącą do wyboru modeli w analizie danych empirycznych. AIC jest jednak wrażliwe na wielkość próby. Wcześniejsze badania autora wykazały, że skalowane AIC, tj. AIC podzielone przez wielkość próby, jest skutecznym narzędziem oceny dopasowania modelu i hierarchizacji modeli regresji. Niniejsze badanie analizuje dalsze właściwości tej zmiennej. Przedmiotem badania jest 66 modeli regresji wielorakiej odnoszących się do przetwarzania angielskich złożeń zamkniętych (łączonych), zaczerpniętych z Wielkiej bazy danych angielskich złożeń Gagné i in. (2019) (LADEC). W szczególności skalowane AIC zestawiono z Angielskim Projektem Leksykonu (ELP) i Brytyjskim Projektem Leksykonu (BLP) jako źródłami czasów reakcji, zadaniami decyzji leksykalnej i nazywania, długością złożeń oraz normami przejrzystości. Jako metody zastosowano jednoczynnikową ANOVA, analizę efektów głównych oraz testy nieparametryczne. Wyniki sugerują, że skalowane AIC reaguje na projekt eksperymentalny, źródło czasów reakcji oraz zadania decyzji leksykalnej i nazywania. Jednocześnie wyniki niniejszego badania dostarczają empirycznego wsparcia dla walidacji metod zastosowanych przez Gagné i in. (2019). SŁOWA KLUCZOWE: angielskie złożenia, skalowane AIC, decyzja leksykalna, nazywanie. ADNOTACJA Kryterium informacyjne Akaike (ang. AIC) jest stałą miarą dopasowania modeli, stosowaną w analizie danych empirycznych. AIC jest jednak wrażliwe na wielkość próby. Wcześniejsze Straipsniai / Articles 273 CHARITON CHARITONIDIS badania autora wykazały, że skalowane AIC, podzielone przez wielkość próby, jest skutecznym narzędziem oceny dopasowania modelu i hierarchizacji modeli regresji. W niniejszym badaniu analizowane są dalsze właściwości tej zmiennej. Przedmiotem badania jest 66 modeli regresji wielorakiej związanych z przetwarzaniem angielskich złożeń zamkniętych (złożonych), zaczerpniętych z Wielkiej bazy danych angielskich złożeń (ang. LADEC) Gagné i in. (2019). W szczególności AIC zestawiono z Angielskim Projektem Leksykonu (ang. ELP) i Brytyjskim Projektem Leksykonu (ang. BLP) jako źródłami czasów reakcji, zadań decyzji leksykalnej i nazywania, długości złożeń oraz norm przejrzystości. Zastosowano następujące metody: jednoczynnikową ANOVA (ang. Analysis of variance), analizę efektów głównych oraz testy nieparametryczne. Wyniki wskazują, że skalowane AIC reaguje na projekt eksperymentalny, źródło czasów reakcji oraz zadania decyzji leksykalnej i nazywania. Jednocześnie wyniki niniejszego badania dostarczają empirycznych podstaw do potwierdzenia metod zastosowanych przez Gagné i in. (2019). SŁOWA KLUCZOWE: angielskie złożenia (wyrazy złożone), skalowane AIC, decyzja leksykalna, nazywanie. 1. WIELKA BAZA DANYCH ANGIELSKICH ZŁOŻEŃ (LADEC: GAGNÉ I IN. 2019)¹ Wielka baza danych angielskich złożeń (LADEC: Gagné i in. 2019) jest największą istniejącą bazą danych wyrazów złożonych. Zawiera ponad 8000 złożeń bez spacji („zamkniętych” lub „łączonych”) (= rzeczowników) wybranych z różnych źródeł, w tym między innymi z bazy danych CELEX (Baayen i in. 1995), Angielskiego Projektu Leksykonu (ELP; Balota i in. 2007), Brytyjskiego Projektu Leksykonu (BLP; Keuleers i in. 2012), British National Corpus (BNC) oraz Wordnet. Z pełnego zbioru haseł LADEC 7804 złożenia można jednoznacznie rozłożyć na dwa składniki będące morfemami wolnymi.² Uwzględniono bardzo różnorodne złożenia, na przykład złożenia rzeczownik–rzeczownik, np. buttercup, shipyard, złożenia, których drugi składnik pochodzi od tematu czasownikowego, np. pacemaker, painkiller itd. (definicje klas złożeń zob. Lieber 2004: 46). Pierwszy składnik niegłówny odnosi się do szerokiego zakresu kategorii gramatycznych. Rysunek 1 zawiera krótki wybór haseł LADEC. Modele regresji wielorakiej Gagné i in. (2019) obejmują szeroki zakres zmiennych predykcyjnych (= niezależnych), takich jak długość złożenia, częstość bigramów ¹ Niniejsza sekcja została zaczerpnięta z Chariton Charitonidis (2022), z niewielkimi zmianami. ² LADEC zawiera liczby mnogie już wymienionych złożeń jako odrębne hasła. 274 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds na granicy morfemów, wielkość rodziny, częstość wyrazów, miary prawdopodobieństwa i asocjacji (oparte na wektorach), normy emocjonalne/afektywne obliczone na podstawie ocen uczestników itd. Logarytmiczne czasy reakcji dla złożeń z ELP (decyzja leksykalna, nazywanie) i BLP (decyzja leksykalna) są wykorzystywane jako zmienne zależne. W większości przypadków jako zmienne kontrolne stosuje się długość złożenia (liczbę znaków) oraz logarytmiczną częstość złożenia (= wyrazu) z korpusu SUBTLEX-US (Brysbaert, New 2009)³ i BNC (BLP). W modelach Gagné i in. (2019) wspomniane wyżej zmienne predykcyjne miały istotny wpływ na czasy decyzji leksykalnej i nazywania. RYSUNEK 1. Hasła LADEC: przykład Główny nacisk w badaniu Gagné i in. (2019) położono na różne miary przejrzystości semantycznej. Gagné i in. (2019) poprosili uczestników o ocenę złożeń pod względem tego, jak przewidywalne jest znaczenie złożenia na podstawie jego części (oceny przewidywalności znaczenia, oparte na złożeniu) oraz w jakim stopniu znaczenie każdego ze składników zostaje zachowane w złożeniu (oceny zachowania znaczenia, oparte na składniku). Autorzy stwierdzili, że rozkład przejrzystości dla drugiego składnika był znacznie bardziej skupiony i wyższy niż rozkład przejrzystości dla pierwszego składnika (MC1: 64.80 [SD: 19.59] wobec MC2: 71.00 [SD: 16.46]. N = 8115). Jednakże ocena dla ³ Korpus SUBTLEX–US jest korpusem liczącym 51 milionów tokenów, opartym na napisach dialogowych z amerykańskich filmów i programów telewizyjnych. Kilka nowszych badań dostarczyło dowodów wskazujących, że normy częstości uzyskane z napisów filmowych i telewizyjnych są zwykle skuteczniejsze niż normy wyprowadzone z tekstów drukowanych, jeśli chodzi o wyjaśnianie różnic w czasie przetwarzania leksykalnego, a w niektórych przypadkach także w dokładności, wśród rodzimych użytkowników różnych języków (zob. Chen i in. 2018: 2 oraz przywołane tam odniesienia). Straipsniai / Articles 275 CHARITON CHARITONIDIS pierwszego składnika była silniej skorelowana z oceną całego złożenia niż ocena drugiego składnika (c1~cmp: r = 0.75, p <.001 wobec c2~cmp: r = 0.66, p <.001. N = 429).⁴ Co najważniejsze, ocena zachowania znaczenia dla pierwszego składnika oraz ocena przewidywalności znaczenia dla złożenia przewidywały wszystkie trzy typy czasów reakcji, tj. czasy decyzji leksykalnej ELP, czasy decyzji leksykalnej BLP oraz czasy nazywania ELP. Podsumowując, bardziej skupiony i wyższy rozkład przejrzystości dla drugiego składnika oraz silniejszy związek przejrzystości pierwszego składnika z przewidywalnością znaczenia złożenia wydają się bezpośrednio odwzorowywać operacje głowy w angielskich złożeniach. Drugi składnik, tj. głowa, jest jednostką, której przejrzystość zostaje zwiększona kategorialnie i semantycznie (w aspekcie semantycznym zob. także relacje wynikania i hiponimii). Pierwszy składnik, tj. modyfikator, jest najważniejszym czynnikiem w ustalaniu odniesienia złożenia. W rezultacie jego przejrzystość najsilniej współzmienia się z przejrzystością złożenia.⁵ 2. KRYTERIUM INFORMACYJNE AKAIKE (AIC) W 1973 roku Hirotugu Akaike opracował metodę szacowania względnej wartości oczekiwanej odległości Kullbacka–Leiblera (Kullback 1959) z wykorzystaniem zmaksymalizowanego logarytmu wiarygodności Fishera (Fisher 1922; zob. także Aldrich 1997). Miara ta, powszechnie określana jako kryterium informacyjne Akaike (AIC; Akaike 1973), wprowadziła nowe ramy wyboru modeli w analizie danych empirycznych, wyznaczając istotną zmianę paradygmatu (Burnham, Anderson 2002). AIC oblicza się zazwyczaj następująco: −2lnL + 2k, gdzie „lnL” oznacza zmaksymalizowany/pełny logarytm wiarygodności modelu, a „k” oznacza liczbę parametrów obejmującą stałą. Mniejszy zbiór predyktorów jest zazwyczaj związany z bardziej efektywnymi modelami (modelami o mniejszej utracie informacji). Im niższa (= bardziej ujemna) jest wartość AIC, tym lepsze jest dopasowanie modelu. W tym kontekście AIC, jako miara dopasowania, nakłada karę za zastosowanie dużej liczby predyktorów, które potencjalnie prowadzą do wyższych wartości AIC (zob. część „+2k” równania AIC). ⁴ Test z Steigera (1980) wykazał, że różnica ta była istotna, z = 27.71, p <.0001 (Gagné i in. 2019). ⁵ Odwołując się do wcześniejszych badań, Gagné i in. (2019) stwierdzają, że „modyfikator (pierwszy składnik w języku angielskim) ma tendencję do odgrywania większej roli w łatwości wyboru relacji podczas przetwarzania złożeń i fraz rzeczownikowych”. 276 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds AIC jest wrażliwe na wielkość próby. AICc, skorygowana wersja AIC, uwzględnia wielkość próby za pomocą wzoru 2k (k + 1)/ (n − k − 1). Odnosi się jednak konkretnie do małych liczebności próby i nie jest zalecane dla modeli opartych na dużych próbach, takich jak model w Gagné i in. (2019).⁶ Należy zauważyć, że badacze tacy jak Kenneth P. Burnham i David R. Anderson (2002) nie przedstawiają ostatecznego rozwiązania problemu porównywania wartości AIC modeli dopasowanych zarówno do różnych, jak i dużych prób.⁷ W szczególności Burnham i Anderson (2002: 80–85, 334–335) przedstawiają wyczerpujące omówienie konsekwencji nierównych liczebności prób dla porównywania modeli. Argumentują, że zastosowanie kryteriów informacyjnych do porównywania modeli o różnych liczebnościach prób może prowadzić do mylących wyników. Podobnie, jak zauważył Svetunkov w dyskusji internetowej w 2016 roku (zob. odniesienie po bibliografii), wszystkie kryteria informacyjne opierają się na funkcji wiarygodności, która z kolei zależy od wielkości próby. W szczególności wraz ze wzrostem wielkości próby wiarygodność maleje. W konsekwencji w takich przypadkach wzrosną również kryteria informacyjne.⁸ 3. WCZEŚNIEJSZE BADANIA W Charitonidis (2022) wartości AIC dla 44 modeli regresji wielorakiej z różnymi kombinacjami zmiennych emocjonalnych (walencja, pobudzenie i konkretność dla (a) słów oraz (b) kontekstów słów) podzielono przez wielkość próby (N), uzyskując wartości skalowanego AIC (AIC/N). Następnie wartości te wykorzystano do oceny ⁶ Dalsze informacje na temat AICc można znaleźć w Burnham i Anderson (2002: 374–380). ⁷ Jedno z rozwiązań proponowanych przez Burnhama i Andersona (2002) odnosi się do przekształcenia wartości AIC w „wagi Akaikego”, definiowane jako „względne prawdopodobieństwo modelu przy danych danych” (Burnham, Anderson 2002: xiii; zob. także Wagenmakers, Farrell 2004). ⁸ Dostępne pod adresem: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [dostęp: 16.06.2023]. Czytelnik może zrozumieć stwierdzenie Svetunkova, podstawiając różne wartości składowej „lnL” do równania AIC, przy zachowaniu stałej składowej „2k”. Spadek wartości lnL spowoduje wzrost, tj. pogorszenie, wartości AIC. ⁹ W literaturze skalowane AIC określa się również jako „średnie AIC”. Według Svetunkova (komunikacja osobista) praktyka dzielenia kryterium informacyjnego Akaike przez wielkość próby nie jest nowa. Na przykład Hastie i in. (2009: 230–231) definiują AIC w sposób niekanoniczny, wykorzystując N jako mianownik wzoru. Chociaż to odstępstwo od konwencjonalnego wzoru AIC nie jest pozbawione krytyków, pozostaje ono powszechnym podejściem, czego przykładem jest jego uwzględnienie w pakiecie oprogramowania statystycznego Stata. Na przykład Stata podaje „AIC podzielone przez N” w wynikach modelu, co potwierdzają różne przykłady dostępne online (podziękowania dla I. Svetunkova za przekazanie tej informacji). Straipsniai / Articles 277 CHARITON CHARITONIDIS i porównania dopasowania modeli. Wprowadzenie kluczowych predyktorów do globalnych, tj. ogólnych, modeli wykazało, że czasy decyzji leksykalnej BLP wymagały lepszego dopasowania niż czasy decyzji leksykalnej ELP. Dopasowanie modeli nazywania ELP mieściło się w zakresie wartości obserwowanych dla modeli decyzji leksykalnej ELP i BLP. Co najważniejsze, konkretność kontekstu drugiego składnika wyłoniła się jako istotny predyktor we wszystkich modelach z częstością SUBTLEX-US, zarówno dla decyzji leksykalnej, jak i nazywania. W Charitonidis (2024) wszystkie istotne współczynniki z globalnych modeli z częstością SUBTLEX-US zestawiono ze zmienną hiponimii (Gagné i in. 2020). Stwierdzono, że modele obejmujące zarówno hiponimię, jak i konkretność kontekstu drugiego składnika zawsze wiązały się z najniższą (= najlepszą) wartością skalowanego AIC w porównaniu z modelami zagnieżdżonymi, tj. zredukowanymi, pomijającymi którąkolwiek z tych dwóch zmiennych. Zastosowane następnie testy Walda wykazały, że modele zagnieżdżone zawsze wiązały się ze znaczącym zmniejszeniem (= pogorszeniem) współczynnika determinacji (R2). Tabele 1 i 2 przedstawiają odpowiednio wartości skalowanego AIC i wyniki odpowiadających im testów Walda. TABELA 1. Wartości skalowanego AIC dla modeli zagnieżdżonych pomijających hiponimię („Model 2”) lub konkretność kontekstu drugiego składnika („Model 3”) w pełnych modelach („Model 1”) w celu przewidywania czasów decyzji leksykalnej Angielskiego Projektu Leksykonu (ELP) (LD), czasów decyzji leksykalnej Brytyjskiego Projektu Leksykonu (BLP) oraz czasów nazywania ELP Model | Skalowane AIC | AIC | N ELP LD 1 | −3.36281ᵃ | −3557.85 | 1058 2 | −3.30375 | −4169.334 | 1262 3 | −3.34845 | −3700.038 | 1105 BLP LD 1 | −3.79552ᵃ | −2903.574 | 765 2 | −3.76618 | −3920.592 | 1041 3 | −3.76718 | −2987.37 | 793 ELP nazywanie 1 | −3.58686ᵇ | −7396.108 | 2062 2 | −3.54304 | −8418.27 | 2376 3 | −3.58379 | −7389.784 | 2062 278 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds a. Predyktory: (Stała), ocena hiponimii, długość złożenia, częstość SUBTLEX–US, walencja reprezentacji (cmp), konkretność kontekstu (c2) b. Predyktory: (Stała), ocena hiponimii, długość złożenia, częstość SUBTLEX–US, walencja kontekstu (cmp), pobudzenie kontekstu (c1), pobudzenie kontekstu (c2), konkretność kontekstu (c2) TABELA 2. Testy Walda dla modeli zagnieżdżonych pomijających hiponimię („Model 2”) lub konkretność kontekstu drugiego składnika („Model 3”) w pełnych modelach („Model 1”) w celu przewidywania czasów decyzji leksykalnej Angielskiego Projektu Leksykonu (ELP) (LD), czasów decyzji leksykalnej Brytyjskiego Projektu Leksykonu (BLP) oraz czasów nazywania ELP Model | Kwadrat R2 | Zmiana F | df1 | df2 | p ELP LD 1 |.184a | 47.506 | 5 | 1052 |.000 2 | −.004 | 4.562 | 1 | 1052 |.033 3 | −.010 | 13.175 | 1 | 1052 |.000 BLP LD 1 |.211a | 40.479 | 5 | 759 |.000 2 | −.013 | 12.091 | 1 | 759 |.001 3 | −.015 | 14.007 | 1 | 759 |.000 ELP nazywanie 1 |.288b | 118.711 | 7 | 2054 |.000 2 | −.003 | 8.286 | 1 | 2054 |.004 3 | −.003 | 8.309 | 1 | 2054 |.004 a. Predyktory: (Stała), ocena hiponimii, długość złożenia, częstość SUBTLEX–US, walencja reprezentacji (cmp), konkretność kontekstu (c2) b. Predyktory: (Stała), ocena hiponimii, długość złożenia, częstość SUBTLEX–US, walencja kontekstu (cmp), pobudzenie kontekstu (c1), pobudzenie kontekstu (c2), konkretność kontekstu (c2) Podsumowując, dwie różne miary wielkości efektu, mianowicie skalowane AIC i R2, identycznie zhierarchizowały te same modele regresji, wykazując jednocześnie takie samo pierwszeństwo najlepszego modelu. Istnieją zatem silne dowody na to, że miara skalowanego AIC jest jakościowym narzędziem oceny dopasowania modelu. Straipsniai / Articles 279 CHARITON CHARITONIDIS 4. NINIEJSZE BADANIE Niniejsze badanie opiera się na wcześniejszych badaniach autora przedstawionych w sekcji 3. Przedmiotem badania jest 66 modeli decyzji leksykalnej i nazywania dla angielskich złożeń zamkniętych (łączonych), skonstruowanych przez Gagné i in. (2019). Wszystkie modele obejmują częstość SUBTLEX-US jako zmienną kontrolną. Cele badania są dwojakie i realizowane równolegle. Po pierwsze, oceniamy charakterystykę modeli Gagné i in. (tamże). Po drugie, analizujemy kluczowe właściwości miary skalowanego AIC. Pytania badawcze są następujące: 1. Czy skalowane AIC jest wrażliwe na konstrukcję modelu u Gagné i in. (2019)? Które grupy modeli są preferowane? 2. Jaki wpływ na skalowane AIC mają zmienne kontrolne „częstość złożenia” i „długość złożenia”? 3. Jaki jest związek przejrzystości morfologicznej ze skalowanym AIC? Nasze badanie ma następującą strukturę: Sekcja 5 przedstawia przegląd zastosowanych metod. Sekcja 6.1 zawiera statystyki opisowe skalowanego AIC odnoszące się do analizowanych modeli. Nacisk położono na parametryczne i nieparametryczne właściwości kategorii modeli. Sekcja 6.2 analizuje związek między źródłem czasów reakcji a zadaniami przetwarzania leksykalnego. Sekcja 6.3 zestawia skalowane AIC ze zmiennymi kontrolnymi „częstość złożenia” i „długość złożenia”. W sekcji 6.4 poziomy istotności współczynników przejrzystości z modeli Gagné i in. (2019) zostają odniesione do wartości skalowanego AIC. Najważniejsze ustalenia podsumowano w sekcji 7, po czym w sekcji 8 przedstawiono dyskusję wyników. 5. METODY Naszą ogólną metodą była analiza porównawcza głównych parametrów i charakterystyk modeli Gagné i in. (2019), z wykorzystaniem skalowanego AIC jako zmiennej zależnej. Zmienne niezależne obejmowały charakterystykę próby (np. źródło czasów reakcji i zadania przetwarzania leksykalnego), projekt badania (np. zmienne kontrolne) oraz poziom istotności współczynników przejrzystości, a także inne czynniki. Zastosowane szczegółowe metody statystyczne były następujące: (a) statystyki opisowe dotyczące średnich i median, wraz z zastosowaniem testu Shapiro–Wilka do oceny tendencji centralnej, zmienności i rozkładu skalowanego AIC w różnych kategoriach i grupach modeli (sekcje 6.1 i 6.2), (b) analizy efektów głównych przeprowadzone dla źródła czasów reakcji (ELP/BLP) i zadań przetwarzania leksykalnego (decyzja leksykalna/nazywanie) (sekcja 280 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds 6.2), (c) odrębne analizy ANOVA przeprowadzone dla źródła czasów reakcji i zadań przetwarzania leksykalnego, z uwzględnieniem długości złożenia jako współzmiennej (sekcja 6.3), oraz (d) zastosowanie testów Kruskala–Wallisa i Jonckheere’a–Terpstry do analizy różnic między rangami współczynników przekodowanych porządkowo dla przejrzystości semantycznej (sekcja 6.4). Więcej informacji na temat metod można znaleźć w analizach przedstawionych w sekcjach 6.1–6.4. 6. ANALIZY 6.1. Skalowane AIC a kategorie modeli 66 wartości AIC z modeli regresji wielorakiej Gagné i in. (2019), z częstością SUBTLEX–US jako zmienną kontrolną, podzielono przez liczebność każdej próby, uzyskując zbiór 66 wartości skalowanego AIC. Poniższa Tabela 3 przedstawia statystyki opisowe skalowanego AIC, a Rysunek 2 pokazuje odpowiadający im wykres pudełkowy odnoszący się do uporządkowanego zbioru wartości.10 W próbie nie było wartości odstających. Wartości skośności (Sk) i kurtozy (Ku) były akceptowalne.11 Średnia wartość skalowanego AIC wynosiła −3.50030. Odchylenie standardowe wynosiło 0.19052, co oznacza, że obserwacje były względnie skupione wokół średniej. Wartości minimalna i maksymalna wynosiły odpowiednio −3.85502 i −3.15754. Mediana wynosiła −3.55732, tj. była nieco niższa od średniej.12 Środkowe 50% danych mieściło się między −3.66575 (pierwszy kwartyl, Q1) a −3.30959 (trzeci kwartyl, Q3). Odpowiednio rozstęp międzykwartylowy (IQR) wynosił 0.35616. 10 Dolna, czyli pierwszego kwartylu, linia pudełka (Q1) wyznacza granicę, poniżej której znajduje się dolne 25% danych. Podobnie górna, czyli trzeciego kwartylu, linia pudełka (Q3) wyznacza granicę, powyżej której znajduje się górne 25% danych. Zacieniony obszar pokazuje granice środkowych 50% danych, czyli rozstępu międzykwartylowego (IQR), który można obliczyć, odejmując pierwszy kwartyl od trzeciego kwartylu (Q3−Q1). Pozioma linia wewnątrz pudełka pokazuje medianę, czyli środkowy kwartyl (Q2), tj. wartość znajdującą się w środku zbioru danych. 11 W środowisku SPSS wartości skośności między −1 a +1 oraz kurtozy między −2 a +2 są ogólnie uznawane za akceptowalne przy ocenie rozkładu normalnego. Należy jednak zauważyć, że sama skośność i kurtoza nie dostarczają rozstrzygającego dowodu normalności (zob. także omówienie https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data). 12 Zgodnie z tym wzorcem w danych występowała niewielka dodatnia skośność (0.494). Straipsniai / Articles 281 CHARITON CHARITONIDIS TABELA 3. Statystyki opisowe skalowanego AIC (pełny zbiór) Średnia SD Min Maks −3.50030 0.19052 −3.85502 −3.15754 Mediana IQR Q1 Q3 −3.55732 0.35616 −3.66575 −3.30959 N=66. Sk=0.494, Ku=−1.101 RYSUNEK 2. Rozkład skalowanego AIC (pełny zbiór): wykres pudełkowy Oczekiwano, że pełny zbiór wartości skalowanego AIC nie będzie miał rozkładu normalnego, ponieważ obejmował różne zadania (decyzję leksykalną, nazywanie) i został uzyskany z różnych źródeł czasów reakcji (ELP, BLP). Test Shapiro–Wilka i test Kołmogorowa–Smirnowa potwierdziły nasze założenia.13 W szczególności statystyki testu Shapiro–Wilka wynosiły W (66) = 0.90, p <.001, a statystyki testu Kołmogorowa–Smirnowa wynosiły D (66) = 0.17, p <.001. Należy zauważyć, że ten sam pełny zbiór nie wykazywał rozkładu normalnego nawet po zastosowaniu logarytmu naturalnego i pierwiastka kwadratowego do wartości bezwzględnych. Poniższa Tabela 4 przedstawia statystyki opisowe skalowanego AIC w odniesieniu do głównych kategorii modeli u Gagné i in. (2019), tj. decyzji leksykalnej ELP, decyzji leksykalnej BLP oraz nazywania ELP (każda grupa zawiera 22 modele). Rysunek 3 przedstawia odpowiadające im wykresy pudełkowe. Jak widać, średnie i mediany 13 W teście Kołmogorowa–Smirnowa zastosowano korektę istotności Lillieforsa. 282 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds dla decyzji leksykalnej BLP i nazywania ELP odnosiły się do podobnych wartości skalowanego AIC. Decyzja leksykalna ELP odnosiła się do wyższych (= gorszych) wartości, które ponadto były rozłączne względem wartości decyzji leksykalnej BLP.14 Podsumowując, decyzja leksykalna BLP i nazywanie ELP zawsze wymagały lepszych modeli niż decyzja leksykalna ELP. TABELA 4. Statystyki opisowe skalowanego AIC według głównych kategorii modeli Oczekiwano, że nieparametryczny profil pełnego zbioru wartości skalowanego AIC będzie mniej prawdopodobny w obrębie głównych kategorii modeli, tj. głównych kombinacji czasów reakcji i zadań. Jak się okaże, oczekiwanie to zostało potwierdzone. Test Shapiro–Wilka wykazał, że dane dotyczące decyzji leksykalnej ELP istotnie odbiegały od normalności. W szczególności obliczyliśmy statystykę testową W (22) = 0.90, p <.05.15 Dane dotyczące decyzji leksykalnej BLP miały rozkład normalny. Odpowiednie statystyki wynosiły W (22) = 0.92, p >.05 (test Shapiro–Wilka). 14 Test t przeprowadzony na danych podsumowujących dotyczących decyzji leksykalnej ELP i decyzji leksykalnej BLP (Tabela 4) wskazał na wysoce istotną różnicę między średnimi z próby, t = 18.296, p <.0001. 15 Należy zauważyć, że sześć modeli decyzji leksykalnych ELP odnosiło się do wartości Scaled AIC bliskich wartości maksymalnej −3.15754, wskazując na najsłabsze dopasowanie w całym zbiorze danych. Modele te przyczyniły się do powstania wyraźnego maksimum w kierunku wyższego krańca rozkładu (od −3.17304 do −3.15754), czego rezultatem był niemal bimodalny wzorzec rozkładu. Obserwację tę potwierdza stosunkowo wysoka ujemna wartość kurtozy wynosząca −1.444. Straipsniai / Articles 283 CHARITON CHARITONIDIS FIGURE 3. Przedstawienia Boxplot wartości Scaled AIC według głównych kategorii modeli Podobnie dane dotyczące nazywania ELP miały rozkład normalny. Odnośne statystyki wynosiły W (22) = 0.93, p >.05 (Shapiro–Wilk). Podsumowując, zarówno pełny zbiór modeli, jak i modele decyzji leksykalnych ELP były związane z nieparametrycznym rozkładem Scaled AIC. Z drugiej strony dane dotyczące decyzji leksykalnych BLP i nazywania ELP miały rozkład normalny. Spróbujmy teraz ustalić wpływ poszczególnych czynników na Scaled AIC. 6.2. Scaled AIC a źródło czasów reakcji i zadania Poniższa Table 5 zawiera statystyki opisowe wartości Scaled AIC dla grup sklasyfikowanych według głównych czynników „czasy reakcji” i „zadania”, tj. (a) czasy reakcji ELP, (b) czasy reakcji BLP, (c) zadanie nazywania oraz (d) zadanie decyzji leksykalnej. Czasy reakcji ELP i zadanie decyzji leksykalnej 284 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds stanowią nadrzędne grupy odnoszące się odpowiednio do „decyzji leksykalnej i nazywania” oraz „ELP i BLP”. Grupy „BLP” i „Naming” są identyczne z kategoriami modeli „BLP lexical decision” i „ELP naming”, które zostały już przedstawione w Table 4 (section 6.1). Figure 4 przedstawia odnośne wykresy pudełkowe. Jak widać w Table 5, zarówno „BLP”, jak i „Naming” odnosiły się do (a) niższych (=lepszych) wartości średnich i median Scaled AIC oraz (b) mniejszych wartości odchylenia standardowego (SD) i rozstępu międzykwartylowego (IQR), w przeciwieństwie do nadrzędnych grup „ELP response times” i „lexical decision”.16 Te same nadrzędne grupy mają stosunkowo wysokie wartości kurtozy, tj. odpowiednio −1.403 i −1.616 (na histogramach tych grup — tutaj niezamieszczonych — pojawiły się dwa wyraźne maksima, podobnie jak w bimodalnym rozkładzie wartości). Wzorce te sugerują, że miara Scaled AIC była jednoznacznie związana ze ściśle określonymi kategoriami eksperymentalnymi BLP lexical decision (zob. grupa „BLP”) i ELP naming (zob. grupa „Naming”). TABLE 5. Statystyki opisowe dla Scaled AIC dotyczące grup sklasyfikowanych według „czasów reakcji” i „zadań” Czasy reakcji Zadania ELP BLP Nazywanie Decyzja leksykalna Średnia −3.43917 −3.62255 −3.62495 −3.43797 SD 0.20286 0.06778 0.08710 0.19808 Min −3.85502 −3.75547 −3.85502 −3.75547 Maks. −3.15754 −3.52945 −3.50150 −3.15754 Mediana −3.42626 −3.62174 −3.61886 −3.44024 IQR 0.35152 0.13704 0.13758 0.36196 Q1 −3.62127 −3.68840 −3.69419 −3.63171 Q3 −3.26975 −3.55136 −3.55662 −3.26975 Sk −0.126 −0.097 −0.559 −0.006 Ku −1.403 −1.244 0.725 −1.616 44 22 22 44 16 Niższe średnie i mediany wraz z mniejszymi wartościami odchylenia standardowego i rozstępu międzykwartylowego wskazują na większą rzetelność oraz mniejszą podatność na wartości odstające lub skrajne. Straipsniai / Articles 285 CHARITON CHARITONIDIS FIGURE 4. Wykresy pudełkowe Scaled AIC dotyczące grup sklasyfikowanych według „czasów reakcji” i „zadań” Podobnie jak w przypadku całego zbioru wartości Scaled AIC omówionego w section 6.1, oczekiwano, że w nadrzędnych grupach „ELP” i „lexical decision”, nieograniczonych przez konkretne eksperymenty, będzie widoczny profil nieparametryczny. Testy normalności potwierdziły nasze oczekiwania. W teście Shapiro–Wilka dane Scaled AIC dla grupy ELP istotnie odbiegały od rozkładu normalnego. Obliczona statystyka testowa wyniosła W (44) = 0.91, p <.01. Podobnie dane Scaled AIC dla grupy decyzji leksykalnych istotnie odbiegały od rozkładu normalnego. Obliczona statystyka testowa wyniosła W (44) = 0.89, p <.001. Przejdźmy teraz do analizy efektów głównych. Podstawowym celem było ustalenie, czy grupy BLP lexical decision i ELP naming nadal przewidują lepsze modele po kontrolowaniu efektów każdej z tych grup. W kolejnych testach statystycznych grupom sklasyfikowanym według głównych czynników „czasy reakcji” i „zadania” przypisano wartości nominalne. Średnią Scaled AIC dla grupy BLP, tj. −3.623, wykorzystano jako komórkę referencyjną lub wyraz wolny. Wyniki wykazały, że zarówno czasy reakcji, jak i zadania miały efekt główny na Scaled AIC, lecz nie wystąpiła interakcja. W szczególności stwierdzono istotny efekt główny czasów reakcji, F (1, 63) = 271.87, p <.001. W ujęciu regresyjnym współczynnik dla ELP przewidywał wyższą, tj. gorszą, wartość Scaled AIC, b = 0.37, SE = 0.02, t = 16.49, p <.001. Ponadto stwierdzono istotny efekt główny zadań, F (1, 63) = 275.42, p <.001. W ujęciu regresyjnym współczynnik dla nazywania przewidywał niższą, tj. lepszą, wartość Scaled AIC, b = −0.37, SE = 0.02, t = −16.60, p <.001. Figure 5 przedstawia przegląd efektów głównych za pomocą wykresu punktowego i liniowego. Wyraz wolny lub komórka referencyjna odnosi się zarówno do najniższej wartości ELP naming, jak i najwyższej wartości BLP lexical decision, tj. −3.623. Linie są ułożone 286 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds pionowo, ponieważ zakresy wartości Scaled AIC dla ELP lexical decision i BLP lexical decision były rozłączne (zob. Table 4). Ponadto linie są równoległe, ponieważ brak grupy „BLP naming” w obrębie zadań wyeliminował efekty interakcji. Podsumowując, czasy reakcji BLP i zadanie nazywania konsekwentnie przewidywały lepsze wartości Scaled AIC, nawet po wzajemnym kontrolowaniu odpowiednich czynników. Ustalenia te zwiększają dokładność i skuteczność odnośnych modeli. FIGURE 5. Wykres efektów głównych dla Scaled AIC Należy zauważyć, że przedstawiona w tej sekcji analiza efektów głównych ma większe zastosowanie do źródła czasów reakcji niż do wykonania zadań, ponieważ, jak już wspomniano, kombinacja „BLP naming” nie była dostępna. Fakt ten może ograniczać możliwość uogólniania wyników poza konkretne próby. 6.3. Scaled AIC a zmienne kontrolne W tej sekcji nacisk zostanie położony na zmienne kontrolne: długość złożenia (w znakach) oraz częstość SUBTLEX-US, tj. logarytmiczną częstość złożenia wyprowadzoną z korpusu SUBTLEX-US (Brysbaert, New 2009). Obie zmienne były szeroko wykorzystywane w modelach regresji Gagné et al. (2019). Straipsniai / Articles 287 CHARITON CHARITONIDIS Aby wykryć wpływ długości złożenia i częstości złożenia na Scaled AIC, odnośne współczynniki regresji przekodowano na wartości porządkowe zgodnie z ich znakiem i poziomem istotności, zob. Table 6. Poziomy istotności odwzorowano na skale porządkowe, ponieważ reprezentowały konwencjonalne punkty odcięcia oparte na dokładnych wartościach istotności. TABLE 6. Tabela przekodowania porządkowego współczynników regresji Istotność Znak Wartości porządkowe Opis p <.001 ujemny −3 duży efekt ujemny p <.01 ujemny −2 umiarkowany efekt ujemny p <.05 ujemny −1 mały efekt ujemny p >.05 ujemny/dodatni 0 efekt nieistotny p <.05 dodatni 1 mały efekt dodatni p <.01 dodatni 2 umiarkowany efekt dodatni p <.001 dodatni 3 duży efekt dodatni W modelach Gagné et al. (2019) częstość SUBTLEX-US była zawsze związana z ujemnymi (=skracającymi czas reakcji) współczynnikami o dużym efekcie, p <.001. W związku z tym wszystkie współczynniki przekodowano jako −3 — wartość doskonale współliniową ze zmienną wynikową Scaled AIC. Z tego powodu częstość SUBTLEX-US wykluczono z niniejszej analizy. Jeśli chodzi o długość złożenia, wszystkie istotne współczynniki regresji z modeli Gagné et al. (2019) wykazywały duży dodatni (=wydłużający czas reakcji) efekt, p <.001. W przeciwieństwie do zmiennej SUBTLEX-US pojawiło się kilka nieistotnych współczynników. Na podstawie tych wzorców utworzono zmienną kategorialną o wartościach „1” dla efektu dodatniego (=interferencja długości złożenia) i „0” dla braku efektu (=brak interferencji długości złożenia). Otrzymana próba zawierała 39 wartości Scaled AIC. Test korelacji Pearsona między długością złożenia a Scaled AIC dał wysoce istotny współczynnik korelacji równy 0.51, p =.001, wskazujący na umiarkowaną do silnej korelację między tymi dwiema zmiennymi. Długość złożenia uwzględniono jako pojedynczą zmienną niezależną w liniowym modelu regresji. Stwierdzono, że przewidywana średnia Scaled AIC dla braku interferencji długości złożenia wynosiła 3.611 (=wyraz wolny). Interferencja długości złożenia skutkowała wyższą (=gorszą) wartością −3.407 (b = 0.204, p =.001). Figure 6 poniżej ilustruje te wzorce. Krótko mówiąc, Scaled AIC pogarsza się, gdy długość złożenia staje się istotna w obrębie modeli. 288 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds FIGURE 6. Długość złożenia i Scaled AIC Przeprowadziliśmy odrębne analizy ANOVA dla źródła czasu reakcji (ELP/BLP) i wykonania zadania (decyzja leksykalna/nazywanie), uwzględniając długość złożenia jako kowariatę. Podstawowym celem było zidentyfikowanie różnic średnich, które wcześniej skorygowano w celu uwzględnienia efektów kontrolnych długości złożenia. (a) ANOVA dla źródła czasu reakcji. BLP przypisano wartość „0”, a ELP wartość „1”. Test korelacji Pearsona ujawnił silną współliniowość między źródłem czasu reakcji a długością złożenia, r = 1 (N = 39). Następujące dowody potwierdzają nasze ustalenie: po pierwsze, grupa ELP konsekwentnie wykazywała istotne dodatnie korelacje z długością złożenia, wskazujące na duży efekt. Po drugie, grupa BLP konsekwentnie wykazywała nieistotne korelacje z długością złożenia. W konsekwencji przewidywana średnia Scaled AIC dla źródła czasu reakcji była taka sama z uwzględnieniem długości złożenia w analizie i bez niej (M = 3.407 w obu przypadkach). Podsumowując, długość złożenia nie miała istotnego wpływu na Scaled AIC, gdy uwzględniono źródło czasu reakcji. (b) ANOVA dla wykonania zadania. Nazywaniu przypisano wartość „0”, a decyzji leksykalnej wartość „1”. Test korelacji Pearsona ujawnił ujemną korelację między zadaniem a długością złożenia, wskazującą na umiarkowany efekt, r = −.5, p =.001 (N = 39). Wynik ten sugeruje, że długość złożenia ma większe znaczenie dla nazywania niż dla decyzji leksykalnej. 17 Należy zauważyć, że 11 z 13 współczynników BLP było ujemnych. Straipsniai / Articles 289 CHARITON CHARITONIDIS Gdy zadanie traktowano jako zmienną główną, długość złożenia była istotnym predyktorem Scaled AIC, F (1, 145.030), p =.000. Podobnie, gdy długość złożenia traktowano jako zmienną główną, zadanie było istotnym predyktorem Scaled AIC, F (1, 125.30), p =.000. Przewidywana średnia Scaled AIC wyłącznie dla zadania istotnie różniła się od przewidywanej średniej Scaled AIC, gdy uwzględniono długość złożenia (odpowiednio 3.584 wobec 3.203). Analogicznie przewidywana średnia Scaled AIC wyłącznie dla długości złożenia (3.584) istotnie różniła się od przewidywanej średniej Scaled AIC, gdy uwzględniono zadanie (−3.23). Podsumowując, w ujęciu korekty kowariatu zarówno zadanie decyzji leksykalnej, jak i długość złożenia przewidywały gorsze modele. 6.4. Scaled AIC a normy przejrzystości W tej sekcji analizuje się wpływ współczynników regresji dla przejrzystości semantycznej w modelach Gagné et al. (2019) na Scaled AIC. Współczynniki te zakodowano na trzech skalach porządkowych, z których każda odpowiadała jednemu z trzech poziomów morfologicznych, tj. złożeniu, pierwszemu składnikowi i drugiemu składnikowi. Tabelę przekodowania porządkowego można znaleźć w Table 6. Poniższa Table 7 przedstawia mediany i zakresy przekształconych porządkowo współczynników przejrzystości dla wszystkich trzech poziomów morfologicznych. Mediany dostarczają użytecznych informacji o tendencji centralnej i rozproszeniu wartości porządkowych oraz mogą pomóc w analizach opartych na zmiennych porządkowych. TABLE 7. Przekształcone porządkowo współczynniki przejrzystości: mediany i zakresy Mediana Minimum Maksimum Złożenie −3 −3 −1 Pierwszy składnik 2 −3 3 Drugi składnik 0 −2 3 N = 18 Jak widać, mediana dla złożenia wynosiła „−3”, mediana dla pierwszego składnika „2”, a mediana dla drugiego składnika „0”. Ustalenia te sugerują, że w modelach Gagné et al. (2019) z częstością SUBTLEX–US przejrzystość złożenia była związana z dużym ujemnym efektem (krótszymi czasami reakcji), przejrzystość pierwszego składnika była związana z umiarkowanym dodatnim efektem (dłuższymi czasami reakcji), natomiast przejrzystość drugiego składnika nie miała istotnego efektu lub 290 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds niepewną rolę. Wyższe oceny przejrzystości drugiego składnika, przedstawione przez Gagné et al. (ibid.), sugerują inherentne uprzywilejowanie tego składnika, prowadzące do tego, że ogólna przejrzystość złożenia zależy od przejrzystości pierwszego składnika. W tym kontekście dodatnia, wydłużająca czas reakcji mediana dla pierwszego składnika wskazuje na jego pośredniczącą, być może ustanawiającą odniesienie, rolę w tej relacji (zob. także section 1). Nadal należy wykazać, które funkcje semantyczne dostatecznie reprezentują, w kategoriach przetwarzania, inherentne uprzywilejowanie drugiego składnika.18 Pytanie badawcze, którym zajmiemy się teraz, brzmi, czy znak i poziom istotności współczynników przejrzystości wpływają na Scaled AIC. Nasza metoda ma przede wszystkim na celu wykrywanie efektów przeuczenia. Jak argumentują Daniel J. Navarro & Jay I. Myung (2005), „złożony model z wieloma parametrami i wysoce nieliniową postacią może często lepiej dopasować dane niż prosty model z niewielką liczbą parametrów, nawet jeśli to ten drugi wygenerował dane” (Navarro, Myung 2005: 1240). W związku z tym duża liczba parametrów może wychwytywać szum lub unikatowe cechy dostępnych danych, lecz może utrudniać modelowi uogólnianie na nowe dane. AIC łagodzi problem przeuczenia, wprowadzając karę za uwzględnianie licznych parametrów w modelu; zob. część „+2k” równania AIC w section 2. Jeśli chodzi o dalszą analizę, postuluje się, że modele wykazujące wyższe (=gorsze) wartości Scaled AIC mogą zawierać istotne, systematycznie wyprowadzone współczynniki, tj. współczynniki istotne wyłącznie na podstawie zbioru danych LADEC. W tym kontekście nasza hipoteza sugeruje, że w związku między przejrzystością a Scaled AIC może ujawnić się trend przeciwny do wskazanego przez mediany w Table 7. W szczególności niższe (=lepsze) wartości Scaled AIC mogą być związane z (a) dodatnimi współczynnikami (dłuższymi czasami reakcji) dotyczącymi całego złożenia, (b) ujemnymi współczynnikami (krótszymi czasami reakcji) dotyczącymi pierwszego składnika oraz (c) dodatnimi lub ujemnymi współczynnikami (odpowiednio dłuższymi lub krótszymi czasami reakcji) dotyczącymi drugiego składnika. Należy zauważyć, że mediana w Table 7 sugeruje brak efektu w odniesieniu do drugiego składnika. Aby odpowiedzieć na pytanie badawcze, zostaną zastosowane dwie miary nieparametryczne, tj. test Kruskala–Wallisa i test Jonckheere’a–Terpstry. Test Kruskala–Wallisa, znany również jako „test H”, jest testem nieparametrycznym opartym na 18 W Charitonidis (2024) argumentuje się, że zarówno hiponimia, jak i konkretność kontekstu dla drugiego składnika są istotnymi predyktorami semantycznymi w decyzji leksykalnej i nazywaniu. Przedstawiona tam analiza pokazuje, że uwzględnienie obu tych predyktorów skutkuje poprawą Scaled AIC i R2 w porównaniu z modelami pomijającymi którąkolwiek z tych zmiennych. Straipsniai / Articles 291 CHARITON CHARITONIDIS rozkładzie chi-kwadrat. Wymaga on, aby zmienna zależna była porządkowa lub ciągła. Test ten służy do ustalenia, czy występują istotne różnice między medianami dwóch lub większej liczby grup, i jest stosowany jako alternatywa dla jednoczynnikowej ANOVA. W procedurze wartości ciągłej zmiennej zależnej, tj. Scaled AIC, uporządkowano od najniższej do najwyższej, a wynikom przypisano rangi. Otrzymane rangi wprowadzono z powrotem do grup poziomu istotności (zmiennej niezależnej), a rangi dla każdej grupy zsumowano. Wzór obliczania „H” obejmował między innymi podniesienie sumy rang dla każdej grupy do kwadratu, a następnie podzielenie tej wartości przez liczebność próby. Tables 8–10 zawierają rozważane dane wejściowe oraz sumę rang dla każdej grupy. 19 20 suma rang dla każdej grupy. TABLE 8. Złożenie Poziomy istotności | N | Suma rang Scaled AIC | 1 – mały efekt ujemny | 1 | 2 | 2 – umiarkowany efekt ujemny | 5 | 46 | 3 – duży efekt ujemny | 12 | 123 | Łącznie | 18 | TABLE 9. Pierwszy składnik Poziomy istotności | N | Suma rang Scaled AIC | 1 – duży efekt dodatni | 6 | 59 | 2 – umiarkowany efekt dodatni | 4 | 34 | 3 – mały efekt dodatni | 1 | 3 | 4 – brak efektu | 1 | 2 | 5 – mały efekt ujemny | 1 | 10 | 6 – umiarkowany efekt ujemny | 1 | 11 | 7 – duży efekt ujemny | 4 | 52 | Łącznie | 18 | 19 Pozostałe obliczenia zob. Field (2009: 561–562). 20 We wszystkich trzech tabelach całkowita suma rang wynosi około 171. Jest ona równa sumie liczb całkowitych od 1 do 18, zob. liczebność próby (N). 292 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds TABLE 10. Drugi składnik Scaled AIC | Poziomy istotności | N | Suma rang Scaled AIC | 1 – duży efekt dodatni | 6 | 59 Scaled AIC | 2 – mały efekt dodatni | 1 | 14 Scaled AIC | 3 – brak efektu | 8 | 59 Scaled AIC | 4 – mały efekt ujemny | 1 | 18 Scaled AIC | 5 – umiarkowany efekt ujemny | 2 | 21 | Łącznie | 18 | Przed omówieniem wyników testu Kruskala-Wallisa (H) należy zauważyć, że test ten nie dostarcza informacji o konkretnych różnicach między poszczególnymi grupami. Aby rozwiązać ten problem, dodatkowo zastosowano test Jonckheere’a-Terpstry (JT). Test ten dostarczył informacji o tym, czy mediany grup rosły lub malały w kolejności określonej przez zmienną kodującą (=grupującą), a konkretnie od dużego efektu dodatniego do dużego efektu ujemnego. Jeśli chodzi o metody, statystykę JT przekształcono w wynik z. Dodatnia wartość z wskazywała na trend rosnących median, czyli mediany wzrastały (=wyższe/gorsze Scaled AIC) wraz ze wzrostem wartości zmiennej kodującej. Ujemna wartość z wskazywała na trend malejących median, czyli mediany malały (=niższe/lepsze Scaled AIC) wraz ze wzrostem wartości zmiennej kodującej. Poniżej przedstawiono łącznie wyniki testów Kruskala-Wallisa (H) i Jonckheere’a-Terpstry (JT). (a) Na Scaled AIC dla złożenia poziom istotności nie miał istotnego wpływu, zgodnie z testem Kruskala-Wallisa (H (2) = 2.226, p >.05). Stwierdzono trend rosnących median, potwierdzający naszą hipotezę przeuczenia; zob. ujemną medianę dla złożenia w Table 7. Trend ten nie był jednak statystycznie istotny według testu Jonckheere’a-Terpstry (JT = 50, z = 1.064, p >.05). (b) Na Scaled AIC dla pierwszego składnika poziom istotności nie miał istotnego wpływu, zgodnie z testem Kruskala-Wallisa (H (6) = 5.427, p >.05). Stwierdzono trend rosnących median, odrzucający naszą hipotezę przeuczenia; zob. dodatnią medianę dla pierwszego składnika w Table 7. Trend ten nie był jednak statystycznie istotny według testu Jonckheere’a-Terpstry (JT = 70, z = 0.549, p >.05). (c) Na Scaled AIC dla drugiego składnika poziom istotności nie miał istotnego wpływu, zgodnie z testem Kruskala-Wallisa (H (4) = 4.607, p >.05). Nie zaobserwowano trendu rosnących ani malejących median, co odrzucało Straipsniai / Articles 293 CHARITON CHARITONIDIS naszą hipotezę przeuczenia. W szczególności statystyka z testu Jonckheere’a–Terpstry była zasadniczo równa zeru, zgodnie z zerową medianą dla drugiego składnika w Table 7 (JT = 54, z = 0.041, p >.05). Podsumowując, można wnioskować, że poziom istotności współczynników przejrzystości w modelach Gagné et al. (2019) z częstością SUBTLEX-US nie wpływa na wielkość Scaled AIC. Ustalenie to pośrednio potwierdza jakość modeli Gagné et al. (2019) z predyktorami przejrzystości, wskazując w szczególności, że hipoteza przeuczenia dla tych modeli jest nie do utrzymania. Ograniczeniem niniejszego badania jest mała liczebność próby, N = 18. Aby potwierdzić nasze ustalenia, potrzebne są dalsze badania z wykorzystaniem szerszego zakresu wartości Scaled AIC. Aby zapewnić jasność i kompletność prezentacji wyników naszych badań, zamieściliśmy odrębną sekcję poświęconą podsumowaniu najważniejszych ustaleń. Aby zapoznać się z tym kompleksowym przeglądem, prosimy przejść do Section 7. 7. NAJWAŻNIEJSZE USTALENIA Poniższa Table 11 przedstawia kompleksową analizę skuteczności modeli i odpowiednich zmiennych w kontekście zadań decyzji leksykalnej i nazywania, opartą na ustaleniach Gagné et al. (2019). Każda część tabeli omawia określone zagadnienia, wskazując, które modele są najskuteczniejsze. Testy ANOVA oraz Kruskala–Wallisa/Jonckheere’a–Terpstry (sections 6.3 i 6.4) zastosowano po przypisaniu współczynnikom regresji z modeli Gagné et al. (2019) wartości nominalnych (porządkowych lub kategorialnych). Szczegółowe informacje o zastosowanych testach specjalnych można znaleźć w odpowiednich sekcjach. TABLE 11. Scaled AIC w obrębie angielskich złożeń zamkniętych: kompleksowa analiza skuteczności modeli w zadaniach decyzji leksykalnej i nazywania (Gagné et al. 2019) 294 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds Tematy | Statystyki | Ocena | Sekcja Zmienne kontrolne | ANOVA | Częstość złożenia ✓; Długość złożenia ~ | 6.3 Przejrzystość semantyczna | Kruskal–Wallis Jonckheere–Terpstra | Pierwszy składnik NOF/ns; Drugi składnik NOF/ns; Złożenie NOF/ns | 6.4 PAR: dane parametryczne | NPAR: dane nieparametryczne | ✓: lepsze modele (niższy AIC) ~: gorsze modele (wyższy AIC) | NOF/ns: brak przeuczenia/test nieistotny 8. DYSKUSJA Wcześniejsze badania Charitonidis (2022, 2024) wykazały, że Scaled AIC jest wiarygodną miarą dobroci dopasowania, którą można stosować przy wyborze modeli, być może w połączeniu z innymi miarami, takimi jak test Wald (zob. section 3). W odniesieniu do modeli regresji wielorakiej Gagné et al. (2019) z częstością SUBTLEX-US niniejsza analiza wprowadziła dodatkowe właściwości miary Scaled AIC. Chociaż zgłaszano uzasadnione zastrzeżenia dotyczące porównywania modeli dopasowanych do próbek o różnej liczebności za pomocą kryteriów informacyjnych (zob. section 2), wyniki niniejszego badania sugerują, że w pewnych kontekstach Scaled AIC może rzeczywiście stanowić wartościowe narzędzie do oceny dopasowania modeli i hierarchizowania modeli regresji. Nasze badania wykazały, że Scaled AIC reaguje na projekt eksperymentalny, źródła czasów reakcji oraz konkretne zadania. Należy jednak uznać, że możliwość zastosowania Scaled AIC może zależeć od kontekstu, a jego użyteczność powinna być oceniana indywidualnie dla każdego przypadku. Przed przejściem do głównych ustaleń niniejszego artykułu należy odnieść się do pytań badawczych sformułowanych w section 4. 1. Rozkłady wartości Scaled AIC, wraz z kombinacjami różnych źródeł czasów odpowiedzi i zadań przetwarzania, sugerują, że Scaled AIC skutecznie identyfikuje obecność lub brak dobrze określonych czynników leżących u podstaw projektu eksperymentalnego i modelowania statystycznego. W tym kontekście leksykalne zadanie decyzji BLP oraz nazywanie ELP wykazywały silniejszą moc predykcyjną dla Scaled AIC nawet w warunkach kontrolowanych. 2. Częstość występowania złożenia była niezmiennie ujemnym predyktorem Scaled AIC, zawsze wskazującym na duży efekt. Leksykalne zadanie decyzji ELP konsekwentnie wykazywało Straipsniai / Articles 295 CHARITON CHARITONIDIS istotne dodatnie korelacje z długością złożenia, przewidując wyższe (=gorsze) wartości Scaled AIC. Leksykalne zadanie decyzji BLP konsekwentnie wykazywało nieistotne korelacje z długością złożenia. Zarówno leksykalne zadanie decyzji, jak i długość złożenia przewidywały gorsze modele przy korekcie o współzmienne. 3. Znak dodatni i poziom istotności współczynników przejrzystości w modelach Gagné et al. (2019) nie wpływały na wielkość Scaled AIC. Ustalenie to wskazuje, że modele Gagné et al. (2019) ze zmiennymi predykcyjnymi dotyczącymi przejrzystości nie wprowadzają obciążenia wynikającego z przeuczenia. Odwołując się do konkretnych sekcji analiz, główne ustalenia tego badania można podsumować następująco: W Sekcji 6.1 nasza analiza koncentrowała się na porównaniu wartości Scaled AIC w różnych kategoriach modeli. Nawet po podjęciu próby zastosowania transformacji „logarytmu naturalnego” i „pierwiastka kwadratowego” do wartości bezwzględnych ogólna próba Scaled AIC nie była zgodna z rozkładem normalnym. Podobnie modele leksykalnego zadania decyzji ELP wykazywały nieparametryczny rozkład swoich wartości Scaled AIC. Z kolei dane dotyczące leksykalnego zadania decyzji BLP i nazywania ELP podążały za wzorcem rozkładu normalnego. W Sekcji 6.2 skupiliśmy się na badaniu związku między Scaled AIC a (a) źródłami czasów odpowiedzi oraz (b) wykonaniem zadania. Co ciekawe, zakresy wartości Scaled AIC dla modeli leksykalnego zadania decyzji ELP i BLP nie nakładały się, co wskazywało na ich odrębność. Wyniki testów ujawniły istotne efekty główne zarówno źródła czasu odpowiedzi, jak i wykonania zadania na Scaled AIC. Warto zauważyć, że zdolność predykcyjna Scaled AIC była większa dla modeli związanych z czasami leksykalnego zadania decyzji BLP oraz z zadaniem nazywania. Ustalenia te znacząco przyczyniają się do precyzji i skuteczności odnośnych modeli. W Sekcji 6.3 nasze badanie dotyczyło związku między Scaled AIC a zmiennymi kontrolnymi „częstość występowania złożenia” i „długość złożenia”. Częstość występowania złożenia wykluczono z analizy, ponieważ była doskonale współliniowa ze Scaled AIC. Z drugiej strony zaobserwowano spadek wartości Scaled AIC, gdy długość złożenia stawała się istotnym czynnikiem w modelach. Jednocześnie długość złożenia była najbardziej istotna dla zadania nazywania. Jeśli chodzi o korektę o współzmienne, zarówno leksykalne zadanie decyzji, jak i długość złożenia przewidywały gorsze modele. W Sekcji 6.4 skupiliśmy się na związku między Scaled AIC a przejrzystością semantyczną. Pytanie badawcze dotyczyło tego, czy znak dodatni i poziom istotności współczynników przejrzystości w modelach Gagné et al. (2019) miały wpływ na Scaled AIC. Głównym celem naszej metody było wykrycie potencjalnych efektów przeuczenia. Założyliśmy, że modele z gorszymi wartościami Scaled AIC mogą posiadać istotne współczynniki, które zachowują znaczenie 296 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds zgodnie wyłącznie z zestawem danych LADEC. Chociaż zaobserwowaliśmy tendencję do wzrostu (=pogorszenia) wartości Scaled AIC dla skupiska istotnych ujemnych współczynników na poziomie złożenia — co jest zgodne z naszą hipotezą o przeuczeniu — test Jonckheere’a–Terpstry wykazał, że tendencja ta nie osiągnęła istotności statystycznej. Podsumowując, badanie różnych parametrów z wykorzystaniem Scaled AIC jako zmiennej zależnej ukazało różnorodne sposoby, w jakie kategorie modeli, źródło czasu odpowiedzi, zadania przetwarzania, zmienne kontrolne i przejrzystość semantyczna wpływają na dobroć dopasowania modeli. Dzięki rozpoznaniu subtelnych zależności między tymi elementami badacze są lepiej przygotowani do podejmowania świadomych decyzji dotyczących wyboru modeli, ich korekty i interpretacji. REFERENCES Akaike Hirotugu 1973: Information Theory and an Extension of the Maximum Likelihood Principle. – Second International Symposium on Information Theory, eds. B. F. Csaki, B. N. Petrov, Budapest: Academiai Kiado, 267–281. Aldrich John R. 1997: R. A. Fisher and the Making of Maximum Likelihood 1912–1922. – Statistical Science 12(3), 162–176. Baayen Harald R., Piepenbrock Richard, Gulikers Leon 1995: The CELEX Lexical Database (Data set, Release 2, CD-ROM), Linguistic Data Consortium, University of Pennsylvania. Available at: https://catalog.ldc.upenn.edu. Balota David A., Yap Melvin J., Cortese Michael J., Hutchison Keith I., Kessler Brett, Loftis Bjorn, Neely James H., Nelson Douglas L., Simpson Greg B., Treiman Rebecca 2007: The English Lexicon Project. – Behavior Research Methods 39, 445–459. Brysbaert Marc, New Boris 2009: Moving Beyond Kučera and Francis: A Critical Evaluation of Current Word Frequency Norms and the Introduction of a New and Improved Word Frequency Measure for American English. – Behavior Research Methods 41, 977–990. DOI: doi.org/10.3758/BRM.41.4.977. Burnham Kenneth P., Anderson David R. 2002: Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach, 2ⁿᵈ edition, New York: Springer. DOI: dx.doi.org/10.1007/b97636. Charitonidis Chariton 2022: Context Concreteness for the Second Constituent Slows Down Compound-Word Processing. – Lexis 20. DOI: doi.org/10.4000/lexis.6769. Straipsniai / Articles 297 CHARITON CHARITONIDIS Charitonidis Chariton 2024: The Role of Hyponymy and Context Concreteness in Compound Word Processing. – Studia Neophilologica. DOI: doi.org/10.1080/00393274.2024.2336851. Chen Xiaocong, Dong Yanping, Yu Xiufen 2018: On the Predictive Validity of Various Corpus-Based Frequency Norms in L2 English Lexical Processing. – Behavior Research Methods 50, 1–25. DOI: doi.org/10.3758/s13428-017-1001-8. Field Andy 2009: Discovering statistics using SPSS, 3rd edition, London: Sage Publications. Fisher Ronald A. 1922: On the Mathematical Foundations of Theoretical Statistics. – Philosophical Transactions of the Royal Society of London, Series A 222, 309–368. Gagné Christina L., Spalding Thomas L., Schmidtke Daniel 2019: LADEC: The Large Database of English Compounds. – Behavior Research Methods 51, 2152–2179. DOI: doi.org/10.3758/s13428-019-01282-6. Gagné Christina L., Spalding Thomas L., Spicer Patricia, Wong Dixie, Rubio Beatriz, Perez-Cruz Karen 2020: Is Buttercup a Kind of Cup? Hyponymy and Semantic Transparency in Compound Words. – Journal of Memory and Language 113. DOI: doi.org/10.1016/j.jml.2020.104110. Hastie Trevor, Tibshirani Robert, Friedman Jerome 2009: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd edition, New York: Springer. Keuleers Emmanuel, Lacey Paula, Rastle Kathleen, Brysbaert Marc 2012: The British Lexicon Project: Lexical Decision Data for 28,730 Monosyllabic and Disyllabic English Words. – Behavior Research Methods 44, 287–304. DOI: doi.org/10.3758/s13428-011-0118-4. Kullback Solomon 1959: Information Theory and Statistics. New York: Wiley. Navarro Daniel J., Myung Jay I. 2005: Model Evaluation. – Encyclopedia of Statistics in Behavioral Science, vol. 3, eds. B. S. Everitt, D. C. Howell, Chichester: Wiley, 1239–1242. Steiger James H. 1980: Tests for Comparing Elements of a Correlation Matrix. – Psychological Bulletin 87(2), 245–251. DOI: doi.org/10.1037/0033-2909.87.2.245. Wagenmakers Eric-Jan, Farrell Simon 2004: AIC Model Selection Using Akaike Weights. – Psychonomic Bulletin & Review 11(1), 192–196. 298 Acta Linguistica Lithuanica XC Exploring Scaled AIC within English Closed Compounds I N T E R N E T D I S C U S S I O N S Model comparison with AIC based on different sample size. Available at: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [accessed 15.5.2024]. What is the acceptable range of skewness and kurtosis for normal distribution of data? Available at: https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data [accessed 15.5.2024]. L A R G E L A N G U A G E M O D E L S GPT-3.5 (available at: https://chat.openai.com/) and Google Gemini (available at: https://gemini.google.com [accessed 11.10.2023]) were selectively used as auxiliary proofreading and editing tools. The responses from both AI tools were further proofread and edited by the author. Anglų kalbos uždarųjų junginių (sudurtinių žodžių) skalės AIC tyrimas S A N T R A U K A Šiame tyrime nagrinėjamos modifikuotos Akaikės informacijos kriterijaus, pavadinto skalės kriterijumi, t. y. AIC, kaip tinkamumo rodiklio, padalinto iš imties dydžio, varianto ypatybės. Tyrimo objektas – 66 daugialypės regresijos modeliai, susiję su uždarųjų (sudurtinių) anglų kalbos žodžių junginių, paimtų iš Gagné'es ir kitų (2019) Anglų kalbos sudurtinių žodžių (junginių) didžiosios duomenų bazės (angl. LADEC), apdorojimu. Toliau pateikiami išsamios analizės rezultatai: 1. Modelių kategorijų modeliai pasižymi nevienareikšmiais rezultatais. Britų kalbos žodyno projekto (angl. BLP) leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto (angl. ELP) įvardijimo modeliai veikia geriau (tai rodo mažesnis AIC), palyginus su Anglų kalbos žodyno projekto (angl. ELP) leksinių sprendimų modeliais. Straipsniai / Articles 299 CHARITON CHARITONIDIS 2. Laiko šaltinio ir leksikos apdorojimo užduočių atsakymais atskleidžia reikšmingus pagrindinius skalės AIC rezultatus. Britų kalbos žodyno projekto leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto įvardijimo modeliai veikia gerai, o pastarojo projekto leksinių sprendimų modeliai yra mažiau veiksmingi. 3. Įvertinus kontrolinius kintamuosius, tokius kaip junginių dažnumas ir junginių ilgis, matyti, kad modelių rezultatyvumas skiriasi. Junginių dažnumas yra stiprus veiksnys (parodo didesnis produktyvumas), o sudėtinio ilgio modelių prognozės blogesnės. 4. Kalbant apie pirmosios ir antrosios žodžių junginių sudedamųjų dalių, taip pat ir apie junginių semantinį skaidrumą, modeliai nerodo per didelio suderinamumo. Tai parodo, kad semantinis skaidrumas nesumažina modelių galėjimo apibendrinti naujus duomenis. Įteikta 2024 m. sausio 11 d. CHARITON CHARITONIDIS [email protected] 300 Acta Linguistica Lithuanica XC