INTERPRETACE VÝZKUMNÝCH OTÁZEK RELIABILITY JAZYKOVÝCH TESTŮ

47 ACC JOURNAL 2022, Volume 28, Issue 3 DOI: 10.15240/ ul/004/2022-3-005 INTERPRETACE VÝZKUMNÝCH OTÁZEK RELIABILITY JAZYKOVÝCH TESTŮ Hana Romo á1; Tomáš Římský2 Policejní akademie ČR P aze, Fakul a bezpečnos ního managemen u, Ka ed a jazyků, Lho ecká 559/7, 143 00 P aha 4, Česká epublika e-mail: 1[email p o ec ed]; 2 omas. [email protected] Abs ak Ten o článek řeší p oblema iku eliabili y jazyko ých didak ických es ů ámci jazyko ého es o ání. Získaná da a slouží p o in e p e aci a mode aci es o ých položek na ka edře jazyků. Tes o ání byli s uden i 1 a 2. očníků Fakul y bezpečnos ního managemen u a Fakul y bezpečnos ně p á ní Policejní akademie ČR P aze, obo ů Bezpečnos ní managemen e eřejné sp á ě a Bezpečnos ně p á ní s udia. P o s ano ení eliabili y byl s ano en jako měři elný indiká o index ni řní konzis ence s ozdělením do škál, k e é byly použi y p o s ano ení k i é ia p o hodnocení eliabili y sub- es ů. Reliabili a sub- es ů je in e p e o ána ši ším kon ex u a je důleži ým k okem k op imalizaci es o acích p ocesů ámci y áření a doplňo ání es o é banky p o ka ed u jazyků. Keywo ds Tes cons uc ion; I ems; Reliabili y; Dis ac o s; Te ms; Te minology; P ac ice. Ú od V ámci es o ání a yhodnoco ání p ací s uden ů na ka edře jazyků jsme přis oupili k implemen aci digi alizo aných da získaných z ýs upů jazyko ých es ů. Da a získaná e ýzkumu, k e á byla gene o ána p ocesu es o ání, posky ují es e ům objek i nější základ p o in e p e aci a aplikaci získaných ýs upů a jsou om o smyslu nenah adi elným odí kem p o in e p e aci a následnou mode aci es o ých položek a při hledání odpo ědí na ýzkumné o ázky. Jedním z ěch o k i é ií, na k e é jsme se zaměřili é o čás i ýzkumu, jsou o ázky ýkající se eliabili y jazyko ých es ů a zájemné s o na elnos i eliabili y es ů p o ěřujících jedno li é jazyko é do ednos i [1]. Pod e mínem eliabili a es u si můžeme předs a i měřenou či odhado anou hodno u, k e á předs a uje mí u, do jaké dokážeme es o a konzis en ně a přesně. 1 Me ody ýzkumu Při es o ání je řeba ycháze ze ří základních o ázek: co bude hodnoceno, jak, j. jaké nás oje a způsob „měření“ je řeba z oli , a jakém kon ex u, j. mimo jiné k jakému účelu budou ýsledky es o ání slouži . Jazyko é es y mají nepochybně dlouhou his o ii. Za p ní odbo nou monog a ii k p oblema ice es o ání (anglického) jazyka bý á po ažo áno Language Tes ing, k e é R. Lado publiko al oce 1961. Koncem 70. a počá kem 80. le 20. s ole í se začíná oz íje jeden z dosud ne li nějších endů, komunikační přís up k jazyko ému es o ání [5]. V ná aznos i na ozbo sku ečných po řeb es o ání byly přede ším p o položko ou banku p o anglický jazyk yp aco ány zásady jejího y áření, kons uk u a speci ikací es ů a jejich obsaho é náplně ycházející z učebnic dopo učených p o s udium [2]. Položko á banka, e minologicky éž nazý aná banka es o ých úloh (BTÚ) nebo banka es o ých položek 48 (BTP), anglicky I em Bank, našem poje í ope uje s jedno li ými komple ními s azky položek, k e é jsou ýsledkem p omyšleného ses a o ání ů cem es u, nikoli náhodného gene o ání počí ačem či náhodného ýbě u ů cem es u ze sumy položek. Vzhledem k našim echnickým možnos em y áříme u o banku e smyslu úložiš ě es o ých položek, nikoli e smyslu celého in o mačního sys ému se šemi p ocesy až po ygene o ání es u počí ačem. Jako me ody ýzkumu byly použi y ecep i ní es o ací echniky. K ýzkumným o ázkám bylo p o edeno empi ické še ření ilus a i ního cha ak e u, dílčí s a is ické yhodnocení a in e p e ace něk e ých získaných da . 2 Předmě ýzkumu Předmě em našeho ýzkumného zájmu byla yb aná p oblema ika eliabili y jazyko ých didak ických es ů [1]. Z několika běžně použí aných přís upů ke gene aci da p o s ano ení eliabili y es ů jsme z olili eliabili u akcen ující ni řní konsis enci es u. Ten o pos up je založen na jedné adminis aci jednoho es u jedné skupině esponden ů. Indiká o eliabili y pak ukazuje mí u, do jaké sledo ané položky es u měří konzis en ně s ejnou ěc (např. po ozumění psanému ex u, kdy esponden na položky z jedné oblas i (sub- es u) odpo ídá podobně a odpo ědi pak spolu ko elují) [7]. Jako číselný měři elný indiká o jsme použili index C onbacho a al a, k e ý ukazuje na ko elaci skó e šech položek es u. Ten o index, k e ý bý á někdy označo án jako index ni řní konzis ence, se pohybuje hodno ách od 0 do 1 s ozdělením do škál odpo ídajícím ůzné míře konsis ence es u. Ty o škály následo ně použí áme jako k i é ium p o hodnocení eliabili y sub- es ů, iz Tab. 1. Tab. 1: Indiká o al a a in e p e ační škála použi a při ýzkumu C onbacho a al a Mí a ni řní konsis ence es u α ≥ 0.9 Výbo ná 0.9 > α ≥ 0.8 Dob á 0.8 > α ≥ 0.7 Přípus ná 0.7 > α ≥ 0.6 P oblema ická 0.6 > α ≥ 0.5 Špa ná 0.5 < α Ne yho ující Zd oj: [4] Při in e p e aci jsme si šak aké ědomi sku ečnos i, že při hodnocení ukaza ele C onbacho a al a je nu né přihlédnou k okolnos em, za k e ých bylo es o ání ealizo áno. Pla í zde obecná zá islos , že p o yšší ele anci indiká o u C onbacho a al a je hodnější menší poče položek a ě ší poče esponden ů. S ná ůs em poč u es o aných položek úmě ně na ůs á i hodno a C onbacho a al a, čímž en o indiká o z ácí na ele anci p o další in e p e aci. S ejně pak pla í, že C onbacho a al a je ele an ním ukaza elem p o jedno- ak o o é es y, přičemž p o íce- ak o o é es y je lépe yuži elný indiká o McDonaldo o omega. Při analýze se p o o neomezujeme pouze na jednu s a is ickou hodno u, ale hodno íme ždy sub- es y kon ex u s přihlédnu ím k dalším ak o ům, např. k zo ku esponden ů nebo ak o o os i es u [6]. Tab. 2 u ádí ýs upní da a z ealizo aných es ů ele an ní p o posuzo ání es o é eliabili y. 49 Tab. 2: Výs up z da o é analýzy Skupina / Semes TEST Al a Omega Poče esponden ů B60 1. semes Lis ening 0,3657 0.258679 200 Reading 0,8087 0.804603 Vocabula y 0,963 0.516512 G amma 0,9395 0.781337 B60 3. semes Lis ening 0,8892 0.434316 134 Reading 0,9345 0.929683 Vocabula y 0,9632 0.966356 G amma 0,9542 0.924319 B71 1. semes Lis ening 0,7325 0.619843 87 Reading 0,1988 0.521898 Vocabula y 0,8046 0.004019 G amma 0,8475 0.591863 B71 3. semes Lis ening 0,6684 0.539776 76 Reading 0,8173 0.632205 Vocabula y 0,9071 0.157758 G amma 0,9171 0.302243 B71 4. semes Lis ening 0,6177 1.045658 72 Reading 0,7374 0.747673 Vocabula y 0,9329 0.268062 G amma 0,8668 0.644990 Zd oj: Vlas ní B60 označuje Bezpečnos ně p á ní s udia a B71 Bezpečnos ní managemen e eřejné sp á ě. P o přehlednější hodnocení ýsledků es ů podle indiká o u eliabili y je z p ak ického hlediska hodné es y ozděli do d ou skupin podle elikos i al a, a následně se zaměři na celko ou in e p e aci da . In e p e aci p o ádíme ždy p o jedno li ou skupinu sub- es u podle zaměření, iz Tab. 3. 3 Reliabili a sub- es u Lis ening Tab. 3: Hodno y al a – sub es Lis ening Sub- es B60 1. semes Al a B60 3. semes Al a B71 1. semes Al a B71 3. semes Al a B71 4. semes Al a P ůmě Al a Lis ening 0,3657 0,8892 0,7325 0,6684 0,6177 0,6547 Zd oj: Vlas ní 50 B60 1. semes Lis ening B60 3. semes Lis ening B71 1. semes Lis ening B71 3. semes Lis ening B71 4. semes Lis ening Zd oj: Vlas ní Fig. 1: Fak o o á zá ěž – sub- es y Lis ening 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 3,5 4 F1 F2 F3 F4 F5 F6 F7 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 F1 F2 F3 F4 F5 F6 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 3,5 4 F1 F2 F3 F4 F5 F6 F7 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 51 Výsledky sub- es u Lis ening s p ůmě nou ú o ní al a 0,6547 ykazují hodno y na hodno ící škále – dob á, akcep o a elná, slabá – s ýjimkou es u B60 1. semes , jehož hodno a je al a neakcep o a elná a en o es se zdá bý nejp oblema ič ější. K omě oho o p oblema ického es u je zde edy možno ysledo a jis ou konzis enci ýsledků s ím, že hodno y eliabili y jsou p ůmě u ho ší než u zbý ajících ří sub- es ů. Ten o ak lze ys ě li endencí k íce- ak o o os i u sub- es u Lis ening, iz ob ázek 1 (Fig. 1). Vzhledem k ýše zmíněné endenci k íce- ak o o os i u sub- es ů Lis ening lze kons a o a , že indiká o eliabili y al a má pouze in o ma i ní cha ak e . U íce- ak o o ých es ů má ě ší ypo ídací hodno u indiká o u omega, iz Tab. 2. Nicméně i za použi í indexu omega zůs á ají ýsledky Lis ening sub-op imální. Dalším aspek em ys ě lujícím již zmiňo anou endenci ela i ní ob ížnos do ednos i Lis ening, k e á může způsobo a asyme ie odpo ědích ůzných s uden ů, k e é pak následně edou k nižšímu koe icien u al a. Ta o z ýšená ob ížnos sub- es u Lis ening je obz láš ě pa ná mezi s uden y kombino aného s udia, na jejichž menším úspěšném skó e se zcela logicky p oje uje ý azně nižší do ace ýuko ých hodin če ně konzul ací po o nání se s uden y p ezenčního s udia. Lze se edy domní a , že s uden i kombino aného s udia čas ěji yuží ají možnos i odpo ída náhodně, což e s ém důsledku znamená, že se snižuje ele ance koe icien u al a. Na základě u edeného lze kons a o a , že p o hodnocení eliabili y, es y Lis ening dosahují e ě šině případů s o na elných skó e z hlediska jedno li ých s udijních obo ů. V následujícím období je řeba dále yladi s á ající sub- es y, obz láš ě y k e é mají nižší skó e eliabili y. Je aké na z ážení a na případném expe imen álním p o ěření, zdali z olená s uk u a sub- es u, (a) 5 bodů ue/ ause, (b) 5 bodů mul iple-choice na bázi d ou ůzných nah á ek, ne ede k íce- ak o i os i a ím i k ho ším ýsledkům indexu eliabili y al a. Při o bě sub- es ů Lis ening je řeba dále sledo a indiká o y eliabili y a ěno a íce pozo nos i dis ak o ům, k e é o li ňují ni řní konsis enci es u. O ěřili jsme si, že nas a ením p ocesů mode ace lze docíli zk ali nění sub- es ů Lis ening, a ím i z ýšení objek i i y es ů. Z pohledu op imalizace es o ání je ele an ní sous ředění se na p oblema ič ější sub- es y a aplikaci zásad p o k ali ní příp a u es o acího cyklu (ses a ení es u, pilo ní es ace, mode ace, e- es ace, další modi ikace es u) a s ím o ýhledem je in eg o a do dalšího es o acího období [3]. 4 Reliabili a sub- es u Reading Tab. 4: Hodno y Al a – sub es Reading Sub- es B60 1. semes Al a B60 3. semes Al a B71 1. semes Al a B71 3. semes Al a B71 4. semes Al a P ůmě Al a Reading 0,8087 0,9345 0,1988 0,8173 0,7374 0,6933 Zd oj: Vlas ní Sub- es y Reading ykazují p ůmě ně lepší hodno y eliabili y e s o náním s předchozí skupinou ak éž dese i-položko ých sub- es ů Lis ening. Vyjma es u B71 1.sem., k e ý s áží celko é skó e, přesáhlo al a e šech es ech hodno u 0,7, iz Tab. 4. Lze edy kons a o a , že es y mají přípus nou ú o eň eliabili y. Na g a u ak o o é analýzy p oblema ického es u B71 1. semes , iz ob ázek 2 (Fig. 2), je na p ní pohled zcela pa né, že po o nání s os a ními es y je silně ícedimenzionální. Reliabili u u es ů s endencí k íce-dimenzionali ě je pak lépe indiko a z indexu omega, k e é om o případě činí 0.521898, což je pods a ně yšší hodno a než index al a. 52 B60 1. semes Reading B60 3. semes Reading B71 1. semes Reading B71 3. semes Reading B71 4. semes Reading Zd oj: Vlas ní Fig. 2: Fak o o á zá ěž – sub- es y Reading 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 F1 F2 F3 F4 F5 F6 F7 F8 F9 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 1 2 3 4 5 6 7 8 F1 F2 F3 F4 F5 F6 F7 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 3,5 4 F1 F2 F3 F4 F5 F6 F7 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 F1 F2 F3 F4 F5 F6 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 0,5 1 1,5 2 2,5 3 3,5 4 F1 F2 F3 F4 F5 F6 F7 F8 F9 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 53 Nicméně íce-dimenzionali a je zde z p incipu p oblema ická i z jiného dů odu. V sub- es ech Lis ening a Reading es ujeme ždy jen jednu do ednos . Bylo by edy žádoucí, aby sub- es es o al pouze jednu oblas , čímž by byl ni řně konzis en ní. V případě a ian sub- es ů s nízkým skó e indexu al a je nu né p o és následnou položko ou analýzu a pojmeno a a nah adi položky, k e é sy í jiný ak o , než je ak o dominan ní. P o iden i ikaci položek se os ědčilo použi í nume ických nebo g a ických ýs upů z analýzy da . Tab. 5: Iden i ikace p oblémo ých položek p o es B71 3. semes F1 F2 F3 F4 F5 Ini ial communali y Final communali y Speci ic a iance p1 -0,0973 0,5640 0,0915 -0,8108 0,0816 0,4771 1,0000 0,0000 p2 -0,8221 0,5416 -0,0282 -0,1637 0,0566 1,2822 1,0000 0,0000 p3 -0,0065 -0,1289 -0,1275 -0,4064 0,2140 0,3377 0,2438 0,7562 p4 0,1811 -0,3584 0,8680 -0,2710 -0,1088 1,7927 1,0000 0,0000 p5 -0,0496 -0,8501 -0,2044 -0,3935 -0,2797 1,3389 1,0000 0,0000 p6 -0,0191 0,4772 -0,5000 -0,0687 -0,5035 0,5559 0,7364 0,2636 p7 0,8373 0,4299 0,3173 -0,0737 -0,0894 0,9551 1,0000 0,0000 p8 0,7086 0,1340 -0,5937 -0,1461 -0,3258 0,8406 1,0000 0,0000 p9 0,4432 -0,3068 -0,6287 -0,1935 0,5261 0,6953 1,0000 0,0000 p10 0,8683 0,4169 0,2174 0,0413 0,1524 0,9234 1,0000 0,0000 Tučně y iš ěné hodno y indikují, že položka „sy í“ ak o záhla í sloupce. Zd oj: Vlas ní Be eme-li ú ahu jako nosný ak o 1 (F1 Tab. 5), pak by položky, k e é „sy í“ jiné ak o y měly bý modi iko ány. Jedná se o položky 1, 3, 4, 5, 6, 9. Z oho yplý á, že případě p oblema ických sub- es ů, jako je en o případ, je nu ná celko á ekons ukce položko ého s azku, p o ože ni řní konzis ence sub- es u je ze s a is ického pohledu neuspokoji á. G a icky je en o s a názo ně yjádřen g a em na ob ázku 3 (Fig. 3), kde u p oblémo ého sub- es u (Reading B71 3. semes ) jsou položky ozp ýleny namís o oho, aby spolu do značné mí y ko elo aly, iz sub- es B60 3. semes . Zd oj: Vlas ní Fig. 3: Po o nání sub- es u B71 3. semes s nízkou eliabili ou a sub- es u B60 3. semes s ysokou eliabili ou p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 -1,5 -1 -0,5 0 0,5 1 1,5 -2 -1,5 -1 -0,5 0 0,5 1 1,5 2 F2 (27,55 %) F1 (34,91 %) Fac o loadings (axes F1 and F2: 62,46 %) p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 F2 (12,16 %) F1 (70,92 %) Fac o loadings (axes F1 and F2: 83,07 %) 54 Z ýše u edeného yplý á zá ě p o s ano ení eliabili y sub- es ů Reading. Reliabili a č yř sub- es ů je dob á, o šem jeden sub- es nep ošel k i é iem eliabili y, a p o o musí bý přep aco án nebo nah azen. V ámci řešení si ědecký ým na zo ku p o pilo ní es o ání yzkoušel a nas a il odbo né pos upy, k e é umožňují na základě dých da i expe ního posouzení es e ů elimino a ako é sub- es y Reading, k e é jsou ni řně nekonzis en ní a jejichž ýsledky by mohly bý p oblema ické. 5 Reliabili a sub- es u Vocabula y Tab. 6: Hodno y Al a - Sub es Vocabula y Sub- es B60 1. semes Al a B60 3. semes Al a B71 1. semes Al a B71 3. semes Al a B71 4. semes Al a P ůmě Al a Vocabula y 0,9630 0,9632 0,8046 0,9071 0,9329 0,9080 Zd oj: Vlas ní Ukaza ele eliabili y al a u sub- es u jazyko ých p os ředků Vocabula y, iz Tab. 6, je podle škály dob á (sub- es B71 1. semes ) a případě č yř dalších sub- es ů ýbo ná. Ten o ak je pozi i ní a ukazuje na ysokou ni řní konzis enci sub- es ů é o ka ego ii. Nicméně při k i ickém pohledu na dané ýsledky kon ex u kons ukce i adminis ace sub- es ů, exis ují sku ečnos i, k e é mohou umenšo a áhu ýše u edených ýs upů. Jako p ní si bedli ý pozo o a el po šimne sku ečnos i, že se zde jedná o 40 i-položko ý sub- es . Sama a o sku ečnos s a is icky z yšuje ýsledné hodno y al a a ím ubí á na ele anci indexu. S ejně ak působí sku ečnos , že položko ě ela i ně boha ý sub- es p acuje s malým poč em esponden ů. P o en o ak sice exis ují objek i ní dů ody, a o maximální kapaci y jedno li ých skupin, nicméně s álo by za ú ahu příš ích es o áních a měřeních up a i pomě mezi poč em položek a poč em esponden ů, a o ak, aby pomě byl alespoň 1:10. P ak icky by bylo možné oho dosáhnou ozdělením 40 i-položko é sady na menší s azky, např. po dese i položkách, a y by se následně yhodnoco aly sepa á ně. Měření po ozdělení by mohla bý přesnější a íce e lek o a k ali u každé jedno li é položky. Výsledky by po om aké usnadnily položko ou analýzu sub- es u a jejich další mode aci. Z hlediska če nos i ak o ů ( iz. níže) je zřejmé, že es y mají endenci k jedno- ak o o os i. Dominance jednoho klíčo ého ak o u je e ě šině případů zře elná. Ten o zá ě posiluje předchozí zjiš ění o eliabili ě sub- es ů měřené indexem al a. B60 1. Semes Vocabula y B60 3. semes Vocabula y 0 20 40 60 80 100 0 2 4 6 8 10 12 14 16 18 20 F1 F3 F5 F7 F9 F11 F13 F15 F17 F19 F21 F23 F25 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 5 10 15 20 25 F1 F3 F5 F7 F9 F11 F13 F15 F17 F19 F21 F23 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 55 B71 1. semes Vocabula y B71 3. semes Vocabula y B71 4. semes Vocabula y Zd oj: Vlas ní Fig. 4: Fak o o á zá ěž - sub- es y Vocabula y Zá ě z analýzy eliabili y sub- es u Vocabula y suma izuje, že sledo aný indiká o eliabili y dosahuje s přihlédnu ím k ýše zmíněných poznámka požado aných hodno , a o jak, pokud jde o jeho číselné yjádření (al a), ak p ůřezo ě na zo ku pě i pilo ních sub- es ů, kde naměřené hodno y jsou konzis en ní a zájemně y ážené, iz ob ázek 4 (Fig. 4). Vzhledem k omu, že p áce s odbo nou slo ní zásobou předs a uje klíčo ou čás ýuky cizího jazyka, jsou zjiš ění, že gene o ané položko é es o ací soubo y (sub- es y) předs a ují ele an ní a spolehli ý nás oj p o hodnocení ýs upních znalos í esponden ů, nepochybně pozi i ním signálem. 0 20 40 60 80 100 0 2 4 6 8 10 12 14 F1 F3 F5 F7 F9 F11 F13 F15 F17 F19 F21 F23 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 2 4 6 8 10 12 14 F1 F3 F5 F7 F9 F11 F13 F15 F17 F19 F21 F23 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo 0 20 40 60 80 100 0 2 4 6 8 10 12 14 16 F1 F3 F5 F7 F9 F11 F13 F15 F17 F19 F21 F23 Cumula i e a iabili y (%) Eigen alue axis Sc ee plo