47
ACC JOURNAL 2022, Volume 28, Issue 3 DOI: 10.15240/ ul/004/2022-3-005
INTERPRETACE VÝZKUMNÝCH OTÁZEK RELIABILITY JAZYKOVÝCH TESTŮ
Hana Romo á1; Tomáš Římský2
Policejní akademie ČR P aze, Fakul a bezpečnos ního managemen u, Ka ed a jazyků,
Lho ecká 559/7, 143 00 P aha 4, Česká epublika
e-mail: 1[email p o ec ed]; 2 omas. [email protected]
Abs ak
Ten o článek řeší p oblema iku eliabili y jazyko ých didak ických es ů ámci jazyko ého
es o ání. Získaná da a slouží p o in e p e aci a mode aci es o ých položek na ka edře
jazyků. Tes o ání byli s uden i 1 a 2. očníků Fakul y bezpečnos ního managemen u a Fakul y
bezpečnos ně p á ní Policejní akademie ČR P aze, obo ů Bezpečnos ní managemen e
eřejné sp á ě a Bezpečnos ně p á ní s udia. P o s ano ení eliabili y byl s ano en jako
měři elný indiká o index ni řní konzis ence s ozdělením do škál, k e é byly použi y p o
s ano ení k i é ia p o hodnocení eliabili y sub- es ů. Reliabili a sub- es ů je in e p e o ána
ši ším kon ex u a je důleži ým k okem k op imalizaci es o acích p ocesů ámci y áření
a doplňo ání es o é banky p o ka ed u jazyků.
Keywo ds
Tes cons uc ion; I ems; Reliabili y; Dis ac o s; Te ms; Te minology; P ac ice.
Ú od
V ámci es o ání a yhodnoco ání p ací s uden ů na ka edře jazyků jsme přis oupili
k implemen aci digi alizo aných da získaných z ýs upů jazyko ých es ů.
Da a získaná e ýzkumu, k e á byla gene o ána p ocesu es o ání, posky ují es e ům
objek i nější základ p o in e p e aci a aplikaci získaných ýs upů a jsou om o smyslu
nenah adi elným odí kem p o in e p e aci a následnou mode aci es o ých položek a při
hledání odpo ědí na ýzkumné o ázky. Jedním z ěch o k i é ií, na k e é jsme se zaměřili
é o čás i ýzkumu, jsou o ázky ýkající se eliabili y jazyko ých es ů a zájemné
s o na elnos i eliabili y es ů p o ěřujících jedno li é jazyko é do ednos i [1]. Pod e mínem
eliabili a es u si můžeme předs a i měřenou či odhado anou hodno u, k e á předs a uje
mí u, do jaké dokážeme es o a konzis en ně a přesně.
1 Me ody ýzkumu
Při es o ání je řeba ycháze ze ří základních o ázek: co bude hodnoceno, jak, j. jaké
nás oje a způsob „měření“ je řeba z oli , a jakém kon ex u, j. mimo jiné k jakému účelu
budou ýsledky es o ání slouži .
Jazyko é es y mají nepochybně dlouhou his o ii. Za p ní odbo nou monog a ii
k p oblema ice es o ání (anglického) jazyka bý á po ažo áno Language Tes ing, k e é R.
Lado publiko al oce 1961. Koncem 70. a počá kem 80. le 20. s ole í se začíná oz íje
jeden z dosud ne li nějších endů, komunikační přís up k jazyko ému es o ání [5].
V ná aznos i na ozbo sku ečných po řeb es o ání byly přede ším p o položko ou banku
p o anglický jazyk yp aco ány zásady jejího y áření, kons uk u a speci ikací es ů a jejich
obsaho é náplně ycházející z učebnic dopo učených p o s udium [2]. Položko á banka,
e minologicky éž nazý aná banka es o ých úloh (BTÚ) nebo banka es o ých položek
48
(BTP), anglicky I em Bank, našem poje í ope uje s jedno li ými komple ními s azky
položek, k e é jsou ýsledkem p omyšleného ses a o ání ů cem es u, nikoli náhodného
gene o ání počí ačem či náhodného ýbě u ů cem es u ze sumy položek. Vzhledem
k našim echnickým možnos em y áříme u o banku e smyslu úložiš ě es o ých položek,
nikoli e smyslu celého in o mačního sys ému se šemi p ocesy až po ygene o ání es u
počí ačem. Jako me ody ýzkumu byly použi y ecep i ní es o ací echniky.
K ýzkumným o ázkám bylo p o edeno empi ické še ření ilus a i ního cha ak e u, dílčí
s a is ické yhodnocení a in e p e ace něk e ých získaných da .
2 Předmě ýzkumu
Předmě em našeho ýzkumného zájmu byla yb aná p oblema ika eliabili y jazyko ých
didak ických es ů [1].
Z několika běžně použí aných přís upů ke gene aci da p o s ano ení eliabili y es ů jsme
z olili eliabili u akcen ující ni řní konsis enci es u. Ten o pos up je založen na jedné
adminis aci jednoho es u jedné skupině esponden ů. Indiká o eliabili y pak ukazuje mí u,
do jaké sledo ané položky es u měří konzis en ně s ejnou ěc (např. po ozumění psanému
ex u, kdy esponden na položky z jedné oblas i (sub- es u) odpo ídá podobně a odpo ědi
pak spolu ko elují) [7].
Jako číselný měři elný indiká o jsme použili index C onbacho a al a, k e ý ukazuje na
ko elaci skó e šech položek es u. Ten o index, k e ý bý á někdy označo án jako index
ni řní konzis ence, se pohybuje hodno ách od 0 do 1 s ozdělením do škál odpo ídajícím
ůzné míře konsis ence es u. Ty o škály následo ně použí áme jako k i é ium p o hodnocení
eliabili y sub- es ů, iz Tab. 1.
Tab. 1: Indiká o al a a in e p e ační škála použi a při ýzkumu
C onbacho a al a
Mí a ni řní konsis ence es u
α ≥ 0.9
Výbo ná
0.9 > α ≥ 0.8
Dob á
0.8 > α ≥ 0.7
Přípus ná
0.7 > α ≥ 0.6
P oblema ická
0.6 > α ≥ 0.5
Špa ná
0.5 < α
Ne yho ující
Zd oj: [4]
Při in e p e aci jsme si šak aké ědomi sku ečnos i, že při hodnocení ukaza ele C onbacho a
al a je nu né přihlédnou k okolnos em, za k e ých bylo es o ání ealizo áno. Pla í zde
obecná zá islos , že p o yšší ele anci indiká o u C onbacho a al a je hodnější menší poče
položek a ě ší poče esponden ů. S ná ůs em poč u es o aných položek úmě ně na ůs á i
hodno a C onbacho a al a, čímž en o indiká o z ácí na ele anci p o další in e p e aci.
S ejně pak pla í, že C onbacho a al a je ele an ním ukaza elem p o jedno- ak o o é es y,
přičemž p o íce- ak o o é es y je lépe yuži elný indiká o McDonaldo o omega. Při
analýze se p o o neomezujeme pouze na jednu s a is ickou hodno u, ale hodno íme ždy sub-
es y kon ex u s přihlédnu ím k dalším ak o ům, např. k zo ku esponden ů nebo
ak o o os i es u [6].
Tab. 2 u ádí ýs upní da a z ealizo aných es ů ele an ní p o posuzo ání es o é eliabili y.
49
Tab. 2: Výs up z da o é analýzy
Skupina / Semes
TEST
Al a
Omega
Poče esponden ů
B60 1. semes
Lis ening
0,3657
0.258679
200
Reading
0,8087
0.804603
Vocabula y
0,963
0.516512
G amma
0,9395
0.781337
B60 3. semes
Lis ening
0,8892
0.434316
134
Reading
0,9345
0.929683
Vocabula y
0,9632
0.966356
G amma
0,9542
0.924319
B71 1. semes
Lis ening
0,7325
0.619843
87
Reading
0,1988
0.521898
Vocabula y
0,8046
0.004019
G amma
0,8475
0.591863
B71 3. semes
Lis ening
0,6684
0.539776
76
Reading
0,8173
0.632205
Vocabula y
0,9071
0.157758
G amma
0,9171
0.302243
B71 4. semes
Lis ening
0,6177
1.045658
72
Reading
0,7374
0.747673
Vocabula y
0,9329
0.268062
G amma
0,8668
0.644990
Zd oj: Vlas ní
B60 označuje Bezpečnos ně p á ní s udia a B71 Bezpečnos ní managemen e eřejné
sp á ě. P o přehlednější hodnocení ýsledků es ů podle indiká o u eliabili y je z p ak ického
hlediska hodné es y ozděli do d ou skupin podle elikos i al a, a následně se zaměři na
celko ou in e p e aci da . In e p e aci p o ádíme ždy p o jedno li ou skupinu sub- es u
podle zaměření, iz Tab. 3.
3 Reliabili a sub- es u Lis ening
Tab. 3: Hodno y al a – sub es Lis ening
Sub- es
B60
1. semes
Al a
B60
3. semes
Al a
B71
1. semes
Al a
B71
3. semes
Al a
B71
4. semes
Al a
P ůmě
Al a
Lis ening
0,3657
0,8892
0,7325
0,6684
0,6177
0,6547
Zd oj: Vlas ní
50
B60 1. semes Lis ening B60 3. semes Lis ening
B71 1. semes Lis ening B71 3. semes Lis ening
B71 4. semes Lis ening
Zd oj: Vlas ní
Fig. 1: Fak o o á zá ěž – sub- es y Lis ening
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
3,5
4
F1 F2 F3 F4 F5 F6 F7
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
F1 F2 F3 F4 F5 F6
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
3,5
4
F1 F2 F3 F4 F5 F6 F7
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
51
Výsledky sub- es u Lis ening s p ůmě nou ú o ní al a 0,6547 ykazují hodno y na hodno ící
škále – dob á, akcep o a elná, slabá – s ýjimkou es u B60 1. semes , jehož hodno a je al a
neakcep o a elná a en o es se zdá bý nejp oblema ič ější. K omě oho o p oblema ického
es u je zde edy možno ysledo a jis ou konzis enci ýsledků s ím, že hodno y eliabili y
jsou p ůmě u ho ší než u zbý ajících ří sub- es ů. Ten o ak lze ys ě li endencí k íce-
ak o o os i u sub- es u Lis ening, iz ob ázek 1 (Fig. 1).
Vzhledem k ýše zmíněné endenci k íce- ak o o os i u sub- es ů Lis ening lze kons a o a ,
že indiká o eliabili y al a má pouze in o ma i ní cha ak e . U íce- ak o o ých es ů má
ě ší ypo ídací hodno u indiká o u omega, iz Tab. 2. Nicméně i za použi í indexu omega
zůs á ají ýsledky Lis ening sub-op imální.
Dalším aspek em ys ě lujícím již zmiňo anou endenci ela i ní ob ížnos do ednos i
Lis ening, k e á může způsobo a asyme ie odpo ědích ůzných s uden ů, k e é pak
následně edou k nižšímu koe icien u al a. Ta o z ýšená ob ížnos sub- es u Lis ening je
obz láš ě pa ná mezi s uden y kombino aného s udia, na jejichž menším úspěšném skó e se
zcela logicky p oje uje ý azně nižší do ace ýuko ých hodin če ně konzul ací po o nání
se s uden y p ezenčního s udia. Lze se edy domní a , že s uden i kombino aného s udia
čas ěji yuží ají možnos i odpo ída náhodně, což e s ém důsledku znamená, že se snižuje
ele ance koe icien u al a.
Na základě u edeného lze kons a o a , že p o hodnocení eliabili y, es y Lis ening dosahují
e ě šině případů s o na elných skó e z hlediska jedno li ých s udijních obo ů.
V následujícím období je řeba dále yladi s á ající sub- es y, obz láš ě y k e é mají nižší
skó e eliabili y. Je aké na z ážení a na případném expe imen álním p o ěření, zdali z olená
s uk u a sub- es u, (a) 5 bodů ue/ ause, (b) 5 bodů mul iple-choice na bázi d ou ůzných
nah á ek, ne ede k íce- ak o i os i a ím i k ho ším ýsledkům indexu eliabili y al a.
Při o bě sub- es ů Lis ening je řeba dále sledo a indiká o y eliabili y a ěno a íce
pozo nos i dis ak o ům, k e é o li ňují ni řní konsis enci es u. O ěřili jsme si, že
nas a ením p ocesů mode ace lze docíli zk ali nění sub- es ů Lis ening, a ím i z ýšení
objek i i y es ů. Z pohledu op imalizace es o ání je ele an ní sous ředění se na
p oblema ič ější sub- es y a aplikaci zásad p o k ali ní příp a u es o acího cyklu (ses a ení
es u, pilo ní es ace, mode ace, e- es ace, další modi ikace es u) a s ím o ýhledem je
in eg o a do dalšího es o acího období [3].
4 Reliabili a sub- es u Reading
Tab. 4: Hodno y Al a – sub es Reading
Sub- es
B60
1. semes
Al a
B60
3. semes
Al a
B71
1. semes
Al a
B71
3. semes
Al a
B71
4. semes
Al a
P ůmě
Al a
Reading
0,8087
0,9345
0,1988
0,8173
0,7374
0,6933
Zd oj: Vlas ní
Sub- es y Reading ykazují p ůmě ně lepší hodno y eliabili y e s o náním s předchozí
skupinou ak éž dese i-položko ých sub- es ů Lis ening. Vyjma es u B71 1.sem., k e ý s áží
celko é skó e, přesáhlo al a e šech es ech hodno u 0,7, iz Tab. 4. Lze edy kons a o a , že
es y mají přípus nou ú o eň eliabili y.
Na g a u ak o o é analýzy p oblema ického es u B71 1. semes , iz ob ázek 2 (Fig. 2), je
na p ní pohled zcela pa né, že po o nání s os a ními es y je silně ícedimenzionální.
Reliabili u u es ů s endencí k íce-dimenzionali ě je pak lépe indiko a z indexu omega,
k e é om o případě činí 0.521898, což je pods a ně yšší hodno a než index al a.

52
B60 1. semes Reading B60 3. semes Reading
B71 1. semes Reading B71 3. semes Reading
B71 4. semes Reading
Zd oj: Vlas ní
Fig. 2: Fak o o á zá ěž – sub- es y Reading
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
F1 F2 F3 F4 F5 F6 F7 F8 F9
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
1
2
3
4
5
6
7
8
F1 F2 F3 F4 F5 F6 F7
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
3,5
4
F1 F2 F3 F4 F5 F6 F7
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
F1 F2 F3 F4 F5 F6
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
0,5
1
1,5
2
2,5
3
3,5
4
F1 F2 F3 F4 F5 F6 F7 F8 F9
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
53
Nicméně íce-dimenzionali a je zde z p incipu p oblema ická i z jiného dů odu. V sub-
es ech Lis ening a Reading es ujeme ždy jen jednu do ednos . Bylo by edy žádoucí, aby
sub- es es o al pouze jednu oblas , čímž by byl ni řně konzis en ní. V případě a ian sub-
es ů s nízkým skó e indexu al a je nu né p o és následnou položko ou analýzu a
pojmeno a a nah adi položky, k e é sy í jiný ak o , než je ak o dominan ní. P o
iden i ikaci položek se os ědčilo použi í nume ických nebo g a ických ýs upů z analýzy da .
Tab. 5: Iden i ikace p oblémo ých položek p o es B71 3. semes
F1
F2
F3
F4
F5
Ini ial communali y
Final communali y
Speci ic a iance
p1
-0,0973
0,5640
0,0915
-0,8108
0,0816
0,4771
1,0000
0,0000
p2
-0,8221
0,5416
-0,0282
-0,1637
0,0566
1,2822
1,0000
0,0000
p3
-0,0065
-0,1289
-0,1275
-0,4064
0,2140
0,3377
0,2438
0,7562
p4
0,1811
-0,3584
0,8680
-0,2710
-0,1088
1,7927
1,0000
0,0000
p5
-0,0496
-0,8501
-0,2044
-0,3935
-0,2797
1,3389
1,0000
0,0000
p6
-0,0191
0,4772
-0,5000
-0,0687
-0,5035
0,5559
0,7364
0,2636
p7
0,8373
0,4299
0,3173
-0,0737
-0,0894
0,9551
1,0000
0,0000
p8
0,7086
0,1340
-0,5937
-0,1461
-0,3258
0,8406
1,0000
0,0000
p9
0,4432
-0,3068
-0,6287
-0,1935
0,5261
0,6953
1,0000
0,0000
p10
0,8683
0,4169
0,2174
0,0413
0,1524
0,9234
1,0000
0,0000
Tučně y iš ěné hodno y indikují, že položka „sy í“ ak o záhla í sloupce.
Zd oj: Vlas ní
Be eme-li ú ahu jako nosný ak o 1 (F1 Tab. 5), pak by položky, k e é „sy í“ jiné ak o y
měly bý modi iko ány. Jedná se o položky 1, 3, 4, 5, 6, 9. Z oho yplý á, že případě
p oblema ických sub- es ů, jako je en o případ, je nu ná celko á ekons ukce položko ého
s azku, p o ože ni řní konzis ence sub- es u je ze s a is ického pohledu neuspokoji á.
G a icky je en o s a názo ně yjádřen g a em na ob ázku 3 (Fig. 3), kde u p oblémo ého
sub- es u (Reading B71 3. semes ) jsou položky ozp ýleny namís o oho, aby spolu do
značné mí y ko elo aly, iz sub- es B60 3. semes .
Zd oj: Vlas ní
Fig. 3: Po o nání sub- es u B71 3. semes s nízkou eliabili ou a sub- es u B60 3. semes
s ysokou eliabili ou
p1
p2
p3
p4
p5
p6 p7
p8
p9
p10
-1,5
-1
-0,5
0
0,5
1
1,5
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
F2 (27,55 %)
F1 (34,91 %)
Fac o loadings (axes F1 and F2: 62,46
%)
p1
p2 p3
p4
p5
p6
p7
p8
p9
p10
-0,8
-0,6
-0,4
-0,2
0
0,2
0,4
0,6
-0,4 -0,2 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6
F2 (12,16 %)
F1 (70,92 %)
Fac o loadings (axes F1 and F2: 83,07
%)
54
Z ýše u edeného yplý á zá ě p o s ano ení eliabili y sub- es ů Reading. Reliabili a č yř
sub- es ů je dob á, o šem jeden sub- es nep ošel k i é iem eliabili y, a p o o musí bý
přep aco án nebo nah azen. V ámci řešení si ědecký ým na zo ku p o pilo ní es o ání
yzkoušel a nas a il odbo né pos upy, k e é umožňují na základě dých da i expe ního
posouzení es e ů elimino a ako é sub- es y Reading, k e é jsou ni řně nekonzis en ní a
jejichž ýsledky by mohly bý p oblema ické.
5 Reliabili a sub- es u Vocabula y
Tab. 6: Hodno y Al a - Sub es Vocabula y
Sub- es
B60
1. semes
Al a
B60
3. semes
Al a
B71
1. semes
Al a
B71
3. semes
Al a
B71
4. semes
Al a
P ůmě
Al a
Vocabula y
0,9630
0,9632
0,8046
0,9071
0,9329
0,9080
Zd oj: Vlas ní
Ukaza ele eliabili y al a u sub- es u jazyko ých p os ředků Vocabula y, iz Tab. 6, je podle
škály dob á (sub- es B71 1. semes ) a případě č yř dalších sub- es ů ýbo ná. Ten o ak je
pozi i ní a ukazuje na ysokou ni řní konzis enci sub- es ů é o ka ego ii.
Nicméně při k i ickém pohledu na dané ýsledky kon ex u kons ukce i adminis ace sub-
es ů, exis ují sku ečnos i, k e é mohou umenšo a áhu ýše u edených ýs upů. Jako p ní
si bedli ý pozo o a el po šimne sku ečnos i, že se zde jedná o 40 i-položko ý sub- es . Sama
a o sku ečnos s a is icky z yšuje ýsledné hodno y al a a ím ubí á na ele anci indexu.
S ejně ak působí sku ečnos , že položko ě ela i ně boha ý sub- es p acuje s malým poč em
esponden ů. P o en o ak sice exis ují objek i ní dů ody, a o maximální kapaci y
jedno li ých skupin, nicméně s álo by za ú ahu příš ích es o áních a měřeních up a i
pomě mezi poč em položek a poč em esponden ů, a o ak, aby pomě byl alespoň 1:10.
P ak icky by bylo možné oho dosáhnou ozdělením 40 i-položko é sady na menší s azky,
např. po dese i položkách, a y by se následně yhodnoco aly sepa á ně. Měření po ozdělení
by mohla bý přesnější a íce e lek o a k ali u každé jedno li é položky. Výsledky by
po om aké usnadnily položko ou analýzu sub- es u a jejich další mode aci.
Z hlediska če nos i ak o ů ( iz. níže) je zřejmé, že es y mají endenci k jedno- ak o o os i.
Dominance jednoho klíčo ého ak o u je e ě šině případů zře elná. Ten o zá ě posiluje
předchozí zjiš ění o eliabili ě sub- es ů měřené indexem al a.
B60 1. Semes Vocabula y B60 3. semes Vocabula y
0
20
40
60
80
100
0
2
4
6
8
10
12
14
16
18
20
F1
F3
F5
F7
F9
F11
F13
F15
F17
F19
F21
F23
F25
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
5
10
15
20
25
F1
F3
F5
F7
F9
F11
F13
F15
F17
F19
F21
F23
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
55
B71 1. semes Vocabula y B71 3. semes Vocabula y
B71 4. semes Vocabula y
Zd oj: Vlas ní
Fig. 4: Fak o o á zá ěž - sub- es y Vocabula y
Zá ě z analýzy eliabili y sub- es u Vocabula y suma izuje, že sledo aný indiká o eliabili y
dosahuje s přihlédnu ím k ýše zmíněných poznámka požado aných hodno , a o jak, pokud
jde o jeho číselné yjádření (al a), ak p ůřezo ě na zo ku pě i pilo ních sub- es ů, kde
naměřené hodno y jsou konzis en ní a zájemně y ážené, iz ob ázek 4 (Fig. 4). Vzhledem
k omu, že p áce s odbo nou slo ní zásobou předs a uje klíčo ou čás ýuky cizího jazyka,
jsou zjiš ění, že gene o ané položko é es o ací soubo y (sub- es y) předs a ují ele an ní a
spolehli ý nás oj p o hodnocení ýs upních znalos í esponden ů, nepochybně pozi i ním
signálem.
0
20
40
60
80
100
0
2
4
6
8
10
12
14
F1
F3
F5
F7
F9
F11
F13
F15
F17
F19
F21
F23
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
2
4
6
8
10
12
14
F1
F3
F5
F7
F9
F11
F13
F15
F17
F19
F21
F23
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo
0
20
40
60
80
100
0
2
4
6
8
10
12
14
16
F1
F3
F5
F7
F9
F11
F13
F15
F17
F19
F21
F23
Cumula i e a iabili y (%)
Eigen alue
axis
Sc ee plo