37
PRAKTICKÉ POSTŘEHY K VÝZNAMU STATISTICKÉ ANALÝZY PŘI TVORBĚ
JAZYKOVÝCH TESTŮ
Jiřina H báčko á
* Milan Boháček
Masa yko a uni e zi a
Ekonomicko-sp á ní akul a
Cen um jazyko ého zdělá ání
Lipo á 41a, 602 00 B no, Česká epublika
[email p o ec ed]
* [email p o ec ed]
Abs ak
Ten o příspě ek zkoumá in o mační přínos s a is ické analýzy jazyko ých es ů Ekonomicko-
sp á ní akul y Masa yko y uni e zi y, y ořených p o ú o eň C1 dle E opského
e e enčního ámce, p o z ýšení alidi y a eliabili y ěch o es ů. P o zp aco ání ýs upů
es ů a získání hodno p ůmě u, ob ížnos i es o ých položek, indexu disk iminace a
C onbacho o al a s yloučením dané položky bylo p o daný účel použi o p og amu SPSS.
Byla p o edena analýza unkčnos i dis ak o ů p o úlohy ypu ýbě ze 4 možnos í. Tes o é
položky ne yho ující s ano eným k i é iím byly před no ým kolem mode ací změněny nebo
up a eny. Očeká áme, že se s a is ická analýza, předs a ující přínosný elemen při
zk ali ňo ání es ů a posky ující cennou zpě nou azbu jejich ů cům, s ane napříš ě
nezby nou součás í o by es ů daného p aco iš ě.
Ú od
V p ůběhu akademického oku 2012/2013 bylo ámci klíčo é ak i i y 4 – es o ání p ojek u
IMPACT y ořeno na oddělení jazyků Ekonomicko-sp á ní akul y Masa yko y uni e zi y
(ESF) celkem 5 ýs upních es ů s předpokládanou ýs upní ú o ní s uden ů C1 dle SERR.
Tes y byly speci iko ány jako z . p o-achie emen es y, jedná se edy o yp es ů měřící jak
celko ou ú o eň jazyko ých kompe encí s uden ů, ak mí u os ojení uči a p obí aného
ku zech, kde složku achie emen oří do elké mí y odbo ná slo ní zásoba a g ama ické
je y ypické p o obchodní anglič inu. V sou islos i s p ojek em, k e ý podpořil snahy
yučujících jazyko ého cen a Masa yko y uni e zi y (MU) o implemen aci šech
základních čás í p ocesu ý oje es ů a o jeho zk ali nění, y s ala řada o ázek ýkajících se
alidi y, spolehli os i ( eliabili y) a zá o eň p ak ičnos i ěch o es ů, edy pa ame ů, k e é
jsou p o objek i ní a spolehli é měření schopnos í s uden ů na základě daných es ů nap os o
nezby né. [3] Pomíjíme o ázku, do jaké mí y y o es y sku ečně odpo ídají dané ú o ni
ámce, p o ože odpo ěď na ni je o ázkou samos a ného ýzkumu, a chceme ědě , zda es y
objek i ně a spolehli ě hodno í y schopnos i, k e é by podle speci ikací daného es u es o a
měly. V om o příspě ku budeme hleda odpo ěď na o ázku, jaké in o mace posky la
s a is ická analýza p o edená na ýs upech p e es ace šech pě i es ů y ořených a
adminis o aných na ESF a jak lze něk e é z hodno , k e é z ní zešly, in e p e o a a yuží
při e izi s á ajících es ů ak, aby se alidi a a eliabili a es ů posílila a aby es y zá o eň
zůs aly p ak ické.
S a is ická analýza ýs upních jazyko ých es ů y ořených na jedno li ých akul ách Cen a
jazyko ého zdělá ání MU (CJV) je ází ý oje es ů, k e á nemá dlouhou his o ii a do
po ědomí ů ců es ů, a zá o eň yučujících, se hlubším poje í dos ala až díky p ojek u
Impac , jehož ámci p oběhl na jaře 2013 ýdenní seminář Ri y G een, p imá ně ěno aný
38
s a is ické analýze. D . Ri a G een působí na uni e zi ě Lancas e u, kde se k omě jiného
specializuje p á ě na s a is ickou analýzu jazyko ých es ů. Pod jejím edením se lek oři
seznámili s hla ními pa ame y s a is ické analýzy jazyko ém es o ání, zn., ob ížnos í
es o ých položek – z . acili y alue, disk iminačním koe icien em, z . Co ec ed I em
To al Co ela ion, ni řní konsis encí es ů založené na hodno ách C onbach’s Alpha (CA) a
C onbach’s Aph a i I em Dele ed (CAID). Dále byla nas íněna položko á analýza dis ak o ů
a desk ip i ní s a is ika neboli g a ické zob azení ýs upů es ů. Při ýbě u náplně ku zu byly
b ány na zře el po řeby oddělení CJV a p ak ičnos p o áděné analýzy. P o zp aco ání
s a is ických da soubo ů bylo použi o p og amu SPSS. Dalším důleži ým pa ame ům, jak
např. ko elaci, s anda dní odchylce nebo - es u byla ěno ána ma ginální pozo nos .
V é o p áci zkoumáme základní eličiny s a is ické analýzy a jejich hodno y, k e é zešly
z p e es ace na jaře 2013, zn. p ůmě u, spolehli os i měřené pomocí ukaza elů C onbach’s
Aplha a C onbach’s Aplha i I em Dele ed, ob ížnos i yb aných položek a položko ou
analýzou konk é ního poslecho ého c ičení. Můžeme di , že es je s a is icky spolehli ý?
Pokud ne, jaké k oky můžeme podniknou ke z ýšení spolehli os i a jak dané hodno y
in e p e o a p o unkční e izi jedno li ých es o ých položek? Zá o eň nás zajímá odpo ěď
na o ázku, jakou oli by měla s a is ická analýza při ý oji jazyko ých es ů hodno ících
jazyko é kompe ence s uden ů MU budoucnos i h á . V é o p áci nezohledňujeme samo ný
p oces o by es ů, k e ý je p o spolehli os es u zásadní, a ěnujeme se spolehli os i
z hlediska ýpo ědní hodno y s a is ické analýzy.
1 Pa ame y es ů
Podle Douglase [1, s . 104] jsou jazyko é es y zásadě nespolehli é nás oje měření,
nicméně něk e é es y jsou spolehli ější než jiné. V případě CJV MU usilujeme o o, aby es y
y ořené za účelem hodnocení s uden ů MU byly spolehli é a aby s uden ům ůzných akul
byly předkládány es y, o k e ých lze di , že jsou alidní a eliabilní. Ty čás i es u
anglického jazyka, y ořené p o s uden y ekonomických obo ů s očeká anou ýs upní
ú o ní C1, k e é podléhají s a is ické analýze, se skládají celkem ze 60 položek, z nichž 20
oří poslecho é položky – lis ening comp ehension, 20 položek předs a uje g ama icko-
lexikální čás a zbý ajících 20 po ozumění ex u, zn. eading comp ehension. V g ama icko-
lexikální čás i bylo nu no p o účely s a is ické analýzy ozděli 4. es o ou úlohu, zn. překlad
d ouslo ných odbo ných e mínů, na d ě čás i 21a/21b – 25a/25b ak, aby bylo možno
hodno i každý ý az hodno ami 0-1 (dobře/špa ně) z lášť a zá o eň aby analýza dobře
zohledňo ala schopnos i s uden ů. Tes o á úloha č. 5, zn. ýbě sp á ného slo esa a jeho
ložení do sp á ného a u daných ě ách, se naopak p o po řeby s a is ické analýzy musela
z eduko a pouze na o, zda s uden i yb ali sp á né slo eso či ne. P o ozhodo ání
dobře/špa ně není možné spolehli ě a objek i ně hodno i d a je y současně. P oduk i ní
čás i es o ání jazyko ých kompe encí, psaný a mlu ený p oje , ze s é pods a y s a is ické
analýze nepodléhají.
Všemi 5 es y p ošlo celkem 411 s uden ů. Poč y s uden ů p o jedno li é a ian y es u
zachycuje abulka 1:
39
Tab. 1: Poč y s uden ů a p ůmě né dosažené hodno y
e ze es u
01
02
03
04
05
poče s uden ů
84
89
87
73
78
p ůmě ný poče bodů poslech
10,75
10,74
12,74
11,82
10,85
p ůmě g am.- lex. čás
14,63
14,80
11,99
12,86
12,32
p ůmě č ení
12,44
12,02
12,55
12,14
14,27
P ůmě es celkem
37,81
37,67
37,28
36,82
37,44
Zd oj: au oři
V abulce 1 je o něž zachycen p ůmě ný poče bodů, k e ého s uden i dosáhli u každého
z pě i es ů a zá o eň p ůmě ný poče bodů, k e ého dosáhli jedno li ých kompe encích –
edy poslechu, g ama icko-lexikální čás i a čás i č ení. Vzhledem k omu, že a ian y es u
byly p e es o ány na ůzných skupinách s uden ů, nelze z ěch o hodno jednoznačně
usuzo a na pa alelní alidi u es ů. P ůmě ný poče bodů šech ří čás í jedno li ých es ů,
k e ého s uden i u šech es ů dosáhli, nicméně ykazuje jen malé odchylky, z čehož lze
usuzo a na podobnou ob ížnos šech pě i e zí. Výsledek au oři po ažují za pozi i ní
indiká o snahy o jedno nos ob ížnos i a ian es u.
2 Měření spolehli os i es ů
Pokud bychom šak ch ěli mlu i o sku ečné spolehli os i es u, mohli bychom ji jednoznačně
posoudi pouze ak, že s ejné skupině s uden ů předložíme s ejný es d ak á [1]. Tím ale
y s á á logický p oblém, kdy při d uhém p ůchodu es em lze očeká a lepší ýsledky,
neboť s uden i jsou již s es o ými úlohami do u či é mí y obeznámeni. Další možnos
předs a uje me oda ozdělení es u na polo inu (spli -hal me hod) a jiné, k e é jsme šak při
analýze nepoužili. P o zjednodušené posouzení spolehli os i es u jsme zkoumali hodno y
C onbacho a al a, eličiny, k e ou jsme p o každý es získali zp aco áním ýs upů es ů
p og amem SPSS. Jedná se o eličinu, k e á nabý á hodno od +1 do -1, přičemž zápo né
hodno y, jichž je dosaho áno zřídka [2, s . 38], poukazují na položky, k e é jsou špa ně
kons uo ané nebo z jiných dů odů chybné. Hodno a C onbacho a al a je indiká o em ni řní
konzis ence es u, ypo ídá edy o om, zda es unguje jako celek a zda jeho jedno li é
položky hodno í en kons uk , k e ý hodno i chceme. Podle Ri y G een [2, s . 38] jsou
položky nabý ající hodno mí ně pře yšujících 0,70 již akcep o a elné, ale žádoucí jsou
hodno y yšší. Hodno y 1 C onbacho o al a pods a ě nenabý á. [4] Vzhledem
k cha ak e is ice daných es o ých úloh a jejich ozmani os i (p a di á/nep a di á zení,
ýbě sp á né položky ze 4 možnos í, k á ké olné odpo ědi, překlad souslo í, doplňo ání
sp á ných a ů) nepředpokládáme u jazyko ých es ů y ořených eálném akademickém
p os ředí hodno y běžně se blížící maximální hodno ě 1. Při analýze spolehli os i es u je
důleži é po o na hodno y spolehli os i na základě celko ého C onbacho a al a (CA) s jeho
hodno ami p o jedno li é položky es u yjma dané položky samo né (C onbach’s Alpha I
I em Dele ed). Pokud a o hodno a (CAID) nabý á hodno y nižší než celko é CA, pak a o
položka přispí á ke spolehli os i es u a při ynechání ako é položky z es u by se celko á
hodno a CA snížila na danou hodno u CAID. Zá o eň edy pla í, že pokud je hodno a CAID
yšší, položka nepřispí á dos a ečně ke spolehli os i es u. Položky je šak nu no zkouma i
na základě jejich ob ížnos i a indexu disk iminace ( iz dále). Tabulka 2 pak sh nuje hodno y
celko é spolehli os i C onbacho a al a p o šechny dané es y.
40
Tab. 2: C onbacho o al a p o jedno li é e ze es ů
Zd oj: au oři
Z abulky je pa né, že CA nabý á u daných es ů hodno od 0,821 do 0,875, přičemž podle
ýše u edeného lze di , že se jedná o hodno y akcep o a elné až pozi i ní. U šech položek
daných es ů jsme po o nali hodno y CAID (p o sub es poslechu iz Tab. 3) a CA. Položky,
k e é by zje ně nepřispí aly ke spolehli os i es u a zá o eň ne ozlišo aly mezi dob ými a
ho šími s uden y nebo jejich ob ížnos by byla disku abilní, by byly přep aco ány.
Tab. 3: CAID p o jedno li é položky čás i poslechu šech es o ých a ian
a ian a es u
01
02
03
04
05
I em1
0,872
0,824
0,840
0,819
0,822
I em2
0,874
0,825
0,839
0,818
0,828
I em3
0,874
0,821
0,841
0,821
0,830
I em4
0,871
0,823
0,839
0,820
0,828
I em5
0,873
0,823
0,838
0,823
0,826
I em6
0,875
0,819
0,832
0,813
0,822
I em7
0,871
0,815
0,833
0,819
0,822
I em8
0,869
0,815
0,835
0,818
0,821
I em9
0,873
0,819
0,836
0,815
0,821
I em10
0,868
0,818
0,833
0,819
0,824
I em11
0,872
0,819
0,833
0,818
0,820
I em12
0,872
0,819
0,833
0,815
0,821
I em13
0,872
0,822
0,833
0,817
0,820
I em14
0,869
0,817
0,836
0,817
0,824
I em15
0,870
0,819
0,833
0,814
0,822
I em16
0,874
0,820
0,840
0,819
0,826
I em17
0,877
0,820
0,838
0,818
0,828
I em18
0,874
0,825
0,834
0,817
0,827
I em19
0,874
0,822
0,837
0,820
0,827
I em20
0,870
0,822
0,836
0,816
0,826
Zd oj: au oři
Z abulky 3 yplý á, že ě šina hodno CAID poslecho ých položek se pohybuje kolem
hodno y celko é CA a y, k e é nabý ají hodno y yšší než celko á CA, se liší řádu se in.
Jelikož se jedná o zanedba elně malé hodno y, nebyly na základě analýzy samo né
spolehli os i položky o yšší hodno ě CAID než celko á CA é o ázi elimino ány či
změněny.
3 Ob ížnos es o ých položek
Další důleži ou eličinou s a is ické analýzy, k e ou jsme pod obně p ozkoumali, je ob ížnos
es o ých úloh neboli z . acili y alue (FV). Ob ížnos nabý á hodno od 0 do 1, kdy 0
znamená, že položku sp á ně nikdo ne yřešil, za ímco 1 předs a uje 100 p ocen ní úspěšnos .
FV se dá jednoduše yjádři p ocen uálně. P o es y zkoumající celko ou jazyko ou
schopnos es o aných ( z . p o iciency) po ažují es eři hodno y FV ozpě í 0,3 – 0,7 za
ako é, podle nichž lze posuzo a unkčnos es o é položky (G een, 26). V našich
podmínkách, kdy es ujeme jak celko ou jazyko ou ú o eň s uden ů – p o iciency (ú o ně
e ze es u
01
02
03
04
05
C onbacho o al a
0,875
0,823
0,838
0,821
0,827
41
dané Společným e opským e e enčním ámcem), ak os ojení yučo ané lá ky
(achie emen ), očeká áme, že hodno y FV budou dosaho a ú o ně yšší, nikoli šak p o
es y adminis o ané řádných e mínech – maximální. T ů ci es ů na ESF MU se shodli na
hodno ách FV od 0,15 do 0,90 jako hodno ách p o dané účely akcep o a elné. V abulce 4 je
zachycen poče položek s ex émními hodno ami FV, edy hodno ami FV 0 – 0,15 a 0,90 – 1
p o každý jedno li ý es . V ěch o případech bylo řeba zno u p ojí es o é o ázky a
za eago a na daný ýs up úp a ou nebo úplným přep aco áním položek. Při e izi byly
b ány po az i další ukaza ele analýzy.
Tab. 4: Poče položek s ob ížnos í nižší než 0,15 a yšší než 0,9
a ian a es u
01
02
03
04
05
Poče položek s FV 0,15 a nižší
2
2
2
2
1
Poče položek s FV 0,90 a yšší
3
2
7
3
2
Zd oj: au oři
Všechny položky, k e é ykazo aly ex émní hodno y FV byly pod obeny přezkoumání. U
ěch položek, u k e ých byla hodno a FV 1 (jednalo se celkem o 2 položky) došlo
k přep aco ání položky. Žádná položka nenabý ala hodno y FV 0. Os a ní položky s ex émní
FV byly in e p e o ány společně s indexem disk iminace ( abulka 5), případně s analýzou
dis ak o ů, pokud se jednalo o c ičení ypu ýbě ze 4 možnos í. B ali jsme o šem po az i
ak , že es nebyl nasazen z . naos o a y položky, k e é spadaly do ka ego ie achie emen a
měly elmi nízkou hodno u FV, byly p oza ím ponechány pů odním znění. Po nasazení
es u naos o budou y o položky zno u pod obeny zkoumání. Předpokládáme, že
adminis ace es u eálné si uaci po ede ke zlepšení ýsledků.
4 Index disk iminace
Index disk iminace (měřen jako Co ec ed I em-To al Co ela ion – CITC) posky uje ů cům
es u důleži é a zajíma é in o mace. Zkoumá, jak si zkoušený ede u es u jako celku a
po o ná á, jak si ede u jedno li ých položek [2, s . 29]. Pokud je celko ý ýkon
zkoušeného u es u dob ý, očeká á se, že jednoduché, p ůmě né i něk e é ěžké položky
zodpo í sp á ně. Je p a děpodobné, že něk e é ěžké položky sp á ně nezodpo í. Při splnění
ěch o podmínek nabý á hodno a disk iminačního indexu yšších hodno a lze di , že
položka dobře disk iminuje, edy ozlišuje mezi s uden y s yšší a nižší dosaženou jazyko ou
ú o ní. Pokud zkoušený s celko ě dob ým ýsledkem nez ládne položky, o k e ých jsme
předpokládali, že jsou jednoduché, hodno y disk iminačního indexu budou nízké a můžeme
di , že položka málo nebo špa ně disk iminuje. Podobně jako hodno y C onbacho a al a,
aké index disk iminace nabý á hodno od -1 do +1. Pokud hodno y disk iminačního
koe icien u nabý ají hodno od +0,3 a yšších, lze po ažo a položky za elmi dobře
disk iminující. Hodno y nižší nebo přímo zápo né nejsou žádoucí a je řeba se na ně zaměři .
Jak ukazuje abulka 5, ysky ují se es ech z hlediska disk iminace p oblema ické položky.
Např. p o položku 06 e ze es u č. 01 je hodno a disk iminačního koe icien u 0,000. Při
dalším zkoumání položky zjis íme, že o je položka, u k e é FV nabý á hodno y 1, zn.,
šichni s uden i ji odpo ěděli sp á ně, a udíž ne ozlišuje mezi s uden y s lepší a ho ší
dosaženou jazyko ou ú o ní. Hodno a CAID je o na hodno ě CA, z čehož lze usuzo a na
o, že položka se nijak ý azně na ni řní konsis enci es u nepodílí. Je o příklad položky,
k e á by měla bý úplně elimino ána, pokud je naším úmyslem apliko a ýsledky s a is ické
analýzy p axi a posíli spolehli os es u. Podobným příkladem jsou mimo jiné i položky č.
16, a č. 17 es u č. 01, kde CICT nabý á hodno 0,198, espek i e 0,131. Rozdíl šak
y s á á u hodno FV, kdy p o položku č. 16 je a o p oměnná o na 0,93, ale p o položku č.

42
17 je o 0,51. V p ním případě položka nedisk iminuje dos a ečně, jelikož je elmi lehká.
V d uhém případě je naopak spíše ěžší a dá se usuzo a , že s uden i s lepší i ho ší dosaženou
jazyko ou ú o ní s ní měli p oblém. Položku č. 16 up a íme, pokud budeme ch í z ýši její
ná očnos nebo ji ponecháme pů odním s a u, pokud přezkoumáním usoudíme, že položka
je dobře kons uo aná a hodno a FV 0,93 je p o nás om o případě akcep o a elná. Jelikož
jsou ale položky č. 16 a č. 17 zá o eň položkami poslecho ého úkolu ypu ýbě sp á né
a ian y ze č yř nabízených (MCQ), p o edeme položko ou analýzu es o é úlohy a zjis íme,
zda a jak u é o položky ungují sp á ná odpo ěď a dis ak o y.
Tab. 5: Hodno y CITC p o jedno li é položky poslecho é čás i analyzo aných es ů
a ian a es u
es 01
es 02
es 03
es 04
es 05
I em1
0,381
0,015
0,098
0,121
0,300
I em2
0,149
0,039
0,014
0,340
0,303
I em3
0,175
0,219
0,089
0,282
0,171
I em4
0,480
0,065
0,102
0,152
0,079
I em5
0,265
0,035
0,284
0,099
0,161
I em6
0,000
0,297
0,423
0,423
0,309
I em7
0,426
0,465
0,411
0,187
0,440
I em8
0,627
0,568
0,371
0,287
0,463
I em9
0,322
0,398
0,223
0,478
0,378
I em10
0,523
0,394
0,265
0,186
0,385
I em11
0,513
0,371
0,413
0,334
0,550
I em12
0,387
0,383
0,339
0,308
0,481
I em13
0,436
0,133
0,408
0,370
0,498
I em14
0,564
0,258
0,213
0,373
0,160
I em15
0,528
0,359
0,354
0,574
0,286
I em16
0,198
0,351
0,030
0,202
0,185
I em17
0,131
0,276
0,137
0,467
0,089
I em18
0,155
0,131
0,413
0,384
0,171
I em19
0,341
0,135
0,222
0,305
0,077
I em20
0,577
0,214
0,312
0,375
0,279
Zd oj: au oři
P o položky č. 21 až 40 bylo konzul acemi se šemi ů ci es ů dohodnu o, že s a is ická
analýza bude mí pouze in o mační hodno u. Ta o čás je ořena g ama icko-lexikálními
položkami, k e é es ují g ama ické je y a odbo nou slo ní zásobu p obí anou seminá ních
hodinách, jedná se edy o u čás es u, k e ou po ažujeme za achie emen , neboť z ládnu í
ěch o je ů je jedním z cílů ýuky jazyko ých ku zů na akul ách MU. Předpokládáme, že
s uden i přis upo ali k es u s nadhledem, k e ý se od azil nízké disk iminaci nebo ysoké
ob ížnos i něk e ých položek.
5 Analýza dis ak o ů
Poslední, ale ozhodně ne nejméně zajíma ou čás í analýzy, k e ou po ažujeme z hlediska
in o mační hodno y za elmi přínosnou, je položko á analýza úloh ypu ýbě u sp á né
odpo ědi ze č yř nabízených možnos í. V daných es ech se jedná o ři c ičení o celkem 19
položkách.
Tabulka č. 6 udá á hodno y položko é analýzy poslecho ého c ičení (položky 16 – 20) es u
e ze č. 01. V jedno li ých sloupcích je u eden poče s uden ů, k eří danou a ian u (A, B, C
nebo D) yb ali. Klíč označuje sp á nou odpo ěď. Z abulky je pa né, že p o položku č. 16
43
jsou unkční pouze dis ak o y B a C. Můžeme usuzo a , že dis ak o A je buď špa ně
kons uo aný, nebo příliš jednoduchý, a p o o jej s uden i ůbec ne olili. Z oho o dů odu je
nu né pod obi jej e izi. P o položku č. 17 se naopak dis ak o B zdá bý ne hodně
kons uo aný nebo se příliš blíží sp á né odpo ědi, jelikož jej yb alo 32 s uden ů.
Přihlédneme-li k indexu disk iminace, k e ý je 0,24, můžeme di , že o p a děpodobně byli
spíše s uden i s nižší dosaženou jazyko ou ú o ní, k eří dis ak o B olili. S hodno ami FV
0,51 a CAID 0,877 (CA=0,875) lze po ažo a položku za přija elnou a ponecha ji
pů odním s a u, nicméně omu o ozhodnu í musí předcháze z ážení o mulace dis ak o u
B a snadnos dis ak o u A. Výsledky p o položku č. 18 po ažujeme za uspokojující. Vě šina
s uden ů z olila položku sp á ně a zá o eň se šechny dis ak o y p oje ily jako unkční
(CITC = 0,219, ob ížnos je 0,81). Podobně lze in e p e o a i ýsledky položky č. 20. Zde
na íc index disk iminace (0,524) po zuje, že s uden i s yšší dosaženou jazyko ou ú o ní
ybí ali sp á ně, a ím p okazuje sp á nos kons uo ané položky. Naopak položka č. 19, kdy
íce s uden ů yb alo jako sp á nou odpo ěď dis ak o B, se je í jako p oblema ič ější, na íc
hodno a disk iminace je pouze 0,245. Ty o d a ak o y společně poukazují na nu nos zno u
ěno a položce pozo nos a pokusi se o její přep aco ání.
Tab. 6: Hodno y analýzy dis ak o ů p o položky č. 16 až 20 es u č. 01
es e ze 01
poče s uden ů, k eří yb ali jednu z možnos í
A
B
C
D
položka č. 16
0
4
2
78 (klíč)
položka č. 17
2
32
8
42 (klíč)
položka č. 18
6
2
68 (klíč)
8
položka č. 191
26 (klíč)
37
11
9
položka č. 20
11
51 (klíč)
15
7
Zd oj: au oři
Jak edy z ýše u edeného yplý á, posky uje analýza dis ak o ů elmi uži ečné in o mace a
napomáhá k lepší kons ukci jak sp á ných odpo ědí, ak dis ak o ů, a ím i ke z ýšení
celko é spolehli os i es u. Položko ou analýzu jsme p o edli na šech c ičeních daného
ypu u šech es o ých e zí a ýsledky pod obně analyzo ali. Jsme přes ědčeni, že analýza
dis ak o ů ýznamně přispěla k ylepšení k ali y a spolehli os i es u.
O ázkou zůs á á, jakou oli bude mí s a is ická analýza es ů budoucnos i. Jedná se
přede ším o p ak ické hledisko získá ání da a jejich zp aco ání. Získá ání da je činnos ne
příliš časo ě ná očná, nicméně nad ámec po innos í yučujících na CJV. Řešením by bylo
yuži í ex e ních sil, pak ale y s á á o ázka nu nos i zabezpečení es ů p o i nech ěnému
šíření a o ázka inanční. Pokud se zamyslíme nad cíli celé koncepce es o ání p ojek u
IMPACT, bude záleže na om, jak se na jedno li ých p aco iš ích podaří p osadi a ud že
ino o aný p oces o by es ů. Pokud bude naším cílem oři es y s k ali ní ýpo ědní
hodno ou, pak au oři článku idí s a is ickou analýzu jako k ok, k e ý nelze igno o a .
Zá ě
V om o příspě ku jsme se zabý ali s a is ickou analýzou es ů a její ýpo ědní hodno ou p o
ů ce jazyko ých es ů na p aco iš i posky ujícím ýuku anglič iny ysokoškolským
s uden ům se zaměřením na obchodní anglič inu. Kladli jsme si o ázku, zda kon ex u ýuky
1
P o položku č. 19 jeden s uden neza hl ani jednu a ian u.
44
ESP posky uje s a is ická analýza in o mace, k e é se dají yuží p o posílení alidi y a
eliabili y es u a zda by zp aco ání ýs upů s a is ické analýzy mělo bý nezby nou součás í
p ocesu o by es u na p aco iš i daného cha ak e u.
Na p ní o ázku lze po p ozkoumání údajů, k e é s a is ická analýza přinesla, odpo ědě
kladně. V něk e ých případech analýza poukázala na nesp á nos kons ukce es o é položky,
jindy zase buď po dila nebo y á ila naše očeká ání o ob ížnos i či snadnos i položky, a
ím dala hma a elnou zpě nou azbu našim domněnkám. Jako jednoznačně přínosné a
jednoduše in e p e o a elné se ukázaly hodno y e lek ující unkci dis ak o ů e c ičeních
ypu ýbě sp á né položky z nabídky 4 možnos í. K omě oho, že se ů ci doz ěděli, jak
jimi y ořená nabídka odpo ědí unguje, se zá o eň domní áme, že pečli é p ozkoumání
unkce dis ak o ů může és ke schopnos i lépe kons uo a položky budoucích es ů.
Si uace, kdy se úloha ypu nabídka ze 4 možnos í z eduko ala na dicho omický ýbě mezi
d ěma odpo ěďmi, nebyla ýjimečná. Předpokládáme, že přep aco ání položek, jejich
následná mode ace, no á p e es ace a opě o né s a is ické zp aco ání pomůže au o ům získa
mnohem hlubší hled do ungo ání disk ak o ů a po ede ke k ali něji ořeným položkám.
Odpo ěď na d uhou o ázku je poněkud komplexnější a je řeba idě celý kon ex , při k e ém
es y na jazyko ém cen u znikají. P o jedno li é ýmy je p áce na es ech d uhořadou
záleži os í a její časo á ná očnos ede ke snaze elimino a y čás i p ocesu o by es u, k e é
nejsou na p ní pohled nap os o nezby né. Au oři oho o příspě ku šak mají za o, že pečli é
sledo ání da , k e á přinášejí elmi zajíma ou in o maci o k ali ě es u, je důleži é a nemělo
by se opomíje . Tým ů ců es ů anglického jazyka na ESF se shodl na začlenění s a is ické
analýzy do o by es ů jako na nezby nos i. Zá azkem a posláním jazyko ého cen a MU je
zodpo ědný přís up k o bě es ů jako alidních a eliabilních nás ojů p o měření schopnos í
s uden ů, e k e ých má s a is ická analýza, posky ující ak ickou zpě nou azbu, s é
nezas upi elné mís o. Dod žením oho o zá azku se máme možnos posunou dále jako
yučující, jako es eři, i jako k ali ní a spolehli é zdělá ací p aco iš ě.
Li e a u a
[1] DOUGLAS, Dan. Unde s anding language es ing. London: Hodde Educa ion, 2010,
ix, 156 s. ISBN 9780340983430.
[2] GREEN, Ri a: S a is ical Analyses o Language Tes e s. Palg a e Macmillan, 2013,
309 s. ISBN: 978-1-137-01828
[3] Manual o ela ing Language Examina ions o he Common Eu opean F amewo k o
Re e ence o Languages (CEFR). [online]. S asbou g: Council o Eu ope, Language
Policy Di ision, Janua y 2009, 200 s. [ci o áno 10. s pna 2013]. Dos upné na WWW:
<h p://www.coe.in / /dg4/linguis ic/Sou ce/ManualRe ision-p oo ead-
FINAL_en.pd >.
[4] Analýza úloh. [online]. www.SCIO.cz s. .o., © 2008 – 2011. [ci o áno 15. s pna 2013].
Dos upné na WWW:
<h p://www.scio.cz/ yzkum/ o ba_ es u/ hodnoceni/analyza.asp>.
Mg . Jiřina H báčko á; Mg . Bc. Milan Boháček, M.A.
45
PRACTICAL OBSERVATIONS ON THE ROLE OF STATISTICAL ANALYSIS APPLIED TO
LANGUAGE TEST DEVELOPMENT
This con ibu ion is abou he s a is ical analysis o es s de eloped a indi idual acul ies o
he Language Cen e a he Masa yk Uni e si y B no. A e conduc ing s a is ical analysis on
se s o es s de eloped by he Facul y o Economics and Adminis a ion, he Facul y o Social
S udies and he Facul y o Pedagogy, he a gumen o checking assump ions o iginally
a ibu ed o he es s, which had been liable o close sc u iny o eams o language eache s
and p e es ed on s uden s o he a ge popula ion, u ned ou o be no only impo an bu also
hugely ascina ing and wo h in-dep h in es iga ion. While he analysis con i med some o he
o iginal assump ions abou indi idual es i ems as well as comple e pa s o es s, i s e idence
also shed ligh on hose i ems calling o u he e ision and imp o emen . This pape will
look a ways o how s a is ical analysis can help es de elope s make es s mo e eliable and
a he same ime ale us o pi alls ha we would no be awa e o be i no o i s insigh .
PRAKTISCHE BEOBACHTUNGEN ZUR BEDEUTUNG DER STATISTISCHEN ANALYSE
BEI DER ERSTELLUNG VON TESTS
Diese Bei ag un e such den in o ma i en Nu zen de s a is ischen Analyse on Sp ach es s
de ökonomisch-ju is ischen Fakul ä de Masa yk-Uni e si ä , die ü das Ni eau C1 nach
dem eu opäischen Re e enz ahmen e s ell wu den, um de en Validi ä und Reliabili ä zu
e höhen. Zu Fes legung de Tes ges al ung, de E langung eines Bewe ungsdu chschni s,
des Schwie igkei sg ades de Tes au gaben, des Disk imina ionsindexes und des C onbach-
Al a un e Ausschluss de gegebenen Posi ion wu de zu diesem Zweck das P og amm SPSS
e wende . Es wu de eine Analyse de Funk ionali ä de Dis ak o en ü Au gaben des Typs
„Auswahl aus ie Möglichkei en“ du chge üh . Die Tes au gaben, welche den es geleg en
K i e ien nich en sp echen, wu den o de neuen Mode a ions unde geände ode
angepass . Wi e wa en, dass die s a is ische Analyse, welche ein gewich iges Elemen bei
de Ve besse ung de Tes e da s ell und ih en Au o en eine wich ige Rückmeldung lie e ,
demnächs zu einem une lässlichen Bes and eil de Tes ges al ung am genann en Leh s uhl
wi d.
PRAKTYCZNE SPOSTRZEŻENIA DOTYCZĄCE ZNACZENIA ANALIZY STATYSTYCZNEJ
PODCZAS OPRACOWYWANIA TESTÓW JĘZYKOWYCH
W niniejszym a ykule zbadano ko zyści in o macyjne wynikające z analizy s a ys ycznej
es ów językowych Wydziału Ekonomiczno-Adminis acyjnego Uniwe sy e u Masa yka,
op acowanych dla poziomu C1 według CEFR, w celu zwiększenia s osowności i ze elności
ych es ów. W celu op acowania wyników es ów i pozyskania wa ości ś ednich, us alenia
udności zadań es owych, wskaźnika dysk yminacji o az współczynnika ze elności al a
(Al a-C onbacha) z wykluczeniem danego zadania zas osowano p og am SPSS.
P zep owadzono analizę unkcjonalności dys ak o ów w zadaniach zamknię ych z wybo em
z 4 odpowiedzi. Zadania es owe, k ó e nie odpowiadały p zyję ym k y e iom, zos ały
zmienione lub sko ygowane p zed ich kolejnym zas osowaniem. Oczekujemy, że analiza
s a ys yczna, k ó a jes p zyda na w doskonaleniu es ów i daje cenną in o mację zw o ną dla
ich au o ów, będzie nas ępnym azem niezbędnym elemen em w p ocesie wo zenia es ów
w danej placówce.