28
POLOŽKOVÁ ANALÝZA TESTU Z NĚMECKÉHO JAZYKA POMOCÍ PROGRAMU
ITEMAN
E a H adilo á
* Te eza K upko á
Uni e zi a ob any B no
Cen um jazyko é příp a y
Kounico a 65, 622 10 B no, Česká epublika
e a.h a[email p o ec ed]
* e eza.k upko [email protected]
Abs ak
Příspě ek se zabý á p oblema ikou es o ání na Cen u jazyko é příp a y Uni e zi y ob any
B ně (CJP UO). Konk é ně jde o analýzu a yhodnocení es u NJ podle no my NATO
STANAG 6001 SLP 1 (A1-A2 dle SERR) pomocí s a is ického so wa u ITEMAN. Cílem
ýzkumu bylo zjis i , nakolik je daný es alidní a eliabilní. Nejp e je cha ak e izo án
p og am ITEMAN, dále je popsán p ůběh příp a ných p ací. Nej ě ší čás článku je ěno ána
položko é analýze a ozbo u špa ných es o ých položek. Na zá ě je na ženo, jak
pos upo a při ko ek uře něk e ých ne hodných položek.
ÚVOD
Příspě ek se zabý á p oblema ikou es o ání na Cen u jazyko é příp a y Uni e zi y ob any
B ně (CJP UO). Konk é ně jde o analýzu a yhodnocení es u NJ podle no my NATO
STANAG 6001 SLP 1 (A1-A2 dle SERR) pomocí s a is ického so wa u ITEMAN. Ten o
es bude yuží án na Oddělení os a ních jazyků k přezkoušení ci ilních s uden ů 1. očníku
Bc. Na základě oho o o ěření znalos í bude s uden ům udělen zápoče za jeden semes ,
pokud dosáhnou alespoň 65 % úspěšnos i. Cílem ýzkumu bylo p o o zjis i , nakolik je daný
es alidní a eliabilní, popř. ho na základě p o edené položko é analýzy náleži ě up a i .
1 P og am ITEMAN a příp a né p áce
1.1 P og am ITEMAN
P og am ITEMAN je s a is ický so wa e ame ické i my Assessmen Sys ems Co po a ion
u čený p o analýzu jedno li ých es o ých položek ypu mul iple choice i cho ání es u jako
celku [4].
Výsledkem analýzy jsou ůzné číselné údaje, na jejichž základě je možné yhodno i , zda jsou
jedno li é úlohy alidní a eliabilní či naopak špa né a nespolehli é. Dále můžeme po o na
úspěšnos lepší a ho ší ře iny s uden ů u jedno li ých položek, zjis i dosažené minimum a
maximum bodů ámci celého es u, p ůmě ný ýsledek a medián, k e ého s uden i při om o
přezkoušení dosáhli [3].
Při souh nném yhodnocení celého es u je důleži ým údajem koe icien Alpha, k e ý udá á,
nakolik je es jako celek eliabilní [3].
1.2 Příp a né p áce
Námi y ořený es byl nejp e zmode o án kolegy němčináři. Následně byl p e es o án na
skupinách s uden ů, jejichž jazyko á ú o eň odpo ídá SLP 1. Tes ses á al ze d ou čás í.
V p ní čás i byla es o ána do ednos poslech s po ozuměním, e d uhé po om č ení
s po ozuměním, k e é zah nuje mj. i položky es ující g ama ické je y a slo ní zásobu.
29
Vzhledem k poč u es o aných s uden ů – poslech 71 a č ení 63 – lze po ažo a ýsledná
čísla analýzy za dos a ečně ep ezen a i ní.
Da a z es ů byla učně kládána do poznámko ého bloku, což bylo s ohledem na množs í
položek – poslech 30 a č ení 70 – a poče s uden ů časo ě značně ná očné.
Zd oj: las ní
Fig. 1: Poznámko ý blok
Nyní ys ě líme, co znamenají jedno li é údaje na Ob . 1 (Fig. 1). Na p ním řádku najdeme
poče položek es u, písmeno „o“ značící ynechanou odpo ěď, písmeno „n“ značící
nes ihnu ou odpo ěď a poče znaků p o napsání iden i ikačních údajů s uden ů (např.
příjmení). Do d uhého řádku se zaznamená á klíč sp á ných odpo ědí. Ve ře ím řádku
najdeme poče nabízených možnos í a e č ém řádku se u ádí poče sp á ných odpo ědí.
Od pá ého řádku se pak kládají iden i ikační údaje s uden ů a jejich odpo ědi u jedno li ých
položek [1].
Ten o soubo je následně ložen do p og amu ITEMAN, k e ý p o ede p ní yhodnocení.
Na základě oho o musí bý p o edena kon ola údajů, aby se yloučily překlepy nebo chybné
souč y bodů při op a ě, což by zk eslilo celko é ýsledky. Tak o z e ido aný soubo je
pod uhé yhodnocen p og amem ITEMAN a pak následuje las ní položko á analýza.
2 Položko á analýza
V našem případě jsme analyzo aly celkem 100 položek, z nichž každá má po zp aco ání
p og amem ITEMAN následující podobu iz Ob . 2 (Fig. 2).
Zd oj: las ní
Fig. 2: Položko á analýza-jedno li í ukaza elé
Při analýze se p acuje s jedno li ými ukaza eli [3]:
 Seq. No. – pořado é číslo položky,
 Scale-I em – pořado é číslo položky sub es u,
 P op. Co ec – podíl/p ocen o sp á ných odpo ědí (0 až 1), ideální 0,3-0,8,
I em S a is ics Al e na i e S a is ics
----------------------- -----------------------------------
Seq. Scale P op. Disc. Poin P op. Endo sing Poin
No. -I em Co ec Index Bise . Al . To al Low High Bise . Key
---- ----- ------- ------ ------ ----- ----- ---- ---- ------ ---
22 1-22 .62 .59 .53 A .62 .35 .94 .53 *
B .27 .53 .06 -.48
C .03 .00 .00 .01
D .08 .12 .00 -.16
O he .00 .00 .00
30
 Disc. Index – ci li os položky/ ozdíl mezi úspěšnos í lepší a ho ší ře iny (-1 až +1),
přija elné od 0,3,
 Poin Bise . – ko elace úspěšnos i u položky s celko ým skó em es o aného (-1 až
+1), přija elné od 0,3,
 Al . – dis ak o y,
 P op. To al – podíl/p ocen o odpo ědí u jedno li ých dis ak o ů celkem (0 až 1),
 Endo sing Low – podíl/p ocen o odpo ědí u jedno li ých dis ak o ů ho ší ře ině (0
až 1),
 Endo sing High – podíl/p ocen o odpo ědí u jedno li ých dis ak o ů lepší ře ině (0
až 1),
 Key – označení sp á né odpo ědi.
2.1 Dob é položky
Příkladem dob é položky je např. číslo 22 čás i č ení s po ozuměním, její s a is ické
yhodnocení iz Ob . 2 (Fig. 2). Ob ížnos úlohy je přiměřená – sp á ně ji zodpo ědělo 62 %
s uden ů, ideálně by se en o ukaza el měl pohybo a ozmezí 30 % – 80 %. Položka je
dos a ečně ci li á, p o ože dobře ozlišuje ho ší s uden y od lepších – sp á ně odpo ědělo
94 % s uden ů z lepší ře iny, ale jen 35 % z ho ší ře iny, ozdíl je edy 59 %, přičemž
přija elná hodno a začíná od 30 %. Posledním důleži ým ukaza elem k ali y položky je Poin
Bise ., edy ko elace úspěšnos i u dané úlohy s celko ým skó em es o aného. Pokud nabý á
hodno y 0,3 a íce (čím blíže k 1,0, ím lépe), dokáže dobře předpo ědě celko ý ýsledek
s uden a es u. V případě é o konk é ní položky se jedná o hodno u 0,53.
Tak o ypadala daná úloha es u:
22. Ich bin e ns k ank, mein A z ha mi A znei -----.
a) e sch ieben
b) gesch ieben
c) nachsch ieben
d) zusch ieben
2.2 Špa né položky
Na základě položko é analýzy jsme ozdělily ne yho ující položky do č yř následujících
ka ego ií:
 příliš snadné,
 příliš ob ížné,
 ne ozlišující mezi ho šími a lepšími s uden y,
 chybně předpo ídající ýsledek s uden a celém es u.
2.2.1 Příliš snadné položky
V ámci celého es u (100 úloh) se ukázalo, že příliš snadných položek bylo pě . Na jednom
příkladu budeme demons o a , jak en o yp špa né položky yhodno il p og am ITEMAN –
Ob . 3 (Fig. 3).
31
Zd oj: las ní
Fig. 3: Položko á analýza-ukázka příliš snadné položky
Jednalo se o číslo 39 čás i č ení s po ozuměním. Úloha je příliš snadná – sp á ně ji
zodpo ědělo 98 % s uden ů, a udíž není dos a ečně ci li á, neboť ozdíl mezi ho ší a lepší
ře inou s uden ů činí pouze 6 %. Poslední důleži ý ukaza el k ali y položky Poin Bise .
ykazuje h aniční přípus nou hodno u 0,3.
Zadání es u ypadalo následo ně:
39. Die Schwes e meine Mu e is meine:
a) Nich e
b) Oma
c) F au
d) Tan e
2.2.2 Příliš ob ížné položky
V ámci celého es u (100 úloh) se ukázalo, že příliš ob ížné položky byly pouze ři. Na
následujícím příkladu ukážeme, jak en o yp špa né položky yhodno il p og am ITEMAN –
Ob . 4 (Fig. 4).
Zd oj: las ní
Fig. 4: Položko á analýza-ukázka příliš ob ížné položky
Jednalo se o číslo 59 čás i č ení s po ozuměním. Položka je příliš ob ížná – sp á ně ji
zodpo ědělo jen 25 % s uden ů. Jinak je ale dos a ečně ci li á – ozdíl mezi ho ší a lepší
ře inou s uden ů je 61 % – i dobře předpo ídá ýsledek s uden ů celém es u, neboť
poslední důleži ý ukaza el Poin Bise . ykazuje solidní hodno u 0,52.
Tak o ypadala daná položka es u:
59. Neue E ah ung
Die Schule wa ande s als in Deu schland. Ich ha e jeden Tag ach bis neun S unden. Am
An ang habe ich na ü lich seh schlech Spanisch gesp ochen. Die Schüle in meine Klasse
32
wa en oll! Im Feb ua haben wi Thea e gespiel , es wa chao isch, s essig, abe wi haben
so iel gelach .
Wo übe sp ich die Pe son?
a) Übe ih en Fe iensp achku s.
b) Übe ih e Klassen ah nach Spanien.
c) Übe ih en Aus auschau en hal .
d) Übe ih en Thea e ku s.
2.2.3 Položky ne ozlišující mezi ho šími a lepšími s uden y
V ámci celého es u (100 položek) se ukázalo, že y o úlohy byly č yři. Na dalším příkladu
budeme demons o a , jak en o yp špa né položky yhodno il p og am ITEMAN – Ob . 5
(Fig. 5).
Zd oj: las ní
Fig. 5: Položko á analýza-ukázka položky ne ozlišující mezi ho šími a lepšími s uden y
Jednalo se o číslo 11 čás i č ení s po ozuměním. Položka je pomě ně ob ížná – sp á ně ji
zodpo ědělo jen 27 % s uden ů. Další ukaza ele jsou ale ješ ě mnohem ho ší – ozdíl mezi
ho ší a lepší ře inou s uden ů nabý á zápo ných hodno (–13 %), p o ože en o úkol sp á ně
yřešilo 41 % s uden ů z ho ší ře iny, ale jen 28 % s uden ů z lepší ře iny. Vě šina dob ých
s uden ů si naopak z olila možnos B, p o o je u oho o ypu špa ných položek nu né o ěři
sp á nos klíče. Ta o úloha na íc ne zcela dobře předpo ídá ýsledek s uden ů celém es u,
neboť poslední ukaza el Poin Bise . je pouze 0,07.
Tak o ypadala daná položka es u:
11. Das Fe nsehen übe äg heu e ein Fußballspiel. Ich -----.
a) sehe es sich an.
b) sehe es mich an.
c) ansehe es mi .
d) sehe es mi an.
2.2.4 Položky chybně předpo ídající ýsledek s uden a celém es u
V ámci celého es u (100 úloh) se ukázalo, že položky chybně předpo ídající ýsledek
s uden a celém es u byly ři. Na následujícím příkladu ukážeme, jak en o yp špa né
položky yhodno il p og am ITEMAN – Ob . 6 (Fig. 6).
I em S a is ics Al e na i e S a is ics
----------------------- -----------------------------------
Seq. Scale P op. Disc. Poin P op. Endo sing Poin
No. -I em Co ec Index Bise . Al . To al Low High Bise . Key
---- ----- ------- ------ ------ ----- ----- ---- ---- ------ -
11 1-11 .27 -.13 .07 A .17 .24 .11 -.16
B .54 .29 .61 .14 ?
CHECK THE KEY C .00 .00 .00
d was speci ied, b wo ks be e D .27 .41 .28 .07 *
O he .02 .00 .00 -.30

33
Zd oj: las ní
Fig. 6: Položko á analýza-ukázka položky chybně předpo ídající ýsledek s uden a celém
es u
Jednalo se o číslo 15 čás i č ení s po ozuměním. Položka je pomě ně ob ížná – sp á ně ji
zodpo ědělo jen 24 % s uden ů. Další d a ukaza ele jsou šak ješ ě pods a ně ho ší – ozdíl
mezi ho ší a lepší ře inou s uden ů nabý á podobně jako předcházejícím příkladu 2.2.3
zápo ných hodno (–13 %), p o ože en o úkol sp á ně yřešilo 29 % s uden ů z ho ší ře iny,
ale jen 17 % s uden ů z lepší ře iny. Vě šina dob ých s uden ů si naopak z olila možnos B,
p o o je nu né o ěři sp á nos klíče. Ta o položka na íc ůbec nepředpo ídá sp á ně
ýsledek s uden ů celém es u, neboť poslední ukaza el Poin Bise . je o něž zápo ný (–
0,11).
Úloha es u ypadala následo ně:
15. Gehs du auch hin? – Ich kann nich hingehen, denn ------.
a) habe ich keine Zei .
b) ich keine Zei habe.
c) keine Zei ich habe.
d) ich habe keine Zei .
3 Aplikace ýsledků položko é analýzy
Na základě položko é analýzy se nám podařilo ozděli položky na dob é a špa né. Aby byl
es co nejk ali nější, je žádoucí se špa nými úlohami dále p aco a . P o jedno li é ypy
na hujeme následující možnos i pos upu:
a) příliš snadné – umís i na začá ek/dop os řed es u, popř. z íži ,
b) příliš ob ížné – zjednoduši (zk á i dis ak o y, pře o mulo a ) nebo použí es u
yšší ú o ně,
c) ne ozlišující mezi ho šími a lepšími s uden y – yřadi z es u, pře o mulo a ,
yhnou se ýjimkám,
d) chybně předpo ídající ýsledek s uden a celém es u – yřadi z es u,
pře o mulo a , yhnou se ýjimkám.
A nyní přejdeme k ukázce oho, jak jsme při aplikaci ýsledků pos upo aly u ýše zmíněných
č yř konk é ních příkladů špa ných položek.
Ad a) U položky číslo 39 jsme se ozhodly ji z íži jednak pře o mulo áním zadání, jednak
olbou ob ížnějších dis ak o ů.
I em S a is ics Al e na i e S a is ics
----------------------- -----------------------------------
Seq. Scale P op. Disc. Poin P op. Endo sing Poin
No. -I em Co ec Index Bise . Al . To al Low High Bise . Key
---- ----- ------- ------ ------ ----- ----- ---- ---- ------ ---
15 1-15 .24 -.13 -.11 A .40 .47 .33 -.14
B .30 .12 .44 .34 ?
CHECK THE KEY C .02 .06 .00 -.13
d was speci ied, b wo ks be e D .24 .29 .17 -.11 *
O he .05 .00 .00 -.12
34
Ná h no ého znění úkolu:
39. Die Toch e meine Schwes e is meine:
a) Nich e
b) Cousine
c) Enkelin
d) Schwiege och e
Ad b) Položku číslo 59, k e á je až na ysokou ob ížnos jiných k i é iích alidní, jsme
ponechaly pů odní podobě a yužijeme ji při o bě es u na yšší ú o eň.
Ad c) U úlohy číslo 11 jsme zacho aly yp g ama ického je u, ale yb aly jsme jiné slo eso,
jehož ekci si s uden i snáze zapama ují.
Ná h no é podoby zadání:
11. Wi kennen uns noch nich . __________
a) Ich s elle sich o .
b) Ich s elle mich o .
c) Ich s elle mi o .
d) Ich s elle di o .
Ad d) Zadání číslo 15 jsme pře o mulo aly, přičemž jsme opě zacho aly yp g ama ického
je u, ale použily jsme jinou spojku souřadicí, k e ou s uden i nezaměňují se synonymní
spojkou podřadicí.
Ná h no é položky:
15. Gehs du auch hin? – Nein, abe ------.
a) es u mi seh Leid.
b) u es mi seh Leid.
c) es mi seh Leid u .
d) u mi es seh Leid.
Zá ě
Vzhledem k celko ým ýsledkům yhodnocení našeho es u p og amem ITEMAN, kdy
hodno a Alpha u č ení s po ozuměním dosahuje 0,890 a u poslechu s po ozuměním 0,839, jej
lze označi za ysoce alidní a eliabilní. Obecně lze říci, že pokud je ukaza el Alpha yšší
než 0,6, je es přija elný, a čím íce se blíží 1,0, ím je k ali nější.
P o o není nezby ně nu né es přep aco a , nicméně na základě položko é analýzy bylo
y ipo áno 15 úloh, se k e ými by bylo hodné ješ ě dále p aco a . Něk e é budou ypuš ěny,
další pře o mulo ány nebo přemís ěny ámci s á ajícího es u, popř. použi y es ech jiné
ú o ně. Tím o způsobem up a ený es bude po é použi na CJP UO.
P áce s p og amem ITEMAN se nám os ědčila. U ědomily jsme si například, že něk e é
položky, k e é nám při o bě přišly nap os o jednoznačné, se e sku ečnos i p oje ily jako
za ádějící. Vzhledem k ak u, že nás čeká y áření es ů na další ú o ně, počí áme i
budoucnu s yuži ím oho o so wa u a no ě naby ých zkušenos í.
Li e a u a
[1] BYČKOVSKÝ, P., MARKOVÁ, M., 2003. Využi í so wa e ITEMAN k položko é
analýze a analýze ýsledků es ů. In Sociální a kul u ní sou islos i ýcho y a
zdělá ání: 11. ý oční meziná odní kon e ence ČAPV: Sbo ník e e á ů [CD-ROM].
B no: Masa yko a uni e zi a, Pedagogická akul a, 2003.
35
[2] Handbuch zu En wicklung und Du ch üh ung on Sp ach es s. ALTE. F ank u am
Main: elc GmbH, 2012. ISBN: 978-3-86375-093-0.
[3] Use ’s Manual o he ITEMAN Con en ional I em Analysis P og am. Assessmen
Sys ems Co po a ion.
[4] I eman 4 - Tes and i em analysis so wa e wi h classical es heo y [online]. 2010 [ci .
2013-09-28]. Dos upné z: <h p://assess.com/xca /p oduc .php?p oduc id=417>.
PhD . E a H adilo á; Mg . Te eza K upko á
36
THE ITEM ANALYSIS OF GERMAN LANGUAGE TESTS THROUGH THE ITEMAN
APPLICATION
The pape deals wi h he es ing a he Language T aining Cen e o he Uni e si y o De ense
in B no (CJP UO). Speci ically, he analysis and he Ge man es s e alua ion ollowing he
NATO STANAG 6001 SLP 1 (A1-A2 CEFR) s anda ds h ough he s a is ical so wa e
ITEMAN is conside ed. The aim o he esea ch was o ind ou whe he he es is alid and
eliable. Fi s ly, he applica ion ITEMAN is desc ibed, u he on he pape ca ies on wi h he
p ocess o p elimina y wo k. The la ges pa o he a icle is de o ed o he analysis and i em
analysis o he bad es i ems. Finally, he p ocedu es o some inapp op ia e i ems
p oo eading a e p oposed.
ANALYSE VON DEUTSCHTESTS MIT HILFE DES PROGRAMMS ITEMAN
De Bei ag be ass sich mi de P oblema ik des Tes ens am Zen um ü
F emdsp achenausbildung an de Ve eidigungsuni e si ä in B ünn (CJP UO). Konk e
handel es sich um die Analyse und Auswe ung eines Deu sch es es gemäß des NATO-
S anda ds STANAG 6001 Leis ungss u e 1 (A1-A2 gemäß GeR) mi els de s a is ischen
So wa e ITEMAN. Das Fo schungsziel wa es zus ellen, inwiewei de Tes alide und
eliabel is . An angs wi d das Compu e p og amm ITEMAN o ges ell , wei e wi d das
Vo be ei ungs e ah en besch ieben. De wesen liche Teil des A ikels be i die
Au gabenanalyse und E ö e ung schlech e Tes au gaben. Zum Schluss wi d o geschlagen,
wie einige on diesen nich geeigne en Tes au gaben zu e besse n sind.
ANALIZA ZADAŃ TESTOWYCH JĘZYKA NIEMIECKIEGO PRZY POMOCY PROGRAMU
ITEMAN
W a ykule p zeds awiono sposób p zep owadzania es ów w Cen um P zygo owania
Językowego Uniwe sy e u Ob ony w B nie. Konk e nie op acowanie do yczy analizy i oceny
es u języka niemieckiego według no my NATO STANAG 6001 SLP 1 (A1-A2 wg
poziomów biegłości językowej CEFR) p zep owadzonej p zy pomocy op og amowania
s a ys ycznego ITEMAN. Celem p zep owadzonych badań było s wie dzenie, na ile dany es
jes s osowny i ze elny. W pie wszej kolejności scha ak e yzowano p og am ITEMAN,
nas ępnie opisano p zebieg p ac p zygo owawczych. Największa część a ykułu do yczy
analizy poszczególnych zadań es owych o az zbadania zadań niep awidłowych. Na
zakończenie p zeds awiono p opozycję ko ek y niek ó ych niewłaściwych zadań.