Položková analýza testu z německého jazyka pomocí programu ITEMAN

28 POLOŽKOVÁ ANALÝZA TESTU Z NĚMECKÉHO JAZYKA POMOCÍ PROGRAMU ITEMAN E a H adilo á * Te eza K upko á Uni e zi a ob any B no Cen um jazyko é příp a y Kounico a 65, 622 10 B no, Česká epublika e a.h a[email p o ec ed] * e eza.k upko [email protected] Abs ak Příspě ek se zabý á p oblema ikou es o ání na Cen u jazyko é příp a y Uni e zi y ob any B ně (CJP UO). Konk é ně jde o analýzu a yhodnocení es u NJ podle no my NATO STANAG 6001 SLP 1 (A1-A2 dle SERR) pomocí s a is ického so wa u ITEMAN. Cílem ýzkumu bylo zjis i , nakolik je daný es alidní a eliabilní. Nejp e je cha ak e izo án p og am ITEMAN, dále je popsán p ůběh příp a ných p ací. Nej ě ší čás článku je ěno ána položko é analýze a ozbo u špa ných es o ých položek. Na zá ě je na ženo, jak pos upo a při ko ek uře něk e ých ne hodných položek. ÚVOD Příspě ek se zabý á p oblema ikou es o ání na Cen u jazyko é příp a y Uni e zi y ob any B ně (CJP UO). Konk é ně jde o analýzu a yhodnocení es u NJ podle no my NATO STANAG 6001 SLP 1 (A1-A2 dle SERR) pomocí s a is ického so wa u ITEMAN. Ten o es bude yuží án na Oddělení os a ních jazyků k přezkoušení ci ilních s uden ů 1. očníku Bc. Na základě oho o o ěření znalos í bude s uden ům udělen zápoče za jeden semes , pokud dosáhnou alespoň 65 % úspěšnos i. Cílem ýzkumu bylo p o o zjis i , nakolik je daný es alidní a eliabilní, popř. ho na základě p o edené položko é analýzy náleži ě up a i . 1 P og am ITEMAN a příp a né p áce 1.1 P og am ITEMAN P og am ITEMAN je s a is ický so wa e ame ické i my Assessmen Sys ems Co po a ion u čený p o analýzu jedno li ých es o ých položek ypu mul iple choice i cho ání es u jako celku [4]. Výsledkem analýzy jsou ůzné číselné údaje, na jejichž základě je možné yhodno i , zda jsou jedno li é úlohy alidní a eliabilní či naopak špa né a nespolehli é. Dále můžeme po o na úspěšnos lepší a ho ší ře iny s uden ů u jedno li ých položek, zjis i dosažené minimum a maximum bodů ámci celého es u, p ůmě ný ýsledek a medián, k e ého s uden i při om o přezkoušení dosáhli [3]. Při souh nném yhodnocení celého es u je důleži ým údajem koe icien Alpha, k e ý udá á, nakolik je es jako celek eliabilní [3]. 1.2 Příp a né p áce Námi y ořený es byl nejp e zmode o án kolegy němčináři. Následně byl p e es o án na skupinách s uden ů, jejichž jazyko á ú o eň odpo ídá SLP 1. Tes ses á al ze d ou čás í. V p ní čás i byla es o ána do ednos poslech s po ozuměním, e d uhé po om č ení s po ozuměním, k e é zah nuje mj. i položky es ující g ama ické je y a slo ní zásobu. 29 Vzhledem k poč u es o aných s uden ů – poslech 71 a č ení 63 – lze po ažo a ýsledná čísla analýzy za dos a ečně ep ezen a i ní. Da a z es ů byla učně kládána do poznámko ého bloku, což bylo s ohledem na množs í položek – poslech 30 a č ení 70 – a poče s uden ů časo ě značně ná očné. Zd oj: las ní Fig. 1: Poznámko ý blok Nyní ys ě líme, co znamenají jedno li é údaje na Ob . 1 (Fig. 1). Na p ním řádku najdeme poče položek es u, písmeno „o“ značící ynechanou odpo ěď, písmeno „n“ značící nes ihnu ou odpo ěď a poče znaků p o napsání iden i ikačních údajů s uden ů (např. příjmení). Do d uhého řádku se zaznamená á klíč sp á ných odpo ědí. Ve ře ím řádku najdeme poče nabízených možnos í a e č ém řádku se u ádí poče sp á ných odpo ědí. Od pá ého řádku se pak kládají iden i ikační údaje s uden ů a jejich odpo ědi u jedno li ých položek [1]. Ten o soubo je následně ložen do p og amu ITEMAN, k e ý p o ede p ní yhodnocení. Na základě oho o musí bý p o edena kon ola údajů, aby se yloučily překlepy nebo chybné souč y bodů při op a ě, což by zk eslilo celko é ýsledky. Tak o z e ido aný soubo je pod uhé yhodnocen p og amem ITEMAN a pak následuje las ní položko á analýza. 2 Položko á analýza V našem případě jsme analyzo aly celkem 100 položek, z nichž každá má po zp aco ání p og amem ITEMAN následující podobu iz Ob . 2 (Fig. 2). Zd oj: las ní Fig. 2: Položko á analýza-jedno li í ukaza elé Při analýze se p acuje s jedno li ými ukaza eli [3]:  Seq. No. – pořado é číslo položky,  Scale-I em – pořado é číslo položky sub es u,  P op. Co ec – podíl/p ocen o sp á ných odpo ědí (0 až 1), ideální 0,3-0,8, I em S a is ics Al e na i e S a is ics ----------------------- ----------------------------------- Seq. Scale P op. Disc. Poin P op. Endo sing Poin No. -I em Co ec Index Bise . Al . To al Low High Bise . Key ---- ----- ------- ------ ------ ----- ----- ---- ---- ------ --- 22 1-22 .62 .59 .53 A .62 .35 .94 .53 * B .27 .53 .06 -.48 C .03 .00 .00 .01 D .08 .12 .00 -.16 O he .00 .00 .00 30  Disc. Index – ci li os položky/ ozdíl mezi úspěšnos í lepší a ho ší ře iny (-1 až +1), přija elné od 0,3,  Poin Bise . – ko elace úspěšnos i u položky s celko ým skó em es o aného (-1 až +1), přija elné od 0,3,  Al . – dis ak o y,  P op. To al – podíl/p ocen o odpo ědí u jedno li ých dis ak o ů celkem (0 až 1),  Endo sing Low – podíl/p ocen o odpo ědí u jedno li ých dis ak o ů ho ší ře ině (0 až 1),  Endo sing High – podíl/p ocen o odpo ědí u jedno li ých dis ak o ů lepší ře ině (0 až 1),  Key – označení sp á né odpo ědi. 2.1 Dob é položky Příkladem dob é položky je např. číslo 22 čás i č ení s po ozuměním, její s a is ické yhodnocení iz Ob . 2 (Fig. 2). Ob ížnos úlohy je přiměřená – sp á ně ji zodpo ědělo 62 % s uden ů, ideálně by se en o ukaza el měl pohybo a ozmezí 30 % – 80 %. Položka je dos a ečně ci li á, p o ože dobře ozlišuje ho ší s uden y od lepších – sp á ně odpo ědělo 94 % s uden ů z lepší ře iny, ale jen 35 % z ho ší ře iny, ozdíl je edy 59 %, přičemž přija elná hodno a začíná od 30 %. Posledním důleži ým ukaza elem k ali y položky je Poin Bise ., edy ko elace úspěšnos i u dané úlohy s celko ým skó em es o aného. Pokud nabý á hodno y 0,3 a íce (čím blíže k 1,0, ím lépe), dokáže dobře předpo ědě celko ý ýsledek s uden a es u. V případě é o konk é ní položky se jedná o hodno u 0,53. Tak o ypadala daná úloha es u: 22. Ich bin e ns k ank, mein A z ha mi A znei -----. a) e sch ieben b) gesch ieben c) nachsch ieben d) zusch ieben 2.2 Špa né položky Na základě položko é analýzy jsme ozdělily ne yho ující položky do č yř následujících ka ego ií:  příliš snadné,  příliš ob ížné,  ne ozlišující mezi ho šími a lepšími s uden y,  chybně předpo ídající ýsledek s uden a celém es u. 2.2.1 Příliš snadné položky V ámci celého es u (100 úloh) se ukázalo, že příliš snadných položek bylo pě . Na jednom příkladu budeme demons o a , jak en o yp špa né položky yhodno il p og am ITEMAN – Ob . 3 (Fig. 3). 31 Zd oj: las ní Fig. 3: Položko á analýza-ukázka příliš snadné položky Jednalo se o číslo 39 čás i č ení s po ozuměním. Úloha je příliš snadná – sp á ně ji zodpo ědělo 98 % s uden ů, a udíž není dos a ečně ci li á, neboť ozdíl mezi ho ší a lepší ře inou s uden ů činí pouze 6 %. Poslední důleži ý ukaza el k ali y položky Poin Bise . ykazuje h aniční přípus nou hodno u 0,3. Zadání es u ypadalo následo ně: 39. Die Schwes e meine Mu e is meine: a) Nich e b) Oma c) F au d) Tan e 2.2.2 Příliš ob ížné položky V ámci celého es u (100 úloh) se ukázalo, že příliš ob ížné položky byly pouze ři. Na následujícím příkladu ukážeme, jak en o yp špa né položky yhodno il p og am ITEMAN – Ob . 4 (Fig. 4). Zd oj: las ní Fig. 4: Položko á analýza-ukázka příliš ob ížné položky Jednalo se o číslo 59 čás i č ení s po ozuměním. Položka je příliš ob ížná – sp á ně ji zodpo ědělo jen 25 % s uden ů. Jinak je ale dos a ečně ci li á – ozdíl mezi ho ší a lepší ře inou s uden ů je 61 % – i dobře předpo ídá ýsledek s uden ů celém es u, neboť poslední důleži ý ukaza el Poin Bise . ykazuje solidní hodno u 0,52. Tak o ypadala daná položka es u: 59. Neue E ah ung Die Schule wa ande s als in Deu schland. Ich ha e jeden Tag ach bis neun S unden. Am An ang habe ich na ü lich seh schlech Spanisch gesp ochen. Die Schüle in meine Klasse 32 wa en oll! Im Feb ua haben wi Thea e gespiel , es wa chao isch, s essig, abe wi haben so iel gelach . Wo übe sp ich die Pe son? a) Übe ih en Fe iensp achku s. b) Übe ih e Klassen ah nach Spanien. c) Übe ih en Aus auschau en hal . d) Übe ih en Thea e ku s. 2.2.3 Položky ne ozlišující mezi ho šími a lepšími s uden y V ámci celého es u (100 položek) se ukázalo, že y o úlohy byly č yři. Na dalším příkladu budeme demons o a , jak en o yp špa né položky yhodno il p og am ITEMAN – Ob . 5 (Fig. 5). Zd oj: las ní Fig. 5: Položko á analýza-ukázka položky ne ozlišující mezi ho šími a lepšími s uden y Jednalo se o číslo 11 čás i č ení s po ozuměním. Položka je pomě ně ob ížná – sp á ně ji zodpo ědělo jen 27 % s uden ů. Další ukaza ele jsou ale ješ ě mnohem ho ší – ozdíl mezi ho ší a lepší ře inou s uden ů nabý á zápo ných hodno (–13 %), p o ože en o úkol sp á ně yřešilo 41 % s uden ů z ho ší ře iny, ale jen 28 % s uden ů z lepší ře iny. Vě šina dob ých s uden ů si naopak z olila možnos B, p o o je u oho o ypu špa ných položek nu né o ěři sp á nos klíče. Ta o úloha na íc ne zcela dobře předpo ídá ýsledek s uden ů celém es u, neboť poslední ukaza el Poin Bise . je pouze 0,07. Tak o ypadala daná položka es u: 11. Das Fe nsehen übe äg heu e ein Fußballspiel. Ich -----. a) sehe es sich an. b) sehe es mich an. c) ansehe es mi . d) sehe es mi an. 2.2.4 Položky chybně předpo ídající ýsledek s uden a celém es u V ámci celého es u (100 úloh) se ukázalo, že položky chybně předpo ídající ýsledek s uden a celém es u byly ři. Na následujícím příkladu ukážeme, jak en o yp špa né položky yhodno il p og am ITEMAN – Ob . 6 (Fig. 6). I em S a is ics Al e na i e S a is ics ----------------------- ----------------------------------- Seq. Scale P op. Disc. Poin P op. Endo sing Poin No. -I em Co ec Index Bise . Al . To al Low High Bise . Key ---- ----- ------- ------ ------ ----- ----- ---- ---- ------ - 11 1-11 .27 -.13 .07 A .17 .24 .11 -.16 B .54 .29 .61 .14 ? CHECK THE KEY C .00 .00 .00 d was speci ied, b wo ks be e D .27 .41 .28 .07 * O he .02 .00 .00 -.30 33 Zd oj: las ní Fig. 6: Položko á analýza-ukázka položky chybně předpo ídající ýsledek s uden a celém es u Jednalo se o číslo 15 čás i č ení s po ozuměním. Položka je pomě ně ob ížná – sp á ně ji zodpo ědělo jen 24 % s uden ů. Další d a ukaza ele jsou šak ješ ě pods a ně ho ší – ozdíl mezi ho ší a lepší ře inou s uden ů nabý á podobně jako předcházejícím příkladu 2.2.3 zápo ných hodno (–13 %), p o ože en o úkol sp á ně yřešilo 29 % s uden ů z ho ší ře iny, ale jen 17 % s uden ů z lepší ře iny. Vě šina dob ých s uden ů si naopak z olila možnos B, p o o je nu né o ěři sp á nos klíče. Ta o položka na íc ůbec nepředpo ídá sp á ně ýsledek s uden ů celém es u, neboť poslední ukaza el Poin Bise . je o něž zápo ný (– 0,11). Úloha es u ypadala následo ně: 15. Gehs du auch hin? – Ich kann nich hingehen, denn ------. a) habe ich keine Zei . b) ich keine Zei habe. c) keine Zei ich habe. d) ich habe keine Zei . 3 Aplikace ýsledků položko é analýzy Na základě položko é analýzy se nám podařilo ozděli položky na dob é a špa né. Aby byl es co nejk ali nější, je žádoucí se špa nými úlohami dále p aco a . P o jedno li é ypy na hujeme následující možnos i pos upu: a) příliš snadné – umís i na začá ek/dop os řed es u, popř. z íži , b) příliš ob ížné – zjednoduši (zk á i dis ak o y, pře o mulo a ) nebo použí es u yšší ú o ně, c) ne ozlišující mezi ho šími a lepšími s uden y – yřadi z es u, pře o mulo a , yhnou se ýjimkám, d) chybně předpo ídající ýsledek s uden a celém es u – yřadi z es u, pře o mulo a , yhnou se ýjimkám. A nyní přejdeme k ukázce oho, jak jsme při aplikaci ýsledků pos upo aly u ýše zmíněných č yř konk é ních příkladů špa ných položek. Ad a) U položky číslo 39 jsme se ozhodly ji z íži jednak pře o mulo áním zadání, jednak olbou ob ížnějších dis ak o ů. I em S a is ics Al e na i e S a is ics ----------------------- ----------------------------------- Seq. Scale P op. Disc. Poin P op. Endo sing Poin No. -I em Co ec Index Bise . Al . To al Low High Bise . Key ---- ----- ------- ------ ------ ----- ----- ---- ---- ------ --- 15 1-15 .24 -.13 -.11 A .40 .47 .33 -.14 B .30 .12 .44 .34 ? CHECK THE KEY C .02 .06 .00 -.13 d was speci ied, b wo ks be e D .24 .29 .17 -.11 * O he .05 .00 .00 -.12 34 Ná h no ého znění úkolu: 39. Die Toch e meine Schwes e is meine: a) Nich e b) Cousine c) Enkelin d) Schwiege och e Ad b) Položku číslo 59, k e á je až na ysokou ob ížnos jiných k i é iích alidní, jsme ponechaly pů odní podobě a yužijeme ji při o bě es u na yšší ú o eň. Ad c) U úlohy číslo 11 jsme zacho aly yp g ama ického je u, ale yb aly jsme jiné slo eso, jehož ekci si s uden i snáze zapama ují. Ná h no é podoby zadání: 11. Wi kennen uns noch nich . __________ a) Ich s elle sich o . b) Ich s elle mich o . c) Ich s elle mi o . d) Ich s elle di o . Ad d) Zadání číslo 15 jsme pře o mulo aly, přičemž jsme opě zacho aly yp g ama ického je u, ale použily jsme jinou spojku souřadicí, k e ou s uden i nezaměňují se synonymní spojkou podřadicí. Ná h no é položky: 15. Gehs du auch hin? – Nein, abe ------. a) es u mi seh Leid. b) u es mi seh Leid. c) es mi seh Leid u . d) u mi es seh Leid. Zá ě Vzhledem k celko ým ýsledkům yhodnocení našeho es u p og amem ITEMAN, kdy hodno a Alpha u č ení s po ozuměním dosahuje 0,890 a u poslechu s po ozuměním 0,839, jej lze označi za ysoce alidní a eliabilní. Obecně lze říci, že pokud je ukaza el Alpha yšší než 0,6, je es přija elný, a čím íce se blíží 1,0, ím je k ali nější. P o o není nezby ně nu né es přep aco a , nicméně na základě položko é analýzy bylo y ipo áno 15 úloh, se k e ými by bylo hodné ješ ě dále p aco a . Něk e é budou ypuš ěny, další pře o mulo ány nebo přemís ěny ámci s á ajícího es u, popř. použi y es ech jiné ú o ně. Tím o způsobem up a ený es bude po é použi na CJP UO. P áce s p og amem ITEMAN se nám os ědčila. U ědomily jsme si například, že něk e é položky, k e é nám při o bě přišly nap os o jednoznačné, se e sku ečnos i p oje ily jako za ádějící. Vzhledem k ak u, že nás čeká y áření es ů na další ú o ně, počí áme i budoucnu s yuži ím oho o so wa u a no ě naby ých zkušenos í. Li e a u a [1] BYČKOVSKÝ, P., MARKOVÁ, M., 2003. Využi í so wa e ITEMAN k položko é analýze a analýze ýsledků es ů. In Sociální a kul u ní sou islos i ýcho y a zdělá ání: 11. ý oční meziná odní kon e ence ČAPV: Sbo ník e e á ů [CD-ROM]. B no: Masa yko a uni e zi a, Pedagogická akul a, 2003. 35 [2] Handbuch zu En wicklung und Du ch üh ung on Sp ach es s. ALTE. F ank u am Main: elc GmbH, 2012. ISBN: 978-3-86375-093-0. [3] Use ’s Manual o he ITEMAN Con en ional I em Analysis P og am. Assessmen Sys ems Co po a ion. [4] I eman 4 - Tes and i em analysis so wa e wi h classical es heo y [online]. 2010 [ci . 2013-09-28]. Dos upné z: <h p://assess.com/xca /p oduc .php?p oduc id=417>. PhD . E a H adilo á; Mg . Te eza K upko á 36 THE ITEM ANALYSIS OF GERMAN LANGUAGE TESTS THROUGH THE ITEMAN APPLICATION The pape deals wi h he es ing a he Language T aining Cen e o he Uni e si y o De ense in B no (CJP UO). Speci ically, he analysis and he Ge man es s e alua ion ollowing he NATO STANAG 6001 SLP 1 (A1-A2 CEFR) s anda ds h ough he s a is ical so wa e ITEMAN is conside ed. The aim o he esea ch was o ind ou whe he he es is alid and eliable. Fi s ly, he applica ion ITEMAN is desc ibed, u he on he pape ca ies on wi h he p ocess o p elimina y wo k. The la ges pa o he a icle is de o ed o he analysis and i em analysis o he bad es i ems. Finally, he p ocedu es o some inapp op ia e i ems p oo eading a e p oposed. ANALYSE VON DEUTSCHTESTS MIT HILFE DES PROGRAMMS ITEMAN De Bei ag be ass sich mi de P oblema ik des Tes ens am Zen um ü F emdsp achenausbildung an de Ve eidigungsuni e si ä in B ünn (CJP UO). Konk e handel es sich um die Analyse und Auswe ung eines Deu sch es es gemäß des NATO- S anda ds STANAG 6001 Leis ungss u e 1 (A1-A2 gemäß GeR) mi els de s a is ischen So wa e ITEMAN. Das Fo schungsziel wa es zus ellen, inwiewei de Tes alide und eliabel is . An angs wi d das Compu e p og amm ITEMAN o ges ell , wei e wi d das Vo be ei ungs e ah en besch ieben. De wesen liche Teil des A ikels be i die Au gabenanalyse und E ö e ung schlech e Tes au gaben. Zum Schluss wi d o geschlagen, wie einige on diesen nich geeigne en Tes au gaben zu e besse n sind. ANALIZA ZADAŃ TESTOWYCH JĘZYKA NIEMIECKIEGO PRZY POMOCY PROGRAMU ITEMAN W a ykule p zeds awiono sposób p zep owadzania es ów w Cen um P zygo owania Językowego Uniwe sy e u Ob ony w B nie. Konk e nie op acowanie do yczy analizy i oceny es u języka niemieckiego według no my NATO STANAG 6001 SLP 1 (A1-A2 wg poziomów biegłości językowej CEFR) p zep owadzonej p zy pomocy op og amowania s a ys ycznego ITEMAN. Celem p zep owadzonych badań było s wie dzenie, na ile dany es jes s osowny i ze elny. W pie wszej kolejności scha ak e yzowano p og am ITEMAN, nas ępnie opisano p zebieg p ac p zygo owawczych. Największa część a ykułu do yczy analizy poszczególnych zadań es owych o az zbadania zadań niep awidłowych. Na zakończenie p zeds awiono p opozycję ko ek y niek ó ych niewłaściwych zadań.