Biaix d'items i habilitat en fraccions

Educar, 17 (1990) 161-181 BIAIX D'ITEMS 1 HABILITAT EN FRACCIONS per Joaquim Giménez Dpt. Educació i Psicologia. Divisi6 VII. Universitat de Barcelona RESUMEN En este artículo se contemplan algunos conceptos clave en la Teoría de respuestas de Items (TRI): curvas características, significado de habilidad y discriminación en dicha Teoría. Se aplica el estudio de niveles de habilidad cognitiva en el aprendizaje de las fracciones en la Educación Básica en 5O y 8' de EGB en España siguiendo el planteamiento de Onslow y Kieren. Los diseños gráficos muestran claramente las diferencias entre edades y cursos. ABSTRACT We observe the main concepts about Item Response Theory (IRT): Item characteristic curves, the new meaning of discrimination and ability curves. We apply this ideas to the study of cognitive ability levels with the learning of fractions in elementary school in Spain. The designs showing better than the classic systems the differences between courses (5-8 EGB) and some other ineresting characteristics about the Onslow-Kieren's ideas. 162 1. Introducció La recerca actual utilitza encara molts elements de mesura, per obtener informació de les característiques dels subjectes. L'analisi classica dels instruments de mesura i avaluació ha contemplat que la Maria dominava millor que 1'Elisabet l'equivalencia de fraccions, ja que a un test determinat responia a un numero més gran d'items favorablement en una prova de les anomenades ((objectives)). Pero, aixo ens diu que la Maria coneix i domina millor l'equivalencia de fraccions? L'habilitat de 1'Elisabet és rnés gran? Potser que la Maria hagi respost a items poc discriminatius. Es a dir, pot passar que hagi respost a ítems que tant responien els mes habils i els menys habils, i ja no diguem si l'exercici en qüestió ha estat posat a correcuita! Si 1'Elisabet veiem que ha respost a uns quants items rnés discriminants, potser podrem pensar en primera opinió que ha estat la sort, pero ben segur que sabrem més de la seva capacitat real que si tan sols havia respost als items no discriminants. Com saber rnés sobre la capacitat real que es desprén d'un test? L'objectiu d'aquestes ratlles és fer una pinzellada del que representa una de les aportacions més importants de la Teoria de Respostes d'items (T.R.I.) a dit problema: generalitzar la idea d'habilitat, i discriminació en un test. 2. De la línia classica a un planteig més acurat A l'esquema classic, es parla de caracteristiques dels items, i s'han utilitzat indexos diversos per intentar solucionar aquests problemes. Així: l'index de dificultat (com a proporció d'individus que responen a un determinat item), probabilitat de resposta al atzar, etc. L'ús de correlacions biserials, biserials puntuals, etc. en són exemples clars. La idea que es perseguia era que aquests parametres fossin característiques dels items. LORD (1980) posa en dubte tant des del punt de vista del calcul com del concepte, la validesa basoluta d'aquests mktodes classics. Imainem que a I'item 13, en un grup d'alumnes forts de la classe apareix un index de dificultat 0'85, i al mateix item en un grupet feble s'obté un index 0,36. Esta clar que no és una característica propia de l'item. Si un grup és molt diver!, l'index de dificultat classic no és representatiu (LORD-NOVICK 1968). Les estadístiques són útils únicament en una selecció d'items, quan es construeixen tests per poblacions molt similars a la mostra que es féu servir per obtenir la fiabilitat dels items esmentats. Analogament, la correcció item-test és cada cop més gran si el grup és heterogeni respecte allo que estem mesurant. En canvi, si el grup és més homogeni, pot passar que la correlació sigui petita! Que vol dir aixo? Doncs que l'index de correlació no pot ésser considerat com cara~teristic de l'item. D'aci que no sigui gaire correcte fer-ho servir com a index que doni el poder discriminatiu d'un item determinat. De fet, la teoria de generabilitat, millora els conceptes de fidelitat de la teoria classica (SPEARMAN 1907) i el paper additiu dels puntatges; així, es parla de: consistencia interna, estabilitat, equivalencia (com a falta de consistencia segons la forma del test, CRONBACH 1972)' etc. Pero, malgrat disposar de coeficients de varianca respecte l'observada, o varianca mitjana, o altres, no se solucionen problemes com els provinents de les diferencies de puntuacions entre diversos correctors i altres abans esmentats. Pot veure's una reflexió més acurada a HAMBLETON (1985, pg 15-16) o el resum que fa BERTRAND (198). Aquestes, i altres dificultats intenta salvar-les (o millor, generalitzar-les) la teoria de respostes d'items (Latent trait models*). 3. Biaix d'items Per HAMBLETON i VAN DER LINDEN (1982) la dificultat en els items i la discriminación, depén de les mostres. La mitjana de nivel1 d'habilitat i el puntatge d'una mostra influeix de vegades substancialment sobre el valor de l'estadística dels items. D'aci el biaix. De fet, aquests autors consideren cinc aspectes pels quals cal superar el planteig classic: a. La reliability esta relacionada directament a la variabilitat de les puntuacions. b. Els tests realitzats són valids per la franja intermitja, pero no pels grups d'habilitat extrema (alta o baixa). c. Les mesures paraleleles en que es basa la definició de reliability no sempre es compleixen. Es a dir, els individus dificilment es comporten de la mateixa manera en dues passades de tests. Apareixen ansietats i altres factors diferents a la primera vegada, etc (HAMBLETON 1982). d. No dona una base suficient per determinar com un individu pot reaccionar davant d'un item peculiar del test. Important si es vol dissenyar i predir els puntatges caracteristics a una o més poblacions. * Qualsevol teoria de la mesura suposa que en situacions de test, les respostes poden ser explicades o predites definint certes característiques (tres = trait segons Lord: Novick 1968). Com els trets no són directament mesurables, es consideren els trets latents o habilitats. e. Classicament, es suposa que la varianca dels errors és la mateixa per l tots els examinats. No és estrany observar que alguns nois solucionen de vegades algunes tasques de forma més consistent que altres. Resumint, no es dona una resposta als biaix d'items sobre el mkim poder de discriminació en una escala de puntuacions com tampoc en la conversió de puntuacions d'un test a un altre (EQUATING OF TESTSCORES). Dels models homogenis a les funcions característiques d'habilitat Cap als anys 30, es deia que la relació entre habilitat i resposta a un item determinat es describia mitjancant un model de corba normal. Amb posterioritat el model matematic s'ha complexificat, de tal forma que s'ha mostrat aquella hipotesi com a molt particular. El model actual hmpliament acceptat en T.R.I. es basa en una 'funció logística, que -certament en alguns casos és molt proxima a la normal-. Es a dir, representa un model que generalitza la situació anterior i explica amb més claredat els fenómens. En efecte, un model, especifica una relació entre els trets observables d'una prova i les habilitats no observades vinculades a la resolució del test. Aixo s'ha fet sempre per mitja de corbes característiques. D'ací en sorgeixen els models de respostes d'items unidimensionals basats en les dicotomies classiques del si i el no (WRIGHT 1968) en els quals és possible estimar l'habilitat amb una mateixa escala per qualsevol subconjunt d'items del domini del model. Aquest model seria homogeni, en el sentit que mesura una habilitat simple. Els avantatges dels metodes de la Teoria de respostes d'items (TRI) són basicament les següents: a) Si suposem l'existencia d'un llarg conjunt d'items que mesuren el mateix dret, l'estimació d'habilitat és independent de la mostra d'itrms escollida. b) Si suposem que tractem amb una població ampla, els descriptors (dificultat i discriminació) són independents de la mostra d'individus utilitzada per calibrar els items. c) S'indica el pes d'habilitat en cada subjecte. Les corbes característiques, donen la probabilitat de respondre, i aquesta no depén del número de subjectes. Aquesta varia segons el nivel1 d'habilitat. El més interessant és que aquesta INVARIANCIA no es única a la Teoria TRI. Aquests metodes han estat utilitzades darrerament de forma contundent en l'avaluació de l'aprenentatge de la matematica, i més en concret a les proves NAEP (National Assessment of Educational Progress 1985). Fa molt poc que ha estat assumit com a instrument de mesura en l'educació (CARROLL l988), i basa el seu funcionament en la hipotesi que la probabilitat d'encertar un item no depén més que del nivell d'habilitat del subjecte i les caracteristiques de l'item. (CARROLL 1988). CARROLL i WILCOX (1982) mostren la utilitat d'aquestes tkcniques per definir habilitats com a funcions dels items o també per determinar els distractors en items de respostes múltiples. La dificultat d'aplicació d'aquests recursos matematics i les seves aplicacions informatiques, fa que requereixen per la seva aplicació Óptima d'un nombre mínim de 200 proves, tot i que idealment el número hauria de ser superior al miler (ADAMS 1988, pg 401), en tests de moltes preguntes. L'ús de la Teoria de respostes d'items als grups normals de pocs alumnes és quasi impracticable (CARROLL 1988 citant a Drasgow i Levine). Les respostes als items (ADAMS 1988) es descriuen -com ja hem ditper mitja de corbes (CC1 =corbes caracteristiques de l'item) que relacionen la probabilitat del subjecte de donar una resposta correcta p,(0) en funció d'un conjunt de variables: habilitat del subjecte (O), index de probabilitat d'encertar al atzar l'item (ci), index del poder discriminatiu de l'item i (ai), index de dificultat de l'item i (bi) La formula que relaciona aquests parametres és (LORD-STOCKING 1988, Pg 269) on D és un coeficient constant que usualment val 1,702 i els altres parametres varien en els intervals 2 s a s 2, O s b s 0,4 i O s c s 0,4. Podem observar al grafic següent el tipus de corba i el significat dels diversos parametres (BERTRAND, R. 1989). No tots els items requereixen dels tres parimetres per descriure'ls. Es parla de models a dos dos parametres, quan c, =O. Si, a més a més és constant, és el model de Rasch (LORD-STOCKING 1988, pg. 269). Observem que si c=O apareix aleshores la funció normal acumulativa. Aquest parametre designa la probabilitat que un alumne de baix nivell respongui correctament a l'item i. Es a dir, l'index de donar una resposta al atzar i encertar-la. Logicament, un item amb un coeficient c molt baix cal considerar-10 super-facil, i és més dificil quan més prbxim estigui d'l. Aquest parametre és important en els tests de preguntes múltiples. Més concretament: un item del tipus ctcert- Figura 1. Significat dels parametres de la Corba característica d'un item CC1 (BERTRAND 1989) fals,), donara un index d'aproximadament un 50 %. Matematicament és l'assimptota de la corba a l'origen. El parimetre ai indica el pendent de la corba al seu punt d'inflexió i representa la discriminació de l'item. En tant sigui un pendent alt, els subjectes de baix nivell i els d'alt nivell queden discriminats clarament en la seva puntuació per l'item. Els items de baixa discriminació poden portar a la seva exclussió, segons els nostres objectius. I el bi 6s el nivell d'habilitat al punt d'inflexió. Aixo indica l'index de dificultat. La corba corresponent, amb forma del signe de l'integral, va ésser observada ja per BINET-SIMON (1916) entre l'edat i la probabilitat de resoldre un item. En efecte, la monotonia creixent que pot observar-se, ha estat la indicació clau de la psicologia cognitiva. HULLIN et al. (1983) donen un altre exemple, referint-se a I'habilitat verbal. Diversos autors utilitzen ara aquests mB todes com a model per afinar més sobre els items a considerar en diverses proves i habilitats. Figura 2. Funció de Binet-Simon, citada per Hambleton-Swaminathan 1985, pg 6. Figura 3. Probabilitat d'encertar un item, en funció de I'habilitat verbal ( ) ai = 1,07, bl=0,15 4. Aplicació de T.R.I. a un estudi sobre el coneixement de fraccions Nosaltres hem aplicat aquests coneixements a la validaci6 i millor comprensi6 de les dades obtingudes d'un Test de raonament cognitiu (versi6 KIEREN-GIM~NEZ 1988) sobre l'adquisici6 progressiva de la noció de racional positiu. L'anhlisi factorial dels seus items ens ha facilitat l'observacio dels subtests que havien estat introduits per valorar els diversos subconstructes implicats, amb una gran bondat i fiabilitat (GIM~NEZ 1989, ampliant el treball de RAHIM-KIEREN 1988). Ara, per tal d'exemplificar alguna situaci6 d'aplicaci6 del que hem exposat, mostrarem algunes dades que facin palés el significat dels parametres anteriorment citats i el seu us a la recerca en didhctica de les matematiques. Entre les moltes conclusions del treball més ampli (GIMI~NEZ 1989), comentarem les corbes associades a diversos items, en quant la seva importhncia per constar el diferent nivell deficultat, diferent poder discriminatiu i probabilitat de resposta al atzar. Fou emprada una emprada de 959 alumnes de 86 i 945 de 56 d'EGB la província de Barcelona el curs 87-88, significativa de la població per cursos, per estrats de situació i tipus d'escola. Per tal d'actuar sobre un nombre tan elevat de dades, hem utilitzat el programa BILOG (Maximum likelihood item - analysis and test scoring logitstic model, Scientifc Software inc. 1983 a 1'Uniprobabilitat -3 -2 -1 O 1 2 3 habilitat Figura 4. CC1 a 2 parametres corresponent a la probabilitat d'encert en relació a I'habilitat manifestada en fraccions en el total del test per 1'Item 1. versité Laval, Québec) com un dels recursos informatics disponibles per andisi T.R.I. Observem I'item 1 del test citat. Repartir dos pizzes entre dues persones. O bé repartir quatre pizzes entre 4 persones. Qui té més. Per quk? Comparen dos cursos: 5k i 8k d'EGB. La situació d'equivalkncia -tot i ésser immediata i situada a un primer nivell cognitiu (NOELTING 1982, 1985, BRINDLEY 1981) -es mostra clarament més dificil a 5t: que a 8t: d'EGB. Si bé els alumnes de 81: nivell d'habilitat -0,5 tenen ja probabilitat 0,95 (quasi seguretat) d'encertar 1 item, amb la mateixa habilitat, a 5e les probabilitats són molt menors. També s'observa que si bé a 8t: la probabilitat d'encertar al atzar coincideix amb el 33 % (hi ha tres possibles respostes, de fet), no és el cas a 56, en que les probabilitats baixen fins el 20 %, i es mostra que no és tan immediat pels nois de nivell baix. Comparació d'items Observarem aquesta comparació amb una mateixa pregunta on es vol manifestar I'equilibració (inspirada en NOELTING 1979, 1982, de forma grafica): (<Digues i raona quina combinació xocolata-llet (x,ll) té més gust de xocolata?>). L'Item 4 compara (7, 4) amb (4, 2) i I'item 6 (5, 3) amb (3, 2). Tenim en compte qui ha donat una argumentació correcta, i no sols haver encertat el criteri de comparació (3 possibilitats). u1 I -3 -2 -1 O I 2 3 habilitat en fraccions Figura 5. Comparació de CC1 a un test de nivell cognitiu de fraccions en dos items i dos cursos diferents per observar el biaix corresponent. (GIMÉNEZ 1989). log L --- 1 parametre 2 parametres - ... - 3 parametres Figura 8. Diferents corbes que relacionen el logaritme de la funció de versemblanqa amb I'habilitat en els tres casos possibles de parametres. I per tant, el mbtode de NEWTON-RAPHSON ofereix una solució de la m-ésima aproximació de I'estimació de versemblanca, que satisfa I'equació (HAMBLETON 1985, pag 81) següent El procés que es repeteix ofereix una convergbncia que dona un estimador de I'habilitat. El valor d'estimació, a la m+l iteracció té un error E, que ve donat per la fbrmula (HAMBLETON 1985, pg 83) Evidentment, el calcul efectiu es fa per mitja de programes d'ordinador com el que s'ha citat. Sobre l'habilitat en fraccions Analitzem ara alguns resultats concrets de la nostra recerca sobre l'habilitat que es deriva del test esmentat. El conjunt de 33 qüestions, ofereix segons la perspectiva classica un resultat que podem significar en la grafica següent sobre l'index d'encert a cada un dels items. % acierto 1 3 5 7 9 11 13 IS 17 19 21 23 25 27 29 preguntas Figura 9. Histograma corresponent als indexos de dificultat classics a la prova cognitiva realitzada. Su. Resultats (30 items que apareixen) correct Percent. habilitat Error Taula 4. Alguns resultats significatius de diversos alumnes, percentatge de respostes correctes i índex d'habilitat en fraccions. A la taula anterior, com a contrast, observem com alumnes que han respost una mateixa quantitat d'items, apareixen amb nivells d'habilitat diferents a l'interval [-3, +3]. S'han escollit uns quants subjectes significatius de les diferkncies que ofereix la TRI, i els errors corresponents en els coeficients. El concepte d'habilitat que hom pot observar quantificadament, no és analeg a l'index de respostes correctes. Quk indica, doncs? L'assignació d'un coeficient relacionat amb la dificultat dels items que aquell individu ha respost. 6. Conclusions Entre les múltiples aplicacions d'aquest projecte, es considera que són importans: - I'adaptació d'un test a l'habilitat dels subjectes - la detecció de biaix d'items deguts a diverses variables. L'exemple que hem ofert mostra la diferencia de curs. En un altre moment podem fer intervenir el sexe, nivell cultural, etc. Es possible detectar un biaix, examinant la diferkncia entre la corba d'un item per una població i la característica de l'item per una subpoblació. La superposició de corbes, és indicadora de l'abstncia de biaix. Si les corbes es tallen, vol dir que l'item té un biaix diferenciat a cada nivell d'habilitat 0. La evidkncia sobre la imatge grafica dels diferents conceptes i valors és I'element més satisfactori d'aquesta analisi, que possibilita una visualització dels resultats dels test incomparable fins el moment! Apendix 1 A les grafiques següents, observarem unes quantes comparacions per veure les formes de les corbes característiques en relació a diversos parametres. Aixo pot ésser il.lustratiu de les interpretacions donades al text. Apendix 2. Breu sintesi cronolbgica de la Teoria T.R.I. Utilització de grafics en el desenvolupament de tests sobre nivells d'habilitat en relació a una variable independent. BINET i SIMON. RIRCHARDSON troba relacions entre parametres del model TRI i els parametres classics. LAWLEY ofereix procediments nous per l'estimació de parametres. LORD descriu el model ogival normal a 2 parametres. BIRNBAUM substitueix els models logístics pels models normals. RASCH desenvolupa a Europa la teoria a 3 parametres. WRIGHT popularitza i catalitza la teoria als EE.UU. Moments forts de la recerca de LORD i NOVICK sobre LATENT TRAIT. S'utilitza el programa BICAL per eixamplar els mktodes de RASCH. Programa LOGIST a dos parametres. Molts investigadors comenten els trets importants de TRI a Journal for Educational Measurement. WEISS reuneix elements fonamentals de l'ús de TRI. LORD i el seu equip desenvolupen un nou model de programa LOGIST. Desenvolupament del programa a 3 parametres en BILOG. ADAMS, R; ROWE, K.J. Item Bias in Keeves, J. (ed) Educations Research, methodology and measurement. Pergamon Press. Oxford. 398-403. 1988. ANDERSEN, J. et al. An evaluation of Rasch's structural model for test items. British Journal of mathematical and Statistical Psychology. 78, 31, 34-98. 1968. BERTRAND, R. Pourquoi de nouvelles théories de la mesure? a Mesure et évaluation en Education. vol. 11, no 2. U. Laval. Québec, 1988. BINET SIMON. The development of intelligence in young children. The training school. Vineland. NJ. 1916. BIRNBAUM, A. Some latent trait models and their use in inferring an examenee's ability. In EM. LORD & M. NOVICK (ed). Statistical theories of mental test scores. Reading MA Addison Wesley. 1968. BRINDLEY, J. et al. Report of Calgary Junior High School mathematics Project. Univ. Alberta. 1981. CARROLL, J.B. Measurement theory. Future development in educational measurement in Keeves, J. (ed). Educational Research, methodology and measurement. Pergamon Press. Oxford. 247-269. 1988. CRONBACH, L.; GLESER, G.; RAJARTNAM, N. The dependability on behavioral measurements. John Wiley. N. York, 1972. GIMENEZ, J. About continuous operator subconstruct in rational number in G. VERGNAUD (ed) Proceedings PME 15. Paris, 1989. GIMENEZ, J. Znnovación metodológica sobre el racional positivo. Tesis. 1989. HAMBLETON, R.; VAN DER LINDEN. Advances in Item response. Theory and applications: An introduction. Applied Psychological Measurement 1982, 6, 373378. 1982. HAMBLETON, R.; SWAMINATHAN, H. Item response theory Principies and applications. Kluwer Nijhoff Publ. Boston Mass. 1985. HULLIN, C.; DRASGOW, F.; PARSONS, C. Item response theory Applications to psychological measurement. Dow -Jones Irwin, Homewood. Illinois, 1983. LORD, F.M. Applications of item response theory to practical testingproblems. Lawrence Erlbaum Ass. Hillsdale. N. York, 1980. LORD, E; NOVICK. Statistical theories of mental test scores. Reading Mass Addison Wesley. 1968. LORD-STOCKING. Item response theory in Keeves, J. (ed). Educational research, methodology and measurement. Pergamon Press. Oxford. 269-272. 1988. NOELTING, G. The development of proportional reasoning and the ratio concept. Part 1. Differentiation of stages. Educational Studies in Mathematics vol. 11, p. 331-363. 1980. NOELTING, G. Le development cognitifet le mécnisme de I'equilibration. Gaetan Morin (ed) Québec. 1982. NOELTING, G. (dir) et al. Partage. Cahier clinique. Echelle ordinallepartant sur les notions de rapport et de fractions. Centre de Psychologie cognitive et developpementale. Univ. Laval. Québec, 1984. RAHIM & KIEREN, T. A preliminary report on the reliability and factorial validity of the RNTT in the Rep. of Trinidad and Tobago. in Behr, M (ed) Proceedings of PME-NA 88 Illinois; 114-120. 1988. SPEARMAN, C. Demonstration of formulae for true measurement of correlation in Americal Journal of Psichology 18, 161-169. 1907. WILCOX, R. Some empirical and theoretical results on an answer-until-correct scoring procedure. Br. .L Math. Stat. Psychol. 35: 57-70. 1982. WRIGHT, B. Sample free test calibration and person measurement. Proceedings of the 1967 Invitational Conference on testing problems. Princenton NJ Educational Testing Service. 1968.