Comparación de métodos estadísticos para la evaluación del funcionamiento diferencial de los ítems

COMPARACIÓN DE MÉTODOS ESTADÍSTICOS PARA LA EVALUACIÓN DEL FUNCIONAMIENTO DIFERENCIAL DE LOS ÍTEMS Ja ie Gil Flo es*, Edua do Ga cía Jiménez* y G ego io Rod íguez Gómez** * Á ea MIDE de la Uni e sidad de Se illa ** Á ea MIDE de la Uni e sidad de Cádiz RESUMEN En es e abajo lle amos a cabo un es udio compa a i o de cua o mé odos pa a la de ección del uncionamien o di e encial de los í ems: el mé odo del a, uno de los más usados en el con- ex o de la eo ía clásica, los mé odos de las di e encias de p opo ciones y de chi cuad ado sumado, ambos basados en ablas de con ingencia, y el con as e de pa áme os b ob enidos al es ima la cu a ca ac e ís ica del í em. Los da os u ilizados co esponden a una p ueba de comp ensión de ex os adminis ada a 519 alumnos de Educación Secunda ia, y la a iable di e- enciado a de los g upos ha sido el sexo. T as la aplicación de las di e en es écnicas, ob enemos una cie a con e gencia en e los esul ados alcanzados, da o que i ía en con a de la hipo é i- ca supe io idad de unos mé odos sob e o os. ABSTRACT A compa a i e s udy o e ou me hods used o de ec he di e en ial i em unc ioning is he ocus o his pape . These me hods a e: he del a me hod ( ecuen ly used in he classic he- o y's con ex ), he me hods o p opo ion's di e ences and he chi squa e (bo h based on he con ingency's able), and he con as o he b pa ame e s, ob ained when s ima ing he ca ac e is ic cu e o he i em. The da a used has been accomplished om a es abou ex 's comp ehension adminis e ed o 519 Seconda y Educa ion's s uden s, being sex he di e encing a iable o he g oups. A e he applica ion o hese di e en echniques, he esul s ob ained a e simila . Re is a de In es igación Educa i a, 1998, Vol. 16, n.º 1, págs. 187-205 188 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez INTRODUCCIÓN Un ema que ha llegado a cons i ui se en oco de in e és pa a in es igado es y cons- uc o es de es s es el ela i o al sesgo de los ins umen os de medida, al y como e le- ja la p o usión de abajos que en los úl imos años se han cen ado en es e ema. De acue do con el concep o habi ualmen e manejado, un ins umen o de medida es á ses- gado cuando no o ece la misma medida pa a dos suje os o g upos de suje os que cuen an con un ni el simila en el a ibu o medido, sino que sis emá icamen e pe ju- dica a alguno de ellos. Es e mismo concep o pod ía aslada se a cada uno de los í ems que componen el ins umen o. Es deci , un í em es á sesgado cuando suje os con la misma compe encia y pe enecien es a dis in as subpoblaciones no cuen an con el mis- mo g ado de acie o al esponde el í em. El p oblema del sesgo ep esen a un aspec- o cla e, no sólo desde el pun o de is a social, dada la injus icia que ep esen a pa a los colec i os que se en pe judicados, sino ambién desde la óp ica psicomé ica, po el impac o nega i o de los í ems sesgados sob e la alidez de la p ueba. Aho a bien, no debe con undi se el sesgo del í em con di e encias eales en el en- dimien o de los g upos. El hecho de que homb es y muje es, po ejemplo, engan dis- in a asa de acie os en un í em no signi ica que el í em es é sesgado; puede ocu i que el í em disc imine en e ambos g upos po exis i en e ellos una di e encia eal en la capacidad medida. Al a a de de e mina el sesgo, lo que se pe sigue se á p ecisa- men e sepa a las di e encias eales de las que son gene adas po el p opio ins u- men o de medida. Gene almen e, el es udio del sesgo de los í ems se ha inculado a di e enciaciones de los suje os desde el pun o de is a social, cul u al, acial, sexual, eligioso, econó- mico, geog á ico: neg os-blancos, muje es-homb es, icos-pob es,... No malmen e se alude a dos g upos, a los que se denomina g upo ocal y g upo de e e encia, que son espec i amen e el g upo mino i a io pe judicado o a o ecido po el í em y el g upo de compa ación, espec o al cual se p oduce la di e encia obse ada en el g upo ocal. También se ía posible conside a el sesgo compa ando g upos de simila amaño o omando más de dos g upos. A eces, el sesgo se debe a la p esencia de una a iable que con amina la espues- a del indi iduo. Po ejemplo, si en un es de in eligencia incluimos una p egun a en la que se emplea un lenguaje complejo y ele ado, ese elemen o es a á midiendo no sólo la in eligencia sino la capacidad de comp ensión lec o a de los suje os, y esul a- á sesgado con a los suje os poco compe en es en comp ensión lec o a. Exis en o as múl iples causas de sesgo de los í ems; en ealidad, es di ícil encon a p uebas que no es én sesgadas. La mejo o ma de p e eni el sesgo en los í ems consis e en lle a a cabo un cui- dadoso análisis del con enido de los mismos po pa e de expe os. Sin emba go, cabe la posibilidad de ealiza algunos análisis es adís icos median e los cuales podemos de ec a í ems que escapa on al examen p e io. Los mé odos pa a e alua el sesgo se han basado en la compa ación de la di e encia de espues a en los dos g upos egis- ada pa a el í em y la di e encia de espues a que pe manece cons an e a lo la go del es . Si se asume la unidimensionalidad del es , odos sus í ems miden el mismo cons- 189 Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems uc o, y po an o la di e encia en el g ado de acie o en dos g upos dis in os hab ía de man ene se cons an e a lo la go de odos ellos. Si en un í em se egis an di e en- cias de acie o que se apa an de las que se dan en la globalidad de la p ueba, pod e- mos sospecha que se a a de un í em con sesgo. Sin emba go, cab ía la posibilidad de que odos los í ems con a an con un mismo sesgo y ese í em des aca a sob e los demás. Es deci , se pod ían de ec a í ems que esul an especialmen e sesgados espec o al conjun o de í ems. Po es e mo i o esul a p e e ible, desde el pun o de is a me odo- lógico, habla de écnicas pa a la e aluación del uncionamien o di e encial de los í ems. En la li e a u a psicomé ica se suele ecoge es e concep o median e la sigla DIF, que p o iene de la exp esión inglesa Di e en ial I em Func ioning. OBJETIVO DEL ESTUDIO Exis en múl iples mé odos es adís icos pa a e alua el DIF. Los es udios compa a- i os y las simulaciones di igidos a de e mina la e icacia de di e en es mé odos han sido ecuen es en los úl imos años (Cohen y Kim, 1993; Zwick y o os, 1994a, 1994b), y son innume ables las a ian es p opues as o las adap aciones a casos conc e os, o - muladas a pa i de los mé odos usados habi ualmen e (Diamond, 1992; Mille y Sp ay, 1993; Oshima y o os, 1994; Mazo y o os, 1994, 1995; Nandakuma , 1994; Pang y o os, 1994; Hanson y Feins ein, 1995,...). A pesa de ales es udios, no exis e acue do sob e qué mé odos esul an más ade- cuados. Pa a algunos, los mé odos clásicos se en supe ados po las nue as écnicas basadas en la eo ía de espues a a los í ems (TRI), mien as que o os en en es e ipo de p ocedimien os p oblemas concep uales y exigencias eó icas que no siemp e se cumplen en la p ác ica. En ealidad, ningún mé odo esul a su icien e po sí mismo. La p ime a de las di ec ices o ecidas po Hamble on y o os (1993) de ca a a lle a a cabo es udios sob e el DIF apun a en es e sen ido, a i mando que no exis e un único mé odo capaz de ga an iza la de ección de odos los í ems de un es a ec ados po un uncionamien o di e encial. An e la di e sidad de opiniones, en es e abajo hemos p e endido lle a a cabo una compa ación de dis in os mé odos a in de comp oba la con e gencia o, po el con a io, la disc epancia en e los esul ados a que nos conducen. Con es e obje i o, aplica emos di e en es écnicas pa a la e aluación del DIF a los í ems de una p ueba de comp ensión de ex os, examinando el posible sesgo que és os p esen an en un- ción de la a iable sexo. Hemos omado el ac o di e enciado sexo po se és a una a iable comúnmen e conside ada en los es udios sob e DIF y po las en ajas p ác- icas que o ece, ya que la di e enciación po sexos suele da luga a dos subg upos de examinados de amaño pa ecido, e i ando que el educido núme o de suje os en alguno de ellos impida la aplicación de algunos mé odos de análisis, basados en la TRI, que exigen con a con un mínimo amaño mues al de ca a a la es imación de pa áme os. Po an o, se a a á de iden i ica , u ilizando di e en es mé odos de análisis, los í ems de la p ueba que pudie an a o ece o pe judica sis emá icamen e a las alum- nas (g upo ocal) en e a los alumnos (g upo de e e encia) al medi su capacidad pa a 190 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez la comp ensión de ex os. La compa ación de los esul ados nos pe mi i á alo a la coincidencia o disc epancia en e los di e en es mé odos usados. DATOS UTILIZADOS Los da os u ilizados en es e es udio han sido ex aídos de una in es igación que enía po obje i o la cons ucción de un es adap a i o compu e izado (TAC), cuyo in e a medi la capacidad de los alumnos de Educación Secunda ia pa a comp ende in o mación esc i a en el á ea de Geog a ía e His o ia (Ga cía y o os, 1993). Aquí hemos omado una de las 49 p uebas en que ue agmen ado el banco inicial de í ems, de ca a a su calib ación con o me a un modelo logís ico de 3 pa áme os. La calib a- ción de un banco de í ems pa a la cons ucción de un TAC equie e la aplicación p e- ia de cada una de las p uebas en el o ma o con encional no adap a i o de lápiz y papel. Los da os ob enidos con una de es as p uebas son los que u iliza emos en la compa ación de mé odos pa a la e aluación del DIF. La p ueba consis ía en la p esen ación de di e sos ex os his ó icos o ela i os a emas de geog a ía ísica, humana y económica, que daban paso a la o mulación de una se ie de cues iones o í ems sob e su con enido. En cada í em se o ecían cua o opciones de espues a, de las cuales una sola e a co ec a, uncionando las es es an- es como dis ac o es. Las pun uaciones co espondien es a cada í em ue on dico ó- micas, asignando 1 en caso de acie o y 0 en caso de e o , y la suma de odas ellas se omó como pun uación alcanzada en la p ueba. El núme o de examinados ascendió a 519 suje os, de los cuales 219 e an alumnos y 300 alumnas. Todos ellos cu saban es udios de BUP o ni eles equi alen es de la nue- a Educación Secunda ia, en el I.B.Caballe o Bonald, de Je ez de la F on e a, y en el I.E.S. José Luis Tejada, de El Pue o de San a Ma ía, ambos en la p o incia de Cádiz. La adminis ación u o luga en el segundo imes e del cu so académico 1994/95. Una ez eliminados, de ca a a mejo a la calidad psicomé ica de la p ueba, los í ems que p esen aban una di icul ad (o acilidad) ex ema y no alcanzaban un ni el mínimo de disc iminación (co elación bise ial pun ual in e io a 0.30), el ins umen o quedó cons i uido po 20 í ems, los cuales han sido obje o del p esen e es udio. MÉTODOS PARA LA EVALUACIÓN DEL DIF La iden i icación de los í ems a ec ados po DIF se ha ealizado ecu iendo a un o al de cua o mé odos es adís icos. Hemos seleccionado el mé odo del a, po a- a se de uno de los más ampliamen e usados en el con ex o de la eo ía clásica, y ambién los mé odos de la di e encia de p opo ciones y de chi cuad ado sumado, ambos basados en el análisis de ablas de con ingencia. Po úl imo, hemos conside- ado una écnica pa a la iden i icación del DIF basada en los modelos de la TRI; con- c e amen e, se a a de la compa ación es adís ica de los pa áme os bob enidos al es ima la cu a ca ac e ís ica del í em pa a el g upo ocal y el g upo de e e encia. T as un b e e comen a io sob e cada uno de los mé odos, p esen a emos los esul a- dos ob enidos. 191 Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems Mé odo del a Uno de los p ocedimien os más usados en el con ex o de la eo ía clásica es el mé o- do del a (Ango , 1982; Ango y Fo d, 1973). El p incipio básico consis e en encon a los í ems con mayo disc epancia en e los índices de di icul ad calculados pa a los dos g upos. El mé odo del a supone ans o ma las p opo ciones de acie o (índice de di icul ad) pa a los dos g upos en pun uaciones del a (pun uaciones ípicas de i adas, con media 13 y des iación ípica 4). Po an o, en p ime luga hab á que ans o ma los índices de di icul ad (p opo ciones de acie o p) en pun uaciones zco espondien- es al pe cen il 1-p de la dis ibución no mal y pos e io men e aslada la a la escala de las pun uaciones del a. Al ob ene la pun uación za pa i de 1-p y no a pa i de p, conseguimos que las pun uaciones al as co espondan a los í ems de mayo di icul ad y las pun uaciones bajas a los de meno di icul ad. Los índices de di icul ad (p1 y p2), las pun uaciones z1-p co espondien es a los mismos (z1y z2) y las pun uaciones del a (∆1 y ∆2) pa a los 20 í ems de la p ueba apa ecen ecogidos en la abla 1. Tabla 1 RESULTADOS DE LA APLICACIÓN DEL MÉTODO DELTA I em p1p2z1z2∆1∆2d 1 0.75 0.66 -0.67 -0.41 10.32 11.36 —.24 2 0.50 0.34 0.00 0.41 13.00 14.64 —.74 3 0.15 0.22 1.04 0.77 17.16 16.08 .66 4 0.86 0.75 -1.08 -0.67 8.68 10.32 —.51 5 0.79 0.74 -0.81 -0.64 9.76 10.44 .01 6 0.79 0.71 -0.81 -0.55 9.76 10.80 —.21 7 0.24 0.21 0.71 0.81 15.84 16.24 —.15 8 0.52 0.43 -0.05 0.18 12.80 13.72 —.30 9 0.34 0.34 0.41 0.41 14.64 14.64 .15 10 0.76 0.76 -0.71 -0.71 10.16 10.16 .39 11 0.59 0.56 -0.23 -0.15 12.08 12.40 .10 12 0.38 0.34 0.31 0.41 14.24 14.64 —.07 13 0.92 0.92 -1.41 -1.41 7.36 7.36 .54 14 0.54 0.52 -0.10 -0.05 12.60 12.80 .14 15 0.48 0.34 0.05 0.41 13.20 14.64 —.63 16 0.36 0.34 0.36 0.41 14.44 14.64 .04 17 0.29 0.28 0.55 0.58 15.20 15.32 .05 18 0.37 0.35 0.33 0.39 14.32 14.56 .02 19 0.23 0.21 0.74 0.81 15.96 16.24 —.09 20 0.58 0.57 -0.20 -0.18 12.20 12.28 .23 192 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez Las pun uaciones del a de cada í em son ep esen adas g á icamen e si uando en abscisas la pun uación en uno de los g upos, y en o denadas la pun uación alcanzada en el o o. De es e modo, conseguimos un g á ico o mado po an os pun os como í ems posee el es ( e más adelan e igu a 1). Es a nube de dispe sión end á la o - ma de una elipse; cuando los g upos p o ienen de una misma población, la elipse se es echa á ap oximándose a una ec a. Si los pun os se encuen an en línea ec a, pode- mos a i ma que los í ems son insesgados, es ando sesgados aquéllos que se apa an conside ablemen e de ella. No obs an e, como a i ma Muñiz (1992), el hecho de que los í ems se si úen en línea ec a no implica ausencia de sesgo. Pod íamos pensa que una línea ec a po debajo de la diagonal ep esen a un sesgo con a el g upo ep esen ado en o denadas, mien as que una ec a po encima de la diagonal supond ía un sesgo con a el g upo ep esen ado en abscisas. En ealidad, el mé odo del a e alúa la dis- c epancia en e sesgos, de ec ando aquellos í ems que se apa an en es e asgo de los es an es que cons i uyen la p ueba. Se han p opues o índices que pe mi en ca ac e iza el sesgo de los í ems sin nece- sidad de basa nos exclusi amen e en la inspección isual del g á ico. Globalmen e, el ajus e de los pun os a la ec a puede alo a se a pa i de la co elación de Pea son en e los dos g upos de pun uaciones del a. En es e caso, el alo de la co elación asciende a 0.97, indicando un buen ajus e y po an o un bajo DIF. Sin emba go, más que una conside ación global sob e los 20 í ems de la p ueba, nos in e esa ca ac e iza a cada uno de ellos pa icula men e. Un modo de hace lo se basa en calcula la dis- ancia de cada pun o al eje p incipal de la elipse, de o ma que cuan o más g ande sea es a dis ancia mayo se á el sesgo del í em en elación a los o os. Pa a calcula la, siguiendo a Ango y Fo d (1973), pa imos del eje p incipal de la elipse, cuya ecuación co esponde á a la ec a ∆2= a · ∆1+ b donde los alo es de las cons an es a y b son b = ∆$2– a · ∆$1 El índice de dis ancia pa a un í em j, cuyas pun uaciones del a en ambos g upos son D1j y D2j espec i amen e, end á exp esado po : 1+ a b +- a · =d 2 2j1j ∆∆ ∆ ∆∆ S · S · 2 · S _ S _ 4 ·+ ) S - S (+ S - S =a 21 21 21 21 1211 22 2 2 2222 ∆∆ ∆ ∆∆∆∆ ∆ ∆ 193 Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems La ecuación pa a el eje mayo de la elipse que o man los pun os del diag ama de dispe sión ha sido de e minada en el caso de la p ueba que nos ocupa, ob eniendo como esul ado: ∆2= 0.91 · ∆1+ 1.57 En la igu a 1, es e eje ha sido azado sob e el diag ama de dispe sión pa a las pun- uaciones del a, e ique ando po medio de su núme o a los í ems que más se dis an- cian del eje. Figu a 1 DIAGRAMA DE DISPERSIÓN PARA LAS PUNTUACIONES DELTA, EJE MAYOR DE LA ELIPSE Y PUNTOS MÁS DISTANCIADOS DEL EJE ∆2 ∆1 Calculando la dis ancia al eje pa a odos los í ems enemos una isión global y podemos es ablece , siguiendo c i e ios me amen e desc ip i os, pun os de co e a pa i de los cuales desca a í ems que conside amos especialmen e sesgados. Las dis- ancias (d) queda on ecogidas en la abla 1 mos ada an e io men e. Fijando en 0.60 el ni el de co e, los í ems que mayo DIF p esen an son, en es e o den, los núme os 2, 3 y 15. El signo posi i o asociado a la dis ancia dindica que el í em a o ece al g upo ocal, mien as que las dis ancias nega i as co esponden a í ems que lo pe judican. 194 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez Una modi icación p opues a po Camilli y Sepha d (1994) al mé odo de Ango consis e en ealiza una segunda es anda ización de los índices de di icul ad. En luga de calcula la dis ancia de los pun os a la ec a, omamos las pun uaciones z1-p y las es anda izamos espec o al g upo, a pa i de la media y la des iación ípica del con- jun o de pun uaciones z1-p. Es deci , la nue a pun uación z*co espondien e a una pun- uación z se ob end á, po an o, como: donde µzes la media de las pun uaciones z1-p pa a odos los í ems de la p ueba, y σzla des iación ípica de las mismas. La di e encia z1*– z2* en e las pun uaciones ob enidas pa a un mismo í em en los g upos ocal y de e e encia puede se omada como medi- da del DIF. No obs an e, el cálculo de es e alo no al e a el esul ado ob enido basán- donos en la dis ancia al eje; de nue o, los alo es más al os pa a la di e encia en e pun uaciones z es anda izadas co esponden a los í ems 2, 3 y 15, donde z1*– z2* asciende a –0.48, 0.50 y –0,41 espec i amen e. Mé odo de la di e encia de p opo ciones Es e mé odo, p opues o po Do ans y Ku lick (1983, 1986), se basa en el cálculo de la di e encia de p opo ciones en cada uno de los ni eles en que p e iamen e son sub- di ididos ambos g upos. Suponiendo que hemos di idido los g upos en k ni eles de capacidad, podemos calcula la di e encia en la p opo ción de acie os pa a cada uno de esos ni eles. Si p2j y p1j son las p opo ciones de acie o en los g upos ocal y de e e- encia pa a el ni el de capacidad j, la di e encia de p opo ciones end á dada po : ∆pj= p2j – p1j A pa i de la suma ponde ada de las di e encias de p opo ciones en los k ni eles, se puede calcula el es adís ico: donde el coe icien e de ponde ación wjpuede adop a di e en es alo es, según los p opósi os de la in es igación (Do ans y Holland, 1993). Se ecomienda el uso de n2j o p =DIF-DPE j ∆ wj k j=1 Σ wj k j=1 Σ σ µ z z *-z = z 195 Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems ecuencia en jde los suje os del g upo ocal, pues de es a mane a se da más peso a las di e encias de p opo ciones egis adas en ni eles de capacidad donde los suje os del g upo ocal son más nume osos. Los alo es del es adís ico DPE-DIF es án comp endidos en e –1 y 1. Siguiendo las pau as de in e p e ación o ecidas po Do ans y Holland (1993), cuando encon amos alo es que se si úan, en alo absolu o, po debajo de 0.05, podemos a i ma la ine- xis encia de un uncionamien o di e encial de los í ems; alo es absolu os comp endi- dos en e 0.05 y 0.10 no son p eocupan es, aunque aconsejan una inspección de los í ems; y alo es po encima de 0.10, en alo absolu o, hacen necesa io un cuidadoso examen. Los alo es posi i os indica án una en aja pa a el g upo ocal, mien as que los nega i os e lejan una des en aja pa a es e g upo. La aplicación de es e mé odo a los í ems de la p ueba analizada se ha basado en la di isión de los g upos en 6 ni eles de capacidad. Todos los in e alos c eados poseen una ampli ud de 3 unidades. La ecuencia de suje os en cada ni el de di icul ad, an- o pa a el g upo ocal como pa a el g upo de e e encia, apa ece ecogida en la abla 2. Tabla 2 NÚMERO DE SUJETOS INCLUIDOS EN CADA NIVEL DE CAPACIDAD Ni eles G. Re e encia G. Focal 1-3 3 5 4-6 29 48 7-9 63 110 10-12 63 82 13-15 43 37 16-18 18 18 Los alo es de las p opo ciones de acie o en cada ni el, así como el es adís ico DPE-DIF calculado pa a cada uno de los í ems, apa ecen en la abla 3. Conside ando a ec ados de DIF aquellos í ems en los que el es adís ico calculado se ap oxima o supe- a en alo absolu o la co a de 0.10, es e mé odo señala a los núme os 2, 3, 4 y 15, de en e los cuales únicamen e el í em 3 a o ece al g upo ocal, de acue do con el signo posi i o asignado. Mé odo de chi cuad ado sumado Uno de los mé odos basado en el es adís ico χ2 , es el debido a Camilli (1979). Pa a cada í em, se pa e de la cons ucción de ablas e e idas a cada ni el de capacidad, en la que se p esen an las ecuencias de acie o y e o pa a los g upos ocal y de e e- encia ( e abla 4). 202 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez Cada uno de los mé odos usados p opo ciona índices que pueden se omados como medidas del g ado en que el í em es á a ec ado po DIF: la dis ancia al eje de la elipse (mé odo del a), el es adís ico DPE-DIF (mé odo de la di e encia de p opo cio- nes), el alo medio que alcanza c2j en los dis in os amos de capacidad en que son di ididos los g upos (mé odo de chi cuad ado sumado) o el alo zb(mé odo del con- as e de pa áme os). En consecuencia, un es udio de la con e gencia en e los dis in- os mé odos pod ía apoya se en la co elación que se da en e los espec i os indicado es de DIF, omados odos ellos en alo es absolu os. De es e modo, pod ía- mos ob ene una medida de la con e gencia en e mé odos incluyendo en su cálculo a odos y cada uno de los 20 í ems que cons i uyen la p ueba. La ma iz de co elaciones in e mé odos apa ece en la abla 8, e lejando una mode ada o incluso al a con e gen- cia en e los esul ados a los que nos conduce cada mé odo. Tabla 8 CORRELACIONES ENTRE LOS VALORES DEL DIF ESTIMADOS POR DIFERENTES MÉTODOS Mé odo del a Di e encia de Chi-cuad ado Con as e de p opo ciones pa áme os Mé odo del a 1.0000 Di e encia de .8455 1.0000 p opo ciones Chi-cuad ado .7129 .7661 1.0000 Con as e de .8561 .8561 .5147 1.0000 pa áme os Los alo es de la co elación de Pea son indican que las medidas de DIF ob enidas a pa i del mé odo del a son las que mayo co a iación egis an con las esul an es de los demás mé odos, ob eniéndose co elaciones de 0.8561, 0.8455 y 0.7129 con los mé odos del con as e de pa áme os, de la di e encia de p opo ciones y de chi cua- d ado espec i amen e. La co elación más ele ada se ha egis ado en e el mé odo del a y el mé odo de con as e de pa áme os b. La coincidencia en e los esul ados alcanzados po uno y o o mé odo se con i ma si enemos en cuen a que el mé odo del- a des acaba a los í ems 2, 3 y 15 como los que egis aban mayo DIF, y es os es ele- men os se encuen an ambién en e los cua o í ems que p esen an una mayo di e encia de pa áme os b. 203 Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems CONCLUSIÓN El desa ollo de los mé odos pa a la e aluación del DIF ha su gido como espues- a a la necesidad de iden i ica í ems que p esen an sesgo. No obs an e, las écnicas ideadas cuen an con limi aciones que debemos ene p esen es. En el caso del mé odo del a, una c í ica habi ual es la posible con usión en e di icul ad y disc iminación. La di icul ad di e encial no pe manece á cons an e a lo la go de los í ems de una p ueba, a menos que odos p esen en un mismo ni el de disc iminación. Es posible que los í ems iden i icados po un uncionamien o di e encial se ca ac e icen en ealidad po un al o pode de disc iminación. Po o a pa e, el que odos los pun os ep esen ados en el g á ico se alineen supone ausencia de DIF, pe o ello no implica ausencia de ses- go; cab ía la posibilidad de que odos los í ems es én igualmen e sesgados. Al aplica es e mé odo end íamos que pa i del supues o de que la mayo ía de los í ems son ca en es de sesgo. En gene al, los mé odos basados en la eo ía clásica, p esen an un p oblema ci cula : pa a la alo ación del sesgo es p eciso pa i de di e en es ni eles de capacidad medidos po el p opio es , pe o si és e p esen a sesgo, ales ni eles no se ían una e e encia álida. Los mé odos basados en la TRI sal an es e p oblema, al apoya se en la compa a- ción de las cu as ca ac e ís icas del í em es imadas pa a cada subg upo, en luga de oma índices de di icul ad o p opo ciones de acie os. Sin emba go, y a pesa de que se ha demos ado la u ilidad p ác ica de es os mé odos, exis e en ellos una con adic- ción eó ica: si se asume que la es imación de pa áme os es in a ian e espec o de los suje os, esul a ía imposible que dos submues as gene asen dos cu as di e en es. Como a i man Muñiz y Hamble on (1992), la ealidad es más boscosa que la eo ía y lo cie o es que, a pesa de unas bases eó icas no odo lo sólidas que se desea ía, es os mé odos de ec an con buena p ecisión los í ems sesgados. Tal ez la discusión sob e la supe io idad de unos mé odos u o os pueda esul a es é il a la luz de esul ados como los ob enidos en es e abajo. El al o g ado de coin- cidencia en los alo es a los que nos conducen los mé odos pa a la e aluación del DIF bien nos pe mi i ía su u ilización indis in a. En pa icula , en el caso aquí es udiado, la con e gencia en e las medidas DIF ob enidas median e el mé odo del a (el más usa- do en el con ex o clásico) y el con as e de pa áme os bponen de mani ies o que los plan eamien os apoyados en la eo ía clásica y en la TRI no son, en la p ác ica, an ale- jados como pudie a pa ece . Con lige as disc epancias, los di e en es mé odos nos lle- an a soluciones bas an e simila es, y de con i ma se es e ipo de esul ados en el análisis de o os casos, la elección de uno u o o pod ía basa se más en c i e ios de ope- a i idad o p e e encias pe sonales que en la p e endida supe io idad de algunos de ellos. Po ejemplo, al elegi los mé odos basados en la TRI, pod íamos ene p esen es los incon enien es p ác icos que se asocian a és os, pues p ecisan mues as ela i amen e amplias pa a consegui una su icien e bondad de ajus e en la es imación de pa áme- os, y equie en de cálculos complejos y p ocedimien os so is icados. Ambas azones pod ían limi a su u ilización en e a los es an es mé odos, más in ui i os y con menos exigencias en cuan o a amaño mues al o es ue zo de cálculo. 204 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez A pesa de odo, aunque los mé odos coincidan en señala cuáles son los í ems que p esen an DIF, es di ícil in e p e a las azones del mismo. Todos es os mé odos cuen- an con el incon enien e de no o ece pis as pa a la in e p e ación de las causas que o iginan el posible sesgo. De ahí que un pos e io análisis lógico de la edacción y el con enido del í em sean imp escindibles de ca a a mejo a el eac i o o decidi su exclusión del ins umen o. REFERENCIAS BIBLIOGRÁFICAS Ango , W.H. (1982). Uses o di icul y and disc imina ion indices o de ec ing i em bias, en R.A. Be k (Ed.) Handbook o me hods o de ec ing i em bias. Bal imo e, John Hopkins Uni e si y P ess. Ango , W.H. y Fo d, S.F. (1973). I em- ace in e ac ion on a es o scholaas ic ap i ude, en Jou nal o Educa ional Measu emen , 10, 95-105. Assesmen Sys ems Co po a ions (1995). XCALIBRE. Ma ginal maximum likelihood es i- ma ion p og am o he 2-and 3-pa ame e IRT model. Ve sion 1.00. S . Paul, MN: Au o . Bock, R.D. y Liebe man, M. (1970). Fi ing a esponse model o n dicho omously sco ed i ems, en Psychome ika, 35, 179-197. Camilli, G. (1979). A c i ique o he chi-squa e me hod o assessing i em bias. Uni e si y o Colo ado, Labo a o y o Educa ional Resea ch. Camilli, G. y Sepha d, L.A. (1994). Me hods o iden i ying biased es i ems. Thousand Oaks, Cali o nia, Sage Publica ions. Cohen, A.S. y Kim, S.H. (1993). A compa ison o Lo d’s chi-squa e and Raju’s a ea measu es in de ec ion o DIF, en Applied Psychological Measu emen , 17, 39-52. Diamond, J.J. (1992). A G aphic P ocedu e o S udying Di e en ial I em Func ioning, en Jou nal o Expe imen al Educa ion, 60 (4), 351-57. Do ans, N.J. y Holland, P.W. (1993). DIF de ec ion and desc ip ion: Man el-Haenszel and s anda diza ion. En P.W. Holland y H. Waine (Eds.), Di e en ial i em unc ioning. Hillsdale, New Je sey, Law ence E lbaum. Do ans, M.J. y Ku lick, E.M. (1983). Assessing unexpec ed di e en ial i em pe o mance o emale candida es on SAT and TSWE o ms adminis e ed in Decembe 1977: an applica ion o s anda diza ion app oach. P ince on, New Je sey, Educa ional Tes ing Se ice. Do ans, M.J. y Ku lick, E.M. (1986). Demons a ing he u ili y o he s anda diza ion app oach o assessing unespec ed di e en ial i em pe o mance on he Scholas ic Ap i ude Tes , en Jou nal o Educa ional Measu emen , 23, 355-368. Ga cía, E. (Di .) (1993). Los Tes s Adap a i os Compu e izados (TACs): su aplicación al A ea de Geog a ía, His o ia y Ciencias Sociales en la Educación Secunda ia Obliga o ia. P o- yec o ap obado po el CIDE en el Concu so Nacional de P oyec os de In es iga- ción. Con oca o ia 1993. Hamble on, R.K. y o os (1993). Ad ances in he de ec ion o di e en ially unc ioning es i ems, en Eu opean Jou nal o Psychological Assessmen , 9 (1), 1-18. Hanson, B.A. y Feins ein, Z.S. (1995). A Polynomial Loglinea Model o Assessing Di e en ial I em Func ioning. Comunicación p esen ada al Annual Mee ing o he Ame ican Educa ional Resea ch Associa ion. San F ancisco, CA. 205 Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems Kim, S.H. y Cohen, A.S. (1992). E ec s o linking me hods on de ec ion o DIF, en Jou - nal o Educa ional Measu emen , 29(1) 51-66. Lo d (1980). Applica ions o i em esponse heo y o p ac ical es ing p oblems. Hillsdale, Nue a Je sey, LEA. Mazo , K.M. y o os (1994). Iden i ica ion o Nonuni o m Di e en ial I em Func ioning Using a Va ia ion o he Man el-Haenszel P ocedu e, en Educa ional and Psychological Measu emen , 54 (2), 284-91. Mazo , K.M. y o os (1995). Using Logis ic Reg ession and he Man el-Haenszel wi h Mul iple Abili y Es ima es o De ec Di e en ial I em Func ioning, en Jou nal o Educa ional Measu emen , 32 (2), 131-144. Mille , T.R. y Sp ay, J.A. (1993). Logis ic Disc iminan Func ion Analysis o DIF Iden- i ica ion o Poly omously Sco ed I ems, en Jou nal o Educa ional Measu emen , 30 (2), 107-22. Muñiz, J. (1992). Teo ía clásica de los es s. Mad id, Pi ámide. Muñiz, J. y Hamble on, R.K. (1992). Medio siglo de Teo ía de Respues a a los Í ems, en Anua io de Psicología, 52, 41-66. Nandakuma , R. (1994). De elopmen o a Valid Sub es o Assessmen o DIF/Bias. Comunicación p esen ada al Annual Mee ing o he Ame ican Educa ional Resea ch Associa ion. New O leans, LA. Oshima, T.C. y o os (1994). Di e en ial I em Func ioning o a Tes wi h a Cu o Sco e: Use o Limi ed Closed-In e al Measu es, en Applied Measu emen in Educa ion, 7 (3), 195-209. Pang, X. y o os (1994). Pe o mance o Man el-Haenszel and Logis ic Reg ession DIF P ocedu es o e Replica ions Using Real Da a. Comunicación p esen ada al Annual Mee ing o he Ame ican Educa ional Resea ch Associa ion. New O leans, LA. Zwick y o os (1994a). Assessmen o Di e en ial I em Func ioning o Pe o mance Tasks, en Jou nal o Educa ional Measu emen ; 30 (3), 233-51. Zwick, R. y o os (1994b). A Simula ion S udy o Me hods o Assessing Di e en ial I em Func ioning in Compu e ized Adap i e Tes s, en Applied Psychological Measu emen , 18 (2), 121-140.