COMPARACIÓN DE MÉTODOS ESTADÍSTICOS
PARA LA EVALUACIÓN DEL FUNCIONAMIENTO
DIFERENCIAL DE LOS ÍTEMS
Ja ie Gil Flo es*, Edua do Ga cía Jiménez* y G ego io Rod íguez Gómez**
* Á ea MIDE de la Uni e sidad de Se illa
** Á ea MIDE de la Uni e sidad de Cádiz
RESUMEN
En es e abajo lle amos a cabo un es udio compa a i o de cua o mé odos pa a la de ección
del uncionamien o di e encial de los í ems: el mé odo del a, uno de los más usados en el con-
ex o de la eo ía clásica, los mé odos de las di e encias de p opo ciones y de chi cuad ado
sumado, ambos basados en ablas de con ingencia, y el con as e de pa áme os b ob enidos
al es ima la cu a ca ac e ís ica del í em. Los da os u ilizados co esponden a una p ueba de
comp ensión de ex os adminis ada a 519 alumnos de Educación Secunda ia, y la a iable di e-
enciado a de los g upos ha sido el sexo. T as la aplicación de las di e en es écnicas, ob enemos
una cie a con e gencia en e los esul ados alcanzados, da o que i ía en con a de la hipo é i-
ca supe io idad de unos mé odos sob e o os.
ABSTRACT
A compa a i e s udy o e ou me hods used o de ec he di e en ial i em unc ioning is
he ocus o his pape . These me hods a e: he del a me hod ( ecuen ly used in he classic he-
o y's con ex ), he me hods o p opo ion's di e ences and he chi squa e (bo h based on he
con ingency's able), and he con as o he b pa ame e s, ob ained when s ima ing he
ca ac e is ic cu e o he i em. The da a used has been accomplished om a es abou ex 's
comp ehension adminis e ed o 519 Seconda y Educa ion's s uden s, being sex he di e encing
a iable o he g oups. A e he applica ion o hese di e en echniques, he esul s ob ained
a e simila .
Re is a de In es igación Educa i a, 1998, Vol. 16, n.º 1, págs. 187-205
188 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez
INTRODUCCIÓN
Un ema que ha llegado a cons i ui se en oco de in e és pa a in es igado es y cons-
uc o es de es s es el ela i o al sesgo de los ins umen os de medida, al y como e le-
ja la p o usión de abajos que en los úl imos años se han cen ado en es e ema. De
acue do con el concep o habi ualmen e manejado, un ins umen o de medida es á ses-
gado cuando no o ece la misma medida pa a dos suje os o g upos de suje os que
cuen an con un ni el simila en el a ibu o medido, sino que sis emá icamen e pe ju-
dica a alguno de ellos. Es e mismo concep o pod ía aslada se a cada uno de los í ems
que componen el ins umen o. Es deci , un í em es á sesgado cuando suje os con la
misma compe encia y pe enecien es a dis in as subpoblaciones no cuen an con el mis-
mo g ado de acie o al esponde el í em. El p oblema del sesgo ep esen a un aspec-
o cla e, no sólo desde el pun o de is a social, dada la injus icia que ep esen a pa a
los colec i os que se en pe judicados, sino ambién desde la óp ica psicomé ica, po
el impac o nega i o de los í ems sesgados sob e la alidez de la p ueba.
Aho a bien, no debe con undi se el sesgo del í em con di e encias eales en el en-
dimien o de los g upos. El hecho de que homb es y muje es, po ejemplo, engan dis-
in a asa de acie os en un í em no signi ica que el í em es é sesgado; puede ocu i
que el í em disc imine en e ambos g upos po exis i en e ellos una di e encia eal en
la capacidad medida. Al a a de de e mina el sesgo, lo que se pe sigue se á p ecisa-
men e sepa a las di e encias eales de las que son gene adas po el p opio ins u-
men o de medida.
Gene almen e, el es udio del sesgo de los í ems se ha inculado a di e enciaciones
de los suje os desde el pun o de is a social, cul u al, acial, sexual, eligioso, econó-
mico, geog á ico: neg os-blancos, muje es-homb es, icos-pob es,... No malmen e se
alude a dos g upos, a los que se denomina g upo ocal y g upo de e e encia, que son
espec i amen e el g upo mino i a io pe judicado o a o ecido po el í em y el g upo
de compa ación, espec o al cual se p oduce la di e encia obse ada en el g upo ocal.
También se ía posible conside a el sesgo compa ando g upos de simila amaño o
omando más de dos g upos.
A eces, el sesgo se debe a la p esencia de una a iable que con amina la espues-
a del indi iduo. Po ejemplo, si en un es de in eligencia incluimos una p egun a en
la que se emplea un lenguaje complejo y ele ado, ese elemen o es a á midiendo no
sólo la in eligencia sino la capacidad de comp ensión lec o a de los suje os, y esul a-
á sesgado con a los suje os poco compe en es en comp ensión lec o a. Exis en o as
múl iples causas de sesgo de los í ems; en ealidad, es di ícil encon a p uebas que no
es én sesgadas.
La mejo o ma de p e eni el sesgo en los í ems consis e en lle a a cabo un cui-
dadoso análisis del con enido de los mismos po pa e de expe os. Sin emba go, cabe
la posibilidad de ealiza algunos análisis es adís icos median e los cuales podemos
de ec a í ems que escapa on al examen p e io. Los mé odos pa a e alua el sesgo se
han basado en la compa ación de la di e encia de espues a en los dos g upos egis-
ada pa a el í em y la di e encia de espues a que pe manece cons an e a lo la go del
es . Si se asume la unidimensionalidad del es , odos sus í ems miden el mismo cons-
189
Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems
uc o, y po an o la di e encia en el g ado de acie o en dos g upos dis in os hab ía
de man ene se cons an e a lo la go de odos ellos. Si en un í em se egis an di e en-
cias de acie o que se apa an de las que se dan en la globalidad de la p ueba, pod e-
mos sospecha que se a a de un í em con sesgo. Sin emba go, cab ía la posibilidad de
que odos los í ems con a an con un mismo sesgo y ese í em des aca a sob e los demás.
Es deci , se pod ían de ec a í ems que esul an especialmen e sesgados espec o al
conjun o de í ems. Po es e mo i o esul a p e e ible, desde el pun o de is a me odo-
lógico, habla de écnicas pa a la e aluación del uncionamien o di e encial de los
í ems. En la li e a u a psicomé ica se suele ecoge es e concep o median e la sigla
DIF, que p o iene de la exp esión inglesa Di e en ial I em Func ioning.
OBJETIVO DEL ESTUDIO
Exis en múl iples mé odos es adís icos pa a e alua el DIF. Los es udios compa a-
i os y las simulaciones di igidos a de e mina la e icacia de di e en es mé odos han
sido ecuen es en los úl imos años (Cohen y Kim, 1993; Zwick y o os, 1994a, 1994b),
y son innume ables las a ian es p opues as o las adap aciones a casos conc e os, o -
muladas a pa i de los mé odos usados habi ualmen e (Diamond, 1992; Mille y
Sp ay, 1993; Oshima y o os, 1994; Mazo y o os, 1994, 1995; Nandakuma , 1994; Pang
y o os, 1994; Hanson y Feins ein, 1995,...).
A pesa de ales es udios, no exis e acue do sob e qué mé odos esul an más ade-
cuados. Pa a algunos, los mé odos clásicos se en supe ados po las nue as écnicas
basadas en la eo ía de espues a a los í ems (TRI), mien as que o os en en es e ipo
de p ocedimien os p oblemas concep uales y exigencias eó icas que no siemp e se
cumplen en la p ác ica. En ealidad, ningún mé odo esul a su icien e po sí mismo. La
p ime a de las di ec ices o ecidas po Hamble on y o os (1993) de ca a a lle a a
cabo es udios sob e el DIF apun a en es e sen ido, a i mando que no exis e un único
mé odo capaz de ga an iza la de ección de odos los í ems de un es a ec ados po un
uncionamien o di e encial.
An e la di e sidad de opiniones, en es e abajo hemos p e endido lle a a cabo
una compa ación de dis in os mé odos a in de comp oba la con e gencia o, po el
con a io, la disc epancia en e los esul ados a que nos conducen. Con es e obje i o,
aplica emos di e en es écnicas pa a la e aluación del DIF a los í ems de una p ueba
de comp ensión de ex os, examinando el posible sesgo que és os p esen an en un-
ción de la a iable sexo. Hemos omado el ac o di e enciado sexo po se és a una
a iable comúnmen e conside ada en los es udios sob e DIF y po las en ajas p ác-
icas que o ece, ya que la di e enciación po sexos suele da luga a dos subg upos
de examinados de amaño pa ecido, e i ando que el educido núme o de suje os en
alguno de ellos impida la aplicación de algunos mé odos de análisis, basados en la
TRI, que exigen con a con un mínimo amaño mues al de ca a a la es imación de
pa áme os.
Po an o, se a a á de iden i ica , u ilizando di e en es mé odos de análisis, los
í ems de la p ueba que pudie an a o ece o pe judica sis emá icamen e a las alum-
nas (g upo ocal) en e a los alumnos (g upo de e e encia) al medi su capacidad pa a
190 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez
la comp ensión de ex os. La compa ación de los esul ados nos pe mi i á alo a la
coincidencia o disc epancia en e los di e en es mé odos usados.
DATOS UTILIZADOS
Los da os u ilizados en es e es udio han sido ex aídos de una in es igación que
enía po obje i o la cons ucción de un es adap a i o compu e izado (TAC), cuyo in
e a medi la capacidad de los alumnos de Educación Secunda ia pa a comp ende
in o mación esc i a en el á ea de Geog a ía e His o ia (Ga cía y o os, 1993). Aquí
hemos omado una de las 49 p uebas en que ue agmen ado el banco inicial de í ems,
de ca a a su calib ación con o me a un modelo logís ico de 3 pa áme os. La calib a-
ción de un banco de í ems pa a la cons ucción de un TAC equie e la aplicación p e-
ia de cada una de las p uebas en el o ma o con encional no adap a i o de lápiz y
papel. Los da os ob enidos con una de es as p uebas son los que u iliza emos en la
compa ación de mé odos pa a la e aluación del DIF.
La p ueba consis ía en la p esen ación de di e sos ex os his ó icos o ela i os a
emas de geog a ía ísica, humana y económica, que daban paso a la o mulación de
una se ie de cues iones o í ems sob e su con enido. En cada í em se o ecían cua o
opciones de espues a, de las cuales una sola e a co ec a, uncionando las es es an-
es como dis ac o es. Las pun uaciones co espondien es a cada í em ue on dico ó-
micas, asignando 1 en caso de acie o y 0 en caso de e o , y la suma de odas ellas se
omó como pun uación alcanzada en la p ueba.
El núme o de examinados ascendió a 519 suje os, de los cuales 219 e an alumnos y
300 alumnas. Todos ellos cu saban es udios de BUP o ni eles equi alen es de la nue-
a Educación Secunda ia, en el I.B.Caballe o Bonald, de Je ez de la F on e a, y en el
I.E.S. José Luis Tejada, de El Pue o de San a Ma ía, ambos en la p o incia de Cádiz.
La adminis ación u o luga en el segundo imes e del cu so académico 1994/95.
Una ez eliminados, de ca a a mejo a la calidad psicomé ica de la p ueba, los í ems
que p esen aban una di icul ad (o acilidad) ex ema y no alcanzaban un ni el mínimo
de disc iminación (co elación bise ial pun ual in e io a 0.30), el ins umen o quedó
cons i uido po 20 í ems, los cuales han sido obje o del p esen e es udio.
MÉTODOS PARA LA EVALUACIÓN DEL DIF
La iden i icación de los í ems a ec ados po DIF se ha ealizado ecu iendo a un
o al de cua o mé odos es adís icos. Hemos seleccionado el mé odo del a, po a-
a se de uno de los más ampliamen e usados en el con ex o de la eo ía clásica, y
ambién los mé odos de la di e encia de p opo ciones y de chi cuad ado sumado,
ambos basados en el análisis de ablas de con ingencia. Po úl imo, hemos conside-
ado una écnica pa a la iden i icación del DIF basada en los modelos de la TRI; con-
c e amen e, se a a de la compa ación es adís ica de los pa áme os bob enidos al
es ima la cu a ca ac e ís ica del í em pa a el g upo ocal y el g upo de e e encia.
T as un b e e comen a io sob e cada uno de los mé odos, p esen a emos los esul a-
dos ob enidos.
191
Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems
Mé odo del a
Uno de los p ocedimien os más usados en el con ex o de la eo ía clásica es el mé o-
do del a (Ango , 1982; Ango y Fo d, 1973). El p incipio básico consis e en encon a
los í ems con mayo disc epancia en e los índices de di icul ad calculados pa a los dos
g upos. El mé odo del a supone ans o ma las p opo ciones de acie o (índice de
di icul ad) pa a los dos g upos en pun uaciones del a (pun uaciones ípicas de i adas,
con media 13 y des iación ípica 4). Po an o, en p ime luga hab á que ans o ma
los índices de di icul ad (p opo ciones de acie o p) en pun uaciones zco espondien-
es al pe cen il 1-p de la dis ibución no mal y pos e io men e aslada la a la escala de
las pun uaciones del a. Al ob ene la pun uación za pa i de 1-p y no a pa i de p,
conseguimos que las pun uaciones al as co espondan a los í ems de mayo di icul ad
y las pun uaciones bajas a los de meno di icul ad. Los índices de di icul ad (p1 y p2),
las pun uaciones z1-p co espondien es a los mismos (z1y z2) y las pun uaciones del a
(∆1 y ∆2) pa a los 20 í ems de la p ueba apa ecen ecogidos en la abla 1.
Tabla 1
RESULTADOS DE LA APLICACIÓN DEL MÉTODO DELTA
I em p1p2z1z2∆1∆2d
1 0.75 0.66 -0.67 -0.41 10.32 11.36 —.24
2 0.50 0.34 0.00 0.41 13.00 14.64 —.74
3 0.15 0.22 1.04 0.77 17.16 16.08 .66
4 0.86 0.75 -1.08 -0.67 8.68 10.32 —.51
5 0.79 0.74 -0.81 -0.64 9.76 10.44 .01
6 0.79 0.71 -0.81 -0.55 9.76 10.80 —.21
7 0.24 0.21 0.71 0.81 15.84 16.24 —.15
8 0.52 0.43 -0.05 0.18 12.80 13.72 —.30
9 0.34 0.34 0.41 0.41 14.64 14.64 .15
10 0.76 0.76 -0.71 -0.71 10.16 10.16 .39
11 0.59 0.56 -0.23 -0.15 12.08 12.40 .10
12 0.38 0.34 0.31 0.41 14.24 14.64 —.07
13 0.92 0.92 -1.41 -1.41 7.36 7.36 .54
14 0.54 0.52 -0.10 -0.05 12.60 12.80 .14
15 0.48 0.34 0.05 0.41 13.20 14.64 —.63
16 0.36 0.34 0.36 0.41 14.44 14.64 .04
17 0.29 0.28 0.55 0.58 15.20 15.32 .05
18 0.37 0.35 0.33 0.39 14.32 14.56 .02
19 0.23 0.21 0.74 0.81 15.96 16.24 —.09
20 0.58 0.57 -0.20 -0.18 12.20 12.28 .23

192 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez
Las pun uaciones del a de cada í em son ep esen adas g á icamen e si uando en
abscisas la pun uación en uno de los g upos, y en o denadas la pun uación alcanzada
en el o o. De es e modo, conseguimos un g á ico o mado po an os pun os como
í ems posee el es ( e más adelan e igu a 1). Es a nube de dispe sión end á la o -
ma de una elipse; cuando los g upos p o ienen de una misma población, la elipse se
es echa á ap oximándose a una ec a. Si los pun os se encuen an en línea ec a, pode-
mos a i ma que los í ems son insesgados, es ando sesgados aquéllos que se apa an
conside ablemen e de ella. No obs an e, como a i ma Muñiz (1992), el hecho de que los
í ems se si úen en línea ec a no implica ausencia de sesgo. Pod íamos pensa que una
línea ec a po debajo de la diagonal ep esen a un sesgo con a el g upo ep esen ado
en o denadas, mien as que una ec a po encima de la diagonal supond ía un sesgo
con a el g upo ep esen ado en abscisas. En ealidad, el mé odo del a e alúa la dis-
c epancia en e sesgos, de ec ando aquellos í ems que se apa an en es e asgo de los
es an es que cons i uyen la p ueba.
Se han p opues o índices que pe mi en ca ac e iza el sesgo de los í ems sin nece-
sidad de basa nos exclusi amen e en la inspección isual del g á ico. Globalmen e, el
ajus e de los pun os a la ec a puede alo a se a pa i de la co elación de Pea son
en e los dos g upos de pun uaciones del a. En es e caso, el alo de la co elación
asciende a 0.97, indicando un buen ajus e y po an o un bajo DIF. Sin emba go, más
que una conside ación global sob e los 20 í ems de la p ueba, nos in e esa ca ac e iza
a cada uno de ellos pa icula men e. Un modo de hace lo se basa en calcula la dis-
ancia de cada pun o al eje p incipal de la elipse, de o ma que cuan o más g ande sea
es a dis ancia mayo se á el sesgo del í em en elación a los o os. Pa a calcula la,
siguiendo a Ango y Fo d (1973), pa imos del eje p incipal de la elipse, cuya ecuación
co esponde á a la ec a
∆2= a · ∆1+ b
donde los alo es de las cons an es a y b son
b = ∆$2– a · ∆$1
El índice de dis ancia pa a un í em j, cuyas pun uaciones del a en ambos g upos
son D1j y D2j espec i amen e, end á exp esado po :
1+
a
b
+-
a ·
=d 2
2j1j ∆∆
∆
∆∆
S
·
S
·
2 ·
S
_
S
_
4 ·+
)
S
-
S
(+
S
-
S
=a
21
21
21
21
1211 22
2
2
2222
∆∆
∆
∆∆∆∆
∆
∆
193
Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems
La ecuación pa a el eje mayo de la elipse que o man los pun os del diag ama de
dispe sión ha sido de e minada en el caso de la p ueba que nos ocupa, ob eniendo
como esul ado:
∆2= 0.91 · ∆1+ 1.57
En la igu a 1, es e eje ha sido azado sob e el diag ama de dispe sión pa a las pun-
uaciones del a, e ique ando po medio de su núme o a los í ems que más se dis an-
cian del eje.
Figu a 1
DIAGRAMA DE DISPERSIÓN PARA LAS PUNTUACIONES DELTA, EJE MAYOR DE
LA ELIPSE Y PUNTOS MÁS DISTANCIADOS DEL EJE
∆2
∆1
Calculando la dis ancia al eje pa a odos los í ems enemos una isión global y
podemos es ablece , siguiendo c i e ios me amen e desc ip i os, pun os de co e a
pa i de los cuales desca a í ems que conside amos especialmen e sesgados. Las dis-
ancias (d) queda on ecogidas en la abla 1 mos ada an e io men e. Fijando en 0.60 el
ni el de co e, los í ems que mayo DIF p esen an son, en es e o den, los núme os 2, 3
y 15. El signo posi i o asociado a la dis ancia dindica que el í em a o ece al g upo
ocal, mien as que las dis ancias nega i as co esponden a í ems que lo pe judican.
194 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez
Una modi icación p opues a po Camilli y Sepha d (1994) al mé odo de Ango
consis e en ealiza una segunda es anda ización de los índices de di icul ad. En luga
de calcula la dis ancia de los pun os a la ec a, omamos las pun uaciones z1-p y las
es anda izamos espec o al g upo, a pa i de la media y la des iación ípica del con-
jun o de pun uaciones z1-p. Es deci , la nue a pun uación z*co espondien e a una pun-
uación z se ob end á, po an o, como:
donde µzes la media de las pun uaciones z1-p pa a odos los í ems de la p ueba, y σzla
des iación ípica de las mismas. La di e encia z1*– z2* en e las pun uaciones ob enidas
pa a un mismo í em en los g upos ocal y de e e encia puede se omada como medi-
da del DIF. No obs an e, el cálculo de es e alo no al e a el esul ado ob enido basán-
donos en la dis ancia al eje; de nue o, los alo es más al os pa a la di e encia en e
pun uaciones z es anda izadas co esponden a los í ems 2, 3 y 15, donde z1*– z2*
asciende a –0.48, 0.50 y –0,41 espec i amen e.
Mé odo de la di e encia de p opo ciones
Es e mé odo, p opues o po Do ans y Ku lick (1983, 1986), se basa en el cálculo de
la di e encia de p opo ciones en cada uno de los ni eles en que p e iamen e son sub-
di ididos ambos g upos. Suponiendo que hemos di idido los g upos en k ni eles de
capacidad, podemos calcula la di e encia en la p opo ción de acie os pa a cada uno
de esos ni eles. Si p2j y p1j son las p opo ciones de acie o en los g upos ocal y de e e-
encia pa a el ni el de capacidad j, la di e encia de p opo ciones end á dada po :
∆pj= p2j – p1j
A pa i de la suma ponde ada de las di e encias de p opo ciones en los k ni eles,
se puede calcula el es adís ico:
donde el coe icien e de ponde ación wjpuede adop a di e en es alo es, según los
p opósi os de la in es igación (Do ans y Holland, 1993). Se ecomienda el uso de n2j o
p
=DIF-DPE
j
∆
wj
k
j=1
Σ
wj
k
j=1
Σ
σ
µ
z
z
*-z
=
z
195
Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems
ecuencia en jde los suje os del g upo ocal, pues de es a mane a se da más peso a las
di e encias de p opo ciones egis adas en ni eles de capacidad donde los suje os del
g upo ocal son más nume osos.
Los alo es del es adís ico DPE-DIF es án comp endidos en e –1 y 1. Siguiendo las
pau as de in e p e ación o ecidas po Do ans y Holland (1993), cuando encon amos
alo es que se si úan, en alo absolu o, po debajo de 0.05, podemos a i ma la ine-
xis encia de un uncionamien o di e encial de los í ems; alo es absolu os comp endi-
dos en e 0.05 y 0.10 no son p eocupan es, aunque aconsejan una inspección de los
í ems; y alo es po encima de 0.10, en alo absolu o, hacen necesa io un cuidadoso
examen. Los alo es posi i os indica án una en aja pa a el g upo ocal, mien as que
los nega i os e lejan una des en aja pa a es e g upo.
La aplicación de es e mé odo a los í ems de la p ueba analizada se ha basado en la
di isión de los g upos en 6 ni eles de capacidad. Todos los in e alos c eados poseen
una ampli ud de 3 unidades. La ecuencia de suje os en cada ni el de di icul ad, an-
o pa a el g upo ocal como pa a el g upo de e e encia, apa ece ecogida en la abla 2.
Tabla 2
NÚMERO DE SUJETOS INCLUIDOS EN CADA NIVEL DE CAPACIDAD
Ni eles G. Re e encia G. Focal
1-3 3 5
4-6 29 48
7-9 63 110
10-12 63 82
13-15 43 37
16-18 18 18
Los alo es de las p opo ciones de acie o en cada ni el, así como el es adís ico
DPE-DIF calculado pa a cada uno de los í ems, apa ecen en la abla 3. Conside ando
a ec ados de DIF aquellos í ems en los que el es adís ico calculado se ap oxima o supe-
a en alo absolu o la co a de 0.10, es e mé odo señala a los núme os 2, 3, 4 y 15, de
en e los cuales únicamen e el í em 3 a o ece al g upo ocal, de acue do con el signo
posi i o asignado.
Mé odo de chi cuad ado sumado
Uno de los mé odos basado en el es adís ico χ2 , es el debido a Camilli (1979). Pa a
cada í em, se pa e de la cons ucción de ablas e e idas a cada ni el de capacidad, en
la que se p esen an las ecuencias de acie o y e o pa a los g upos ocal y de e e-
encia ( e abla 4).
202 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez
Cada uno de los mé odos usados p opo ciona índices que pueden se omados
como medidas del g ado en que el í em es á a ec ado po DIF: la dis ancia al eje de la
elipse (mé odo del a), el es adís ico DPE-DIF (mé odo de la di e encia de p opo cio-
nes), el alo medio que alcanza c2j en los dis in os amos de capacidad en que son
di ididos los g upos (mé odo de chi cuad ado sumado) o el alo zb(mé odo del con-
as e de pa áme os). En consecuencia, un es udio de la con e gencia en e los dis in-
os mé odos pod ía apoya se en la co elación que se da en e los espec i os
indicado es de DIF, omados odos ellos en alo es absolu os. De es e modo, pod ía-
mos ob ene una medida de la con e gencia en e mé odos incluyendo en su cálculo a
odos y cada uno de los 20 í ems que cons i uyen la p ueba. La ma iz de co elaciones
in e mé odos apa ece en la abla 8, e lejando una mode ada o incluso al a con e gen-
cia en e los esul ados a los que nos conduce cada mé odo.
Tabla 8
CORRELACIONES ENTRE LOS VALORES DEL DIF ESTIMADOS POR DIFERENTES
MÉTODOS
Mé odo del a Di e encia de Chi-cuad ado Con as e de
p opo ciones pa áme os
Mé odo del a 1.0000
Di e encia de .8455 1.0000
p opo ciones
Chi-cuad ado .7129 .7661 1.0000
Con as e de .8561 .8561 .5147 1.0000
pa áme os
Los alo es de la co elación de Pea son indican que las medidas de DIF ob enidas
a pa i del mé odo del a son las que mayo co a iación egis an con las esul an es
de los demás mé odos, ob eniéndose co elaciones de 0.8561, 0.8455 y 0.7129 con los
mé odos del con as e de pa áme os, de la di e encia de p opo ciones y de chi cua-
d ado espec i amen e. La co elación más ele ada se ha egis ado en e el mé odo
del a y el mé odo de con as e de pa áme os b. La coincidencia en e los esul ados
alcanzados po uno y o o mé odo se con i ma si enemos en cuen a que el mé odo del-
a des acaba a los í ems 2, 3 y 15 como los que egis aban mayo DIF, y es os es ele-
men os se encuen an ambién en e los cua o í ems que p esen an una mayo
di e encia de pa áme os b.

203
Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems
CONCLUSIÓN
El desa ollo de los mé odos pa a la e aluación del DIF ha su gido como espues-
a a la necesidad de iden i ica í ems que p esen an sesgo. No obs an e, las écnicas
ideadas cuen an con limi aciones que debemos ene p esen es. En el caso del mé odo
del a, una c í ica habi ual es la posible con usión en e di icul ad y disc iminación. La
di icul ad di e encial no pe manece á cons an e a lo la go de los í ems de una p ueba,
a menos que odos p esen en un mismo ni el de disc iminación. Es posible que los
í ems iden i icados po un uncionamien o di e encial se ca ac e icen en ealidad po
un al o pode de disc iminación. Po o a pa e, el que odos los pun os ep esen ados
en el g á ico se alineen supone ausencia de DIF, pe o ello no implica ausencia de ses-
go; cab ía la posibilidad de que odos los í ems es én igualmen e sesgados. Al aplica
es e mé odo end íamos que pa i del supues o de que la mayo ía de los í ems son
ca en es de sesgo. En gene al, los mé odos basados en la eo ía clásica, p esen an un
p oblema ci cula : pa a la alo ación del sesgo es p eciso pa i de di e en es ni eles
de capacidad medidos po el p opio es , pe o si és e p esen a sesgo, ales ni eles no
se ían una e e encia álida.
Los mé odos basados en la TRI sal an es e p oblema, al apoya se en la compa a-
ción de las cu as ca ac e ís icas del í em es imadas pa a cada subg upo, en luga de
oma índices de di icul ad o p opo ciones de acie os. Sin emba go, y a pesa de que
se ha demos ado la u ilidad p ác ica de es os mé odos, exis e en ellos una con adic-
ción eó ica: si se asume que la es imación de pa áme os es in a ian e espec o de los
suje os, esul a ía imposible que dos submues as gene asen dos cu as di e en es.
Como a i man Muñiz y Hamble on (1992), la ealidad es más boscosa que la eo ía y
lo cie o es que, a pesa de unas bases eó icas no odo lo sólidas que se desea ía, es os
mé odos de ec an con buena p ecisión los í ems sesgados.
Tal ez la discusión sob e la supe io idad de unos mé odos u o os pueda esul a
es é il a la luz de esul ados como los ob enidos en es e abajo. El al o g ado de coin-
cidencia en los alo es a los que nos conducen los mé odos pa a la e aluación del DIF
bien nos pe mi i ía su u ilización indis in a. En pa icula , en el caso aquí es udiado, la
con e gencia en e las medidas DIF ob enidas median e el mé odo del a (el más usa-
do en el con ex o clásico) y el con as e de pa áme os bponen de mani ies o que los
plan eamien os apoyados en la eo ía clásica y en la TRI no son, en la p ác ica, an ale-
jados como pudie a pa ece . Con lige as disc epancias, los di e en es mé odos nos lle-
an a soluciones bas an e simila es, y de con i ma se es e ipo de esul ados en el
análisis de o os casos, la elección de uno u o o pod ía basa se más en c i e ios de ope-
a i idad o p e e encias pe sonales que en la p e endida supe io idad de algunos de
ellos.
Po ejemplo, al elegi los mé odos basados en la TRI, pod íamos ene p esen es los
incon enien es p ác icos que se asocian a és os, pues p ecisan mues as ela i amen e
amplias pa a consegui una su icien e bondad de ajus e en la es imación de pa áme-
os, y equie en de cálculos complejos y p ocedimien os so is icados. Ambas azones
pod ían limi a su u ilización en e a los es an es mé odos, más in ui i os y con
menos exigencias en cuan o a amaño mues al o es ue zo de cálculo.
204 Ja ie Gil Flo es, Edua do Ga cía Jiménez y G ego io Rod íguez Gómez
A pesa de odo, aunque los mé odos coincidan en señala cuáles son los í ems que
p esen an DIF, es di ícil in e p e a las azones del mismo. Todos es os mé odos cuen-
an con el incon enien e de no o ece pis as pa a la in e p e ación de las causas que
o iginan el posible sesgo. De ahí que un pos e io análisis lógico de la edacción y el
con enido del í em sean imp escindibles de ca a a mejo a el eac i o o decidi su
exclusión del ins umen o.
REFERENCIAS BIBLIOGRÁFICAS
Ango , W.H. (1982). Uses o di icul y and disc imina ion indices o de ec ing i em
bias, en R.A. Be k (Ed.) Handbook o me hods o de ec ing i em bias. Bal imo e, John
Hopkins Uni e si y P ess.
Ango , W.H. y Fo d, S.F. (1973). I em- ace in e ac ion on a es o scholaas ic ap i ude,
en Jou nal o Educa ional Measu emen , 10, 95-105.
Assesmen Sys ems Co po a ions (1995). XCALIBRE. Ma ginal maximum likelihood es i-
ma ion p og am o he 2-and 3-pa ame e IRT model. Ve sion 1.00. S . Paul, MN: Au o .
Bock, R.D. y Liebe man, M. (1970). Fi ing a esponse model o n dicho omously sco ed
i ems, en Psychome ika, 35, 179-197.
Camilli, G. (1979). A c i ique o he chi-squa e me hod o assessing i em bias. Uni e si y o
Colo ado, Labo a o y o Educa ional Resea ch.
Camilli, G. y Sepha d, L.A. (1994). Me hods o iden i ying biased es i ems. Thousand
Oaks, Cali o nia, Sage Publica ions.
Cohen, A.S. y Kim, S.H. (1993). A compa ison o Lo d’s chi-squa e and Raju’s a ea
measu es in de ec ion o DIF, en Applied Psychological Measu emen , 17, 39-52.
Diamond, J.J. (1992). A G aphic P ocedu e o S udying Di e en ial I em Func ioning,
en Jou nal o Expe imen al Educa ion, 60 (4), 351-57.
Do ans, N.J. y Holland, P.W. (1993). DIF de ec ion and desc ip ion: Man el-Haenszel
and s anda diza ion. En P.W. Holland y H. Waine (Eds.), Di e en ial i em unc ioning.
Hillsdale, New Je sey, Law ence E lbaum.
Do ans, M.J. y Ku lick, E.M. (1983). Assessing unexpec ed di e en ial i em pe o mance o
emale candida es on SAT and TSWE o ms adminis e ed in Decembe 1977: an applica ion
o s anda diza ion app oach. P ince on, New Je sey, Educa ional Tes ing Se ice.
Do ans, M.J. y Ku lick, E.M. (1986). Demons a ing he u ili y o he s anda diza ion
app oach o assessing unespec ed di e en ial i em pe o mance on he Scholas ic
Ap i ude Tes , en Jou nal o Educa ional Measu emen , 23, 355-368.
Ga cía, E. (Di .) (1993). Los Tes s Adap a i os Compu e izados (TACs): su aplicación al A ea
de Geog a ía, His o ia y Ciencias Sociales en la Educación Secunda ia Obliga o ia. P o-
yec o ap obado po el CIDE en el Concu so Nacional de P oyec os de In es iga-
ción. Con oca o ia 1993.
Hamble on, R.K. y o os (1993). Ad ances in he de ec ion o di e en ially unc ioning
es i ems, en Eu opean Jou nal o Psychological Assessmen , 9 (1), 1-18.
Hanson, B.A. y Feins ein, Z.S. (1995). A Polynomial Loglinea Model o Assessing
Di e en ial I em Func ioning. Comunicación p esen ada al Annual Mee ing o he
Ame ican Educa ional Resea ch Associa ion. San F ancisco, CA.
205
Compa ación de mé odos es adís icos pa a la e aluación del uncionamien o di e encial de los í ems
Kim, S.H. y Cohen, A.S. (1992). E ec s o linking me hods on de ec ion o DIF, en Jou -
nal o Educa ional Measu emen , 29(1) 51-66.
Lo d (1980). Applica ions o i em esponse heo y o p ac ical es ing p oblems. Hillsdale,
Nue a Je sey, LEA.
Mazo , K.M. y o os (1994). Iden i ica ion o Nonuni o m Di e en ial I em Func ioning
Using a Va ia ion o he Man el-Haenszel P ocedu e, en Educa ional and Psychological
Measu emen , 54 (2), 284-91.
Mazo , K.M. y o os (1995). Using Logis ic Reg ession and he Man el-Haenszel wi h
Mul iple Abili y Es ima es o De ec Di e en ial I em Func ioning, en Jou nal o
Educa ional Measu emen , 32 (2), 131-144.
Mille , T.R. y Sp ay, J.A. (1993). Logis ic Disc iminan Func ion Analysis o DIF Iden-
i ica ion o Poly omously Sco ed I ems, en Jou nal o Educa ional Measu emen , 30
(2), 107-22.
Muñiz, J. (1992). Teo ía clásica de los es s. Mad id, Pi ámide.
Muñiz, J. y Hamble on, R.K. (1992). Medio siglo de Teo ía de Respues a a los Í ems, en
Anua io de Psicología, 52, 41-66.
Nandakuma , R. (1994). De elopmen o a Valid Sub es o Assessmen o DIF/Bias.
Comunicación p esen ada al Annual Mee ing o he Ame ican Educa ional Resea ch
Associa ion. New O leans, LA.
Oshima, T.C. y o os (1994). Di e en ial I em Func ioning o a Tes wi h a Cu o Sco e:
Use o Limi ed Closed-In e al Measu es, en Applied Measu emen in Educa ion, 7 (3),
195-209.
Pang, X. y o os (1994). Pe o mance o Man el-Haenszel and Logis ic Reg ession DIF
P ocedu es o e Replica ions Using Real Da a. Comunicación p esen ada al Annual
Mee ing o he Ame ican Educa ional Resea ch Associa ion. New O leans, LA.
Zwick y o os (1994a). Assessmen o Di e en ial I em Func ioning o Pe o mance
Tasks, en Jou nal o Educa ional Measu emen ; 30 (3), 233-51.
Zwick, R. y o os (1994b). A Simula ion S udy o Me hods o Assessing Di e en ial
I em Func ioning in Compu e ized Adap i e Tes s, en Applied Psychological
Measu emen , 18 (2), 121-140.