1
DISEÑO E IMPLANTACIÓN DE UN SISTEMA DE CONTROL Y MEJORA DE
CALIDAD DE LAS PRUEBAS OBJETIVAS TIPO TEST: UN CASO EN LA
LICENCIATURA DE ADMINISTRACIÓN Y DIRECCIÓN DE EMPRESAS
1
Víc o G. Aguila Escoba *, Ped o Ga ido Vega* y
Ca men Rocío Fe nández Camacho**
* Dp o. Economía Financie a y Di ección de Ope aciones,
Facul ad de Ciencias Económicas y Emp esa iales
** Dp o. de Mé odos de In es igación y Diagnós ico en Educación,
Facul ad de Ciencias de la Educación
Uni e sidad de Se illa
RESUMEN
La e aluación cons i uye uno de los pila es básicos del p oceso educa i o. Sin emba go,
es un aspec o al que en ocasiones no se le p es a la su icien e a ención, lo que a ec a a la calidad de
es a ac i idad docen e. Es e abajo es u o de la p eocupación de los au o es po es a cues ión y
desc ibe un p oyec o de inno ación docen e lle ado a cabo du an e el cu so 2005/06 en la
asigna u a de Di ección y Ges ión de la P oducción/Ope aciones (I) de la licencia u a de
Adminis ación y Di ección de Emp esas. El obje i o básico del mismo es el diseño e
implan ación de un sis ema de con ol y mejo a con inua de la calidad de las p uebas obje i as
(p egun as de elección múl iple) que enimos usando pa a e alua la pa e eó ica de nues a
asigna u a. Pa a ello, se han lle ado a cabo di e sas ac i idades que incluyen la c eación de una
comple a base de da os de p egun as, el es ablecimien o de un sis ema de indicado es de calidad y
la elabo ación de es online pa a el au oap endizaje de los alumnos.
SUMMARY
The e alua ion cons i u es one o he basic pilla s o he educa ional p ocess.
Ne e heless, in some occasions he su icien a en ion is no len o i and, consequen ly, i s
quali y can be a ec ed by his. This pape e lec s he au ho s conce n abou his ques ion and
desc ibes a p ojec o educa ional inno a ion ca ied ou du ing academic yea 2005/06 in he
P oduc ion / Ope a ions Managemen (I) cou se o he deg ee on Business Adminis a ion. The
basic objec i e o he p ojec is he design and implemen a ion o a con ol and imp o emen
sys em o he quali y o he mul iple choice es s ha we a e using o e alua e he heo e ical pa
o ou cou se. Fo i , di e se ac i i ies ha e been ca ied ou , including he c ea ion o a comple e
da a base o ques ions, he es ablishmen o a sys em o quali y indica o s and he elabo a ion o
es s online o he sel -lea ning o he s uden s.
1
Aguila Escoba , V. G., Ga ido-Vega, P., & Fe nández Camacho, C. del R. (2008). Diseño e implan ación
de un sis ema de con ol y mejo a de calidad de las p uebas obje i as ipo es : Un caso en la Licencia u a de
adminis ación y di ección de emp esas, En Expe iencia de Inno ación Uni e si a ia: Cu so 2005/2006,
Uni e sidad de Se illa, Vol. 2, Págs. 9-26.
2
3
INTRODUCCIÓN
El p oceso de enseñanza cons a de es ases undamen ales: la plani icación y
p og amación de la enseñanza, la ealización de las ac i idades docen es y la e aluación del
p oceso de enseñanza-ap endizaje. La e aluación, po an o, es una ac i idad sis emá ica in eg ada
en el p oceso educa i o y que o ma pa e necesa ia de cualquie p oceso de enseñanza-
ap endizaje.
La inalidad de la e aluación es se i de diagnós ico, no sólo del endimien o del
alumno, sino ambién del g ado de cumplimien o de los obje i os y de la alidez de la écnica y el
mé odo de enseñanza. Indi ec amen e, es un indicado del endimien o del p o eso . En
consecuencia, la mejo a de la calidad de la enseñanza pasa ambién po la mejo a del sis ema
global de e aluación. De hecho, la e aluación es á muy ligada a la calidad, has a el pun o de se
una de las cua o ac i idades que con o man del cí culo de calidad de Deming (planea , ejecu a ,
e alua y ajus a ). La e aluación cob a pleno sen ido den o de es e cí culo, no si se la conside a
de o ma independien e y aislada del es o de la ac i idad educa i a. En es e úl imo caso, la
e aluación sólo epe cu e sob e el alumno y no sob e el p opio p oceso de enseñanza-ap endizaje.
Lamen ablemen e es a es la si uación en muchos casos den o de la uni e sidad. El obje i o no ha
de se e alua po e alua , pa a cumpli con el equisi o de o o ga una cali icación a los alumnos
al inal del cu so, sino ambién pa a comp oba la e icacia de la acción docen e y con ibui al
pe eccionamien o de la misma.
En nues a asigna u a de Di ección y Ges ión de la P oducción / Ope aciones I, (DGPO-
I), como en muchas o as de la Licencia u a de Adminis ación y Di ección de Emp esas, LADE,
se ienen usando desde hace ya bas an es años las p uebas obje i as de espues a múl iple (p uebas
ipo es ) pa a la e aluación de la pa e eó ica del con enido docen e. No pe demos de is a que la
e aluación es un p oceso sis emá ico que implica es ases (Zabalza, 2001): ecogida de
in o mación, alo ación de la misma y oma de decisiones. Y, po an o, e alua no es medi , sino
que és a o ma pa e de aquélla y cons i uye sólo un medio. En es e sen ido, las p uebas de
elección múl iple (PEM) son un ins umen o más de medición y ob ención de da os. En nues o
caso, son u ilizadas pa a ob ene in o mación sob e el ni el de conocimien os eó icos de los
alumnos. Es a pa e ponde a el 40% sob e la cali icación global, co espondiendo el 60% es an e
a la pa e p ác ica que alo amos a a és de a ios supues os (no malmen e es).
La e aluación debe cumpli cua o condiciones básicas de acue do con Ma celo (2001):
se ú il pa a los indi iduos implicados (p o eso es y alumnos), ac ible (que pueda lle a se a cabo
sin di icul ad), é ica y exac a. Las p uebas obje i as PEM cumplen con c eces es os c i e ios.
Pueden se ú iles en el sen ido de ayuda a iden i ica los pun os ue es y débiles, an o pa a los
p o eso es en su ac i idad docen e como pa a los alumnos en su ap endizaje. Resul an de las más
ac ibles, especialmen e en condiciones de masi icación. Y, ambién esul an é icas y exac as, po
la eliminación de la subje i idad y la igualdad de a o que asegu an en la cali icación de los
alumnos.
Las p uebas obje i as ipo es (p egun as de elección múl iple PEM) cons i uyen un
ins umen o de e aluación ampliamen e u ilizado a ni el uni e si a io. Exis en o os ipos de
p uebas obje i as como las de empa ejamien o, las de e dade o- also, de elección múl iple con
a ias espues as co ec as, de o denación, de clasi icación, e c. No con iene sob ees ima ni
4
in a alo a es e ipo de p uebas ya que cuen an con nume osas posibilidades y en ajas pe o, al
mismo iempo, ambién impo an es limi aciones y des en ajas.
Como es conocido, los exámenes ipo es p esen an como en aja su ca ác e obje i o,
pues o que la pun uación no depende del p o eso que co ige, ni es á suje a a in e p e aciones
subje i as. También pe mi en ealiza p uebas más exhaus i as que o os ipos, ya que pueden
in oduci se p egun as que explo en odos o muchos de los emas y con enidos de una asigna u a.
Es o aumen a el g ado de alidez de la p ueba en e a o os ipos. Al no exigi al alumno que se
de enga en la esc i u a, sino en la lec u a que es una ac i idad mucho más ápida, acili a que se
cen e en el desa ollo del pensamien o. Una en aja más es la acilidad con la que se co igen y,
po an o, la apidez con la que pueden o ece se los esul ados a los alumnos. También pa a los
alumnos son más áciles de ealiza , ya que sólo equie en ma ca la opción co ec a y no han de
es uc u a y desa olla ideas sob e un ema, pa a luego edac a la espues a con sus p opias
palab as. Po úl imo, como apun a Gómez de Te e os (1998), es e ipo de p uebas pe mi en
alo a el conocimien o, la comp ensión, la aplicación, el análisis, la sín esis y o os ni eles
pedagógicos necesa ios pa a es ima el g ado de ap endizaje en ámbi o cogni i o.
No obs an e, son ambién muy conside ables sus incon enien es y limi aciones. Así, en e
las limi aciones de es e ipo de p uebas podemos señala que no pe mi en la libe ad de exp esión,
ni el pensamien o di e gen e po pa e de los alumnos. De la misma o ma, no pe mi en alo a
aspec os como “la o iginalidad, la exp esión e bal, la esc i u a y la capacidad de eacción an e
p oblemas eales” (Gómez de Te e os, 1998, pág. 114). Po o o lado, no o ecen in o mación de
la causa de la espues a e ónea, ni del p oceso de pensamien o que lle a al suje o a su elección.
También hab ía que menciona que hay de e minados con enidos que se p es an mal a se
es uc u ados en o ma de p egun as de es e ipo. Además, es e ipo de p uebas son más p ocli es a
p ác icas no é icas du an e el examen po pa e de los alumnos. También equie en mayo es ue zo
po pa e de los p o eso es pa a su elabo ación, ya que son ela i amen e complejas.
JUSTIFICACIÓN Y OBJETIVOS
En nues a asigna u a, hemos pe cibido como los esul ados han ido mejo ando con la
expe iencia, pe o aún pe sis e una cie a di icul ad en la con ección de los exámenes ipo es y en
las pun uaciones ob enidas. Adicionalmen e, en la medida que las p egun as de espues a múl iple
pasan a o ma pa e de un banco de p egun as que son u ilizadas en sucesi as con oca o ias, los
e o es que es as con engan o la al a de capacidad disc imina o ia y e alua i a de las mismas,
exigen el es ablecimien o de un sis ema que con ole la calidad de cada í em y pe mi a mejo a de
o ma con inua la calidad del banco de p egun as y, po ex ensión, de los exámenes eó icos.
Po es as azones, nos plan eamos es ablece un sis ema global de mejo a y con ol de
calidad pa a es e ipo de p uebas que pe mi ie a cumpli más ielmen e los obje i os de los
exámenes. Con ello, espe ábamos consegui p uebas más iables y disc imina o ias, además de
a o ece el ap endizaje de los alumnos.
A la is a de la si uación an e io , hemos ealizado du an e el cu so académico 2005-2006
un p oyec o de inno ación educa i a inanciado po el Ins i u o de Ciencias de la Educación (ICE)
de la Uni e sidad de Se illa consis en e en el diseño e implan ación de un sis ema de con ol de
5
calidad pa a las p uebas obje i as ipo es de la asigna u a DGPO-I de 4º cu so de LADE. Los
obje i os plan eados han sido los siguien es:
1. Mejo a la e aluación de los alumnos en lo que se e ie e a la pa e eó ica de la
asigna u a.
2. Da segu idad y iabilidad a la p ueba, an o desde el pun o de is a de los alumnos como
del p o eso .
3. Mejo a la capacidad de los alumnos pa a a on a las p uebas ipo es de la asigna u a.
4. T ansmi i nues a expe iencia a o os p o eso es in e esados en la mejo a de sus p uebas
obje i as.
METODOLOGÍA
Pa a egis a , o dena , elaciona , analiza y u iliza la in o mación ela i a a las
p egun as y los exámenes de Di ección de Ope aciones, se ha diseñado y desa ollado una base de
da os elacional median e Mic oso Access. El diseño se ha basado en el análisis del sis ema a
a és del modelo en idad- elación. El diseño ha usado oda la po encialidad de Mic oso Access
incluyendo la u ilización del lenguaje de in e ogación SQL, diseño de mac os y lenguaje de
p og amación Visual Basic. En la Figu a 1 se obse a el o mula io p incipal pa a la in oducción
de p egun as en la base de da os
Figu a 1. Fo mula io “P egun as” de la base de da os de p egun as de DGPO-I

6
Las espues as ob enidas en los exámenes han sido a adas con di e en es p og amas
(SPSS, METRIX y EXCEL, undamen almen e) pa a alo a es adís icamen e la calidad de los
í ems, la iabilidad de las p uebas y ob ene al inal un banco de p egun as con enien emen e
es adas.
Pa a la ealización de los ejemplos de au o-e aluación se ha u ilizado un so wa e
especí ico, “Ho -Po a oes”, y se han publicado en la página web de la asigna u a a a és del
p og ama “F on -Page”.
ACTIVIDADES REALIZADAS
Hemos di idido nues o p oyec o en 4 g upos de ac i idades:
1. DEFINICIÓN DE UNA PROPUESTA TEÓRICA SOBRE LOS EXÁMENES TIPO
TEST DE NUESTRA ASIGNATURA.
Es e g upo de ac i idades comp ende:
a) Re isión bibliog á ica (Teo ía Clásica de los Tes , Psicome ía, Didác ica
uni e si a ia, e c.)
b) De inición de una p opues a eó ica sob e:
 las ca ac e ís icas que deben ene las p egun as de elección múl iple,
 los e o es que se deben e i a ,
 los indicado es de calidad adecuados
 las ca ac e ís icas del examen en su conjun o (núme o de p egun as
necesa io pa a o o ga iabilidad al es , nº de opciones po p egun a,
ó mula de alo ación de la p ueba, e c..).
Las decisiones omadas sob e es os aspec os han sido las siguien es. Po un lado,
hemos ele ado el núme o de p egun as de nues os es a 30 (en los úl imos años
usábamos sólo 20) aumen ando con ello la iabilidad y alidez de las p uebas. Po o o
lado, la dis ibución de p egun as po emas, e incluso po apa ados den o de los emas,
se hace de acue do con la impo ancia asignada a los mismos en las clases. Los í ems se
o denan de acue do al o den seguido en la impa ición de los emas. Cuidamos la
apa iencia de los es pa a que esul en cla os y cómodos de lee . En la edacción de las
p egun as hemos a ado de segui una se ie de ecomendaciones gene ales que hemos
iden i icado a pa i de la e isión bibliog á ica:
 Deben se cla as, comp ensibles y adap adas a los alumnos a los que a
di igido el es .
 Deben e e i se a con enidos ele an es y es a ligadas a lo enseñado en las
clases.
 Cada p egun a debe cen a se en un sólo aspec o emá ico (concep o,
écnica, eo ía, e c.). Se deben e i a las p egun as demasiado gene ales que
mezclan a ios aspec os emá icos dis in os.
7
 Deben e i a se p egun as conca enadas, cada una debe se independien e y
no debe da in o mación que pe mi a esponde co ec amen e o a dis in a.
 Debe usa se un lenguaje cla o, huyendo de la ambigüedad y la complejidad.
 Deben e i a se los juicios de alo .
 Se han de e i a los e o es g ama icales y o og á icos y las ab e ia u as.
 Con iene minimiza el iempo de lec u a, buscando la mayo concisión
posible y eliminando in o mación i ele an e. Es o implica ambién no
u iliza más palab as de las necesa ias y e i a adje i os y ad e bios
supe luos.
 No se deben inclui p egun as que puedan en ende se como “p egun as con
ampa”, es deci , aquéllas con in ención de con undi a quien lo esponde,
con con enidos i ele an es, con opciones espues as muy pa ecidas, que
engan a ias espues as co ec as, e c.
Además, exis en o os c i e ios a ene en cuen a más especí icos en elación con
los enunciados, las opciones de espues a, la espues a co ec a y las al e na i as
inco ec as o dis ac o es:
Enunciado
 Debe se cla o y p eciso, con eniendo la idea cen al po la que se p egun a
y oda la in o mación necesa ia pa a esponde .
 Se debe esc ibi en o ma o de ase comple a mejo que incomple a pe o si
se hace de es a úl ima o ma, no se deben deja espacios en blanco ni al
comienzo ni en medio de la ase.
 Se debe o mula el enunciado p e e iblemen e en o ma a i ma i a. Si se
usan o mas nega i as, las pa ículas de negación deben i en neg i a o
mayúsculas.
 No ha de da se ninguna pis a semán ica o g ama ical que pe mi a iden i ica
la opción co ec a.
Respues as
 El núme o de espues as al e na i as debe se idealmen e es. En odo caso,
hay que ene en cuen a que es e núme o iene consecuencias sob e la
di icul ad, el iempo eque ido y la iabilidad de la p ueba.
 In en a que odas las opciones engan cie a homogeneidad y una longi ud
pa ecida.
 No inclui unas opciones en o as.
 E i a el uso de exp esiones del ipo “Ninguna de las opciones es co ec a”
o “Todas las o as opciones son co ec as”.
 No da pis as sob e la opción co ec a como, po ejemplo, inclui
exp esiones del enunciado en la opción co ec a o usa opciones inco ec as
que esul en absu das.
8
 E i a el uso de cali ica i os absolu os como siemp e, nunca, o almen e,
e c., ya que las opciones que las con ienen suelen se inco ec as y su
p esencia ayuda a desca a las.
 Cuando las opciones son núme os, deben apa ece o denadas de mayo a
meno o ice e sa. De igual o ma si son echas, deben se o denadas
c onológicamen e. Si son in e alos numé icos, es con enien e que no se
solapen en e sí. Siemp e debe indica se la unidad de medida.
Respues a co ec a
 Sólo una al e na i a co ec a.
 La posición de la espues a co ec a debe i al e nando a lo la go del es .
 Su longi ud debe se pa ecida a la de las o as. A eces, po edac a la con
mayo p ecisión que las demás, se o ece una pis a indeseada.
Respues as inco ec as o dis ac o es
 Usa dis ac o es cohe en es y e osímiles, es o implica, que deben pa ece
co ec os pa a los que saben menos, pe o han de se desca ados po los que
ienen más conocimien os.
 Pa a c ea un buen dis ac o podemos usa los e o es más comunes de los
es udian es.
 También puede se ú il usa exp esiones écnicas p opias de la ma e ia que
se e alúa y que puedan pa ece co ec as a aquellos alumnos que no han
es udiado su icien e.
 O a opción pa a elabo a buenos dis ac o es es emplea a i maciones que
sean e dade as, pe o que no espondan a lo que se les pide.
 E i a al e na i as g aciosas pues o que se desca an au omá icamen e.
2. CREACIÓN UNA BASE DE DATOS DE PREGUNTAS TEST PARA LA
ASIGNATURA lo que a su ez ha comp endido:
a) Diseño de la base de da os.
b) In oducción de í ems (p egun as) en la base de da os a pa i de las p uebas de años
an e io es. Disponemos a Julio de 2006 de 393 í ems lo que pa ece un núme o
su icien e pa a pode selecciona las 30 p egun as necesa ias pa a cada examen.
3. ESTABLECIMIENTO DE UN SISTEMA DE CONTROL DE CALIDAD EN LA
EVALUACIÓN DE LAS PRUEBAS TEÓRICAS TIPO TEST A LAS QUE
SOMETEMOS A NUESTROS ALUMNOS.
Es e sis ema ha consis ido en:
a) Selección de í ems po pa e de uno o a ios p o eso es u ilizando el banco de
p egun as de con oca o ias an e io es o con eccionando p egun as nue as. La
selección se hace de acue do a unos c i e ios obje i os que se explican más adelan e.
9
Como se ha comen ado, se ha buscado una dis ibución equilib ada de las p egun as
po emas del p og ama. Asimismo, las p egun as de cada ema se han e e ido a
dis in os apa ados del mismo.
b) Re isión colegiada po pa e del conjun o de p o eso es pa a e i a los e o es de
o mulación más ecuen es (doble negación, opciones más co ec as, e c.), e ina
los enunciados de las p egun as y de sus espues as al e na i as, e i ación de
duplicidades, e c.
c) Realización de la p ueba.
d) Co ección de la p ueba median e lec o a óp ica de ma cas acili ada po el ICE. Es o
ha implicado el diseño y adquisición de las hojas de espues a y la necesidad de
adies amien o a los alumnos pa a su co ec a con ección. Cu iosamen e, es a úl ima
ac i idad ha implicado cie as di icul ades pe o, con la colabo ación de los alumnos,
és as han ido disminuyendo.
e) Ob ención de esul ados de con ol de calidad. En ellos se pueden dis ingui en e
indicado es indi iduales de cada í em (índice de di icul ad, índice de disc iminación,
índice de homogeneidad e índice de epa o) e indicado es globales pa a el examen
( alidez, iabilidad, di icul ad p omedio, disc iminación p omedio, y, como medidas
de la o ma de la dis ibución, la asime ía y la cu osis). De es a mane a, a amos de
esumi el compo amien o y la calidad psicomé ica de los í ems en cada de una de
las p uebas analizadas. Los p incipales concep os u ilizados pa a las p uebas en su
conjun o han sido los siguien es:
 Validez: hace e e encia a la cohe encia en e lo que se consigue con la p ueba y
lo que se desea ob ene . Re leja, po an o, el g ado en que la p ueba cumple con
lo que se p e ende y mide lo que se quie e medi . Se suele dis ingui en e la
alidez in e na y ex e na. Las écnicas que suelen u iliza se pa a medi la son la
alidez apa en e, la alidez de con enido, la alidez concu en e y la alidez
p edic i a. En nues o caso, el elemen o undamen al que o o ga alidez a la
p ueba es la con ección cuidadosa de las p egun as y la e isión colegiada de los
exámenes.
 Fiabilidad: se e ie e al g ado de consis encia o p ecisión de la medición. Una
p ueba iable se ía aquella que o ece el mismo alo de la medición cuando se
dan las mismas condiciones. La iabilidad, po an o, es á elacionada con la
es abilidad, epe ibilidad y p ecisión de una p ueba. Pa a calcula la iabilidad
pueden emplea se écnicas es adís icas como el es - e es o el coe icien e de
C onbach, en e o as. En nues o caso hemos elegido es a úl ima.
En e los indicado es indi iduales, los más u ilizados son el índice de di icul ad y el
índice de disc iminación. También es posible u iliza o os, como el índice de
homogeneidad o el de epa o.
 Índice de di icul ad: p e ende de e mina en qué medida una p egun a es
ácil o di ícil. Se mide a pa i del núme o de acie os de los e aluados. A
mayo índice más ácil es la p egun a. Como c i e io de selección
exigi emos a las p egun as a selecciona el que su índice de di icul ad