Evaluación y medición: Comparación de cuatro maneras de medición asistidas por ordenador. Un estudio estadístico

EVALUACIÓN Y MEDICIÓN: COMPARACIÓN DE CUATRO MANERAS DE MEDICIÓN ASISTIDAS POR ORDENADOR. UN ESTUDIO ESTADÍSTICO ANTONIO ARIZA GARCÍA, PAULA DAZA NAVARRO Y JOSÉ TORREBLANCA LÓPEZ UNIVERSIDAD DE SEVILLA Es e a ículo desc ibe un p og ama in o má ico que gene a y co ige p uebas de ipo es . Se cons i uye como un en o no abie o y lexible que puede se ac ualizado y modi icado a a és de las bases de da os que con ienen las p egun as de los di e en es emas. Posee dis in os c i e ios de co ección que son analizados pa a comp oba su adecuación en la medición de los ap endizajes de un g upo de alumnos. This a icle desc ibes so wa e ha gene a es and g ades mul iple choice es s. I consis s o an open and lexible en i onmen ha can be upda ed and modi ied by means o da abases con aining disc e e i em ques ions o di e en uni s. I has di e en g ading s anda ds ha a e - analysed o check i s accu acy measu ing he up ake o a g oup o s uden s. DESCRIPTORES: E aluación, Medición, So wa e educa i o, Nue as ecnologías, Bases de da os, In o má ica, Co ección asis ida po o denado . 1. INTRODUCCIÓN. La e aluación es un p oceso sis emá ico, con inuo e in eg al des inado a de e mina has a que pun o han sido alcanzados los obje i os educacionales (Fe mín, 1971). Me odológicamen e, la e aluación esul a de elaciona dos ealidades que son: lo obse ado y lo espe ado. Son muchos los p ocedimien os de e aluación que podemos u iliza , siendo álidos odos aquellos que sean capaces de pone de mani ies o si las ac i idades del p o eso y del alumno lle an al log o de los obje i os p opues os (To eblanca y o os, 1996). Como dice De Juan (1996), uno de los aspec os más impo an es de la e aluación es la medición. Aunque en muchas ocasiones ambos é minos se con unden, la medición es una ase p e ia que p opo ciona obje i idad a la e aluación. Uno de los sis emas de e aluación u ilizado con más ecuencia son las p egun as obje i as de espues as múl iple, que como ya dijimos en nues o an e io abajo, se pueden conside a como un examen esc i o de p egun as con ca ac e ís icas muy conc e as (To eblanca y o os, 1996) en e las que cabe des aca como más in e esan es: 1) han de se muy b e es, 2) han de es a enunciadas muy cla amen e, y 3) deben pe mi i una cali icación cuan i a i a ápida La g an di usión de es e ipo de p uebas se debe undamen almen e a que se hallan lib es de muchos de los de ec os a ibuibles a o o ipo de exámenes (La ou cade, 1977), como po ejemplo: al a de obje i idad, di e encias en e dis in os examinado es, c i e ios cambian es en una misma p ueba, e c. Las p incipales en ajas de es e sis ema adican en que se puede aba ca g an pa e de los emas a ados en clase, la e aluación es o almen e obje i a y es de ácil co ección. Es e ipo de p uebas ha conseguido un al o g ado de acep ación de los exámenes, an o po pa e de p o eso es como de alumnos, debido en e o as azones a su g an iabilidad y alidez, pues a de mani ies o po di e en es au o es (Hubba d, 1978; Thyne, 1978 y Guilbe , 1994). En el caso de g andes g upos la u ilización de p uebas obje i as es muy adecuada, y aunque su p epa ación es compleja, las en ajas an e io men e mencionadas hacen en able el es ue zo inicial. La in oducción del o denado ha do ado de un ins umen o ápido y p eciso con un amplio campo de posibilidades a las p uebas obje i as (A iza y o os, 1998). En nues o an e io abajo demos amos que la ges ión in o ma izada de bases de da os de p egun as de espues as múl iples, combinada con la posibilidad de la elección lib e po el alumno de la echa del examen, disminuía d ás icamen e el núme o de no p esen ados, al pe mi i una pe sonalización de su p oceso de enseñanza-ap endizaje (To eblanca y o os, 1996). La g an u ilidad de es e ipo de p uebas ha pe mi ido el desa ollo de p oyec os de in es igación como " he Coope a i e p ojec on E alua ion o Resul s o T aining" (CERT). En el seno de es e p oyec o se desa olló un p og ama in o má ico que apoya y acili a el uso de p uebas obje i as en la e aluación educa i a, posibili ando ges iona y analiza g an can idad de in o mación ecogida a a és de p uebas obje i as de opción múl iple, agilizando el p oceso de manipulación y cálculos manuales de los o mado es pa a e alua ap endizajes (De Pablos y o os, 1993). Una de las ca ac e ís icas p incipales de es e p og ama es la inclusión de los denominados ni eles de con ianza que son una es imación que el alumno ealiza en base a una escala de 0-5 del g ado de con ianza o segu idad con que esponde a cada una de las cues iones de la p ueba (A iza y o os, 1998). Tomando como pa ida la idea del p oyec o CERT hemos desa ollado un p og ama in o má ico de e aluación asis ida po o denado . En nues o p og ama hemos sal ado los incon enien es desc i os po A iaga y o os (1996) que exponen que el so wa e educa i o, no malmen e po se en o nos ce ados en los que no es posible la modi icación, no susci a el in e és de los p o eso es po inco po a los a la docencia. Nues o p ime obje i o ue e i ica la alidez del sis ema de elabo ación de exámenes, que como ya demos amos con an e io idad (To eblanca y o os, 1996), ob enía esul ados en la medición de cu sos es adís icamen e iguales a los que log aba el p o eso ges ionando pe sonalmen e la misma base de da os. El p og ama, denominado "EVA" (E aluación Asis ida po o denado median e p uebas obje i as de opción múl iple), pe mi e un en o no o almen e abie o capaz de: 1. Almacena p egun as de di e en es asigna u as en dis in as bases de da os con su espues a e dade a y sus dis ac o es. Admi e 3, 4 o 5 espues as y la opción de e dade o o also. 2. Clasi ica las p egun as po emas. 3. Visualiza , modi ica y bo a las p egun as almacenadas. 4. Gene a p uebas de o ma o almen e alea o ia en las que la posición de la espues a e dade a y de los dis ac o es es seleccionada de la misma mane a. De o ma que si la misma p egun a o ma a pa e de dos p uebas di e en es sus opciones no end ían po que ocupa la misma posición. 5. Visualiza en pan alla, p egun a a p egun a, la p ueba gene ada indicando dis ac o es y espues a co ec a. 6. Realiza la p ueba en el o denado . 7. Imp imi la p ueba gene ada pa a que pueda se ealizada po la clase. 8. Imp imi la plan illa de espues as co ec as, que es gene ada y almacenada simul áneamen e con cada p ueba. 9. Co egi de o ma au omá ica con cualquie a de los cua o c i e ios de e aluación de los que dispone el p og ama. 10. Ges iona los g upos de clase ealizando: lis ados con los esul ados de las p uebas, isualizando, añadiendo, modi icando, bo ando, buscando... alumnos. También incluye cálculo de po cen aje de la cali icación y ealiza copias de segu idad de los iche os de asigna u as, alumnos y p uebas. A pesa de es a en pe iodo de desa ollo, su uncionamien o es sa is ac o io, al desca ga de la a ea de la p epa ación y co ección de los exámenes. Además no se cons i uye como un en o no ce ado sino que es as bases de da os se pueden i ac ualizando y aumen ando con inuamen e, con lo que se inc emen a la obje i idad del sis ema. El p og ama nos pe mi e ija , de mane a au omá ica, los ni eles de di icul ad de las di e en es p egun as, y de es a mane a pode ija la di icul ad de exámenes pos e io es. Una de las cues iones esenciales a la ho a de cali ica una p ueba obje i a de espues a múl iple es la eliminación de los e ec os del aza en el cálculo numé ico de la pun uación b u a de la p ueba. La eliminación del e ec o del aza se ealiza empleando dis in os c i e ios que con emplen una co ección de la pun uación inal en unción de la posibilidad de acie o de o ma alea o ia de los dis in os í em. En unción de las dis in as decisiones que adop emos pa a co egi la in luencia del acie o alea o io en la cumplimen ación de las p uebas obje i as, ob end emos dis in as ó mulas ma emá icas que nos pe mi i án calcula la pun uación b u a de dichas p uebas. Es e conjun o de decisiones y de ó mulas ma emá icas es lo que denominamos c i e ios de e aluación o co ección. Pa a la cali icación el p og ama con empla cua o c i e ios de co ección posibles, que pueden se seleccionados en cualquie momen o, pe mi iendo así la compa ación de las cali icaciones ob enidas po el alumno en una misma p ueba. Basándonos en es a cualidad hemos co egido un núme o de e minado de exámenes usando los cua o c i e ios posibles. A los esul ados le hemos aplicado di e sos es es adís icos y hemos ealizado la compa ación de los da os pa a a a de es ablece cuál es el más adecuado pa a: a. disce ni el g ado de capaci ación del es udian e. b. apo a in o mación sob e las di e encias gene alizadas que pe mi an una modi icación de las es a egias docen es del p o eso . 2. MATERIAL Y MÉTODO El sis ema de e aluación asis ida po o denado median e p uebas obje i as de opción múl iple ("EVA") se basa en el conocido p og ama de base de da os dbase. Como ya indicamos, dispone de cua o o mas dis in as de medición dependiendo del c i e io seleccionado. La desc ipción y o mulación de los c i e ios es la siguien e: 2.1. PRIMER CRITERIO DE MEDICIÓN (C i e io Clásico) En es e c i e io de co ección, que denomina emos clásico, se ienen en cuen a los acie os, los e o es y además, se o ece la posibilidad de no esponde a alguna p egun a, no in e iniendo és as, en el cálculo de la pun uación b u a. El e ec o del aza se co ige u ilizando la p obabilidad de acie o de o ma alea o ia en unción del núme o de opciones o dis ac o es de cada í em, según empleemos unos u o os, do a emos a la p ueba de una mayo igu osidad. Es deci , la pun uación b u a, asignando un pun o po espues a ace ada, se ob iene es ando al núme o de acie os el núme o de e o es mul iplicado po la p obabilidad de elegi un dis ac o como espues a (núme o de dis ac o es = opciones -1). La ó mula ma emá ica (Rod íguez, 1980) pa a consegui la pun uación b u a queda de la siguien e o ma: Es a cali icación se puede sua iza en cie a medida si las omisiones, espues a en blanco, se conside an un dis ac o más, lo que equipa a ía el núme o de dis ac o es más la espues a en blanco con el núme o o al de opciones en cada í em. Así, si el núme o de opciones a cada í eme es de "n", el núme o de dis ac o es se á "n-1" y si la espues a en blanco se conside a un dis ac o más, el núme o de es os aumen a a "n" coincidiendo con el núme o de opciones, con lo cual, la p obabilidad de elegi uno de ellos se á de "1/n" en el p ime caso y de "1/(n-1)" en el segundo, es o quie e deci que el ac o [E o es / n] es meno que el ac o [E o es / (n- 1)] con lo cual la pun uación b u a aumen a. La ó mula ma emá ica adop a la siguien e es uc u a: A igualdad de acie os y e o es la ó mula (1.2) da una mayo pun uación b u a que la ó mula (1.1). El paso de una a o a ó mula se ob iene in oduciendo un ni el de igu osidad " " que pod á oma los alo es de "1" pa a el p ime caso, ó mula (1.1), y de "0" pa a el segundo caso, ó mula (1.2). Con lo cual la pun uación b u a la ob end emos uni icando en una (1.3) ambas ó mulas: En nues o sis ema de enseñanza, es cos umb e gene alizada o o ga la cali icación inal sob e un máximo de 10 pun os pe o, en algunos casos, la p ueba puede se un po cen aje de la cali icación inal. Ambos casos son con emplados po el p og ama que emplea, de o ma au omá ica, un ac o de con e sión (k) en e la pun uación b u a y la cali icación máxima que elija el p o eso que ealice la p ueba. El p og ama pe mi e que dicha no a máxima ome alo es comp endidos en e 1 y 100. La ó mula ma emá ica que nos p opo ciona la cali icación inal end á dada po el p oduc o de la pun uación b u a po el ac o de con e sión K: Siendo el alo de k: donde: N máxima = No a máxima elegida po el p o eso . N í emes = Núme o de í em de la p ueba. El N í emes de la p ueba coincidi á con la pun uación máxima posible ya que es amos asignando un pun o po í em. SEGUNDO CRITERIO DE MEDICIÓN. (Po cen aje Pu o) En es e c i e io el e ec o de acie o po aza se co ige es ando al núme o de acie os el núme o de p egun as que pueden se ace adas de o ma alea o ia. Así, en una p ueba obje i a con cua en a í em y cua o opciones de espues a po í em end emos que el núme o de í emes que pueden se ace ados de o ma alea o ia es de 40/4 = 10. Es deci , el núme o de í emes de la p ueba mul iplicado po la p obabilidad de ace a cada í em. Seguimos asignando un pun o a cada í em: La máxima pun uación b u a posible se debe á co esponde , no al núme o de í em de la p ueba sino al mayo núme o de í em que puedan se ace ados, al núme o de í em de la p ueba menos el núme o de í em mul iplicado po la p obabilidad de ace a cada uno. En el ejemplo an e io de 40 í em y cua o espues as po í em la mayo pun uación posible (Pun uación máxima) se á: Si in oducimos el ni el de igu osidad " " con alo es 0 y 1, igual que en el c i e io an e io y conside ando a la espues a en blanco como una opción más, pa a el caso de meno igu osidad end emos que la pun uación pasa ía a se : Que es lige amen e supe io a la ob enida con la ó mula (2.1). Combinando ambas ecuaciones nos queda á: En es as condiciones el ac o "K" de con e sión a la no a máxima elegida po el p o eso queda á de la siguien e o ma: Y la cali icación inal queda á: Debemos hace no a que el ac o " " no se in oduce en el ac o de con e sión K ya que el aumen o p oducido al aplica lo en el cálculo de la pun uación b u a se ía pa cialmen e compensado si se aplica ambién al cálculo de la pun uación máxima. TERCER CRITERIO DE MEDICIÓN. (Ni eles de di icul ad) En es e c i e io, el ac o alea o io lo eliminamos de igual o ma que en el p ime c i e io pe o eniendo en cuen a que cada p egun a a a ene un ni el de di icul ad que puede a ia desde "1", máxima di icul ad, has a "5", mínima di icul ad, y que po an o, a di e encia de los dos an e io es c i e ios, cada p egun a, ace ada o allada, iene un alo dis in o en unción de dicho ni el de di icul ad. El alo que se le ha asignado a cada p egun a lo podemos obse a en la abla siguien e: Es deci una p egun a ace ada en el ni el 1 iene un alo de 1 acie o, mien as que si la p egun a es allada en el mismo ni el su alo es de 0.4 e o es. El cálculo de la pun uación co espondien e al núme o de acie os y de e o es se ealiza á po medio de la exp esiones: Es deci la pun uación co espondien e a los acie os se ob iene sumando el alo co espondien e al ni el de cada acie o y la de los e o es sumando el alo co espondien e al ni el de cada e o . Po an o la pun uación b u a se ob iene es ando a la pun uación co espondien e a los acie os la pun uación co espondien e a los e o es mul iplicada po la p obabilidad de elegi un dis ac o como espues a (núme o de dis ac o es = opciones -1). La ó mula ma emá ica pa a calcula la pun uación b u a queda de la siguien e o ma: También se in oduce, al igual que en los c i e ios an e io es, un ni el de igu osidad " " que hace que la cali icación sea más o menos igu osa. La exp esión ma emá ica que nos p opo ciona la cali icación inal end á dada po el p oduc o de la pun uación b u a po el ac o de con e sión k: Siendo el alo de K: donde: Nmáxima = No a máxima elegida po el p o eso . Pmáxima = Pun uación máxima de la p ueba. CUARTO CRITERIO DE MEDICIÓN. (Ni eles de Con ianza CERT) En es e c i e io, la co ección de los e ec os del aza son dejados al alumno es ableciendo los llamados ni eles de con ianza, pun uación de 0 a 5 que el alumno le asigna a cada una de sus espues as, indicando con ello, la con ianza que iene en esponde co ec amen e las p egun as. El "0" indica que el alumno no iene ninguna con ianza en esponde co ec amen e a la p egun a es deci , que es á con es ando comple amen e al aza . El "5", po el con a io, que iene plena con ianza en la espues a y las o as pun uaciones indican una con ianza in e media en e ambas. El p og ama "CERT" o ece inicialmen e un ba emo pa a la co ección (Alonso, 1992) con o me a la eo ía de decisiones y a las p obabilidades subje i as. En unción del ni el de con ianza elegido al con es a la p egun a el alo de es a, co ec a o e óneamen e con es ada se á uno u o o como podemos obse a en la abla adjun a. Debido a la di e en e pun uación ob enida en la espues a, an o nega i a como posi i a, dependiendo del ni el de con ianza elegido es de i al impo ancia que el alumno enga in e és en deci la e dad, es deci exp esa su con ianza sin de o ma la. El p oyec o "CERT" pa a calcula la no a del alumno u iliza la ó mula siguien e: Donde: La pun uación inal la ealiza sob e 20,( ac o co ec i o 20/Núme oi em) pa a adap a la a la pun uación adicional española sob e 10 end emos que sus i ui el ac o co ec i o (20 / Núme oi em) po (10 / Núme oi em). Si en ez de ealiza es a sus i ución in oducimos la a iable No a máxima que nos pedi á el p og ama a la ho a de elegi el c i e io de e aluación, el ac o de co ección de la no a queda de o ma a iable y si e pa a cualquie no a que elija el p o eso . Con lo cual, el p og ama "EVA" calcula la no a con la siguien e ó mula ma emá ica: En es a caso la igu osidad, es un ac o que a ía de 16 a 20 y lo que hace es disminui o aumen a la pun uación necesa ia pa a ob ene el ap obado. La pun uación máxima posible, se calcula sob e la hipó esis de que odas las p egun as son espondidas co ec amen e con el máximo ni el de con ianza. Po an o, pa a ob ene una pun uación media hab ía que di idi po 20, que es la máxima pun uación posible po í em, si di idimos po 16, 17, 18 o 19 en ez de po 20 es amos aumen ado la pun uación media, que es la que nos a a p opo ciona la cali icación inal sob e la no a máxima al mul iplica la po el ac o de co ección(No amáxima/Núme oi em) . Cuando empleamos un ac o de igu osidad meno que 20 un alumno puede ob ene una cali icación inal mayo que la No amáxima. Es a "anomalía" ambién es co egida po el p og ama "EVA"que cali ica con la No a máxima cuando es a es supe ada. También elimina la pun uación nega i a sus i uyendola po "0". Es a sus i ución se ealiza en odos los c i e ios. Debido a las di e encias de los 4 c i e ios de co ección u ilizados, pa a ob ene un g upo de exámenes que pudie an se co egidos con odos ellos en simila es ci cuns ancias, hemos enido que hace algunas concesiones como las siguien es: 1. Pa a sal a las di icul ades que plan ea la aplicación del 4º c i e io de co ección, como ma e ial sólo se u iliza on aquellos exámenes (40 p egun as de 4 espues as cada una) de alumnos de la asigna u a de Biología Celula y Gene al del p ime cu so de la Especialidad de Maes o de Educación P ima ia co espondien es al cu so académico 1998/99 que habían ellenado olun a iamen e el ni el de con ianza co espondien e de cada p egun a al conoce que no les a ec a ía pa a el cálculo de la no a del eje cicio. 2. Pa a cub i la posibilidad de las espues as en blanco en el p ime c i e io y la con eniencia de con es a odas las p egun as en el 2º, se han conside ado como no espondidas en aquel odas las p egun as con ni el de con ianza 0. Pensamos que las posibles dis o siones que pudie an p oduci es as aco aciones son pequeñas en compa ación con la en aja que supone ene un g upo homogéneo a es udia . RESULTADOS y DISCUSIÓN. Los exámenes de los 45 alumnos que habían cumplido los equisi os an e io men e mencionados, ue on co egidos con los cua o c i e ios explicados an e io men e, dando como esul ado las no as medias que apa ecen en la Tabla I. Tabla I. La aplicación del es T de S uden de compa ación de medias demos ó que odos los c i e ios medían de igual mane a al conjun o. Po an o se pod ía conclui que odos los c i e ios u ilizados son igualmen e álidos si de lo que se a a es de medi al conjun o. No obs an e uno de los obje i os de e alua es clasi ica a los indi iduos. Po es a azón c eemos que el c i e io que p oduzca una mayo dispe sión del g upo es mejo que el que concen e las no as del conjun o. Según es a pe spec i a el c i e io más e icaz se ía el 3º, pues las cali icaciones de los 45 exámenes co egidos se dis ibuyen más ampliamen e que en el es o de los c i e ios y más uni o memen e ( e g á ico). No obs an e c eemos que a la ho a de e alua no sólo hay que ija se en el g upo sino que hay que a a de ace ca se a cada alumno pa a que sea el p opio indi iduo el que nos mues e su g ado de capaci ación. Pa a cub i es e obje i o y pode disce ni qué c i e io es más e ec i o, hemos u ilizado el es T de S uden de da os apa eados. Como se ap ecia en la Tabla II exis en 2 bloques o mados po los c i e ios 1º y 3º, que es adís icamen e son iguales en e sí y po los c i e ios 2º y 4º a los que les ocu e igual, siendo los componen es de ambos bloques dis in os a los que componen el o o. Tabla II Tes de S uden de compa ación de medias, pa a P 0.05 Es e empa ejamien o es lógico, po ejemplo, en e el c i e io 1º y 3º hay elación pues los ni eles de di icul ad los ob iene el o denado a endiendo al núme o de indi iduos que esponden adecuadamen e a una de e minada p egun a. Hay pues una elación en e el g ado de di icul ad de una p egun a y el núme o de espues as inco ec as ob enidas pa a la misma den o del g upo. La di e encia en e es os dos c i e ios eside en que el 1º mide a endiendo exclusi amen e a la espues a del indi iduo en el examen, po su pa e en el 3º es o se e modi icado po el ni el del g upo en cues ión. Es deci el indi iduo es cali icado eniendo en cuen a el g upo en el que se encuen a: se ienen en cuen a las ci cuns ancias. Los c i e ios 2º y 4º pod ían conside a se semejan es po las siguien es azones: en el 2º no se ienen en cuen a las espues as e óneas y aunque en el 4º si lo son, sólo ep esen an un descenso en la cali icación en 2 de los 10 casos posibles, po lo que las semejanzas en el a amien o de la medición pod ían conside a se ele ados. Es a semejanza es mayo si enemos en cuen a que es necesa ia la espues a e az de los ni eles de con ianza, ya que un sesgo hacia el ni el 3 supond ía una mayo ap oximación de ambos c i e ios pues o que la espues a e ónea no end ía ningún e ec o sob e la cali icación. Es as di icul ades en la aplicación del c i e io 4º (necesidad de esponde con o al e acidad a los ni eles de con ianza y la posibilidad del sesgo en la espues a pa a ob ene los mejo es esul ados) aconsejan modi ica los alo es que el p oyec o CERT u iliza en es e c i e io. En nues o caso ya es amos ealizando es udios p e ios pa a a a de e i a es as di icul ades. Po odo lo expues o an e io men e, aunque los 4 c i e ios son álidos c eemos que el e ce o, po amplia la dispe sión de la medición del g upo y po cali ica al alumno en elación con el g upo en el que se ha p oducido su p oceso de enseñanza-ap endizaje, es el más adecuado. Re e encias bibliog á icas. ALONSO, C. Y OTROS. (1992). P incipios comunes pa a la e aluación de los esul ados cogni i os de la o mación. Comisión de las Comunidades Eu opea. P og ama Eu o ecne . ARIZA, A. Y OTROS. (1998). CERT: Un modelo ma emá ico y ecnológico de e aluación. Pixel- Bi . Re is a de Medios y Educación, 11. 51-56 ARRIAGA, J. Y OTROS. (1996). Sis emas de au o o ien ados a un in educa i o especí ico. Pixel- Bi . Re is a de Medios y Educación, 6. 5-13 DE PABLOS Y OTROS. (1993). La e aluación del alumno en la uni e sidad: El p oyec o CERT. Re is a de Enseñanza Uni e si a ia, 6. 49-71. DE JUAN HERRERO, J. (1996). In oducción a la Enseñanza Uni e si a ia. Didác ica pa a la