El uso de los mapas conceptuales en la corrección de preguntas abiertas en Biología

, - INVESTIGACION Y EXPERIENCIAS DIDACTICAS , 1 1 I O EL USO DE LOS MAPAS CONCEPTUALES EN LA CORRECCION DE PREGUNTAS ABIERTAS EN BIOLOGIA NlEDA OTERINO, J., DIAZ MUJICA, M" V., GARCIA BARQUERO, P., ORTEGA NUÑEZ, P., BONILLA MANGAS, I., AGUIRRE DE CARCER, l. Universidad Autónoma de Madrid. SUMMARY The use of open-ended questions to assess student knowledge on a particular subject is discussed. Metric characterists of those questions are analized in relation to their desi~able characteristics for formative and summative evaluation. A procedure for rating open-ended questions using ((concept rnaps)) is described providing data on its content validity and reliability. Ways of using the procedure in formative evaluation are also described. As an application the procedure was used to analyze the reliability of Biology exercises (Universidad Autónoma Madrid Entrance Exarninations). La pregunta abierta es, sin duda, el tipo de pregunta utilizado con mayor frecuencia en las pruebas de evaluación de conocimientos. El estímulo consiste en una palabra o frase que designa genéricamente una sección de los contenidos estudiados; el examinado, en un tiernpo limitado, debe redactar una respuesta que muestre sus conocimientos acerca de esos contenidos. La calificación de este tipo de preguntas presenta'problemas de fiabilidad: diferentes examinadores suelen adjudicar calificaciones distintas a un mismo ejercicio; un solo examinador asigna calificaciones distintas al mismo ejercicio en diferentes ocasiones; las calificaciones son menos fiables cuando el enunciado de la pregunta permite una interpretación amplia (Coffman, 1971). La puesta a punto y difusión de otras técnicas de evaluación con menos deficiencias desde el punto de vista métrico (p.e. las preguntas de elección múltiple), no ha logrado disminuir su uso generalizado. A ello, posiblemente haya contribuido la dificultad y el tiempo de preparación requerido para construir pruebas con distinto formato, y la utilización de pruebas con preguntas abiertas en los escasos exámenes ((externos)) que aún perduran en el sistema educativo (p.e. exámenes selectividad). En el panorama actual nada indica que esta situación vaya a cambiar por lo que estimamos útil el estudio de procedimentos que mejoren sus caractensticas métricas. 1. LAS PREGUNTAS ABIERTAS Las condiciones de uso de este tipo de preguntas en nuestro sistema educativo no han sido estudiadas con el detalle necesario, por lo que bashndonos en nuestra experiencia aventuramos la siguiente hipótesis de trabajo. La capacidad de síntesis, la identificación de los conceptos y principios relevantes, y la capacidad de expresión escrita son las dimensiones principales que evaluamos al juzgar las respuestas proporcionadas a este tipo de preguntas. En ocasiones, se identifica, erróneamente, las preguntas abiertas con las preguntas de ensayo al poseer ambas formatos similares. Sin embargo, los puntos de coincidencia s61o son superficiales: por prueba de ensayo se conoce ((a aquellas preguntas que requieren que la persona que se examina construya una respuesta mediante una serie de frases, de tal modo que no se pueda enumerar de antemano cuáles de ellas o qué conjunto de frases constituyen una respuesta correcta)) (Stalnaker, 195 1). A nuestro juicio, en las preguntas abiertas se puede identificar un conjunto de proposiciones que definen la contestación correcta, aunque ésta pueda redactarse empleando frases muy variadas. Las características de las pruebas de evaluación deben estar estrechamente relacionadas con los usos que se pretendan hacer de la información que se obtenga. Tradicionalmente se distingue entre un uso formativo y un uso sumativo de esa información. Cuando utilizamos los resultados de una prueba para informar al alumno de los errores y aciertos contenidos en su respuesta o examinamos los resultados de un grupo de estudiantes buscando los contenidos para los que la i11Stni~~i6n proporcionada ha sido ineficaz, utilizamos los resultados de un modo formativo. Si la información es utilizada ENSEÑANZA DE LAS CIENCIAS, 1985, pp. 91-95 91 INVESTIGACIO N Y EXPERIENCIAS D IDACTICAS para clasificar a los estudiantes en diversos grados de conocimientos haciendo corresponda a cada grupo una calificación o nota, o bien tratamos de formamos un juicio sobre la calidad del programa de enseíianza examinando los resultados finales del gmpo, la evaluación que realizamos es sumativa. En ambos casos, el procedimiento de evaluación debe ser válido y fiable. En el caso de la evaluación formativa (aquella que deberiamos utilizar a lo largo del curso acadtmico), ademas, es imprescindible proporcionar una información precisa de los aciertos y deficiencias encontradas en cada respuesta. Al examinar las respuestas a preguntas abiertas, generalmente utilizamos un procedimiento de calificación global. Mediante la lectura de la contestación redactada por el estudiante, tratamos de percibir el grado en que se ajusta a lo que consideramos una representaci6n cabal de los conocimientos impartidos, incluibles bajo el titulo de la pregunta, y detectar expresiones que reflejen ideas erróneas. El resultado de esta actividad es un juicio que expresamos mediante una calificación y, quizás, algunos signos que identifican expresiones erróneas o faltas de ortografia. La posibilidad de utilizar esta información de un modo formativo es bastante limitada, ya que no conlunica al examinando sus aciertos y deficiencias. Si el evaluador domina los contenidos podemos confiar en la validez del procedimiento, sin embargo la fiabilidad del mismo es discutible. El procedimiento de corrección de preguntas abiertas que planteamos en este trabajo, esta basado en una representación del contenido conceptual expuesto en el ejercicio y en la valoración de ese contenido utilizando un baremo prefijado. Se trata de una sistematización del procedimiento mis o menos difuso que utilizamos los profesores. Esta sistematización proporciona al procedimiento de correccibn todos los atributos que hemos enunciado como deseables para los distintos fines que puede perseguir este tipo de pruebas. En lo que sigue describiremos el método de corrección con cierto detalle, examinaremos los datos disponibles sobre su validez y fiabilidad, del programa, acerca de sys conocimientos y de la eficacia del programa, respectivamente. Por Últiino, a modo de aplicación, expondremos brevemente los resultados que obtuvimos al examinar con este método la fiabilidad de las calificaciones que se otorgaban a los ejercicios de biología en las pruebas de acceso en la Universidad Autónoma de Madrid. 2. PROCEDIM1ENTO.DE CORRECCION El contenido informativo de las ciencias experimentales, y en concreto de la biología, posee una estructura conceptural. Esta estructura esta formada por una serie de conceptos y unas relaciones entre dichos concep tos. Cualquier especialista en la disciplina puede identificar, ante un tema especifico: a) Los conceptos biológicos pertinentes 92 b) La jerarquía existente entre esos conceptos. c) Las relaciones existentes entre los conceptos. Estas características nos permiten construir una representación wnceptural de la contestación óptima a la pregunta abierta formulada, teniendo en cuenta el nivel de conocimientos exigibles a cada curso y el tiempo de que dispone el estudiante para elaborar la respuesta. Para representar el contenido de esa respuesta utilizamos un «mapa conceptual)). Un «mapa conceptual)) es una representación bidimensional de una disciplina o de parte de una disciplina (Stewart et al 1979). Su carácter bidimensional permite representar las relaciones proposicionales (principios) entre los conceptos. 2.1. Construcción de un mapa conceptual para la pregunta abierta Para obtener una respuesta óptima a la pregunta «La reproducción alternante en vegetales)) que utilizamos para extraer los datos de este estudio, los miembros del equipo especialistas en biología, redactaron individualmente un texto que representaba una contestación 6ptima, en tres cuartos de hora, para el nivel de C.O.U. Los distintos textos fueron discutidos y reformados hasta alcanzar un acuerdo. Siguiendo las indicaciones de Novak (Novak, 1980). a partir de este texto: a) Identificamos los conceptos científicos relevantes. b) Jerarquizamos y ordenamos los conceptos desde los mis generales a los mas específicos. c) Utilizamos líneas para conectar conceptos, escribiendo una expresión que resumiera la relación existente entre cada par de conceptos relacionados. d) Intentamos que el mapa resultante fuese visualmente eficaz, es decir, que mostrara los detalles de los conceptos y sus relaciones de un modo consistente y eficiente. El mapa conceptual elaborado para calificar las contestaciones de los estudiantes a nivel de C.O.U. esti dibujado en la Figura 1 2.2. Baremación del mapa conceptual En una contestación a una pregunta abierta no todos - los contenidos pertinentes tienen la misma importancia. Al baremar el mapa conceptual asignando distintas puntuaciones parciales a cada uno de los contenidos pretendiamos reflejar la importancia relativa de cada uno de ellos en el contexto de la pregunta. Para ello, utilizando una escala de 1 a 5, los especialistas en la materia asignaron puntuaciones a cada uno de los conceptos y relaciones expresadas en el mapa. Las puntuaciones otorgadas a cada elemento del mapa fueron promediadas y transformadas a una escala en la que la puntuación máxima fuera diez. Los distintos números de la figura 1 corresponden a las puntuaciones parciales de &da elemento-en la escala de baENSEÑANZA DE LAS CIENCIAS INVESTIGACION Y EXPERIENCIAS DIDACTICAS Figura 1 MAPA CONCEPTUAL:REPROWCCION ALTERNANTE EN VEGETALES ~COU) @ INTRODUCCI ON CICLO ALTERNANTE Total puntos en este ciclo remación aditiva, utilizada posteriormente, para caliEl núcleo fundamental de la pregunta recibiría una punficar las contestación de los estudiantes. tuación máxima de siete puntos; la definición correcta Los conceptos y relaciones más importantes en esta prede reproducción alternante, un punto; la definición de los grupos vegetales afectados, un punto; y la consideen el de que 'On los ración de su significado evolutivo, un punto adicional. siguientes. 2.3. La calificación de las respuestas Conceptos Puntuación Relaciones Puntuación 0.85 Como ya indicamos anteriormente esta calificación o Esporofito 0.85 Meiosis 0.85 corrección debemos realizarla de un modo congruente Gameiofito 0.85 Fecundación 0.5 1 con el fin que perseguimos. Espora 0.68 Germinación Gameto 0.68 Gametogenesis 0.5 1 Si pretendemos un uso formativo, podemos multicoZigoto 0.68 Mitosis 0.5 1 piar el mapa conceptural ((patrón)) hasta obtener tanENSERANZA DE LAS CIENCIAS 93 :NVESTIGACION Y EXPERIENCIAS DIDAC copias como ejercicios debamos corregir. Al leer 1 ejercicio del estudiante vamos seiialando en el mapa os aciertos encontrados e indicando mediante un c6 de esta forma nos sirve pasus aciertos (zonas del malos resultados de las dentro del proceso de aprendizaje, tal cosugiere que se haga (Robinson, 1979). Para el uso formativo del disefiador del programa de instrucciones pueden utilizarse técnicas más simples. Por ejemplo, cada uno de los elementos del mapa puede codificarse e ir tabulando su presencia en los distintos ejercicios. Dividiendo los resultados de cada una de las tabulaciones parciales por el número de ejercicios obtenemos directamente las frecuencias de aparición (retención de contenidos) que son un índice de la eficacia del programa de instrucción. La expresión de estos indices en un diagrama visualmente efectivo presumiblemente nos facilitará la elaboración de hipótesis sobre la eficacia del programa. En su uso sumativo, la lectura del ejercicio nos permite identificar los conceptos y relaciones pertinentes (incluidos en el mapa conceptual) expresados correctamente y asignarles automáticamente las puntuaciones parciales que indica la escala de baremación. La calificación final se obtiene sumando las puntuaciones parciales. 4 ._ - - - .- 3. VALIDEZ Y FIABILIDAD DEL PROCEDIMIENTO Estimamos que el procedimiento que proponemos y que hemos expuesto con detalle tiene una elevada ((validez de contenido)) (Isaac y Michael 1972) cuando el «mapa cohceptual)) y el baremo son elaborados y utilizados por un especialista en la materia; y las correlaciones obtenidas con las calificaciones otorgadas por especialistas en biología (Véase cuadro 2, Tribunales A, C y D) nos hacen intuir que el procedimiento que proponemos tiene una apreciable validez convergente o de criterio (Isaac y Michael 1972). Para estimar la fiabilidad intercorrectores cinco especialistas en biología utilizaron el mapa conceptual baremado en la figura 1 para calificar de forma independiente una muestra reducida (10 ejercicios), escogida al azar, de contestaciones a la pregunta «La reproducción alternante en los vegetales)), redactadas por estudiantes que se presentaron a las pruebas de acceso (1982) en la Universidad Autónoma de Madrid. La fiabilidad calculada intercorrectores 2 a 2 fue la siguiente. TIC AS Cuadro 1 Corrector Corrector 1 2 3 4 5 1 0.963 0.994 0.913 0.942 2 0.941 0.973 0.977 3 9 = 0.95 0.883 0.934 4 N= 10 0.976 * Los datos del corrector 1 sólo corresponden a 5 ejercicios. Correlación media 3 = 0.95. - Los datos del cuadro !, a pesar de su escacez, nos permiten afirmar que el procedimiento propuesto tiene una elevada fiabilidad intercorrectores e intuimos que la fiabilidad intra-corrector tambidn será elevada. 4. UN EJEMPLO DE APLICACION: ESTUDIO DE LA FIABILIDAD DE LAS CALIFICACIONES OTORGADAS EN LAS PRUEBAS DE ACCESO (BIOLOGIA) 1982 EN LA UNIVERSIDAD AUTONOMA DE MADRID Las dudas sobre la fiabilidad de las calificaciones otorgadas a los ejercicios de las Pruebas de Acceso a la Universidad son casi un lugar común al que se acude cada vez que se discute el problema de la selectividad. Para ilustrar las posibilidades de procedimiento de calificación de preguntas abiertas expuestas anteriormente, en un área distinta (investigación educativa), describiremos los resultados obtenidos con este método al analizar la fiabilidad de las calificaciones otorgadas en la «selectividad» (Nieda y col 1984). Para realizar este estudio obtuvimos la correlación producto-momento entre las calificaciones otorgadas en Junio de 1982 por distintos tribunales de selectividad en la U.A.M. y las calificaciones que obtuvimos al recorregir utilizando una única escala, de cuya validez y fiabilidad el lector ya está informado. La muestra a corregir estaba formada por todos los ejercicios realizados durante las pruebas de acceso de Junio 1982 en la U.A.M. que respondían a las siguientes preguntas: 1. Reproducción alternante en vegetales (N0 de ejercicios: 56) 2. Propiedades de las proteínas (N0 de ejercicios: 100). La muestra corresponde a la totalidad de los ejercicios referentes a esas preguntas en esa convocatoria, por lo que estimamos que carece de sesgos. La elección de los temas a corregir no siguió ningún plan sistemático, ni fue discriminado ninguno por la aparente comodidad de su corrección. El criterio utilizado fue seleccionar los temas elegidos por el mayor número de alumnos. En el siguiente cuadro indicamos las correlaciones 0b tenidas entre las calificaciones asignadas por los tribunales de las pruebas de aptitud universitaria y las asignadas por el equipo de investigación. ENSEÑANZA DE LAS CIENCIAS IN VESTIGACIO N Y EXPERIENCIAS DIDqCTICAS 1 Cuadro 2 Tema: Reproducción alternante en vegetales Tribunal A B C D No ejercicios 17 30 4 S Correlación 0.784 0.48 0.9% 0.95 Tema: Propiedades de las proteínas Tribunal A B C D No ejercicios 19 8 1 Correlación 0.842 0.199 Los resultados del cuadro 2 expresan claramente la diferente fiabilidad de las calificaciones otorgadas por los distintos tribunales de las pruebas de aptitud ante la misma pregunta. Así, la correlación con el tribunal A es bastante aceptable, mientras que la fiabilidad de las calificaciones otorgadas por el tribunal B es francamente anómala. El escaso numero de ejercicios en los tribunales C y D no nos permite realizar inferencias más alld de la constatación de la alta correlación obtenida. Indagando sobre las acusadas discrepancias existentes entre el tribunal B y el equipo de investigación averiguamos que en dicho tribunal no había ningún especialista en biología, y por el modo de calificar obserREFERENCIAS BIBLIOCRAFICAS COFFMAN, W.E., 1971. Essay Exarnination en R.L. Thomdike (Ed) Educational Measurernenf. (Amencan Council on Education. Washington D.C.) p.p. 271-302. ISAAC. S. y MICHAEL, W.B., 1972. Hadbook in Research and Evaluation. For educarion and rhe behavioral Sciences. (R.K. Knapp. Publisher: San Diego. California). MARTIN AYUSO, S., 1984. Errores e irregularidades en las calificaciones de la nota media del expediente académico y su importancia. en l. Aguirre de Cárcer (Ed.) La Selectividad a Debate, (Ediciones de la Universidad Autónoma de Madrid). NlEDA OTERINO, J., DlAZ MUJICA, M.V., GARClA BARQUERO. P., ORTEGA. P., BONILLA, I., AGUIRRE DE CARCER. t., 1984. La fiabilidad de las calificaciona en preguntas abiertas en Biología en 1. Aguirre de CBrcer (Ed) La SeIectividad a Debate. (Ediciones de la Universidad Autónoma de Madrid). NOVAK, J., 1980. Handbook for the Leorning how lo learn vado, intuimos que los ejercicios fueron evaluados por varios correctores. Del análisis de estos resultados concluimos que se confirma la escasa fiabilidad con que se otorgan las calificaciones en estas pruebas (y por ende la falta de validez de las decisiones que se adoptan a partir de ellas) cuando en los tribunales no existen especialistas en los contenidos que evalúan. La calificaciones poco fiables tienen una escasa validez (Isaac y Michael1972, p. 87) por lo que resulta urgente utilizar métodos fiables en aquellas evaluaciones de conocimientos sumativas de las que se desprenden decisiones importantes para la vida de los estudiantes. A pesar de la importancia de las decisiones que se adop tan a partir de las calificaciones de la selectividad, son escasas las universidades (p.e. la Universidad Autónoma de Barcelona; Valdés del Toro, 1984; Martín Ayuso 1984) que adoptan medidas elementales, como la señalada, para facilitar la validez y fiabilidad de sus decisiones. Sellalemos que a raíz de este estudio, la Universidad Autónoma de Madrid, incorporó, en las convocatorias de acceso de 1983 y 1984, una serie de medidas encaminadas a mejorar los mitodos con que se evaluaban los conocimientos de los candidatos a la admisión. Prograrn (Cornell University. Depart Education). ROBINSON, J.T., 1979. A critica) look at granding and Evaluation Practica en M.B. Rowe (Ed). Whar ResearchSays to the Science Teacher. Vol. 2. National Science Teacher Association: Washington. STALNAKER. J.M.. 1951. The asay type of examinaton en E.F. Lindquist (Ed) Educational Measuremenf. (American Council on Education. Washington D.C.) p.p. 495-530. ESTEWART, J., VANKIRK. J., ROWEL, R., 1979. Concept mapping; A tool for use in Biology teaching. American Biology Teacher, 41: 3, pp. 171-175. VALDES DEL TORO, R., MARTIN AYUSO, S., 1984. Composición de los tribunales. selección de los correctores y sesgos de instrumentación en 1. Aguirre de Chrcer (Ed.) La Selectividad a Debate. (Ediciones de la Universidad Autónoma de Madrid).