Validación deinstrumentos de evaluación docente en el contexto de una universidad española

Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 41-55 ISSN: 2215-8421 15 Validación de instrumentos de evaluación docente en el contexto de una universidad española Edith J. Cisneros-Cohernour Universidad Autónoma de Yucatán (cchaco[email protected]) María Cecilia Jorquera Jaramillo Universidad de Sevilla (mceci[email protected]) Ángel Martín Aguilar Riverol Universidad Autónoma de Yucatán ([email protected]) Recibido: 20 octubre 2011 | Aceptado: 15 marzo 2012 | Publicado en línea: 30 junio 2012 41 15 55 INTRODUCCIÓN Aunque la evaluación de la docencia siempre ha tenido lugar de manera informal, en años recientes se ha incrementado el interés porque esta se lleve a cabo de manera formal, principalmente por su vinculación con los sistemas de evaluación institucional y rendimiento de cuentas. Como indica Rueda, “La evaluación de la docencia es un tema vigente en la agenda educativa, tanto por el papel fundamental que puede desempeñar en la mejora de las instituciones, como por ser objeto de las políticas institucionales y nacionales de evaluación” (RIIED, 2008, p. 345). Este interés por la evaluación de la docencia también se refleja en un interés por las metodologías para evaluarla. Tradicionalmente, esta se ha llevado a cabo por medio de cuestionarios administrados a estudiantes al final de un curso escolar. Esta metodología es la más ampliamente utilizada por instituciones educativas alrededor del mundo. Como indica Seldin (1993), casi todos los colegios y universidades utilizan este sistema. Por su parte, Feldman (1993) señala que en los noventa ya se habían publicado más de dos mil libros y artículos acerca de este tema. Como estos reportan, los cuestionarios de opinión sobre la docencia cuyas respuestas se formulan en términos de escalas –habitualmente de uno a cinco– que luego son elaborados estadísticamente anulan de esta manera las diferencias entre los estudiantes y no permiten identificar las razones que los llevaron a decidir por la calificación 42 E. J. Cisneros, M. C. Jorquera y A. M. Aguilar Dossier – La evaluación docente atribuida. Esto da la ilusión de medir la efectividad del tratamiento que correspondería a la enseñanza, en términos de aprendizaje. Los resultados de las investigaciones sobre la evaluación de la docencia basada en opiniones de estudiantes han encontrado que el uso de esta fuente de información presenta beneficios pero también problemas. Como indican Cashin (1990) y Ruiz (2005), numerosos estudios han examinado la validez de las evaluaciones que los estudiantes hacen de sus maestros y han encontrado que los estudiantes son una de las más importantes fuentes de información sobre la docencia. De acuerdo con la revisión de la literatura realizada por Marsh (1987), los puntajes que los estudiantes otorgan son confiables, en el sentido de que hay consistencia en el puntaje que varios estudiantes otorgan a un instructor, y se les ha considerado moderadamente válidos cuando se han evaluado varias secciones de un mismo curso impartido por diferentes docentes pero con un mismo examen. Es decir, los puntajes que los maestros obtienen en su evaluación docente han estado correlacionados positivamente con las calificaciones que los alumnos obtienen en el examen del curso. También se encontró que los estudiantes rara vez cambian sus percepciones acerca del profesor, aun cuando hayan pasado varios años. Sin embargo, una revisión de la literatura de investigación realizada a fines de los años noventa por Brodie (1998) encontró una correlación positiva entre las altas calificaciones que otorga el profesor y los puntajes conferidos por los estudiantes en la evaluación de la calidad de la docencia. De acuerdo con este autor, “los maestros que otorgan calificaciones más altas y exigen menos tareas de los estudiantes reciben los más altos puntajes en las evaluaciones que estos hacen de sus profesores” (p. 17). Esto también fue encontrado por Ryan, Anderson y Birchler (1980), quienes hallaron que el 38% de los profesores de una institución de educación superior afirmaron haber disminuido la dificultad de sus cursos, debido a que se dieron cuenta de que esto influía positivamente en los resultados de sus evaluaciones docentes. Asimismo, Brodie (1999) encontró que las correlaciones positivas entre los puntajes otorgados por los estudiantes y ciertas características de “efectividad docente” se exageraron en las publicaciones y que “algunos investigadores han borrado correlaciones bajas o negativas o creado correlaciones positivas al invertir la escala de calificaciones” (p. 1). Se ha encontrado también que la administración de la prueba, la naturaleza del curso, el instructor, los características de los estudiantes y los instrumentos son factores que influyen positiva o negativamente en el puntaje que el estudiante otorga a su profesor en la evaluación docente. Otra crítica es que los resultados de la evaluación pueden ser manipulados dando a los estudiantes regalos, como chocolates u otros objetos de su interés, ya que se ha encontrado que esto influye positivamente en los puntajes otorgados por los estudiantes (Youmons, 2007; Cisneros-Cohernour y Aguilar, 2011). Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 41-55 43 Dossier – La evaluación docente Como una alternativa ante los problemas de la evaluación centrada solo en percepciones de los estudiantes para evaluar la docencia, Benilde García Cabrero, Javier Loredo Enríquez, Edna Luna Serrano y Mario Rueda Beltrán (2008) desarrollaron un Modelo de Evaluación por Competencias Académicas (MECD). Este trabajo presenta los resultados parciales de un estudio, cuyo objetivo es validar dos instrumentos utilizados por este modelo. En particular, se presentan los resultados del proceso de validación que se llevó a cabo en el contexto de una universidad española. El estudio reviste especial importancia porque se ha encontrado que una de las principales lagunas de la literatura en evaluación de la docencia es la que se refiere a la validez sustantiva de la evaluación y la forma en que se interpretan y usan los resultados de las evaluaciones (Haskell, 1997; Ory y Ryan, 2001; Stake y Cisneros-Cohernour, 2000). MARCO CONCEPTUAL El MECD surgió como parte del trabajo de la Red de Investigadores sobre Evaluación de la Docencia (RIED) (García et al., 2008). Como indican sus creadores, este tiene como propósito: orientar las actividades de profesores y directivos en los procesos de evaluación, con las intenciones por un lado, de resaltar la importancia de la función docente y contribuir para que la evaluación repercuta principalmente en mejores prácticas para la enseñanza y el aprendizaje y, por otro, coadyuvar a la implementación de procesos de evaluación justos y pertinentes. (p. 98) La evaluación basada en el modelo ECD se centra en la evaluación de la práctica docente, entendiendo por esta el conjunto de situaciones enmarcadas en el contexto institucional que influyen en el aprendizaje de los estudiantes (García et al., 2008). En consistencia con Zabala y Arnau (2002), el modelo incluye la evaluación de competencias que involucran las actividades que realizan los docentes antes, durante y después de la práctica. Los autores incluyen entre estas las de planeación, impartición de clases, revisión de trabajos, tareas y evaluación de los aprendizajes. El modelo está conformado por cuatro dimensiones de competencias relacionadas con: 1. Contexto institucional. Incluye las siguientes competencias: a. Realizar la planeación macro (Programa oficial de las asignaturas) b. Desarrollar procesos de formación continua que apoyen la trayectoria profesional del profesorado c. Impulsar la cultura organizacional de gestión y evaluación 2. Previsión del proceso de enseñanza-aprendizaje, que incluye planear el curso de la asignatura. 44 E. J. Cisneros, M. C. Jorquera y A. M. Aguilar Dossier – La evaluación docente 3. Conducción del proceso enseñanza-aprendizaje, que a su vez incluye: a. Gestionar la progresión de los aprendizajes (plan de clase) b. Llevar a cabo la interacción didáctica en el aula c. Utilizar formas de comunicación adecuadas para apoyar el trabajo académico 4. Valoración del impacto del proceso de enseñanza-aprendizaje; esto implica utilizar formas adecuadas para valorar procesos de enseñanza-aprendizaje, así como su impacto. El modelo está siendo objeto de una validación en el contexto de universidades mexicanas y extranjeras por investigadores de la Universidad Autónoma de Chihuahua, la Universidad de Baja California Campus Ensenada, la Universidad Autónoma de Yucatán, así como de la Universidad Nacional Autónoma de México, Universidad Iberoamericana y Universidad Autónoma Metropolitana. El proceso de validación, cuyos resultados preliminares se presentan en este trabajo, se centra en dos de los instrumentos utilizados en la implementación del modelo. El proceso de validación de estos instrumentos se lleva a cabo con base en la teoría de validez de Messick (1989 y 1995), que propone un concepto unificado de validez y que expande la teoría de validez del constructo al “integrar consideraciones de contenido, criterio y consecuencias en un marco teórico del constructo para poner a prueba hipótesis racionales acerca del significado y las relaciones relevantes desde el punto de vista teórico, lo cual incluye tanto las de naturaleza aplicada como científica” (Messick, 1995, p. 751). Como afirma este autor, la validez es una característica del significado e interpretación de los resultados de la evaluación y de cualquier acción basada en los resultados de la evaluación. Validez no es cuestión de todo o nada, sino de grado. La validez del constructo bajo esta teoría incluye seis aspectos: de contenido, sustantiva, estructural, externa, generalización y de consecuencias. En particular, el proceso de validación de los instrumentos que se siguió en la universidad española incluye los aspectos de validez de contenido y validez sustantiva: a. La validez de contenido incluye evidencias de relevancia, representación y calidad técnica de la evaluación (Lennon, 1956; Messick, 1989; Stake, 1999). Esto involucra tanto que la evaluación incluya todos los aspectos del constructo que son importantes como que la evaluación no incluya elementos irrelevantes respecto a este. Por su parte, la validez sustantiva se refiere a la evidencia que apoya los análisis empíricos y teóricos de los procesos, estrategias y conocimiento en los que se basan las respuestas de los sujetos. En otras palabras, responde a las preguntas: ¿cuál es el proceso que siguen los sujetos al evaluar al docente? y ¿cómo usan los estudiantes las escalas para responder el cuestionario de evaluación docente? Este tipo de validez también se relaciona con determinar si todos los Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 41-55 45 Dossier – La evaluación docente estudiantes siguen procesos similares cuando califican a sus profesores y cursos, y si algunos subgrupos de estudiantes responden de forma diferente a otros. Pregunta de investigación La principal pregunta del estudio en el caso de la Facultad de Ciencias de la Educación de la universidad española fue: ¿Cuáles son las fortalezas y limitaciones del cuestionario y la rúbrica, en cuanto a los aspectos de validez de contenido y sustantiva? METODOLOGÍA La investigación se llevó a cabo en la Facultad de Ciencias de la Educación de una universidad en el sur de España. La universidad en donde se realizó el estudio cuenta con una larga historia y, por consecuencia, una larga tradición, pero la Facultad en la cual se recogieron los datos es relativamente reciente, ya que fue creada en 1978, teniendo como antecedente un centro similar creado en 1969. El total de estudiantes de la Facultad matriculados es de 5.049, de los cuales 3.690 son mujeres y 1.359 son hombres. El total de estudiantes que estaban matriculados por especialidad es 539, y el total de alumnos matriculados por asignatura, 68. En cuanto a los profesores, la Facultad cuenta con 343 docentes-investigadores, de los cuales 169 son mujeres y 174 hombres. Actualmente, en términos estadísticos, acceden a este centro estudiantes que tienen un promedio alto en el nivel académico inmediato anterior, respecto a carreras de reconocido prestigio social, como medicina, arquitectura, ingeniería, etc. Gran parte de los estudiantes provienen de la misma provincia del sur de España, aunque también hay estudiantes de otras provincias e incluso de otras regiones autonómicas. PARTICIPANTES Los estudiantes de la Facultad de Ciencias de la Educación, en una de sus especialidades que participaron, tenían las siguientes características: diez eran estudiantes de Diplomatura y un estudiante que finalizaba estudios de Licenciatura (ocho mujeres, tres hombres), de los cuales nueve habían asistido a una asignatura optativa de su especialidad, parte del plan de estudios de una diplomatura. Es importante notar que en esta universidad se evalúa la docencia por medio de un cuestionario de evaluación de la docencia, habitualmente propuesto hacia la mitad, o poco más tarde, del período lectivo de las asignaturas. Todos los participantes conocían el cuestionario de evaluación. También participaron cinco profesores pertenecientes a diferentes áreas de conocimiento y Departamentos (dos mujeres, tres hombres). Fueron 46 E. J. Cisneros, M. C. Jorquera y A. M. Aguilar Dossier – La evaluación docente distribuidas otras cinco rúbricas por correo electrónico, pero no fueron devueltas a los investigadores. Es importante notar que el trabajo de campo se llevó a cabo durante el periodo de exámenes, justo antes de las vacaciones de verano. Durante este periodo no todos los estudiantes asistían a clases y algunos profesores se encontraban realizando actividades científicas fuera de la Universidad. Lo anterior puede explicar el porcentaje de participación de estudiantes (11 de 549) y docentes en el estudio (5 de 22) del Departamento, ya que, aunque se invitó a todos a participar, solo se obtuvo respuesta –y, por lo tanto, participación– de once estudiantes y cinco profesores. Esta constituye una limitante para la generalización de los resultados, por lo que la investigación se considera un estudio preliminar en la validación de los instrumentos utilizados para la aplicación del modelo. ESTRATEGIAS DE RECOLECCIÓN DE DATOS La Tabla 1 muestra las estrategias metodológicas que utilizó el estudio. Tabla 1. Estrategias de recogida de datos Aspecto evaluado Fuente de información Estrategias de recogida de datos Validez de contenido Docentes Estudiantes Análisis de la rúbrica con los componentes del modelo, indicadores y niveles de competencia. Se les pidió a los sujetos que reflexionaran en qué medida el instrumento es relevante, y capta todos los elementos del constructo: buena enseñanza (incluidos las competencias y los indicadores), y si existían elementos que faltan o no son parte del constructo. Cuestionario de evaluación docente basado en el modelo de competencias docentes. Se solicitó a los estudiantes completar el cuestionario y calificar a uno de sus instructores; luego se les preguntó si el instrumento contenía todos los elementos importantes para medir la calidad de la docencia, y si existían elementos que faltan o no son parte del constructo. También se les pidió que indicaran si consideran que unos elementos del constructo “calidad docente son más importantes que otros”. Validez sustantiva Estudiantes Cuestionario de evaluación docente basado en el modelo de competencias docentes. Se solicitó a los estudiantes evaluar a un instructor y expresar en voz alta el proceso que siguen cuando califican a sus profesores, y expresar la forma en que determinan cómo otorgar un puntaje para evaluar a sus maestros. En resumen, se utilizaron un cuestionario dirigido a estudiantes, entrevistas semiestructuradas, grabadas en video, rúbricas concebidas para la autoevaluación por parte del profesorado y breve entrevista durante las respuestas a esta, o bien al finalizar el rellenado del material. Asimismo, se llevó un diario de campo. Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 41-55 47 Dossier – La evaluación docente Para el análisis de datos, se transcribieron los textos de las entrevistas y se realizó un análisis de contenido con base en los aspectos evaluados; a partir de la información recolectada se crearon categorías de respuestas en función de grandes tópicos más generales y representativos. (Ver Anexo, que contiene una descripción de las dimensiones y competencias del modelo en las que se basó la construcción de los instrumentos). RESULTADOS A continuación se presentan los resultados basados en el análisis de la validez de contenido y sustantiva. Validez del contenido (alumnos) En relación con la validez de contenido del cuestionario dirigido a estudiantes, se encontró que los estudiantes tienen un concepto ideal de lo que constituye la calidad docente. En las entrevistas emerge con fuerza el perfil del buen docente, pudiendo agrupar las cuestiones en cuatro ámbitos: relación y comunicación, gestión de la materia, características personales del profesor y conocimientos de los que debe disponer el profesor. En cuanto a la relación y la comunicación, los buenos profesores deben ser capaces de respetar a los estudiantes, manteniendo una relación cercana; deben saber motivarlos y explicar correctamente la materia, ojalá sirviéndose de un lenguaje coloquial; deben conocer más a sus alumnos para comprender sus situaciones específicas; deben proponerse como ejemplo, evitando incoherencias entre su hacer y la realidad, y deben saber escuchar a los estudiantes. En lo relacionado con la gestión de la materia, el buen docente debería proponerla con transparencia y claridad, sobre todo en cuanto a coherencia entre el programa y la evaluación, ya que la inconsecuencia constituye “poner problemas”. Entre las características personales del buen docente está presente la cuestión de la vocación, que según los estudiantes debería relacionarse no solo con la investigación, sino también con la docencia. La vocación corresponde quizás al interés auténtico del docente por su actividad, cosa que este transmite de manera evidente a sus alumnos en sus clases. Otra característica personal consiste en que el buen profesor debe tener personalidad ante el alumnado y mostrar continuidad en su humor y estabilidad emocional, ya que los cambios en este ámbito pueden confundir al alumnado. El buen profesor debe poseer conocimientos especializados en la materia que imparte y estar actualizado. Los conocimientos deben ser adecuados para saber responder a las preguntas de los estudiantes, y el buen profesor también debe saber proponer problemas que se presentan en la realidad del desempeño profesional, relacionando así la teoría con la práctica. 48 E. J. Cisneros, M. C. Jorquera y A. M. Aguilar Dossier – La evaluación docente Con base en estas afirmaciones, se pidió a los estudiantes que indicaran en qué medida el cuestionario basado en el MECD refleja el concepto de calidad docente que ellos identificaron. Los estudiantes subrayan que todos los aspectos incluidos en el instrumento son relacionados con la calidad docente, pero como se indicó antes, sí faltarían algunos componentes esenciales de la buena docencia, ya que el instrumento no menciona las competencias emocionales, que, según una estudiante, influyen de manera determinante en la interacción entre profesor y alumnado. Esto podría resolverse incluyendo un ítem que el alumno rellenaría mediante la expresión de una palabra correspondiente a un calificativo que coincide con las emociones suscitadas, por ejemplo, alegría, confianza, serenidad, odio, coraje, incertidumbre, etc. Asimismo, los estudiantes cuestionaron la validez del contenido del instrumento para todo tipo de asignaturas y disciplinas del conocimiento. De acuerdo con los estudiantes, algunos ítems pueden no ser los mejores para evaluar ciertos tipos de cursos y en algunas especialidades podrían faltar ítems de otros aspectos que son importantes, de acuerdo con la disciplina impartida. Los estudiantes también indicaron que el cuestionario debería ser diferente según la materia enseñada, asignando más importancia a unas cuestiones respecto a otras. Validez de contenido (profesores) Los cinco profesores que participaron en el estudio y analizaron la validez de contenido de la rúbrica basada en el MECD tuvieron inicialmente dificultades para comprender qué debían realizar en el texto entregado y pidieron instrucciones adicionales. En síntesis, sobre todo en el primer apartado, no resulta ser intuitivo señalar con una cruz en alguno de los recuadros. Una vez superada esta incertidumbre, realizaron sin dificultad la autoevaluación solicitada. Una profesora señaló que el ítem referido a los estándares no lo considera relevante, por la situación que tiene lugar en España en relación con ellos. También indicó que algunos ítems no son adecuados para evaluar la metodología que ella utiliza –comentarios de textos–, muy funcional respecto a la materia enseñada. Otro profesor, que enseña una materia relacionada con las ciencias duras (de nuevo, necesidad de caracterizar a los docentes), atribuye importancia a esos mismos estándares y a otros aspectos que podrían definirse como objetivos. Esto nos conduce a observar que la rúbrica propone un modelo de profesor que no se ajusta a las diferentes realidades de la docencia. Validez sustantiva En relación con la validez sustantiva, los estudiantes identificaron importantes aspectos que se relacionan con la forma en que ellos interpretan los ítems del instrumento y evalúan al docente. Para esto se pidió a los estudiantes que indicaran cómo determinan la asignación de un puntaje muy alto, intermedio o muy bajo a un profesor en la evaluación docente. De acuerdo con los resultados, los estudiantes no tienen tendencia a asignar puntajes extremos, sino que los otorgan con base en su percepción del trabajo realizado por el docente, y consideran apropiada la escala del instrumento que permite otorgar puntuaciones entre 1 y 5. Cuando se preguntó a los estudiantes a quiénes asignarían el puntaje más bajo (de 1 en la escala Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 41-55 49 Dossier – La evaluación docente de 1-5), la mayoría indicó que otorgan este puntaje si el maestro demuestra escaso respeto hacia ellos, mientras que otra estudiante afirmó que ella solo otorga este puntaje si no ha podido asimilar los conocimientos propuestos en la asignatura. En cuanto al puntaje intermedio (3 en la escala de 1-5), los estudiantes indicaron que otorgan este puntaje cuando el profesor ni los favorece ni los perjudica, mantiene una actitud correcta o da la impresión de estar dispuesto a escuchar a los estudiantes, pero en realidad no lo está. Otro estudiante indicó que otorga este puntaje cuando los conocimientos del curso parecen haber sido asimilados, pero no están consolidados. En relación con el máximo puntaje (5, en la escala de 1-5), los estudiantes indicaron que solo otorgan este puntaje cuando el profesor mantiene una relación cercana con los estudiantes, cuando utiliza ejemplos de su propia experiencia, y cuyas clases son amenas; un profesor a quien le gusta su trabajo y que al terminar la asignatura sienten que han realmente asimilado los conocimientos propuestos en el curso, que tienen permanencia en el tiempo. Sin embargo, los estudiantes reconocieron que no siempre otorgan puntajes altos porque muchas veces se dejan guiar más por las actitudes de los profesores que por sus habilidades docentes. Un estudiante describió algunas situaciones de la que considera una docencia de calidad, resumiendo su experiencia en términos más bien emocionales y no racionales, y afirmó: “Me gustaba mucho”. Esto debería dar qué pensar acerca de cómo los estudiantes, en algunos casos, asumen en clase la misma actitud que tienen ante un espectáculo o una actividad de tiempo libre, reflejando de esta manera en qué medida la sociedad del espectáculo (Debord, 1999) ha permeado las actividades humanas. Cabría preguntarse si esto corresponde realmente al ámbito de la docencia y si el profesorado debe recibir formación en este sentido. Asimismo, los estudiantes identificaron otros aspectos del instrumento que pueden afectar su interpretación y el otorgamiento de puntajes en el momento de la evaluación. Por ejemplo, un estudiante indicó que los títulos del cuestionario deberían ir acompañados de cuadros para que quede claro qué tipo de competencia se está evaluando, y que el nombre de la competencia no se confunda con el de los indicadores de la misma. Otra estudiante sugirió que se ordenen los ítems, agrupando cuestiones relacionadas con contenidos, objetivos, y luego la metodología, más que por área de competencias. Una estudiante señaló que, para evaluar a un profesor, “nunca”, “casi siempre” o “siempre”, referidos a determinadas actividades, no reflejan las competencias docentes. Más bien, convendría describir cómo se lleva a cabo la docencia de las asignaturas, es decir, formular preguntas dirigidas a evaluar los procesos que tienen lugar en el aula. También apuntaron algunos estudiantes que habría que ahondar más en las motivaciones de los estudiantes para responder de una determinada manera, ya que la puntuación no refleja el porqué de la misma. En su mayoría los estudiantes destacaron que valoran el orden y la claridad del cuestionario. Sin embargo, una estudiante señaló la formulación poco clara de algunas preguntas, porque no hacen referencia a cómo se hace algo, por ejemplo: presenta la lista de temas y su secuencia en el programa de la materia. Es decir, la planificación puede ser correcta, pero el profesor puede no realizarla correctamente, con momentos que pueden ser correctos y