Un recurso virtual de apoyo al profesorado universitario para la evaluación de competencias

Taller 3: Evaluación en la Era Digital 187 UN recurso virtual de apoyo al profesorado universitario para la evaluación de competencias Víctor Álvarez Rojo (Coord.) Departamento MIDE, Facultad de Ciencias de la Educación Universidad de Sevilla José Clares López, Javier Gil Flores, Javier Rodríguez Santero, Soledad Romero Rodríguez, Inmaculada Asensio Muñoz, Mercedes García García, Narciso García Nieto, Soledad Guardia González, Beatriz García Lupión, Daniel González González, Rafael López Fuentes, Purificación Salmerón Vílchez, Beatriz Gallego Noche, María Soledad Ibarra Sáiz, Gregorio Rodríguez Gómez, Rakel del Frago Arbizu y Juana María Maganto Mateo Resumen La evaluación de los aprendizajes dentro del contexto del Espacio Europeo de Educación Superior exige desarrollar competencias docentes nuevas porque los planteamientos formativos son diferentes así como los escenarios profesionales donde se desarrollará una parte importante de la docencia. En consecuencia la continuidad de la evaluación tradicional a base de pruebas de papel y lápiz va a ser parcialmente inviable. Sobre ese problema de la evaluación y sobre el resto de los elementos docentes implicados se ha llevado a cabo una investigación en 5 universidades españolas para determinar primeramente y mediante procedimientos de acuerdo social (grupos de discusión) y de encuesta las competencias docentes clave percibidas por el profesorado como imprescindibles para dar respuesta a este desafío; entre ellas se describieron 11 competencias para la evaluación. En un segundo momento se ha realizado on-line una valoración de las necesidades de formación que el profesorado encuestado entendía tener respecto a las competencias antes identificadas. Los datos obtenidos permiten afirmar que el profesorado encuestado percibe un bloque mayoritario de competencias clave relacionadas con el manejo de los diferentes elementos del sistema de evaluación del alumnado; el resto del bagaje competencial evaluador se relaciona con el aprovechamiento de la información obtenida en el proceso para la mejora de la propia práctica docente. Las necesidades de formación detectadas señalan la evaluación en contextos nuevos de enseñanza aprendizaje y la elaboración de instrumentos de evaluación como ámbitos preferentes para la formación continua así como la necesidad de particularizar en centros y titulaciones dicha oferta de formación. Palabras clave: competencias docentes, evaluación del aprendizaje, competencias de evaluación, formación del profesorado, necesidades de formación, enseñanza universitaria Abstract Educational assessment in the teaching context of European Higher Education Area demands specific assessment competencies to university lecturers; main reason is because educational background as well as the learning arenas is going to change substantially in the higher education system of Europe along de next decades. Subsequently traditional pen-and-pencil assessment practices will be of scarce utility for the feature teaching-and-learning processes. A research project has been conducted to identify teaching competencies perceived by lecturers as key-competencies for the new situation. Managing focus-group and survey technics eleven assessment competencies were firstly identified; a need training assessment process on such evaluation competencies have been executed afterward. Research data point out to a majority handful of competencies related Taller 3: Evaluación en la Era Digital 188 with the management of strategies to assess student learning process and outcomes; the minority group speaks on competencies to integrate global assessment information on improving teaching practice. Finally some training need have been stated as assessment strategies in new learning environments, assessment technics, as well as the need of planning context-related (in-service) training offers. Keywords: teacher’s role, teacher’s competencies, minimum competencies, educational assessment, assessment teacher competencies, training needs, higher education Introducción La adaptación de la formación universitaria en España a los planteamientos del Espacio Europeo de Educación Superior (EEES) está exigiendo un considerable esfuerzo a las instituciones y al profesorado. Desde la perspectiva de los docentes supone un cambio sustancial en la concepción y planteamiento de la docencia así como en las funciones a ejercer en el proceso de enseñanza aprendizaje del alumnado. Se trata de una situación sin precedentes en la formación de profesionales superiores (Faraco y otros, 2009; García, 2009) ya que se demanda a los docentes una transformación radical de su oferta de formación sin que en el momento de iniciar la reforma existieran en el contexto universitario español prácticas lo suficientemente consolidadas anteriores como para que pudieran servir de modelos o pautas para operativizar los cambios. Por otra parte, como siempre que se plantea una innovación en la enseñanza de cualquier nivel cabía esperar el surgimiento de actitudes colectivas e individuales de resistencia a los cambios. Sin embargo cabe destacar la actitud favorable de la mayoría del profesorado respecto a las innovaciones demandas en el nuevo contexto; porque las actitudes colectivas de rechazo han sido muy minoritarias y procedentes de asociaciones o grupos de profesores que han cuestionado singularmente la ideología ‘mercantilista’ que a su juicio subyace en los planteamientos del EEES (Alegre, 2009); y por lo que se refiere a las posturas individuales de oposición los datos disponibles indicaban en su momento la aceptación mayoritaria (en torno a las dos terceras partes del profesorado) de la necesidad de cambio pero mediatizada por la oferta institucional de formación para el mismo: innovación sí, pero condicionada a: 1) la oferta de formación para el mismo (“dígannos cómo hacerlo en mi titulación y materia”) y 2) a la modificación de determinados aspectos contextuales de la enseñanza (ratios, instalaciones, horarios…, etc.). La necesidad de formación y apoyo institucional al profesorado para que pueda reconvertir su oferta docente ha surgido desde el inicio como la piedra angular de la reforma en curso (Ramírez y De Pablos, 2006); pero igualmente como el requisito más difícil de operativizar en ofertas atractivas y válidas para los profesores de cada una de las áreas de conocimiento y de todas y cada una de las titulaciones. Dejando a un lado la reacción tardía de las autoridades académicas de la mayor parte de la universidades ante las demandas de gran parte del profesorado para que lideraran el cambio (obviaremos comentar aquellas manifestaciones sorprendentes, programáticas y no infrecuentes de vicerrectores de las más variopintas denominaciones que pretendían un “coste cero” de la adaptación al EEES), la formación del profesorado se ha topado inicialmente con dos hándicaps importantes. Primeramente el que se refiere a la asimetría del estado de desarrollo de los planteamientos teórico-metodológicos que están en la base de esta innovación. Tomando en consideración las cuatro funciones clave en que se resuelve la actuación del profesorado en el proceso de aprendizaje – planificación de la oferta de formación, desarrollo de la enseñanza, tutela/seguimiento del proceso de aprendizaje del alumnado y evaluación de los aprendizajes – las propuestas teóricas más sólidas y contrastadas mediante la investigación educativa se localizan en el segunda de la funciones antes indicadas, es decir, en el terreno de las metodologías de enseñanza. Para las otras tres funciones los enfoques teóricos aportan sobre todo principios y recomendaciones con una limitada concreción metodológica. Y esto es Taller 3: Evaluación en la Era Digital 189 especialmente manifiesto en lo que se refiere a la evaluación de competencias. La escasa concreción práctica de estas propuestas teóricas y la muy exigua disponibilidad de ejemplos paradigmáticos para las diferentes titulaciones ha sido el segundo escollo para la formación (Ibarra y Rodríguez, 2010). “Dónde puedo encontrar ejemplos – al menos en el ámbito de la titulación en la que imparto docencia - para adaptar mis asignaturas” (competencias formuladas, procesos de enseñanza diseñados, ejemplos concretos de sistemas de evaluación de competencias, modelos de seguimiento y supervisión del proceso de aprendizaje) era la pregunta más frecuentemente formulada en los cursos de formación y para la que con demasiada asiduidad no se disponía de una respuesta válida. Sin embargo, la evaluación de los nuevos procesos de aprendizaje va a exigir al profesorado cambios profundos en sus planteamientos evaluadores. En primer lugar en lo que se refiere a la concreción de los resultados del aprendizaje esperados y a los indicadores de los mismos; pues si se enseñan competencias profesionales, i.e. la capacidad de realizar actos profesionales reconocibles en el mercado de trabajo, va a ser imposible una evaluación adecuada de su adquisición basada solamente en indicadores de recuerdo de conocimientos como se hacía tradicionalmente. Por otra parte, si el estudiante ha de adquirir gran parte de esas competencias en escenarios donde no está presente el profesor, éste deberá procurarse la información del tutor o responsable del centro de trabajo donde se haya realizado el aprendizaje y compartir asimismo su evaluación con el propio estudiante (Falchikov, 2005; López, 2009). Además la progresiva adopción por parte del profesorado universitario de los recursos que brindan las TIC y el diseño de secuencias de aprendizaje virtual van a demandar un potente desarrollo de estrategias y técnicas de e-evaluación, actualmente en fase embrionaria de desarrollo (Lara, 2003). En ese contexto es en el que se plantea una investigación de la que se presentan algunos datos en esta comunicación. Método Bajo la cobertura del Plan Nacional I+D del 2007 se ha desarrollado el Proyecto FORCOM, una investigación cuya finalidad era la creación de recurso virtual de formación y asesoramiento destinado al profesorado universitario para ayudarle a afrontar los nuevos retos docentes planteados por el EEES. Los objetivos de la misma perseguían: 1. Describir el perfil competencial de cada uno de los tipos de profesor universitario 2. Determinar necesidades de formación, orientación y ayuda respecto a esas competencias 3. Diseñar una herramienta virtual de formación adaptada a las necesidades detectadas 4. Experimentar y validar empíricamente la herramienta Los planteamientos metodológicos para la consecución de los dos primeros objetivos – en los que se centra esta comunicación - aparecen en el cuadro 1. Cuadro 1: Diseño de la investigación Diseño Instrumentos de Recogida de Datos Poblaciones / Muestras Objetivo 1 Cualitativo-colaborativo Grupos de discusión Intencional: 75 profesores de las 5 áreas de conocimiento10, de todos 10 CC Experimentales, CC Sociales y Jurídicas, CC de la Salud, Humanidades y Enseñanzas Técnicas Taller 3: Evaluación en la Era Digital 190 los tipos de profesorado11, de 5 universidades Entrevistas grupales Intencional: 23 profesores con 15 años de docencia, de todas las áreas de conocimiento, de 5 universidades Encuesta Cuestionario Intencional: 61 profesores con más de 10 años de docencia, de todas las áreas de conocimiento, de 5 universidades Objetivo 2 Encuesta Escala de valoración Aceptante: 504 profesores de las 5 áreas de conocimiento, de todos los tipos de profesorado, de 5 universidades Las variables que se han considerado en el estudio y en torno a las cuales se ha realizado el análisis de los datos han sido las competencias docentes y las necesidades de formación relacionadas con: - la planificación de la docencia - el desarrollo de la docencia - la evaluación - la tutoría En el proceso de recogida y análisis emergieron dos nuevos bloque de competencias y necesidades de formación – las relacionadas con la gestión y formación continua. Sin embargo, en esta comunicación presentaremos únicamente los datos relativos a la evaluación. El análisis de datos consistió en el cálculo de estadísticos descriptivo, el análisis de varianza y la aplicación de las prueba T de Student, Levene y HSD de Turkey. Resultados Competencias para la evaluación Las competencias percibidas con necesarias dentro de un perfil competencial docente adecuado para dar respuesta a las demandas del EEES fueron 88 con las siguientes funcionalidades: 11 CU, TU, Contratado Doctor, Ayudante Doctor, Ayudante, Asociado, Colaborador, Becario, Agregado y Sustituto Interino Taller 3: Evaluación en la Era Digital 191 Tabla 1: Funcionalidad de las competencias docentes n % Planificación de la Docencia 21 25 Desarrollo de la Docencia 30 34 Evaluación 11 12,5 Tutoría 7 7 Otras Funcionalidades 19 21,5 Como puede observarse en la tabla 1, la preocupación del profesorado respecto a la evaluación de los aprendizajes en el nuevo contexto se sitúa en tercer lugar en un ranking cuyos primeros puestos están ocupados por el desarrollo de la docencia y su planificación. Solo algo más del 10% de las competencias clave formuladas por los profesores se refieren a la práctica de la evaluación. Si se analiza en detalle el contenido de las 11 competencias evaluadoras tal como han sido definidas por los docentes (tabla 2), cabe decir que 6 de ellas (1, 4, 6, 8, 9 y 10) hacen referencia al manejo de diferentes elementos del sistema de evaluación de cualquier asignatura o materia; es de notar la preocupación del profesorado respecto al dominio de las técnicas e instrumentos para la evaluación al que dedican casi la tercera parte de las competencias (8, 9 Y 10). El bloque de las competencias 2, 3, 5 y 7 se centra en la utilización de la información obtenida por el profesor en la evaluación para optimizar su oferta de enseñanza. Solo dos competencias (9 y 11) tienen en consideración el nuevo contexto de enseñanza-aprendizaje Cuando se pidió a los profesores que valorase la relevancia de esas competencias y su utilidad para hacer frente a los nuevos desafíos docentes la mayoría de ellas están valoradas positivamente (tabla 2), por encontrarse todas las medias de las puntuaciones alrededor de los 10 puntos (en una escala de 1 a 12); algo menos valorada ha sido la última de las competencias (evaluar las actividades y trabajos a partir del campus virtual) con una puntuación media de 8.46. No obstante, las puntuaciones a esta competencia son menos homogéneas ya que la desviación típica alcanza los 2,589 puntos; esto quiere decir, por tanto, que aunque haya sujetos que hayan valorado esta competencia de manera menos generosa, existen todavía muchos sujetos cuya valoración es muy positiva. Tabla 2: Competencias para la evaluación Media Desv. típ. 1. Definir y dar a conocer los criterios de evaluación 10,79 1,644 2. Retroalimentar la propia docencia a partir de los resultados del aprendizaje en el alumnado 10,68 1,396 3. Analizar la propia práctica docente 10,62 1,485 4. Realizar el seguimiento del trabajo del alumnado 10,30 1,637 5. Utilizar la evaluación para la mejora de la enseñanza y el aprendizaje 10,28 1,845 6. Proporcionar retroalimentación al estudiante sobre su aprendizaje 10,25 1,604 7. Ajustar la evaluación a las competencias pretendidas en la asignatura 10,23 1,640 8. Utilizar distintas técnicas de evaluación coherentes con la metodología de trabajo 10,07 1,818 9. Utilizar técnicas de evaluación en situaciones didácticas no convencionales (evaluar la consecución de competencias, planificación de un proyecto, etc.) 9,75 2,098 10. Elaborar diferentes instrumentos de evaluación 9,58 1,951 11. Evaluar las actividades y trabajos de los estudiantes a través del Campus Virtual 8,46 2,589 Taller 3: Evaluación en la Era Digital 192 Necesidades de formación para la evaluación Para la consecución del segundo objetivo de la investigación se pidió al profesorado que señalase en un protocolo de valoración el nivel de necesidades de formación que percibía respecto a las competencias definidas anteriormente. Dado su excesivo número se optó por una reducción al 50% por orden de importancia y proporcional, lo que dio como resultado 8 competencias de evaluación (tabla 3) que se sometieron a valoración en una escala de 1 a 6. Las necesidades de formación percibidas respecto a cada una de ellas aparecen en el gráfico 1. Grafico 1: Necesidades de formación para la evaluación 2,05 1,51 1,93 2,07 1,90 1,93 2,38 2,44 2,34 1 1,5 2 2,5 3 Bloque 1 2 3 4 5 6 7 8 Como puede observarse en el gráfico, consideradas en bloque la media de necesidad de formación es de 2,05 - similar a la manifestada para el resto de los bloques competenciales. La preocupación del profesorado parece residir no tanto en las competencias necesarias para la elaboración de los sistemas de evaluación del alumnado (exigibles legalmente y por tanto aprendidas desde la práctica) sino en las relativas al aprovechamiento de la información que proporciona la evaluación para la mejora de la propia práctica docente. Cuando contemplamos esas necesidades de formación en las distintas áreas de conocimiento las medias son las siguientes: Tabla 3: Necesidades de formación por áreas de conocimiento Media Desv. Humanidades 1,34 1,455 Ciencias Ex. y Nat. 1,12 1,302 Ingenierías 1,42 1,334 Ciencias de la salud 1,88 1,433 1 Definir y dar a conocer los criterios de evaluación. Ciencias sociales y jurídicas 1,67 1,324 Humanidades 1,54 1,440 Ciencias Ex. y Nat. 1,60 1,394 Ingenierías 1,85 1,474 Ciencias de la salud 2,19 1,504 2 Ajustar la evaluación a las competencias que se enseñan en la asignatura. Ciencias sociales y jurídicas 2,24 1,428 Humanidades 1,73 1,520 Ciencias Ex. y Nat. 1,80 1,411 Ingenierías 1,98 1,393 3 Utilizar distintas técnicas de evaluación coherentes con la metodología de trabajo. Ciencias de la salud 2,53 1,563 Taller 3: Evaluación en la Era Digital 193 Ciencias sociales y jurídicas 2,23 1,479 Humanidades 1,54 1,432 Ciencias Ex. y Nat. 1,77 1,408 Ingenierías 1,96 1,414 Ciencias de la salud 2,29 1,450 4 Realizar el seguimiento del trabajo del alumnado. Ciencias sociales y jurídicas 1,95 1,332 Humanidades 1,42 1,445 Ciencias Ex. y Nat. 1,79 1,443 Ingenierías 1,92 1,493 Ciencias de la salud 2,43 1,463 5 Proporcionar al estudiante información precisa y frecuente sobre su aprendizaje. Ciencias sociales y jurídicas 2,06 1,442 Humanidades 1,98 1,491 Ciencias Ex. y Nat. 2,40 1,454 Ingenierías 2,47 1,405 Ciencias de la salud 2,71 1,313 6 Analizar la propia práctica docente. Ciencias sociales y jurídicas 2,44 1,403 Humanidades 2,11 1,497 Ciencias Ex. y Nat. 2,32 1,468 Ingenierías 2,67 1,438 Ciencias de la salud 2,82 1,348 7 Revisar la propia docencia a partir de los resultados del aprendizaje de los estudiantes. Ciencias sociales y jurídicas 2,49 1,361 Humanidades 2,03 1,545 Ciencias Ex. y Nat. 2,39 1,437 Ingenierías 2,56 1,474 Ciencias de la salud 2,47 1,455 8. Utilizar la evaluación para la mejora de la enseñanza y el aprendizaje. Ciencias sociales y jurídicas 2,40 1,369 Las diferencias de medias encontradas en la tabla 3 llegan a resultar estadísticamente significativas en 7 de las 8 competencias objeto de comparación, como puede apreciarse en la tabla 4. Tabla 4: Diferencias en la percepción de las necesidades de formación según competencias y áreas de conocimiento F Sig. 1 Definir y dar a conocer los criterios de evaluación 4,441 ,002 2 Ajustar la evaluación a las competencias que se enseñan en la asignatura 5,858 ,000 3 Utilizar distintas técnicas de evaluación coherentes con la metodología de trabajo 4,396 ,002 4 Realizar el seguimiento del trabajo del alumnado 3,324 ,011 5 Proporcionar al estudiante información precisa y frecuente sobre su aprendizaje. 5,598 ,000 6 Analizar la propia práctica docente 2,936 ,020 7 Revisar la propia docencia a partir de los resultados del aprendizaje de los estudiantes 3,109 ,015 8 Utilizar la evaluación para la mejora de la enseñanza y el aprendizaje 1,576 ,180 Realizados los contrastes post hoc, las diferencias en las necesidades de formación del profesorado, según el área de conocimiento, son las expuestas en la tabla 5. Taller 3: Evaluación en la Era Digital 194 Tabla 5: Diferencias en las necesidades de formación como resultado de las pruebas de contraste (I) Área de conocimiento (J) Área de conocimiento Diferencia de medias (I-J) Sig. 1. Definir y dar a conocer los criterios de evaluación Ciencias Ex. y Nat. Ciencias de la salud -,763(*) ,003 Ciencias sociales y jurídicas -,557(*) ,011 2. Ajustar la evaluación a las competencias que se enseñan en la asignatura Humanidades Ciencias de la salud -,648(*) ,033 Ciencias sociales y jurídicas -,705(*) ,001 3. Utilizar distintas técnicas de evaluación coherentes con la metodología de trabajo Humanidades Ciencias de la salud -,800(*) ,005 Ciencias Ex. y Nat. Ciencias de la salud -,733(*) ,012 4. Realizar el seguimiento del trabajo del alumnado Humanidades Ciencias de la salud -,755(*) ,005 5. Proporcionar al estudiante información precisa y frecuente sobre su aprendizaje Humanidades Ciencias de la salud -1,010(*) ,000 Ciencias sociales y jurídicas -,640(*) ,005 Ciencias Ex. y Nat. Ciencias de la salud -,645(*) ,036 6. Analizar la propia práctica docente Humanidades Ciencias de la salud -,729(*) ,009 7. Revisar la propia docencia a partir de los resultados del aprendizaje de los estudiantes Humanidades Ciencias de la salud -,711(*) ,013 Como se puede apreciar aparecen claramente marcadas dos áreas con diferencias significativas: - Humanidades: muestra diferencias significativas en las competencias: 2, 3, 4, 5 y 7 con las Ciencias de la Salud; también con las Ciencias Sociales y Jurídicas en las competencias 2 y 5. En todos estos casos el área de humanidades presenta unas menores necesidades formativas. - Ciencias Exactas y Naturales: las diferencias se dan con Ciencias de la Salud (competencias 1, 3 y 5) y con las Ciencias Sociales y Jurídicas (competencia 1). En todos los casos el área de Ciencias Exactas y Naturales es que el expresa un menor nivel de necesidad formativa. Cuando se considera el nivel de necesidades de formación percibido respecto a las competencias para la evaluación según el tipo de profesorado encontramos las siguientes medias (tabla 6) para cada uno de las 8 competencias que componen el bloque: Tabla 6: Necesidades de formación por tipo de profesorado Media Desv. Catedrático 1,10 1,389 Titular 1,35 1,308 Contratado doctor 1,33 1,289 Ayudante doctor 1,86 1,376 1. Definir y dar a conocer los criterios de evaluación. Contratado investigación 1,75 2,217 Taller 3: Evaluación en la Era Digital 195 Asociado 2,14 1,456 Colaborador 2,00 1,333 Contratado interino (sustituto) 1,75 1,545 Becario 1,89 1,537 Catedrático 1,35 1,369 Titular 1,78 1,441 Contratado doctor 2,02 1,421 Ayudante doctor 2,22 1,396 Contratado investigación 1,75 1,708 Asociado 2,55 1,460 Colaborador 2,39 1,548 Contratado interino (sustituto) 2,42 1,621 2. Ajustar la evaluación a las competencias que se enseñan en la asignatura. Becario 2,22 1,202 Catedrático 1,84 1,528 Titular 1,95 1,497 Contratado doctor 2,02 1,460 Ayudante doctor 2,22 1,551 Contratado investigación 2,00 1,414 Asociado 2,61 1,576 Colaborador 2,50 1,347 Contratado interino (sustituto) 2,08 1,505 3. Utilizar distintas técnicas de evaluación coherentes con la metodología de trabajo. Becario 2,56 1,236 Catedrático 1,65 1,383 Titular 1,85 1,476 Contratado doctor 1,74 1,348 Ayudante doctor 1,89 1,304 Contratado investigación 2,25 1,708 Asociado 2,24 1,287 Colaborador 2,18 1,219 Contratado interino (sustituto) 1,75 1,357 4. Realizar el seguimiento del trabajo del alumnado. Becario 2,33 1,225 Catedrático 1,41 1,388 Titular 1,88 1,496 Contratado doctor 1,94 1,447 Ayudante doctor 2,00 1,394 Contratado investigación 2,50 1,291 Asociado 2,51 1,515 Colaborador 2,07 1,386 Contratado interino (sustituto) 1,83 1,193 5. Proporcionar al estudiante información precisa y frecuente sobre su aprendizaje. Becario 2,00 1,414 Catedrático 2,10 1,147 Titular 2,27 1,455 Contratado doctor 2,66 1,467 Ayudante doctor 2,51 1,358 Contratado investigación 2,50 1,000 Asociado 2,67 1,492 Colaborador 2,68 1,492 Contratado interino (sustituto) 2,50 1,446 6. Analizar la propia práctica docente. Becario 2,78 1,394 Catedrático 2,30 1,196 Titular 2,35 1,447 Contratado doctor 2,46 1,450 Ayudante doctor 2,51 1,422 Contratado investigación 3,50 1,291 Asociado 2,69 1,463 Colaborador 2,86 1,433 7. Revisar la propia docencia a partir de los resultados del aprendizaje de los estudiantes. Contratado interino (sustituto) 2,33 1,371