Hacia un sistema de evaluación del aprendizaje universitario basado en criterios, normas y procedimientos públicos y coherentes

HACIA UN SISTEMA DE EVALUACIÓN DEL APRENDIZAJE UNIVERSITARIO BASADO EN CRITERIOS, NORMAS Y PROCEDIMIENTOS PÚBLICOS Y COHERENTES1 María Soledad Ibarra Sáiz (Coord.) Universidad de Cádiz2 Gregorio Rodríguez Gómez Universidad de Cádiz Daniel González González y Rafael López Fuentes Universidad de Granada Víctor B. Álvarez Rojo y Javier Gil Flores Universidad de Sevilla Francisco Aliaga Abad y Jesús Jornet Meliá Universidad de Valencia Luis Lizasoaín Hernández y Rakel del Frago Arbizu Universidad del País Vasco INTRODUCCIÓN La progresiva implantación del proceso de Convergencia Europea corre, entre otros, el riesgo de ir reformulando los planes de estudio de acuerdo a una nueva terminología impulsada por el establecimiento del Espacio Europeo de Educación Superior (EEES), pero sin que ello suponga un cambio radical de paradigma sobre el proceso de enseñanza-aprendizaje que se realiza en las aulas universitarias. La importancia que tiene la evaluación del aprendizaje del alumnado universitario como elemento “modulador” del mismo, en cuanto que determina el qué, el cómo, el por qué y el cuánto estudian los alumnos, ha sido puesto de manifiesto por numerosas investigaciones, por lo que en la actualidad la evaluación del aprendizaje se plantea como un elemento estratégico en la universidad (Gibbs, 2003). Las tendencias actuales se sitúan en torno a una evaluación basada en la explicitación de los criterios, la evaluación de los procesos, el carácter colaborativo, la corresponsabilidad del alumnado, su focalización en las competencias y capacidades y preocupada por los principales aprendizajes (Brown, Bull y Pendlebury, 1997; Falchikov, 2005; Boud y Falchikov, 2006) que no pueden entenderse de forma descontextualizada, por lo que es preciso determinar el contexto en el que el aprendizaje se realiza. Aún más, como señala Shepard (2000), “si la evaluación tiene la finalidad de ayudar a los estudiantes a aprender, debe modificarse de dos formas fundamentales. Primero, el contenido y el carácter de las evaluaciones debe ser mejorado significativamente. Segundo, la infor92 1Proyecto financiado por el Programa de Estudios y Análisis de la Secretaría de Estado de Universidades e Investigación (Resolución de 22 de marzo de 2006 – Ref. EA2006-0061) 2Universidad de Cádiz.- Tlfno: +34 956016257. [email protected] mación obtenida en la evaluación debe formar parte del proceso de aprendizaje”. La evaluación del aprendizaje es una actividad compleja en su organización puesto que intervienen diversas unidades organizativas (vicerrectorados, facultades, departamentos…), que utilizan diversos procesos o procedimientos para normalizar la realización efectiva de la evaluación en las aulas, implicando en sus decisiones al profesorado y al alumnado. Además, los resultados de la evaluación del aprendizaje han tenido siempre una gran importancia personal para los estudiantes y recientemente están adquiriendo una creciente relevancia social e institucional. Así pues no es de extrañar que por parte de la European Association for Quality Assurance in Higher Education (2005) se plantee como un criterio fundamental el que “los estudiantes deben ser evaluados utilizando criterios, normas y procedimientos que estén publicados y que sean aplicados de manera coherente” (criterio 1.3). Es decir, la universidad debería contar con un sistema de evaluación del aprendizaje de los alumnos, entendido éste como un conjunto de criterios, normas y procedimientos públicos, coherentes y aplicables. Al disponer de un sistema de estas características se le estaría facilitando al estudiante un acceso más fácil y amplio a una educación superior de calidad. En este trabajo presentamos los productos y resultados obtenidos en una investigación (Ibarra, 2006) llevada a cabo por 36 investigadores de diez universidades españolas diferentes (ver anexo II), y que se concretan en un conjunto de recursos y orientaciones técnicas de carácter práctico que puedan ser considerados por parte de las universidades y el profesorado de las mismas como referencia para la elaboración de sus propios criterios, normas y procedimientos de evaluación dentro del marco del EEES. La estructura organizativa de la que nos dotamos para la realización de esta investigación fue la que presentamos en la figura 1 y como medio de comunicación utilizamos en todo el proceso la herramienta de trabajo colaborativo BSCW (http://bscw.uca.es). A través de un estudio multicaso sobre las nueve universidades participantes en el estudio con equipos de investigación, se presenta en un primer momento las principales conclusiones a las que se ha llegado tras el análisis de la normativa reguladora de los procesos de evaluación. En segundo lugar se presentan las principales conclusiones sobre el diseño de la evaluación del aprendizaje de los alumnos que lleva a cabo el profesorado universitario, centrado la atención en los siguientes aspectos: el objeto de la evaluación, los criterios de evaluación, los instrumentos, los momentos, el sistema de calificación, criterios para la promoción del alumnado; el intercambio de información con el alumnado, las características diferenciales de la evaluación y el proceso de negociación de la evaluación. Las buenas prácticas que se siguen en las universidades, como ejemplos de planificación de los procesos de evaluación, son el objeto de análisis en la tercera parte de este trabajo. Por último, se presentan los aspectos básicos de una propuesta de manual de calidad para el sistema de evaluación del aprendizaje en nuestras universidades. 1. EL MARCO REGULADOR DE LA EVALUACIÓN EN LA UNIVERSIDAD El marco regulador, entendido como el conjunto de la normativa universitaria que regula la evaluación del aprendizaje de los alumnos, ha sido objeto de un análisis cualitativo realizado sobre las distintas normativas vigentes en cada una de las nueve universidades (Universidad Complutense de Madrid, Universidad de Cádiz, Universidad de Granada, Universidad de La Laguna, Universidad de León, Universidad de Sevilla, Universidad de Valencia, Universidad del País Vasco y Universidad Nacional de Educación a Distancia). De acuerdo al esquema que aparece en la figura 2 se procedió a la recogida y análisis de los distintos documentos encontrados en los diferentes ámbitos: 93 Coordinación Comité de Gestión Equipos de Investitación Comité de Expertos EEES - CALIDAD Universidad 1 Universidad 2 Universidad 3 Universidad 4 Universidad 5 Universidad 6 Universidad 7 Universidad 8 Universidad 9 Marco regulador Evaluación del aprendizaje del alumnado Fase 1 Fase 2 Normativa de las UNIVERSIDADES integrantes del proyecto Normativas específicas de CENTROS FACULTADES DEPARTAMENTOS AREAS Registro Análisis Figura 1: Estructura organizativa del Proyecto SISTEVAL Figura 2: Proceso de elaboración del marco regulador En este documento se ponen de manifiesto los principales resultados obtenidos sobre cómo se regula la evaluación del alumnado desde su planificación (importancia de la evaluación, concepto subyacente, agentes implicados...) y la organización (planes y estrategias puestos en juego, comunicación de la evaluación, la gestión...). 1.1. Planificación de la evaluación del aprendizaje del alumnado a nivel de universidad La planificación pone de manifiesto la ideología que sustenta el modelo institucional de evaluación establecido reglamentariamente por el conjunto de la comunidad universitaria. a) Papel de la evaluación del aprendizaje en el marco de la actividad del profesorado. La evaluación del aprendizaje del alumnado, recogida en todos los estatutos universitarios, se entiende como una actividad inherente a la práctica profesional docente. Viene asociada a las ideas de la organización de la docencia y a la realización efectiva de dicha evaluación (más entendida como una prueba que como un elemento presente a lo largo del proceso de enseñanza-aprendizaje). b) Concepto y tipo de evaluación. El concepto de evaluación predominante en el común de los contextos es una evaluación tradicional en cuanto a quién diseña y realiza la evaluación, para qué, sobre qué y cómo. El objeto de evaluación, su contenido, se centra, en general, en los conocimientos adquiridos por el alumnado y se orienta al rendimiento académico. La técnica evaluativa por excelencia a la que se hace mención en los marcos reguladores sigue siendo el examen final y el fin de la evaluación la calificación, por lo que se prima la acreditación y la certificación. En la actualidad, los sistemas propuestos de evaluación del aprendizaje, definidos por el concepto y tipo de evaluación no se orientan hacia el objeto evaluativo propuesto en el marco del Espacio Europeo de Educación Superior, lo que ocurre sólo en algunos contextos con carácter más bien testimonial. c) Función de la evaluación La función de la evaluación del aprendizaje del alumnado es claramente identificable. Se trata, en general, de una evaluación sumativa, burocrática y orientada al control. En algunos contextos se empieza a enfatizar la necesidad de articular sistemas de seguimiento, lo que podría entenderse como una evolución hacia opciones más procesuales (formativas) de la evaluación Cabe señalar que la tendencia actual parece ser la evolución hacia sistemas de evaluación basados en procesos continuos y en el seguimiento del alumnado durante el desarrollo de las asignaturas, adquiriendo así una dimensión más formadora. No obstante, la tradición sigue pesando y no parece existir un proceso de repensar la evaluación, sino más bien, “parchear” lo existente, lo que provoca importantes incoherencias en el diseño de una evaluación adaptada a las exigencias del Espacio Europeo de Educación Superior. d) Los agentes implicados en la evaluación La Universidad, como institución, participa en la definición de los principios sobre los que se sustenta la evaluación del aprendizaje del alumnado. Son sus órganos de gobierno los que establecen las normativas generales que, posteriormente, centros y departamentos desarrollan de manera más específica. El profesorado es el cuarto agente implicado en la evaluación, quien la diseña y la ejecuta operativamente, ya sea de forma individual o colegiada. Por último encontramos al alumnado, En general, no toma decisiones operativas respecto a la misma, sólo adopta un papel en la revisión y reclamación de calificaciones. 1.2. Organización de la evaluación del aprendizaje del alumnado a nivel de universidad La organización de la evaluación del aprendizaje a nivel de Universidad, supone la traducción de la filosofía reflejada en la planificación de la evaluación a procedimientos concretos, así como la concreción de derechos y deberes de los agentes implicados en relación con dichos procedimientos. a) Planes y estrategias Se pueden distinguir distintos niveles en la planificación de los procesos de evaluación del alumnado: - Nivel institucional, en el que se desarrolla la concreción de la planificación normativa de la evaluación. Se hacen público, fundamentalmente a través de programas de las asignaturas, aspectos tales como los modos y criterios de evaluación, el calendario anual o cuatrimestral del proceso evaluativo, las distintas convocatorias… etc. - Nivel operativo, dominado por el profesorado, donde se fija la evaluación de las distintas asignaturas a nivel de la práctica docente. En algunas ocasiones se puede dar cierta negociación entre el profesorado y el alumnado en el marco concreto de cada asignatura, que no siempre se concretan de forma explícita en los programas y fichas de las asignaturas. b) Papel de la comunicación en el proceso de evaluación Prácticamente, la totalidad de Universidades limitan el papel de la comunicación en la evaluación a la publicidad sobre tres aspectos centrales del proceso: Información de fechas y calendario de exámenes; información de los métodos y criterios de evaluación; información de los resultados y calificaciones de las pruebas de evaluación. c) Gestión de la evaluación del aprendizaje del alumnado En la gestión de la evaluación se distinguen dos niveles: 94 - Departamento, donde se promueven las diversas modalidades y criterios de evaluación aunque, a efectos prácticos, son los profesores o equipos docentes los que especifican dichas modalidades y criterios para cada asignatura. - Centros, donde la “Comisión de Ordenación Académica” organiza los procesos de evaluación, especialmente en lo relativo al establecimiento del calendario de exámenes. Destacar que, curiosamente, a nivel de Universidad no se realizan reuniones específicas sobre la evaluación. d) Modus operandi Respecto a cómo se adoptan las decisiones sobre aspectos tales como contenidos a evaluar, criterios y coordinación entre los agentes implicados en la evaluación, se han identificado dos niveles diferenciados: - El nivel de gestión de la evaluación. Se desarrolla desde arriba-abajo. Implica decisiones colegiadas que suponen la concreción del marco regulador (a través de normas de organización y funcionamiento) y la planificación anual de aspectos operativos comunes tales como las fechas de las convocatorias o los períodos de planificación de las asignaturas, en los que se encuadra el diseño de la evaluación que realiza el profesorado. - El nivel de diseño y realización de las evaluaciones en el marco de las asignaturas. Se desarrolla de abajo-arriba y es el profesor o profesora de una asignatura específica el primer responsable de la toma las decisiones. Se puede identificar un modus operandi conjunto en los casos en que la evaluación se realiza a través de tribunales y comisiones. e) Disponibilidad y uso de recursos para la evaluación del aprendizaje del alumnado Respecto a los recursos con los que cuentan las distintas universidades participantes para la evaluación del aprendizaje del alumnado podemos distinguir entre recursos asociados a la gestión de la evaluación, donde encontramos tanto recursos tecnológicos, como estrategias y modelos organizativos de los equipos docentes; y recursos didácticos de corte material o tecnológico, que apoyan los procesos de desarrollo de la evaluación. f) Organización temporal de la evaluación del aprendizaje del alumnado En la mayoría de las Universidades los aspectos temporales relativos a la evaluación están regulados en términos similares: fechas en que se debe hacer público el calendario de examen; periodos para publicación de calificaciones; plazos para revisión de examen; plazos para realizar reclamación e impugnaciones; plazos para resolver sobre reclamación e impugnaciones. La evaluación se relaciona estrechamente con el término “convocatoria”, que se puede entender de diferentes formas: número global de oportunidades de evaluación del alumnado para superar una determinada asignatura; número de oportunidades de evaluación del alumnado por derechos de matrícula; o fechas en que se realizan los llamamientos a exámenes en convocatoria oficial. g) Consideraciones extraordinarias en la evaluación al alumnado como medidas de atención a la diversidad En la mayoría de los casos analizados encontramos referencias a consideraciones extraordinarias de la evaluación asociadas a la atención a la diversidad del alumnado. En la mayor parte de éstos, la atención a la diversidad en la evaluación se asocia a factores personales derivados de discapacidad física, psíquica o sensorial, y para los que se generan diferentes opciones de adaptación de las pruebas o adaptación de lo medios para realizar las mismas. h) Derechos y deberes de los estudiantes en relación con la evaluación del aprendizaje En la documentación analizada priman las referencias a los derechos de los estudiantes en relación con la evaluación de su aprendizaje. Destacamos: - Los relacionados con la organización: número de convocatorias, tiempos… - La transparencia de los procesos evaluativos, especialmente en cuanto a criterios de evaluación que se van a seguir. - El derecho a conocer los resultados, en unos plazos estipulados, de revisión y de reclamación o impugnación de las calificaciones obtenidas. - De gracia, relacionados con las convocatorias extraordinarias. - De igualdad de oportunidades - Administrativos: salvaguarda de la propiedad intelectual de los trabajos, la custodia de los documentos de evaluación y el derecho a recibir un justificante de la presencia en examen. Por otro lado, nos encontramos con los deberes del alumnado respecto a su evaluación, y en este sentido, cabe destacar que algunos estatutos recogen el deber del alumnado de rendir académicamente y que los procesos de evaluación se articulan para comprobar dicho rendimiento. 2. ¿CÓMO DISEÑAMOS LOS PROFESORES UNIVERSITARIOS LA EVALUACIÓN DEL APRENDIZAJE DEL ALUMNADO? En cada una de las universidades participantes se han analizado todos o parte de los programas de asignaturas inmersas en experiencias-piloto de convergencia o adaptación al EEES. En función de las características propias de cada universidad y de sus planes específicos, en algunos casos se ha trabajado con todas las asignaturas, mientras que en otros cada universidad ha realizado un muestreo. De cualquier forma, el criterio general era buscar la máxima variedad tratando de garantizar la presencia de diferentes titulaciones, cursos y tipos de asignaturas. El resultado final, es una muestra de 507 asignaturas pertenecientes a 47 titulaciones diferentes. En la tabla 95 siguiente se presentan agrupadas en los cinco grandes campos del saber habituales, a los que hemos añadido el campo específico de las titulaciones del ámbito psicoeducativo: diplomaturas de maestro y educación social, y licenciaturas de pedagogía, psicopedagogía y psicología. El trabajo se ha centrado en una única dimensión de análisis, a saber, las prácticas del profesorado en relación con la evaluación del alumnado. Y a este respecto, las categorías empleadas han sido: • El objeto de la evaluación • Los criterios • Los instrumentos • Los momentos • El sistema de calificación • Los criterios para la promoción del alumnado • El intercambio de información con el alumnado • Las características diferenciales de la evaluación • La negociación de la evaluación Veamos cada una de ellas. 2.1. El objeto de evaluación. La primera conclusión que a este respecto se puede extraer de los informes de las universidades es que, en la gran mayoría de los casos, no se menciona expresamente el objeto de la evaluación por lo que se puede afirmar que el profesorado universitario no vincula, al menos explícitamente, los procedimientos, criterios y modalidades de la evaluación con los objetivos formulados en los programas de las asignaturas. Junto a esto, nos hemos encontrado con un cierto nivel de imprecisión o confusión terminológica, y, por ende, conceptual; pues términos como objetivos, competencias, destrezas se usan de forma indistinta. De cualquier forma, es reseñable que el objeto fundamental de evaluación es el rendimiento académico siempre focalizado en los resultados más que en los procesos. 2.2. Criterios de evaluación Como normal general, es difícil encontrar una especificación explícita de los criterios de evaluación, a pesar de que –como hemos vistoen todos los marcos reguladores ésta es una cuestión que aparece expresamente recogida. Pensamos que en muchos casos, esta carencia se explica porque no parece existir una delimitación precisa de lo que es un criterio evaluativo de forma que nos podemos encontrar con dos tendencias claras y opuestas. Hay casos en que los criterios aparecen muy elaborados y pormenorizados y otros en los que apenas se apuntan. 2.3. Instrumentos de evaluación Por el contrario, ésta es una cuestión que aparece explícitamente en prácticamente todos los programas y diseños analizados. Y además con un planteamiento muy similar en todos los casos: el examen es la técnica evaluativa dominante (90%), e incluso la forma exclusiva de evaluación en muchos casos. Pero si esto es cierto, no lo es menos que el examen (en su forma escrita), se combina también muy frecuentemente con otras pruebas de distinta naturaleza, lo que nos lleva a concluir que es detectable una clara tendencia hacia el multimétodo. Pero la importancia del examen se ve reforzada si consideramos que, en caso de existir un enfoque múltiple, la ponderación relativa asignada al examen es, con mucho, la mayor oscilando entre el 35 y el 80% y superando al 50% en la gran mayoría de los casos. 2.4. Momentos de la evaluación Aunque el examen final sea el momento clave del proceso evaluativo (adaptándose a la normativa establecida por cada universidad), aquí se observa también una tendencia a recoger información en diferentes momentos del proceso de enseñanza-aprendizaje. Esto se suele realizar en diferentes momentos a lo largo del curso, aunque es al final el momento de la entrega y de la evaluación formal. Es infrecuente el empleo de evaluación inicial o diagnóstica. 2.5. Sistema de calificación En cuanto a cómo califica el profesorado el aprendizaje del alumnado, encontramos que se ajusta a lo establecido por el marco regulador común que describe el sistema de calificación en el contexto del Espacio Europeo de Educación Superior. Es decir, la calificación se emite de 0 a 10 y se indica de igual forma la equivalencia en términos cua96 UCA UNED UCM UGR USE UV UPV ULL Total Educación y Psicología 60 2 5 18 6 11 6 11 119 Ciencias Sociales 23 1 5 7 24 6 13 79 Ciencias Humanas 50 1 10 8 6 11 86 Ciencias 38 1 15 8 22 3 42 129 Técnicas 19 1 9 32 61 Biosanitarias 16 10 7 33 Total 206 6 45 18 21 65 37 109 507 litativos (De 0 a 4, 9 No apto - De 5 a 6, 9 AptoDe 7 a 8, 9 NotableDe 9 a 10 Sobresaliente). No obstante, se han identificado dos asignaturas en distintas universidades con sistemas de calificación diferentes, de un lado, una donde de forma explícita se indica el uso de una escala de calificación de 0 a 100 puntos. Y otra donde se formula un baremo cualitativo, aunque no su traducción cuantitativa. Por otro lado, hay que señalar que, en algunos casos, las actividades prácticas y ejercicios se califican con apto o no apto, siendo más un criterio de promoción que de calificación. 2.6. Criterios para la promoción del alumnado Los criterios de promoción del alumnado en el marco de una asignatura, son uno de los elementos más heterogéneos de cuantos han sido analizados en los distintos contextos. Hay que distinguir entre condiciones para poder ejercer el derecho a la evaluación y criterios de evaluación. Entre los primeros destaca la asistencia a clase o el desarrollo obligatorio de prácticas para ser evaluado. Entre los segundos se identifican aquellos en los que la promoción reside en la obtención de calificación positiva en el examen, el de aquellas en los que para promocionar hay que superar todas las actividades evaluativas desarrolladas durante la asignatura y aquéllas en las que, además de establecer unas calificaciones mínimas a las actividades, la asignatura se supera siempre y cuando se obtenga más de 5, tras aplicar el algoritmo reflejado. 2.7. Intercambio de información con el alumnado El intercambio de información con el alumnado sobre el proceso de evaluación parece ser un aspecto poco tratado y desarrollado en los programas de las asignaturas. Cuando aparecen aspectos relacionados con la información al alumnado, ésta hace referencia a los procesos señalados en el marco regulador, referidos a la obligatoriedad de explicitar criterios y de establecer períodos de comunicación de calificaciones así como los plazos de revisión y reclamación. Normalmente la información es unidireccional del profesorado hacia el alumnado y la misma tiene lugar al principio de curso al hacerse público a través de los programas los modos y criterios de evaluación, y al comunicar las calificaciones parciales o finales. 2.8. Características diferenciales de la evaluación Respecto al tema de las diferencias y semejanzas de los diseños evaluativos, en su conjunto los diseños son bastante similares ya que no se describen planteamientos realmente novedosos que rompan con la estructura tradicional de la evaluación en términos conceptuales o procedimentales. El primer aspecto diferencial haría referencia a la presencia y grado de concreción de los diferentes componentes de un diseño de evaluación en las programaciones. Así, en algunos casos se explicitan y concretan de forma pormenorizada el diseño evaluativo (objeto, metodología, criterios, temporalización, tipología de prueba, peso en la calificación de los diversos aspectos que son evaluados, etc.), mientras que en otros casos los diseños se limitan a indicar que existirá un examen en convocatoria oficial o que la evaluación consistirá en un examen escrito sobre los contenidos de la asignatura. Por otro lado, un factor claro de semejanza se establece sobre el carácter práctico o teórico de las asignaturas o materias. Las materias que contemplan prácticas de laboratorio suelen plantear diseños evaluativos similares. Otro aspecto que unifica los aspectos del proceso de evaluación aparece entre aquellas asignaturas que se encuentran adscritas a experiencias piloto de experimentación del sistema de créditos ECTS. 2.9. Negociación de la evaluación En los programas no se refleja la negociación de evaluación o de cualquier otro elemento con el alumnado. Sólo en dos de los contextos universitarios se hace alguna referencia a la negociación de procesos de evaluación, si bien, realmente responden más a situaciones de elección de posibilidades de evaluación por parte del alumnado, que a un proceso intencionado de intercambio para llegar a acuerdos. Suponen, sobre todo, la garantía de ejercicio del derecho a la evaluación del alumnado: En otros casos, la posibilidad que se ofrece, también sobre la base de la situación particular del alumnado, no depende de un criterio de evaluación,sino del plan de estudios en el que se encuentre matriculado el alumnado. 3. BUENAS PRÁCTICAS EN EVALUACIÓN DEL APRENDIZAJE DEL ALUMNADO La mayoría de investigaciones, y desde luego la que aquí presentamos, va orientada en última instancia a la mejora de los procesos y de los resultados que analiza. En este sentido se han presentado por parte de otros colegas algunas conclusiones útiles y valiosas que permitirán realizar unos procesos de evaluación de los aprendizajes y competencias adquiridas por los alumnos universitarios. Otra perspectiva que también se ha venido utilizando desde hace muchos años en la mejora de los procesos dentro de las organizaciones es el benchmarking. Desarrollado a principio de los años 80 por la empresa Xerox (Alstete, 1995) a fin de adaptarse mejor a un entorno dinámico, el método de benchmarking de procesos ha sido definido como un método sistemático de mejora que utiliza los aprendizajes y las buenas prácticas de los demás para mejorar nuestros propios procesos (Owen, 2002). Una de las principales ventajas señaladas para el proceso de benchmarking es que ayuda a reducir las resistencias al cambio que siempre existen en todo organización (AACSB, 1994), como una analogía del proceso de aprendizaje denominado modelado, mediante el cual se aprende a partir de la observación de un modelo real, lo que induce a pensar que es, por tanto, factible y eficiente. Son muchas y muy variadas las experiencias que en nuestro país (y en casi toda Europa) se están desarrollan97 do para implementar las nuevas recomendaciones del Espacio Europeo de Educación Superior. De muchas de ellas se pueden sacar valiosas lecciones que eviten el despilfarro de recursos, a evitar repetir (en el mejor de los casos) los procesos, decisiones y también, por qué no, algunos de los errores que se han detectado en la implementaciones de estos nuevos procedimientos. En nuestro caso hemos utilizado este acercamiento al análisis de la mejores prácticas que hemos detectado respecto a los procesos de evaluación del aprendizaje los alumnos. Sin duda, todas estas experiencias han de ser consideradas indisolublemente ligadas a su contexto, fuera del cual (tipo de estudios, número de alumnos por grupo, características de las asignaturas, etc.) pueden parecer irrealizables o poco prácticas. Sin embargo, creemos que algunas de las experiencias, sin duda, aportan un marco de referencia útil que puede, y hasta debe, ser considerado por los profesores que aspiren a mejorar sus procesos docentes. Para sistematizar y presentar de una manera organizada todas estas experiencias de buenas prácticas se construyó un formato de ficha que, tras ir siendo cumplimentada con la información propia de cada caso, pasaron a formar la denominada “Carpeta SISTEVAL”. En dicha ficha se recogía en primer lugar información relevante que permitiera contextualizar cada experiencia atendiendo a las circunstancias en las que se impartía (ver Tabla 1). Tabla 1. Identificación de la experiencia 98 Universidad Titulación Área de Conocimiento Departamento Materia Duración de la Materia Describir duración en créditos (indicando si son convencionales o ECTS) Estructuración Materia Describir la estructuración de la asignatura como anual, cuatrimestral… Carácter de la Materia Indicar materia: a) Troncal, Obligatoria u Optativa, y b) Teórica o Práctica Profesorado Una vez recogida la información de identificación y contextualización de la experiencia, se han cumplimentado las informaciones que se han considerado más relevantes y descriptivas de cómo se ha establecido en cada caso el proceso de evaluación de los aprendizajes, atendiendo a los criterios recogidos en la Tabla 2: Tabla 2.Descripción del sistema de evaluación Objeto de la Evaluación Describir si identifica: Objetivos, Competencias, Habilidades, Contenidos, Niveles de Rendimiento esperados (reconocimiento, comprensión, aplicación), etc… Modo en que se realiza la evaluación Momentos Describir los momentos en que se recoge información acerca del estudiante (parciales, final, trabajos o actividades a lo largo del curso…). Instrumentos Describir instrumentos utilizados (asociados a cada momento del apartado anterior). Criterios de Evaluación Indicar: a) Si se especifican para cada instrumento utilizado o de forma global, b) Si se especifican para competencias, objetivos, habilidades, c) Grado concreción de los mismos, y d) Su publicidad para el estudiante. Forma de calificación Describir cómo se determina la calificación: a) Si se ofrece esta información al estudiante, b) Grado de concreción del sistema, c) Adecuación del sistema numérico que se utiliza para combinar las informaciones de diversos instrumentos y/o criterios, d) Usos normativos o criteriales, e) Modo en que se trabajan la justicia y la equidad. Información de la Evaluación para los Estudiantes Previa Describir cómo se informa a estudiantes acerca de los criterios que se van a utilizar para calificar (a través del programa, en los propios instrumentos de evaluación…) Posterior Describir cómo se informa de la evaluación a estudiantes –tiempos, publicidad…-, modos de revisión de las calificaciones… Asimismo, indicar si se publica con nombres u otro identificador que salvaguarde los derechos de privacidad de los estudiantes. Indicadores de resultados Describir la síntesis de calificaciones comparando con niveles y/o tasas de la titulación y universidad en que se desarrolla la experiencia seleccionada. Utilización y Consecuenciasde la Evaluación Describir si los usos son formativos y/o sumativos. Indicar modo en que se utiliza la información evaluativa. Describir si se explicitan las consecuencias de la evaluación, tanto en relación a estudiantes como respecto a la revisión y/o mejora del programa. Criterios de elegibilidad de la experiencia Describir los elementos diferenciales que han llevado a la elección de la experiencia como muestra de “buenas prácticas”. Del análisis de las 507 asignaturas incluidas en las experiencias de adaptación al EEES analizadas en las ocho universidades intervinientes en la investigación (con las limitaciones propias del acceso a las guías docentes de las materias hechas públicas) se han extraído un total de 40 fichas de casos de buenas prácticas. Esto no quiere decir que el resto de las experiencias fuesen censurables o de baja calidad, pero se ha considerado que no introducían un proceso suficiente de innovación en la evaluación como para ser destacadas. En el sentido contrario, no todos los casos de buenas prácticas lo son en todas sus dimensiones, sino que en general se han seleccionado fundamentalmente por destacar en alguna de sus características o propuestas, independientemente del resto. En muy pocos casos (menos del 1%) se han seleccionado por su contribución global y coherente con el modelo propuesto por el EEES. Las fichas de experiencias seleccionadas han sido analizadas y agrupadas según las dimensiones en las que planteaban aportaciones relevantes: 1. Según el objeto de evaluación: se han seleccionado aquellos casos que plantean el objetivo final y evaluable de la formación impartida en términos de competencias, en consonancia con el nuevo enfoque planteado en el EEES. 2. Según los momentos en los que se lleva a cabo la evaluación: en este caso hemos detectado dos tipos de acercamiento interesantes. Por una lado aquellos que en lugar (o además) de un planteamiento de evaluación sumativa han planteado una estructura de evaluación más o menos continua con pretensión formativa, que son la mayoría de los casos. Por el otro debemos reseñar aquellas experiencias que han incluido además un apartado de evaluación inicial, orientado a adaptar la formación en cada caso a los requerimientos del alumnado. 3. Según los instrumentos utilizados para realizar la evaluación: En unos pocos casos se sigue utilizando el examen como único instrumento, aunque en estos casos se explicita con detalle su formato, alcance, contenido, etc. En otros casos, la mayoría, se utiliza el examen junto con otra amplia panoplia de instrumentos de recogida de información (trabajos individuales y grupales, proyectos, prácticas, exposiciones públicas, asistencia e intervención en clase, etc.). Finalmente, en otros casos el examen clásico ha sido definitivamente sustituido por una gran variedad de los otros instrumentos. En algún caso, casi anecdótico, se ha utilizado la metodología de la carpeta o el portafolio como elemento fundamental para la evaluación. 4. Atendiendo a la explicitación de criterios: Las mejores prácticas identificadas en este sentido son aquellas que explicitan y detallan los criterios que se han de emplear tanto para evaluar el desempeño de los alumnos en la asignatura como, en los casos más destacables, en cada uno de los instrumentos empleados. 5. Según los sistemas de calificación: en los casos en los que este apartado se ha desarrollado de manera destacable se ha hecho un esfuerzo por especificar de manera previa y pública el modo en que los distintos instrumentos de evaluación ayudan a conformar la nota finalmente adjudicada a los alumnos en esas asignaturas. Existen algunos apartados dentro de la ficha establecida que no han permitido detectar contribuciones o prácticas destacables. En algunos casos, como el de la información a los estudiantes o el de utilización y consecuencias de la evaluación, ello puede deberse al carácter redundante con las normativas respectivas o con otros apartados. En otros casos, como el de indicadores de resultados, parece una práctica que todavía no se ha difundido adecuadamente. En cualquier caso, y como conclusión, el análisis de las buenas prácticas que hemos detectado tras analizar un amplio número de asignaturas implicadas en procesos de innovación y adaptación al EEES, indica algunos puntos fuertes y algunas debilidades evidentes que habrán de ser tenidas en cuenta tanto por los docentes implicados en la mejora de su actividad profesional como por los gestores educativos a la hora de planificar las futuras actividades formativas para el profesorado, teniendo especialmente en mente la progresiva ampliación de un profesorado algo menos motivado que el participante en las experiencias piloto analizadas. La necesidad de insistir en que la evaluación se realice a partir de criterios, normas y procedimientos públicos y coherentes se convierte cada vez más en requisito de calidad docente. 4. PROPUESTA DE UN MANUAL DE CALIDAD PARA LA EVALUACIÓN DE LOS APRENDIZAJES En el contexto de una universidad de calidad la evaluación requiere una consideración especial al menos en dos aspectos: la transparencia de sus criterios y procesos, y la objetividad de sus resultados. El aseguramiento de la calidad de esos elementos depende de la organización universitaria en su conjunto y debe ser objeto tanto del aseguramiento de su calidad como del control sistemático de la misma. En esta investigación hemos diseñado un “Manual de la Calidad del Sistema de Evaluación del Aprendizaje” (Manual SISTEVAL): una herramienta para sistematizar la evaluación del aprendizaje del alumnado en todos sus niveles, desde la normativa y reglamentación de la Universidad hasta la planificación de la evaluación en los programas de las asignaturas/materias por el profesorado. El Manual SISTEVAL se ha realizado conforme a las exigencias de la Norma UNE-EN-ISO 9001:2000, que contiene las especificaciones para el desarrollo e implantación de sistemas de gestión de calidad en las organizaciones. El contenido del manual se estructura en cuatro capítulos. El primero de ellos está centrado en el objeto y ámbito de aplicación, y presenta los elementos integrantes del “Sistema de evaluación de los aprendizajes” (SEA) de la universidad: 99 a) La estrategia de planificación en 4 niveles, para asegurar la participación de todas las partes implicadas en la evaluación de los aprendizajes de forma que tanto el contenido como los procedimientos y recursos para la evaluación resulten coherentes con la oferta de formación de cada titulación, estén altamente tipificados, sean públicos y trazables: Nivel I: Vicerrectorado Nivel II: Centros universitarios y titulaciones Nivel III: Departamentos Nivel IV: Profesorado y estudiantes b) La normativa anual de evaluación del aprendizaje, que regula la actuación de todas las partes implicadas y garantiza el ejercicio de los deberes y derechos de docentes y estudiantes respecto a la certificación de las competencias aprendidas y el tratamiento de las no conformidades. c) Los planes de evaluación del aprendizaje de Centros, Titulaciones y Departamentos en los que se concreta y contextualiza de forma específica la actuación de las partes implicadas. d) Las programaciones de las asignaturas/materias realizadas por el profesorado: apartado referido a la evaluación. e) Los recursos organizativos, materiales y humanos necesarios para su implementación y seguimiento en los momentos y escenarios de la evaluación. f) Elsistema de gestión de la calidad del Sistema de Evaluación del Aprendizaje, concretado en este Manual de la Calidad que, de acuerdo a las Normas ISO, describe los diferentes procesos y concreta los procedimientos del SEA, a la vez que define los indicadores que permitirán el control y la mejora continua del propio SEA. En el segundo capítulo se abordan las directrices generales y objetivos de calidad a conseguir con un sistema normalizado de evaluación. Las primeras no pueden ser otras que las que se contemplan en el ámbito internacional de la calidad: - La evaluación debe entenderse como un sistema de gestión -- Ha de definirse y describirse como un proceso más de los que la universidad desarrolla y despliega para conseguir sus objetivos estratégicos - Destinado a satisfacer las necesidades y expectativas de los usuarios externos (estudiantes) e internos (profesores) de la universidad - Que requiere la participación de todas las partes interesadas en la misión de la universidad (centros, departamentos, titulaciones, órganos de gobierno, estudiantes, empleadores, etc.) - Y exige tomar decisiones basadas en la información procedente de dichos usuarios - Con objeto de mejorar continuamente la calidad del SEA - Para lo cual requiere ejercer un liderazgo institucional que, lógicamente, reside en el órgano de gobierno de la universidad Por lo que se refiere a los objetivos de la calidad deseables para cualquier sistema de evaluación de aprendizajes, pensamos que podrían ser éstos: • Implicar institucionalmente en la mejora sistemática del SEA a todas las partes interesadas en la evaluación: órganos de gobierno de la universidad, centros y departamentos universitarios, profesorado, alumnado y egresados. • Diseñar, documentar y difundir el SEA de la universidad de forma que sus normas reguladoras y los criterios y procedimientos con los que se realiza la evaluación de los aprendizajes sean públicos y accesibles a cualquier colectivo interesado dentro y fuera de la universidad. • Diseñar, documentar y difundir los Planes de Evaluación del Aprendizaje específicos y consensuados de cada una de las titulaciones ofertadas. • Elaborar e implementar un servicio de apoyo a la evaluación del aprendizaje (formación e innovación) destinado al profesorado. • Elaborar y aprobar anualmente la partida presupuestaria específica para la consecución de los objetivos de calidad del SEA. • Mejorar el grado de satisfacción de las partes interesadas con el SEA. El capítulo 3 aporta el diseño de los procesos y procedimientos del Sistema de Evaluación del Aprendizaje. El conjunto de procesos propuestos, diseñados y diagramados para el aseguramiento de la calidad del SEA aparecen en el mapa de procesos que sigue (Figura 3). 100 Seguimiento y Control Análisis y Mejora Planificación de la Evaluación del Aprendizaje en la Universidad Planificación de la Evaluación del Aprendizaje en los Centros/Titulaciones Planificación de la Evaluación del Aprendizaje en los Departamentos Planificación de la Evaluación del Aprendizaje en las Asignaturas Sistema de Evaluación del Aprendizaje Figura 3: Mapa de procesos del Sistema de Evaluación del Aprendizaje