Análisis de experiencias de innovación docente universitarias sobre evaluación

ANÁLISIS DE EXPERIENCIAS DE INNOVACIÓN DOCENTE UNIVERSITARIA SOBRE EVALUACIÓN Analysis of university teaching innovation experiences about assessment Resumen: Se analizan las experiencias relativas a la evaluación de aprendizaje contenidas en actas de innovación docente de los años 2011-2015, con el objetivo de conocer sobre qué aspectos de la evaluación se está innovando y a qué ámbitos de conocimiento pertenecen. Con este propósito se han establecido seis hipótesis en base a la literatura previa y, para verificarlas, se han seleccionado actas de congresos de innovación docente pertenecientes a universidades públicas del territorio español. Se ha analizado el instrumento o estrategia sobre el que versa la innovación y los agentes evaluativos, se ha identificado el tipo de asignatura, el campo de conocimiento y las estrategias de recogida de información para valorar sus resultados. Los datos obtenidos se han explorado de forma descriptiva. Los resultados del análisis muestran que el campo de Humanidades es donde se realizan menos innovaciones; la mayoría de innovaciones se desarrollan en el primer curso de grado; estas tienden a incorporar diversos agentes evaluativos; y el método más utilizado para valorar los resultados de una innovación son los cuestionarios de satisfacción y percepción de aprendizaje. No se ha podido comprobar si la mayoría de las innovaciones docentes están vinculadas a proyectos de innovación docente reconocidos institucionalmente, ni si estas se realizan con grupos reducidos de VOL. 22, Nº4 (octubrediciembre, 2018) ISSN 1138-414X, ISSNe 1989-6395 DOI:10.30827/profesorado.v22i4.8392 Fecha de recepción: 09/11/2016 Fecha de aceptación: 23/04/2017 María Elena Cano García Laura Pons Seguí Laia Lluch Molins Universidad de Barcelona, España. E-mail: ec[email protected]u lpons[email protected]u laia.ll[email protected]du ORCID ID: https://orcid.org/0000-0003-2866-5058, https://orcid.org/0000-0002-4576-4173, https://orcid.org/0000-0002-7288-2028 Análisis de experiencias de innovación docente universitaria sobre evaluación 12 estudiantes. En conjunto, todo ello ofrece un panorama acerca del estado de las innovaciones en educación en España y proporciona una mayor comprensión de la evaluación de los aprendizajes en educación superior en la actualidad. Palabras clave: Evaluación, Innovación Docente, Educación Superior, Actas, EEES Abstract: Experiences related to assessment of learning included in teaching innovation proceedings from 2011-2015 are analysed with the aim to know what assessments elements are innovated and what fields of knowledge these innovations belong to. For this purpose, six hypotheses have been established based on previous literature and, to verify them, proceedings from teaching innovation congresses from Spanish state universities have been selected. It has been analysed the instruments or strategies the innovations deal with and the assessors. The characteristics of the subject, the field of knowledge and data collection instruments have been identified to assess the results of the innovation. The information collected has been explored qualitatively. The results from the analysis show that the field of Humanities is where fewer innovations take place; most of the innovations take place in the first year; innovations tend to include different assessors; and, satisfaction and learning perception questionnaire is the method used the most to assess the innovations results. It was not possible to verify either whether most teaching innovations are linked to teaching innovation projects institutionally recognized or whether innovations take pace with smaller groups. Overall, the study offers a general overview about the current stated of educational innovation in Spain and it provides a better comprehension of current assessment of learning in higher education. Key Words: Assessment, Teaching innovation, Higher Education, Proceedings, EHEA. 1. Introducción Pocos La incorporación al Espacio Europeo de Educación Superior (EEES) supuso, en su inicio, un revulsivo para plantear innovaciones docentes que facilitasen lo que algunos autores (Zabalza, 2002; Fernández, 2010) han dado en llamar el cambio de paradigma que otorga el protagonismo del aprendizaje al estudiante, situándolo en el centro del proceso y repensando la carga de trabajo en términos de actividad del mismo. En este sentido, se dispone en la actualidad de numerosa literatura internacional (Biggs, 2003; Hannan y Silver, 2005) y nacional (De Miguel, 2005; Fonseca y Aguaded, 2007; Rué, 2007; Prieto, 2008) relativa a los procesos de innovación aparejados a este cambio. La mayoría de universidades españolas, que ya disponían de programas y/o unidades de innovación docente, multiplicaron sus actividades como consecuencia de la necesidad de incorporar esta nueva visión. A pesar de que esta evolución se vio frenada por la crisis económica desatada en 2008 y de la escasa valoración de la docencia en la universidad frente a la actividad investigadora, junto a la inexistencia de una carrera docente, se sigue innovando en la universidad. Se entiende el concepto de innovación docente como la traducción práctica de ideas en nuevos sistemas e interacciones sociales, cuyo propósito es la introducción y la continua actualización de mejoras en el proceso de aprendizaje de los estudiantes y en la calidad de la docencia universitaria. Esto es, un conjunto de ideas, procesos y estrategias, más o menos sistematizados, no como “una actividad puntual sino un Análisis de experiencias de innovación docente universitaria sobre evaluación 13 proceso, un largo viaje o trayecto que se detiene a contemplar la vida en las aulas, la organización de los centros, la dinámica de la comunidad educativa y la cultura profesional del profesorado” (Carbonell, 2002: 11-12). Habitualmente, esta queda liderada por grupos de innovación docente y en forma de proyectos de duración anual o bianual. Parece pertinente cuestionar cuántos de los proyectos existentes abordan temáticas evaluativas y qué estudian exactamente. La investigación aquí presentada forma parte del proyecto de I+D (referencia cegada), dedicado a analizar la relevancia de la evaluación para el desarrollo de competencias y los cambios acaecidos en los procesos evaluativos como consecuencia del EEES. Por ello, se ha procedido a un análisis de actas de innovación docente, cuyos resultados se exponen en el presente artículo. 2. La evaluación, piedra angular de la innovación docente en la universidad La evaluación orienta el currículum y los cambios asociados al mismo. Birembaum (2003) señala que la innovación en evaluación podría ser la piedra angular del éxito del proceso de implementación de la educación basada en competencias y sugiere un cambio cultural que lleve a pasar de la evaluación del aprendizaje a la evaluación para el aprendizaje. En una línea similar, Tillema, Kessels y Meijers (2000) indican que la evaluación es la clave del desarrollo de competencias y apuestan por cambios en los procesos de evaluación. Las aportaciones de Segers (2001) y de Brown y Glasner (2003) constituyen referentes imprescindibles acerca de la importancia de cambiar las actividades evaluativas. Sin embargo, apenas existen datos y estudios previos que analicen qué se está haciendo en la práctica en las universidades: ¿qué campos de conocimiento están innovando más en evaluación?, ¿en qué cursos se produce mayor número de innovaciones?, ¿hasta qué punto el contenido de dichas innovaciones supone la incorporación de nuevos agentes y una nueva lógica de los procesos de evaluación? y ¿cómo se recogen evidencias que documenten el valor de los procesos de innovación realizados? Estos interrogantes han orientado el desarrollo del análisis realizado. Con relación a las estrategias metodológicas, De Miguel (2005) señala que la lección magistral es más usual en todos los campos de conocimiento por su viabilidad en grupos numerosos frente a otras metodologías activas, más difíciles de implementar. Este dato ha sido contrastado en estudios posteriores (Marcelo, Yot, Sánchez, Murillo y Mayor, 2011), llegando a concluir que la lección magistral vertebra el trabajo del alumnado (Rodríguez y Santana, 2015). El profesorado considera más adecuadas las clases teóricas y el estudio individual para el desarrollo de conocimientos, aunque en Ciencias Sociales las clases teóricas poseen una menor valoración y en Ciencias de la Salud los seminarios destacan por encima del resto de áreas de conocimiento. Para el desarrollo de procedimientos, el profesorado coincide en la importancia de las clases prácticas y de las prácticas externas, aunque estas últimas parecen menos importantes para el profesorado de Ciencias Experimentales. Finalmente, para el desarrollo de las actitudes, el estudio en grupo y las prácticas externas parecen lo más adecuado, pese a que, en Humanidades, por ejemplo, se Análisis de experiencias de innovación docente universitaria sobre evaluación 14 valora para tal fin la clase teórica. No obstante, las actividades que tienen un cariz asimilativo son las más comunes en todas las ramas de conocimiento y, aparentemente, solo existen diferencias significativas en el uso de las actividades que tienen una intencionalidad aplicativa, puesto que estas tienden a ser más utilizadas en ingeniería, arquitectura y ciencias (Marcelo et al., 2011). En consecuencia, las estrategias y herramientas evaluativas también varían en los diversos campos de conocimiento (De Miguel, 2005): para evaluar conocimientos, el profesorado coincide, en primer lugar, en el uso de pruebas de respuesta corta (poco relevantes en Ciencias Sociales y Jurídicas) y larga. En segundo lugar, pruebas orales y pruebas objetivas (más importantes comparativamente en Ciencias de la Salud y mucho menos en Humanidades). Y, en tercer lugar, trabajos y proyectos. Para evaluar procedimientos, se prefieren las pruebas de ejecución, trabajos y proyectos e informes y memorias. No obstante, en Ciencias Experimentales valoran más que el resto las pruebas de respuesta corta y en Ciencias de la Salud prefieren las técnicas de observación. Finalmente, en el caso de la evaluación de las actitudes, la escala de actitudes sería el instrumento principal, aunque es en este caso donde se hallan mayores diferencias: las Enseñanzas Técnicas otorgan más importancia a las pruebas orales y los trabajos; las Ciencias Experimentales a los sistemas de autoevaluación y las Humanidades a los trabajos. Cabe destacar, sin embargo, que no siempre se han encontrado un alineamiento entre las actividades docentes y las estrategias de evaluación más frecuentemente utilizadas (Rodríguez y Santana, 2015). En anteriores trabajos (referencia) se ha documentado la preferencia general de los profesores por los trabajos y los exámenes como evidencias de evaluación. Concretamente se había hallado (referencia) que, de una muestra de 387 profesores, 81,8% de profesores de Ciencias Técnicas y un 80,0% de Experimentales señalaban que el principal instrumento de evaluación era el examen de ejercicios. Además, un 95,5% de los profesores de enseñanzas técnicas encuestados decían emplear preferentemente un trabajo para evaluar los aprendizajes, mientras que sólo era empleado por un 55,4% de los profesores de Ciencias Experimentales, que se decantaban por los proyectos en un 55%. Finalmente, los exámenes de preguntas abiertas se empleaban, más que en ningún otro campo, en Ciencias Sociales (72,8%) y las preguntas cerradas, tipo test, destacaban en Ciencias de la Salud (80,5%). En el proyecto de I+D que enmarca este trabajo también se ha hallado que los egresados refieren que los instrumentos de evaluación más utilizados a lo largo de la titulación (aunque no los más útiles) son los exámenes de desarrollo (el 76,1% de los consultados dicen que se emplea bastante o mucho), aunque hay diferencias entre titulaciones (por ejemplo, en titulaciones de Ciencias de la Salud hay mayor empleo de pruebas objetivas y en las Ingenierías los proyectos son la principal metodología y forma de evaluación). Por lo tanto, parecen mantenerse las diferencias por campos de conocimiento que la literatura ya ha indicado (Miller, Imrie y Cox, 1998; Astin y Lising, 2012; Brown, Bull y Pendlebury, 2013). Análisis de experiencias de innovación docente universitaria sobre evaluación 15 Pese a las experiencias documentadas en el campo de las Humanidades por Piñol y Trenchs (2012) y las valiosas aportaciones de la Guía de Evaluación de Competencias de la Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU, 2014), tienden a ser escasas. Ruíz y Martín (2005) analizan los proyectos de innovación de la Universidad de Murcia, hallando que únicamente un 11,49% pertenecen a esa área, frente al 25,78% de Ciencias Experimentales y de la Salud o el 32% de Ciencias Sociales y Jurídicas. Llegan a señalar: El escaso número de encuestas recibidas del área del Humanidades no es debido a que el número de profesores sea menor que el del resto de áreas, muy al contrario. Este dato permite suponer que posiblemente el profesorado del área de Humanidades estuviese menos interesado en el tema. También es posible que la problemática que surgió en esta área con la realización de los libros blancos de las titulaciones haya provocado una actitud negativa de este colectivo frente a la reforma (Ruíz y Martín, 2005: 175). No obstante, esto no significa que no se innove en el campo de Humanidades, puesto que en todas las áreas de conocimiento se pueden encontrar diseños innovadores y clásicos (Marcelo et al., 2011). Respecto a los cursos en los que se producen más innovaciones, el primer curso parece a priori el más indicado para mejorar los procesos de evaluación atendiendo a su carácter selectivo. Por ejemplo, la Comisión para la Innovación de la Docencia en las Universidades Andaluzas (2005) determina que la mayor tasa de abandono se produce en el primer curso y conmina a instaurar medidas que lo palíen. La situación en las universidades catalanas es similar, puesto que casi el 58% del alumnado que abandona los estudios universitarios lo hace durante el primer año de carrera (AQU, 2010), siendo la tasa total de abandono durante el primer curso del 14,5%. En el conjunto del contexto español, según datos oficiales, la tasa de abandono universitario durante el primer curso es de 19% (MECD, 2015). Esta práctica es, de hecho, muy usual en universidades anglosajonas, especialmente en Australia donde se suceden programas y experiencias bajo el título de “First year experiences” o similar que pretenden mejorar la motivación y el rendimiento en el primer curso, al considerarlo el más relevante. Por ello, gran parte de las innovaciones están situadas en este momento, como evidencian las múltiples experiencias del continente australiano (por ejemplo, Griffith University, Queensland University of Technology, Flinders, La Trobe University). La tradición de dos décadas de experiencias es recogida por el informe de la Monash University en asociación con la Universidad de Adelaida y de Newcastle (2014) y por Baik, Naylor y Arkoudis (2015). Ambos documentos atestiguan la importancia del primer año y documentan innovaciones educativas realizadas en ese momento. Precisamente esos son los cursos en los que se produce mayor interés por la docencia y mayor número de innovaciones docentes, pese a que cuando se realizan cambios, los profesores suelen preferir realizarlos en grupos no muy numerosos (Álvarez, Grau y Tortosa, 2016). De hecho, la alusión a las ratios suele ser, junto con la falta de formación, uno de los obstáculos más señalados por el profesorado para no innovar (Ion y Cano, 2012). Análisis de experiencias de innovación docente universitaria sobre evaluación 16 Por otra parte, respecto a las propuestas evaluativas, Van de Watering, Gijbels, Dochy y Van der Rijt (2008) ya identificaron cuáles son las estrategias menos populares entre los estudiantes. Entre ellas se encuentran los portafolios o la diversificación de los agentes que evalúan. De hecho, se muestran especialmente críticos con la evaluación entre pares. En cambio, las actividades de evaluación “tradicionales”, con las que se encuentran más familiarizados, poseen mayor aceptación. En esta misma línea, Falchikov (2005), Sutton (2012), Ibarra y Rodríguez (2015) e Ibarra, Rodríguez y Gómez (2011, 2012) ya han señalado la falta de alfabetización en evaluación y feedback que tienen los estudiantes y han apostado por aumentar progresivamente los procesos de autoevaluación y de evaluación entre pares como forma de desarrollar la competencia de aprender a aprender y la autonomía e iniciativa. Sin embargo, implementar experiencias de autoevaluación y de evaluación entre pares requiere una revisión de las concepciones de los procesos de enseñanza-aprendizaje que quizá lleve a que sean menos “populares” como objeto de innovación docente o, en el caso de realizarse, puede que se produzca su adopción directamente vinculada a la introducción de algún tipo de registro que tiene que ser completado por el alumnado. Finalmente, para el análisis de las actas de innovación, parece relevante también aludir a cómo dichas innovaciones son evaluadas, con el fin de modificarlas o mantenerlas e institucionalizar los cambios. Ello remite a los procesos de metaevaluación que se realizan, que, a no ser que formen parte de una investigación, suelen reducirse a la evaluación de la percepción de los implicados, en el mejor de los casos. En ocasiones los criterios para la evaluación de los proyectos de innovación docente de algunas universidades explicitan claramente la conveniencia de basar la evaluación del proyecto en evidencias y en ese sentido promueven una evaluación más completa (León y López, 2014). No obstante, tal como destacan estudios previos (Marcelo, Mayor y Gallego, 2010), la evaluación de las innovaciones tiende a ser poco sistemática y formalizada. A partir de las reflexiones realizadas, se sugirió un análisis sobre las contribuciones de las innovaciones docentes presentadas en congresos. Prácticamente no se dispone de datos sobre estadísticas previas (sólo en ciertos campos de conocimiento, revistas específicas, etc.). Únicamente destacan las contribuciones de Carrasco (2012) y Bové, Angla, Domingo, Martín, Rabassa y Setó (2014), aunque esta última circunscrita al campo de la Economía. Carrasco (2012) realiza un análisis estadístico de las comunicaciones presentadas en los Congresos Internacionales de Docencia Universitaria e Innovación (CIDUIs), llegando a constatar el aumento de contribuciones relativas a innovación docente. Por su parte, Bové et al. (2014), al estudiar los congresos CIDUI 2010 y CIDUI 2012, hallaron también una tendencia creciente, así como que, en el campo de la Economía, la palabra clave más repetida era “evaluación” (7,3%). Pese a ello, no se dispone de análisis sistemáticos de fuentes diversas respecto al contenido de las innovaciones docentes en la universidad española. Análisis de experiencias de innovación docente universitaria sobre evaluación 17 3. Método a) Hipótesis A partir de la revisión teórica y un análisis exploratorio previo de ciertas actas de innovación docente, se formularon algunas suposiciones relativas tanto al contenido como al contexto de las experiencias innovadoras. De este modo, se partió de las siguientes hipótesis: • Se producen menos innovaciones en los campos de Humanidades. • Se producen más innovaciones en los primeros cursos. • Se producen más innovaciones vinculadas a proyectos de innovación docente. • Se producen más innovaciones en grupos con bajo número de estudiantes. • Las innovaciones se centran en la incorporación de diversos agentes evaluativos más que en instrumentos. • Los resultados de la innovación se limitan a recoger la satisfacción de los participantes. b) Selección de la muestra Con el fin de realizar el análisis de las actas de innovación docente se procedió a una búsqueda en las webs institucionales de diversas universidades públicas para obtener actas de jornadas y encuentros de innovación docente universitaria, consiguiendo así un panorama global de la situación. Este proceso reveló que no todas las universidades han celebrado jornadas o encuentros, o bien si los han celebrado y han difundido sus programas, no han recogido las contribuciones en ningún documento. Finalmente, otras instituciones poseen enlaces que han dejado de estar operativos. Por ello, se tuvo que descartar gran número de instituciones y se optó, finalmente, por analizar una muestra de 21 instituciones admitiendo el sesgo que puede derivar de la accesibilidad. Durante el estudio, se analizaron 676 experiencias de innovación docente correspondientes a 31 actas de congresos, encuentros y jornadas de innovación docente de universidades estatales públicas (Figura 1). Se trataba de actas de encuentros comprendidos entre los años 2011 y 2015. Las 31 actas son de 21 universidades diferentes (de algunas instituciones se dispone de actas de más de un año). Si no se hallaban las actas del año solicitado, se acudía a las últimas. Es el caso, por ejemplo, de la Universidad Autónoma de Barcelona, que corresponden a 2008; de la Universidad de Málaga, que son de 2009 y de la Universidad de Castilla-La Mancha, que corresponden a 2010, al no estar disponibles en 2011. Análisis de experiencias de innovación docente universitaria sobre evaluación 18 Figura 1. Distribución y número de universidades por comunidad autónoma. Fuente: Datos básicos del sistema universitario español 2014-2015 (2016), pág. 6. El conjunto de los documentos corresponde a un total de 11 comunidades autónomas de España, entre las cuales hay: Andalucía, Aragón, Asturias, Canarias, Castilla La Mancha, Castilla y León, Cataluña, Comunidad de Madrid, Galicia, Murcia y Valencia. La selección de CC. AA. (Tabla 1) se hizo de manera prácticamente proporcional al número de universidades por comunidad autónoma, atendiendo a los Datos básicos del sistema universitario español 2014-2015 (http://www.mecd.gob.es/dms/mecd/educacion-mecd/areaseducacion/universidades/estadisticas-informes/datos-cifras/Datos-y-Cifras-del-SUECurso-2014-2015.pdf): Análisis de experiencias de innovación docente universitaria sobre evaluación 19 Tabla 1 Selección y justificación de las actas analizadas. CC.AA. nº universidades públicas % universidades públicas Sobre una muestra de 20 aprox. Muestra de centros por cada CC.AA. Justificación ANDALUCÍA 10 19,6078 3,92156 5 Se tomó una más dada la extensión y diversidad del territorio. ARAGÓN 1 1,96078 0,39215 1 ASTURIAS 1 1,96078 0,39215 1 CANARIAS 2 3,92156 0,78431 2 Se tomó una más por las características específicas que pudieran presentar centros insulares. CATALUÑA 7 13,72549 2,74509 3 Una es el CIDUI, que, pese a ser en Cataluña, incorpora experiencias del conjunto del Estado. CASTILLA LEÓN 4 7,84313 1,56862 2 CASTILLA LA MANCHA 1 1,96078 0,39215 1 COMUNIDAD DE MADRID 6 11,76470 2,35294 2 Al no hallarse actas para las universidades presenciales, se tomó una universidad no presencial, con lo que su localización física es menos relevante. COMUNIDAD VALENCIANA 5 9,80392 1,96078 2 GALICIA 3 5,88235 1,17647 1 MURCIA 2 3,92156 0,78433 1 BALEARES 1 1,96078 0,39215 0 EXTREMADURA 1 1,96078 0,39215 0 CANTABRIA 1 1,96078 0,39215 0 EUSKADI 1 1,96078 0,39215 0 NAVARRA 1 1,96078 0,39215 0 LA RIOJA 1 1,96078 0,39215 0 CEUTA Y MELILLA 3 5,88235 1,17647 0 51 21 No se encontraron actas de las comunidades sombreadas (Baleares, Extremadura, Cantabria, Euskadi, Navarra y La Rioja). Ceuta y Melilla cuentan con unidades derivadas de una universidad ya presentada por el análisis realizado de otra Comunidad Autónoma. La selección años obedeció al período de duración del proyecto de I+D ampliado un año por delante, por dos motivos: en primer lugar, porque algunas instituciones celebraban encuentros de periodicidad superior a la anual y, en segundo lugar, por considerar que los efectos de la crisis podrían haber llevado a una disminución o suspensión de algunas actividades, programas y encuentros de innovación docente y ello hacía aconsejable extender el marco temporal para obtener una visión más fidedigna. Análisis de experiencias de innovación docente universitaria sobre evaluación 26 (Pérez Gómez, 2007) podría dar pie a que los docentes de estos campos del conocimiento emprendiesen mayor número de innovaciones para mejorar las competencias de sus estudiantes. Por otra parte, pese a que se pueden encontrar innovaciones en todos los campos de conocimiento (Marcelo et al., 2011), la mayor parte de las innovaciones se dan en el campo del comportamiento y de la educación quizás porque el profesorado tiene un conocimiento experto y además desarrolla su tarea investigadora sobre tópicos educativos, de modo que se producen sinergias entre innovación docente e investigación. En relación a la segunda hipótesis, también parece cierto que se producen más innovaciones en el primer curso (29,70%). Como se ha recogido, ello indica la relevancia de la docencia en el inicio de los grados y abona la conveniencia de que las instituciones establezcan de forma prioritaria acciones formativas y de apoyo en el primer curso, que es el momento en el que se pueden implantar unas formas de proceder que se perpetúen a lo largo de la carrera. Ello avala la utilidad de las prácticas de universidades australianas que se han expuesto en el marco teórico y sugiere el desarrollo de propuestas de innovación vehiculadas institucionalmente, por ejemplo, a través de los planes de acción tutorial, para apoyar especialmente a estudiantes de primer curso que se hallen en la fase selectiva y/o que presenten dificultades de rendimiento, como sugieren Núñez y Rodríguez (2011). En cuanto la tercera hipótesis, no se ha podido constatar si se producen más innovaciones vinculadas a proyectos de innovación docente. Aunque es cierto que, en relación a este punto, se ha contado con una limitación muy severa consistente en que en gran parte de las experiencias no se hacía alusión explícita a un proyecto de innovación, pero de ello no se puede inferir que no se sustente en un proyecto. Quizás simplemente no se menciona. El hecho de que la carrera profesional del profesorado universitario se halle vinculada principalmente a su actividad investigadora junto con el hecho de que una evaluación competencial supone más tiempo, más carga de trabajo y mayores dificultades que la evaluación “tradicional” (Tejada y Ruiz, 2016) puede llevar a que las prácticas docentes innovadoras requieran de un apoyo institucional explícito para que se lleven a cabo, por lo que la hipótesis de los cambios en evaluación se den en el marco de proyectos de innovación avalados por la propia institución parece plausible, por lo que se sugiere explorar esta hipótesis a través de otras vías en el futuro. Con respecto a la cuarta hipótesis, no se dispone de información que permita saber si en grupos con bajo número de estudiantes se realizan más innovaciones. Las experiencias estudiadas tampoco suelen especificar el tipo de asignatura. Ambas cosas pudieran ser objeto de análisis futuros mediante otro tipo de análisis documental y/o de recogida de información. Acerca de la quinta hipótesis, parece cierto que las innovaciones se centran en instrumentos, lo que refuerza una visión más instrumental y pragmática de los cambios en evaluación. Asimismo, demuestran una mayor participación de los estudiantes, puesto que un 15,46% de experiencias introducen procesos de autoevaluación y, en mucha menor medida, de evaluación entre pares (1,97%). Sin Análisis de experiencias de innovación docente universitaria sobre evaluación 27 embargo, algunas experiencias que se han clasificado como relativas a “rúbricas”, de hecho, introducen dicho instrumento para que sea empleado por los propios estudiantes, con lo que parece difícil segmentar si la innovación afecta solo a una de las categorías de análisis y pudiera ser que las experiencias de autoevaluación y evaluación entre iguales sean más de las que aparecen. Este es, sin duda, un tema sensible, puesto que la investigación en evaluación educativa ha mostrado que las buenas prácticas de evaluación son participadas (Falchikov, 2005; Hamodi, LópezPastor y López-Pastor, 2015). En los últimos años las voces más autorizadas han señalado la importancia de que los alumnos tengan un papel protagonista en los procesos de feedback para lograr fortalecer los mecanismos de autorregulación y lograr una economía de los aprendizajes (Carless, 2015; Boud y Molloy, 2015). Pese a todo, el protagonista principal sigue siendo el profesor (65,86%) puesto que las prácticas que involucran al propio estudiante (17,22%) y a los iguales (6,04%) son mucho menos frecuentes, posiblemente porque no están exentas de dificultades y se necesita cierto recorrido para poder implantarlas sin disfunciones, como las que ha documentado Segers (2001). Por otra parte, las innovaciones no suelen afectar a las pruebas de evaluación finales, sino que se circunscriben a tareas intermedias que se solicitan en el marco de los procesos de evaluación continua que prescriben ciertas universidades y que, sin duda, son positivas por el efecto que tienen sobre el aprendizaje (Gijbels, Van de Watering y Dochy, 2005). Estas tareas son aquellas sobre las que se plantean procesos de coevaluación, aunque sería necesario un análisis más profundo para ver en qué términos se plantean: si son simples auto-calificaciones o calificaciones entre iguales o si realmente se dirigen al desarrollo de procesos de autorregulación de los aprendizajes (Ibarra, Rodríguez y Goméz, 2012). Finalmente, respecto a la sexta hipótesis, los resultados de gran parte de las innovaciones se limitan a recoger la satisfacción de los participantes (32,30%) y, en algún caso, la percepción de aprendizaje. En ocasiones ello se combina con descripción del rendimiento de los estudiantes (calificaciones finales) (22,41%) y, si intervienen diversos profesores, estas dos fuentes a veces se complementan con cuestionarios del profesorado. En ciertas experiencias se analiza el rendimiento final de los estudiantes en la asignatura y se compara con un grupo paralelo o con las medias de calificaciones en otros cursos, a modo de grupo control, pero estos diseños cuasi-experimentales son, como se ha indicado, muy escasos (1,55%). La mayor parte de las experiencias de innovación no indican con qué técnica se ha obtenido la información sobre el funcionamiento de la innovación diseñada y desarrollada (25,66%). Ello alerta acerca de la necesidad de generar un corpus de buenas prácticas basado en evidencias, como ya han reclamado algunas voces autorizadas (Saville, Zinn, Meyers y Stowell, 2007). En este sentido, en el futuro, una línea de investigación interesante podría consistir en realizar un seguimiento longitudinal de las innovaciones realizadas para ver si los resultados se mantienen año tras año y, en consecuencia, si las innovaciones se consolidan y pasan a ser mejoras institucionalizadas o bien si, cuando finaliza el proyecto de innovación se dejan de realizar pese a los resultados que arrojen. Análisis de experiencias de innovación docente universitaria sobre evaluación 28 En conjunto el estudio permite obtener una imagen del estado de las innovaciones en educación superior en España. Estas se hallan centradas en el primer año de las titulaciones, lo cual pudiera indicar la importancia que se le da a esa etapa inicial (Rué, 2014), aunque debe de ser corroborado con otros análisis. Por otra parte, las innovaciones están centradas en cuestiones instrumentales. La incorporación de nuevos instrumentos de valoración de las ejecuciones de los alumnos, como las rúbricas, pueden resultar positivos, aunque no tienen por qué serlo en tanto que no implica necesariamente cambiar la lógica de los procesos de evaluación ni la cultura evaluativa (Mérida, 2013) y en ese sentido quizás podría cuestionarse si algunas de las experiencias pueden considerarse de verdaderas innovaciones (Carbonell, 2002). La incorporación de diversos agentes a los procesos de evaluación, en cambio, parece menos representada (Hamodi, López-Pastor y López-Pastor, 2015), quedando constreñida en muchas ocasiones a actividades sin peso en la calificación. Finalmente, las experiencias innovadoras parecen darse con mayor frecuencia en ciencias sociales. Se podría postular acerca de si la naturaleza de los aprendizajes en esta rama de conocimiento la hacen más proclive a la innovación, si el perfil del profesorado de dicha rama se muestra más interesado por la innovación que el de otro tipo de estudios o si simplemente esta diferencia se debe a la propia composición de las universidades cuyas actas han sido seleccionadas. Pero todo ello debe de ser objeto de un estudio más profundo para poder delinear propuestas que permitan a las universidades extender la innovación en evaluación a todas las ramas de conocimiento, orientarla en base a las prácticas que se hayan revelado como más eficientes, más allá de la satisfacción de los estudiantes, y focalizarla en los instrumentos y estrategias de evaluación más relevantes para la mejora de los aprendizajes. Referencias bibliográficas Álvarez, J.D., Grau, S. y Tortosa, Mª T. (Coords.) (2016). Innovaciones metodológicas en docencia universitaria: resultados de investigación. Alicante: ICE de la Universidad de Alicante. AQU (2010). L’abandonament dels estudiants a les universitats catalanes. Barcelona: AQU Catalunya. Astin, A.W. y Lising, A. (2012). Assessment for Excellence: The Philosophy and Practice of Assessment and Evaluation in Higher Education. Lanham (MA): Rowman & Littlefield Publishers/ACE. Baik, C, Naylor, R., y Arkoudis, S. (2015). The first year experience in australian universities: Findings from two decades, 1994-2014. Melbourne: Melbourne Centre for the Study of Higher Education, The University of Melbourne. Biggs, J. (2003). Calidad del aprendizaje universitario. Cómo aprenden los estudiantes. Madrid, Narcea. Análisis de experiencias de innovación docente universitaria sobre evaluación 29 Birembaum, M. (2003). New Insights into Learning and Teaching and Their Implications for Assessment. En M. Segers, F. Dochy y E. Cascallar (Eds.,) Optimising New Models of Assessment: In Search of Qualities and Standards. Dordrecht, Kluwer Academic Publishers, 13-36. Boud, D. y Molloy, E. (2015). El feedback en Educación superior y profesional. Comprenderlo y hacerlo bien. Madrid: Narcea. Bové, M.A., Angla, J., Domingo, M., Martín, M., Rabassa, N., y Setó, D. (2014). La difusió de la innovació docent en l’àmbit d’economia i empresa Una anàlisi de les comunicacions presentades al CIDUI 2012. CIDUI 2014. Recuperado de: http://www.cidui.org/revistacidui/index.php/cidui/article/view/505/486 Brown, G.A., Bull, J. y Pendlebury, M. (2013). Assessing student learning in higher education. London: Routledge. Brown, S. y Glasner, A. (coord.) (2003). Evaluar en la Universidad. Problemas y nuevos enfoques. Madrid, Narcea. Carbonell, J. (2002). El profesorado y la innovación educativa. En P. Cañal de León (coord.). La innovación educativa (pp. 11-26). España: Akal. Carless, D. (2015). Excellence in University Assessment. New York: Routledge. Carrasco, S. (2012). Memoria del CIDUI 2012 Barcelona. Recuperado de: http://web2.udg.edu/ice/memories/20112012/contingut_CD/du/memoria_VII_CIDUI.pdf Comisión para la innovación de la docencia en las Universidades Andaluzas (2005). Informe sobre innovación de la docencia en las universidades andaluzas. Sevilla: CIDUA De Miguel, M. D. (2005). Modalidades de enseñanza centradas en el desarrollo de competencias. Orientaciones para promover el cambio metodológico en el EEES. Madrid, MEC/Universidad de Oviedo. Falchikov, N. (2005). Improving Assessment Through Student Involvement: Practical Solutions for Aiding Learning in Higher and Further Education: Practical Solutions for Higher and Further Education Teaching and Learning. London: Routledge. Fernández, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de docencia universitaria, 8(1),11-34. Fonseca, M. C. y Aguaded, J. I. (2007). Enseñar en la universidad. Experiencias y propuestas para la docencia universitaria. Madrid, Netbiblo. Gijbels, D., Van de Watering, G., y Dochy, F. (2005). Integrating Assessment Tasks In A Problem-Based Learning Environment. Assessment and Evaluation In Higher Education, 30(1), 73-86. Análisis de experiencias de innovación docente universitaria sobre evaluación 30 Gimeno, J. (coord). (2008). Educar por competencias, ¿qué hay de nuevo? Madrid: Morata. Hamodi, C., López Pastor, V., y López Pastor, A. (2015). Medios, técnicas e instrumentos de evaluación formativa y compartida del aprendizaje en educación superior. Perfiles educativos, 37(147), 146-161. Hannan, A. y Silver, H. (2005). La innovación en la Enseñanza Superior. Enseñanza, aprendizaje y culturas institucionales. Madrid: Narcea. Ibarra Sáiz, M.S. y Rodríguez Gómez, G. (2015). Conceptos básicos en Evaluación como aprendizaje y empoderamiento en la Educación Superior. Cádiz: EVALfor – Grupo de Investigación. Ibarra Sáiz, M.S., Rodríguez Gómez, G. y Gómez Ruiz, M.A. (2011). e-Autoevaluación en la universidad: un reto para profesores y estudiantes. Revista de Educación, 356. Septiembre-diciembre 2011, 401-430 Ion, G. y Cano, E. (2012). La formación del profesorado universitario para la implementación de la evaluación por competencias. Educación XX1, 15 (2). Recuperado de: http://www.uned.es/educacionXX1/ultimonumero.htm León, Mª J. y López, Mª C. (2014). Criterios para la Evaluación de los Proyectos de Innovación Docente Universitarios. Estudios sobre Educación, 26, 79-101. Llovet, J. (2011). Adéu a la Universitat. L'eclipsi de les humanitats. Barcelona: Galàxia Gutemberg. Marcelo, C., Mayor, C. y Gallego, B. (2010). Innovación Educativa en España desde el punto de vista de sus protagonistas. Profesorado. Revista de currículum y formación del profesorado, 14(1), 111-134. Marcelo, C., Yot, C., Sánchez, M., Murillo, P. y Mayor, C. (2011). Diseñar el aprendizaje en la universidad: identificación de patrones de actividades. Profesorado. Revista de currículum y formación del profesorado, 15(2), 181198. MECD (2015). Datos y Cifras del sistema universitario español. Curso 2014-2015. Madrid: Ministerio de Educación, Cultura y Deporte. Mérida, R. (2013). La controvertida aplicación de las competencias en la formación docente universitaria. Revista de Docencia Universitaria. REDU, 11(1), 185-212. Miller, A.H., Imrie, B.W. y Cox, K. (1998). Student Assessment in Higher Education. London: Kogan Page. Núñez, M.A. y Rodríguez, J.J. (2011). El sistema de tutorías como herramientas de auditoría para la evaluación de la Calidad docente. Cultura y Educación, 23(2), 259-271. DOI: 10.1174/113564011795944686. Análisis de experiencias de innovación docente universitaria sobre evaluación 31 Pérez Gómez, A.I. (2007). Las Competencias Básicas: su naturaleza e implicaciones pedagógicas. Santander: Consejería de Educación de Cantabria. Piñol, M.C. y Trenchs, M. (2012). Experiencias de innovación docente en la enseñanza universitaria de las humanidades. Barcelona: Octaedro. Prieto, L. (Coord.) (2008). La enseñanza universitaria centrada en el aprendizaje. Barcelona: Octaedro/ICE UB. Rodríguez, J.A. y Santana, P.J. (2015). La distancia entre el trabajo del profesorado y del alumnado en el EEES: ¿Una brecha peligrosa? Profesorado. Revista de Currículum y Formación del profesorado, 19(3), 380-404. Rué, J. (2007). Enseñar en la Universidad. El EEES como reto para la educación superior. Barcelona: Narcea. Ruíz, C. y Martín, C. (2005). Innovación docente en la Universidad en el marco del EEES. Education, 23, 171-189. Saville, B. K., Zinn, T. E., Meyers, S. A., y Stowell, J. R. (2007). Essays from excellence in teaching, 2006. Retrieved [01.06.2016] from the Society for the Teaching of Psychology. Recuperado de: http://teachpsych.org/resources/ebooks/eit2006/eit2006.php Segers, M. D. F. (2001). "New Assessment Forms in Problem-based Learning: the value-added of the students' perspective." Studies in Higher Education, 26(3), 327-343. Sutton, P. (2012). Conceptualizing feedback literacy: Knowing, being and acting. Innovations in Education and Teaching International, 49(1), 31-40. Tejada Fernández, J. y Ruiz Bueno, C. (2016). Evaluación de competencias profesionales en Educación Superior: Retos e implicaciones. Educación XX1, 19(1), 17-38. Tillema, H. H., Kessels, J. W. M. y Meijers, F. (2000). Competences as building blocks for integrating assessment with instruction in vocational education: A case from The Netherlands. Assessment & Evaluation in Higher Education, 25, 265–278. Recuperado de: http://dx.doi.org/10.1080/03075071003642449 [Consulta: 2013, 19 de mayo]. Van de Watering, G., Gijbels, D., Dochy, P. y van der Rijt, J. A. (2008). Students’ assessment preferences, perceptions of assessment and their relationships to study results. Higher Education, 56, 645–658. Zabalza, M.A. (2002). La enseñanza universitaria. El escenario y sus protagonistas. Madrid: Narcea. Análisis de experiencias de innovación docente universitaria sobre evaluación 32 Financiación del artículo: Proyecto de I+D. "El impacto de la evaluación educativa en el desarrollo de competencias en la universidad. La perspectiva de las primeras promociones de graduados". Ministerio de Economía y Competitividad. EDU2012-32766 (2013-2015). IP: María Elena Cano García Cómo citar este artículo: Cano, M.E., Pons, L., Lluch, L. (2018). Análisis de experiencias de innovación docente universitarias sobre evaluación. Profesorado. Revista de Currículum y Formación de Profesorado, 22(4), 11-32. DOI: 10.30827/profesorado.v22i4.8392