La evaluación formativa en Educación Superior: evaluación orientada al aprendizaje y evaluación auténtica en la formación inicial del profesorado de Educación Física

PROGRAMA DE DOCTORADO EN INVESTIGACIÓN TRANSDISCIPLINAR EN EDUCACIÓN TESIS DOCTORAL: La Evaluación Formativa en Educación Superior: Evaluación Orientada al Aprendizaje y Evaluación Auténtica en la Formación Inicial del Profesorado de Educación Física Presentada por Emilio José Barrientos Hernán, para optar al grado de Doctor por la Universidad de Valladolid Dirigida por: Víctor Manuel López Pastor Darío Pérez Brunicardi 2019 2 3 AGRADECIMIENTOS Probablemente mi interés en la investigación comenzó en mi último año de Magisterio en el año 2006. Ese año, recibí una beca de colaboración para trabajar en La Red de Evaluación Formativa, Docencia Universitaria y Espacio Europeo de Educación Superior (EEES). Hubo unos años dedicados a buscar trabajo como maestro de educación física y en los que a la vez, estaba realizando la carrera de Psicopedagogía. Fue justo al acabar Psicopedagogía cuando volví a plantearme hacer el doctorado, me matriculé en el Master de Investigación de la UVA, realizando un TFM ya pensando en el desarrollo posterior de una tesis. La tesis ha tenido una duración de cinco años, en los que ha habido bastantes altibajos debido a: cambios de domicilio, de trabajo y de proyectos profesionales. Inicialmente, el objeto de estudio iba a estar relacionado con el análisis de datos de la Red de Evaluación Formativa, Docencia Universitaria y Espacio Europeo de Educación Superior. Sin embargo, hubo un punto de inflexión en el año 2016; realicé durante dos meses una estancia en la Universidad de Strathclyde (Glasgow, Escocia) en donde conocí a David Kirk. Después de varios días hablando con él, me di cuenta de que tenía que investigar sobre cómo eran las prácticas evaluativas que se realizan en educación física en la Educación Obligatoria, que ese era el ámbito que realmente me gusta y al que he dedicado mi vocación profesional. Desde estas líneas me gustaría agradecer su apoyo a las siguientes personas: A las personas que conforman la Red de Evaluación Formativa, Docencia Universitaria y Espacio Europeo de Educación Superior, grupo en el que he tenido las puertas abiertas desde el principio y donde he sido excelentemente acogido. A mi familia, que siempre me ha apoyado en todo lo que hiciera, teniendo confianza plena en mis posibilidades. A Mercedes, siempre cercana y ayudándome en todo lo que necesitara, siendo mi apoyo personal más cercano desde hace ya muchos años y que ha sido la persona que 4 más ha sufrido el no poder dedicarle todo el tiempo que deseara, muchas gracias por tu comprensión y afecto durante todos estos años. Por último, a mis dos tutores de tesis, Darío que me ha apoyado durante todo el proceso a la sombra, pero que ha sabido estar en los momentos difíciles. Pero sobre todo a ti, Víctor, nuestra relación ha ido cambiando a lo largo de los años, pasando de profesor-alumno en Magisterio a considerarte como un amigo. Incluso Mercedes ya te puso el mote del “Amante”. Esta tesis está dedicada a ti: por tu dedicación, tu tiempo y tu apoyo, ya que aun siendo un año muy duro en lo personal nunca te has olvidado de mí. Gracias. 5 LISTA DE PUBLICACIONES DERIVADAS DE LA TESIS A lo largo de la elaboración de esta tesis doctoral se han realizado algunas publicaciones que están directamente relacionadas con la temática de la tesis y el trabajo realizado durante estos 5 años. Son las siguientes: - Barrientos, E., López-Pastor, V. M. & Pérez-Brunicardi, D. (2019). ¿Por qué hago evaluación formativa y compartida y/o evaluación para el aprendizaje en EF? La influencia de la formación inicial y permanente del Profesorado. Retos, Nuevas tendencias en Educación Física, Deporte y Recreación, 36, 37-43. https://recyt.fecyt.es/index.php/ retos/article/view/66478 - Barrientos, E.J. & López-Pastor, V. (2015). La evaluación formativa en educación superior. Una revisión internacional. Revista arbitrada del CIEG, 21, 272- 284.ISSN: 2244-8330 - Barrientos, E. J. & López-Pastor, V. (2017). Evaluación orientada al aprendizaje en educación superior: últimas tendencias. Revista Infancia, Educación y Aprendizaje, 3(2), 582-587.ISSN: 0719-6202. Además se han elaborado otros artículos que actualmente están en proceso de revisión en las revistas señaladas: -Barrientos, E.J., López-Pastor, V., Lorente-Catalán, E., Kirk, D. & Pérez, D. (2018). Teachers use of formative and authentic assessment in physical education: is a systematic approach possible? (Enviado el 3-2-19 a la revista European Physical Education Review). -Barrientos, E.J., López-Pastor, V. & Pérez, D. (2018). Formative Assessment and Learning Oriented Assessment in Higher Education. A Review of International Literature (Enviado el 13-2-19 a la revista Evaluation). 6 7 LISTADO DE TABLAS TABLA TÍTULO PÁGINA Tabla 2.1 Definiciones de conceptos relacionados con FA-HE 30 Tabla 2.2 Resultados de las búsquedas bibliográficas realizadas 33 Tabla 2.3 Categorías conceptuales relacionadas con la FA y evaluación compartida 34 Tabla 2.4 Resultados de la búsqueda del concepto: FA-HE 34 Tabla 2.5 Volcado de datos ALA-HE 41 Tabla 2.6 Volcado de datos AFL-HE 44 Tabla 2.7 Volcado de datos EA-HE 46 Tabla 2.8 Volcado de datos SA-HE 49 Tabla 2.9 Categorías y subcategorías para analizar los documentos seleccionados en LOA y AA 54 Tabla 2.10 Resultados de la búsqueda del concepto LOA-HE 54 Tabla 2.11 Resultados de la búsqueda del concepto AA-HE 59 Tabla 3.1 Muestra por sexo y universidad de procedencia 80 Tabla 3.2 Muestra clasificada por sexo y estudios realizados 81 Tabla 3.3 Ítems analizados 82 Tabla 3.4 Escala Likert 82 Tabla 3.5 Bloques temáticos 83 Tabla 3.6 Características profesionales de los entrevistados 87 Tabla 3.7 Guion entrevista en profundidad 87 Tabla 3.8 Categorías elaboradas para el análisis de datos 89 8 Tabla 3.9 Términos naturalistas y científicos adecuados para los cuatro aspectos de credibilidad. 90 Tabla 4.1 Percepción de competencias docentes adquiridas 94 Tabla 4.2 Percepción de los egresados sobre la frecuencia con que los profesores han utilizado los siguientes instrumentos y procedimientos de evaluación durante su FIP 96 Tabla 4.3 Percepción sobre la evaluación vivida 100 Tabla 4.4 Percepción sobre la calificación vivida 104 Tabla 4.5 Grado de satisfacción con la carrera realizada (escala del 0 al 10) Guion entrevista en profundidad 105 9 GLOSARIO DE ABREVIATURAS UTILIZADAS AA Authentic Assessment AFL Assessment For Learning ALA Alternative Assessment EA Electronic Assessment ECTS European Credit Transfer System EEES Espacio Europeo de Educación Superior EF Evaluación Formativa EFyC Evaluación Formativa y Compartida ES Educación Superior FIP Formación Inicial del Profesorado FPP Formación Permanente del Profesorado HE Higher Education LOA Learning Oriented Assessment SA Shared Assessment 16 en utilización de diferentes instrumentos y procedimientos de evaluación durante su FIP. 3. Conocer la percepción de los egresados sobre distintos aspectos de la evaluación y la calificación vividas durante su formación inicial (FIP). 4. Conocer el grado de satisfacción de los egresados con la carrera realizada. Los objetivos de investigación propuestos para la segunda línea de investigación van a concretar los aspectos más globales expuestos en el objeto de estudio: 5. Conocer las razones que han llevado a una muestra intencionada de profesores de educación física de educación obligatoria (primaria y secundaria) a utilizar sistemas de “Formative Assessment” (FA), “Assessment For Learning” (AFL) y Authentic Assessment (AA) en sus clases. 6. Estudiar la influencia que ha podido tener la formación inicial y/o permanente (FIP y FPP) en el desarrollo de sistemas de FA, AFL y AA en educación física en la educación obligatoria (primaria y secundaria). 7. Conocer los motivos por los que los profesores de educación física de educación obligatoria (primaria y secundaria) utilizan instrumentos de evaluación sistematizados en vez de una observación directa no estructurada. 8. Analizar los problemas y dificultades que los profesores de educación física de educación obligatoria (primaria y secundara) encuentran a la hora de implementar sistemas de FA, AFL y AA en sus clases. 1.3. JUSTIFICACIÓN La entrada del Espacio Europeo de Educación Superior (EEES) generó una serie de cambios en las universidades españolas, entre las que se encontraba la introducción del Sistema Europeo de Transferencia y Acumulación de Créditos (European Credit Transfer System, ECTS). Los créditos ECTS implicaron considerar el trabajo personal del estudiante, teniendo en cuenta todas las actividades de su proceso de aprendizaje (horas lectivas, horas de estudio y elaboración de trabajos y prácticas) tanto en el cómputo de horas de formación, como en la elaboración de los programas educativos. Uno de los aspectos que ha exigido la entrada del EEES y de los créditos ECTS, es que los profesores debían utilizar sistemas de evaluación que estuvieran en 17 consonancia con este planteamiento educativo. Sin embargo, la actividad evaluadora ha sido considerada como una de las grandes carencias del profesorado en las aulas y de las que más deben cambiar (Zabalza, 2003). Por lo que, aunque el EEES implica llevar a cabo un sistema de evaluación diferente al que se realizaba anteriormente, la realidad es que el profesorado universitario aún no está llevando a cabo estos sistemas en el aula, al menos de manera mayoritaria (López-Pastor & Palacios, 2013). Parece que desde principios de la década de 2010 la situación está evolucionando en la FIP, ya que Palacios y López-Pastor (2013), en un estudio a nivel nacional, comprueban que existen tres tipologías de profesorado universitario de FIP respecto al tipo de evaluación que hacen, de forma que aproximadamente un tercio ya utiliza sistemas de “Evaluación Formativa y Compartida” (EFyC), mientras que otro tercio utiliza sistemas “mixtos” (examen final y aspectos de evaluación formativa), y ya solo un tercio utiliza claramente sistemas tradicionales, fundamentalmente basados en el examen final. En este sentido, cabría conocer cómo ha sido la evaluación que han vivido los egresados durante su FIP, que aspectos han percibido como más importantes y, sobre todo, conocer cómo ha sido la evaluación recibida. De esta manera, es necesario comparar cómo están evolucionando los sistemas de evaluación en la universidad y si están en concordancia con los aspectos exigidos en el EEES. Aunque los estudios existentes sobre EFyC en ES en España han ido aumentando desde el año 2009 aún son escasos (López-Pastor & Sicilia 2017). Por lo que, consideramos imprescindible realizar una aclaración terminológica de todos los aspectos relacionados con EFyC en ES. En la literatura internacional se han publicado un mayor número de documentos relacionados con FA-HE, por lo que es más interesante realizar la búsqueda en bases de datos internacionales y los conceptos de búsqueda en inglés. En este caso, es clave realizar un estudio del espectro conceptual relacionado con FA-HE, ya que actualmente hay términos que subyacen del anterior que están teniendo gran repercusión internacional, como: LOA-HE y AA-HE (López-Pastor & Sicilia, 2017). Por otra parte, nos interesaba mucho conocer si los sistemas de EFyC se están llevando a cabo entre el profesorado de educación física. La mayoría de estudios 18 relacionados con la EFyC se han realizado en el ámbito universitario, pero en cambio no sabemos si existe una transferencia a otros ámbitos educativos. Nos parece clave conocer si realmente existe una conexión entre las prácticas evaluativas que se realizan en la universidad y las que después se llevan a cabo en la Educación Obligatoria. En este sentido, la mayoría de los maestros y profesores suelen reproducir en sus prácticas educativas el mismo tipo de evaluación que habían recibido durante FIP y FPP. Por ello, es clave conocer qué pasa cuando estos maestros y profesores no reproducen el mismo sistema de evaluación que han recibido en su FIP, los motivos que les han llevado a cambiar y como ha influido su FPP en ese cambio. Además, queremos conocer si realmente se están llevando a cabo sistemas de AA y AFL en educación física, las ventajas e inconvenientes de llevar a cabo estos sistemas y los motivos por los que el profesorado de educación física realiza una evaluación estructurada en vez de una simple observación directa sin registro posterior de la información. 1.4. ESTRUCTURA DE LA TESIS El documento se ha estructurado a partir de siete capítulos en los que se van a ir analizando las dos líneas de investigación de las que se compone la tesis. El primer capítulo es la “Introducción”. A lo largo de este capítulo se han explicado los dos objetivos de estudio y los correspondientes objetivos de investigación de cada una de las líneas de investigación; además se ha aportado una justificación en la que se resalta la necesidad de llevar a cabo más estudios relacionados con FA-HE y cómo se están llevando a cabo estos sistemas de evaluación en la Educación Obligatoria, en este caso en el área de educación física. El segundo capítulo es el “Estado de la Cuestión”. En él, se presenta un marco teórico sobre el estado de la cuestión de la evaluación en el EEES, siendo la EFyC la que mejor se adapta. También se presenta la necesidad de llevar a cabo más estudios representativos sobre EFyC, sobre todo en España, ya que hay un número menor de publicaciones en castellano que en inglés. Para ello, se ha realizado una búsqueda bibliográfica y posterior análisis del concepto de “Evaluación Formativa” (Formative Assessment) y de todos los términos que tienen una estrecha relación con el mismo:(1) Formative Assessment; (2) Alternative Assessment; (3) Authentic Assessment; (4) 19 Assessment For Learning; (5) Learning Oriented Assessment; (6) Electronic Assessment; y, (7) Shared Assessment. Aún dentro del segundo capítulo, se ha analizado el estado de la cuestión de: (1) los estudios relacionados con la FIP de educación física; (2) la situación de la EFyC en educación física y cómo ha derivado este concepto hacia otros como AFL y AA; y (3) definición y características principales de los conceptos AA y AFL en educación física. El tercer capítulo es el de “Metodología”. Se han analizado dos líneas de investigación por separado, ya que en cada una se utiliza una metodología diferente. En la primera línea de investigación se usa una metodología cuantitativa basada en un análisis descriptivo e interpretativo. Para ello, se ha utilizado como instrumento de recogida de información un cuestionario base «ad hoc», denominado: “Las competencias docentes en la formación inicial del profesorado” (Palacios-Picos, López- Pastor & Fraile, 2018), que fue realizado sobre una muestra de 487 egresados de diferentes universidades españolas. En la segunda línea de investigación se ha realizado un estudio multicaso con una muestra intencional de cuatro profesores de educación física, en los que se ha utilizado una entrevista en profundidad para recoger la información. La muestra se ha seleccionado a partir de los siguientes criterios: (a) compartir con los estudiantes los objetivos de aprendizaje y los criterios de evaluación a utilizar en la “unidad didáctica” (UD) o curso; (b) uso de técnicas, instrumentos y actividades de evaluación aplicados a situaciones reales o que tengan transferencia con la vida real fuera del aula, capaces de evaluar diferentes habilidades y competencias a aplicar en situaciones de la vida cotidiana; (c) que existan procesos de FA y feedback regular, que les ayude a entender que deben hacer para mejorar su aprendizaje; (d) implicar al alumnado en los procesos de evaluación de su aprendizaje (self-assessment, peer-assessment, co-assessment). Todos son clave para asegurarnos que era una muestra que lleva a cabo sistemas de EFyC, AFL y/o AA en el aula, aportando información clave para el objeto de estudio. El cuarto capítulo es el de “Resultados y Discusión”. A lo largo de este capítulo, los resultados han sido separados en función de las dos líneas de investigación. En la primera parte se han analizado 5 bloques temáticos: (1) percepción de competencias docentes adquiridas; (2) percepción de la frecuencia en la que los profesores utilizan instrumentos y procedimientos de evaluación durante su FIP; (3) percepción sobre la evaluación vivida; (4) percepción sobre la calificación vivida; y, (5) grado de 20 satisfacción con la carrera realizada. En el segundo apartado de resultados se han analizado las transcripciones de las entrevistas realizadas a partir de unas categorías preestablecidas: (1) compartir con los estudiantes los objetivos de aprendizaje y los criterios de evaluación a utilizar en la UD o curso; (2) uso de técnicas, instrumentos y actividades de evaluación aplicados a situaciones reales o que tengan transferencia con la vida real; (3) procesos de FA y feedback regular, que les ayude a entender al alumnado que deben hacer para mejorar su aprendizaje; (4) implicar al alumnado en los procesos de evaluación de su aprendizaje en educación física. El quinto capítulo es el de las “Conclusiones”. En él, se han analizado las respuestas al cuestionario de un total de 487 egresados. Algunos de los aspectos clave son: (1) la percepción de los egresados cuando han utilizado metodologías activas y sistemas de evaluación formativos durante su FIP es muy positiva y les ayudan mucho a adquirir competencias docentes, que posteriormente les han sido útiles en su práctica de aula; (2) “los informes o trabajos escritos” y los exámenes tipo test” son los instrumentos de evaluación más utilizados según la percepción de los egresados. En cambio, los “exámenes orales y los exámenes escritos en los que se pueda disponer del documento” son los dos instrumentos que obtienen una valoración más baja; y, (3) los egresados han percibido que la calificación era decidida habitualmente por el profesor y que ellos no participaban en la misma. Por otro lado, todos los profesores de educación física de la muestra llevan a cabo sistemas de FA, AA y/o AFL en el aula, algunas de las principales conclusiones son: (1) la manera en que se usa el feedback es clave para definir una FA de otra que no es; (2) la implicación del alumnado a través de procesos de self-assessment peer-assessment; y, (3) la mejora de los aprendizajes del alumnado cuando se utilizan sistemas de FA-HE. Por otro lado, todos los profesores de educación física de la muestra llevan a cabo sistemas de EFyC, AA y/o AFL en el aula. Algunas ventajas de su aplicación es la mejora de los procesos de enseñanza y aprendizaje, donde el alumnado se toma más en serio la asignatura de educación física y los profesores mejoran su práctica docente al realizar una evaluación estructurada, ahorrando tiempo a medio-largo en la planificación de sus sesiones. Además, señalan que la FIP influye, pero al revés de como solía hacerlo; al profesorado de educación física no le gusta la evaluación recibida en FIP y al preguntarse cómo aprende su alumnado deciden cambiar a otros sistemas de evaluación. El sexto capítulo es el de “Bibliografía”. En este capítulo, se han registrado todas 21 las citas y referencias señaladas durante el documento. En esta tesis tiene especial peso este capítulo, ya que es una bibliografía actualizada en la literatura internacional y refleja todo el trabajo de análisis y búsqueda de documentación que se ha realizado. Por último, el séptimo capítulo es el de “Anexos”; donde se recogen las transcripciones realizadas de cada una de las entrevistas llevadas a cabo al profesorado de educación física y el análisis descriptivo realizado de los bloques temáticos que surgen de las preguntas del cuestionario. 22 23 2. ESTADO DE LA CUESTIÓN En este capítulo se van a tratar cinco grandes apartados teóricos: (1) la Evaluación Formativa y Compartida en Educación Superior (EFyC – ES); (2) conceptos asociados a la Evaluación Formativa (EF) en la literatura internacional; (3) revisión bibliográfica internacional de conceptos relacionados con “Formative Assessment in Higher Education”; (4) la evaluación formativa y compartida en la formación inicial del profesorado de educación física; y, (5) la evaluación formativa y compartida en educación física en la literatura internacional: conceptos relacionados. 2.1. LA EVALUACIÓN FORMATIVA Y COMPARTIDA EN EDUCACIÓN SUPERIOR 2.1.1. La Evaluación en Educación Superior previo al Espacio Europeo de Educación Superior Previamente a la introducción del Espacio Europeo de Educación Superior (EEES), un gran número de profesores universitarios entendían que la única obligación docente era el ser meros transmisores de conocimientos a su alumnado; y la manera más habitual de evaluar esos conocimientos era a través de un examen final, que se pudiera traducir en una nota para la calificación de la asignatura (López-Pastor, Fernández, Santos & Fraile, 2011; Palacios & López-Pastor, 2013). Este aspecto es el que Freire (1990) denomina “Aprendizaje Bancario”, donde el educador es quien conduce al educando a la memorización mecánica de los contenidos. Los educandos serían así una especie de «recipientes» en los que se «deposita» el saber, con la única necesidad de archivar los conocimientos recibidos. En este sentido, el estudios realizado por Trillo y Porto (1999) indica que porcentajes muy elevados de estudiantes perciben: (a) fuertes contradicciones entre la evaluación y los procesos de enseñanza y aprendizaje; (b) por evaluar se entiende 24 calificar a los estudiantes mediante un examen y decidir sobre su promoción; (c) para examinar se emplea principalmente el examen escrito, sin poder consultar ningún tipo de material; (d) en el proceso de evaluación solo participa el docente que imparte la materia, sin hablarla ni acordarla con el alumnado ni con los otros profesores con los que comparte la misma materia; (e) la mayoría de los profesores no explicitan los criterios que siguen para evaluar; (f) la evaluación solo se hace al final del proceso de enseñanza y aprendizaje; (g) las funciones principales de la evaluación son la selección del alumnado y la certificación de resultados. En la literatura internacional pueden encontrarse numerosos estudios sobre el uso de la EF en ES. Dochy, Segers y Dierick (2002) llevan a cabo una recopilación de las evidencias existentes sobre los efectos que tiene el desarrollo de sistemas alternativos de evaluación en el aprendizaje del alumnado universitario. Tratan diversos aspectos como: la necesidad de un cambio en el sistema de evaluación, la modificación de los criterios de evaluación y una recopilación de investigaciones sobre nuevos formas de evaluar: portfolio, autoevaluación y evaluación entre iguales. Los resultados indican que estos métodos incrementan la participación del alumnado y generan mayor implicación del mismo en los procesos de enseñanza y aprendizaje. Además, consideran que el reto más importante de nuestras universidades es pasar de una cultura del examen a una cultura de la evaluación, entendida esta como una EF, focalizada en mejorar los aprendizajes del alumnado. En este sentido, Knight (2005) afirma que la EF tiene un gran potencial para mejorar el aprendizaje, recordando el trabajo de Black y Williams (1998), los cuales comprobaron en una metainvestigacion que la EF mejora el aprendizaje y que es una de las intervenciones educativas con más posibilidades de realizar cambios positivos en los procesos de enseñanza y aprendizaje. Además, Boud y Falchikov (2007) defienden que la evaluación en ES tendría que estar más orientada al aprendizaje a largo plazo, de aprendizajes contextualizados y propios de la vida cotidiana, y del desarrollo de procesos de evaluación alternativos donde tenga especial énfasis la implicación del estudiante a través de tareas auténticas. 25 2.1.2. Evaluación Formativa y EEES López-Pastor, Martínez y Julián (2007) indican que el EEES reclama unos planteamientos de evaluación que conecten coherentemente con la metodología activa de enseñanza que plantean, los cuales conducen, indefectiblemente, a una EF que puede ser, además, compartida. El fomento de propuestas basadas en un sistema EF supone crear una serie de cambios en concordancia con el EESS. En López-Pastor et al. (2009) puede encontrarse un complejo y detallado trabajo sobre la temática de la EFyC en docencia universitaria: una sólida fundamentación teórica, el planteamiento de una propuesta concreta, la presentación de diversas experiencias y un protocolo de actuación sobre posibles problemas y soluciones cuando se ponen en marcha sistemas de EFyC en docencia universitaria. En líneas generales, proponen un modelo de EFyC diferente del que solía predominar en la docencia universitaria. La propuesta se desarrolla en torno a tres pasos sucesivos y encadenados: (1) unos criterios de calidad evaluativa con unos requisitos para poder considerarse “EFyC”; (2) unas líneas de actuación (técnicas e instrumentos) en las que cada docente decidirá las más apropiadas a su contexto; y, (3) puesta en práctica de la propuesta e iniciar ciclos de investigación-acción (plan, acción, observación, análisis) para mejorar curso a curso. Vallés, Ureña y Ruiz (2011) consideran que estos aspectos se reflejan en profesorado y alumnado, proporcionándoles más aspectos positivos que negativos. De esta manera, la evaluación pasaría de ser realizada en un momento puntual, de índole sumativa y con ánimo meramente calificador, a convertirse en continua, de carácter formativo y con el claro objetivo de mejorar los procesos de enseñanza y aprendizaje. En cuanto a los estatutos y normativas específicas sobre evaluación de universidades, facultades y departamentos, Ibarra y Rodríguez-Gómez (2010) comprueban que: (a) la evaluación se utiliza principalmente para comprobar los conocimientos de los estudiantes, estando más orientada a los resultados que a los procesos; (b) en los documentos oficiales de las universidades predomina el discurso tradicional, focalizado en la evaluación del rendimiento académico del estudiante y su calificación (exámenes, convocatorias, reclamaciones, etc.); (c) la técnica evaluativa por excelencia sigue siendo el examen final; (d) no aparecen referencias a la función formadora de la evaluación; (e) no se regula la participación del alumnado en la evaluación, salvo para la revisión de exámenes o la reclamación de calificaciones. 32 - “Formative Assessment (FA)” (Evaluación Formativa). - “Alternative Assessment (ALA)” (Evaluación Alternativa). - “Authentic Assessment (AA)” (Evaluación Auténtica). - “Assessment For Learning (AFL)” (Evaluación Para el Aprendizaje). - “Learning Oriented Assessment (LOA)” (Evaluación Orientada al Aprendizaje). - “Electronic Assessment (EA)” (Evaluación Electrónica). - “Shared Assessment” (SA): Peer-Assessment, Self-Assessment y “Collaborative Assessment” (Evaluación Compartida: evaluación entre iguales, autoevaluación y evaluación colaborativa). Para revisar la producción más reciente, se ha limitado por fecha: (1) desde el año 2007 hasta el año 2013 de los conceptos: FA, ALA, SA, AFL y EA; y, (2) hasta mayo del 2018 de LOA y AA. Todos ellos con el apellido de HE. Para periodos anteriores de búsqueda me he basado en la realizada por Black and William (1998), en parte centrada en HE, y por la realizada por Gaunlett (2007) respecto a los años 1998- 2007. En cada una de las bases de datos se ha realizado la búsqueda con unos ajustes distintos, debido a su configuración: (a) en Google Scholar se ha realizado la búsqueda con los parámetros: “palabras exactas dentro del artículo”; (b) en ERIC se ha analizado: “topic” y “title”; y, (c) en WOS, se ha realizado por: “title” y “topic”. Por tanto, al buscar en Google Scholar el concepto de “Authentic Assessment in Higher Education”, he recogido información de todos aquellos artículos que muestren dentro del documento ese concepto concreto. En cambio, en ERIC y WOS se ha utilizado como “title”: “Authentic Assessment” y como “topic”: “Higher Education”. Del total de publicaciones encontradas, hemos seleccionado aquellas que aportan suficiente información como para poder categorizarlas después. Además, puede darse la situación de encontrar la misma publicación en varias bases de datos; en ese caso, solo se selecciona en una de ellas. Para la selección de documentos se han seguido dos criterios: (1) que se cite dentro del documento el concepto entero objeto de búsqueda: FA-HE, LOA-HE, AAHE…; y, (2) que aporte información relevante de los conceptos de búsqueda: 33 conceptualización, características, clasificaciones, experiencias y/o resultados. Para realizar el volcado de todas las publicaciones encontradas se ha utilizado una tabla en la que se indica: concepto de búsqueda, base de datos utilizada, resultados obtenidos y documentos seleccionados. En la tabla 2.2 se puede ver los resultados de las búsquedas realizadas: Tabla 2.2. Resultados de las búsquedas bibliográficas realizadas CONCEPTO BASE DE DATOS RESULTADOS SELECCIÓN Formative Assessment in Higher Education WOS 14 6 ERIC 6 4 GOOGLE SCHOLAR 19 12 Alternative Assessment in Higher Education WOS 4 1 ERIC 6 1 GOOGLE SCHOLAR 19 5 Shared Assessment in Higher Education WOS 12 3 ERIC 15 3 GOOGLE SCHOLAR 22 6 Assessment For Learning in Higher Education WOS 13 3 ERIC 13 4 GOOGLE SCHOLAR 16 2 Electronic Assessment in Higher education WOS 4 2 ERIC 1 1 GOOGLE SCHOLAR 18 5 Learning Oriented Assessment in Higher Education WOS 16 3 ERIC 12 3 GOOGLE SCHOLAR 18 6 Authentic Assessment in Higher Education WOS 34 7 ERIC 68 8 GOOGLE SCHOLAR 59 13 Fuente: elaboración propia. 2.3.1. Revisión bibliográfica de conceptos hasta el año 2013 Para la búsqueda de conceptos realizada hasta el año 2013, se ha realizado una diferenciación de categorías conceptuales, basada en la que realiza López-Pastor et al. (2009) y López-Pastor (2012) desde la Red de EFyC en ES. En este sentido, diferencian 34 entre dos grandes categorías: (1) conceptos relacionados con la evaluación formativa: FA, ALA, AFL, EA, LOA y AA; y, (2) conceptos relacionados con la evaluación compartida, en este caso SA, en el que dentro de la misma hay otras tres subcategorías: autoevaluación (self-assessment), evaluación entre iguales (peer-assessment) y evaluación colaborativa (co-assessment). Ver tabla 2.3 con las categorías conceptuales relacionadas con la FA y con la evaluación compartida: Tabla 2.3. Categorías conceptuales relacionadas con la FA y evaluación compartida CATEGORÍAS SUBCATEGORÍAS 1. Conceptos relacionados con FA 1.1- Formative assessment 1.2- Alternative assessment 1.3- Assessment for learning 1.4- Electronic assessment 1.5- Learning oriented assessment 1.6- Authentic assessment 2. Conceptos relacionados con la evaluación compartida 2.1- Shared assessment: self-assessment, peerassessment y co-assessment. Fuente: López-Pastor (2009, 2012). 2.3.1.1. Documentos y estado de la cuestión Formative Assessment in Higher Education Del concepto FA-HE se han encontrado 39 documentos, de los cuales se han seleccionado un total de 22 documentos, que resumimos en la tabla 2.4. Tabla 2.4. Resultados de la búsqueda del concepto: FA-HE Nº Autor/es Título Fuente Año Aspectos Importantes 1 Cooper, N. J. Facilitating learning from formative feedback in level 3 assessment. Assessment & Evaluation in Higher Education, 25(3), 279-291. 2000 Uso del feedback en una FA basada en los procesos de investigación-acción. 2 Yorke, M. Formative assessment and its relevance to retention. Higher Education Research and Development, 20(2), 115-126. 2001 Análisis teórico del estado de la cuestión de la evaluación formativa en el nuevo contexto UK de educación superior. 3 Higgins, R., Hartley, P., & Skelton, The conscientious consumer: reconsidering the role of assessment feedback in student Studies in Higher Education, 27(1), 53-64. 2002 Investigación de tres años sobre el impacto del feedback en la evaluación de estudiantes de HE. 35 A. learning. 4 Yorke, M. Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher Education, 45(4), 477-501. 2003 - Importancia de la FA en el aprendizaje en HE. - Se debe tener en cuenta: la epistemología disciplinaria, las teorías del desarrollo intelectual y moral, etc. 5 Yorke, M. Formative assessment in higher education: Its significance for employability, and steps towards its enhancement Tertiary Education and Management, 11(3), 219-238. 2005 Artículo sobre FA y su consideración dentro de la institución educativa. 6 Nicol, D. J., & Macfarlan e‐Dick, D. Formative assessment and selfregulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218. 2006 Muestran como los procesos de FA y feedback pueden ayudar al alumnado a tener el control sobre sus propios aprendizajes. 7 Blair, B. At the end of a huge crit in the summer, it was crap I'd worked really hard but all she said was fine and I was gutted. Art, Design & Communication in Higher Education, 5(2), 83-95. 2007 Artículo basado en las conclusiones de Blair (2006) en el que estudia como el feedback muchas veces cae en oídos sordos por parte del alumnado. 8 Nicol, D. Laying a foundation for lifelong learning: Case studies of eassessment in large 1st‐year classes British Journal of Educational Technology, 38(4), 668-678. 2007 - Explora como la FA puede enriquecer la experiencia de los estudiantes de primer curso a la hora de desarrollar su capacidad para auto-regular sus aprendizajes. - También señala como las tecnologías de la información y de la comunicación pueden apoyar la evaluación formativa. 9 Covic,T., and Jones,M. K. Is the essay resubmission option a formative or summative assessment and does it matter as long as the grades improve? Assessment and Evaluation in Higher Education, 33(1), 75–85. 2008 Artículo que introduce técnicas de FA en maestros principiantes, cómo el uso de feedback. 10 Taras, M. Summative and Active learning in 2008 Estudio a pequeña 36 formative assessment Perceptions and realities higher education, 9(2), 172-192. escala sobre la percepción y la realidad existente en el modo de entender la evaluación por parte del profesorado. 11 López- Pastor, V. M. Desarrollando sistemas de evaluación formativa y compartida en la docencia universitaria. Análisis de resultados de su puesta en práctica en la formación inicial del profesorado. European Journal of Teacher Education, 31(3), 293-311. 2008 La principal finalidad de este trabajo es presentar los resultados de la puesta en práctica de una evaluación formativa y compartida en la docencia universitaria en la Formación Inicial del Profesorado, mostrando sus ventajas e inconvenientes. 12 Gibbs, G., & Dunbar‐ Goddet, H. 489. Characterising programme‐level assessment environments that support learning. Assessment & Evaluation in Higher Education,34(4), 481- 2009 Estudio de caso que analiza los programas de las asignaturas, encontrando un alto volumen de evaluación sumativa y formativa, pero nunca ambos al mismo tiempo. 13 Pryor, J., & Crossouar d,B. Challenging formative assessment: disciplinary spaces and identities. Assessment & Evaluation in Higher Education, 35(3), 265-276. 2010 Estudio centrado en estudiantes de postgraduado con la intención de introducir la FA alrededor del proceso de enseñanza. 14 Scaife, J., & Wellingto n, J. Varying perspectives and practices in formative and diagnostic assessment: A case study. Journal of Education for Teaching, 36(2), 137-151. 2010 Estudio en profundidad realizado en una universidad y sus cinco facultades, sobre la formas de entender la evaluación y las prácticas que realizan en relación con la misma. 15 Bailey, R., & Garner, M. Is the feedback in higher education assessment worth the paper it is written on? Teachers' reflections on their practices. Teaching in Higher Education, 15 (2), 187-198. 2010 Realizan entrevistas a profesores de índole cualitativa, para conocer sus vivencias personales a la hora de llevar a cabo un tipo de evaluación basado en un feedback escrito. 16 Pintor, P., Martínez, L., & Sistemas y procedimientos de evaluación formativa ESE. Estudios sobre educación, 2010 Se presentan los resultados obtenidos por la Red Nacional de 37 Peire, T. en docencia universitaria: resultados de 34 casos aplicados durante el curso académico 2007- 2008. 18, 255-276. Evaluación Formativa en Docencia Universitaria durante el curso académico 2007- 2008. 17 Jenkins, J. O. A multi‐faceted formative assessment approach: better recognising the learning needs of students. Assessment and Evaluation in Higher Education, 35(5), 565-576. 2010 Estudio de la eficacia del método de evaluación utilizado a través del análisis de las opiniones escritas del alumnado. 18 López‐ Pastor, V. M., Castejón, J., Sicilia‐ Camacho, A., Navarro‐ Adelantad o, V., & Webb, G. The process of creating a crossuniversity network for formative and shared assessment in higher education in Spain and its potential applications. Innovations in Education and Teaching International, 48(1), 79-90. 2011 - Describe la formación de la Red de Evaluación Formativa, Docencia Universitaria y Espacio Europeo de Educación Superior (EEES). - Definición de los términos: FA,ALA,AFL, etc. 19 Goos, M., Gannawa y, D., & Hughes, C. Assessment as an equity issue in higher education: comparing the perceptions of first year students, course coordinators, and academic leaders. The Australian Educational Researcher, 38(1), 95-107. 2011 Estudio centrado en comparar la percepción que tienen sobre la evaluación: estudiantes de primer año de carrera y académicos. 20 Webber, K. L., & Tschepiko w, K. Learner-Centered Assessment: A Comparison of Faculty Practices in US Colleges and Universities 1993 to 2004. Association for Institutional Research. 2011 Estudio sobre como emplean los profesores la evaluación centrada en el alumnado, usando datos recogidos desde 1993 hasta 2004. 21 Winstone, N., & Millward, L. Reframing Perceptions of the Lecture from Challenges to Opportunities: Embedding Active Learning and Formative Assessment into the Teaching of Large Classes. Psychology Teaching Review, 18(2), 31-41. 2012 Puesta en práctica de un sistema de FA en clases numerosas. 22 Randall, L., & Students‟ Perceptions of the The Canadian Journal for the 2012 Revisión de la literatura relacionada con la 38 Zundel, P. Effectiveness of Assessment Feedback as a Learning Tool in an Introductory Problem-solving Course. Scholarship of Teaching and Learning, 3(1), 3. evaluación y como la evaluación se relaciona con el feedback en general. Fuente: elaboración propia. Uno de los aspectos más llamativos ha sido el de encontrar numerosos documentos que relacionan los conceptos de feedback con la FA. Así, Higgins, Hartley y Skelton (2002), realizan un estudio de tres años de duración en el que corroboran que los estudiantes dan mucha importancia al feedback que han recibido, tanto cuando este está relacionado con aspectos simples, como conocer su nota o las respuestas correctas en un examen, como cuando les ayuda a entender una asignatura de una manera más profunda. En este sentido, Nicol (2007), Nicol y Macfarlane‐Dick (2006) y Covic y Jones (2008) ponen en práctica un tipo de feedback en el que el alumnado tiene que desarrollar su autorregulación, obteniendo por ello una mayor satisfacción general y un aumento del rendimiento en los exámenes finales. Por su parte, Cooper (2000) lleva a cabo tres fases en su asignatura: planificación, puesta en práctica y evaluación. En la parte de evaluación lleva a cabo una auto-reflexión del alumno, la valoración del desempeño del alumno en la tarea, el dialogo entre iguales y el feedback aportado al alumno para que tengan conocimiento sobre los objetivos que han de conseguir. Los resultados revelan que los estudiantes pasan de hacer tareas cortas y poco profundas a reflexionar sobre lo que escriben. Por su parte, Randall y Zundel (2012) llevan a cabo un estudio donde los estudiantes muestran un alto nivel de atención hacia el feedback recibido, ya que están seguros de que el feedback les será útil para posteriores actividades. Se trata de un feedback que no estaba enfocado a aspectos relacionados con la calificación, sino con su aprendizaje. En cambio, otros estudios muestran como un feedback de carácter formativo, aportado por el profesor a sus estudiantes, en muchas de las ocasiones no fue escuchado por parte de los mismos (Blair, 2007). Además, uno de los aspectos encontrados es que la relación entre estudiante y profesor, y la percepción que el estudiante tiene sobre sí mismo dentro del contexto educativo, condiciona la calidad del aprendizaje y el poder afirmar que el feedback aplicado ha sido formativo o no. Muy ligado al coste de puesta en práctica del feedback, Bailey y Garner (2010) realizan un estudio para conocer si 39 merece la pena llevar a cabo un sistema de feedback escrito en los procesos de enseñanza y aprendizaje en HE. Un resultado importante es que los profesores tienen diversas creencias sobre los propósitos que se han de alcanzar con el feedback escrito y no están seguros de qué se consigue haciendo uso de ese feedback, ni de cómo lo utilizan los alumnos. Añadir, que lejos de existir mejoras en la aplicación del feedback escrito, las prácticas y procedimientos innovadores están creando nuevos problemas a los profesores, como; la dificultad a la hora de plantear tareas adecuadas a sus objetivos o la cantidad de tiempo necesario que hay que invertir en la corrección de las mismas. Por otro lado, Yorke (2001) realiza un estudio de la situación de la FA-HE en el contexto británico. Como aspecto más relevante señala que se está perdiendo la oportunidad de llevar a cabo una FA en la universidad debido a las siguientes causas:(a) menor cantidad de tiempo para contactar entre el estudiante y el profesor; (b) tutorías y seminarios muy numerosos; (c) la cantidad de tiempo que conlleva este tipo de prácticas a los profesores; y, (d) que muchas de las estructuras de las instituciones educativas están dirigidas a una evaluación sumativa, pero no preparadas para una FA. A pesar de todo ello, Yorke (2005) afirma que las investigaciones muestran como la FA puede crear un potente efecto en el aprendizaje de los estudiantes. Diferentes estudios explican la forma de entender la FA entre profesores e instituciones. En ese sentido, Taras (2008a) propone examinar nuestros procesos de evaluación para: (a) ser claros y explícitos en lo que hacemos; (b) entender cómo se relacionan los procesos de evaluación que se llevan a cabo entre el profesorado de una misma institución; y, (c) valorar cómo es el impacto de nuestras prácticas de FA en nuestros estudiantes. En ésta línea, Gibbs y Dunbar‐Goddet (2009) realizan un estudio de caso analizando los programas de las asignaturas, en el que encuentran un gran número de sistemas de evaluación sumativos y formativos, pero casi ninguno que mezcle ambos sistemas de evaluación dentro del mismo programa de la asignatura. Por otra parte, se han encontrado documentos que aplican la FA a contextos concretos. Pryor y Crossouard (2010) realizan un estudio centrado en estudiantes de postgraduado con la intención de introducir la FA alrededor del proceso de enseñanza. Reconocen que al introducir una FA se esclarece el rol que tienen estudiantes y profesores en el contexto de aprendizaje. Por su lado, Jenkins (2010) investigó la eficacia del método de evaluación utilizado a través del análisis de las opiniones escritas 40 del alumnado, argumentando que la evaluación tiene que tener unos procesos reconocibles para que sea formativa para los estudiantes. En Goos, Gannaway y Hugheset (2011) llevan a cabo una investigación centrada en comparar la percepción que tienen sobre la evaluación los estudiantes de primer año de carrera y los académicos. Señalan que los estudiantes de primer año son considerados un grupo en desventaja, debido a que las creencias que tienen sobre la FA, basadas en sus experiencias como estudiantes de secundaria, distan mucho de las tareas que han tenido que llevar a cabo y los correspondientes feedbacks en su primer año de carrera. En Winstone y Milward (2012) ponen en práctica un sistema de FA y activa en clases numerosas. El resultado principal fue el éxito de la puesta en marcha, ya que los estudiantes preferían este sistema de evaluación y reconocían que sus aprendizajes habían mejorado al participar de manera activa en las lecturas y recibir un feedback que les permitiera entender las lecturas mejor. Por su parte, en López-Pastor (2008) y Pintor, Martínez y Peire (2010), se presentan los resultados encontrados tras la puesta en práctica de sistema de EF en algunas universidades españolas. En el primero se explica las ventajas e inconvenientes de la aplicación de un sistema de FA-HE. En el segundo se lleva a cabo un estudio con una muestra muy grande de alumnado (2.491) de 14 universidades españolas diferentes, analizando los resultados que se obtienen cuando se aplican sistemas de FA-HE. Como principales ventajas encontraron que: (a) los estudiantes tienen más implicación y motivación; (b) son más responsables de sus aprendizajes y autónomos; y, (c) valoran positivamente su participación en la evaluación. Sin embargo, también encuentran algunas desventajas: (1) la resistencia inicial de algunos estudiantes a este tipo de evaluación; y, (2) un incremento de la carga de trabajo para estudiantes y profesores respecto a los sistemas de evaluación tradicional. En la misma línea, Webber y Tschepikow (2011) realizan un estudio sobre como emplean los profesores la evaluación centrada en el alumnado, usando datos recogidos desde 1993 hasta 2004, resaltando como aspecto positivo la capacidad de este tipo de evaluación a la hora de promover el aprendizaje del alumnado. En el documento de Scaife y Wellington (2010) se muestran las formas de entender la evaluación y las prácticas que realizan en relación con la misma en cinco facultades. Estos autores subrayan el desconocimiento imperante en los términos relacionados con la evaluación en documentos oficiales y otra literatura. En cambio, 41 encuentran que los estudiantes valoran la evaluación que no conlleva notas y la que sirve para aspectos relacionados con la vida después de la universidad. Un aspecto muy interesante es el hecho de que el término más citado de forma explícita en los documentos ha sido "feedback" (en 12 de los documentos), aunque aparece de manera implícita en la inmensa mayoría de ellos. La importancia de este término parece radicar, en que, dependiendo de qué manera se dote e interprete el feedback en los procesos de enseñanza y aprendizaje, estaremos llevando a cabo una FA o una evaluación tradicional. Añadir, la estrecha relación entre feedback formativo y FA, no pudiendo existir uno sin la existencia del otro. 2.3.1.2. Documentos y estado de la cuestión Alternative Assessment in Higher Education En la búsqueda realizada en las bases de datos se han obtenido 29 resultados para el concepto Alternative Assessment de los que se han seleccionado 7 documentos, que resumimos en la tabla 2.5. Tabla 2.5. Volcado de datos ALA-HE Nº Autor/ es Título Fuente Año Aspectos Importantes 1 Hanna m, S. E. Portfolios: An alternative method of student and program assessment. Journal of Athletic Training, 30(4), 338- 41 1995 Describe cuatro tipos diferentes de experiencias de portfolios que denomina (artifacts, attestations, productions, and reproductions), y que son entendidos como instrumentos útiles de ALA para el alumnado. 2 Kemp ner, K., & Taylor , C. An alternative assessment to higher education outcomes: Differentiating by institutional type. Higher Education, 36(3), 301- 321. 1998 - Una propuesta de ALA que no esté centrada solo en méritos académicos, sino que también promueva lo que Dewey (1966) denominó un “ciudadano activo”. 3 Parks, M. Assessing what? A model of assessment in higher education. 4th Uicee Annual Conference on Engineering Education, Conference Proceedings Innovation in Engineering 2001 - Proponen un modelo de ALA diferente a los métodos tradicionales de evaluación de la universidad. - Este modelo se centra en la evaluación de conocimientos elementales valorando la adquisición de sus competencias. 48 Se han seleccionado 8 documentos sobre EA-HE en la que se trata como realizar una evaluación a través del uso de medios electrónicos. Espasa y Meneses (2010) realizan un estudio sobre la aportación de feedback en un ambiente de enseñanza y aprendizaje online. Estos autores concluyen que, en general, la presencia de feedback está asociada con mejores niveles en el desempeño de tareas y con niveles de satisfacción más altos sobre la dirección del curso. En la misma línea, Gikandi, Morrow y Davis (2011) realizan una revisión de la literatura sobre FA en línea. Algunas de las técnicas de FA que llevaron a cabo por estudiantes y entre estudiantes y profesores fueron: los test de preguntas, uso de foros de discusión y la introducción de portfolios electrónicos. Los resultados clave son: (1) que una evaluación formativa efectiva ha sido interiorizada por el alumnado y ha estado centrada en la transmisión de feedback formativo; y, (2) la mejora del compromiso del estudiante con experiencias de aprendizaje valiosas. Por su parte, Hatzipanagos y Warburton (2010) llevan a cabo un estudio donde lo importante, es que las dimensiones sociales de las tecnologías emergentes permitan prácticas formativas de evaluación para ser reinventadas (procesos ya realizados en formatos tradicionales como papel, pero en éste caso se usan las nuevas tecnologías) y facilitar la participación del estudiante. Uno de los aspectos encontrados, es que el uso de blogs y wikis en un este contexto social pueden tener un gran potencial como instrumentos útiles para promover la FA, teniendo un impacto positivo en los siguientes aspectos: autonomía, diálogo, oportunidad, visibilidad y reflexión. Por otro lado, Berridge, Penney y Wells (2012) proponen el término de “Efact” como: “Un proceso de puesta en común del feedback de los alumnos a través de un asesor de la universidad utilizando el e-mail”. Este proceso otorga al instructor online la oportunidad de hacer cambios en las actividades del curso durante el desarrollo de la sesión. En una línea similar, Berridge et al. (2012) utilizan los SMS como instrumento de aprendizaje y de evaluación de los procesos de enseñanza y aprendizaje. Entre los resultados muestran que los SMS tienen potencial para ser usados en ambientes de enseñanza y aprendizaje. Sin embargo, hay algunas restricciones y aspectos del sistema que necesitan ser optimizados para su buen funcionamiento. 49 Nicol (2009) presenta un trabajo sobre como la FA y el feedback podría ser usado para mejorar la experiencia de alumnos de primer curso y permitir a los estudiantes desarrollar la autorregulación de su aprendizaje. Además, también explora como la tecnología puede ayudar a las prácticas de evaluación formativa. Los resultados muestran una alta satisfacción de los estudiantes, una mejora en la realización de los exámenes finales, comparándolo con años anteriores, y una carga de trabajo eficiente por la aplicación de la tecnología. Además, en Kabilan y Khan (2012) introducen la utilización del e-portfolio en futuros maestros de lengua inglesa como segunda lengua (profesores que un futuro enseñaran lengua inglesa en un contexto donde el idioma oficial es diferente al inglés); demostrando que el e-portfolio utilizado como instrumento de control, ayuda a los maestros a reconocer su aprendizaje e identificar sus puntos fuertes y debilidades. Dentro de la formación permanente del profesorado, Gikandi (2012) realiza una tesis dentro de un posgraduado en línea, diseñado para maestros que quieren desarrollar su capacidad para incorporar tecnologías de la información y la comunicación (ICT) en sus propias prácticas. Un resultado importante es la conceptualización de la FA como una estrategia colaborativa, en la cual tanto el alumno como el maestro son participes activos. Además, esta investigación puede ayudar al compromiso profesional de los maestros para desarrollar competencias transferibles a su propia práctica. 2.3.1.5. Documentos y estado de la cuestión “Shared Assessment in Higuer Education” En este apartado analizaré todos los documentos relacionados con SA-HE (evaluación compartida). Por ello, también incluiré los conceptos relacionados con la temática: Peer-assessment, Self-Assessment y Collaborative Assessment. En la búsqueda realizada en las bases de datos se han obtenido 49 resultados para el concepto de SA-HE de los que se han seleccionado 12 documentos, que resumimos en la tabla 2.8. Tabla 2.8. Volcado de datos SA-HE Nº Autor/es Título Fuente Año Aspectos Importantes 1 Falchikov, N., & Boud, D. Student selfassessment in higher education: A Review of Educational Research, 59(4), 395-430. 1989 Comparación entre autoevaluaciones del alumnado y evaluación del profesorado en estudios 50 meta-analysis. cuantitativos. 2 Dochy, F. J. R. C., Segers, M., & Sluijsmans, D. The use of self-, peer and coassessment in higher education: A review. Studies in Higher Education, 24(3), 331-350. 1999 Principales resultados en nuevos métodos de evaluación como: evaluación entre iguales, autoevaluación y evaluación colaborativa. 3 Falchikov, N., & Goldfinch, J. Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of Educational Research, 70(3), 287-322. 2000 Compara las calificaciones entre iguales y la del profesor. 4 Segers, M., & Dochy, F. New assessment forms in problem-based learning: the value-added of the students' perspective. Studies in Higher Education, 26(3), 327-343. 2001 Examina dos tipos de nuevas formas de evaluación: examen escrito y evaluación entre iguales. 5 Sluijsmans, D. M., Brand- Gruwel, S., van Merriënboer, J. J., & Martens, R. L. Training teachers in peerassessment skills: effects on performance and perceptions. Innovations in Education and Teaching International, 41(1), 59-78. 2004 Diseño de una educación basada en el desarrollo de habilidades e implicación de los alumnos a través de una evaluación entre iguales. 6 Van den Berg, I., Admiraal, W., & Pilot, A. Design principles and outcomes of peer assessment in higher education. Studies in Higher Education, 31(03), 341-356. 2006 Formas efectivas de organizar la evaluación entre iguales. 7 Mok, M. M. C., Lung, C. L., Cheng, D. P. W., Cheung, R. H. P., & Ng, M. L. Self‐assessment in higher education: Experience in using a metacognitive approach in five case studies. Assessment & Evaluation in Higher Education, 31(4), 415-433. 2006 La autoevaluación en la formación del profesorado. 8 Şahin, S. An application of peer assessment in higher education. The Turkish Online Journal of Educational Technology, 7(2), 5-10. 2008 Correlación entre las valoraciones del profesor y de la evaluación llevada a cabo entre iguales 51 9 Walser, T. M. An action research study of student selfassessment in higher education. Innovative Higher Education, 34(5), 299-306. 2009 Uso de la autoevaluación como estrategia. 10 Van Gennip, N. A., Segers, M. S., & Tillema, H. H. Peer assessment as a collaborative learning activity: The role of interpersonal variables and conceptions. Learning and Instruction, 20(4), 280-290. 2010 Examina el rol de diferentes variables interpersonales (seguridad psicológica, interdependencia y confianza) y la concepción de la evaluación entre iguales en su educación profesional. 11 Asghar, A. Reciprocal peer coaching and its use as a formative assessment strategy for first‐year students. Assessment & Evaluation in Higher Education, 35(4), 403-417. 2010 Percepción de los estudiantes sobre las tutorías entre iguales. 12 Cartney, P. Exploring the use of peer assessment as a vehicle for closing the gap between feedback given and feedback used. Assessment & Evaluation in Higher Education, 35(5), 551-564. 2010 Potencial de aprendizaje de la evaluación entre iguales como vehículo para que los estudiantes comprendan el feedback que reciben. Fuente: elaboración propia En esta tabla se representan los 12 estudios seleccionados sobre SA-HE, término que está estrechamente relacionado con la “evaluación compartida” y con la participación del alumnado en su propia evaluación. Dochy, Segers y Sluijsmans (1999) realizan una revisión de la literatura de 63 estudios donde el principal objetivo es conocer cuáles son los principales resultados encontrados en los últimos estudios sobre algunos nuevos métodos de evaluación como: evaluación entre iguales, autoevaluación y evaluación colaborativa. Los resultados sugieren que el uso combinado de nuevas formas de evaluación estimula a los estudiantes a ser más responsables y reflexivos. En la misma línea, Segers y Dochy (2001) introducen una evaluación entre iguales para valorar, entre otras cosas, el trabajo colaborativo que realizaban. Las calificaciones que realizaban entre los estudiantes 52 parecen tener una buena correlación con las calificaciones del tutor y con sus notas finales. Sin embargo, los resultados de aprendizaje de los estudiantes medidos mediante el examen son más bajos de lo esperado. Falchikov y Boud (1989) llevaron a cabo un meta-análisis donde comparaban los estudios cuantitativos realizados sobre autoevaluación de los estudiantes y evaluación del profesor. Tres factores resultaron especialmente importantes para que la correspondencia entre las notas de las autoevaluación y las del profesor resultaran cercanas: (1) la calidad del diseño del estudio (a más calidad mayor correspondencia); (2) el nivel del curso donde estaba el estudiante (a mayor nivel de curso mayor correspondencia de notas); y, (3) el área de estudio (donde los estudios dentro del área de ciencias tenían más similitud entre notas que otras áreas de estudio como humanidades y ciencias sociales). En la misma línea, Falchikov y Goldfinch (2000) realizan un estudio en el que comparan las calificaciones que se producen en la evaluación entre iguales y la que lleva a cabo el profesor. Entre otros aspectos, la evaluación que se realiza entre iguales parece más cercana a la evaluación del profesor cuando las valoraciones globales se basan en criterios bien establecidos que cuando la calificación implica evaluar criterios con numerosas dimensiones. Muy ligado a este estudio, Sahin (2008) estudia las semejanzas entre la evaluación llevada a cabo entre iguales y la del profesor, concluyendo que los datos recogidos de ambas evaluaciones muestran similitudes. Todavía dentro de los procesos de autoevaluación, Mok et al. (2006) usan procesos metacognitivos para desarrollar la autoevaluación llevada a cabo entre estudiantes. Los análisis indican que los estudiantes encontraron los procesos metacognitivos beneficiosos en su aprendizaje y autoevaluación. Además, los estudiantes eran más conscientes su aprendizaje y de su pensamiento. Ligado al anterior estudio, Walser (2009) realizan una investigación en la que usan la autoevaluación como una estrategia de aprendizaje en dos cursos de la universidad. Obtienen resultados positivos en los ejercicios de auto evaluación llevados a cabo por los estudiantes, como: los alumnos tienen la oportunidad de reflexionar sobre el curso académico y de cómo ha sido su trabajo durante él; les ayuda a dirigir su progreso académico; les motiva para hacer adecuadamente el curso y tienen la capacidad de dar su feedback al profesor. Además, desde la perspectiva del instructor, los ejercicios proveen feedback útil y facilitan las interacciones y relaciones con los estudiantes. 53 Por otro lado, Asghar (2010) realiza un estudio de la percepción que tienen los estudiantes de primer año de carrera sobre la tutoría entre iguales, usando esta estrategia dentro de un sistema de FA. Los resultados muestran la importancia de la tutoría entre iguales en promover la auto-regulación de los estudiantes. Además, en Van Gennip (2010) examinan el rol de diferentes variables interpersonales (seguridad psicológica, interdependencia y confianza) y las concepciones sobre evaluación entre iguales en su educación profesional. Los resultados muestran que la evaluación entre iguales contribuyó a mejorar la seguridad psicológica y valores más bajos en diversidad. Explicando aspectos similares, Cartney (2010) lleva a cabo una FA utilizando como proceso una evaluación entre iguales. Este autor subraya la importancia de valorar tanto los aspectos emocionales como cognitivos que se realizan en la evaluación entre iguales. También Van den Berg (2006) realiza un estudio centrado en encontrar maneras efectivas de organizar la evaluación entre iguales en tareas escritas de historia. Una de las conclusiones que presentan, es que la mayoría de los estudiantes comprendieron y asimilaron la evaluación entre iguales y percibieron mejoras en sus tareas escritas como consecuencia de la evaluación entre iguales. Como estudio más relacionado con la evaluación colaborativa, en Sluijsmans et al. (2004) llevan a cabo un trabajo en formación del profesorado en el que tienen que realizar cuatro actividades de evaluación entre iguales. Los estudiantes son separados en dos grupos, repartidos la mitad de ellos en cada grupo; uno de los grupos fue entrenado en la habilidad de definir criterios (grupo experimental) y la otra mitad no (grupo control). Los resultados del grupo experimental en el uso de criterios fueron significativamente mayores a los del grupo de control, pero no sobrepasaron al grupo de control en el desempeño de relacionar los contenidos de las tareas. 2.3.2. Revisión bibliográfica de conceptos “Learning Oriented Assessment” y “Authentic Assessment” hasta mayo de 2018 Debido al gran número de documentos encontrados, la búsqueda de los conceptos LOA y AA realizada hasta mayo de 2018 la hemos estructurado a partir de dos grandes apartados, que obedecen a las categorías y subcategorías establecidas previamente. Por un lado, está la categoría de LOA-HE y por otro la de AA-HE. En ambas se van a analizar las siguientes subcategorías: (1) origen; (2) criterios; y, (3) 54 experiencias y resultados. En la tabla 2.9 presentamos el sistema de categorías y subcategorías utilizado: Tabla 2.9. Categorías y subcategorías para analizar los documentos seleccionados en LOA y AA CATEGORÍAS SUBCATEGORÍAS 1. Learning Oriented Assessment in Higher Education 1.1- Origen del concepto 1.2- Criterios para ser LOA 1.3- Experiencias y resultados de su aplicación 2. Authentic Assessment in Higher Education 2.1- Origen del concepto 2.2- Criterios para ser AA 2.3- Experiencias y resultados de su aplicación Fuente: elaboración propia Tanto en la categoría de LOA-HE como de AA-HE se han utilizado unas tablasresumen de los documentos encontrados, en las que se ordenan los documentos según el año (siendo el documento número 1 el más antiguo) y se aporta una breve explicación del motivo por el que se ha seleccionado cada documento. 2.3.2.1. Documentos y estado de la cuestión “Learning Oriented Assessment in Higher Education” El primer concepto de análisis es el de LOA-HE. De este primer elemento se han seleccionado 12 de los 46 documentos encontrados. Presentamos sus datos básicos en la tabla 2.10. Tabla 2.10. Resultados de la búsqueda del concepto LOA-HE Nº AUTORES,AÑO SELECCIÓN 1 Boud, D., & Falchikov, N. 2006 Se explican ejemplos de prácticas de LOA in HE. 2 Carless, D., Joughin, G. & Mok, M., 2006. Se centran en una LOA, dejando de lado y no comparándolo con el de evaluación formativa, ya que entienden que hay confusión con este término (Yorke, 2003). 3 Carless, D., 2007 Introduce el término de LOA y explica sus tres características principales, reflexiona sobre el proyecto llevado a cabo en Hong Kong sobre LOA y explica como la LOA puede ser implementada en la práctica. 4 Lombard, B., 2008 Desarrollo del pensamiento crítico a través de una LOA. Además definen LOA. 5 Carmona, M. & Insisten en la necesidad de que la evaluación se convierta en estrategia 55 Flores. J., 2008 para la mejora de los aprendizajes. Para ello, deben cumplirse tres condiciones: 1) las tareas de evaluación deben ser también tareas de aprendizaje; 2) se ha de proporcionar retroalimentación para orientar el trabajo futuro; 3) implicar a los estudiantes en el proceso de evaluar su propio trabajo. 6 Carless, D., 2009a Señala las tres características para ser LOA y analiza las tensiones que genera una evaluación que cumpla con el: “doble deber” que señala Boud. 7 Carless, D., 2009b Uno de los factores que limitan la introducción de prácticas de LOA es la creencia de la poca confianza en las mismas. El autor explica cómo podría ser desarrollada esa confianza. 8 Carless, D. 2015a Selección de 5 profesores premiados por sus buenas prácticas educativas y analizando como sus prácticas evaluativas y su modelo personal de evaluación orientada al aprendizaje. 9 Carless, D., 2015b Propone un modelo de LOA centrada en los tres procesos descritos anteriormente. Además, analizan: 1) las tareas de evaluación que llevan a cabo los estudiantes; 2) el desarrollo de las capacidades evaluativas del alumnado; 3) el compromiso de los estudiantes con respecto al feedback. 10 Rodríguez, G.; Quesada,V; & Ibarra,M., 2016 Analizan los efectos de una propuesta de evaluación electrónica orientada al aprendizaje llevada a cabo por profesores universitarios. Valorando la percepción de la importancia que tiene la evaluación para ellos, su nivel de competencia a la hora de la puesta en práctica de esta evaluación y el uso que hacen real de la misma y considerar las experiencias y percepciones que tienen de la misma cuando la implementan en sus clases. 11 Canabal, C & Margalef, L., 2017 Analizan los procesos de Feedback y algunos instrumentos de evaluación desde una perspectiva centrada en LOA. 12 Reyes-García, C. & Díaz-Megolla, A., 2017 Analizan si el marco regulador de varias universidades en sus trabajos fin de grado (TFG) cumple con las condiciones para denominarse LOA. Fuente: elaboración propia Origen del concepto LOA-HE Boud y Falchikov (2006) señalan que el término de evaluación ha de cumplir un doble deber en HE: (1) para certificar los logros alcanzados por el alumno a lo largo del programa o curso que haya realizado, juzgando y calificando su participación en el mismo; y, (2) para facilitar el aprendizaje del alumno, tanto de sus propios logros alcanzados como de lo que es más relevante aprender dentro del programa o curso de aprendizaje. Estos dos propósitos han sido relacionados con dos sistemas de evaluación respectivamente: Evaluación Sumativa y Evaluación Formativa. 56 Según Boud y Falchikov (2006) la LOA es un sistema de evaluación que no se ciñe únicamente al contexto del aula y debe ser útil para el alumnado a la hora de contextualizar lo aprendido en la esfera de la vida real y del trabajo. Por su parte Carless, Joughin y Mok (2006) señalan la LOA como un concepto no comparable con el de FA, ya que entienden que hay confusión con este término. Por lo que, el termino LOA surge para dar respuesta al doble deber que ha de cumplir la evaluación en HE (Boud & Falchikov, 2006), teniendo que aunar tanto las características de la evaluación sumativa o certificación del alumnado, como las de la FA o progreso de aprendizaje del alumnado (Carless, 2007, 2009a, 2015a). Criterios para ser LOA-HE La LOA se caracteriza por tres principios (Carless 2007, 2009a, 2015a; Carmona & Flores, 2008; Carless, Joughin & Mok, 2006): (1) las tareas de evaluación deberían ser diseñadas para estimular el aprendizaje del alumnado; (2) la evaluación tiene que implicar a los alumnos en su propia evaluación y en la evaluación de otros compañeros; y (3) El feedback o retroalimentación ha de darse en el momento adecuado a los alumnos y que sea útil para el aprendizaje actual y futuro de los mismos. En Rodríguez, Quesada y Ibarra (2016), denominan “LOA Electrónica” a una reformulación de los tres principios de LOA, pero concretados en un contexto de evaluación electrónica: (1) llevar a cabo tareas de evaluación electrónica como tareas de aprendizaje; (2) utilizar el e-feedback (retroalimentación electrónica) como feedforward (retroalimentación) que permita avanzar hacia delante, en este caso permitiendo a los alumnos orientar su aprendizaje actual y futuro; y, (3) participación de los estudiantes en la evaluación electrónica a través de estrategias como autoevaluación, evaluación entre iguales y evaluación colaborativa. En Lombard (2008) le dan un cariz diferente a la LOA, focalizada en desarrollar el pensamiento crítico del alumnado. Además, señalan que LOA puede ser descrita como una sinergia entre instrucción, aprendizaje, evaluación y feedback aportado durante la clase, la cual de manera consciente intenta ayudar a los aprendices para apoyar y estimular su competencia en pensamiento crítico. 57 Experiencias y resultados de la aplicación LOA-HE Carless (2007) y Carless, Joughin y Mok (2006) explican la primera experiencia en la que se pone en práctica la LOA siguiendo los tres principios que le caracterizan. Este proyecto se realizó en el Instituto de Educación de Hong Kong a lo largo de cuatro años, de Octubre 2002 a Septiembre 2006, en el que se involucró a otras universidades tanto nacionales como extranjeras. El principal objetivo era identificar, promover y divulgar buenas prácticas de LOA-HE en Hong Kong y en otras universidades. Desde el proyecto se invitó a casi 400 profesores a implementar LOA en sus aulas, de los que 40 realizaron un informe final en el que exponían sus resultados. A una menor escala, Carless (2007) realizo un programa de formación con 35 profesores en su formación inicial con una duración de 12 semanas y 30 horas de duración. Este programa, estaba dirigido a que los profesores conocieran y desarrollaran algunas de las mejores y más innovadoras prácticas docentes realizadas utilizando LOA. Tras acabar el programa, valoraron de manera muy positiva el poder conocer algunas de las estrategias clave del LOA. En Carless (2015a, 2015b) se realiza una revisión de la bibliografía sobre evaluación en ES, concluyendo en los tres principios de la LOA explicados anteriormente (Carless 2007, 2009a; Carmona & Flores, 2008; Carless, Joughin & Mok, 2006). A partir de estos principios, proponen dos preguntas que han de ser contestadas a lo largo de su estudio: (1) ¿cómo es la LOA que llevan a cabo una muestra de profesores premiados en sus prácticas docentes?; y, (2) ¿Cuáles son las principales percepciones de profesores y estudiantes sobre el uso de la LOA? En los resultados hablan de casos concretos: por ejemplo, en el caso de un profesor de arquitectura, son varios los factores que mejoran y facilitan los procesos evaluativos: el uso del portfolio como actividad de evaluación, los procesos de autoevaluación generados en la revisión de los trabajos de los estudiantes y el feedback dialógico creado durante todo el proceso en, las interacciones entre profesores y estudiantes. En otros casos, las clases de historia y derecho eran muy numerosas, pero ello no representó una barrera a la hora de llevar a cabo prácticas de LOA; por lo que los autores consideran que estas experiencias muestran que la determinación y compromiso de los profesores puede derribar algunos de los problemas que puedan surgir para desarrollar procesos de evaluación efectivos. 64 En Eddy y Lawrence (2013) presentan una estructura conceptual de cuatro fases en AA: (1) la evaluación es un proceso y no es algo estático y puntual; (2) la AA supone evaluar aprendizajes experimentales; (3) que sean varias las personas que evalúen el trabajo del estudiante, incluyendo la auto-evaluación o la revisión por una audiencia pública; y, (4) la AA tiene que ofrecer más oportunidades al aprendiz para decidir en su evaluación. En Ashford-Rowe, Herrington y Brown (2014) realizan una revisión bibliográfica y establecen ocho preguntas que deben caracterizar las prácticas de AA:(1) ¿hasta qué punto la actividad evaluadora le supone un reto al alumno?; (2) ¿Es el proceso o el resultado el objetivo final de la evaluación?; (3) ¿Requiere la evaluación de una transferencia del aprendizaje haciendo uso de las habilidades aprendidas?; (4) ¿Requiere la evaluación de procesos metacognitivos?; (5) ¿El resultado o proceso de la evaluación puede ser reconocida como auténtica por los partícipes de la misma?, (6) ¿Son los instrumentos de evaluación reales o simulados?; (7) ¿Requiere la evaluación procesos de discusión y retroalimentación?; y, (8) ¿Requiere la evaluación que los estudiantes colaboren entre ellos? Murphy, Fox, Freeman y Hughes(2017) realizan una guía con una serie de fases y pasos para que el profesorado universitario puede implementar una AA en su proceso de enseñanza, estableciendo cinco fases: (1) identificación de los objetivos de aprendizaje que se desean y alinearlos con las tareas que se propongan; (2) generar procesos de comunicación y consulta con los estudiantes una vez estén claros los propósitos de la tarea; (3) desarrollo de rúbricas y criterios de evaluación; (4) implementación tareas de AA y mejorar el proceso aportando feedback formativo; y (5) evaluar y reflexionar sobre lo ocurrido en el proceso de evaluación. Experiencias y resultados de la aplicación AA Gulikers, Kester, Kirschner y Bastiaens (2008) realizan un estudio en el que preguntan cómo perciben los estudiantes la AA y cómo condiciona esta sus aprendizajes. Para ello realizan una selección de la muestra, teniendo como criterios: la cantidad de experiencia práctica de los estudiantes, su forma de entender la enseñanza y su grado de percepción en el desarrollo de habilidades para el trabajo. Sus resultados muestran ciertas diferencias entre estudiantes muy experimentados y poco 65 experimentados respecto a cómo influye y se percibe la AA en el aprendizaje, siendo los primeros los que mejor respondían frente a tareas de carácter auténtico, debido a su experiencia previa. Además, estos autores sugieren posibles líneas de acción para desarrollar y usar la AA en el currículum, proponiendo que aprender y trabajar estén interrelacionados. Son muchos los estudios que utilizan las características que definen la AA (Gulikers et al., 2004; Rule 2006) en la puesta en práctica de sus experiencias. Biddle (2014), desde el programa de doctorado de la Universidad Central de Florida, llevan a cabo varios proyectos en los que utilizan una AA en los colegios y distritos de la zona; en los que los estudiantes del doctorado trabajan directamente con el colegio o distrito. Los resultados señalan que los estudiantes necesitan conocer la situación real de su futuro trabajo, conocer e interiorizar las necesidades de la organización y aprender las habilidades necesarias para desarrollar ese trabajo. Gonzalez-DeHass y Willems (2015), en unos cursos de psicología con alumnos que serán futuros profesores, desarrollan ambientes de aprendizaje auténtico y prácticas reales de cómo llevar a cabo una AA. Los resultados indican que es positivo que los maestros puedan aplicar sus aprendizajes en contextos reales y enfrentarse con experiencias reales en las que tengan que tomar sus propias decisiones. Son varios los estudios que utilizan las nuevas tecnologías para llevar a cabo una AA. Eddy y Lawrence (2013) utilizan las Wikis como plataformas web en las que se produce a la vez aprendizaje y AA. Como resultados señalan que los estudiantes pueden escribir y compartir información en una misma plataforma, se producen aprendizajes auténticos y no es necesaria ninguna formación previa relacionada con la informática o la programación para realizar las actividades. En Heinzen, Landrum, Gurung, y Dunn (2015) se preguntan, ¿por qué es la AA un reto tan difícil para ser llevada a cabo en ES? Señalando las ocho grandes dificultades que encuentran para ser llevada a cabo:(1) los objetivos que se proponen tanto en los programas educativos como a los estudiantes de los mismos no son claros y generan incertidumbre; (2) ausencia de acuerdo sobre qué va a ser evaluado; (3) ausencia de una AA; (4) se debe reinventar la rueda, creando y adaptando la evaluación en cada momento y contexto; (5) la evaluación se realiza de manera esporádica; (6) la evaluación es utilizada de manera sumativa en vez de formativa; (7) ausencia de rúbricas que guíen el proceso de evaluación y el proceso de aprendizaje; y (8) ausencia de indicadores de referencia que informen del desarrollo del 66 programa y la pertinencia de la evaluación utilizada. Además, utilizan la Gamificación para dar una posible solución a los ocho problemas citados anteriormente, encontrando una motivación y actitud positiva de los estudiantes hacia este formato. Hay varios estudios que utilizan la rúbrica y portfolio como instrumentos de evaluación imprescindibles para llevar a cabo una AA. Keyser y Howell (2008) llevan a cabo una revisión de artículos relacionados con la AA-HE, concluyendo que si los modelos teóricos que definen y describen la AA son coherentemente evaluados por rúbricas diseñadas en consonancia con los objetivos de aprendizaje, entonces se producirán no solo una evaluación eficiente, sino el desarrollo de mejores aprendizajes gracias al uso de una AA. En Latorre y Varela señalan que las rúbricas proporcionan al estudiante una doble vía de información; por un lado, le aporta una mayor información que una simple valoración de su trabajo (entendido como feedback); por otro lado, le guía sobre cómo mejorar los logros alcanzados, generando un diálogo con el profesor y/o sus compañeros sobre los aspectos que debe acometer en el futuro (entendido como feedforward). Sullivan y McConnell (2017) piensan que crear rúbricas que evalúen aspectos claves del aprendizaje puede ser una herramienta útil para estructurar los tiempos en el proceso de enseñanza y cuando deben ser introducidas nuevas tareas de aprendizaje a los alumnos. En cambio, Prieto, Llacer y Escobar (2017) indican el uso del portfolio como uno de los instrumentos más populares para pasar de una evaluación tradicional a otra basada en AA. Este instrumento no solo evalúa el desempeño de los alumnos, sino que también mejora sus aprendizajes y ayuda a que reflexionen sobre el mismo. Otro de los aspectos tratados habitualmente, es que la evaluación no sea realizada únicamente por el profesorado y que puedan participar los estudiantes para autoevaluarse o llevar a cabo una evaluación entre iguales. Kearney, Perkins y Kennedy-Clark (2016) muestran que los estudiantes son capaces de juzgar su propio trabajo y realizar evaluaciones bastante precisas del trabajo de sus compañeros, incluso aquellos que no tenían experiencia previa en autoevaluarse o en llevar a cabo una evaluación entre iguales. Sin embargo, Santos (2017) lleva a cabo una AA en la Facultad de Farmacia en donde los estudiantes encuentran difícil evaluar sus propios trabajos o los de otros compañeros al mismo nivel que lo realizan los profesores. 67 Febriana y Arlianty (2017) analizan en la Facultad de Química en Indonesia el posible efecto de la aplicación de AA en los futuros profesores. La herramienta de AA utilizada consistía en revisar aspectos de conocimientos, actitudes, auto-eficacia y evaluación entre iguales. Los resultados muestran mejoría en todos los aspectos señalados anteriormente. Por su parte, James y Casidy (2018) señalan que la aplicación de una AA en una muestra de 120 alumnos en la Facultad de Negocios genera actitud y comportamientos positivos hacia las tareas propuestas. Por último, Nguyen (2017) lleva a cabo un estudio en un módulo sobre pedagogía en Vietnam dirigido a futuros maestros, siendo parte de su formación inicial del profesorado. Para ello se implementan tres tareas de AA en la que los futuros docentes perciben que la AA influenció y cambió sus estrategias de aprendizaje y motivación, sus competencias profesionales y su identidad como profesores. Ghosh, Bowles, Brooks y Ranmuthugala (2017) realizan una revisión de estudios AA, señalando que la tónica general es la falta de validez y fiabilidad de los mismos. Por ello, piensan que, si los aspectos de validez y fiabilidad de las prácticas AA son mejoradas desde una visión holística de la realidad, la evaluación del programa y el desarrollo de tareas por parte de los estudiantes en el lugar de trabajo pueden mejorar significativamente. 2.3.3. Aspectos clave de la revisión bibliográfica internacional de conceptos relacionados con “Formative Assessment in Higher Education” Como se mencionó anteriormente, la búsqueda ha sido realizada en dos periodos: (1) hasta el año 2013 de los conceptos: FA, ALA, AFL, EA y SA; y, (2) hasta mayo del 2018 de LOA y AA. De la búsqueda realizada hasta 2013 en tres bases de datos internacionales (ERIC, WOS y Google Schoolar) sobre los conceptos: FA, ALA, AFL, EA y SA, hemos seleccionado 58 documentos de los 188 documentos encontrados sobre FA-HE en la literatura internacional especializada. El término del que más documentos se han seleccionado ha sido el de FA-HE, con 22. Esto puede ser debido a que es la forma más común de denominar a este tipo de evaluación. Los otros conceptos buscados también tienen bastantes documentos seleccionados (36), pero en la mayoría de las ocasiones son términos que subyacen del concepto general de FA-HE. Del resto de conceptos: SA, 68 AFL, EA, y ALA, se han seleccionado: 12, 9, 8 y 7 documentos respectivamente. En el caso de SA (12) es debido a que engloba tres términos dentro ese concepto, donde los documentos más numerosos son los relacionados con peer-assessment. En AFL (9), se debe a la relación existente entre evaluación y aprendizaje. En EA (8), donde el uso de nuevas tecnologías en todos los contextos sociales ha sufrido un incremento exponencial, ya que las nuevas tecnologías pueden ofrecen nuevos recursos para llevar a cabo una FA en el aula. Y, por último, ALA (7) es un término utilizado para complementar al de FA e, incluso, algunos documentos lo usan como sinónimos; además, se identifican las prácticas evaluativas alternativas como la antítesis de las denominadas prácticas evaluativas sumativas-tradicionales. De los conceptos: FA, ALA, AFL y EA se han seleccionado 46 documentos, de los que se pueden concluir varias temáticas de estudio predominantes: (1) comparación entre sistemas de evaluación FA-ALA frente a sumativo-tradicional, habiendo cierta confusión en las características y definición de ambos, lo que implica denominar algunas prácticas evaluativas erróneamente; (2) introducción de un sistema de FA: ventajas y desventajas, los alumnos aprenden más pero la carga de trabajo aumenta para profesores y alumnos; (3) introducción de métodos, procesos o instrumentos de FA-HE, entre los que se han popularizado instrumentos de evaluación como el portafolio, el portafolio electrónico, SMS desde dispositivos móviles, blogs y wikis; (4) valoración e implicación de los alumnos y profesores en procesos de FA de manera positiva, mejorando los procesos de enseñanza-aprendizaje; (5) percepción de profesores, alumnos e instituciones en la implementación de procesos de FA, con diversidad de opiniones: positivas al ver que hay más aprendizajes y otras negativas, al ser algo novedoso que implica una infraestructura y saber hacer diferentes; (6) uso y dotación de feedback para orientar el trabajo futuro de manera formativa, siendo el elemento clave que define el realizar una FA-HE; (7) uso de las nuevas tecnologías como instrumentos de FA que ayuden a mejorar el aprendizaje de los estudiantes; (8) aproximación teórica al concepto y procesos del sistema de FA, aportando definiciones y esclareciendo la base teórica del concepto; (9) evaluación alternativa a la tradicional, dirigida a mejorar los aprendizajes del alumnado y el proceso de enseñanza llevado a cabo por el profesorado; y, (10) tareas de evaluación formativa integradas como tareas de aprendizaje, proponiendo un modelo evaluativo diferente al sumativo-tradicional y 69 dejando atrás aquellas actividades evaluativas puntuales y diseñadas únicamente para calificar. En cuanto a la categoría conceptual “Shared Assessment (SA-HE)”, engloba los procesos de “self-assessment” (autoevaluación), “peer-assessment” (evaluación entre iguales) y “collaborative-assessment” (evaluación colaborativa). De los 12 documentos seleccionados, 8 de ellos tratan la peer-assessment, lo que indica la gran importancia que otorgan los autores a este proceso. Las conclusiones generales de los 12 documentos son: (1) los estudiantes están adquiriendo una mayor presencia, participación e implicación en la evaluación de sus propios aprendizajes a través de procesos como self-assessment y peer-assessment; esto es debido a que el uso de nuevos sistemas de evaluación estimula a los estudiantes a ser más responsables y reflexivos; (2) a la hora de realizar una peer-assessment, la correspondencia entre las notas que se ponen los alumnos y las que ponen los profesores es positiva cuando: los criterios de evaluación están muy bien definidos (a diferencia de los poco definidos con baja correspondencia), cuando el nivel de curso académico de los estudiantes es mayor (en detrimento de los de niveles inferiores) y dependiendo del área de estudio (donde los estudiantes de ciencias obtienen puntuaciones más altas que los de humanidades); y, (3) valoración de aspectos sociales y afectivos y no solo académicos, ya que habitualmente la evaluación tradicional ha estado centrada en valorar aspectos de índole cognitivos, dejando de lado otros ámbitos de la persona como los sociales y afectivos. De la búsqueda realizada hasta mayo de 2018 en las tres bases de datos internacionales citadas anteriormente, se han encontrado un total de 208 documentos de los conceptos: LOA-HE y AA-HE, de los que se han seleccionado 40. Del término LOA-HE se han encontrado 46 documentos y se han seleccionado 12, todos ellos están centrados en el ámbito de la enseñanza. Además, hay un gran número de referencias en las que Carless aparece como autor principal y/o es citado por otros autores. En cuanto al concepto de AA-HE se han encontrado 161 documentos y se han seleccionado 28, en comparación con LOA-HE se han encontrado un número mayor de documentos, probablemente debido a la relación que tiene con el mundo del trabajo y por ser transferible a cualquier facultad y área. Los documentos seleccionados muestran que el estado de la cuestión sobre el término LOA-HE originalmente surge de la necesidad de responder al doble deber que 70 tiene que cumplir la evaluación, en el que se tiene que combinar el proceso de aprendizaje del alumnado y la certificación al final de una asignatura y/o curso. Además, la LOA es entendida en la mayoría de estudios como diferente a la FA, intentando distanciarse del término FA, ya que señalan que este último está rodeado de cierta confusión. Para poder denominarse LOA-HE la mayoría de los documentos señalan las características que cita Carless ( 2003, 2007, 2009a, 2015a) en sus estudios: (1) las tareas de evaluación deberían ser diseñadas para estimular el aprendizaje del alumnado; (2) la evaluación tiene que implicar a los alumnos en su propia evaluación y en la evaluación de otros compañeros; y, (3) el feedback o retroalimentación ha de darse en el momento adecuado a los alumnos y que sea útil para el aprendizaje actual y futuro de los mismos. La mayoría de experiencias indican aspectos positivos en la introducción de LOA-HE en sus programas educativos. Respecto el estado de la cuestión sobre el término AA-HE, los resultados muestran que el origen del término se remonta al mundo del trabajo y a la necesidad de llevar a cabo en el aula tareas lo más similares posibles a las condiciones que se encontrarán los alumnos en sus futuros ambientes de trabajo. Sin embargo, hay otros documentos que señalan las virtudes de poder llevar a cabo una AA con una finalidad también educativa, en la que los dos grandes instrumentos de evaluación son el diseño de rúbricas acordes a los objetivos de aprendizajes y el portfolio. Además, un gran número de documentos señalan unos criterios comunes para llevar a cabo una AA: (1) llevar a cabo tareas auténticas en el aula, con características similares o iguales a las de la vida real; (2) contexto similar o mimetizado al que se encontrarán en el trabajo. La mayoría de experiencias indican que los alumnos que reciben este tipo de evaluación valoran muy positivamente: conocer el contexto de su futuro ambiente de trabajo, evaluar las habilidades que requieren las actividades que harán en la vida real y experimentar la puesta en práctica de proyectos en situaciones reales y contextos similares al del trabajo. La búsqueda realizada hasta el año 2013 es muy útil como base teórica de cómo era el estado de la cuestión de esos conceptos hasta esa fecha y habría que investigar cómo es actualmente. En este sentido, la búsqueda realizada hasta mayo de 2018 es clave en el estado actual de la evaluación en el EEES. La mayoría de revisiones bibliográficas relacionadas con FA-HE eran en inglés, antiguas y no tenían en consideración los conceptos de LOA-HE y AA-HE, que son muy utilizados actualmente 71 en la literatura internacional. Por ello, este apartado presenta una clarificación terminológica en castellano, unas características de cada concepto y un sistema de evaluación congruente con las exigencias que implica el EEES; aspectos que pueden resultar muy útiles para todo el profesorado universitario interesado en estas temáticas, así como los gabinetes de evaluación y mejora de las universidades iberoamericanas. 2.4. LA EVALUACIÓN FORMATIVA Y COMPARTIDA EN LA FORMACIÓN INICIAL DEL PROFESORADO DE EDUCACIÓN FÍSICA En los últimos años se ha investigado en profundidad sobre las competencias docentes necesarias en los procesos de enseñanza y aprendizaje, especialmente ligado a los estudios universitarios de FIP. Un grupo importante de estas competencias profesionales son las relacionadas con el tema de la evaluación, tanto las que hacen referencia a la evaluación del aprendizaje del alumnado, como a la evaluación del desempeño docente y de los procesos de enseñanza y aprendizaje en el aula. Para Perrenoud (2004) la evaluación es una competencia docente básica y, también, una de las más costosas y tediosas de la función docente, que genera miedos y reticencias, hasta el punto de que se trata de uno de los aspectos en el que más cuesta cambiar e innovar (Zabalza, 2003). Según Morgan y Hansen (2007), es la competencia en la que los maestros de educación primaria se sienten menos capaces en su práctica docente. En López-Pastor y Palacios (2012) señalan que la evaluación centrada en la calificación parece ser la que se lleva a cabo habitualmente en FIP, de manera que el concepto evaluación no se suele interpretar en su sentido más amplio y abierto, sino como un mero sinónimo reduccionista de calificación, o de cualquiera de los términos integrados en su campo semántico: nota, examen, prueba, test, control, etc. Al igual que en el resto de la universidad, en FIP la evaluación predominante durante décadas ha sido la tradicional, basada en un único examen final (Trillo & Porto, 1999; Zabalza, 2003), aunque esto parece estar cambiando en los últimos 10 años, a partir de la implantación del EEES. López-Pastor y Palacios (2013) comprueban que el profesorado universitario está avanzando hacia otros tipos de evaluación en la FIP. Concretamente, el estudio habla de que coexisten tres perfiles, en función del sistema de evaluación utilizado: (a) “tradicional” (basado solo o principalmente en examen final); 72 (b) “innovador” (sistemas de EFyC); (c) “eclético” (combina examen final con algunas características de la EFyC). El estudio muestra que los tres perfiles tienen porcentajes similares y que el factor que más influye en formar parte del perfil “innovador” es la formación permanente, especialmente la participación en proyectos de innovación docente y la asistencia a congresos y cursos especializados en la temática. Hamodi, López-Pastor y López (2017) realizan un estudio sobre la posible trasferencia entre los sistemas de EFyC vividos durante la FIP y su posterior aplicación en la práctica en la escuela. Los resultados indican que sí existe dicha trasferencia, aunque surgen obstáculos y dificultades, sobre todo en forma de diferentes tipos de resistencias por parte de algunos compañeros, estudiantes y familias. Estos maestros valoran positivamente haber tenido experiencias de EFyC durante su FIP, a pesar de haber sido pocas. También afirman que dichas experiencias les han influido positivamente a la hora de intentar desarrollar ese tipo de sistemas de evaluación cuando comenzaron a trabajar como profesores de educación física en primaria. Pueden encontrarse algunas referencias de estudios autobiográficos que explican porque algunos profesores y maestros de educación física comienzan a aplicar sistemas de EFyC en sus aulas, en contra de la tradición y la formación recibida (Córdoba, 2015; López-Pastor, 1999a, 2006; Lorente-Catalán & Kirk, 2016; Lorente-Catalán, López- Pastor & Kirk, 2018; Molina & López-Pastor, 2017). Todos ellos muestran la enorme influencia que parecen tener los procesos de formación permanente del profesorado (FPP), especialmente cuando están asociados a procesos de desarrollo profesional ligados a grupos colaborativos de investigación-acción (Córdoba et al., 2016; López- Pastor et al., 2016; Lorente-Catalán & Kirk, 2013; Pedraza & López-Pastor, 2015). En la FIP de educación física hace tiempo que existe preocupación por implantar y desarrollar nuevos sistemas de evaluación, más orientados hacía enfoques de EFyC, AFL y AA (Fernández-Balboa, 2006; López-Pastor, 2006, 2008; López-Pastor & Sicilia, 2017; Lorente-Catalán & Kirk, 2013). Algunos estudios coinciden en que el alumnado que utiliza sistemas de EFyC en FIP, en los que el feedback se da más frecuentemente, obtiene un mayor rendimiento académico que el alumnado que sigue los sistemas y vías basados en examen final (Fraile-Aranda, López-Pastor, Castejón- Oliva & Romero-Martín, 2013; López-Pastor, 2008; Lorente-Catalán & Kirk, 2013; Romero-Martín, Fraile-Aranda, López-Pastor & Castejón-Oliva, 2014). 73 2.5. LA EVALUACIÓN FORMATIVA Y COMPARTIDA EN EDUCACIÓN FÍSICA EN LA LITERATURA INTERNACIONAL: CONCEPTOS RELACIONADOS En este apartado se va a analizar tres aspectos: (1) la “Evaluación Formativa” (Formative Assessment) en educación física en la literatura internacional; (2) la “Evaluación Auténtica” (Authentic Assessment) en educación física; y, (3) la “Evaluación Para el Aprendizaje” (Assessment For Learning) en educación física. 2.5.1. “Formative Assessment” en Educación Física en la Literatura Internacional Actualmente, en educación física se están llevando a cabo dos modelos de evaluación opuestos: (a) los sistemas de evaluación que se aproximan al modelo: “tradicional-sumativo”; y, (b) los sistemas de evaluación “alternativa”, que se aproximan al modelos de FA, “Assessment For Learning” (AFL) y/o “Authentic Assessment” (AA) (López-Pastor et al., 2013). El modelo de evaluación tradicionalsumativo en educación física suele centrarse en cómo obtener la calificación del alumnado al final de un trimestre o curso y suele predominar la utilización de test de condición física y/o habilidad motriz. Por lo tanto, la nota final procede de los resultados obtenidos en dichos test, o al menos un porcentaje importante de la misma (López-Pastor, 1999a; López-Pastor et al., 2013; MacPhail & Murphy, 2017). Desgraciadamente, en educación física todavía siguen implantados mayoritariamente los modelos tradicionales de evaluación-calificación basados en la realización de test de condición física o habilidad motriz, con la única o principal finalidad de calificar al alumnado (López-Pastor, 1999a, 2006; López-Pastor et al., 2013). Sin embargo, las nuevas tendencias actuales están centradas en desarrollar sistemas de evaluación más orientados al aprendizaje del alumnado. Los modelos centrados en una FA defienden que la finalidad principal de todo proceso de evaluación debe ser la de mejorar los procesos de enseñanza-aprendizaje que tienen lugar. Dicho de otra manera, todo proceso de evaluación que sirva para que el alumnado aprenda más y para que el profesorado pueda perfeccionar su práctica docente. En este modelo la finalidad no es calificar al alumnado, sino disponer de información que permita saber cómo ayudar al alumnado a mejorar y aprender más, a la 80 La selección de los participantes se realizó mediante un muestreo no probabilístico, tomando como referencia las universidades pertenecientes a la Red Nacional de Evaluación Formativa en Educación Superior. La toma de datos fue realizada por docentes debidamente entrenados y con el permiso expreso de todos los participantes. Se ha contado con una muestra de 487 egresados (287 hombres y 200 mujeres) de las titulaciones de Magisterio (mención en Educación Física) y de Ciencias de la Actividad Física y el Deporte de diferentes universidades españolas. En la tabla 3.1 se presentan los datos organizados por sexo y centro, mientras que en la tabla 3.2 están organizados por sexo y estudios realizados. Tabla 3.1. Muestra por sexo y universidad de procedencia Hombres Mujeres Centro frecuencia % frecuencia % Segovia 11 3,9 10 5,2 Albacete 30 10,7 32 16,5 Madrid 2 ,7 4 2,1 Valencia 4 1,4 2 1,0 Valladolid 14 5,0 11 5,7 Barcelona 30 10,7 36 18,6 Vitoria-Gasteiz 19 6,8 11 5,7 Córdoba 9 3,2 12 6,2 León 26 9,3 17 8,8 Huesca 47 16,7 12 6,2 La Laguna 6 2,1 2 1,0 Lleida 40 14,2 19 9,8 Murcia-UCAM 30 10,7 19 9,8 Zamora 9 3,2 6 3,1 Murcia-UMU 1 ,4 1 ,5 Granada 1 ,4 Zaragoza 2 ,7 Total 281 100,0 194 100,0 Perdidos por sistema 6 6 Total 287 200 Fuente: elaboración propia 81 Tabla 3.2. Muestra clasificada por sexo y estudios realizados Sexo Frecuencia Porcentaje Hombre Diplomado maestro EF 44 15,4 Graduado maestro EF 49 17,2 Graduado en CAFYD-INEF 78 27,4 Licenciado en CAFYD-INEF 114 40,0 Total 285 Mujer Diplomado maestro EF 37 18,7 Graduado maestro EF 57 28,8 Graduado en CAFYD-INEF 45 22,7 Licenciado en CAFYD-INEF 59 29,8 Total 198 Fuente: elaboración propia 3.1.3. Técnicas y métodos de obtención de datos primera línea de investigación Para esta línea de investigación se utilizó un cuestionario, entendido como una técnica estructurada que permite la recogida de información mediante una serie de preguntas con respecto a una o varias variables a medir (Albert, 2009). En este caso, se utilizó un cuestionario base «ad hoc», denominado: “Las competencias docentes en la formación inicial del profesorado” (Palacios-Picos, López-Pastor & Fraile, 2018). Para diseñar la propuesta de las competencias a utilizar en el cuestionario se utilizaron las propuestas recogidas en el Libro Blanco del Título de Grado de Magisterio y del título de Grado en CCAFD (ANECA, 2005a, 2005b). De este cuestionario existen tres versiones: alumnado, profesorado y egresados. Aunque en esta investigación se utilizó la versión adaptada a los egresados. En el siguiente apartado se explica el proceso de validación seguido. El cuestionario de egresados se compone de 10 preguntas, en la tabla 3.3 se expone los ítems utilizados en el estudio. 82 Tabla 3.3. Ítems analizados Preguntas Escala 1 Cuando han utilizado metodologías activas en las asignaturas de tu carrera ¿consideras que te han ayudado a adquirir competencias docentes? 0 1 2 3 4 2 Cuando han utilizado la evaluación formativa y continua en las asignaturas de tu carrera ¿consideras que te han ayudado a adquirir competencias docentes? 0 1 2 3 4 3 Cuando tus profesores utilizaron metodologías activas en las asignaturas de tu carrera ¿consideras que te ayudaron a desarrollar en tu práctica activa competencias docentes? 0 1 2 3 4 4 Cuando tus profesores utilizaron la evaluación formativa y continua en tus asignaturas ¿consideras que ayudaron a desarrollar en tu práctica activa competencias docentes? 0 1 2 3 4 5 Cuando han utilizado la evaluación formativa y continua en las asignaturas de tu carrera ¿consideras que ello te ayudó a aprobar la oposición? 0 1 2 3 4 6 ¿Con cuánta frecuencia tus profesores utilizaron los siguientes instrumentos y procedimientos de evaluación en las asignaturas que has cursado? 0 1 2 3 4 7 ¿Cuál es tu grado de acuerdo con los siguientes enunciados? 0 1 2 3 4 8 ¿Cuál es tu agrado de acuerdo con las siguientes definiciones, en relación a cómo se establecieron las calificaciones de las asignaturas que has cursado? 0 1 2 3 4 9 Cuál es su grado de satisfacción general con la carrera realizada Del 0-10 10 Si me pidieran que recomendara a un amigo mi carrera yo le diría que lo hiciera sin pensarlo Del 0-10 Fuente: elaboración propia En la tabla 3.4 presentamos la valoración del cuestionario, en el que se ha utilizado una escala tipo Likert de 0 a 4 puntos para las preguntas del 1 al 8. Tabla 3.4. Escala Likert VALOR SIGNIFICADO 0 Nada 1 Poco 2 Medianamente 3 Mucho 4 Muchísimo Fuente: elaboración propia. Para las preguntas 9 y 10 se ha utilizado una escala de satisfacción del 0 al 10, donde el 0 es mínima satisfacción y el 10 es máxima satisfacción. En el capítulo de resultados aparecerán las medias obtenidas en cada uno de los ítems anteriores. 83 3.1.4. Técnicas de análisis de datos primera línea de investigación Para el análisis de los datos obtenidos en el cuestionario se han establecido 5 bloques temáticos que congregan las 10 preguntas del cuestionario. En la tabla 3.5 presentamos cada uno de los bloques temáticos establecidos y las preguntas que corresponden en el cuestionario. Tabla 3.5. Bloques temáticos BLOQUES TEMÁTICOS Preguntas del cuestionario Percepción de competencias docentes adquiridas. 1,2,3,4 y 5 Percepción de la frecuencia en la que los profesores utilizan instrumentos y procedimientos de evaluación durante su FIP. 6 Percepción sobre la evaluación vivida. 7 Percepción sobre la calificación vivida. 8 Grado de satisfacción con la carrera realizada. 9 y 10 Fuente: elaboración propia. 3.1.5. Validez y fiabilidad del cuestionario En esta primera línea de investigación se ha utilizado una metodología cuantitativa a la hora de su elaboración, por lo que debemos cumplir los criterios “científicos” de validez y fiabilidad del instrumento, en este caso del cuestionario utilizado. Para la elaboración de este apartado me he basado en la propuesta de Palacios- Picos, López-Pastor y Fraile Aranda (2018), en la que llevan a cabo el proceso de validación y de fiabilidad del cuestionario utilizado en la presente investigación: “Las competencias docentes en la formación inicial del profesorado”. El proceso de validación se realizó inicialmente por un grupo de investigadores de la Red Nacional de Evaluación en Educación Física quienes fueron elaborando los primeros borradores del cuestionario y seleccionando las competencias específicas a tener en cuenta en la formación inicial del profesorado de Educación Física. Todo ello hasta llegar a una primera versión del cuestionario se utilizó el listado de competencias comunes a todos los Grados de Educación Primaria, así como las competencias específicas del maestro especialista en Educación Física del Libro Blanco (ANECA, 2005b), así como el listado de competencias recogidas en el Libro Blanco para el título de Grado de CAFYD 84 (ANECA, 2005a). Con la primera versión del cuestionario se llevó a cabo una revisión de 8 jueces expertos, especializados en la FIPEF, tanto de mención de Educación Física en Primaria como del Grado de CAFYD, con un mínimo de 15 años de experiencia en FIPEF y reconocido prestigio docente e investigador. Tras el proceso de revisión y análisis de las valoraciones aportadas por los jueces expertos se obtuvo una segunda versión del cuestionario, tras agrupar, eliminar, depurar y modificar ítems, quedando con un total de 27 ítems, de los 38 iniciales. La segunda versión del cuestionario se aplicó a una muestra aleatoria de 85 alumnos de último curso de las dos titulaciones de grado específicas, de cuatro universidades diferentes. En cada una de las titulaciones los investigadores responsables repartieron un cuestionario a cada alumno, solicitándoles que indicaran los ítems cuyo significado no entendían bien o podían generar problemas o errores de comprensión. También se les solicitó que marcaran las expresiones que eran confusas y que podrían entenderse mejor si se plantearan de otra forma. Tras realizar ese proceso individual de revisión, se realizó una entrevista grupal con ellos, hablando de los problemas de comprensión encontrados y triangulando las valoraciones de cada alumno con las del resto. A partir de todas las revisiones y valoraciones aportadas, se revisó el cuestionario y se obtuvo una nueva versión del mismo, compuesta por 22 ítems, que fue considerada la escala final. Para el análisis psicométrico de la escala final de 22 ítems se ha utilizado el programa estadístico SPSS v.23 y el programa Lisrel 8.8. Con el primero se han realizado los correspondientes análisis exploratorios de los ítems buscando los posibles valores fuera de rango. Estos valores, junto con los valores perdidos (tanto los definidos por el sistema como los definidos por el usuario) fueron escasos y nunca superaron el 1% de los totales. Además, se obtuvo una primera matriz de factores. Tras este primer Análisis Factorial Exploratorio (AFE), sus factores fueron sometidos a un Análisis Factorial Confirmatorio (AFC) con el programa Lisrel 8.8. Para este cálculo se obtuvieron las correlaciones policóricas, dada la naturaleza ordinal de las variables intervinientes según el criterio de Olsson (1979). El método de estimación de los parámetros del modelo fue el de distribución asintóticamente libre, que la hace eficiente para cualquier distribución de las variables, no haciendo necesario el supuesto de 85 normalidad multivariante (Batista y Coenders, 2000). Tras dichos cálculos se obtuvieron los valores de fiabilidad final de las diferentes escalas, producto de este AFC y de la escala total. En las competencias relacionadas con los procesos de enseñanza-aprendizaje de la Educación Física resalta la importancia para el futuro docente del conocimiento de los procesos de enseñanza-aprendizaje en educación física y la adquisición de las capacidades reflexivas de estos procesos, en un contexto de inclusión educativa en el que la atención a la diversidad adquiere una especial relevancia. Todos los coeficientes son significativos y con valores de fiabilidad adecuados. Mención especial merece los valores de la prueba en su totalidad (factor FG), con un alfa de Cronbach elevado (0,859) y con los cuatro factores con cargas factoriales igualmente altas y significativas. Los indicadores de la pertinencia y validez de esta escala presentaron valores adecuados (KMO=,95; Chi-cuadrado=12492,2; p=,00). El índice de fiabilidad de la escala obtenida es alto, con un alfa Cronbach de 0,917. Considerando la escala total de competencias, existen igualmente correlaciones adecuadas entre todos los ítems y, en ningún caso, la eliminación de ítem alguno mejoraba la fiabilidad de la prueba. 3.2. METODOLOGÍA SEGUNDA LÍNEA DE INVESTIGACIÓN 3.2.1. Objetivos segunda línea de investigación 1. Conocer las razones que han llevado a una muestra intencionada de profesores de educación física de educación obligatoria (primaria y secundaria) a utilizar sistemas de “Formative Assessment” (FA), “Assessment For Learning” (AFL) y Authentic Assessment (AA) en sus clases. 2. Estudiar la influencia que ha podido tener la formación inicial y/o permanente (FIP y FPP) en el desarrollo de sistemas de FA, AFL y AA en educación física en la educación obligatoria (primaria y secundaria). 3. Conocer los motivos por los que los profesores de educación física de educación obligatoria (primaria y secundaria) utilizan instrumentos de evaluación sistematizados en vez de una observación directa no estructurada. 4. Analizar los problemas y dificultades que los profesores de educación física de educación obligatoria (primaria y secundara) encuentran a la hora de implementar sistemas de FA, AFL y AA en sus clases. 86 3.2.2. Diseño y muestra segunda línea de investigación Se ha llevado a cabo un estudio multicaso con una muestra intencional de cuatro profesores de educación física: tres de Educación Primaria y uno de Secundaria. En la tabla 3.6 se explican brevemente las características profesionales de cada uno. Tabla 3.6. Características profesionales de los entrevistados PROFESOR 1 PROFESOR 2 PROFESOR 3 PROFESOR 4 Edad 36 38 43 41 Formación inicial INEF-CAFYD INEF-CAFYD Maestro de educación física Maestro de educación física Formación complementaria Doctor Maestro de EF -Pedagogía -Cursos de Doctorado -Pedagogía -Doctor (tesis sobre EFyC) Experiencias de EFyC durante su FIP Ninguna Ninguna Ninguna Sí, en algunas asignaturas Formación permanente -Forma parte del grupo de trabajo que usan EFyC. -Contacto con gente que utiliza EFyC. -Lectura de libros y artículos. -Asistencia a congresos de evaluación. -Contacto con grupo de trabajo y colegas que usan EFyC. -Lectura de libros y artículos relacionados con la temática. -Asistencia a congresos de evaluación y metologías alternativas. -Forma parte del grupo de trabajo y colegas que usan EFyC. -Lectura de revistas de EF. -Asistencia a congresos de evaluación. -Tesis doctoral sobre EFyC en educación física en primaria. -Cursos de formación permanente. -Participa en seminario de EFyC en educación. -Asistencia a congresos. Participación en GT o en proyectos de innovación docente relacionados GT Segovia. GT Avila. GT de Segovia. GT de Segovia. Seminario EFyC en Educación. Experiencia docente 3 años en la universidad y 2 años en secundaria. 4 años en secundaria y 8 en primaria. 20 años de educación física en primaria. 12 años en educación física y otras especialidades. Cuántos cursos utilizando sistemas de EFyC o similares En secundaria 2 años. 8 años desde que lleva en primaria. 15 años mayormente en primaria. 12 años en primaria. ¿Qué ratio de Entre 16 y 24. Entre 18 y 22. Unos 25 por Unos 17-18 87 alumnos tiene? clase. alumnos por clase. Fuente: elaboración propia. Para seleccionar la muestra, los entrevistados tenían que cumplir los siguientes criterios: (a) compartir con los estudiantes los objetivos de aprendizaje y los criterios de evaluación a utilizar en la “unidad didáctica” (UD) o curso; (b) uso de técnicas, instrumentos y actividades de evaluación aplicados a situaciones reales o que tengan transferencia con la vida real fuera del aula, capaces de evaluar diferentes habilidades y competencias a aplicar en situaciones de la vida cotidiana; (c) que existan procesos de FA y feedback regular, que les ayude a entender que deben hacer para mejorar su aprendizaje; (d) implicar al alumnado en los procesos de evaluación de su aprendizaje (self-assessment, peer-assessment, co-assessment, etc). 3.2.3. Técnicas y métodos de obtención de datos segunda línea de investigación Se han llevado a cabo entrevistas en profundidad a cuatro profesores, que presentamos completas en los anexos: 1, 2, 3 y 4. Las entrevistas se inician con un primer bloque de preguntas relacionadas con características profesionales de los entrevistados; la segunda parte se centra en aspectos clave del objeto de investigación, como: qué sistema de evaluación llevan a cabo actualmente, cómo registraban la información recogida durante el proceso y los motivos que les han llevado a realizar ese tipo de evaluación. Todas las entrevistas comienzan proporcionando las garantías de anonimato y confidencialidad de las respuestas proporcionadas, además se solicita autorización para poder grabar la entrevista (Stake, 2010). El guion de la entrevista realizada se puede ver en la tabla 3.7.: Tabla 3.7. Guion entrevista en profundidad Nº PREGUNTA 1 ¿Qué entiendes por evaluación formativa/auténtica/sumativa? 2 ¿Qué instrumentos de evaluación usas? ¿Por qué esos? 3 ¿Utilizas la observación directa como principal forma de recogida de información para evaluar? o ¿Utilizas instrumentos de evaluación más estructurados? ¿Por qué utilizas unos u otros? ¿Qué ventajas e inconvenientes piensas que tiene cada sistema? 4 ¿Los instrumentos de evaluación que utilizas están integrados dentro de los procesos de enseñanza-aprendizaje? 5 ¿Las actividades de evaluación son tareas aplicables a la vida real del alumno? 88 6 ¿Cómo y cuándo das el feedback al alumno en las tareas evaluativas anteriores? 7 ¿Cómo y cuándo das el feedback en los instrumentos de evaluación que utilizas? ¿Qué aspectos valoras en esos instrumentos? 8 ¿Qué pretendes conseguir con el uso del feedback? 9 ¿Utilizas procesos de autoevaluación? ¿Cómo lo haces? ¿Con que instrumentos? ¿Por qué lo haces? 10 ¿Utilizas procesos de evaluación entre iguales? ¿Cómo lo haces? ¿Con que instrumentos? ¿Por qué lo haces? 11 ¿Utilizas procesos de evaluación compartida? ¿Cómo lo haces? ¿Con que instrumentos? ¿Por qué lo haces? 12 ¿Cuántos alumnos tienes por grupo? ¿Influye el tamaño del grupo (muchos alumnos) en qué realices un tipo de evaluación más o menos estructurada en la recogida de la información? 13 ¿Crees que en otras áreas sería más sencillo llevar a cabo una evaluación más estructurada que en educación física? ¿Por qué? 14 ¿Realizas una evaluación orientada al aprendizaje, donde todo el feedback y la evaluación están orientadas a que el alumnado aprenda más y haga las cosas mejor? 15 ¿Cómo de importante crees que es la evaluación para ti? ¿Por qué? 16 ¿Dónde has estudiado? ¿Qué tipo de formación has recibido relacionada con la evaluación? ¿Utilizas el mismo sistema de evaluación que te enseñaron? ¿Por qué? 17 ¿Qué tipo de evaluación viviste en tu formación inicial (sumativa, formativa, examen final, continua, participación alumnado en evaluación, etc.)? ¿Crees que la evaluación vivida te ha influido en la evaluación que luego tú has utilizado con tu alumnado en la escuela? 18 Si no has vivido sistemas de evaluación formativa y/o compartida durante tu formación inicial… ¿Por qué luego la has desarrollado como profesor-a? ¿Cómo has llegado a ese tipo de prácticas (evaluación formativa, evaluación orientada al aprendizaje, evaluación compartida, evaluación auténtica…? ¿Qué tipo de formación permanente es la que la que te ha llevado a utilizar ese tipo de evaluación formativa (lecturas, cursos, congresos, talleres, diálogos con compañeros, seminarios, grupos de trabajo, proyectos formativos en centro, etc….? 19 ¿Cuántos años tienes? 20 ¿Cuál es tu formación inicial con la que accediste a la profesión? 21 ¿Tienes más formación complementaria? 22 ¿Qué experiencias de evaluación formativa has tenido en tu formación? 23 ¿Cómo te formas actualmente? ¿Qué actividades están relacionadas con la evaluación? 24 ¿Has tenido otras experiencias profesionales? 25 ¿Participas en grupos de trabajo (GT) o de innovación docente? 26 ¿Cuántos años llevas realizando evaluación formativa y compartida? Fuente: elaboración propia. 89 3.2.4. Técnicas de análisis de datos segunda línea de investigación Para analizar los datos se ha llevado a cabo un proceso de transcripción de las entrevistas, codificación y categorización de los datos recogidos. En la tabla 3.8 se presenta el sistema de categorías y subcategorías utilizado. Tabla 3.8. Categorías elaboradas para el análisis de datos CATEGORÍAS SUBCATEGORÍAS 1-Utilización de AFL y AA en las clases de educación física. 1.1-Compartir con los estudiantes los objetivos de aprendizaje y los criterios de evaluación a utilizar en la “unidad didáctica” (UD) o curso. 1.2-Uso de técnicas, instrumentos y actividades de evaluación aplicados a situaciones reales o que tengan transferencia con la vida real fuera del aula, capaces de evaluar diferentes habilidades y competencias a aplicar en situaciones de la vida cotidiana. 1.3-Procesos de FA y feedback regular, que les ayude a entender que deben hacer para mejorar su aprendizaje. 1.4-Implicar al alumnado en los procesos de evaluación de su aprendizaje. 2-Utilización de sistemas de AFL y AA, más allá de la simple observación no estructurada. 2.1-Cómo se registran las observaciones. 2.2-Ventajas de registrar la observación 2.3-Inconvenientes para registrar la observación. 3- Papel de la FIP en la realización o no de prácticas de AFL y AA. 3.1- Evaluación vivida durante la FIP y evolución hasta el tipo de evaluación actual. 3.2-Formación recibida/realizada hasta la situación actual. Fuente: elaboración propia 3.2.5. Criterios de rigor segunda línea de investigación El rigor metodológico es un requisito de todas las investigaciones, que permite asegurar si el estudio se ha realizado adecuadamente como para poder establecer unas conclusiones. Para llevar a cabo este apartado me voy a basar en el trabajo de Guba (1983), quien cita cuatro aspectos que toda investigación científica ha de cumplir: “valor de verdad”, “aplicabilidad”, “consistencia” y “neutralidad”. Además, diferencia entre términos científicos y naturalistas, dependiendo si la investigación es de índole cuantitativa o cualitativa. En tabla 3.9, se presenta una clasificación de los términos. 96 Tabla 4.2. Percepción de los egresados sobre la frecuencia con que los profesores han utilizado los siguientes instrumentos y procedimientos de evaluación durante su FIP ITEMS MEDIA dt MEDIA NA 1 Observación del profesor en clase (fichas de observación) 1,93 1,172 2,00 2 El control de la participación en el aula (en grupos y debates) 2,29 1,088 2,00 3 Examen tipo test. 2,96 1,096 3,00 4 Examen de preguntas abiertas 2,57 1,087 3,00 5 Examen de preguntas cortas (explicaciones breves) 2,64 ,977 3,00 6 Examen de preguntas cerradas (definiciones) 2,00 1,158 2,00 7 Exámenes escritos dejando disponer de documento ,98 1,031 1,00 8 Exámenes orales ,93 1,058 1,00 9 Pruebas prácticas de carácter físico (ejercicios físicos, situaciones de juego…) 2,19 1,216 2,00 10 Portafolios 2,11 1,277 2,00 11 Cuadernos de campo (o fichas de sesiones prácticas) 2,54 1,056 3,00 12 Informes o trabajos escritos 3,25 ,895 3,00 13 Ensayos a partir de textos escritos o materiales audiovisuales 2,12 1,123 2,00 14 Proyectos de aprendizaje tutorados 1,94 1,205 2,00 Fuente: elaboración propia. Los “informes o trabajos escritos” y “los exámenes tipo test” son los instrumentos de evaluación con medias de utilización más altas (3,25 y 2,94 respectivamente) en una escala del 0 al 4, donde 0 es muy poco o nada y 4 es mucho. Por lo que, la opinión de los egresados al respecto es que los dos instrumentos se utilizan bastante durante la carrera. En cuanto a los “informes o trabajos escritos” es el ítem con la media más alta, esto puede ser debido a la introducción EEES y los créditos ECTS, ya que implican una carga lectiva no presencial en el alumnado para desarrollar los contenidos de la asignatura. En otros estudios, como el de Gutiérrez-García, Pérez- Pueyo & Pérez-Gutiérrez (2013), después de haber analizado diferentes instrumentos de evaluación encontraron que los “informes o trabajos escritos” era el instrumento de evaluación más utilizado. En este sentido, una manera habitual de registrar la información del trabajo realizado fuera del aula es a través de un documento escrito, en el que se registren los aprendizajes exigidos al alumnado y que posteriormente puede ser evaluado y, casi siempre, calificado. En la misma línea, Fraile y Cornejo (2012) 97 consideran los informes adecuados para estructurar el aprendizaje y llevar a cabo una evaluación continua y formativa. Otros trabajos (Cañadas, Santos-Pastor & Castejón, 2018; Palacios-Picos & López-Pastor, 2013) señalan que en estos casos no solo se realizaría un único examen final para calificar la asignatura, ya que los “informes o trabajos escritos” tendrían su peso en la calificación final del alumnado. Sin embargo, en la mayoría de las veces tendrían poco peso en la nota definitiva (Palacios-Picos & López-Pastor, 2013) y suelen utilizarse como complemento para valorar el trabajo continuo del alumnado (Cañadas, Santos-Pastor & Castejón, 2018). En cuanto a los “exámenes tipo test”, es probable que ocupen la segunda opción más valorada por tres motivos: (1) son la forma más habitual de entender la evaluación en la universidad, cuando se utiliza el sistema de examen final, que se lleva a cabo para obtener la calificación del alumnado en la asignatura; (2) son muy fáciles de corregir, evitando perder una gran cantidad de tiempo; y, (3) se entienden como instrumentos de evaluación “objetivos”, ya que se obtiene una nota numérica y/o porcentaje matemático, evitando reclamaciones del alumnado y problemas de interpretación en las revisiones de examen. Por tanto, estos resultados son una muestra de la tradición que arrastra la universidad desde hace muchas décadas, en los que la única o principal forma de evaluación ha sido la realización de un examen final (Fernández-Pérez, 1989; Trillo & Porto, 1999b; Zabalza, 2003). Además, parece haber una falta de acuerdo en la manera de percibir el proceso de calificación por parte de profesorado y alumnado, entendiendo este último el examen final como único instrumento válido para la calificación final cuando el profesorado pensaba que llevaba a cabo un proceso diferente (Gutiérrez- García et al. 2011). Esta tradición parece estar cambiando a partir del año 2005, con el proceso de convergencia hacía el EEES, al menos en las titulaciones de FIP (López Pastor, 2012; Palacios-Picos & López-Pastor, 2013). En Palacios-Picos y López-Pastor (2013) y Palacios, López y Barba (2013) se comprueba como en la segunda década del siglo XXI parecen existir tres tipos de profesores universitarios claramente diferenciados en la forma de entender y utilizar la evaluación en la FIP: (1) “el profesorado orientado a la calificación” que usa mayoritariamente sistemas de evaluación tradicionales; (2) “el profesorado innovador” que lleva a cabo habitualmente 98 sistemas de evaluación formativos; y, por último, (3) “el profesorado ecléctico de asignaturas de práctica motriz” que mezcla ambos sistemas de evaluación. En el otro lado de la balanza, los “exámenes orales y los exámenes escritos en los que se pueda disponer del documento” son claramente los dos instrumentos de evaluación que obtienen una media más baja (0,93 y 0,98) en comparación con el resto de instrumentos y procedimientos de evaluación. En ambos casos, existe consenso en otros estudios en los que consideran que la calificación casi nunca se obtiene sin exámenes, siendo concretamente el uso de exámenes orales el menos utilizado (Hamodi-Galán, López-Pastor & López-Pastor 2015). Incluso, otros estudios señalan que los exámenes orales y los exámenes escritos dejando disponer de documentos siguen estando muy por debajo del resto de tipologías de exámenes estudiadas (Arribas, Manrique & Tabernero, 2016; Cañadas, Santos-Pastor & Castejón, 2018). Los “exámenes orales” no se suelen llevar a cabo por varios motivos, los dos más importantes son los siguientes : (1) se requiere de demasiado tiempo, hay que ir de uno en uno y tener un espacio específico para su realización (un aula donde estén solo examinador y examinado); (2) no quedan evidencias físicas de su realización en caso de reclamaciones, por lo que su uso implicaría el trabajo de grabar en audio cada uno de los exámenes, guardarlos en un medio digital y clasificarlos para las posibles reclamaciones que pudieran surgir. En ambos casos, tanto los “exámenes orales” como “los exámenes escritos en los que se pueda disponer del documento”, son instrumentos de evaluación que se interpretan como “subjetivos” en sistemas de evaluación tradicionales. Uno de los motivos suele ser que es difícil obtener una calificación utilizando ese tipo de instrumentos, y en el caso de obtenerla, le suelen otorgar menos valor que al examen tradicional, ya que piensan que el alumnado se esfuerza menos y que estudian menos para este tipo de pruebas. Además, puede que el profesorado no tenga experiencia con este tipo de pruebas y/o que le genere cierta inseguridad, por lo que prefiere no utilizarlos en su práctica docente. Por otro lado, “el examen de preguntas cortas”, “examen de preguntas abiertas” y “los cuadernos de campo”, forman un grupo de instrumentos y procedimientos de evaluación con medias bastante altas (entre 2,64 a 2,54). No parece sorprendente la 99 inclusión de otras tipologías de examen con medias altas, ya que sigue siendo la manera más habitual de entender la evaluación en los sistemas de evaluación tradicionales y su uso está muy extendido entre el profesorado universitario como medio para calificar al alumnado. En este sentido, Dochy, Segers y Dierick (2002) consideran que el reto más importante de las universidades es pasar de una cultura del examen a una cultura de la evaluación, entendiendo esta última como una evaluación formativa. Por otro lado, se ha ido variando el “apellido” que se pone a los “exámenes”; esto puede ser debido a las creencias que tiene el profesorado sobre cuál es el formato más adecuado para evaluar los contenidos de la asignatura. Sin embargo, sí parece lógico que los cuadernos de campo obtengan una media alta, ya que es un instrumento de evaluación que se ha relacionado estrechamente con el denominado “profesorado reflexivo”. Así, es habitual llevar a cabo prácticas fuera del aula y dentro de las propias asignaturas, sobre todo en las que tienen un enfoque más práctico, por ejemplo en todas las específicas de educación física. Todos estos aspectos desarrollados debían quedar reflejados en algún instrumento de evaluación que pueda recoger información sobre lo que está sucediendo. En otros estudios, ya se mencionan el uso de cuadernos de campo como instrumento que mejora las competencias docentes y estructura una evaluación formativa y continua (Buscà, Pintor, & Peire, 2010; Fraile & Cornejo, 2012; Vallés- Rapp, Martínez-Mínguez & Romero-Martín, 2018). Por otro lado, Palacios y López (2013) muestran la evolución del profesorado universitario durante los últimos años, estableciéndose actualmente 3 grupos con una representación equitativa: (1) el profesorado que usa mayoritaria instrumentos de evaluación y/o calificación cercanos a sistemas de evaluación tradicionales; (2) profesorado que lleva a cabo instrumentos de evaluación formativos; y, (3) que podría ser el caso, profesorado ecléctico que mezcla instrumentos de evaluación de índole tradicional con otros de carácter formativo, como los “cuadernos de campo”. Por último, forman un grupo con unas medias cercanas a 2 (entre 1,93 y 2,29): “observación del profesor en clase (fichas de observación)”,“control de la participación en el aula (en grupos y debates)”, “examen de preguntas cerradas (definiciones)”, “pruebas prácticas de carácter físico (ejercicios físicos, situaciones de juego,…)”, “portafolios”, “ensayos a partir de textos escritos o materiales audiovisuales” y los “proyectos de aprendizaje tutorados”, representando 7 de los 14 ítems estudiados. Una posible explicación está relacionada con la evolución de la evaluación en el profesorado 100 universitario, pasando de la exclusiva utilización de exámenes a otros instrumentos de evaluación cercanos a sistemas de evaluación formativos. Un ítem que llama la atención, por su uso en el ámbito universitario son “las pruebas de carácter físico”, ya que otros estudios señalan que se usa poco en general (Vallés-Rapp, Martínez-Mínguez & Romero-Martín, 2018) y que donde se realiza más frecuentemente en los CCAFD, lo cual está en línea con las particularidades de esa titulación ya que tiene más asignaturas de contenidos de práctica física que el Grado de Maestro con mención en educación física. Este instrumento de evaluación ha tenido una larga tradición en etapas anteriores, como primaria y secundaria, para valorar la capacidad motriz del alumnado, entendido en la mayoría de las ocasiones como test de condición física o ejecución motriz, en los que se usaba un criterio normativo para establecer las calificaciones (López-Pastor, 1999b). Sin embargo, sorprende que se siga realizándose en la etapa universitaria para evaluar y/o calificar las destrezas motrices del alumnado universitario, siendo una propuesta que sigue la creencia errónea de que para enseñar un gesto motriz tengas que ser un ejecutor hábil de dicho gesto motor (Córdoba et al., 2016, 2018); en este caso se traduciría que para poder ser maestro de educación debes ser un alumno con altas capacidades físicas. En cuanto a los instrumentos de evaluación: el examen de preguntas cerradas, las pruebas de carácter físico y los ensayos a partir de textos o material audiovisual, son instrumentos habitualmente utilizados en sistemas de evaluación tradicionales. 4.1.3. Percepción sobre la evaluación vivida El bloque 3 muestra la opinión que tienen los egresados sobre ciertos aspectos relacionados con la evaluación recibida en su FIP (ver tabla 3). Tabla 4.3. Percepción sobre la evaluación vivida ITEMS MEDIA dt MEDIA NA 1 La interacción entre profesores y estudiantes favorece el proceso de evaluación 3,51 ,750 4,00 2 La realización de las pruebas de evaluación se anunciaron con suficiente tiempo de antelación 3,14 ,811 3,00 3 Las pruebas de evaluación parten de un acuerdo con el alumnado. 1,67 1,238 2,00 101 4 La recogida de información para la evaluación nos genera tensión y nerviosismo 2,52 1,082 3,00 5 La recogida de información para la evaluación fomenta la motivación para el aprendizaje 2,32 1,075 2,00 6 La evaluación positiva repercute en la autoestima del/a estudiante 3,46 ,687 4,00 7 El conocimiento previo del sistema de evaluación favorece el proceso de aprendizaje del/a estudiante 3,27 ,861 3,00 Fuente: elaboración propia. Como puede verse en la tabla 3, hay cuatro ítems que sobresalen del resto por tener una media muy alta(con 3,51; 3,46; 3,27 y 3,14 en una escala del 0 al 4), lo cual indica un elevado grado de acuerdo; son: “La interacción entre profesores y estudiantes favorece el proceso de evaluación”, “la evaluación positiva repercute en la autoestima del/a estudiantes”, “el conocimiento previo del sistema de evaluación favorece nuestro proceso de aprendizaje del/a estudiante” y “la realización de las pruebas de evaluación se anunciaron con suficiente tiempo de antelación”. De los cuatro ítems, el primero, tercero y cuarto son aspectos relacionados con sistemas de evaluación formativa y continua. En el caso del primer ítem, parece que cuando existe una interacción entre profesores y estudiantes se genera un clima de aula positivo que ayuda al proceso de aprendizaje y evaluación del alumnado, especialmente en FIP (Vallés-Rapp, Martínez- Mínguez & Romero-Martín, 2018). Además, en sistemas de evaluación tradicionales la información suele fluir de manera unidireccional, en la que el profesor emitía un mensaje y alumnado lo recibía, no existiendo otras posibles opciones. Por lo que parece, cuando el alumnado puede interaccionar con el profesorado crea un vínculo positivo hacia el aprendizaje de la asignatura. El segundo ítem hace referencia a procesos que son lógicos y habituales, en el sentido de que una evaluación positiva repercute en la autoestima del alumno. Parece existir una estrecha relación entre dar un refuerzo positivo al alumnado y la posibilidad de que repita esa conducta en el futuro. Esto puede ser debido a que cuando se tiene en cuenta el aspecto emocional del alumnado aumenta la probabilidad de adquirir aprendizajes en otros ámbitos. En este caso, los refuerzos dirigidos a mejorar la motivación del alumnado, como puede ser a través de una evaluación positiva fomenta una actitud positiva del estudiante hacia futuros aprendizajes (Romera, 2016). 102 El ítem “el conocimiento previo del sistema de evaluación favorece nuestro proceso de aprendizaje del/a estudiante”, hace referencia a que el hecho de que el alumnado conozca previamente las reglas del juego y que sea una evaluación transparente ayudan a su proceso de aprendizaje. Un posible motivo puede ser que los egresados piensan que un proceso de evaluación transparente y dialógico retroalimenta positivamente el proceso de aprendizaje, ya que, entre otros motivos, los egresados ven la evaluación como un proceso más justo y equitativo para todos (Fraile & Cornejo, 2012). Además, la evaluación se convierte en un proceso orientado y regulador del aprendizaje del alumnado, ya que si conocen previamente los aspectos mediante los que vas a ser evaluados, también tienen más probabilidades de hacer mejor sus tareas y por tanto de obtener una buena calificación (Zaragoza, Luis & Manrique, 2008). En el ítem: “el conocimiento previo del sistema de evaluación favorece el proceso de aprendizaje del/a estudiante”, cuando las pruebas de evaluación se conocen con suficiente tiempo de antelación el alumnado puede preparar mejor las pruebas, siendo la seguridad un factor clave a la hora de enfrentarse a cualquier prueba de evaluación. Como señalan algunos autores, cuando el alumnado conoce desde el inicio la estructura de la asignatura, así como los procedimientos de evaluación y calificación, promueve en ellos una sensación de seguridad sobre lo que se le va a exigir (Castejón, López-Pastor, Julián & Zaragoza, 2011). Los ítems: “la recogida de información para la evaluación nos genera tensión y nerviosismo” y “la recogida de información para la evaluación fomenta la motivación para el aprendizaje”, son dos ítems con medias altas (2,52 y 2,32 respectivamente) pero menores que los ítems analizados previamente. En ambos casos, reflejan la percepción de los egresados ante una misma situación pero con fines diferentes. En el primer caso, la finalidad es la evaluación del alumno, entendida esta como una calificación en la que el alumnado se juega “una parte” de la asignatura, e incluso, en algunas ocasiones, el aprobar o suspender la misma. Así, en el primer caso, que la recogida de información para una posterior evaluación sea recibida con nerviosismo, puede ser debida a que esa posterior evaluación/calificación sea clave para aprobar la asignatura, ya que parece lógico que ante una situación de esa importancia el alumnado se sienta estresado. Sin embargo, en el segundo caso, la recogida de evaluación podría fomentar la motivación para el aprendizaje, ya que el alumnado lo entiende como un momento muy importante 103 en el que es necesario “estudiar” y/o “hacerlo bien” para obtener la mejor calificación posible. Por último, el “ítem las pruebas de evaluación parten de un acuerdo con el alumnado” es el que tiene la peor media de todos los analizados con 1,67. Una posible explicación es la opinión de que el profesorado es el único capacitado para realizar una evaluación del alumnado, ya que es quien tiene los conocimientos sobre la asignatura. Desde esta creencia, cercana a modelos de evaluación sumativos, no tiene cabida que el alumno pueda opinar, ni mucho menos decidir, cuáles serán las pruebas por las que será evaluado-calificado. Este aspecto parece corroborarse en otros estudios (Cañadas, Santos-Pastor & Castejón, 2018) en los que la implicación y participación del alumnado en su proceso de aprendizaje y evaluativo es escaso. Además, está participación e implicación del alumnado en su propia evaluación ha tenido una escasa tradición en la FIP, afectando al posterior desempeño de los egresados cuando son docentes, siendo habitual la replicación del mismo sistema de evaluación que ellos habían vivido. En este sentido, otros trabajos corroboran que es poco habitual que los egresados lleven a cabo sistemas de evaluación formativos si en su FIP no las han realizado con ellos (Hamodi, López-Pastor & López, 2017). Por otro lado, los egresados que deciden cambiar a otros tipos de prácticas evaluativas, más relacionadas con sistemas de evaluación formativos, suele ser por la convicción personal de que su sistema de evaluación aplicado en el aula no está en concordancia con sus creencias educativas. Pueden encontrarse algunas referencias de estudios autobiográficos que explican porque algunos profesores y maestros de educación física comienzan a aplicar sistemas de EFyC en sus aulas, en contra de la tradición y la formación recibida (Córdoba, 2015; López-Pastor, 1999b, 2006; Molina & López, 2017). Todos ellos muestran la enorme influencia que parecen tener los procesos de formación permanente del profesorado, especialmente cuando están asociados a procesos de desarrollo profesional ligados a grupos colaborativos de investigación-acción (Córdoba et al., 2016; López-Pastor et al., 2016; Lorente & Kirk, 2013; Pedraza & López-Pastor, 2015). 4.1.4. Percepción sobre la calificación vivida En el bloque 4 se analizan varias cuestiones relacionadas con la calificación y la visión de los egresados hacia las mismas. Mostramos los datos en la tabla 4.4. 104 Tabla 4.4. Percepción sobre la calificación vivida Fuente: elaboración propia. Llama la atención la existencia de dos bloques de ítems claramente diferenciados. En un primer bloque, solo uno de los 5 ítems muestra una media alta (3,25): “la calificación la decidía el profesor a partir de la evaluación”. En el segundo bloque estarían el resto de ítems, todos ellos con medias bajas (entre 1,30 a 1,04): “el alumnado se autocalificaba (parcial o totalmente)”, “se calificaba de forma dialogada y consensuada, entre profesorado y alumnado (parcial o totalmente)”, “se calificaba a partir de la autoevaluación (parcial o totalmente)” y “se calificaba a partir de la coevaluación, entre compañeros (parcial o totalmente)”. En todos los casos, los egresados piensan mayoritariamente que la calificación era decidida por el profesor y que son prácticas en las que habitualmente no han participado. Esto puede ser debido a que tradicionalmente era poco habitual que la calificación fuera decidida por el alumnado, siendo el profesor quien decidía la calificación de la asignatura. En este sentido, son varios los estudios que indican que la participación de los alumnos en su propio proceso de evaluación y calificación a través de la autoevaluación, la co-evaluación, la autocalificación o la calificación dialogada es prácticamente inexistente. (Arribas, Carabias & Monreal, 2010; Gutiérrez-García et al., 2011; Hamodi- Galán, López-Pastor & López-Pastor, 2015; Ruiz-Gallardo, Lara, & Ortín, 2013). En general, los 5 ítems señalan una visión similar de los egresados hacia aspectos relacionados con la calificación, que parecen indicar que es el profesorado el que decidía prácticamente todas las cuestiones importantes a la hora de calificar al ÍTEMS MEDIA dt MEDIA NA 1 La calificación la decidía el profesor a partir de la evaluación 3,25 ,815 3,00 2 El alumnado se autocalificaba (parcial o totalmente) 1,30 1,098 1,00 3 Se calificaba de forma dialogada y consensuada, entre profesorado y alumnado (parcial o totalmente) 1,04 1,126 1,00 4 Se calificaba a partir de la autoevaluación (parcial o totalmente) 1,14 1,105 1,00 5 Se calificaba a partir de la coevaluación, entre compañeros (parcial o totalmente) 1,25 1,020 1,00 105 alumnado. Esta perspectiva evaluativa es bastante común en sistemas de evaluación tradicionales. Esto puede ser debido a la época en la que estudiaban los egresados en la universidad la implementación del EEES estaba en proceso, por lo que la utilización de sistemas de evaluación formativos, participativos y centrados en el aprendizaje del alumnado todavía no eran utilizados habitualmente. Sin embargo, en la actualidad solo un tercio del profesorado universitario lleva a cabo sistemas de evaluación formativos (Palacios-Picos y López-Pastor, 2013). Incluso, hay estudios recientes que indican que sigue predominando la hetero-evaluación y hetero-calificación del alumnado y que el número de instrumentos de evaluación utilizados han aumentado pero que sigue preponderando la utilización de los que tienen un carácter más tradicional (Cañadas, Santos-Pastor & Castejón, 2018; Gutiérrez-García, Pérez-Pueyo & Pérez-Gutiérrez, 2013; Martínez Muñoz, Pastor & Castejón Oliva, 2017). 4.1.5. Grado de satisfacción con la carrera realizada El bloque 5 muestra varios aspectos generales sobre la carrera realizada que tienen que ver con el grado de satisfacción por la misma (ver tabla 5). Tabla 4.5. Grado de satisfacción con la carrera realizada (escala del 0 al 10) Fuente: elaboración propia. El grado de satisfacción con la carrera tiene una media de 6,15, que aun siendo positiva no es excesivamente alta. Según mi experiencia como alumno, la FIP puede resultar bastante divertida, fácil de aprobar y en la que se establecen relaciones sociales de amistad y camaradería con otros compañeros. Sin embargo, serían necesarios más estudios al respecto, con los que poder conocer más razones, como podría ser el buen trato recibido en la carrera por parte del profesorado. En otros estudios como en Sonlleva, Martínez y Monjas (2018) señalan una relación entre profesores y estudiantes en la que fluya el diálogo, la empatía y las necesidades que el estudiante tiene en su proceso formativo mejoran los resultados en su evaluación del alumnado, pero no ÍTEMS MEDIA dt MEDIA NA 1 Cuál es su grado de satisfacción general con la carrera realizada 6,15 2,387 7,00 2 Si me pidieran que recomendara a un amigo mi carrera yo le diría que lo hiciera sin pensarlo 5,90 2,773 6,00 112 En la autoevaluación les suelo devolver todo con observaciones sobre todo sí tiene algo contrario a lo que tengo yo apuntado, para saber si está el alumno de acuerdo o no. Dejo 1 o 2 sesiones al final del trimestre para hacer entrevistas con ellos. Les llamo individualmente, les pregunto las sensaciones que han tenido durante el trimestre y viendo cómo han trabajado les pregunto qué nota consideran ellos que sería justa y yo les digo si me parece o no justa (E2). La autoevaluación es uno de los elementos básicos para que los estudiantes sean conscientes de su nivel de aprendizaje y partícipes de su propia evaluación (Black & Wiliam, 1998). Sin embargo, es un recurso poco utilizado por los maestros y profesores debido al desconocimiento de este recurso y por la desconfianza que genera que los alumnos puedan participar activamente en su evaluación. Otro aspecto importante es la necesidad de no convertir la autoevaluación en un momento puntual dentro del proceso evaluativo, restando de esta manera parte de su potencial formativo (López-Pastor et al., 2013; Sanmartí, 2007); por ello, es preferible que existan procesos de autoevaluación durante todo el proceso, para que los estudiantes puedan revisar su trabajo continuamente y no solo al final (Black & Wiliam, 2009). Algunos autores señalan que la calificación no es un paso necesario e, incluso, que puede ser contraproducente en los procesos de enseñanza y aprendizaje, ya que los alumnos dejan de fijarse en los aspectos realmente importantes del aprendizaje y dan prioridad a la calificación (Black & Wiliam, 2009; López-Pastor, 2006; López-Pastor et al., 2008, 2013; Sanmartí, 2007). En todo caso, los estudios parecen indicar que si se otorga al alumnado la responsabilidad de la autocalificación, suele aportar beneficios para el alumnado: mayor responsabilidad sobre sus propios aprendizajes y mejora en el desarrollo de las tareas (Herranz & López-Pastor, 2014; López-Pastor, Herranz & Mínguez-Gómez, 2018; Carless, 2015a); en cambio, parece que es negativo realizar procesos de co-calificación, dado que el aspecto emocional suele influir poderosamente y disminuye la fiabilidad de la valoración (Sanmartí, 2007; López-Pastor et al., 2008, 2013). 4.2.2. Utilización de sistemas de AFL y AA, más allá de la simple observación no estructurada En este apartado se van a analizar los resultados a partir de las siguientes subcategorías: (1) cómo se registran las observaciones; (2) ventajas de registrar las observaciones; (3) inconvenientes para registrar las observaciones. 113 4.2.2.1. Cómo se registran las observaciones La mayoría de los profesores utilizan la observación directa como técnica habitual e inevitable de recogida de información. Para registrar la información utilizan distintos instrumentos de evaluación. La mayoría disponen de instrumentos semiestructurados o no estructurados para el maestro, del tipo: cuaderno del profesor, diario del maestro, tablet, rúbricas, etc.: Utilizo la observación directa, es inevitable; la cual es registrada en el cuaderno del profesorado, salvo los días que tenga rúbrica para registrar la información, que usaría este instrumento (E1). Un cuaderno del profesorado (es un archivo dentro de la Tablet), con un apartado de observaciones donde suelo escribir algo (E2). Diario del maestro nada estructurado; lo uso como anecdotario, algo que quiero apuntar o destacar de ese grupo de alumnos, o bien las vivencias mías como maestra, etc. (E3). Un cuaderno diario del profesor, en la que yo anotaba los aspectos más importantes que consideraba, en él iba poniendo: esta sesión ha salido bien, nada, se ha cumplido con lo esperado. Si sucedía alguna cosa, anotaba por qué no se hace la sesión, o si hay algún conflicto (E4). Además, todos los maestros disponen de otros instrumentos de evaluación más estructurados para recoger la información de la observación directa. Reflejan los aspectos-clave que se desean valorar de cada UD. Por ejemplo: rúbrica, fichas de seguimiento individual y grupal, escalas verbales o numéricas, listas de control, etc. Tengo las fichas de seguimiento, los observo a los alumnos en base a eso, salvo que pase algo extraordinario que también lo recojo (E3). En las fichas de observación (seguimiento grupal) utilizaba unas observaciones muy básicas para señalar si los ítem y objetivos se iban cumpliendo y el grado de cumplimiento: escala muy básica: muy bien, bien, regular, mal. Y si estaba conseguido o no estaba conseguido el objetivo que nos planteábamos (E4). Estos datos entran en contradicción con los estudios que afirman que los maestros de educación física suelen utilizar la observación directa como medio para evaluar a su alumnado, pero no suelen registrar esa información en instrumentos concretos de evaluación, debido al tiempo necesario para poder realizarlo y a una ratio de estudiantes por clase excesiva (Mintah, 2003). En cambio, los cuatro profesores si utilizan cierta variedad de técnicas e instrumentos de EFyC que permiten ir recogiendo 114 datos de la observación directa. Pueden encontrarse resultados similares en trabajos anteriores (Herranz & López-Pastor, 2014; López-Pastor, 2006; López-Pastor et al., 2008; MacPhail & Halbert 2010; Desrosiers et al., 1997), así como recopilaciones de diferentes instrumentos de recogida de información a partir de la observación directa, con ejemplos de experiencias ya contrastadas (López-Pastor & Pérez-Pueyo, 2017). Además, puede observarse que algunos profesores están comenzando a utilizar las TIC en los procesos de AFL y/o AA. De forma que sustituyen el tradicional cuaderno del profesorado en papel por herramientas TIC, como las tablets. Estas nuevas herramientas permiten utilizar diferentes técnicas de AFL y/o AA, además de poder escribir y anotar observaciones y reflexiones: realizar grabaciones en video, fotos, utilizar APP, etc. Puede encontrarse experiencias en este sentido en Fuentes y López-Pastor (2017) y Nicol (2009). 4.2.2.2. Ventajas de registrar las observaciones Todos los profesores realizan comentarios positivos sobre poder registrar comportamientos observados. En algunos casos ayudan a que los alumnos sean conscientes de su propio proceso de aprendizaje, implicándose de esta manera más en el mismo. En otros, es el propio profesorado quien indica que le ayuda a tener unas referencias de lo realmente trabajado en clase y si está resultando positivo el proceso o no. La rúbrica es más clara para el alumno; ellos saben perfectamente lo que les vas a evaluar, lo que tú les pides. Yo creo que ajusta más el objetivo de aprendizaje (E1). Al usar la tablet en clase grabo muchísimo y la posibilidad de volver a verlo. Por ejemplo en combas, les grababa en la opción de “slow-motion”, que de cara a darles un feedback correctivo es muy bueno, ya que pueden ver donde han cometido el error y cómo podrían hacerlo la siguiente vez. Este ejemplo es solo feedback visual para el alumno y grabaciones en video, pero no se registra en ninguna planilla de papel (E2). Al alumno le es más fácil seguirte si él sabe cuáles son las condiciones, las reglas del juego. Pero si no dices nada, no saben en qué aspectos concretos deberían haber trabajado (E3). Utilizando “fichas de seguimiento” no te pierdes, es más fácil llegar a dónde quieres por el camino más corto, si sabes qué criterios mirar, qué aspectos, qué conductas, cuando estás observando vas a ello directamente, sin enredarte en otros asuntos (E3). 115 Registrar la observación en base a unos criterios establecidos en unas fichas de seguimiento me ayudó mucho. Los alumnos vieran que trabajábamos aspectos concretos de EF y que no estábamos en el patio jugando a lo que nos dé la gana, en resumen, ayuda a centrarme yo y a centrarles a ellos en lo importante (E4). Por ejemplo: si planteo 2 o 3 retos y solo nos ha dado tiempo a hacer 1 o 2, lo registro en la Tablet, como cuaderno del profesor, y de cara al año que viene me planteo menos retos. Lo importante es que esta información te sirva para otros años, para no cometer los mismos errores y tener en cuenta la diferencia en la aplicación de las mismas actividades en grupos del mismo nivel (E2). Una parte esencial para llevar a cabo una cocalificación con los alumnos es que estos sean conscientes y participes de los objetivos de aprendizaje que se desea que alcancen. Por ello, informar a los estudiantes de los criterios de evaluación al inicio de un nuevo proceso de aprendizaje (UD o trimestre) produce: que el feedback que vayan a recibir este relacionado con los aspectos clave a aprender, que la observación directa esté registrada en un instrumento de evaluación (rúbrica, ficha de seguimiento, rueda de evaluación) y que la educación física sea tomada más en serio por alumnos (MacPhail & Halbert 2010; Ní Chróinín & Cosgrave 2013). En este sentido, cuando se ha propuesto al profesorado llevar a cabo una evaluación para el aprendizaje estructurada y organizada, los resultados han sido positivos en ambos sentidos: (a) los maestros han mejorado su proceso docente, han invertido menos tiempo a medio-largo plazo en la planificación de las actividades y sesiones y han esclarecido los criterios de evaluación que debían alcanzar sus alumnos; (b) los alumnos han valorado positivamente el poder ser partícipes de su propia evaluación y se toman con mayor interés sus clases (López- Pastor et al., 2013; MacPhail & Halbert 2010; Ní Chróinín & Cosgrave 2013). 4.2.2.3. Desventajas de registrar las observaciones En general, estos maestros no señalan desventajas por el registro de la observación directa como parte de un sistema de AFL y/o AA. Sin embargo, el posible inconveniente en la práctica diaria es la dificultad o imposibilidad de poder registrar toda la información observada. La mayoría hacen referencia al número de alumnos por clase; cuantos más alumnos, más difícil es registrar todos los comportamientos observados. También se considera un problema el tiempo que se precisa para rellenar esas fichas de evaluación, especialmente mientras ocurre la clase. 116 Es verdad que cuando tienes poquitos (alumnos) te puedes permitir el lujo de tener todas las planillas más caracterizadas, hay que encontrar un punto intermedio (E2). Si son muchos alumnos cuesta mucho trabajo recoger la información, si tienes 27-28 alumnos y las clases de 45 minutos, si además no tienes 5-10 minutos después de acabar la clase,… hacerlo al final del día no va a ser fácil porque la memoria falla. Te puedes coger 5 alumnos al día, pero también es difícil. No es fácil. El problema son las ratios, con menos alumnos da para todo (E3). Las planillas tienes que completarlas a posteriori; pero como tengas muchos alumnos te puedes pasar media vida rellenando planillas (E2). Sí, por poder se puede, con 25 alumnos (tiene 17-18 alumnos por grupo) también se puede, pero cuando la ratio es más pequeña creo que se puede mejor… Cuando tienes menos alumnos trabajas mejor, puedes llegar mejor a los alumnos, dar más atención (E4). Los datos recogidos muestran que los dos principales inconvenientes son: (a) la falta de tiempo durante las sesiones, y/o después, para ir anotando la información de los aspectos clave de aprendizaje; esto es especialmente complejo cuando las sesiones son cortas (45-50 minutos, incluidos desplazamientos y vestuario) y van pegadas unas a otras, sin tiempo para que el maestro pueda anotar algo; cuanto más tiempo pasa hasta poder anotar la información, peor; y, (b) una ratio elevada de alumnos; cuanto mayor es el número de alumnos por grupo, más difícil se hace llevar a cabo este tipo de procesos con una adecuada atención individual a los alumnos. A pesar de ello, los maestros entrevistados buscan soluciones y alternativas, como anotar los aspectos más importantes de 4-5 alumnos por sesión, utilizar instrumentos de evaluación integrados dentro del proceso y rellenados por los alumnos e incluso utilizar los desplazamientos para realizar entrevistas personales con los alumnos que lo requieren (López-Pastor, 2006; López-Pastor et al., 2008; López-Pastor-Pastor & Pérez-Pueyo, 2017; Lorente- Catalán, López-Pastor & Kirk, 2018). Los estudios indican que cuando los maestros llevan a cabo un AFL y AA con una estructura clara y siguiendo los aspectos clave de la misma, no solo los alumnos aprenden más, sino que los maestros también mejoran su práctica docente. Sin embargo, algunos de los maestros indican que al principio les exigía mucho tiempo la preparación de las clases, la creación de instrumentos de evaluación y el dar feedback durante el proceso a los alumnos. Pero que, a medio-largo plazo se perdía menos tiempo que cuando hacían una evaluación no estructurada y además los alumnos aprendían más (MacPhail & Halbert 2010; Ní Chróinín & Cosgrave 2013). 117 4.2.3. Papel de la FIP en la realización o no de prácticas de AFL y AA En este apartado se van a analizar los resultados en base a las siguientes subcategorías: (1) evaluación vivida durante la FIP y evolución hasta el tipo de evaluación actual; y (2) formación recibida/realizada hasta la situación actual. 4.2.3.1. Evaluación vivida durante la FIP y evolución hasta el tipo de evaluación actual Todos los maestros afirman haber recibido un modelo de evaluación tradicional durante su FIP (exámenes finales y calificación) salvo en un caso, que sí tuvo algunas experiencias de EFyC durante su FIP. Sin embargo, todos los entrevistados, a lo largo de su carrera profesional han ido evolucionando hacia sistemas de EFyC. La razón principal para el cambio tiene que ver con sus creencias y convicciones sobre cómo debe ser la educación: Cuando llegue a la escuela de magisterio… según con que profesores. Algunos fueron los primeros con los que trabaje con este sistema de evaluación. No todos hacían FA, pero algunos sí. La evaluación recibida (la mayoría tradicional) ha influido, pero al revés de lo habitual, en no gustarme y en animarme a buscar algo que sea diferente (E4). He recibido una evaluación tradicional ¿Por qué he decidido cambiar? Yo creo que, por coherencia, más por creencia casi que por conocimiento. Me pregunté: ¿Cómo queremos que aprendan nuestros chavales? Y una de las cosas que te replanteas es que, si el objetivo es que aprendan, y la evaluación es algo puntual, aislada de lo que estás dando, entonces tienes que buscar otras alternativas (E1). He tenido pocas experiencias relacionadas con la evaluación. Cuando empecé a trabajar en secundaria, reproduces lo qué has visto como alumno: conceptos, procedimientos y actitudes, con un instrumento específico para cada uno… Los alumnos ahora tienen otros intereses y tú tienes que adaptar tú evaluación y enseñanza (E2). La evaluación que he recibido es la tradicional y ha influido para cambiar, ya que no veía que los alumnos aprendieran (E3). Los resultados encontrados muestran que la FIP parece haber influido poco o nada en la utilización de sistemas de EFyC por parte de los entrevistados. Sin embargo, si hay una persona que señala cómo ha influido positivamente el que algunos profesores, una minoría, llevaran a cabo sistemas de EFyC. Una explicación de ello se puede encontrar en la edad de los maestros entrevistados. Los estudios indican que cuando ellos realizaron su FIP, en la universidad española predominaban de forma casi 118 absoluta los modelos de evaluación-calificación tradicionales (Zabalza, 2003). En cambio, estudios recientes demuestran que esto está cambiando de forma notable en las facultades encargadas de la FIP, especialmente desde 2010, de forma que actualmente en muchas facultades aproximadamente un tercio del profesorado ya utiliza sistemas de EFyC en FIP, otro tercio mantiene todavía los modelos tradicionales y otro tercio utiliza sistemas eclécticos (Palacios & López-Pastor, 2013). Una de las principales razones que parece llevar a los entrevistados a cambiar sus prácticas evaluativas son sus creencias educativas. Todos ellos tienen un discurso ideológico muy cercano a un marco de racionalidad práctico, el cual entra en contraposición al discurso que han recibido en su FIP, más cercano al marco de racionalidad técnico, predominante cuando ellos estudiaban (López-Pastor, 1999b; López-Pastor, Monjas & Pérez, 2003). Este “choque” ideológico es el principal precursor de que los entrevistados investigarán y buscarán información sobre prácticas evaluativas que encajarán mejor con su idiosincrasia. 4.2.3.2. Formación recibida/realizada hasta la situación actual La Formación Permanente del Profesorado (FPP) ha tenido una evolución similar en todos los entrevistados. De una manera u otra, en un momento concreto de su carrera docente han conocido, encontrado y mostrado interés hacia modelos de EFyC. En la mayoría de los casos comenzó al formar parte de grupos de trabajo y/o de manera autodidacta (leyendo bibliografía, asistiendo a congresos, cursos, etc.). “X” me dejó mucho material de cómo trabajar los PAT (proyecto de aprendizaje tutorado), lo apliqué en Sevilla y me pareció más coherente. Esto me abrió las miras a otros términos: “FA”, “trabajo por proyectos”... Para formarme: hablo con gente que tiene una filosofía parecida y veo que funciona, voy a algún congreso a conocer otras experiencias. La gente que hace formación son gente que se suele preocupar, con buenas ideas y propuestas que te puedan ayudar (E1). Durante la carrera solo hice un año de magisterio en Segovia y después me fui a hacer INEF. En el INEF, la formación recibida a nivel pedagógico tiene muchas lagunas y hace más lo que tú acabes leyendo… y, en mi caso, ha influido mucho en ese sentido, un grupo de trabajo que utiliza una EFyC (E2). Cayó en mis manos un libro de FA y de allí ya me puse en contacto con el autor y hasta hoy (eso fue en el 2004). Así que, fundamentalmente era autodidacta, buscando en bibliografía. Además, he realizado algunos cursos de evaluación formativa y estoy en un grupo de trabajo que utiliza sistemas de EFyC (E3). 119 Leí la tesis de X sobre FA y me llamo tanto la atención cómo argumentaba, el por qué hacía las cosas, que yo también quería justificar mi práctica docente y acabe haciendo la tesis sobre este tema (E4). Los datos recogidos parecen indicar que la FPP es una de las piezas claves a la hora de conseguir que el profesorado de EF evolucione desde modelos de evaluación tradicional a modelos de EFyC. Además, cada uno de los entrevistados se han ido formando de distintas maneras: cursos, congresos, lecturas, etc., sobre todo a través de diferentes actividades de FPP, en las que tienen un papel especialmente importante la participación en grupos de trabajo colaborativos y la asistencia a congresos profesionales. Pueden encontrarse numerosos estudios que refuerzan este tipo de procesos (Córdoba, 2015; Córdoba et al., 2016; López et al., 2016; Pedraza & López- Pastor, 2015). 120 121 5. CONCLUSIONES Para elaborar este capítulo se van a analizar cada uno de los objetivos propuestos en esta tesis, de modo que podamos analizar en qué medida se cumplen, o no, a partir de los resultados encontrados. Para ello, se analizarán por separado los objetivos de la primera y de la segunda línea de investigación. 5.1. OBJETIVOS PRIMERA LÍNEA DE INVESTIGACIÓN Los objetivos de la primera investigación son: (1) conocer la percepción de los egresados sobre la evaluación y metodología recibidas en su FIP y la posible relación con la adquisición de competencias docentes; (2) analizar la valoración que realizan los egresados sobre la frecuencia percibida en utilización de diferentes instrumentos y procedimientos de evaluación durante su FIP; (3) conocer la percepción de los egresados sobre distintos aspectos de la evaluación y la calificación vividas durante su FIP; y, (4) conocer el grado de satisfacción de los egresados con la carrera realizada. La percepción de los egresados cuando han utilizado metodologías activas y sistemas de evaluación formativos durante su FIP es muy positiva y les ayudan mucho a adquirir competencias docentes, que posteriormente les han sido útiles en su práctica de aula. En cuanto a si los egresados creen que la utilización de evaluación formativa y continua en las asignaturas de la carrera ayuda posteriormente a aprobar la oposición, los resultados son poco concluyentes y los egresados opinan que no les ha influenciado como para aprobar las oposiciones. De los instrumentos y procedimientos de evaluación analizados, “los informes o trabajos escritos” y “los exámenes tipo test” son los instrumentos de evaluación más utilizados según la percepción de los egresados. En cuanto a los “informes o trabajos 128 129 6. BIBLIOGRAFÍA Albert, M. J. (2009). La investigación educativa. Claves teóricas. Madrid: McGraw- Hill. ANECA (2005a). Libro Blanco. Título de Grado en Magisterio. Madrid: Agencia Nacional de Evaluación de la Calidad y la Acreditación. ANECA (2005b). Libro Blanco. Título de Grado en Ciencias de la Actividad Física y el Deporte. Madrid: Agencia Nacional de Evaluación de la Calidad y la Acreditación. Archbald, D.A. & Newmann, F.M. (1988). Assessing authentic academic achievement in the secondary school. Reston, Virginia: National Association of Secondary School Principals. Archbald, D.A. (1991). Authentic assessment: Principles, practices, and issues. School Psychology Quarterly, 6(4), 279. Arribas, J. M., Carabias, D. & Monreal, I. (2010). La docencia universitaria en la formación inicial del profesorado. El caso de la escuela de magisterio de Segovia. REIFOP, 13(3), 27-35. Ashford-Rowe, K., Herrington, J. & Brown, C. (2014).Establishing the critical elements that determine authentic assessment. Assessment & Evaluation in Higher Education, 39(2), 205-222. Asghar, A. (2010). Reciprocal peer coaching and its use as a formative assessment strategy for first‐year students. Assessment & Evaluation in Higher Education, 35(4), 403-417. 130 Bailey, R. & Garner, M. (2010). Is the feedback in higher education assessment worth the paper it is written on? Teachers' reflections on their practices. Teaching in Higher Education, 15(2), 187-198. Baker, D.J. & Zuvela, D. (2013). Feedforward strategies in the first-year experience of online and distributed learning environments. Assessment & Evaluation in Higher Education,38(6), 687–697. DOI:10.1080/02602938.2012.691153. Barba Martín, J.J. (2011). El desarrollo profesional de un maestro novel en la escuela rural desde una perspectiva crítica (Tesis Doctoral). Universidad de Valladolid. Recuperado de: https://uvadoc.uva.es/bitstream/10324/822/1/TESIS96- 110331.pdf Barrientos, E.J. (2013). La Evaluación Formativa y Evaluación orientada al Aprendizaje en Educación Superior: una revisión internacional (Trabajo Fin de Master). Universidad de Valladolid, Segovia. Recuperado de: http Barrientos, E.J. & López-Pastor, V.M. (2015). La evaluación formativa en educación superior. Una revisión internacional. Revista arbitrada del CIEG, 21, 272-284. Barrientos, E.J. & López-Pastor, V.M. (2017). Evaluación orientada al aprendizaje en educación superior: últimas tendencias. Revista Infancia, Educación y Aprendizaje, 3(2), 582-587. Berridge, G.G., Penney, S., & Wells, J.A. (2012). eFACT: Formative assessment of classroom teaching for online classes. Turkish Online Journal of Distance Education, 13(1), 68-78. Biddle, J. (2014). A Needs Analysis For K-12 School Improvement Projects And Their Use As The Dissertation In Practice For The Professional Practice Education Doctorate Program At The University Of Central Florida. University OF Central Florida, Florida. Black, P. & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: principles, policy & practice, 5(1), 7-74. 131 Black, P. & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment Evaluation and Accountability, 21(1), 5-31. Blair, B. (2007). At the end of a huge crit in the summer, it was crap I'd worked really hard but all she said was fine and I was gutted. Art, Design & Communication in Higher Education, 5(2), 83-95. Block, M., Lieberman, L. & Connor-Kuntz, F. (1998). Authentic assessment in adapted physical education. Journal of Physical Education, Recreation & Dance 69(3) 48-56. Bohemia, E. & Davison, G. (2012). Authentic Learning: The gift project. Design and Technology Education: an International Journal, 17(2), 49-61. Bohemia, E., Harman, K. & McDowell, L. (2009). Intersections: The utility of an Assessment for Learning discourse for Design educators. Art, Design & Communication in Higher Education, 8(2), 123-134. Borghouts, L., Slingerland, M. & Haerens, L. (2016). Assessment quality and practices in secondary PE in the Netherlands. Physical Education and Sport Pedagogy, 1– 17. DOI: 10.1080/17408989.2016.1241226. Bosco, A.M. & Ferns, S. (2014). Embedding of Authentic Assessment in Work- Integrated Learning Curriculum. Asia-Pacific Journal of Cooperative Education, 15(4), 281-290. Boud, D. & Falchikov, N. (2006). Aligning assessment with long‐term learning. Assessment & Evaluation in Higher Education, 25(3), 279-291. Boud, D. & Falchikov, N. (2007).Rethinking Assessment in Higher Education. Learning for the long term. Oxon: Routledge. Buyukozturk, S. & Gulbahar, Y. (2010). Assessment preference of higher education students. Egitim Arastirmalari-Eurasian Journal of Educational Research, 10(41), 55-72. 132 Canabal, C. & Margalef, L. (2017). The Feedback: a key to learning-oriented assessment. Revista de Curriculum y Formación de Profesorado, 21(2), 149- 170. Cañadas, L., Santos-Pastor, M. L. & Castejón, F. J. (2018). Evaluación en la formación inicial: ¿avance o retroceso? Bordón. Revista de Pedagogía, 70(4), 9-22. Carless, D. (2003). Learning-Oriented Assessment. Evaluation and Assessment. Conference at the University of South Australia, Adelaide, 25 de noviembre de 2003. Carless, D. (2007). Learning‐oriented assessment: conceptual bases and practical implications. Innovations in Education and Teaching International, 44 (1), 57- 66. Carless, D. (2009a). Learning-oriented assessment: Principles, practice and a project. En L. H. Meyer, S. Davidson, H. Anderson, R. Fletcher, P. M. Johnston & M. Rees (Eds.), Tertiary Assessment & Higher Education Student Outcomes: Police, Practice & Research Learning-oriented assessment (pp.79-90). Wellington, New Zealand: Ako Aotearoa. Carless, D. (2009b). Trust, distrust and their impact on assessment reform.Assessment & Evaluation in Higher Education, 34(1), 79-89. Carless, D. (2011). Learning-Oriented Assessment and the Development of Student Learning Capacities. Congreso Internacional EVALtrends 2011, Cádiz, 9 al 11 de marzo. Carless, D. (2015a). Excellence in university assessment: Learning from award-winning practice. London: Routledge. Carless, D. (2015b). Exploring learning-oriented assessment processes. Higher Education, 69(6), 963-976. Carless, D., Joughin, G. & Mok, M. (2006). Learning-oriented assessment: principles and practice. Assessment & Evaluation in Higher Education, 31(4), 395-398. DOI: 10.1080/02602930600679043. 133 Carmona, M. & Flores, J. (2008). Learning-oriented assessment in Higher Education: conditions and strategies for its application to university teaching. Revista Española De Pedagogía, 66(241), 467-485. Cartney, P. (2010). Exploring the use of peer assessment as a vehicle for closing the gap between feedback given and feedback used.Assessment & Evaluation in Higher Education, 35(5), 551-564. Casbon, C. & Spackman, L.S. (2005). Assessment for learning in Physical Education. Leeds, BAALPE. Castejón Oliva, F.J., López-Pastor, V. M., Julián Clemente, J. A. & Zaragoza Casterad, J. (2011). Evaluación formativa y rendimiento académico en la formación inicial del profesorado de Educación Física. Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte, 42, 7-7. Cook, M.J. (2012). An Analysis of the Effects Upon ITET Students‟ Learning and Self- Efficacy When Adopting the Principles and Practices of Assessment for Learning (AfL) (Doctoral dissertation). Cardiff Metropolitan University. Recuperado de: https://repository.cardiffmet.ac.uk/bitstream/handle/10369/3995/EdD%20thesis %20-%20Final.pdf?sequence=2&isAllowed=y. Cooper, N.J. (2000). Facilitating learning from formative feedback in level 3 assessment. Assessment & Evaluation in Higher Education, 25(3), 279-291. Córdoba, C. (2015). La aventura de aprender: Relato autobiográfico del viaje a Ítaca de un docente reflexivo. Retos de la Actividad Física y el Deporte, 28, 285-290. Córdoba, C., Carbonero, L., Sánchez, D., Inglada, S., Serra, M., Blasco, M.,…Ivanco, P. (2016). Educación Física Cooperativa, formación permanente y desarrollo profesional. De la escritura colectiva a un relato de vida compartido. Retos de la Actividad Física y el Deporte, 29, 264-269. Córdoba, C., López-Pastor, V. M. & Sebastiani, E. (2018). ¿Por qué Hago Evaluación Formativa en Educación Física? Relato Autobiográfico de un Docente. Estudios pedagógicos (Valdivia), 44(2), 21-38. 134 Covic, T. & Jones, M.K. (2008). Is the essay resubmission option a formative or summative assessment and does it matter as long as the grades improve? Assessment and Evaluation in Higher Education, 33(1), 75–85. Cumming, J. & Maxwell, G.S. (1999). Contextualising authentic assessment. Assessment in Education: Principles, Policy & Practice, 6(2), 177-194. Desrosiers, P., Genet-Volet, Y. & Godbout, P. (1997). Teachers‟ Assessment Practices Viewed Through the Instruments Used in Physical Education Classes. Journal of Teaching in Physical Education, 16(2), 211-228. Dochy, F., Segers, M. & Dierick, S. (2002). Nuevas vías de Aprendizaje y Enseñanza y Sus Consecuencias: una Nueva Era de Evaluación. Revista de Docencia Universitaria, 2(2), 13-30. Dochy, F., Segers, M. & Sluijsmans, D. (1999). The use of self-, peer and coassessment in higher education: A review. Studies in Higher education, 24(3), 331-350. Dulamă, M.E. & Ilovan, O.R. (2016). How powerful is feedforward in university education? A case study in Romanian geographical education on increasing learning efficiency. Educational Sciences: Theory & Practice (ESTP), Kuram ve Uygulamada Eğitim Bilimleri, 16(3), 827-848. DOI: 10.12738/estp.2016.3.0392. Eddy, P.L. & Lawrence, A. (2013). Wikis as platforms for authentic assessment. Innovative Higher Education, 38(4), 253-265. Ellery, K. (2008). Assessment for learning: a case study using feedback effectively in an essay‐style test. Assessment & Evaluation in Higher Education, 33(4), 421-429. Espasa, A. & Meneses, J. (2010). Analysing feedback processes in an online teaching and learning environment: an exploratory study. Higher Education, 59(3), 277- 292. Falchikov, N. & Boud, D. (1989). Student self-assessment in higher education: A metaanalysis. Review of Educational Research, 59(4), 395-430. 135 Falchikov, N. & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of educational research, 70(3), 287-322. Febriana, B. & Arlianty,W. (2017). The Application of Authentic Assessment in Chemistry Curriculum. International Conference on Education 2017. DOI: 10.17501/icedu.2017.3111. Fernández, M. (1989). Así enseña nuestra universidad. Salamanca: Hispagraphis. Fernández-Balboa, J. M. (2006). Dignity and democracy in the college classroom: The practice of selfevaluation. In R.A. Goldstein (Ed.), Useful theory: Making critical education practical (pp.105-128).New York: Peter Lang Publishing. Fraile, A. & Cornejo, P. (2012). La evaluación formativa en la enseñanza universitaria una experiencia de innovación educativa con estudiantes de Educación Física. Revista de Evaluación Educativa, 1(2). Recuperado de: http://revalue.mx/revista/index.php/revalue/issue/current. Fraile-Aranda, A., López-Pastor, V. M., Castejón-Oliva, F. J. &Romero-Martín, R. (2013). La evaluación formativa en docencia universitaria y el rendimiento académico del alumnado. Aula Abierta, 41(2), 23-34. Freire, P. (1990). La naturaleza política de la Educación: Cultura, Poder y Liberación. Barcelona: Paidos-MEC. Fuentes, T. & López-Pastor, V.M. (2017). Evaluación auténtica, coevaluación y uso de las TIC en educación física: un estudio de caso en secundaria. Infancia, Educación y Aprendizaje, 3(2), 42-46. Gallardo-Fuentes, F., López-Pastor, V. M. & Carter-Tuhillier, B. (2018). Efectos de la Aplicación de un Sistema de Evaluación Formativa en la Autopercepción de Competencias Adquiridas en Formación Inicial del Profesorado. Estudios Pedagógicos, 44(2), 55-77. Gauntlett, N. (2007). Literature review on formative assessment in higher education (research project). Middlesex University, Londres. Recuperado de: 136 http://www.proiac.uff.br/sites/default/files/feedback_assessment_higher_educ.pd f. Gessa Perera, A. (2011). La coevaluación como metodología complementaria de la evaluación del aprendizaje. Análisis y reflexión en las aulas universitarias. Revista de Educación, (354), 749-764. Ghosh, S., Bowles, M., Ranmuthugala, D. & Brooks, B. (2017). Improving the validity and reliability of authentic assessment in seafarer education and training: a conceptual and practical framework to enhance resulting assessment outcomes. WMU Journal of Maritime Affairs, 16(3), 455-472. Gibbs, G. & Dunbar‐Goddet, H. (2009). Characterising programme‐level assessment environments that support learning. Assessment & Evaluation in Higher Education, 34(4), 481-489. Gibbs, G. & Simpson, C. (2004). Does your assessment support your students‟ learning? Journal of Teaching and Learning in Higher Education 1, 3-31. Goldsmith, M. (2008). Try feedforward instead of feedback. The Linkage Leader, 1-5. Gikandi, J.W., Morrow, D. & Davis, N.E. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57(4), 2333-2351. Gikandi, J. W. (2012). Online Formative Assessment in Higher Education: Enhancing Continuing Teacher Education in E-Learning (Tesis Doctoral). University of Canterbury, New Zealand. Godbout, P. (2001). Reflection on Innovation and Renovation: Authentic Assessment and Subject Matter Expertise in Physical Education. Cagigal Lecture, to AIESEP Congress, Universidade da Madeira, 22-25 November 2001. Link: http://aiesep.org/wp-content/uploads/2014/11/Paul-Godbout.pdf Gonzalez-DeHass, A.R. & Willems, P.P. (2015). Case-Study Instruction in Educational Psychology: Implications for Teacher Preparation. En M. Li & Y. Zhao (Ed.), 137 Exploring Learning & Teaching in Higher Education (pp. 99-122). Berlin: Springer. Goos, M., Gannaway, D. & Hughes, C. (2011). Assessment as an equity issue in higher education: comparing the perceptions of first year students, course coordinators, and academic leaders. The Australian Educational Researcher, 38(1), 95-107. Gréhaigne, J.F., Godbout, P. & Bouthier, D. (1997).Performance assessment in team sports.Journal of Teaching in Physical Education, 16, 500-516. Guba, E.G. (1983). Criterios de credibilidad en la investigación naturalista. En J. Gimeno Sacristán & A. Pérez Gómez (Eds.), La enseñanza: su teoría y su práctica (pp. 148-165). Madrid: Akal. Gulikers, J.M., Bastiaens, T.J. & Kirshner, P.A. (2004). A Five-Dimensional Framework for Authentic Assessment. Educational Technology Research and Development, 52(3), 67–87. Gulikers, J.T., Kester, L., Kirschner, P.A. & Bastiaens, T.J. (2008). The effect of practical experience on perceptions of assessment authenticity, study approach, and learning outcomes.Learning and Instruction, 18(2), 172-186. Gutierrez-García, C., Pérez-Pueyo, Á. & Pérez-Gutiérrez, M. (2013). Percepciones de profesores, alumnos y egresados sobre los sistemas de evaluación en estudios universitarios de formación del profesorado de educación física. Ágora para la Educación Física y el Deporte, 15(2), 130-151. Gutiérrez-García, C., Pérez-Pueyo, Á., Pérez-Gutiérrez, M. & Palacios-Picos, A. (2011). Percepciones de profesores y alumnos sobre la enseñanza, evaluación y desarrollo de competencias en estudios universitarios de formación de profesorado. Cultura y Educación, 23(4), 499-514. Hamodi-Galán, C., López-Pastor, A. T. & López-Pastor, V. M. (2015). Percepciones de alumnos, egresados y profesores sobre los sistemas de evaluación del aprendizaje. @ tic. revistad'innovació educativa, 14. 144 de su estructuración y sistematización. Revista de la Facultad de Minas, Universidad Nacional de Colombia, 81(184), 158-163. Maclellan, E. (2001). Assessment for learning: the differing perceptions of tutors and students. Assessment & Evaluation in Higher Education, 26(4), 307-318. MacPhail, A. & Halbert, J. (2010). We had to do intelligent thinking during recent PE‟: Students‟ and teachers‟ experiences of assessment for learning in post-primary physical education. Assessment in Education, 17(1), 23-39. MacPhail, A. & Murphy, F. (2017).Too much freedom and autonomy in the enactment of assessment? Assessment in physical education in Ireland. Irish Educational Studies, 36(2), 237-252. Martínez Muñoz, L. F., Pastor, M.L. & Castejón Oliva, F. J. (2017). Percepciones de alumnado y profesorado en Educación Superior sobre la evaluación en formación inicial en educación física. Retos: Nuevas Tendencias en Educación Física, Deporte y Recreación, 32, 76-81. McDermott, M.Z., Daniels, M., Nylén, A., Pears, A., Isomöttönen, V. & Caspersen, M. (2017). The authenticity of „authentic‟assessment some faculty perceptions. In Frontiers in Education Conference. Indianapolis, Indiana, Usa. 18-21 October. Melograno, V.J. (1997). Integrating assessment into Physical Education teaching. Journal of Physical Education, Recreation and Dance, 68 (7), 34-37. Mintah, J.K. (2003). Authentic Assessment in Physical Education: Prevalence of Use and Perceived Impact on Students‟ Self-Concept, Motivation, and Skill Achievement. Measurement in physical education and exercise science, 7(3), 161-174. Mok, M., Lung, C.L., Cheng, D.., Cheung, R. & Ng, M. (2006). Self‐assessment in higher education: Experience in using a metacognitive approach in five case studies. Assessment & Evaluation in Higher Education, 31(4), 415-433. Molina, M. & López-Pastor, V. M. (2017). La transferencia de la Evaluación Formativa y Compartida desde la Formación Inicial del Profesorado de Educación Física a 145 la práctica real en Educación Primaria. Infancia, Educación y Aprendizaje (IEYA), 3(2), 626-631. Monreal-Guerrero, I., Cortón de las Heras, M. & Carabias-Galindo, D. (2015). La evaluación formativa en la enseñanza universitaria: un estudio comparativo entre los estudiantes de dos asignaturas de educación musical de la Facultad de Educación de Segovia. @ tic. revistad'innovació educativa, 15. Morgan, P. & Hansen, V. (2007). Recommendations to improve primary school physical education: Classroom teachers‟ perspective. Journal of Educational Research 101(2), 99–111. Murtagh, L. & Baker, N. (2009). Feedback to feed forward: Student response to tutors‟ written comments on assignments. Practitioner Research in Higher Education 3(1), 20–28. Murphy, V., Fox, J., Freeman, S. & Hughes, N. (2017). “Keeping it Real”: A review of the benefits, challenges and steps towards implementing authentic assessment. AISHE-J: The All Ireland Journal of Teaching and Learning in Higher Education, 9(3). Nguyen, H. (2017). Authentic assessment in pedagogy-related modules in teacher education: Vietnamese student teachers‟ perspective (Doctoral dissertation). University of East Anglia, Norwich. Recuperado de: https://ueaeprints.uea.ac.uk/67135/1/FULL-HUYEN-NGUYEN-CORRECTED- THESIS-100069848-EDU.pdf. Ní Chróinín, D. & Cosgrave, C. (2013). Implementing formative assessment in primary physical education: teacher perspectives and experiences. Physical Education and Sport Pedagogy, 18(2), 219-233. DOI:10.1080/17408989.2012.666787. Nicol, D. J. & Macfarlane‐Dick, D. (2006). Formative assessment and self‐regulated learning: A model and seven principles of good feedback practice. Studies in higher education, 31(2), 199-218. 146 Nicol, D. (2007). Laying a foundation for lifelong learning: Case studies of eassessment in large 1st‐year classes. British Journal of Educational Technology, 38(4), 668-678. Nicol, D. (2009). Assessment for learner self‐regulation: Enhancing achievement in the first year using learning technologies. Assessment & Evaluation in Higher Education, 34(3), 335-352. Palacios, A. & López-Pastor, V. M. (2013). Haz lo que yo digo pero no lo que yo hago: sistemas de evaluación del alumnado en la formación inicial del profesorado. Revista de Educación, 361, 279-305. Palacios, A., López-Pastor, V. M. & Barba-Martín, J. J. (2013). Tipologías de profesorado universitario en función de la evaluación aplicada a los futuros docentes. Estudios Sobre Educación, 24, 173-195. Palacios Picos, A., López-Pastor, V. & Fraile Aranda, A. (2018) Cuestionario de percepción de competencias docentes de educación física. (Perception Questionnaire of Teaching Competences in Physical Education). Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, e first: Http://cdeporte.rediris.es/revista/ Parks, M. (2001). Assessing what? A model of assessment in higher education.4th Uicee Annual Conference on Engineering Education, Conference Proceedings - Innovation in Engineering Education, 459-463. Pedraza-González, M.A. & López-Pastor, V.M. (2015). Investigación-acción, desarrollo profesional del profesorado de educación física y escuela rural. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 15(57), 1-16. DOI:10.15366/ rimcafd2015.57.001. Penney, D., Broker, R., Hay, P. & Gillespie, L. (2009). Curriculum, pedagogy and assessment: three message systems of schooling and dimensions of quality physical education. Sport, Education and Society, 14 (4), 421-442. Peña Betancort, M. (2014). Estudio sobre las pruebas que componen las oposiciones para maestro de Educación Física. Universidad de Valladolid: Valladolid. 147 Pérez, A., Tabernero, B., López-Pastor, V.M., Ureña, N., Ruiz, E., Capllonch, M. & González, N. (2008). Evaluación formativa y compartida en la docencia universitaria y el Espacio Europeo de Educación Superior: cuestiones clave para su puesta en práctica. Revista de Educación, 347, 435‐451. Pérez, D., Requena, C. & González, M. (2005). Evolución de motivaciones, actitudes y hábitos de los estudiantes de la Facultad de Ciencias de la Actividad Física y del Deporte de la Universidad de León. European Journal of Human Movement, 14, 65-79. Perrenoud, P. (2004). Diez nuevas competencias para enseñar. Barcelona, España: Graó Pintor, P., Martínez, L. & Peire, T. (2010). Sistemas y procedimientos de evaluación formativa en docencia universitaria: resultados de 34 casos aplicados durante el curso académico 2007-2008. Estudios sobre Educación, 18, 255-276. Prieto, J. P., Llácer, C.V. & Escobar, A.H. (2017). The Effect of Portfolios on Higher Education Students Learning. Proceedings of INTED2017 Conference, Valencia, Spain, 6th-8th March. Pryor, J. & Crossouard, B. (2010).Challenging formative assessment: disciplinary spaces and identities.Assessment & Evaluation in Higher Education, 35(3), 265- 276. Quesada, V., Rodríguez, G. & Ibarra, M.S. (2013). ActEval: un instrumento para la el análisis y la reflexión sobre la actividad evaluadora del profesorado universitario. Revista de Educación, 362, 69-104. Randall, L. & Zundel, P. (2012). Students‟ Perceptions of the Effectiveness of Assessment Feedback as a Learning Tool in an Introductory Problem-solving Course. The Canadian Journal for the Scholarship of Teaching and Learning, 3(1), 3. Reyes-García, C.I. & Díaz-Megolla, A. (2017). ¿Se adecúa la normativa del Trabajo Fin de Grado al enfoque de evaluación del Espacio Europeo de Educación Superior? Revista Complutense de Educación, 28(4), 1285-1302. 148 Richard, J. F. & Godbout, P. (2000).Formative Assessment as an integral part of the teaching-learning process. Physical and Health Education Journal, 66(3), 4-9. Rodríguez, G; Quesada, V. & Ibarra, M. (2016).Learning-oriented e-assessment: the effects of a training and guidance programme on lecturers‟ perceptions. Assessment & Evaluation in Higher Education, 41(1), 35-52. Romera, M. (2016). Orientación emocionante. Educadores. Revista de renovación pedagógica, 259, 4-12. Romero-Martín, R., Fraile-Aranda, A., López-Pastor, V.M. & Castejón-Oliva, F.J. (2014).The relationship between formative assessment systems, academic performance and teacher and student workloads in higher education. Infancia y Aprendizaje,37(2), 1-17. DOI: 10.1080/02103702. 2014.918818. Ruiz-Gallardo, J. R., Ruiz, E. & Ureña, U. (2013). La evaluación en la formación inicial del profesorado: qué creemos hacer y qué perciben los alumnos. CCD. Cultura_Ciencia_Deporte, 8(22), 17-29. Rule, A. C. (2006). The components of authentic learning. The Journal of Authentic Learning, 3(1), 1-10. Sahin, S. (2008). An application of peer assessment in higher education. The Turkish Online Journal of Educational Technology, 7(2), 5-10. Sánchez Lissen, E. (2004). La vocación entre los aspirantes a maestro. Educación XX1, 2004, 203-222. Sanmartí, N. (2007). 10 ideas clave. Evaluar para aprender. Barcelona: Graó Santos, J. M. (2017). Design, implementation and evaluation of an authentic assessment experience in a pharmacy course: are students getting it? In 3rd International Conference on Higher Education Advances, Valencia, Spain, 21-23 June. Scaife, J. & Wellington, J. (2010). Varying perspectives and practices in formative and diagnostic assessment: A case study. Journal of Education for Teaching, 36(2), 137-151. 149 Segers, M. & Dochy, F. (2001). New assessment forms in problem-based learning: the value-added of the students' perspective. Studies in higher education, 26(3), 327- 343. Sluijsmans, D.M., Brand-Gruwel, S., Van Merriënboer, J.J. & Martens, R.L. (2004). Training teachers in peer-assessment skills: effects on performance and perceptions. Innovations in Education and Teaching International, 41(1), 59-78. Smith, T. (1997). Authentic assessment: using a portfolio card in physical education. Journal of Physical Education, Recreation and Dance, 68(4), 46-52. Sonlleva, M., Martínez, S. & Monjas, R. (2018). Los Procesos de Evaluación y sus Consecuencias. Análisis de la Experiencia del Profesorado de Educación Física. Estudios pedagógicos (Valdivia), 44(2), 329-351. Sullivan, D. F. & McConnell, K. D. (2017). Big progress in authentic assessment, but by itself not enough. Change: The Magazine of Higher Learning, 49(1), 14-25. Stake, R. (2010).Qualitative research: Studying how things work.Amsterdam: The Guildford Press. Svennberg, L., Meckbach, J. & Redelius, K. (2014). Exploring PE teachers‟ „gut feelings‟: An attempt to verbalise and discuss teachers‟ internalised grading criteria. European Physical Education Review 20(2): 199–214. Taras, M. (2002). Using assessment for learning and learning from assessment.Assessment & Evaluation in Higher Education, 27(6), 501-510. Taras, M. (2005). Assessment Summative and Formative, some theoretical reflections, British Journal of Educational Studies, 53 (3), 466-478. Taras, M. (2007). Assessment for learning: Understanding theory to improve practice. Journal of Further and higher education, 31(4), 363-371. Taras, M. (2008a). Assessment for learning: sectarian divisions of terminology and concepts. Journal of Further and Higher Education, 32(4), 389-397. 150 Taras, M. (2008b). Summative and formative assessment Perceptions and realities. Active learning in higher education, 9(2), 172-192. Taras, M. (2009). Summative assessment: the missing link for formative assessment. Journal of Further and Higher Education, 33(1), 57-69. Tolgfors, B. & Ohman, M. (2015).The Implications of Assessment for Learning in Physical Education and Health. European Physical Education Review 22(2), 150–166. Trillo Alonso, F. & Porto Currás, N. (1999). La percepción de los estudiantes sobre su evaluación en la universidad. Un estudio de caso en la Facultad de Ciencias de la Educación. Revista de Innovación Educativa, 9, 55-75. Vallés, C., Martínez-Mínguez, L. & Romero-Martín, M. R. (2018). Instrumentos de Evaluación: Uso y Competencia del Profesorado Universitario en su Aplicación. Estudios Pedagógicos, 44(2), 149-169. Vallés, C., Ureña, N. & Ruiz, E. (2011). La Evaluación Formativa en Docencia Universitaria. Resultados globales de 41 estudios de caso. Revista de Docencia Universitaria. 9(1), 135-158. Van Den Berg, I., Admiraal, W. & Pilot, A. (2006). Design principles and outcomes of peer assessment in higher education. Studies in Higher Education, 31(03), 341- 356. Van Gennip, N.A., Segers, M.S. & Tillema, H.H. (2010). Peer assessment as a collaborative learning activity: The role of interpersonal variables and conceptions. Learning and Instruction, 20(4), 280-290. Vu, T.T. (2011). Investigating Authentic Assessment for Student Learning in Higher Education (Tesis). The School of Education, University of Queensland. Recuperado de: https://espace.library.uq.edu.au/view/UQ:271502/s40447478_phd_finalthesis.pd f. 151 Walser, T. M. (2009). An action research study of student self-assessment in higher education. Innovative Higher Education, 34(5), 299-306. Webber, K. L. & Tschepikow, K. (2011). Learner-Centered Assessment: A Comparison of Faculty Practices in US Colleges and Universities 1993 to 2004.Association for Institutional Research. Annual Forum of the Association for Institutional Research. Toronto, Ontario, Canada. Winstone, N. & Millward, L. (2012).Reframing Perceptions of the Lecture from Challenges to Opportunities: Embedding Active Learning and Formative Assessment into the Teaching of Large Classes. Psychology Teaching Review, 18(2), 31-41. Yorke, M. (2001). Formative assessment and its relevance to retention. Higher Education Research and Development, 20(2), 115-126. Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher education, 45(4), 477-501. Yorke, M. (2005). Formative assessment in higher education: Its significance for employability, and steps towards its enhancement. Tertiary Education and Management, 11(3), 219-238. Wiliam D and Leahy S (2015).Embedding Formative Assessment: Practical Techniques for K–12 Classrooms. West Palm Beach, FL: Learning Sciences International. Zabalza, M.A. (2003). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. Madrid, España: Narcea. Zabalza, M.A. (2007). La enseñanza universitaria. El escenario y sus protagonistas. Madrid: Narcea. Zaragoza, J., Luis, J.C. & Manrique, J.C. (2008). Experiencias de innovación en docencia universitaria: resultados de la aplicación de sistemas de evaluación formativa. REDU. Revista de Docencia Universitaria, 4, 1-33. Recuperado de: http://www.redu.um.es/red_U/4. 152 Ziden, A.A. & Rahman, M. F. (2012). Using SMS quiz in teaching and learning. Campus-Wide Information Systems, 30(1), 63-72. 153 7. ANEXOS LISTADO DE ANEXOS Anexo I: Entrevista 1. Anexo II: Entrevista 2. Anexo III: Entrevista 3. Anexo IV: Entrevista 4. Anexo V: Análisis descriptivo cuestionario