Opiniones de estudiantes universitarios de ciencias experimentales y tecnología sobre clases innovadoras frente a otras áreas de conocimiento

Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles Formación Universitaria Vol. 17 Nº 1 – 2024 139 Opiniones de estudiantes universitarios de ciencias experimentales y tecnología sobre clases innovadoras frente a otras áreas de conocimiento Antonio Pérez-Robles1* https://orcid.org/0000-0002-1186-5179 Gabriela Delord1 https://orcid.org/0000-0003-2283-5976 Rafael Porlán1 https://orcid.org/0000-0003-2068-7092 1 Facultad de Ciencias de la Educación, Dpto. de Didáctica de las Ciencias Experimentales y Sociales, Universidad de Sevilla, Pirotecnia, Sevilla-España (Correo-e: [email protected]; [email protected]; [email protected]) * Autor a quién debe ser dirigida la correspondencia. Recibido Ago. 7, 2023; Aceptado Oct. 12, 2023; Versión final Nov. 13, 2023, Publicado Feb. 2024 Resumen El objetivo de este estudio es analizar las opiniones de 687 estudiantes universitarios acerca de clases innovadoras y hacer una comparación entre estudiantes de áreas científico-técnicas con los de otras áreas. Las opiniones se obtuvieron con el cuestionario C-RENOVES (Creencias de los estudiantes sobre innovaciones en la Educación Superior) y se analizaron mediante factores y estadísticos-descriptivos. Las categorías de análisis fueron: tratamiento de los contenidos, metodología de enseñanza y evaluación. Los resultados muestran que, según los estudiantes, las clases presuntamente innovadoras se corresponden con dos modelos didácticos contrapuestos: uno centrado en la materia y otro en el aprendizaje. Los docentes se encuentran en algún nivel de transición entre el primero y el segundo, aunque con menos avance en los de las áreas científico-técnicas. Se concluye que los programas de formación docente universitaria deben concebirse con estrategias de largo alcance para impulsar la progresión de los docentes y que la visión del alumnado es necesaria para mejorar la docencia universitaria. Palabras clave: opiniones de estudiantes universitarios; clases innovadoras; ciencias experimentales y tecnología; formación docente universitaria Opinions of university students of experimental sciences and technology versus other subject areas on innovative classes Abstract The main objective of this study is to gather the opinions of 687 university students about innovative classes and make a comparison between students from scientific-technical areas to students from other areas. The opinions are obtained using the C-RENOVES questionnaire (Students' Beliefs about Innovations in Higher Education) and are analyzed by means of factors and descriptive statistics. The analysis categories are: content treatment, teaching methodology, and evaluation. The results show that, according to the students, the innovative classes correspond to two opposing didactic models: one centered on the subject and the other on learning. The professors are at some level of transition between both, although with less progress in the scientific-technical areas. It is concluded that university professor training programs should be conceived with long-term strategies to promote the progress of professors and that the vision of the student body is necessary to improve university teaching. Keywords: opinions of university students; innovative classes; experimental sciences and technology; university teacher training Formación Universitaria Vol. 17(1), 139-154 (2024) http://dx.doi.org/10.4067/S0718-50062024000100139 Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles 140 Formación Universitaria Vol. 17 Nº 1 – 2024 INTRODUCCIÓN Tomando como referencia el Espacio Europeo de Educación Superior (EEES) del plan Bolonia, donde se abrió una discusión institucional sobre la mejora de la calidad de la enseñanza universitaria, las universidades han ido tomando algunas iniciativas para intentar mejorar la educación superior. Aun así, la docencia universitaria mayoritaria, particularmente en las áreas científico-técnicas, sigue ligada a una línea tradicional de enseñanza con un escaso protagonismo de los estudiantes en su aprendizaje. Estudios como el de Fernández-Fernández y Madinabeitia (2020), que revisaron el impacto del plan Bolonia durante las últimas dos décadas, nos hacen cuestionarnos si realmente el plan se aplicó y funcionó, pues a pesar de los llamamientos para transformar la docencia, el interés por los procesos de calidad, por la formación del profesorado y por la innovación docente en el aula, han experimentado un cierto estancamiento. De ahí que, la necesidad de formar a los docentes en enfoques didácticos centrados en el aprendizaje y en los estudiantes sigue estando vigente, pues la actualización de los planes de estudio no fue de la mano de verdaderos programas estables, estratégicos e institucionalizados de formación del profesorado (Kensington-Miller et al., 2022). En la actualidad, movimientos como el Scholarship of Teaching and Learning (SoTL) (Malfroy y Willis, 2018), en el ámbito internacional, el Marco de Desarrollo Profesional del Profesorado Universitario de la Red Estatal de Docencia Universitaria (Paricio, 2018) y las últimas versiones del programa Docentia (ANECA, 2021) en el ámbito español, están tratando de impulsar mejoras en la evaluación, la formación y la innovación del profesorado universitario, fomentando una concepción académica de la profesionalidad docente y colocando a los estudiantes como protagonistas de su aprendizaje. En el ámbito legislativo, la obligatoriedad institucional de la formación docente no se ha formalizado en España hasta la llegada de la nueva Ley Orgánica del Sistema Universitario (LOSU), que establece como norma poner en marcha programas de formación inicial para los profesores noveles y de formación permanente para el resto de los docentes. Por tanto, la cuestión principal que justifica la necesidad de una adecuada formación en las áreas de ciencias y tecnologías es el modelo de enseñanza-aprendizaje predominante. Diversos estudios han puesto en evidencia los beneficios de un cambio de paradigma asociado a los modelos didácticos para mejorar el aprendizaje (Castillo y Ramírez, 2020), promoviendo la progresión, a través de modelos de transición (Caballero y Bolívar, 2015), desde un enfoque centrado en la materia y el profesor (modelo transmisivo) hacia uno centrado en el aprendizaje y el alumnado. Si bien es cierto que este proceso de cambio está cada vez más aceptado conceptualmente, no podemos afirmar que se haya llevado a la práctica de manera generalizada. Aún son mayoría los docentes universitarios de todas las áreas que no han recibido una formación para ejercer la profesión y, por ello, sus modelos didácticos son reproducciones prácticas de sus experiencias como estudiantes (Samuelowicz y Bain, 2001). El cambio de las rutinas y experiencias asociadas al modelo transmisivo es lento y gradual e implica una formación duradera en el tiempo, que genere contextos de enseñanza alternativos (Uiboleht et al., 2019; Vilppu et al., 2019) y una estrategia guiada de diseño, experimentación y evaluación de innovaciones en la práctica (Porlán et al., 2020). Al mismo tiempo, es imprescindible que los procesos de cambio aborden de manera integrada las tres dimensiones básicas de la actividad docente: el tratamiento de los contenidos, la metodología de enseñanza y la evaluación, pues, siguiendo los planteamientos del alineamiento constructivo de Biggs (1996), la mejora no suele prosperar si se centra solo en una o dos de ellas, de forma aislada, sino que ha de abarcar, de manera internamente coherente, las tres y sus interrelaciones. Esta visión de la actividad docente que aporta el autor mencionado, en la que se considera que los problemas fundamentales a los que debe hacer frente cualquier docente son: ¿Qué y para qué enseñar?; ¿cómo enseñar? y ¿qué y cómo evaluar?, ha guiado la elaboración del sistema de categorías de este estudio (ver Tabla 1). Todas estas particularidades y procesos se vienen aplicando en el programa de Formación, Innovación e Investigación Docente del Profesorado (FIDOP) de la Universidad de Sevilla, donde se ha realizado esta investigación (ver Figura 1), a través de los denominados Ciclos de Mejora en el Aula (Cima), en los que los participantes, tanto de áreas científico-técnicas como del resto, analizan su práctica, diseñan cambios controlados en un número progresivo de horas de clase, los aplican, y evalúan sus resultados en términos del aprendizaje alcanzado por los estudiantes (Abdel y Collins, 2017; De-Alba-Fernández y Porlán, 2020). En este contexto de un necesario impulso de la formación docente, conocer las opiniones de los estudiantes sobre lo que ocurre en las clases de profesores en proceso de formación es un componente imprescindible para la mejora de la calidad docente y de los propios programas (Ricoy y Fernández-Rodríguez, 2013). En este estudio, por tanto, los problemas de investigación se han planteado como sigue: a) ¿Cuáles son las opiniones de los estudiantes de materias científico-técnicas de la Universidad de Sevilla, participantes en el programa FIDOP, sobre la enseñanza innovadora recibida a través de los Cima, en relación con el tratamiento Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles Formación Universitaria Vol. 17 Nº 1 – 2024 141 de los contenidos, la metodología de enseñanza y la evaluación? y b) ¿Qué semejanzas y diferencias hay entre las opiniones de los estudiantes de materias científico-técnicas frente al resto de materias? Para ello se ha utilizado el cuestionario validado C-RENOVES (Creencias de los estudiantes sobre innovaciones en Educación Superior) (Pérez-Robles y Delord, 2022). Los resultados obtenidos en el cuestionario han permitido que cada participante, junto a sus estudiantes, analice y debata lo ocurrido en clase y han servido, por tanto, de elemento de retroalimentación para ellos y para los responsables y dinamizadores del programa (ver Figura 1). Fig. 1: Influencia del cuestionario C-RENOVES en el proceso de formación docente del programa FIDOP OTROS ANTECEDENTES A continuación, se presentan algunos estudios que muestran las opiniones de los estudiantes sobre la innovación docente universitaria en las tres dimensiones que abarca nuestro cuestionario (acerca de los contenidos, la metodología y la evaluación) Opiniones de los estudiantes acerca de los contenidos Reflexionar sobre el tratamiento didáctico de los contenidos requiere superar la asentada idea de que la única variable a tener en cuenta es el conocimiento de la materia (idea común en la enseñanza tradicional). Desde nuestra perspectiva, guiada por el paradigma epistemológico constructivista (Porlán, 1993) y por las aportaciones sobre el conocimiento didáctico del contenido y la transposición didáctica, existen otros referentes que deben influir en la formulación de los contenidos, destacando: a) la evolución histórica de la disciplina y los obstáculos que se han tenido que afrontar; b) los problemas disciplinares que se han tratado de resolver y sus vinculaciones con cuestiones sociales, ambientales y profesionales relevantes; y c) los modelos mentales y las ideas y obstáculos de los estudiantes sobre los objetos de estudio (García y Martín, 2017). Siguiendo este enfoque, destacamos el cuestionario Percepción del Alumnado frente a Metodologías Lúdicas en Educación Superior (PAMLES), validado y analizado por Sánchez-Domínguez et al. (2023), con 5 dimensiones (contenidos, metodología, evaluación, motivación de la experiencia y motivación de la asignatura) y 57 ítems. Centrándonos en la dimensión de los contenidos, las subcategorías analizadas fueron: la formulación de problemas, la cantidad de contenidos, su interrelación y organización y su jerarquía. Los aspectos más mencionados por los 160 estudiantes encuestados fueron: a) el aprendizaje de los contenidos es más fácil cuando se hace a través de la resolución de problemas; b) los contenidos se asimilan mejor cuando se trabajan expresamente sus interacciones; y c) las actividades activas y participativas permiten identificar mejor la jerarquía de los contenidos, comprendiendo que algunos son más importantes que otros. Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles 142 Formación Universitaria Vol. 17 Nº 1 – 2024 Aunque hay bastantes investigaciones que han tratado de conocer las opiniones de los estudiantes universitarios sobre la buena docencia (Belland et al., 2015) o sobre los efectos de una metodología innovadora en el aula, son pocas las que incluyen como objetivo, como es nuestro caso, conocer la opinión de los estudiantes sobre cómo se han abordado los contenidos durante las clases. Desde nuestro punto de vista, esto guarda relación con el hecho de que muchos docentes universitarios se perciben a sí mismos como expertos en su campo científico y consideran que los estudiantes poco pueden aportar en ese ámbito. Sin embargo, una de las cuestiones críticas para modificar el modelo docente radica en cuestionarse cómo formular los contenidos desde un punto de vista didáctico, epistemológico y psicológico, para que sean realmente relevantes para el aprendizaje de los estudiantes (Gil-Pérez, 1991; Hero y Lindfors, 2019). En esta misma línea apunta el hecho constatado de que la formación docente universitaria se centre, mayoritariamente, en mejorar los asuntos metodológicos y tecnológicos, olvidando la necesidad de un cambio también en el enfoque didáctico de los contenidos (Harland y Wald, 2018; O’Connor, 2020). Guerra et al. (2016) analizaron las respuestas de 1015 estudiantes universitarios de áreas científico-técnicas a un cuestionario sobre aspectos académicos acerca de los contenidos, durante el curso 2011/2012. El 63,2% de los estudiantes afirmó haber abordado durante su periodo universitario solo contenidos teóricos sin vinculación con la realidad y haber centrado el aprendizaje en su retención y memorización para los exámenes. Tan solo el 11,8% indicó haber abordado contenidos relacionados con la realidad o con problemas profesionales. Los comentarios generales de los estudiantes indican que demandan contenidos más problematizados, contextualizados y aplicados al campo profesional (problemas relacionados con actividades reales, más prácticos, relacionados con el futuro laboral, etc.). En esta misma línea se sitúan algunas de las conclusiones de la investigación de Guerra-García et al. (2023) sobre el Aprendizaje Basado en Equipos (ABE), a través de un cuestionario de 50 ítems. En este estudio, en relación con los contenidos, el 58% de los 75 estudiantes universitarios no encontró congruencia y relación entre los aspectos teóricos y los requeridos para solucionar problemas, y tan sólo el 42% afirmó haber trabajado algún problema relacionado con su práctica profesional futura. Estos datos, refuerzan la idea de que, desde la visión de los estudiantes, el tratamiento de los contenidos sigue en muchos casos una lógica teórica y academicista, sin relación con problemas y preguntas que les den sentido, alejados de la realidad y poco vinculados a las situaciones profesionales, aspectos que tienen gran importancia para ellos. Opiniones de los estudiantes sobre la metodología y la evaluación La evaluación tiene, para nosotros, al igual que los contenidos, la misma importancia que la metodología para obstaculizar o facilitar la mejora docente (De-Alba-Fernández y Porlán, 2020). En esta sección analizamos algunas investigaciones centradas en las opiniones de estudiantes universitarios sobre lo que ha ocurrido en las clases al emplear una metodología alternativa o/y un modelo de evaluación innovador. En un estudio centrado en mejorar el modelo metodológico, Gilboy et al. (2015) propusieron cambiar sus clases de ciencia para hacerlas más atractivas a través del aula invertida. Evaluaron las opiniones de 142 estudiantes universitarios de áreas científico-técnicas que participaron tanto en clases tradicionales como en clases innovadoras. Para ello utilizaron un cuestionario con 5 ítems que hacían referencia a la mejora, o no, del proceso de enseñanza y aprendizaje a través de la enseñanza invertida. Al comparar las respuestas de los estudiantes, obtuvieron que un 76% opinó haber aprendido más con actividades basadas en vídeos-lecturas previas que con la enseñanza tradicional. El 64% indicó haberse involucrado más en las clases invertidas que en las tradicionales, el 62% consideró muy relevante el material proporcionado en el aula invertida, a veces creado por ellos mismos, y el 56% consideró más efectivo este enfoque a la hora de aplicarlo a la vida profesional. En relación con la metodología y la evaluación del estudio ya mencionado de Guerra-García et al. (2023) sobre ABE, el 71,3% de las respuestas de los alumnos indicaron que este tipo de metodologías desarrolla competencias y habilidades para solucionar problemas e incentiva el pensamiento crítico. Con respecto a las cuestiones sobre metodología y evaluación abordadas en la investigación también mencionada de Guerra et al. (2016), tan solo el 20,2% de los 1015 estudiantes plantearon haber abordado cuestiones prácticas con sus profesores, lo que indica que el modelo didáctico se basó débilmente en la resolución de problemas, proyectos o casos por parte de los estudiantes Con énfasis en la evaluación, Suárez et al. (2020) llevaron a cabo una investigación para conocer las opiniones de 394 estudiantes de materias científico-técnicas sobre las ventajas e inconvenientes de la evaluación formativa. Para ello, utilizaron un cuestionario tipo Likert con tres dimensiones: ventajas, inconvenientes y propuestas de mejora. Entre los resultados más relevantes destaca que el 98,5% del alumnado afirmó que su calificación final no procedía exclusivamente de la realización de exámenes y el 89,6% que estaba ajustada correctamente por el profesor. El 72,08% indicó que hubo autoevaluación y un 58,4% que hubo coevaluación. En cuanto a las ventajas de este sistema de evaluación, el 87,8% del alumnado destacó haber aprendido más y mejor. En referencia a los inconvenientes, el 58,9% indicó que requería un mayor esfuerzo y el 53,8% que se trataba de un sistema que necesita ser bien comprendido previamente. Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles Formación Universitaria Vol. 17 Nº 1 – 2024 143 En relación con el componente evaluativo de la retroalimentación (compartir, contrastar y mejorar las ideas entre estudiantes y profesores), Dawson et al. (2019) analizaron las respuestas de 400 estudiantes universitarios de áreas científico-técnicas al cuestionario Feedback for Learning Survey para determinar cómo afectaba dicha retroalimentación a la evaluación. El 90% de los estudiantes indicó que sus conocimientos mejoraron bastante más con la evaluación basada en la retroalimentación que con la evaluación basada solo en los exámenes e identificaron tres cuestiones principales: a) la retroalimentación ayuda a conocer las fortalezas y debilidades del propio aprendizaje; b) mejora los conocimientos; y c) tienen consecuencias afectivas positivas. Estas investigaciones evidencian que el estudio de las voces estudiantiles sobre la práctica docente innovadora en el ámbito de la metodología y la evaluación pueden ser relevantes y útiles para la mejora de la docencia universitaria y que, en general, los estudiantes apoyan los modelos metodológicos basados en la actividad del estudiante y la concepción formativa de la evaluación, pues afirman que les ayuda a mejorar sus aprendizajes, a estar más implicados y a tener una mejor relación con sus docentes. Por último, queremos poner de nuevo en evidencia la escasez de estudios que abarquen las opiniones de los estudiantes sobre los contenidos. Pero también la usencia de módulos formativos relacionados con el asunto de los contenidos en los programas de formación docente universitaria (Porlán, 2020). Ambas cuestiones indican que existe la idea de que el cambio docente es un asunto metodológico y, en menor medida, de evaluación (Harland y Wald, 2018; O’Connor, 2020). Todo ello pone de manifiesto una limitación en el impacto de las experiencias innovadoras, pues, como hemos dicho, el alineamiento constructivo, como plantean Biggs (1996), debe involucrar e interrelacionar las tres dimensiones de la práctica docente (contenidos, metodología y evaluación) para provocar cambios significativos y duraderos. METODOLOGÍA Esta investigación forma parte de un proyecto más amplio centrado en el impacto del programa FIDOP en la mejora docente de los participantes. En él se han puesto en juego diferentes estrategias para obtener datos rigurosos y someterlos a triangulación: Observaciones de aula y estimulación del recuerdo; cuestionarios y entrevistas a los docentes; producciones de los docentes; entrevistas a los estudiantes y, al final del mismo, el cuestionario que aquí se analiza. El diseño y desarrollo del proyecto puede consultarse en De-Alba- Fernández y Porlán (2020). Este estudio cuantitativo se ha desarrollado siguiendo un diseño metodológico empírico-analítico de tipo no experimental, con un análisis descriptivo-interpretativo y un análisis factorial por componentes principales (SPSS v27). El instrumento utilizado ha sido el cuestionario C-RENOVES, tipo Likert, validado en tres fases (Pérez-Robles y Delord, 2022) y fundamentado en trabajos anteriores (De-Alba-Fernández y Porlán, 2020; Porlán et al., 2020; Rivero et al., 2020), con el fin de conocer las opiniones de los estudiantes sobre lo que ha ocurrido en las clases innovadoras de los docentes participantes en los Cima del programa FIDOP. Las tres fases de validación que ha tenido el instrumento son: a) un juicio de 7 expertos en formación docente universitaria de áreas científico-técnicas, para determinar la pertinencia y claridad del sistema de categorías y de los ítems, y una prueba piloto con 58 estudiantes de las mismas áreas cuyos profesores eran parte del programa, para determinar la dificultad de comprensión de cada enunciado; b) una primera aplicación a través de un análisis factorial exploratorio y descriptivo-interpretativo con una muestra de 414 estudiantes de materias CTS participantes en el programa, que tras varias modificaciones dio lugar a la versión definitiva; y c) una segunda aplicación, similar a la anterior, con 235 estudiantes de materias CTS participantes en el programa que confirmó la validez del constructo aplicado a la presente investigación. Para su construcción inicial, se tuvieron en cuenta cuestionarios como el Student Evaluation of Educational Quality (SEEQ) (Marsh y Roche, 1993) y el Student Engagement Questionnaire (SEQ) (Kember y Leung, 2009). El C-RENOVES definitivo está compuesto de dos partes, una con 20 declaraciones cerradas con 6 valores (totalmente en desacuerdo; bastante en desacuerdo; algo en desacuerdo; algo de acuerdo; bastante de acuerdo; totalmente de acuerdo) y otra con 3 preguntas abiertas que no han sido analizadas en esta investigación (Shannon-Baker, 2016). Los 20 ítems de la parte cuantitativa del instrumento se corresponden con tres categorías que recogen las distintas variables del proceso de enseñanza-aprendizaje: el tratamiento de los contenidos, la metodología de enseñanza y la evaluación. A su vez, estas tres categorías se subdividen en 10 subcategorías con 2 ítems contrapuestos para cada una de ellas (ver Tabla 1), uno vinculado al Modelo de enseñanza Centrado en la Materia (modelo tradicional, MCM) y otro al Modelo Centrado en el Aprendizaje (modelo innovador, MCA) (Castillo y Ramírez, 2020). Para facilitar el análisis, cada ítem se ha identificado con un código que contiene su posición en el cuestionario, la categoría de procedencia y el modelo de enseñanza al que está vinculado; por ejemplo: ‘‘2Ct’’ es el ítem número 2 de la categoría tratamiento de los contenidos (C) y vinculado al modelo tradicional (t). Con la misma Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles 144 Formación Universitaria Vol. 17 Nº 1 – 2024 finalidad, las subcategorías se han identificado con un código en función de su orden y categoría de procedencia; por ejemplo: ‘‘C1’’ se identifica con la subcategoría formulación de problemas, puesto que es la primera (1) que pertenece a la categoría tratamiento de los contenidos (C). El orden de las preguntas es aleatorio y la administración se hizo en formato electrónico con presencia de los autores. Las relaciones entre categorías, subcategorías e ítems se recogen en la Tabla 1. Tabla 1: Categorías, subcategorías e ítems del instrumento Ítems Categoría Subcategoría Modelo centrado en la materia y el profesor (MCM) Modelo centrado en el aprendizaje y el estudiante (MCA) Tratamiento de los contenidos (C) Formulación de problemas (C1) 2. No se ha trabajado con problemas, proyectos o casos durante la innovación (2Ct) 19. Los contenidos trabajados durante la innovación se han relacionado con problemas, proyectos o casos (19Ci) Interacciones entre los contenidos (C2) 17. Durante la innovación se han trabajado poco las relaciones entre los contenidos (17Ct) 4. Durante la innovación se ha trabajado la relación entre los contenidos (3Ci) Tipos de contenidos (C3) 14. Los contenidos que se han enseñado a lo largo de la innovación han sido, sobre todo, de carácter teórico (14Ct) 11. Durante la innovación, se han trabajado de manera equilibrada contenidos teóricos, habilidades y valores (11Ci) Metodología de enseñanza (M) Modelo metodológico (M1) 6. Durante la innovación, las clases han consistido fundamentalmente en la explicación del contenido por el/la docente (6Mt) 8. La metodología utilizada durante la innovación se ha basado en la resolución de problemas, proyectos o casos, por parte de los estudiantes (8Mi) Secuencia y orden de las actividades (M2) 10. El orden de las actividades durante la innovación ha sido trabajar primero la teoría y luego la práctica (10Mt) 5. En la innovación se han realizado primero actividades para que los estudiantes expresen sus ideas y después otras para ayudarles a mejorarlas (5Mi) Adaptación de la enseñanza a las ideas de los alumnos (M3) 20. Durante la innovación no se ha trabajado a partir de las ideas de los estudiantes sobre los contenidos (20Mt) 16. El/la profesor/a ha intentado conocer y mejorar las ideas de los estudiantes sobre los problemas, proyectos o casos trabajados durante la innovación (16Mi) Evaluación (E) Calificación (E1) 7. La manera como el/la docente ha calificado en la innovación ha sido básicamente con un examen (7Et) 1. Las notas relacionadas con las clases innovadoras se han basado en las actividades realizadas por los estudiantes (1Ei) Qué evaluar (E2) 12. Lo que el/la docente ha evaluado durante la innovación ha sido si los estudiantes recuerdan los contenidos enseñados (12Et) 9. Para evaluar, el/la docente se ha basado en la evolución de las ideas de los estudiantes a lo largo de la innovación (9Ei) Evaluación de la práctica docente y del diseño didáctico (participación del alumnado) (E3) 3. Al final de la innovación no se ha pedido opinión a los estudiantes sobre cómo ha funcionado y sobre la actuación del docente (3Et) 13. El/la docente ha recogido información sobre el punto de vista de los estudiantes para mejorar la innovación (13Ei) Cuando evaluar (E4) 15. El/la profesor/a ha evaluado solo al final de la innovación (15Et) 18. El/la profesor/a ha ido obteniendo información en diferentes momentos de la innovación que le ha servido para evaluar (18Ei) Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles Formación Universitaria Vol. 17 Nº 1 – 2024 145 Muestra y contexto Como se ha indicado, esta investigación se ha realizado en el marco del programa FIDOP de la Universidad de Sevilla y en relación con los Ciclos de Mejora en el Aula (Cima) experimentados por los docentes participantes. La muestra está compuesta por 687 estudiantes, 180 de áreas científico-técnicas y 507 del resto de áreas universitarias que recibieron clases innovadoras de profesores participantes en el programa durante los cursos 2021-2022 y 2022-2023. Durante el estudio, a la muestra de estudiantes de materias científico-técnicas se le llamó muestra C-T y muestra resto a la de las demás materias. En la muestra C-T, el 67,7% (122) de los estudiantes eran mujeres y el 32,3% (58) eran hombres. En la muestra resto, el 70,74% (486) de los estudiantes eran mujeres y el 29,26% (201) eran hombres. Ambas muestras son no probabilísticas e intencionales, puesto que fueron elegidas por la posibilidad de acceder a ellas. La participación de los estudiantes fue voluntaria. La aplicación del cuestionario se realizó en contexto de clase, estando presente miembros del equipo de investigación, un mes después de que se acabara la aplicación del ciclo de mejora experimental. Procedimiento Para analizar las respuestas de los estudiantes y la coherencia de los factores respecto a los ítems de ambas muestras, se utilizó el análisis factorial por componentes principales, mediante rotación varimax, con el paquete estadístico SPSS v27. Antes de analizar las relaciones entre factores, se estableció la pertinencia del estudio con las pruebas de adecuación muestral de Káiser-Meyer-Olkin (KMO), en donde se determina como buena su realización si KMO ≥ 0,75 (0 ≤ KMO ≤ 1), junto a la prueba de esfericidad de Barlett, para determinar la correlación significativa entre el modelo de probabilidad chi-cuadrado, si p-valor (Sig.) < 0,005. Para confirmar los estudios de las fases anteriores y estimar la consistencia interna, estabilidad y reproductividad del instrumento, se utilizó el coeficiente alfa de Cronbach y el índice de correlación intraclase (ICC) siguiendo las recomendaciones de Taber (2018). Los valores de estos coeficientes oscilan entre 0 y 1, considerándose como satisfactorios los superiores a 0,7. Además, se analizó la significación de cada factor de ambas muestras para determinar las diferencias a través de su comparativa. Igualmente, para analizar las respuestas del cuestionario, se llevó a cabo un análisis estadístico-descriptivo mediante porcentajes, promedios y desviaciones típicas. Se analizó la mayor o menor relevancia de ciertos ítems, la congruencia o no de las respuestas dadas a cada par ítems de la misma subcategoría con orientaciones contrapuestas (modelo tradicional y modelo centrado en el aprendizaje) y las semejanzas y diferencias entre las respuestas de las dos muestras a través de una gráfica radial o confrontación de araña (Carmichael y MacEachen, 2017), como resultado de los promedios de cada subcategoría. RESULTADOS Y DISCUSIÓN Se presentan y analizan los resultados obtenidos de ambas muestras tanto en las pruebas factoriales, como en las pruebas estadístico-descriptivas. Análisis por componentes principales El valor de la adecuación muestral Káiser-Meyer-Olkin (KMO) fue de 0,800 para la muestra C-T y 0,859 para la muestra resto, indicando la pertinencia del estudio por ser KMO ≥ 0,75 (0 ≤ KMO ≤ 1). Por otra parte, la prueba de esfericidad de Barlett permitió rechazar la hipótesis nula de esfericidad e indicó correlación significativa según el modelo de probabilidad chi-cuadrado (siendo en ambas p-valor < 0,001). Los valores del coeficiente alfa de Cronbach y del índice de correlación intraclase (ICC) sobre los 20 ítems indicaron una aceptable fiabilidad interna: a) α=0,747 y ICC=0,747 para la muestra C-T y b) α=0,798 y ICC=0,798 para la muestra resto. En cuanto al alfa por modelos de enseñanza, los valores oscilan entre 0,653 y 0,840. Estos resultados se muestran en la Tabla 2 y 3. Tabla 2: Análisis del alfa de Cronbach (α), ICC, Índice KMO y esfericidad de Bartlett Tipo de muestra Número de ítems Estadística de fiabilidad ICC Prueba de KMO Prueba de esfericidad de Bartlett Alfa de Cronbach (α) Medida promedio Medida de adecuación de muestreo Aprox. chicuadrado gl Sig. Muestra C-T 20 0,747 0,747 0,800 882,206 190 <0,001 Muestra resto 20 0,798 0,798 0,859 2657,160 190 0,000 Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles 146 Formación Universitaria Vol. 17 Nº 1 – 2024 Tabla 3: Análisis del alfa de Cronbach (α) por Modelos de enseñanza Estadística de fiabilidad Tipo de muestra Modelos de enseñanza Alfa de Cronbach Número de ítems Muestra C-T MCM 0,653 10 MCA 0,840 10 Muestra resto MCM 0,757 10 MCA 0.838 10 En relación con el análisis de componentes principales en ambas muestras, se obtuvieron 5 factores o dimensiones que explican el 59,46% y el 61,81% de la varianza total explicada de la muestra C-T y muestra resto, respectivamente. Las cargas factoriales de ambas muestras fueron superiores a 0,50 (ver Tabla 4 y 5). Seguidamente, se analiza el significado de los factores en relación con los dos modelos de enseñanza que tomamos como referencia (MCA, MCM), primero de la muestra C-T y luego de la muestra resto. Factores de la muestra C-T El factor 1 de la muestra C-T (Tabla 4), incluye todos los ítems que hemos asociado con el Modelo centrado en el Aprendizaje y el Estudiante (1, 4, 5, 8, 9, 11, 13, 16, 18 y 19), abarcando las 3 categorías del estudio (como se puede comprobar en la Tabla 1), y explica el 21,45% de la varianza total. Destacan los ítems 4, 5, 8 y 19 con pesos factoriales superiores a 0,7. Con respecto al tratamiento de los contenidos, los estudiantes evidencian haber trabajado durante la innovación las relaciones entre los contenidos (ítem 4) y su vinculación con problemas, proyectos o casos (ítem 19). Además, indican que se han trabajado de manera equilibrada contenidos teóricos, habilidades y valores (ítem 11). En cuanto a la metodología de enseñanza, según los estudiantes, primero se han realizado actividades para que expresen sus ideas y después otras para ayudarles a mejorarlas (ítem 5), basándose en la resolución de problemas, proyectos o casos (ítem 8). Sobre la evaluación, dimensión con menor peso factorial, los estudiantes afirman que las calificaciones de las clases innovadoras se han basado en las actividades realizadas durante el proceso de enseñanzaaprendizaje (ítem 1). Por el contrario, los factores 2 (12,76%), 3 (9,58%), 4 (8,42%) y 5 (7,25%) (Tabla 4), que explican en conjunto el 38,01% de la varianza total, abarcan, entre los cuatro, los 10 ítems del Modelo centrado en la Materia y el Profesor, y por tanto las 3 categorías del estudio. El factor 2, vinculado a los ítems 7, 14, 15 y 20 describe que los estudiantes han trabajado mayoritariamente contenidos teóricos (ítem 14), que no han trabajado partiendo de sus ideas (ítem 20) y que les han calificado a través de un examen (ítem 7) al final de la innovación (ítem 15). El factor 3, vinculado a los ítems 6, 10 y 17 resalta, según los estudiantes, que las clases se han dedicado mayoritariamente a las explicaciones del docente (ítem 6), con poco énfasis en la relación entre los contenidos (17) y siguiendo el orden tradicional de enseñar primero la teoría y luego la práctica (ítem 10). El factor 4, vinculado a los ítems 2 y 3, describe la poca participación de los estudiantes, al no haberse trabajado con problemas, proyectos o casos (ítem 2), y al no contar los docentes con sus opiniones sobre la innovación y sobre su actuación en el aula (ítem 3). Por último, el factor 5 vinculado al ítem 12 (con un peso factorial de 0,847), evidencia con mucha fuerza que los docentes han evaluado solo si los estudiantes recuerdan o no los contenidos enseñados (ítem 12). En resumen, en la muestra de los estudiantes C-T se identifican dos tendencias diferentes: la centrada en el aprendizaje y el estudiante (factor 1) y un abanico de factores propios del modelo tradicional. Esto confirma la idea de que el cambio docente es un proceso cargado de transiciones graduales y contradictorias (Caballero y Bolívar, 2015). Factores de la muestra resto El factor 1 (15,84%) y el factor 2 (13,21%) de la muestra resto, que explican en conjunto el 26,05% de la varianza total, se asocian entre ambos con los 10 ítems del Modelo centrado en el Aprendizaje y el Estudiante y abarcan las 3 categorías del estudio (Tabla 5). El factor 1, vinculado a los ítems 4, 5, 11, 13, 16 y 19, expresa, según los estudiantes, que durante la innovación se han trabajado contenidos relacionados entre sí (ítem 4), abordando los diferentes tipos (conceptos, habilidades y valores) (ítem 11) y basados en problemas, proyectos o casos (ítem 19). Los estudiantes indican también que durante el proceso de enseñanza el docente ha tratado de conocer y mejorar sus ideas (ítem 16), a través de actividades en las que las han expresado seguidas de otras para ayudarles a mejorarlas (ítem 5). Sobre la evaluación, indican con gran fuerza factorial (0,832) que el docente ha recogido información sobre el punto de vista de los estudiantes para mejorar la innovación (ítem 13). El factor 2, vinculado a los ítems 1, 8, 9 y 18, refleja que los docentes han seguido una evaluación basada en la evolución de las ideas de los estudiantes (ítem 9), obteniendo información en diferentes momentos de la innovación (ítem 18) y que la calificación final se ha basado en las actividades realizadas por los estudiantes (ítem 1) centradas en la resolución de problemas, proyectos o casos (ítem 8). Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles Formación Universitaria Vol. 17 Nº 1 – 2024 147 Sin embargo, de la misma manera que en la muestra C-T, los factores 3 (11,69%), 4 (11,66%) y 5 (9,41%), que explican en conjunto el 35,76% de la varianza total, se asocian entre los tres a los 10 ítems del Modelo centrado en la Materia y el Profesor y abarcan también las 3 categorías del estudio. El factor 3, vinculado a los ítems 7, 12, 14 y 15, describe que los estudiantes han sido calificados solo al final de la innovación (ítem 5), básicamente con un examen (ítem 7) para medir si recuerdan o no los contenidos enseñados (ítem 12), siendo estos de carácter teórico (ítem 14). En el factor 4, vinculado a los ítems 6, 10 y 17, los estudiantes indican haber abordado en clase primero la teoría y luego la práctica (ítem 10), a través de la explicación del docente (ítem 6) y abordando poco las relaciones entre los contenidos (ítem 17). El factor 5, vinculado a los ítems 2, 3 y 20 resalta que los estudiantes no han abordado los contenidos a través de la resolución de problemas, proyectos o casos (ítem 2), que en la metodología no se ha trabajado a partir de sus ideas (ítem 20) y que la evaluación del Cima y de la práctica docente se ha llevado a cabo sin su participación (ítem 3). Tabla 4: Matriz de componentes rotados de la muestra C-T Componentes (varianza explicada: 59,46%) MCA (21,45%) MCM (38,01%) F1 F2 F3 F4 F5 Aprendizaje y estudiante Materia y docente Metodología tradicional Falta de implicación de los estudiantes Evaluación tradicional 21,45% 12,76% 9,58% 8,42% 7,25% MCA 5Mi 0,898 - - - - 8Mi 0,786 - - - - 19Ci 0,767 - - 4Ci 0,708 - - - - 11Ci 0,671 - - - - 1Ei 0,655 - - - - 16Mi 0,639 - - - - 9Ei 0,621 - - - - 18Ei 0,573 - - - - 13Ei 0,507 - - - - MCM 20Mt 0,731 - - - 7Et 0,676 - - - 14Ct 0,631 - - - 15Et 0,525 - - - 6Mt - 0,842 - - 10Mt - 0,704 - - 17Ct - - 0,669 - - 2Ct - - - 0,787 - 3Et - - - 0,715 - 12Et - - - - 0,847 En resumen, también en la muestra resto se identifican las dos tendencias mencionadas en la muestra C-T: la centrada en el aprendizaje y el estudiante (factor 1 y factor 2), con énfasis en la evaluación formativa (Ricoy y Fernández-Rodríguez, 2013), y tres factores propios del modelo centrado en la materia y el docente. Si comparamos los resultados de ambas muestras, se observa una varianza total explicada muy similar (59,46% en la muestra C-T y 61,81% en la muestra resto), aunque algo mayor en esta última. Ambos análisis indican la existencia de una fuerte tendencia innovadora entre el profesorado de estos estudiantes y también una importante tendencia tradicional, aunque esta última con menor peso en la muestra resto. Opiniones de estudiantes universitarios de ciencias experimentales y tecnología Pérez-Robles 154 Formación Universitaria Vol. 17 Nº 1 – 2024 Porlán, R., Delord, G., Hamed, S., y Rivero, A., El cambio de las concepciones y emociones sobre la enseñanza a través de ciclos de mejora en el aula: un estudio con profesores universitarios de ciencias, https://doi.org/10.4067/S0718-50062020000400183, Formación Universitaria, 13(4), 183-200 (2020) Ricoy, M. C., y Fernández-Rodríguez, J., La percepción que tienen los estudiantes universitarios sobre la evaluación: un estudio de caso, https://doi.org/10.5944/educxx1.2.16.10344, Educación XX1, 16(2), 321-341 (2013) Rivero, A., Hamed, S., Delord, G., y Porlán, R., Las concepciones de docentes universitarios de ciencias sobre los contenidos, https://doi.org/10.5565/rev/ensciencias.2845, Enseñanza de las Ciencias, 38(3), 15-35 (2020) Samuelowicz, K. y Bain, J. D., Revisiting academics’ beliefs about teaching and learning’, https://doi.org/10.1023/A:1004130031247, Higher Education, 41, 299-325 (2001) Sánchez-Domínguez, V., De-Alba-Fernández, N., y Navarro-Medina, E, Percepciones del alumnado universitario sobre gamificación, diseño y validación de un instrumento, https://doi.org/10.30827/profesorado.v27i1.21198, Profesorado, Revista de Currículum y Formación del Profesorado, 27(1), 321-346 (2023) Shannon-Baker, P., Making paradigms meaningful in mixed methods research, https://doi.org/10.1177/1558689815575861, Journal of Mixed Methods Research, 10(4), 319–334 (2016) Suárez, R. S., Jiménez, F. J., y Adelantado, V. N., La percepción de los estudiantes sobre los sistemas de evaluación formativa aplicados en la educación superior, https://doi.org/10.15366/riee2020.13.1.001, Revista Iberoamericana de Evaluación Educativa, 13(1), 11-39 (2020) Taber, K. S., The Use of Cronbach’s alpha when developing and reporting research instruments in science education, https://doi.org/10.1007/s11165-016-9602-2, Research in Science Education, 48, 1273-1296 (2018) Uiboleht, K., Karm, M., y Postareff, L., Relations between students’ perceptions of the teaching-learning environment and teachers’ approaches to teaching: a qualitative study, https://doi.org/10.1080/0309877X.2018.1491958, Journal of Further and Higher Education, 43(10), 1456–1475 (2019) Vilppu, H., Södervik, I., Postareff, L., y Murtonen, M., The effect of short online pedagogical training on university teachers’ interpretations of teaching–learning situations, https://doi.org/10.1007/s11251-019-09496-z, Instructional Science, 47, 679-709 (2019)