Evaluando el aprendizaje con cuestionarios técnicos previos en la enseñanza teórica en ingeniería

— 1636 — EVALUANDO EL APRENDIZAJE CON CUESTIONARIOS TÉCNICOS PREVIOS EN LA ENSEÑANZA TEÓRICA EN INGENIERÍA Ana Rosa Sainz1; Ana María Beltrán Custodio2 1Profesora sustituta interina. Universidad de Sevilla. 2Profesora titular de Universidad. Universidad de Sevilla 1. INTRODUCCIÓN En el ámbito educativo universitario, la búsqueda constante de estrategias innovadoras que fomenten un aprendizaje más efectivo y significativo es esencial para la formación de los estudiantes (Goméz Trigueros, 2018; González Losada & Triviño García, 2018; Pherez et al., 2018). Tradicionalmente, las clases teóricas se han centrado en la transmisión de conocimientos por parte del docente, dejando poco espacio para la participación activa de los estudiantes y la evaluación continua de su comprensión. Existen numerosos estudios en la literatura que abordan esta cuestión en el ámbito universitario. Por ejemplo, Carpenter et al. 2017 evaluó cómo la inclusión de cuestionarios opcionales en la educación afecta el rendimiento de los estudiantes. Se introdujeron cuestionarios voluntarios para que los estudiantes decidieran si realizarlos. La hipótesis era que esta autonomía promovería el compromiso y el rendimiento. Los resultados preliminares respaldaron esta idea, mostrando que los estudiantes que optaban por los cuestionarios adicionales se comprometían más y obtenían calificaciones más altas. En este sentido, es esencial comprender las razones detrás de la elección de los estudiantes de participar en cuestionarios opcionales, dado que existe una clara correlación positiva entre esta participación y su desempeño en los exámenes finales. Varios estudios han respaldado esta mejora; Velan et al. 2008 reveló un aumento del 3,2% en las calificaciones de los estudiantes que completaron los cuestionarios previos, mientras que el estudio de Carrillo-De-La-Peña et al. 2009 registró un aumento significativo del 12%. Por tanto, identificar cuándo y por qué los estudiantes se involucran en esta práctica de repaso, y cómo estimularlos en esta dirección, se convierte en un factor crítico para potenciar su éxito. Un estudio realizado por Lazarowitz & Lieb, 2006 tras realizar cuestionarios previos a las clases, se recomendó que los docentes abordaran las dificultades de los estudiantes mediante la integración de todos los resultados para crear un cuerpo de conocimiento coherente, y luego presentaran los conceptos de manera lógica y secuencial. De acuerdo a Farrell & Farmer, 1980 esto permitiría a los estudiantes comprender la teoría en orden y — 1637 — construir su conocimiento de manera efectiva. El estudio realizado por Lazarovit & Lieb analizó en detalle a los estudiantes, observando que las poblaciones estudiantiles que asistieron a cursos de primer año eran extremadamente diversas. Los estudiantes tenían habilidades variadas, se encontraban en diferentes etapas cognitivas y tenían estilos de aprendizaje diversos. Por lo tanto, se tomó en cuenta que los docentes considerarían estos factores, así como el conocimiento previo y las concepciones erróneas de los estudiantes. De esta manera, pudieron basarse en teorías del aprendizaje que describieran cómo los estudiantes asimilan los conceptos científicos y crear un entorno de aprendizaje que fomentara el éxito de todos los estudiantes en cursos de ciencias. La creación de un entorno de aprendizaje positivo y la utilización de diversas estrategias de enseñanza centradas en contenidos específicos parecían ser fundamentales para garantizar el éxito. Ya que la mayoría de estudios publicados promueven que los cuestionarios previos promueven de manera efectiva la mejora en el estudiante (Alducin-Ochoa & Vázquez- Martínez, 2016), este trabajo aplica una nueva metodología para la asignatura de procesos de fabricación en la Escuela Politécnica Superior de la Universidad de Sevilla. Este cuestionario opcional deberá estar diseñado de manera específica para cada sesión de la asignatura, se convertirá en una herramienta esencial para evaluar el nivel de conocimientos antes (y después de cada clase) de los estudiantes sobre los temas a tratar. Además, servirá como punto de partida para las discusiones en clase y para adaptar la enseñanza a las necesidades específicas de los estudiantes. A lo largo de esta propuesta, se explorará en detalle cómo la implementación de estos cuestionarios puede transformar la experiencia de aprendizaje, promoviendo una mayor participación, comprensión y retención de conceptos clave en la materia. Asimismo, se analizará cómo esta metodología innovadora puede contribuir al desarrollo de habilidades de autorregulación y autonomía en los estudiantes, preparándolos de manera más efectiva para los desafíos del mundo laboral y la resolución de problemas en el campo de los procesos de fabricación. 2. OBJETIVOS Los principales objetivos de este trabajo son:  Evaluar el conocimiento previo: determinar de manera sistemática cuánto saben los estudiantes antes de cada clase sobre los temas específicos de la asignatura donde se aplica.  Personalizar la enseñanza: ajustar el contenido y el enfoque de las clases según los resultados de los cuestionarios previos, de modo que se adapte a las necesidades individuales de los estudiantes.  Incentivar la participación activa: estimular la participación activa de los estudiantes al utilizar los cuestionarios previos como punto de partida para debates y actividades de aprendizaje en el aula. — 1638 —  Fomentar la autorregulación: ayudar a los estudiantes a desarrollar habilidades de autorregulación al requerir que evalúen y gestionen su propio aprendizaje antes de las sesiones. 3. METODOLOGÍA Esta propuesta se aplica en la asignatura Procesos de Fabricación que se imparte en el tercer curso del grado en Ingeniería Electrónica Industrial Esta asignatura pertenece a la rama técnica de los grados en ingeniería y su temario es extenso. Esta asignatura se basa en conocimientos previos del área de conocimiento de ciencia e ingeniería de los materiales, asignatura del segundo curso del grado. La metodología de implementación de cuestionarios anteriores y posteriores en la asignatura es un enfoque pedagógico integral que se centra en la participación activa de los estudiantes y la adaptación continua de la enseñanza. Dado el elevado número de temas que presenta esta asignatura, los cuestionarios se realizan en aquellos principales, para poder cumplir la programación docente. La figura 1 indica los tres puntos fundamentales en los que se basa la metodología: 1. Diseño de cuestionarios, 2. Análisis de los resultados y 3. Seguimiento de resultados. Figura 1. Metodología utilizada en el proyecto de mejora docente. 3.1. Diseño de los cuestionarios En primer lugar, se diseñan cuestionarios previos específicos para cada clase teórica, cubriendo los temas que se abordarán. Estos cuestionarios se distribuyen a través de una plataforma de enseñanza, lo que facilita el acceso de los estudiantes desde diferentes dispositivos. La participación en los cuestionarios previos se considera opcional, aunque fomenta el compromiso con el proceso de aprendizaje. Antes de cada clase teórica programada, los estudiantes completan el cuestionario correspondiente, que permite evaluar su nivel de conocimiento previo sobre los temas. El diseño de los cuestionarios seguirá el siguiente procedimiento por parte del docente: — 1639 — (i) Identificación de temas clave: Antes de diseñar cada cuestionario previo, el docente identifica los temas clave que se abordarán en la próxima clase teórica. Esto implica seleccionar los conceptos fundamentales y los puntos críticos que deben ser comprendidos por los estudiantes. (ii) Creación de preguntas relevantes: en base a los temas identificados, que evalúen la comprensión y el conocimiento previo de los estudiantes. Las preguntas pueden variar en formato, incluyendo opciones múltiples, verdadero o falso, completar oraciones o preguntas abiertas, según lo apropiado. (iii) Nivel de dificultad gradual: el nivel de dificultad gradual en las preguntas, comenzando con cuestiones más simples que permitan a los estudiantes recordar conceptos básicos antes de abordar temas más complejos. Un ejemplo de una pregunta tipo cuestionario del tema 3 de la asignatura podría ser la indicada en la figura 2, en la que el estudiante debe saber tras cada pregunta cuál sería la respuesta correcta. Figura 2. Figura ejemplo del diseño de un cuestionario previo. Por otro lado, el cuestionario posterior debe estar diseñado conforme haya transcurrido la clase. En este sentido, deberá incluir preguntas que hayan sido destacadas durante la clase teórica, así como dudas puntuales remarcadas por los estudiantes. 3.2. Análisis de los resultados Una vez los estudiantes han finalizado el cuestionario el día anterior, se procede al análisis de los resultados. El objetivo es que el docente localice los conceptos que los estudiantes pueden encontrar más desafiantes. En base a estos resultados, el docente adapta el enfoque y el contenido de la clase teórica para abordar específicamente las áreas que requieren más atención. La figura 3a es un ejemplo del análisis de resultados, mediante un gráfico tipo circular en el que se representan las 5 preguntas tipo cuestionario realizadas y el número de aciertos. Se podría observar que la pregunta 2 es la más conocida por los estudiantes, sin embargo, la pregunta 4 es la más desconocida. De igual forma, un gráfico de barras puede mostrar en — 1640 — líneas generales si los estudiantes que han participado poseen niveles muy bajos, medios o altos de conocimiento inicial, así como el número de aciertos totales (figura 3b). (a) (b) Figura 3. Representación del número de aciertos de cada pregunta en un cuestionario modelo a) gráfico circular y b) histograma. La clase teórica comienza utilizando los resultados de los cuestionarios previos como punto de partida. Los estudiantes pueden plantear preguntas y participar activamente en discusiones relacionadas con los temas evaluados. Las actividades de aprendizaje en clase se diseñan para abordar los conceptos clave que los estudiantes pueden haber identificado como difíciles en los cuestionarios previos. La figura 4 indica los rangos que se van a utilizar para este estudio, en este sentido, los resultados obtenidos se dividirán según: (a) conocimiento bajo: responden bien a menos del 30%, (b) Conocimiento medio: responden bien entre el 30-60% y (c) Conocimiento alto: responden bien entre el 60-100%. — 1641 — Figura 4. Intervalos de conocimiento diseñados para evaluar los cuestionarios. 3.3. Seguimiento de los resultados A lo largo del curso, se realiza un seguimiento continuo del rendimiento de los estudiantes en los cuestionarios previos y en las clases teóricas. Al final del curso, se lleva a cabo una evaluación del impacto de esta metodología en el desempeño académico y la participación de los estudiantes a través de encuestas de satisfacción y métricas de rendimiento. Esta metodología se caracteriza por su enfoque en la retroalimentación continua y la mejora constante. Los ajustes se realizan según la retroalimentación de los estudiantes y los resultados obtenidos, con el objetivo de optimizar la experiencia de aprendizaje y preparar a los estudiantes de manera efectiva para los desafíos académicos y profesionales en el campo de los procesos de fabricación. 3.4. Comparación de resultados de los cuestionarios posteriores Finalizada la explicación teórica del tema a evaluar, los estudiantes deben realizar de nuevo el cuestionario. El docente recopila las respuestas y las compara con los resultados previos. Esto permite adaptar la enseñanza a sesiones teóricas posteriores, conociendo la información adquirida por los alumnos y focalizarse en aquellos aspectos en los que los estudiantes muestran más dificultad. 4. RESULTADOS Los resultados se basan en una evaluación de estudiantes que participaron en los cuestionarios previos antes de la clase teórica sobre "Procesos de Fabricación" de la titulación indicada. Cada cuestionario constaba de 10 preguntas de opción múltiple (sin límite de tiempo para responder). Primer cuestionario: TEMA 3: METROLOGIA FUNDAMENTAL La figura 5 indica la representación de los datos mediante una gráfica de barras, en este sentido, se representa el conocimiento de los estudiantes vs. el número de estudiantes. En azul está señalado los resultados del cuestionario previo, y en naranja el cuestionario posterior. Cuestionario previo: participaron 11 estudiantes de los que 7 mostraron un conocimiento bajo en metrología, respondiendo correctamente al 30% o menos de las preguntas relacionadas con esta área, 3 estudiantes demostraron un conocimiento moderado, (aciertos entre el 30% y el 60% de las preguntas) y solo un estudiante mostró un conocimiento alto, acertando más del 60 % de las cuestiones planteadas (figura 5). Cuestionario posterior: el análisis del cuestionario posterior reveló 3 estudiantes con conocimientos bajos, 3 con conocimientos medio y 5 alto (figura 5). — 1642 — Figura 5. Histograma de resultados obtenidos para el cuestionario 1 previo y posterior. Tras la realización de este primer cuestionario se observó que, durante la explicación teórica, los estudiantes que había participado en el cuestionario mostraron mayor interés por el tema incluso planteaban las dudas que habían surgido durante la realización de la prueba previa. Así mismo, se hizo incidió más en la explicación de los conceptos relacionados con aquellas cuestiones que había menos aciertos. Segundo cuestionario: TEMA 4: FUNDAMENTOS DE METROLOGIA DIMENSIONAL De los 9 estudiantes que participaron inicialmente en los cuestionarios previos antes de la clase teórica sobre "Fundamentos de metrología dimensional," se indican los resultados en la figura 6a: Enfoque en Metrología (Segundo cuestionario): El énfasis del segundo cuestionario se centraba en "Fundamentos de Metrología Fundamental," y los resultados indican que la mayoría de los estudiantes tienen un nivel inicial de conocimientos en este tema bajo. Los principales problemas de los alumnos fueron la correcta identificación de conceptos como: acreditación, certificación y normativa legal obligatoria. Como se puede apreciar en la figura 6a, los cuestionarios posteriores obtuvieron mejores resultados, destacando que las dudas planteadas fueron entendidas en mayor medida. Tercer cuestionario: TEMA 5: ENSAYOS NO DESTRUCTIVOS De los 12 estudiantes que participaron inicialmente en los cuestionarios previos antes de la clase teórica sobre "Ensayos no destructivos," la figura 6b indica los resultados obtenidos. Los estudiantes tienen un conocimiento general sobre los ensayos no destructivos en comparación con los otros temas realizados. Se revisó los conceptos básicos del tema, ya que había estudiantes que confundieron conceptos como la diferencia entre los — 1643 — ensayos destructivos y no destructivos, y diferente terminología que se estaba utilizando de manera incorrecta. Cómo se puede apreciar, se obtuvieron mejores resultados en el cuestionario posterior, señalando que los estudiantes habían comprendido en mayor medida los conceptos fundamentales. (a) (b) Figura 6. Histograma de resultados obtenidos para el cuestionario previo y posterior en (a) cuestionario 2 y (b) cuestionario 3. 5. CONCLUSIONES La introducción de cuestionarios previos y posteriores en la asignatura de Procesos de Fabricación del Grado en Ingeniería Electrónica Industrial ha demostrado ser una estrategia efectiva para mejorar la preparación de los estudiantes antes de las clases teóricas. Las principales conclusiones extraídas han sido las siguientes:  Los cuestionarios opcionales antes de las clases teóricas ayudan a los estudiantes a prepararse mejor y a enfocarse en los conceptos clave que se abordarán en la clase.  La retroalimentación inmediata proporcionada después de los cuestionarios mejora la comprensión de los temas y permite a los estudiantes corregir sus conceptos erróneos.  La implementación de cuestionarios después de las clases teóricas sirve como una herramienta efectiva para evaluar la asimilación de conocimientos y la retención a corto plazo.  La comparación de los resultados de los cuestionarios previos y posteriores muestra el progreso individual de cada estudiante, motivando el compromiso y el esfuerzo por mejorar. — 1644 —  Los cuestionarios opcionales fomentan un ambiente de aprendizaje autodirigido, donde los estudiantes pueden identificar sus áreas de debilidad y trabajar en ellas de manera independiente. REFERENCIAS Alducin-Ochoa, J. M. & Vázquez-Martínez, A. I. (2016). Autoevaluación de conocimientos previos y rendimiento según estilos de aprendizaje en un grado universitario de edificación. Formacion Universitaria, 9(2), 29–40. https://doi.org/10.4067/S0718- 50062016000200004 Carpenter, S. K., Rahman, S., Lund, T. J. S., Armstrong, P. I., Lamm, M. H., Reason, R. D. & Coffman, C. R. (2017). Students ’ Use of Optional Online Reviews and Its Relationship to Summative Assessment Outcomes in Introductory Biology. 1–9. https://doi.org/10.1187/cbe.16-06-0205 Carrillo-De-La-Peña, M. T., Baillès, E., Caseras, X., Martínez, À., Ortet, G. & Pérez, J. (2009). Formative assessment and academic achievement in pre-graduate students of health sciences. Advances in Health Sciences Education, 14(1), 61–67. https://doi.org/10.1007/s10459-007-9086-y Farrell, M. A. & Farmer, W. A. (1980). Systematic Instruction in Mathematics for the Middle and High School Years. Addison-Wesley Educational Publishers Inc. Goméz Trigueros, I. M. (2018). Gamificación y tecnologías como recursos y estrategias innovadores para la enseñanza y aprendizaje de la historia. Educ. Form., 3(8), 3–16. https://doi.org/10.25053/redufor.v3i8.267 González Losada, S. & Triviño García, M. Á. (2018). Las estrategias didácticas en la práctica docente universitaria. Profesorado, Revista de Currículum y Formación Del Profesorado, 22(2), 371–388. https://doi.org/10.30827/profesorado.v22i2.7728 Lazarowitz, R. & Lieb, C. (2006). Formative Assessment Pre-Test To Identify College. International Journal of Science and Mathematical Education, April 2005, 741–762. Pherez, G., Vargas, S. & Jerez, J. (2018). Neuroaprendizaje, una propuesta educativa: herramientas para mejorar la praxis del docente TT - Neurolearning, an educational proposal: tools to improve teacher praxis. Civilizar Ciencias Sociales y Humanas, 18(34), 149–166. Velan, G. M., Jones, P., McNeil, H. P. & Kumar, R. K. (2008). Integrated online formative assessments in the biomedical sciences for medical students: Benefits for learning. BMC