La opinión del alumno como método de mejora educativa

Universidad de Valladolid TRABAJO FIN DE MÁSTER MÁSTER EN PROFESOR DE EDUCACIÓN SECUNDARIA OBLIGATORIA Y BACHILLERATO, FORMACIÓN PROFESIONAL Y ENSEÑANZAS DE IDIOMAS Especialidad de Tecnología e Informática La opinión del alumno como método de mejora educativa The opinion of the student as a method of educational improvement Autor: D. Leopoldo José Villafáfila Pérez Tutor: Dr. D. Manuel Barrio Solórzano Valladolid, 27 de Abril de 2022 I Agradecimientos A mi madre que, como profesora que ha sido, me hizo valorar desde muy pequeño la importancia de la educación. A mi mujer por su apoyo incondicional. A mi tutor Manuel por sus inspiradoras reflexiones. A todos los docentes que, a lo largo de mis años de estudiante, han conseguido motivarme y sacar lo mejor de mí con su pasión por la enseñanza. II III Resumen Entre los numerosos usos y enfoques que puede tener la opinión del alumno, el que por consenso se considera más útil es la evaluación de la competencia docente. La evaluación de la competencia docente puede ayudar a los profesores a conocer sus propias debilidades y fortalezas de una forma efectiva, y este es el mejor punto de partida para explotar sus puntos fuertes y poder minimizar o eliminar sus puntos débiles. La opinión del alumno en esta evaluación resulta fundamental, ya que es uno de los actores principales en el binomio enseñanza-aprendizaje y puede aportar un punto de vista único. Por otra parte, el uso de técnicas de retroalimentación como herramientas para la mejora de la enseñanza ha sido universalmente aprobado, ya que aporta datos muy valiosos a la hora de describir las áreas que requieren mejoras, y resulta evidente que una enseñanza mejorada conduce a su vez a mejoras en el aprendizaje de los estudiantes. En este sentido existen algunas técnicas innovadoras en el uso de la opinión del alumno, como es el caso de los módulos implementados en Cánada, que permiten la participación activa de los alumnos a la hora de seleccionar y desarrollar la metodología de enseñanza. Los datos recopilados, ya sea mediante instrumentos de evaluación o a través de cualquier otra técnica de retroalimentación, pueden ser de gran utilidad a la hora de tomar decisiones como revisar, mantener o descartar ciertos aspectos y contenidos de un programa o variar las metodologías. Palabras clave: Educación, Opinión del alumno, Evaluación docente, Competencia docente, Mejora educativa. IV V Abstract Among the numerous uses and approaches that the student's opinion can have, the one that by consensus is considered most useful is the evaluation of teaching competence. The evaluation of teaching competence can help teachers to know their own weaknesses and strengths in an effective way, and this is the best starting point to exploit their strengths and be able to minimize or eliminate their weak points. The opinion of the student in this evaluation is fundamental, since he is one of the main actors in the teaching-learning binomial and can contribute with an unique point of view. On the other hand, the use of feedback techniques as tools for the improvement of teaching has been universally approved, since it provides data that helps to describe the areas that need improvement, and it is evident that improved teaching leads to improvements in student learning. In this sense, there are some innovative techniques in the use of the student's opinion, as is the case of the modules implemented in Canada, which allow the active participation of students when selecting and developing the teaching methodology. The data collected, either through evaluation instruments or through any other feedback technique, can be very useful when making decisions such as reviewing, maintaining or discarding certain aspects and contents of a program or varying methodologies. Keywords: Education, Student opinion, Teacher evaluation, Teaching competence, Educational improvement. VI VII Índice general INTRODUCCIÓN ......................................................................................... 1 OBJETIVOS ................................................................................................. 3 MARCO TEÓRICO ....................................................................................... 5 3.1. EVALUACIÓN DOCENTE ................................................................................ 6 3.1.1 Necesidad y utilidad de la evaluación docente ................................ 6 3.1.2 Criterios para la evaluación docente ............................................... 9 3.1.3 El alumno en la evaluación de la competencia docente ................ 14 3.1.4 El sesgo en la opinión del alumno .................................................. 16 3.2. TRATAMIENTO DE LA INFORMACIÓN ............................................................ 17 3.2.1 Investigación y evaluación en el aula ............................................ 17 3.2.2 Elaboración de cuestionarios ......................................................... 20 3.2.3 Validación de cuestionarios ........................................................... 22 3.3. VÍAS DE MEJORA ...................................................................................... 27 3.3.1 El modelo finlandés ........................................................................ 28 3.3.2 El modelo estadounidense ............................................................. 29 3.3.3 El modelo canadiense..................................................................... 30 3.3.4 El modelo chino .............................................................................. 31 3.3.5 El modelo de Singapur.................................................................... 31 3.3.6 Síntesis ............................................................................................ 32 PROPUESTA DE MEJORA MEDIANTE MÓDULO Y EVALUACIÓN DOCENTE. 35 4.1. ESCENARIO .............................................................................................. 35 4.1.1 Bases .............................................................................................. 36 4.1.2 Interés............................................................................................. 39 4.1.3 Entorno ........................................................................................... 39 4.2. RECOPILACIÓN ......................................................................................... 39 6 3.1. Evaluación docente 3.1.1 Necesidad y utilidad de la evaluación docente En este apartado se pretende aclarar por qué es necesaria la evaluación docente y cuál es su utilidad. Resulta evidente que la valoración de una herramienta depende en gran medida de que sea considerada necesaria y útil. En este sentido se puede considerar que la evaluación es una herramienta necesaria puesto que resulta indispensable para el fin que nos proponemos, que es la mejora. De esto podemos deducir que también es útil ya que su uso puede producir ventajas para quien la utiliza. Como podemos ver existe una relación estrecha entre ambos conceptos, de ahí que el éxito de una herramienta se considere mucho mayor cuando además de necesaria, es considerada útil (Miguel, 1998). Un problema importante del actual sistema de evaluación de la calidad de la docencia es precisamente que su utilidad se juzga de distinta manera por alumnos, profesores y autoridades. En general los alumnos no la consideran útil, y por otra parte sólo algunos profesores consideran que su aplicación trae alguna ventaja. Es solamente entre las autoridades donde se tiene una opinión generalizada positiva en cuanto a su utilidad, ya que les ofrece una información “privada” que pueden utilizar según sus intereses. Por lo tanto, los sistemas establecidos, dan la impresión a primera vista de suponer más desventajas que ventajas, por lo que existe una actitud general de rechazo. Es por esto que resulta importante exponer de forma clara las razones que justifican la necesidad de utilizar estrategias de evaluación del profesorado. A continuación se van a presentar estas razones agrupadas en tres bloques, según el tipo de argumentos y criterios evaluativos que emplean:  Evaluación como herramienta para la mejora El fin principal de todo proceso evaluativo es la función formativa, y desde este punto de vista la evaluación docente presenta al profesorado la oportunidad de conocer sus fortalezas y debilidades profesionales, y le permite planificar 7 estrategias centradas en la mejora de su actividad docente y en su desarrollo profesional. Tal y como se recoge en la Ley Orgánica de Educación vigente la evaluación docente es un elemento fundamental para la mejora de la educación y la transparencia del sistema educativo. Este proceso de documentación y recogida de datos ofrece información valiosa sobre actitudes y habilidades de los docentes, y permite mejorar los programas educativos de los centros, haciendo seguimiento de la efectividad de los procesos de enseñanza puestos en práctica.  Evaluación para la promoción La evaluación sirve como indicador para conocer la calidad del trabajo o servicio de cada profesor dentro de una institución. Como en cualquier organización, para el reconocimiento y la promoción del profesorado se deben tener en cuenta aspectos relativos a su eficacia y competencia, para lo que resultan de gran utilidad las herramientas de evaluación que permiten recabar información con esta finalidad. Este enfoque se conoce como función sumativa de la evaluación, en la cual se intentan establecer cómputos fiables de los resultados obtenidos al final de un proceso de enseñanza-aprendizaje, poniendo especial atención en la recogida de información y en la elaboración de herramientas que hagan posible una toma de datos fiable. 8  Evaluación para rendir cuentas La evaluación es la herramienta que hace posible rendir cuentas a las administraciones e instituciones ante la sociedad. Desde el punto de vista de las políticas púbicas, sirve para verificar el grado de cumplimiento de sus fines y la eficiencia en el uso de los recursos, en última estancia la actividad docente de un profesor debe justificarse como útil y provechosa, dada la responsabilidad de las instituciones que lo contratan, especialmente si son financiadas con dinero público. Aunque cada uno de estos tres bloques de argumentos justificaría por si sólo la necesidad y utilidad de implantar procesos para la evaluación del profesorado, en la práctica no se excluyen, ya que parten y emplean modelos evaluativos totalmente distintos en función de quien va a ser el receptor y el uso que va a hacer de la información. En general se podría decir que desde las instituciones se tiende a preferir el punto de vista de la eficiencia, mientras que profesores y alumnos enfocan más el proceso evaluativo hacia la mejora o la promoción. Por lo tanto, teniendo en cuenta estos tres puntos de vista se puede hablar de tres enfoques diferentes en la evaluación del profesorado, en los que se presentan modelos y criterios evaluativos claramente distintos: el economista, el técnico y el profesional. (Macpherson, 1996). 9 3.1.2 Criterios para la evaluación docente La evaluación conlleva una recogida de información y la valoración de dicha información según unos criterios establecidos. Si la información recogida no es la oportuna, no es fiable, o carece de objetividad, las valoraciones que se hagan sobre ella pueden considerarse no fundamentadas. De la misma forma, si los criterios de evaluación no son claros los juicios del evaluador pueden considerarse arbitrarios o injustificados. Estos dos aspectos, la recogida y la selección de la información conveniente, junto a la definición de los criterios de evaluación, son la clave todo proceso evaluador. tanto tampoco existe un consenso universal sobre los criterios que se deben emplear en su evaluación, por esta razón los criterios generalmente se establecen en función de los intereses de quienes promueven la evaluación (Rodríguez, 1993). Logicamente cada una de las audiencias implicadas tiene sus preferencias, normalmente desde la institución se considera prioritario evaluar la productividad y la competencia del docente en el ejercicio de su función, pero los profesores entienden que la evaluación debe favorecer su reconocimiento y promoción, y por su parte los alumnos piensan que el fin principal debe ser mejorar los procesos de enseñanza. Por lo tanto la interpretación del proceso es distinta para cada una de las audiencias implicadas, pero realmente estas tres finalidades no son excluyentes sino más bien distintas dimensiones de un mismo proceso. Por esta razón en el sistema de evaluación de la función docente del profesorado se debe considerar el integrar los tres criterios, que responden a su vez a las tres finalidades vistas en el apartado anterior: mejora, promoción y rendición de cuentas. Es por esto que resulta de vital importancia ser riguroso y seleccionar en cada caso la estrategia evaluativa más adecuada a la finalidad que nos proponemos. A continuación se recogen los principales criterios utilizados para la evaluación del profesorado: Para determinar el modelo y los procedimientos que se van a emplear en la evaluación del profesorado, en primer lugar se debe definir el criterio que se va a seguir para valorar la calidad de las actuaciones y resultados profesionales. En este sentido no existe un único modelo para el concepto de “buen profesor” y por lo tanto 10  Criterio de productividad Si se entienden las instituciones educativas como organizaciones orientadas a la producción parece lógico utilizar como criterio de evaluación de su profesorado el rendimiento, establecido a partir de los resultados que ofrece al sistema, y más concretamente a la institución para la que trabaja. En este caso, la evaluación se centra en medir la eficiencia, comparando los resultados de salida con los de entrada, como se recoge en la definición clásica de productividad. Este enfoque, en principio, no es bien recibido por el profesorado ya que se plantea un criterio que resulta economicista para evaluar su trabajo. Por otra parte este criterio es el que asume la normativa actual relativa a la evaluación de la actividad investigadora, al señalar que la finalidad esencial del proceso es “fomentar la productividad del trabajo investigador del profesor universitario y su mejor difusión tanto nacional como internacional” (RD 1086/1989, de 28 de agosto). La utilización del término productividad en el ámbito de la docencia resulta controvertida, dada la dificultad para cuantificar los resultados del trabajo. Se suelen emplear dos criterios como referencia: la carga docente (servicios), que sería la cuota de trabajo y responsabilidades que asume el profesor dentro de la institución, y los resultados académicos (beneficios). La productividad de un profesor variará entonces en función de su carga docente, siendo el más rentable para la institución el que más carga docente tenga. Aunque evaluar la docencia de un profesor no es tan fácil como aplicar una simple fórmula, lo cierto es que para estimar dicha carga se suelen emplear una serie de indicadores en relación al tipo de materia (troncal, obligatoria, optativa) y el número de horas lectivas que, si bien no se pueden considerar totalmente precisos a la hora de determinar la carga, lo que si hacen es poner de relieve las desigualdades que existen entre las cargas docentes que asumen los profesores. Estas diferencias pueden ser tan notables que, para ser justos, es indudable que deben tenerse en cuenta a la hora de evaluar la calidad docente de un profesor. Es decir, no se debería evaluar del mismo modo a un profesor que imparte una asignatura que al que imparte cinco, ni tampoco al que imparte docencia a quince alumnos frente al que tiene delante a más de cien. Dado que el volumen de las cargas y responsabilidades académicas que tiene asignadas el profesor repercutirá en la forma de desempeñarlas parece lógico que cada cual deba ser evaluado en función de las mismas. Por otro lado, también se puede plantear la productividad en función de los beneficios que el profesor aporta a la institución. Desde este punto de vista un profesor será más productivo cuanto mayor sea el valor añadido que aporta su 11 trabajo al progreso académico de los alumnos, pero la dificultad aparece a la hora de evaluar dicho progreso, dada la diversidad de criterios que se pueden emplear para realizar la estimación de los resultados en los procesos de enseñanzaaprendizaje. Es por esto que, aunque el profesorado se oponga mayoritariamente a ser evaluado en función de las calificaciones que obtienen sus alumnos, desde el punto de vista de la institución no se puede eludir el análisis de los resultados académicos a corto (tasas de éxito, fracaso, abandono, etc.) y largo plazo (tasa de empleo, niveles de renta, etc.) como criterio de productividad colectiva.  Criterio del desarrollo profesional Si el objetivo es promover la mejora del profesorado, el proceso evaluativo no puede sustentarse sobre un número reducido de indicadores vinculados a las conductas que el profesor manifiesta en el aula, ya que supone un reduccionismo inadmisible de la actividad docente que este realiza. Por tanto resultará más interesante obtener una valoración del desarrollo profesional que ha alcanzado en el conjunto de las tareas que son propias de su función docente dentro de la institución, más que una puntuación que se reduzca a su competencia docente. Implementar un proceso evaluativo con finalidad formativa exige una clara distinción entre competencia y excelencia. Definir qué es la excelencia académica resulta difícil, pero podemos acercarnos a su definición a través de una combinación de diversos criterios, y uno de estos criterios puede ser el nivel de competencia, pero se debe tener en cuenta que el concepto de excelencia tiene muchas más dimensiones que la competencia. De este modo, un profesor excelente, además de ser muy competente en el sentido anteriormente apuntado, deberá demostrar su destreza en otra serie de funciones y tareas, como pueden ser organizar cursos, diseñar currículos, la innovación didáctica o la investigación pedagógica, que también se consideran imprescindibles en el ejercicio de la tarea docente. Para un correcto enfoque evaluativo centrado en la excelencia se deben asumir dos supuestos básicos. En primer lugar, el trabajo de un docente no se puede evaluar sin tener en cuenta la realidad de la institución en la que ejerce, lo que implica que un componente básico de la excelencia individual está relacionado con la contribución a la excelencia institucional. En segundo lugar hay que tener en cuenta que la evaluación de un profesor con fines formativos exige que la perspectiva de análisis se centre en los procesos, ya que sólo mediante la mejora de estos se puede abordar el desarrollo y mejora del profesional docente. Es precisamente por este supuesto por el que al “criterio de la excelencia” se le puede denominar también como “desarrollo profesional”. 12 Sobre el primero de estos dos supuestos hay que advertir que en nuestras instituciones la actividad docente se considera más bien una labor individual, sin tener en cuenta que realmente la calidad de la enseñanza requiere un proyecto en común con metas claras y coordinación. Precisamente por esto, si se considerara la excelencia en un nivel por encima del individual se podría extender de forma provechosa una cultura de calidad en la docencia. Por otra parte, el enfoque en la evaluación de la excelencia académica debe ser más el de un camino que el de una meta. Resulta evidente que el profesor debe mejorar su formación y sus actuaciones de forma progresiva a lo largo de su vida profesional, y esto puede justificar la implantación de procesos de evaluación en su desarrollo, pero para que la evaluación sea útil en este desarrollo debe estar enfocada principalmente en los procesos, con el fin de que cada profesor pueda percibir con claridad las relaciones causa-efecto establecidas entre sus actuaciones y los resultados académicos a escala institucional. En este sentido una evaluación centrada en resultados, como suelen ser las utilizadas para recoger la opinión al alumnado, no aportaría todos los datos necesarios para tener un peso significativo.  Criterio de competencia docente El criterio de la competencia docente es el que con mayor frecuencia se utiliza para evaluar al profesorado, ya que de entre las diferentes líneas de investigación de la docencia la más desarrollada ha sido la que relaciona el concepto de competencia con las características de “el buen profesor”. De ahí que la mayoría de estudios traten de concretar dichas características, en forma de variables, con el fin de determinar los indicadores que constituyen la eficacia docente y que, por lo tanto, pueden ser utilizados como criterios de evaluación. La selección y el peso de estos indicadores variará en función del criterio que utilicemos, y aunque es posible utilizar diferentes indicadores para validar la eficacia de un profesor (resultados académicos, juicio de colegas y expertos, indicadores de productividad, etc.), la mayoría de los trabajos vienen utilizando como criterio únicamente la valoración explícita de los estudiantes. Esto puede entenderse como un reduccionismo, ya que limita la definición de competencia docente a la perspectiva de una audiencia, es decir, la reduce a las formas de proceder que son percibidas por los estudiantes y son recogidas en un instrumento de evaluación. 13 Los trabajos realizados a partir de este enfoque son tan numerosos que constituye una línea de trabajo de la que no cabe esperar grandes novedades, más allá de la nomenclatura que cada autor utiliza, ya que las conclusiones de los estudios son bastante coincidentes hasta el punto de que muchos de los informes son claramente reiterativos (Miguel, 1998). Desde la perspectiva de los alumnos, los criterios que definen la competencia docente se sintetizan en unas dimensiones claramente definidas: la presentación y dominio de la materia, su preparación y organización, el interés por la enseñanza y la interacción con los alumnos, y los criterios y procedimientos que emplea en los procesos de evaluación. Sin embargo hay que tener en cuenta que, aunque los alumnos constituyen una de las fuentes principales a considerar en la evaluación del profesorado, desde el punto de vista técnico este enfoque introduce un sesgo y unas limitaciones evidentes, ya que por una parte deja de lado los objetivos de la institución y por otra obvia el carácter sumativo de esta evaluación, al no adquirir el peso necesario como para afectar en la toma de decisiones (retributivas, sancionadoras, etc.), y si de su aplicación no surgen medidas para la mejora de aspectos concretos del docente, u otras que por ejemplo afecten a su continuidad o promoción, al final se puede considerar que este proceso evaluativo habrá sido inútil. 14 3.1.3 El alumno en la evaluación de la competencia docente Aunque hemos visto que existen diversos criterios para la evaluación, en el presente trabajo nos vamos a centrar en la evaluación de la competencia docente ya que es el criterio más utilizado y en el que la opinión del alumno desempeña un papel más significativo. La evaluación de la competencia docente es una actividad que debe ser planificada y estructurada. Según el modelo de evaluación propuesto en el trabajo “Criterios y propuestas para mejorar la función docente” (Miguel, 1998) podemos observar que la opinión de los alumnos es una de las fuentes, pero solamente considerada en la valoración de algunas dimensiones y criterios concretos. Por lo tanto podemos concluir que, en el proceso de evaluación docente, la información recabada sobre la opinión de los alumnos debe considerarse como una parte dentro de un modelo de evaluación global. Según dicho modelo antes de proceder a la evaluación se deben definir los siguientes aspectos:  Criterios de evaluación. Es conveniente hacer una lista de los principales aspectos de la actividad docente, teniendo en cuenta la importancia que debe otorgarse a cada uno de ellos: método didáctico, materiales elaborados, satisfacción de los alumnos con su docencia, resultados académicos de los alumnos, etc.  Fuentes e instrumentos de recogida de información. La opinión de los alumnos no puede ser la única fuente empleada en la evaluación, se deben considerar un mayor número de fuentes de información, como por ejemplo el propio profesor, sus compañeros, cargos directivos, bases de datos administrativas y otras documentaciones de diverso tipo. 15  Agentes que realizarán las evaluaciones. Este modelo no va a ser un instrumento objetivo que dé lugar a un resultado a partir de una información de entrada, por lo tanto es necesario definir los agentes, comisiones u órganos que van a llevar a cabo los análisis y valoraciones de la información presentada por cada profesor.  Procedimientos que utilizarán dichos agentes. Se deben desarrollar directrices tanto para la valoración de cada uno de los criterios por separado así como para su valoración conjunta y global.  Uso e impacto de los resultados. Los implicados deben conocer de forma suficientemente precisa el uso e impacto de los resultados de la evaluación. Una vez aclarados estos puntos las encuestas de opinión de los alumnos pueden convertirse en herramientas muy útiles y efectivas, en contraposición a encuestas que fueran realizadas con cuestionarios generales e indiferenciados, que no tuvieran en cuenta el asesoramiento del profesor para su mejora. 22 Preocupación 5: “las variables externas afectan a las calificaciones”. Según se recoge en los estudios existe poca o ninguna relación entre las calificaciones y variables como: el tamaño de la clase, el género del profesor o del estudiante, horario o época del año. Sin embargo si que existen datos que apoyan que el nivel del curso afecta a la hora de que los estudiantes califiquen, siendo las calificaciones de los estudiantes de los primeros cursos más bajas que las de los cursos posteriores. Preocupación 6: “las calificaciones de los estudiantes a los docentes están muy relacionadas con sus propias calificaciones en el curso”. Los estudios muestran que no existe una correlación significativa entre las calificaciones en la evaluación docente y la calificación recibida por el alumno. Los estudiantes que obtienen calificaciones finales bajas no necesariamente dan puntuaciones bajas a los profesores. Preocupación 7: ¿Cómo pueden los formularios de calificación mejorar la docencia? Se pueden realizar cambios aplicando la información recopilada, un buen punto de partida es definir las fortalezas y las debilidades. 3.2.3 Validación de cuestionarios Validez de contenido La validez de contenido se refiere al grado en que el propio concepto se mide, en el proceso de pasar de lo teórico a lo empírico (Escofet, 2016). Para ello someteremos nuestro cuestionario a una evaluación de contenidos por parte de un grupo de investigadores o expertos en el área a tratar, que deben juzgar la capacidad del cuestionario para evaluar todas las dimensiones que queremos medir (validación por jueces). 23 La validez de contenido es fundamental a la hora de sacar conclusiones o para poder generalizar a partir de los resultados que se obtengan con el cuestionario. Validez de constructo Evalúa el grado en que el instrumento refleja la teoría del fenómeno o del concepto que mide. La validez de constructo garantiza que las medidas que resultan de las respuestas del cuestionario pueden ser consideradas y utilizadas como medición del fenómeno que queremos medir. Puede ser calculada por diversos métodos, pero los más frecuentes son el análisis factorial y la matriz multirrasgo-multimétodo. Puesto que en nuestro caso no mediremos fenómenos ni conceptos concretos esta validez no será de interés para nosotros. 24 Validez de criterio Para cumplir con la validez de criterio se puede recurrir a utilizar instrumentos que hayan sido respaldados por otros estudios o investigaciones y que nos ofrezcan garantías de medir lo que deseamos medir, ya que no siempre existen indicadores de referencia fiables, que nos permitan comparar nuestros resultados con total garantía. Fiabilidad Indica la capacidad que tiene el instrumento de ofrecer resultados veraces y constantes en su uso repetido, en condiciones similares de medición. Es por tanto el grado en que un instrumento mide con precisión, sin error. La fiabilidad de un instrumento de medida se valora a través de la consistencia, la estabilidad temporal y la concordancia inter-observadores.  Consistencia: Se refiere al nivel en que los diferentes ítems o preguntas de una escala están relacionados entre sí. Esta homogeneidad entre los ítems nos indica el grado de acuerdo entre los mismos y, por tanto, lo que determinará que éstos se puedan acumular y dar una puntuación global. La consistencia se puede comprobar a través de diferentes métodos estadísticos. El coeficiente alfa de Cronbach es un método estadístico muy utilizado. Sus valores oscilan entre 0 y 1. Se considera que existe una buena consistencia interna cuando el valor de alfa es superior a 0,7.  Estabilidad temporal: Es la concordancia obtenida entre los resultados del test al ser evaluada la misma muestra por el mismo evaluador en dos situaciones distintas (fiabilidad test-retest). La fiabilidad (normalmente calculada con el coeficiente de correlación intraclase [CCI], para variables continuas y evaluaciones temporales distantes) nos indica que el resultado de la medida tiene estabilidad temporal. Una correlación a partir del 70% indicaría una fiabilidad aceptable. 25  Concordancia inter-observadores: En el análisis del nivel de acuerdo obtenido al ser evaluada la misma muestra en las mismas condiciones por dos evaluadores distintos, o en diferente tiempo, se obtienen iguales resultados (fiabilidad inter-observadores). La concordancia entre observadores se puede analizar mediante el porcentaje de acuerdo y el índice Kappa. Prueba piloto Para completar la validación de un cuestionario resulta aconsejable realizar una prueba piloto. Los principales objetivos de esta prueba piloto son los siguientes: 1) Probar la fiabilidad del cuestionario 2) Comprobar si el alumnado al que se destina el cuestionario entiende correctamente los ítems planteados. 3) Analizar si los ítems formulados responden a los objetivos para los que están diseñados. 4) Probar que el cuestionario se puede resolver en un tiempo razonable. 26 5) Comprobar si se trata de un cuestionario de interés para el alumnado. 6) Considerar si, a partir de las opciones de respuesta que da el alumnado, es posible cerrar alguna de las preguntas abiertas. Para realizar una prueba piloto se puede ofrecer participar al alumnado de forma voluntaria y anónima, firmando un consentimiento de participación en el proceso. Analizando los resultados de la aplicación piloto se podrán localizar elementos que permitan mejorar la versión definitiva. Debe tenerse en cuenta que la importancia de estos resultados afecta a la parte metodológica del instrumento, es decir, la importancia de esta prueba piloto no está en los resultados sino en el valor técnico del propio cuestionario y los datos que nos pueda aportar para su perfeccionamiento. Para comprobar la fiabilidad del instrumento se puede seguir el enfoque de análisis de consistencia interna de los ítems, mediante el cálculo de los coeficientes alpha de Cronbach. Este análisis de fiabilidad nos permitirá estudiar las propiedades de las escalas de medición analizadas y también de los elementos que componen las escalas, de forma que también proporciona información sobre las relaciones entre elementos individuales de la escala, ayudando a deducir si alguno de ellos puede ser prescindible. En conclusión los resultados de esta prueba piloto nos permitiran contemplar cambios de contenido y la realización de pruebas de fiabilidad con el fin de elaborar un cuestionario definitivo y mejorado. 27 3.3. Vías de Mejora A continuación se van a presentar algunos modelos educativos, centrandonos especialmente en su sistema de evaluación docente y en el papel que desempeña el alumno en esa evaluación. Estos modelos han sido seleccionados para el presente trabajo porque resultan paradigmáticos en su enfoque o implementación, y nos pueden ayudar a deducir posibles vías de mejora en su comparación con el modelo español, sin olvidar que son empleados en paises con niveles educativos superiores al español según los informes PISA más recientes. 28 3.3.1 El modelo finlandés La educación en Finlandia tiene una alta consideración a nivel mundial y su sistema educativo se considera uno de los más eficientes. Sin embargo en el sistema finlandés no se contempla una evaluación tipificada a los docentes, de hecho no se considera que la evaluación del profesorado sea esencial para la mejora del sistema educativo. Su rendimiento no es observado ni medido, el rendimiento de cada profesor se evalua simplemente mediante entrevistas con los directores de centro en las que se discuten sus fortalezas y debilidades, es un sistema basado en la confianza. Según especialistas como Eduardo Andere (Andere, 2008) una de las claves de su éxito es que la profesión docente “se mantiene en un pedestal”, goza de gran prestigio y los mejores estudiantes quieren convertirse en profesores. El proceso de acceso a la profesión es muy exigente e incluye 5 años de prácticas, y como resultado se obtienen profesionales muy capacitados a los que después se otorga gran responsabilidad y autonomía a la hora de elegir qué enseñar y cómo. En este contexto la idea de que un profesor debe proporcionar evidencias para demostrar lo que ha hecho les resulta ridícula. Esto también es debido a una elevada personalización en su proceso educativo, el profesor toma las distintas decisiones con el único objetivo de favorecer el aprendizaje de cada alumno, no pensando en agentes externos cómo por ejemplo un inspector. Por lo tanto queda claro que una de las claves es la plena confianza que existe en el profesor como profesional. un país que ha perdido posiciones en los últimos informes PISA, pero que sigue siendo un importante referente educativo a nivel internacional, la manera de medir el desempeño de los profesores es mucho más informal. Fue a principios de la década de 1990 cuando este país del noreste de Europa abolió el sistema de inspección escolar, y hoy la evaluación se lleva a cabo en cada centro, en base a conversaciones entre el propio maestro y su director. Es un modelo basado en la confianza“, matiza Paulo Santiago, analista de la Dirección de Educación y Capacidades de la OCDE. 29 3.3.2 El modelo estadounidense En los Estados Unidos está ampliamente extendida la evaluación de profesores y objetivos del curso por parte de la Institución, hasta el punto de que existe un fondo federal dedicado ha esta actividad desde 2.009, llamado RTT (Race to the Top). La aparición del RTT ha fomentado el desarrollo de numerosas iniciativas de evaluación docente, pero este marco no obliga a seguir una metodología o formato único de evaluación, sino que propone algunas condiciones así como una serie de criterios a los que el plan de evaluación debe acogerse. Los criterios diseñados para los planes estatales de evaluación son los sigientes: a) Diseñar e implementar sistemas evaluativos para docentes y dirección en los que se tenga en cuenta el desempeño de los estudiantes, y que estos sean diseñados y desarrollados con la participación de maestros y dirección como principales involucrados. b) Realizar evaluaciones anuales de maestros y directivos para generar datos desagregados en los centros. c) Utilizar estas evaluaciones para tomar decisiones en los centros. d) Definir mecanismos de compensación económica con base en los resultados de las evaluaciones. e) Establecer la posibilidad de prescindir de los profesores y equipo directivo que obtengan malos resutados en las evaluaciones y no estén aprovechando las opciones de mejora que les sean ofrecidas. Los criterios indicados son recomendaciones, pero para cada uno de ellos el programa RTT establece tablas de puntuación a tener en cuenta en el momento de evaluar cada proyecto educativo, influyendo a la hora de asignar los fondos correspondientes. En conclusión el alumno es parte activa en la evaluación del profesorado y de la Institución, y los resultados de esta evaluacion están enfocados a tomar decisiones que afectan directamente al personal docente. 30 3.3.3 El modelo canadiense El modelo de educación canadiense es descentralizado. En algunas provincias de Canadá, como Ontario, a los profesores se les contrata en función de las necesidades del colegio. No hay oposiciones, son los directores de los centros los que determinan cuántos docentes necesitan cada curso y para qué asignaturas. Si después de dar una clase ante un comité de expertos y de pasar una entrevista personal son elegidos, se les contrata y pasan a ser funcionarios. Durante los dos primeros años, el director del colegio revisará su trabajo y, si se ajusta a los estándares, volverá pasar un control cada cinco años. En el caso de Quebec, quienes deseen ser profesores de primaria o secundaria necesitan obtener un certificado de enseñanza expedido por el Ministerio de Educación. Para ello deben haber cursado una licenciatura en una rama pedagógica u obtenido un diploma más corto si cuentan con otras formaciones. A los programas de formación docente ingresan aquellos bachilleres con mejor desempeño académico (puntajes en el tercio más alto de los exámenes de ingreso a la universidad) y excelente calificación en la entrevista. La evaluación docente durante este periodo se realiza mediante una autoevaluación, la observación de la práctica en el aula y la retroalimentación del rector. De forma general los estudiantes son invitados a evaluar el rendimiento de los profesores poniendoles notas en las diferentes áreas, siendo frecuente que las asociaciones de estudiantes publiquen los resultados y los estudiantes lo tengan en cuenta a la hora de elegir las asignaturas. En la Universidad de Quebec emplean un sistema que resulta innovador y que implica la colaboración de los alumnos. Los profesores, que están agrupados en departamentos, deben tener en cuenta el punto de vista de una estructura llamada «módulo», que existe para cada plan de estudios. Cada «módulo» es administrado conjuntamente por profesores y estudiantes, y es el lugar donde se discute la manera en que el programa debe ser enseñado. Por lo tanto se crea un espacio de diálogo entre los distintos departamentos de profesores y los alumnos del plan de estudios. De esta forma los alumnos participan activamente con decisiones que afectan a la calidad de la enseñanza. 31 3.3.4 El modelo chino En Shangái, como en el resto de la República Popular China, se ha desarrollado un complejo sistema para medir la calidad de sus profesores. En primer lugar se establecen unos criterios generales a nivel nacional, que luego se detallan a nivel local, siendo cada escuela la encargada de llevar a cabo las evaluaciones. En estas evaluaciones, no sólo se miden las habilidades y desempeño como docente, sino que también se miden la “integridad profesional” y los valores. Este proceso incluye cuestionarios a los colegas, a los alumnos, a los padres y la autoevaluación, teniendo también en cuenta los premios que el docente pueda haber recibido, y los resultados académicos de sus alumnos. Los resultados de la evaluación van directamente al gobierno central. 3.3.5 El modelo de Singapur Singapur cuenta con una sistema formal de evaluación del profesorado, llamado Sistema de Gestión de la Mejora del Rendimiento (EPMS). En este sistema aparecen tres ejes que lo vertebran: el itinerario profesional, los incentivos económicos y el sistema de evaluación. Desde 2005 es obligatoria la evaluación anual de cada docente, esta se lleva a cabo en los centros escolares, y tiene en cuenta acpectos como los resultados académicos de los alumnos, las iniciativas pedagógicas que el docente ha puesto en marcha, sus contribuciones al resto de colegas y su relación con los padres de los alumnos y otras organizaciones comunitarias. Además de esto cada docente debe trazar su propio plan educativo para el curso y este será revisado por el director o el subdirector en tres momentos del año. En general el papel de los alumnos en este sistema se puede decir que es pasivo, ya que se les toma en cuenta sólo para observar resultados, pero no participan activamente en el sistema. 38 Métodos de enseñanza Puesto que en los módulos se va a discutir sobre los métodos de enseñanza, se hace imprescindible mencionar cuales son estos métodos y describirlos brevemente. En la siguiente página se muestra una tabla en la que se les enumera dando una breve descripción de cada uno. Imagen “métodos de enseñanza” (Miguel, Modalidades de enseñanza centradas en el desarrollo de competencias, 2005) 39 4.1.2 Interés Mediante el modelo de “modulación y evaluación docente” propuesto el profesor generará un espacio para el acercamiento del alumno a las metodologías de enseñanza y a la propia docencia, permitiendo que el alumno participe en ella. Esto propiciará una mayor implicación por su parte, y también un aumento de su responsabilidad en el proceso enseñanza/aprendizaje, puesto que habrá tomado parte en la selección del método a impartir. Además, según el modelo propuesto, el profesor dispondrá de diversas herramientas que le darán un retorno inmediato tanto de la percepción del alumno en la enseñanza de la materia como de su propio desempeño, permitiéndole maniobrar de una forma ágil para la mejora. 4.1.3 Entorno Para desarrollar la propuesta se ha pensado en un grupo de 1º de Bachillerato, ya que se trata de un alumnado que cuenta con cierta madurez y que, dada su trayectoria, se le presupone interesado en los estudios, siendo estos dos aspectos que favorecen el desarrollo de la propuesta de “modulación y evaluación docente” aquí descrita. 4.2. Recopilación A continuación se describen de forma detallada los procedimientos propuestos para recopilar la opinión del alumno. 4.2.1 Módulo La asignatura de Tecnología Industrial de 1º de Bachillerato consta de 6 bloques temáticos. Las reuniónes de «módulo» se llevarán a cabo al inicio de cada bloque de la asignatura: 40  En primer lugar el profesor dedicará un tiempo a presentar los contenidos del bloque y explicar los métodos de enseñanza que son aplicables, cuales son los objetivos que se deben alcanzar, y cuál será el método de evaluación en función del método de enseñanza seleccionado.  A continuación los alumnos debatirán sobre cuál de estos métodos les parece el más acertado para impartir el bloque, argumentando el porqué de su postura. El método de enseñanza será elegído por mayoría simple, en votación secreta. El profesor recogerá en un informe los argumentos y las observaciones que considere reseñables que hayan aparecido durante el debate, así como el resultado de la votación. Se considera que el tiempo a dedicar a la modulación debe ser de unos 25 o 30 minutos, aproximadamente media sesión. Se recomienda fijar una hora concreta para la votación desde el principio de la sesión de modulación, con el fin de que el tiempo dedicado a esta no se prolongue más de lo necesario. 4.2.2 Acta de final de bloque Al finalizar cada bloque temático se pedirá a los alumnos que escriban, de forma anónima, sus impresiones sobre cómo se ha desarrollado la docencia del bloque, respondiendo de forma breve al siguiente cuestionario abierto: a) La información más relevante que aprendí en este bloque es: Comentarios: b) El concepto que me quedó más claro es: Comentarios: c) Qué desafíos intelectuales he acometído: Comentarios: 41 d) ¿Cómo promueve el profesor la participación de los estudiantes? Comentarios: Lo que más / menos me gustó del bloque: e) ¿Cómo describiría el estilo del profesor como profesional? ¿El profesor es comunicativo con los estudiantes y también con sus colegas? Comentarios: f) ¿Qué es lo que más y lo que menos te ha gustado de su forma de impartir el bloque? Comenta qué aspectos crees que se podrían mejorar a la hora de impartir este tema: A través de estas actas, que pueden completarse en dos o tres minutos al finalizar el bloque, el profesor tiene un retorno preciso, ya que se hace referencia a un contenido y una metodología concretos, y continuado, que le permite realizar ajustes sin esperar al siguiente curso. Es preferible que las actas se cumplimenten antes de realizar la evaluación final del bloque, para tener la garantía de que las opiniones de los alumnos no se ven afectadas por esta evaluación. 4.2.3 Reseña de evaluación En la prueba o trabajo de evaluación de mayor peso del bloque se adjuntará el siguiente formulario de evaluación cerrado, con el fin de obtener información sobre las sensaciones de los estudiantes: 42 a) El contenido de este bloque me ha resultado interesante. 5. Totalmente de acuerdo 4. De acuerdo 3. Neutral 2. No estoy de acuerdo 1. Totalmente en desacuerdo 0. No aplicable b) El contenido de este bloque me ha resultado fácil de entender. 5. Totalmente de acuerdo 4. De acuerdo 3. Neutral 2. No estoy de acuerdo 1. Totalmente en desacuerdo 0. No aplicable c) El exámen se ajusta a los contenidos impartidos. 5. Totalmente de acuerdo 4. De acuerdo 3. Neutral 2. No estoy de acuerdo 1. Totalmente en desacuerdo 0. No aplicable 43 d) El tiempo para resolver el examen resulta suficiente. 5. Totalmente de acuerdo 4. De acuerdo 3. Neutral 2. No estoy de acuerdo 1. Totalmente en desacuerdo 0. No aplicable d) Creo que he dedicado suficiente tiempo a estudiar este bloque. 5. Totalmente de acuerdo 4. De acuerdo 3. Neutral 2. No estoy de acuerdo 1. Totalmente en desacuerdo 0. No aplicable Mediante estos formularios el profesor puede tener una idea bastante clara de otros aspectos determinantes como son el interés o la dificultad de los contenidos y también de la prueba de evaluación, pudiendo realizar ajustes en función de los objetivos. 4.2.4 Cuestionario de evaluación final Los procedimientos descritos anteriormente sirven para la importante tarea de recabar información sobre la opinión del alumno de una forma continua y permiten realizar ajustes sobre la marcha, pero no debemos olvidar la importancia de recoger a opinión del alumno una vez finalizado el curso, ya que esta opinión puede resultar más completa y mejor formada, y nos será de gran 44 ayuda para encarar el curso siguiente. Es por eso que resulta esencial que los alumnos respondan a un cuestionario final lo más completo posible, para lo cuál tendremos en cuenta las ocho dimensiones propuestas por F.J. Tejedor (Tejedor, 1993), con el fin de extraer toda la información que pueda resultar de interés en la evaluación para la mejora docente. Es recomendable que este cuestionario se realice al final del curso, pero antes de que el alumno conozca su calificación final, para garantizar que esta no influya en su opinión. En el siguiente cuestionario debe responderse sólo de forma afirmativa o negativa a cada cuestión, siempre que en la pregunta no se especifique otra forma de respuesta. Para ello podrán emplearse un “tick” () como respuesta afirmativa y un “aspa” () como negativa: El profesor/a: 1.-Asiste a clase regularmente 2.-Cumple debidamente con su horario 3.-Está disponible en su despacho en las horas de tutoría El programa de la asignatura: 4.-Se comenta el programa de la asignatura al inicio del curso 5.-Cubre los aspectos más importantes de la asignatura 6.-Considero que se ha desarrollado todo el programa El profesor/a: 7.-Parece dominar la asignatura que imparte 8.-Explica con claridad 9.-Sus clases están bien preparadas 10.-Se preocupa por renovar los contenidos y los métodos de enseñanza 45 11.-Responde con exactitud y precisión a las preguntas que se le hacen 12.-Se preocupa de que sus clases sean provechosas 16.-Consigue que el alumnado se interese por la asignatura En la interacción profesor-alumno, el profesor: 13.-Intenta que el alumnado participe en las clases 14.-Fomenta la crítica de sus propias ideas 15.-Dialoga con el alumnado sobre la marcha de la clase 17.-Tiene en cuenta la opinión del alumnado a la hora de decidir las cuestiones relacionadas con la marcha de la asignatura Cuando imparte la clase, el profesor: 18.-Apoya sus explicaciones con esquemas, gráficos, medios audiovisuales, etc. 19.-Utiliza y recomienda materiales (apuntes, libros,...) que son de gran ayuda 20.-Plantea problemas, ejemplos o prácticas que están bien pensados en el contexto de la asignatura En mi opinión, como alumno: 21.-En esta asignatura espero obtener una calificación de: 22.-Esta es una asignatura difícil dentro del curso 23.-Los exámenes se ajustan a los contenidos impartidos 24.-Las calificaciones obtenidas por el alumnado se ajustan a sus conocimientos 25.-El profesor se muestra dispuesto a comentar y razonar la nota obtenida por los/as alumnos/as que reclaman revisión de examen 46 26.-Teniendo en cuenta las limitaciones, pienso que el/la profesor/a que imparte esta asignatura es un buen/a profesor/a 27.-Me siento satisfecho/a asistiendo a sus clases 28.-He aprendido mucho cursando esta asignatura 4.3. Validación Para la validación de la propuesta se plantea, antes de ponerla en práctica, llevar a cabo las siguientes tareas de validación de forma correlativa: i. Validar el criterio Para cumplir con la validez de criterio, en la presente propuesta se ha recurrido a utilizar cuestionarios y métodos respaldados por estudios o investigaciones, como es el caso de F.J. Tejedor (Tejedor, 1993), con el fin de tener la garantía de contar con indicadores de referencia fiables. ii. Validar el contenido Para cumplir con la validez de contenido se propone a los siguientes jueces para someter a evaluación los contenidos de la propuesta:  Especialista en pedagogía del centro o de la Universidad de Valladolid  Director del departamento de Tecnología  Departamento de Orientación Para llevar a cabo la propuesta es necesaria la aprovación de todos ellos. 47 iii. Efectuar una “prueba piloto” Para completar la validación se propone una prueba piloto, para la cual se puede ofrecer participar al alumnado de forma voluntaria y anónima, firmando un consentimiento de participación en el proceso. Una vez finalizado este procedimiento estaremos en disposición de aplicar una versión perfeccionada de la propuesta y con garantías desde el punto de vista docente. 4.4. Utilización Los resultados de la propuesta pueden ser empleados de diversas maneras, en principio la propuesta ha sido ideada para que sea el propio profesor que la implementa quien analice los resultados con el fin de mejorar en su competencia como docente, pero resulta lógico que la institución de enseñanza se pueda interesar por los resultados e incluso pueda hacer uso de ellos. En cualquier caso lo que no es aconsejable es que se tengan en cuenta de forma aislada los resultados de las diferentes actas, reseñas y cuestionarios planteados al alumno, sino que a la hora de tomar decisiones deben entenderse como un conjunto. Tomando como punto de vista la reflexión del propio docente que la implementa, y apoyado en lo expuesto en este trabajo, los resultados le pueden permitir desarrollar un plan de acción para la mejora. Para ello se proponen las siguientes fases de reflexión/acción: i. Hacer análisis crítico de los resultados: Observar y meditar sobre los puntos débiles y generar propuestas para su mejora. 54 55 Capítulo 7 Anexos Anexo A – Elaboración de cuestionarios A continuación se expone cómo podemos elaborar nuestro instrumento de recolección de información, con el objetivo de obtener y procesar la opinión de los alumnos de una forma eficaz, así como los distintos formatos en los que se puede presentar. Estructura y dimensiones de un cuestionario Según se recoge en el apartado dedicado a la estructura dimensional de los cuestionarios (Cultura, 1999), se recomienda que el cuestionario sea de carácter multidimensional, es decir, que las cuestiones estén enfocadas en los distintos aspectos o “dimensiones” que subyacen en lo que de forma general se denomina como “competencia docente”. Estos cuestionarios multidimensionales presentan un mayor número de preguntas o “items”, con lo que el muestreo resulta más amplio y preciso, y además permiten trabajar con numerosos parametros, como la agrupación por dimensiones, por lo que además son más versátiles. A continuación se presentan las dimensiones propuestas por F.J. Tejedor (Tejedor, 1993): Dimensión 1: Cumplimiento formal Dimensión 2: Desarrollo del programa 56 Dimensión 3: Dominio, organización y claridad Dimensión 4: Entusiasmo docente (Motivación) Dimensión 5: Interacción profesor-alumno Dimensión 6: Recursos metodológicos-didácticos Dimensión 7: Exámenes y calificaciones Como ejemplo de cuestionario se presenta a continuación una modificación del cuestionario empleado por F.J. Tejedor (Tejedor, 1993) en las Universidades de Salamanca y Santiago de Compostela. En esta modificación se agrupan en dos las dimensiones “dominio”, “motivación” e “interacción” ya que presentan una alta correlación en numerosas pruebas realizadas (Cultura, 1999) y son las más dificilmente distinguibles. Con esta fusión y la adición de una “valoración global” además se acerca el modelo a las estructuras que se encuentran en los principales estudios sobre el tema (Ramos, 1997). En conclusión la estructura del cuestionario podría ser la siguiente: Dimensión 1: Cumplimiento formal del profesor/a 1.-Asiste regularmente a clase 2.-Cumple debidamente su horario 3.-En las horas de tutoría está disponible en su despacho Dimensión 2: Desarrollo del programa de la asignatura 4.-Su programa cubre los aspectos más importantes de la asignatura 5.-Comenta el programa de la asignatura al inicio del curso 6.-Considero que desarrollará todo el programa Dimensión 3: Dominio, organización y claridad 7.-Parece dominar la asignatura que imparte 57 8.-Explica con claridad 9.-Sus clases están bien preparadas 10.-Se preocupa por renovar los contenidos y los métodos de enseñanza 11.-Responde con exactitud y precisión a las preguntas que se le hacen 12.-Se preocupa de que sus clases sean provechosas 16.-Consigue que el alumnado se interese por la asignatura Dimensión 4: Interacción profesor-alumno 13.-Intenta que el alumnado participe en las clases 14.-Fomenta la crítica de sus propias ideas 15.-Dialoga con el alumnado sobre la marcha de la clase 17.-Tiene en cuenta la opinión del alumnado a la hora de decidir las cuestiones relacionadas con la marcha de la asignatura Dimensión 5: Recursos metodológicos-didácticos 18.-Apoya sus explicaciones con esquemas, gráficos, medios audiovisuales, etc. 19.-Los materiales utilizados y/o recomendados (apuntes, libros,...) son de gran ayuda. 20.-Los problemas, ejemplos o prácticas que plantea están bien pensados en el contexto de la asignatura . Dimensión 6: Calificación esperada y dificultad percibida 21.-En esta asignatura espero obtener una calificación de: 22.-Esta es una asignatura difícil dentro de la carrera 58 Dimensión 7: Exámenes y calificaciones 23.-Sus exámenes se ajustan a los contenidos impartidos. 24.-Las calificaciones obtenidas por alumnado se ajustan a sus conocimientos 25.-Se muestra dispuesto a comentar y razonar la nota obtenida por los/as alumnos/as que reclaman revisión de examen Dimensión 8: Valoración global 26.-Teniendo en cuenta las limitaciones, pienso que el/la profesor/a que imparte esta asignatura es un buen/a profesor/a 27.-Me siento satisfecho/a asistiendo a sus clases 28.-He aprendido mucho cursando esta asignatura Formatos de cuestionario Existen varios formatos para la implementación del instrumento de evaluación: cuestionario abierto, formulario de preguntas cerradas, lista de verificación e inventarios. La fórmula más común es un formulario de preguntas cerradas que incorpore comentarios, pero todos los formularios independientemente del formato elegido deberían cubrir básicamente las mismas áreas, que son las cinco señaladas como características de la enseñanza eficaz. a) Cuestionarios abiertos Los cuestionarios abiertos requieren más tiempo para ser completados, pero la información obtenida también es más constructiva y puede dar una orientación precisa sobre qué aspectos concretos deben ser cambiados en el programa. 59 Ejemplos de preguntas abiertas: Dominio del tema  La información más relevante que aprendí de este curso es:  Comentarios: Organización y claridad  El concepto que me quedó más claro es:  Comentarios: Interacciones profesor-grupo  Qué desafíos intelectuales he acometído:  Comentarios: Interacciones profesor-individuo  ¿Cómo promueve el profesor la participación de los estudiantes?  Comentarios:  Lo que más / menos me gustó del curso: Dinamismo / entusiasmo  ¿Cuál es su estilo como profesional? ¿El profesor es comunicativo con los estudiantes y también con sus colegas?  Comentarios: 60 b) Formularios de preguntas cerradas Este tipo de cuestionarios son más fáciles y rápidos de completar, pero no aportan información específica sobre como mejorar los aspectos que tienen una calificación baja. Este problema se puede solventar en gran medida añadiendo una sección de comentarios en cada categoría o al final. Probablemente este sea el formato más habitual. Actualmente en los Estados Unidos muchos de estos formularios son computarizados, esto permite analizar los resultados mediante métodos computerizados de analisis avanzado, identificando rápidamente patrones de fortalezas y debilidades. Ejemplos de preguntas cerradas: Dominio del tema  El profesor parece experto en el tema.  El profesor demuestra un conocimiento adecuado del tema. Organización y claridad  El profesor explica claramente los contenidos difíciles.  Recibí un plan del curso o un resumen en la primera semana de clase.  El material presentado estaba bien organizado y bien integrado. Interacciones profesor-grupo  El profesor nos llama por nuestros nombres.  El tamaño de la clase favorece el aprendizaje activo de los estudiantes. Interacciones profesor-individuo  Los alumnos se sienten libres de no estar de acuerdo con el profesor. 61  El profesor hace comentarios constructivos.  He aprendido mucho durante este curso. Dinamismo / entusiasmo  El profesor parece disfrutar enseñando.  El profesor logra que la clase sea interesante.  El profesor expone de forma dinámica.  Me gustaría tener más asignaturas de esta especialidad. c) Escalas de calificación Las escalas de calificación para las respuestas en los formularios de preguntas cerradas son variadas. En el ejemplo se muestra una escala que no sólo identifica las fortalezas y debilidades, sino que además dá una idea de la magnitud: 0. No aplicable 1. Totalmente en desacuerdo 2. No estoy de acuerdo 3. Neutral 4. De acuerdo 5. Totalmente de acuerdo A. Excelente B. Muy bien C. Aceptable D. Necesita mejorar 62 F. Inaceptable G. NA No aplicable  Nunca  Raramente  Algunas veces  Frecuentemente  Siempre d) Listas de verificación o checklists Las listas de verificación o checklists sirven para identificar la presencia o ausencia de comportamientos concretos, por este motivo pueden ser útiles para distinguir las áreas de fortaleza o debilidad, pero no necesariamente clarifican la magnitud. Los elementos del formulario de evaluación serían los mismos que para los formularios de preguntas cerradas, pero en lugar de presentarse respuestas variadas, el estudiante simplemente responde marcando “sí” o “no”. Consejos para elaborar una lista de verificación:  Haz que tenga aspecto profesional.  Haz sólo las preguntas de las que necesites una respuesta.  Incluye siempre una sección de comentarios.  Permite el anonimato.  Entrega los formularios a los alumnos para que los rellenen como 15 o 20 minutos antes de finalizar la clase.  Evalua los resultados como tendencias, no pensando “soy bueno o soy malo”. 63 Anexo B – Análisis de la evaluación docente en España La evaluación docente es un tema abierto y de absoluta actualidad ahora mismo en España. A continuación se presentan y se analizan algunos datos de interés sobre este tema, que servirán para completar el presente trabajo con una imagen más clara de cuál es la situación actual en nuestro país. Para conducir este análisis he empleado el artículo “Cómo poner nota a los profesores” aparecido en el diario El País el día 24 de Abril del 2022, escrito por J.A. Aunión. Cómo poner nota a los profesores El Gobierno rescata la idea de valorar el trabajo de los docentes, una medida que lleva en las leyes educativas un cuarto de siglo sin terminar de aplicarse. Clase de inglés en un instituto de Barcelona, en noviembre de 2020. Foto Cristóbal Castro. 70 El día después del discurso del doctor Fox Pero no menos interesante fue lo que ocurrió al día siguiente cuando “Ware explicó que uno de los médicos asistentes había comenzado a mostrar ejemplos de imágenes de la charla en las clases que impartía. Este caso se hizo público porque al parecer uno de los alumnos se levantó y le dijo al profesor que esos ejemplos eran una farsa y que se trataba de una serie de diapositivas antiguas que conocía.” Por otra parte Ware también presentó a otros grupos de profesionales en medicina el vídeo de la conferencia y los resultados reafirmaron lo ocurrido en la exposición original. Los grupos que visualizaron la grabación fueron cautivados por la charla, llegando alguno incluso a comentar que creía recordar haber leído artículos de Myron L. Fox. Tras el éxito del primer experimento los tres profesores llevaron a cabo pruebas similares con grupos cada vez más amplios, dando forma a un fenómeno que describe las conferencias que pueden llegar a cegar a los oyentes con su puesta en escena aunque tengan un contenido muy pobre o nulo. A este fenómeno se le llamó desde entonces Efecto Dr. Fox.