Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes

Vol. 18, Núm. 3, 2016 Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Evaluating Teaching in Higher Education: Teacher and Student Perceptions Luis Miguel Moreira (1) [email protected] Miguel Ángel Santos (2) [email protected] (1) Instituto Piaget-Vila Nova de Gaia (2) Universidad de Santiago de Compostela (Recibido: 14 de octubre de 2014; Aceptado para su publicación: 17 de septiembre de 2015) Cómo citar: Moreira, L. M. y Santos, M. A. (2016). Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes. Revista Electrónica de Investigación Educativa, 18(3), 19-36. Recuperado de http://redie.uabc.mx/redie/article/view/922 Resumen El artículo se centra en la evaluación de la enseñanza en la Educación Superior partiendo de la percepción de estudiantes y profesores. Analiza la relación con factores asociados a los estudiantes, los docentes y las Unidades Curriculares (UC), y la relación de concordancia entre la perspectiva de estudiantes y docentes teniendo en cuenta dos objetivos: averiguar cómo los profesores y alumnos de la Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal) evalúan la calidad de la enseñanza; y verificar cuán apropiado es el uso de la herramienta Student’s Evaluation of Educational Quality (SEEQ) por parte de alumnos y profesores. Se utilizó un instrumento basado en el SEEQ, con una población de 1,343 estudiantes y 146 docentes. Los resultados de la investigación refuerzan las garantías ofrecidas por el modelo utilizado, no sólo por la fiabilidad y consistencia que el instrumento revela sino, principalmente, por la relación de concordancia entre la percepción de estudiantes y docentes. Palabras clave: Evaluación, calidad, Educación Superior, percepción de estudiantes y docentes. Abstract This paper focuses on the evaluation of teaching in higher education from student and teacher perceptions. It analyzes its relationship with factors linked to students, teachers and curricular units (CU) and the consistency between student and teacher perspectives, while taking into consideration the study’s two objectives: firstly, to find out how teachers and students of the Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal) assess teaching quality; and secondly, to determine how appropriate it is for students and teachers to use the SEEQ (Student’s Evaluation of Educational Quality) tool. A SEEQ-based instrument was used with a population of Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 20 1,343 students and 146 teachers. The study results support the assurances offered by the model used. This is due in part to the reliability and consistency of the instrument, but mainly to the consistency between student and teacher perceptions. Keywords: Evaluation, quality, Higher Education, perception of students and teachers. I. Introducción La necesidad de evaluar el desempeño en la Educación Superior es una realidad reconocida desde hace mucho tiempo en numerosos países. Tradicionalmente, esta labor ha sido realizada según tres perspectivas: 1) la evaluación de las instituciones dentro de un país; 2) la evaluación de los departamentos de la institución, y 3) la evaluación de las titulaciones y de los cursos o de los programas de Educación Superior. En Portugal, la creación del CNAVES (Conselho Nacional de Avaliação do Ensino Superior) en 1998, produjo el desarrollo sostenido de metodologías de evaluación, con la finalidad de estimular la mejora de la calidad de las actividades realizadas, informar tanto a la comunidad educativa como a la comunidad nacional, así como asegurar un conocimiento más riguroso y un diálogo más transparente entre las Instituciones de Educación Superior (IES), además de contribuir al ordenamiento de la respectiva red. Con la extinción del CNAVES, en 2007 este papel pasó a ser asumido por la A3ES (Agência de Avaliação e Acreditação do Ensino Superior), creada en diciembre de 2008, que habla de su misión en términos de garantizar la calidad de la Educación Superior en Portugal, además de asegurar la inserción del país en el sistema europeo de garantía de la calidad de la Educación Superior. La progresiva responsabilización de las IES por el uso que hacen de los recursos que se ponen a su disposición, junto con la voluntad de los respectivos gestores de proceder en consecuencia, hacen del análisis de la eficiencia y de la mejora continua de la calidad una preocupación principal en las IES. Por otro lado, el cuadro normativo legal producido en los últimos años en Portugal moviliza a las instituciones de Educación Superior en el sentido de desarrollar e implementar mecanismos de evaluación del desempeño de los docentes. En Portugal, los instrumentos de evaluación pedagógica de los docentes no están muy difundidos y las principales motivaciones que impulsan las evaluaciones de la enseñanza superior han estado relacionadas con la acreditación y evaluación comparada de los cursos impartidos. Independientemente de los efectos que podría tener sobre la progresión de la carrera docente, la evaluación pedagógica de los profesores constituye un instrumento de identificación de problemas y un soporte para la mejora del éxito escolar. Las cuestiones pedagógicas en la enseñanza superior han ido ganando relevancia a medida que se ha generalizado el acceso a la educación de ese nivel y, en consecuencia, ha aumentado la heterogeneidad del cuerpo discente. Así lo plantean James, Baldwin y McInnis (1999), para quienes los factores que influyen en la elección que hacen los alumnos de una determinada institución tiene que ver con cuestiones de calidad. Una década más tarde, Shah y Nair (2010) corroboraban esa afirmación, al mostrar que la calidad de la docencia impartida es el factor principal que los estudiantes tienen en cuenta a la hora de elegir una universidad, hasta el punto de superar otros factores, como son el de las instalaciones y recursos académicos disponibles, o incluso las perspectivas de empleabilidad. Por otro lado, Palermo (2013) alude a una reciente revisión hecha en Australia sobre si los datos de evaluación producidos por los estudiantes permiten o no concluir que esa evaluación haya mejorado la calidad de la docencia. Con todo, estos datos hicieron que la percepción de los estudiantes sobre la enseñanza y el aprendizaje ganara mayor relevancia en la mente de los Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 21 profesores. Además, aquellos docentes que ven la evaluación de los estudiantes en la perspectiva del sistema entienden la divulgación de los resultados y la utilización de los datos como un proceso asociado a las metas institucionales de mejora. Si queremos que contribuyan al aumento de la calidad de la enseñanza, los procedimientos que adoptemos han de ser cuidadosamente elaborados para que, más allá de una evaluación en sentido estricto, sirvan a los propósitos docentes como instrumento de desarrollo de las capacidades profesionales o de identificación de necesidades de formación. II. La evaluación de la calidad de la enseñanza (autoevaluación) La evaluación de la docencia en la Educación Superior es relativamente reciente en el contexto europeo y latinoamericano, aunque tenga una tradición más antigua en el anglosajón. De acuerdo con Fernández, Mateo y Muñiz (1996), este tipo de evaluación tiene su origen formal en la década de los veinte del siglo pasado, con Guthrie y Remmers, en los Estados Unidos, donde hoy se impone como una práctica institucionalizada. Al respecto, Muñoz, Ríos y Abalde (2002), y Simões (2000), afirman que la evaluación de la calidad docente en el contexto de la enseñanza universitaria, tomando como base las percepciones de los estudiantes, constituye una de las formas posibles de evaluación, con perspectivas de consolidación, en buena parte de las universidades, siendo incluso uno de los aspectos fundamentales en los que se apoya una de las dimensiones de calidad en las IES. Podría decirse que, sin evaluar la calidad docente en la enseñanza superior, el vector pedagógico de su mejora puede terminar por ser simple retórica (Santos, 2000). De acuerdo con Centra (2003), es significativa la variedad de publicaciones sobre la evaluación del desempeño de los docentes y de los respectivos modelos en que éste se apoya. En efecto, existen más de dos mil estudios referenciados en la base de datos ERIC, repartidos por autores y países. Gradualmente, la evaluación de los docentes por los estudiantes ha ido asumiéndose por los gobiernos como indicador válido de desempeño. Incluso se ha llegado a verla como una medida directa de satisfacción con la experiencia universitaria y, en particular, de la calidad de la enseñanza impartida (Ramsden, 1991; Santiago, Tavares, Taveira, Lencastre y Gonçalves, 2001). Harvey (2003) sugiere que la integración de los resultados de naturaleza actitudinal y afectiva, considerando las percepciones de los estudiantes, podrá representar un esfuerzo de empowerment, haciendo que las instituciones respondan mejor a sus necesidades y garanticen mayores niveles de satisfacción. Aun así, el tema de la evaluación por parte de los estudiantes sigue siendo muy controvertido (Kuzmanovic, Savic, Popovic y Milan, 2013; Socha, 2013; Spooren, Brockx y Mortelmanss, 2013). Desde una perspectiva un tanto clásica (Marsh, 1987), las evaluaciones realizadas a partir de la recopilación de información de los estudiantes son, en su conjunto, multidimensionales, fiables y estables; dependen más del docente que de la unidad curricular; son relativamente válidas y están poco afectadas por los sesgos potenciales; se asumen como herramientas útiles de mejora de la calidad de la enseñanza cuando se combinan con estrategias concretas de intervención en dominios o áreas de la actividad docente un tanto “frágiles”. Un estudio longitudinal conducido por Marsh y Hocevar (1991) evaluó los cambios del desempeño pedagógico percibido por los estudiantes (con una muestra de 195 docentes a lo largo de 13 años) y concluyó la existencia de un patrón de evaluación de las percepciones de competencia pedagógica por los estudiantes. Este trabajo permitió concluir que la evaluación del docente tiende a mantenerse estable en términos temporales, lo que corrobora la existencia de un perfil intemporal consistente. Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 22 En el ámbito de la evaluación de la enseñanza, Fraser (1991) propone la existencia de tres enfoques principales: 1) observación sistemática; 2) estudios de casos; y 3) evaluación de las percepciones de los estudiantes y los docentes. De acuerdo con el mismo autor, el enfoque perceptivo presenta algunas ventajas con respecto a las metodologías antes mencionadas: es más económico que las observaciones de aula; se basa en la evaluación de la experiencia efectiva de los estudiantes en un determinado ambiente; e implica una serie de juicios de todos los estudiantes de esa clase, mientras que las técnicas de observación típicas involucran a un solo observador. Todavía en relación con las percepciones de los estudiantes, puesto que son las que determinan sus comportamientos más de lo que lo hacen las situaciones reales, pueden asumirse como más relevantes que los comportamientos observables. En tiempos más recientes, Baker (2014) presentó un trabajo en el que los docentes se mostraban muy favorables a la utilización de instrumentos para la evaluación de la enseñanza por los estudiantes, debido a sus efectos formativos y pensando en la evaluación de su práctica pedagógica. Asimismo, referían la importancia de tales instrumentos en su evaluación sumativa, si bien, con todo, expresaban alguna preocupación acerca de su posible sobrevaloración, en detrimento de procesos más significativos. Las percepciones del docente (autoevaluación) posibilitan una autorreflexión más sustantiva sobre su actuación. Uno de los cuestionarios disponibles en la literatura es el SMRS (Staff Member Self Rating Survey) (Marsh, 1987, 1991), que pretende constituirse como contrapunto de la evaluación, al ser también utilizado por los estudiantes, en el sentido de probar la validez convergente y divergente de las percepciones de los actores envueltos en el proceso de enseñanza-aprendizaje (estudiantes y docente). En dos estudios, Marsh (1987) concluía que: 1) la estructura factorial del cuestionario aplicado a los estudiantes y docentes es idéntica; 2) el grado de concordancia entre ambos en cada dimensión del cuestionario es significativo; 3) en la mayor parte de los casos, las diferencias de medias se revelaron poco significativas y asistemáticas; y 4) el análisis multimétodo-multirasgo constituye un soporte para la validez convergente y discriminante de las evaluaciones. En la lógica de procurar armonizar las diferentes perspectivas de evaluación, es importante desarrollar dispositivos de evaluación que incluyan la autoevaluación docente, en el sentido de superar una de las limitaciones mayormente apuntadas en varios de los estudios, y que se relaciona con el carácter unilateral de la evaluación de la enseñanza. Fueron Moore y Kuol (2005) los que propusieron la matriz de reacción al feedback como una estructura para comprender la variedad de orientaciones que los docentes evaluados pueden adoptar en función del feedback que reciben del alumnado. Comprender las diferentes categorías de reacción al feedback puede fortalecer una imagen útil acerca del probable impacto sobre un grupo de participantes en un sistema de evaluación de la enseñanza por los alumnos (SET, por sus siglas en inglés). Una de las limitaciones más citadas en la bibliografía tiene que ver con el carácter unilateral de la evaluación de la enseñanza. Para superarla, lo que importa es desarrollar métodos de evaluación que incluyan la autoevaluación docente, contribuyendo de ese modo a la armonización de las diferentes perspectivas en torno a la evaluación. En tal sentido, Nava y Rueda (2013) se refieren a la importancia de emplear distintos tipos de evaluación, entre ellos, la autoevaluación, que ha de permitir al docente criticar su misma práctica y reorientar sus acciones hacia la mejora. Este es, justamente, el marco de referencia del presente estudio, cuyo objetivo es evaluar la calidad de la enseñanza. Para ello se combinó la utilización de la herramienta SEEQ (Student’s Evaluation of Educational Quality) en alumnos y profesores. Concretamente, pretendemos averiguar cómo evalúan la calidad de la enseñanza los profesores y alumnos de la Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal); y verificar cuán apropiado es el uso de la herramienta SEEQ de manera simultánea en alumnos y profesores. Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 23 III. Metodología Instrumento. El cuestionario utilizado se basa en el SEEQ (Marsh, 1991), versión adaptada a la enseñanza superior portuguesa por Morais, Almeida y Montenegro (2006). El SEEQ ha sido objeto de varios estudios en contextos académicos distintos, revelándose como fiable, válido y con una capacidad significativa de generalización de los resultados obtenidos (Marsh y Roche, 1997). La evidencia teórica y empírica acumulada en torno a este instrumento pone de manifiesto cualidades métricas satisfactorias, tanto en lo referido a su dimensionalidad (Feldman, 1976; Marsh y Hocevar, 1991), como en lo concerniente a la consistencia interna. El instrumento se encuentra disponible en dos versiones: una para los estudiantes y otra para los docentes. Se trata de cuestionarios de auto-informe que pretenden evaluar la calidad de la enseñanza-aprendizaje a partir de las percepciones de estudiantes y profesores, en las IES. Se diseñaron en la aplicación Teleform, lo que permitía su posterior lectura óptica y la exportación a una base de datos del SPSS (Statistics V.20), donde se habría de realizar el análisis. La respuesta a la mayoría de las cuestiones requiere la expresión del grado de concordancia en relación a cada una de ellas, en una escala Likert de seis puntos, desde 1 (completamente en desacuerdo) hasta 6 (completamente de acuerdo) y la posibilidad de no emitir opinión (NS/NC). El cuestionario se basa en una concepción multidimensional de la calidad del proceso de enseñanza-aprendizaje en un conjunto de nueve dimensiones (Morais et al., 2006): 1) Relevancia del aprendizaje, 2) Compromiso docente, 3) Organización/claridad, 4) Interacción de la clase, 5) Relación profesor-alumno, 6) Abordaje de los problemas, 7) Evaluación, 8) Trabajos/lecturas, y 9) Evaluación de la UC (carga de trabajo, adecuación, dificultad e importancia de la UC en comparación con otras UC del curso). Además, en ambos instrumentos se incluyen dos ítems genéricos, uno en relación a la evaluación global del docente, comparándolo con los otros profesores del curso, y otro referido a la evaluación global de la UC, comparándola con las otras UC del curso. La identificación de estas dimensiones se basa en el análisis de un repertorio de comportamientos/actitudes fácilmente observables por los estudiantes y evaluables por el docente. Tal repertorio no debe ser considerado jerárquicamente, sino como un conjunto de componentes de un todo funcional que se articulan y favorecen una evaluación más completa (Morais et al., 2006). El cuestionario aplicado a los estudiantes presentó una medida de fiabilidad interna excelente (alfa de Cronbach=0.977), con tasas de no respuesta inferiores al 0.7% por ítem. Los dos ítems que presentan la tasa más elevada de respuesta NS/NC (alrededor del 12%) son la Cantidad de trabajos y/o lecturas y la utilidad de los trabajos y/o lecturas, ítems constitutivos de la dimensión Trabajos/Lecturas, definiendo la percepción de la utilidad/relevancia y cantidad de los trabajos/lecturas recomendados por el docente. Estas tasas deben interpretarse con prudencia, al tratarse de ítems que pueden no ser aplicables a determinadas UC o tipos de aula. Asimismo, el cuestionario de los docentes tiene una media de fiabilidad interna excelente (alfa de Cronbach=0.943), con tasas de no respuesta inferiores al 1.04% por ítem. La tasa más elevada de respuesta NS/NC (alrededor del 8.36%) está asociada al ítem Información sobre los Trabajos y debe ser considerada con cautela, pues, a pesar de que este ítem se integró en la dimensión Evaluación, está directamente relacionado con la dimensión Trabajos/Lecturas, que como ya comentamos puede no ser adecuada para determinadas UC o tipos de aula. Procedimiento. Este trabajo se llevó a cabo durante todo un año lectivo en la Escuela Superior de Salud Jean Piaget de Vila Nova de Gaia (Portugal). Los docentes participaron de forma voluntaria, Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 24 garantizándose la confidencialidad de los resultados del proceso. De los informes de evaluación individuales se dio cuenta en exclusiva a cada docente. Los criterios de inclusión de docentes para la aplicación de los cuestionarios fueron definidos por unidad curricular y tipo de aula. El docente debía tener, por lo menos, 10 horas de contacto con los estudiantes. De esa forma se buscaba garantizar un período suficiente de contacto entre profesores y estudiantes, a fin de que éstos pudiesen disponer de un período significativo de convivencia pedagógica. Cada profesional recibió el número de sobres correspondientes a las combinaciones constituidas por las UC y tipos de aula en las que impartía docencia, sujetas a evaluación, con el número de cuestionarios (versión estudiante) correspondiente al número de alumnos matriculados en cada una de ellas. Junto con el sobre, se le entregó un cuestionario (versión docente), una hoja con los códigos identificativos del profesor, UC, tipo de aula, curso, año y período al que se referían los cuestionarios, así como un documento explicativo del proceso en curso. Para evitar potenciales sesgos debidos al efecto de las calificaciones, los cuestionarios fueron aplicados antes del período de evaluación, de tal modo que sus juicios no estuviesen influenciados por las notas obtenidas. Los profesores recibían los cuestionarios en un sobre y debían repartirlos a los alumnos de su aula, pero no podían estar presentes en el momento en el que los alumnos empezaban a cubrirlos. Los cuestionarios eran recogidos por el delegado de clase, que los metía en un sobre que cerraba y entregaba a los servicios administrativos inmediatamente después de su cumplimentación. Los estudiantes fueron informados sobre el proceso en curso, garantizándose el anonimato y la confidencialidad de los datos. Los resultados fueron entregados al docente después de terminar la UC y de fijar las calificaciones de los estudiantes. Población. En el estudio participaron 1,343 estudiantes y 146 docentes de la Escuela Superior de Salud Jean Piaget, de Vila Nova de Gaia-Portugal. Fueron distribuidos 28,425 cuestionarios a los estudiantes (cada estudiante podía cubrir varios cuestionarios) y 468 cuestionarios a los docentes. Se aplicaron cuestionarios a toda la población de estudiantes y profesores de la escuela, en todas las disciplinas y tipología de aula. Las tasas de respuesta fueron, respectivamente, del 40% (11,378 cuestionarios válidos de los estudiantes) y de 82% (383 cuestionarios válidos de los docentes). La tasa relativamente baja de respuesta a los cuestionarios aplicados a los estudiantes se explica por un conjunto de factores concurrentes: 1) haber sido un proceso facultativo para los docentes y, por la singularidad del propio proceso, en el caso de los estudiantes; 2) la existencia de UC que terminaban mucho antes del final del período lectivo; y 3) etapas de prácticas fuera de la institución más o menos largas, en diferentes momentos, implicando a estudiantes de distintos cursos. Los docentes que participaron en este estudio son mayoritariamente del género femenino (62%), edad entre 30 y 39 años (43.2%), licenciados (67.1%) y el 75% pertenece, como es lógico, al área de Ciencias y Tecnologías de la Salud (Medicina, Farmacia, Enfermería) (ver tabla I). Su relación con la institución es en régimen de prestación de servicio remunerado por horas (59.6% son docentes asociados), siendo un 21.2% los que trabajan tiempo completo en la institución y un 16.4% a tiempo completo en la Escuela. Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 25 Tabla I. Descripción de la Muestra Docente Género N % Hombre 91 62.3 Mujer 55 37.7 Edad <30 40 27.4 30-39 63 43.2 40-49 31 21.2 ≥50 12 8.2 Habilitación Académica Bachillerato 1 0.7 Licenciatura 99 67.1 Máster 28 19.2 Doctorado 19 13.0 Relación con la Institución Plantilla 23 15.8 Contrato 3 2.1 Concierto 33 22.6 Módulos 87 596 Presencia horaria en la Institución Tiempo completo 31 21.2 Tiempo parcial 115 78.8 Presencia horaria en la Escuela Tiempo completo 24 16.4 Tiempo parcial 122 83.6 Área Conocimiento Ciencias Exactas 4 2.7 Ciencias Naturales 12 8.2 Ciencias de la Salud 110 75.3 Ingenierías 7 4.8 Ciencias Sociales 8 5.5 Artes y Humanidades 5 3.4 La mayor parte de los estudiantes son mujeres (75%) de entre 20 y 22 años, y que cursan Enfermería (33.4%) o Fisioterapia (22.9%), aunque el 9.7% declara que, al mismo tiempo, trabajan. Su distribución por los cuatro años curriculares es homogénea. Tabla II. Descripción de la Muestra de Estudiantes N % Género Mujer 1001 74.5 Hombre 342 25.5 Edad <20 291 21.7 20-22 657 48.9 23-26 254 18.9 >26 141 10.5 Titulación Análisis Clínico y Salud Pública 137 10.2 Dietética 91 6.8 Enfermería 449 33.4 Farmacia 164 12.2 Fisioterapia 308 22.9 Radiología 194 14.5 Año académico 1o. 357 26.6 2o. 339 25.2 3o. 345 25.7 4o. 302 22.5 Estatus Estudiante 1212 90.3 Trabajadorestudiante 131 9.7 Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 26 IV. Resultados 4.1 Resultados de los estudiantes Los resultados globales por ítem del cuestionario de alumnos que se presentan en la tabla III son bastante positivos, al evidenciar valores medios comprendidos entre 3.96 y 4.87 (en una escala de 1 a 6). Tabla III. Cuestionario de Estudiantes y Docentes. Resultados de los ítems Cuestionario Estudiante Cuestionario Docente Ítems Validez N Media SD Validez N Media SD Valor de Prueba1 Accessibilidad/facilidad 11296 3.96 1.09 361 4.43 1.00 <0.001 Exigencia/carga de trabajo 11284 4.14 1.00 383 4.66 0.95 <0.001 Formación humana y ética 11171 4.34 1.17 359 4.57 1.32 <0.001 Interés por la materia 11290 4.26 1.11 373 4.77 0.83 <0.001 Comprensión y asimilación 11309 4.46 0.95 379 4.61 0.76 0.004 Organización de las clases 11294 4.23 1.14 381 4.80 0.79 <0.001 Cantidad de trabajos y/o lecturas 9938 4.38 1.00 360 4.94 0.77 <0.001 Ritmo de las clases 11156 4.41 1.03 377 4.95 0.81 <0.001 Comparación teorías/modelos 10595 4.43 0.90 363 4.85 0.76 <0.001 Utilidad de los trabajos y/o lecturas 9968 4.41 1.00 373 5.02 0.84 <0.001 Dinamismo de las clases 11333 4.30 1.14 379 5.06 0.77 <0.001 Otros puntos de vista 10726 4.46 0.94 363 5.01 0.71 <0.001 Contexto de las ideas/conceptos 10880 4.47 0.91 365 5.04 0.76 <0.001 Métodos de evaluación 10859 4.43 1.09 377 5.13 0.80 <0.001 Claridad 11327 4.47 1.02 383 5.11 0.71 <0.001 Importancia/relevancia 11291 4.43 1.22 381 5.20 0.89 <0.001 Desarrollos recientes 10739 4.54 0.93 375 5.22 0.73 <0.001 Trabajos 10416 4.49 1.03 349 5.24 0.75 <0.001 Materiales de apoyo 11193 4.49 1.10 383 5.26 0.75 <0.001 Formación técnica 11214 4.52 1.25 377 5.08 0.99 <0.001 Utilidad de lo aprendido 11357 4.68 1.07 369 5.00 0.84 <0.001 Participación y discusión 11296 4.52 0.98 383 5.33 0.70 <0.001 Respuestas adecuadas 11281 4.59 0.99 383 5.31 0.64 <0.001 Expresión de ideas y preguntas 11301 4.57 0.96 383 5.42 0.67 <0.001 Compromiso con la enseñanza 11305 4.62 1.04 381 5.55 0.63 <0.001 Preocupación/interés 11287 4.66 1.05 381 5.46 0.64 <0.001 Cordialidad 11325 4.71 1.02 383 5.50 0.63 <0.001 Disponibilidad para atender a los estudiantes 10591 4.71 1.05 383 5.46 0.70 <0.001 Cumplimiento de los horarios 11304 4.87 1.05 381 5.73 0.60 <0.001 Integración en el Plan de Estudios --- --- --- 377 4.99 1.04 --- Evaluación Global del Docente 11323 4.57 1.09 381 5.14 0.68 <0.001 Evaluación Global de la UC 11312 4.50 1.09 383 4.95 0.74 <0.001 1 Valores de prueba resultantes del test de Mann-Whitney. Como puntos fuertes aparecen el cumplimiento de los horarios (El docente cumplió el horario de las clases y de otras actividades programadas), con un valor medio de 4.87; la cordialidad en el trato (El docente se mostró cordial en su relación con los estudiantes), con un valor medio de 4.71; la disponibilidad de atención al estudiante (El docente estaba disponible para los estudiantes durante el horario de tutoría o al final de las clases), con una media de 4.71. Pero también valoran de forma Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 27 muy positiva la utilidad de lo aprendido (En las clases aprendí algo que considero útil), un 4.68; y la preocupación/interés (El docente mostró preocupación/interés por los estudiantes), un valor de 4.66. Los aspectos más débiles tuvieron que ver con la accesibilidad/facilidad (Esta UC es accesible/fácil en comparación con las otras del curso), que alcanza un valor medio de 3.96; la exigencia/carga de trabajo (La exigencia/carga de trabajo de esta UC es adecuada si la comparamos con otras del curso) que supera la media de 4; la organización de las clases (El modo en que el docente organizó las clases motivó su interés) con un valor medio de 4.23; y con medias muy cercanas a este valor están el interés por la materia (La asistencia a clase aumentó su interés por la materia); y la dinámica de la clase (El docente imprimió dinamismo a sus clases). La combinación de los tres últimos ítems mencionados en el grupo de medias más bajas evidencia un vector del componente pedagógico relacionado con la organización de las clases, la dinámica de las mismas y el impacto de la asistencia discente en el aumento de su interés por la materia, lo cual deberá ser objeto de atención en la formación de los profesores. El análisis de resultados globales por dimensiones arroja, también, datos bastante positivos, con valores medios comprendidos entre 4.28 e 4.69, como se ve en la siguiente tabla. Tabla IV. Cuestionario de Estudiantes y Docentes. Resultados de las dimensiones Cuestionario Estudiante Cuestionario Docente Dimensiones Validez N Media SD Validez N Media SD Valor de Prueba1 Relevancia del aprendizaje 11378 4.47 0.94 381 4.79 0.68 <0.001 Empeño docente 11374 4.50 0.95 381 5.28 0.52 <0.001 Organización/claridad 11364 4.45 0.94 383 5.11 0.61 <0.001 Interacción de la clase 11349 4.56 0.94 383 5.35 0.61 <0.001 Relación docente/estudiante 11356 4.69 0.97 383 5.48 0.60 <0.001 Abordaje de los problemas 11101 4.47 0.86 381 5.04 0.59 <0.001 Evaluación 11026 4.45 1.01 379 5.17 0.66 <0.001 Trabajos/lecturas 10170 4.39 0.98 373 4.97 0.72 <0.001 Evaluación relativa a la UC 11366 4.28 0.90 383 4.83 0.67 <0.001 Evaluación Global del Docente 11323 4.57 1.09 381 5.14 0.68 <0.001 Evaluación Global de la UC 11312 449 1.09 383 4.95 0.74 <0.001 1Valores de prueba resultantes del test de Mann-Whitney. Así, tres dimensiones alcanzan valores medios superiores a 4.50: la Relación Docente/Estudiante (conciencia de las necesidades y de los ritmos de aprendizaje diferenciados de los estudiantes y calidad del contacto entre estudiantes y docentes); la Interacción en el aula (interacción verbal entre alumnos y profesor, que se refleja en la forma en que las materias son abordadas); y el compromiso del docente (su capacidad para captar el interés de los estudiantes a través del entusiasmo, dinamismo y energía que imprime a sus clases). Pero también con las puntuaciones más bajas, con valores inferiores a 4.40, están las dimensiones Relativas a la UC (percepción de la carga de trabajo, grado de dificultad e importancia de la UC); y a los Trabajos/Lecturas (percepción de la utilidad/relevancia y cantidad de los trabajos/lecturas recomendados). Las dimensiones referidas a la Relevancia del Aprendizaje, al Abordaje de los Problemas, a la Evaluación y a la Organización y Claridad, presentan un valor medio de 4.48, lo que se traduce en una percepción positiva de la calidad de la enseñanza-aprendizaje. La Evaluación Global del Docente y la Evaluación Global de la UC, con valores medios de 4.60 y de 4.52 respectivamente, muestran que los alumnos tienen percepciones muy favorables tanto del docente como de la UC en comparación con otras UC y otros docentes en el ámbito del curso bajo análisis. Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 34 Partiendo del modelo lineal ajustado, las dimensiones donde se produjo mayor discordancia entre la evaluación de los estudiantes y la autoevaluación de los docentes son la Relevancia del Aprendizaje, la Evaluación Global de la UC y el Compromiso del Docente (dimensiones señaladas en el gráfico con símbolos en negro). En los cuestionarios de autoevaluación de los docentes, las dos primeras dimensiones son “subevaluadas” y la tercera es “sobreevaluada”, cuando las comparamos con la evaluación media que han hecho los estudiantes. VI. Discusión y conclusiones En este trabajo se evalúa la calidad de la enseñanza impartida tomando como base la percepción de estudiantes y de docentes, a través de la aplicación de instrumentos que se mostraron consistentes, presentando una medida de fiabilidad interna excelente. Se analiza también la relación de esa evaluación con factores asociados a los estudiantes, a los docentes y a las UC. La razón de que el estudio se centrara en el proceso de evaluación de la enseñanza es que se trata de uno de los pilares fundamentales en que han de asentarse los modelos de evaluación de la calidad en el contexto de la enseñanza superior. Pues bien, los resultados muestran que ese pilar está bien fundamentado, no sólo por la fiabilidad y consistencia mostradas por el instrumento, sino -sobre todopor la relación de concordancia entre la percepción de estudiantes y docentes, a propósito de la calidad de la enseñanza impartida. En términos globales, los resultados se mostraron bastante positivos, tanto en los cuestionarios aplicados a los estudiantes como en los de los docentes. En los primeros, se destacaron como puntos fuertes el cumplimiento de horarios por los docentes, su cordialidad en la relación con los estudiantes y la disponibilidad para atenderlos, la utilidad que los estudiantes atribuyen a lo que aprendieron en las clases y la preocupación e interés de los docentes por sus alumnos. Como puntos débiles, aunque bien evaluados, sobresalen la accesibilidad o facilidad de las UC, así como su exigencia o carga de trabajo, el modo en que el docente organizó las clases, el interés por la materia en función de la asistencia a sus clases y el dinamismo del docente en las mismas. En los cuestionarios aplicados a los docentes (autoevaluación), se destacan como elementos más positivos el cumplimiento de horarios, el compromiso con la docencia, la cordialidad en la relación con los estudiantes, la disponibilidad para atenderlos y la preocupación e interés por ellos. Sin embargo, la accesibilidad o facilidad de la UC, la importancia de la UC para la formación humana y ética del estudiante, la comprensión y asimilación de los contenidos de las clases, la exigencia o carga de trabajo de la UC y el interés por la materia, a la vista de la asistencia a sus clases son los ítems con puntuaciones más débiles, aunque, también, bien evaluados. También se comparó la evaluación de la calidad de la enseñanza impartida, en la perspectiva de los estudiantes y de los docentes (autoevaluación), en cada ítem y en cada dimensión de los cuestionarios. Este análisis evidenció la existencia de una fuerte relación de concordancia entre las dos perspectivas. De forma general, se concluyó que los ítems y dimensiones en que los estudiantes mejor evalúan a los docentes, se corresponden con aquellos en que los docentes mejor se autoevalúan, y las dimensiones en que los estudiantes peor evalúan a los docentes, corresponden a aquellas en que los docentes también peor se autoevalúan. En definitiva, consideramos que sólo una evaluación efectiva de la docencia puede promover el desarrollo de profesionales cada vez más competentes, junto a una cultura de colaboración entre docentes. La definición de objetivos para cada docente, acordes con la misión institucional y las preferencias individuales, al lado de un sistema justo de incentivos que recompense las mejores Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 35 prácticas, puede producir un giro muy positivo a la forma de ver y considerar la evaluación. Esto ayudará a las instituciones a desarrollar sus recursos humanos, alentando y motivando a los sujetos evaluados a prestar servicios de excelencia, lo que puede contribuir al aumento de la calidad de la enseñanza, y es de esperar que también del aprendizaje. Referencias Baker, S. H. (2014). Faculty perceptions as a foundation for evaluating use of student evaluations of teaching. Recuperado de http://scholarworks.uvm.edu/graddis/288/ Centra, J. A. (2003). Will teachers receive higher student evaluations by giving higher grades and less course work? Research in Higher Education, 44(5), 495-518. Recuperado de http://link.springer.com/article/10.1023%2FA%3A1025492407752 Feldman, K. A. (1976). Grades and college students’ evaluations of their courses and teachers. Research in Higher Education, 4(1), 69-111. doi:10.1007/BF00991462 Fernández, J., Mateo, M. A. y Muñiz, J. (1996). Valoración por parte del profesorado de la evaluación docente realizada por los alumnos. Psicothema, 8(1), 167-172. Recuperado de http://www.psicothema.com/english/psicothema.asp?id=13 Fraser, B. J. (1991). Two decades of classroom environment research. En B. J. Fraser y H. J. Walberg (Eds.), Educational environments: Evaluation, antecedents, and consequences (pp. 3-27). Elmsford, NY: Pergamon. Harvey, L. (2003). Student feedback. Quality in Higher Education, 9(1), 3-20. doi: 10.1080/13538320308164 James, R., Baldwin, G. y McInnis, C. (1999). Which University? The factors influencing the choices of prospective undergraduates. Canberra: University of Melbourne. Kuzmanovic, M., Savic, G., Popovic, M. y Milan, M. (2013). A new approach to evaluation of university teaching considering heterogeity of students’ preferences. Research in Higher Education, 66(2), 153-171. doi: 10.1007/s10734-012-9596-2 Marsh, H. W. (1987). Students’ evaluation of university teaching: Research findings. International Journal of Educational Research, 11(3), 253-388. doi: 10.1016/0883-0355(87)90001-2 Marsh, H. W. (1991). A multidimensional perspective students’ evaluations of teaching effectiveness: A test of alternative higher-order structures. Journal of Educational Psychology, 83(3), 285-296. doi: 10.1037/0022-0663.83.3.416 Marsh, H. W. y Hocevar, D. (1991). Students’ evaluations of teaching effectiveness: The stability of mean ratings of the same teachers over a 13-year period. Teaching and Teacher Education, 7(4), 303-314. doi:10.1016/0742-051X(91)90001-6 Marsh, H. W. y Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187-1197. doi: 10.1037/0003-066X.52.11.1187 Evaluando la enseñanza en la Educación Superior: percepciones de docentes y discentes Moreira y Santos Revista Electrónica de Investigación Educativa, Vol. 18, Núm. 3 / IIDE-UABC 36 Moore, S. y Kuol, N. (2005). A punitive bureaucratic tool or a valuable resource? Using student evaluations to enhance your teaching. En G. O’Neill, S. Moore, y B. McMullin (Eds.), Emerging issues in the practice of university learning and teaching (pp. 141-148). Dublín: AISHE. Recuperado de http://www.aishe.org/readings/2005-1 Morais, N., Almeida, L. S. y Montenegro, I. M. (2006). Percepções do ensino pelos alunos: Uma proposta de instrumento para o Ensino Superior. Análise Psicológica, 24(1), 73-86. Recuperado de http://repositorio.ispa.pt/handle/10400.12/155 Muñoz, J. M., Ríos, M. P. y Abalde, E. (2002). Evaluación docente vs. evaluación de la calidad. Revista Electrónica de Investigación y Evaluación Educativa, 8(2), 103-134. Recuperado de http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm Nava, M. y Rueda, M. (2014). La evaluación docente en la agenda pública. Revista Electrónica de Investigación Educativa, 16(1), 1-11. Recuperado de http://redie.uabc.mx/redie/article/view/662 Palermo, J. (2013). Linking student evaluations to institutional goals: a change story. Assessment & Evaluation in Higher Education, 38(2), 211-223. doi: 10.1080/02602938.2011.618880 Ramsden, P. (1991). A performance indicator of teaching quality in higher education: the course experience questionnaire. Studies in Higher Education, 16(2), 129-150. doi: 10.1080/03075079112331382944 Santiago, R. A., Tavares, J., Taveira, M. C., Lencastre, L. y Gonçalves, F. (2001). Promover o sucesso académico através da avaliação e intervenção na Universidade. Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior, 6(3), 31-44. Santos, M. A. (2000). Vector pedagóxico e profesorado universitario: sentido e sensibilidade. Innovación Educativa, 10, 29-42. Recuperado de http://dspace.usc.es/handle/10347/5161 Shah, M. y Nair, C. S. (2010). Enrolling in higher education: The perceptions of stakeholders. Journal of Institutional Research, 15(1), 9-15. Recuperado de http://eric.ed.gov/?id=EJ1094125 Simões, G. (2000). A avaliação do desempenho docente: contributos para uma análise crítica. Lisboa: Texto Editora. Socha, A. (2013). A hierarchical approach to students’ assessments of instruction. Assessments & Evaluation in Higher Education, 38(1), 94-113. doi: 10.1080/02602938.2011.604713 Spooren, P., Brockx, B. y Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of art. Review of Educational Research, 20(10), 1-45. doi: 10.3102/0034654313496870