Un sistema de evaluación por pares para los exámenes de Matemáticas y Econometría de los Grados en Economía y Administración y Dirección de Empresas

Proyecto de Innovaci´ on y Mejora de la Calidad Docente Convocatoria 2014 No320 Un sistema de evaluaci´ on por pares para los ex´ amenes de Matem´ aticas y Econometr´ ıa de los Grados en Econom´ ıa y Administraci´ on y Direcci´ on de Empresas Nombre del responsable: Marcos Bujosa Brun Facultad de CC. Econ´ omicas y Empresariales Departamento de Fundamentos del An´ alisis Econ´ omico II 1. Objetivos propuestos en la presentaci ´ on del proyecto Los ex´ amenes y pruebas de evaluaci´ on tienen un papel destacado dentro de los materiales docentes. Ello es as´ ı debido al doble papel que juegan: por una parte, son cruciales para evaluar el nivel de conocimientos adquiridos por los estudiantes; pero tambi´ en orientan al estudiante sobre c´ omo preparar las asignaturas. Por tanto los ex´ amenes son una herramienta fundamental en la docencia. Teniendo en mente esta consideraci´ on, el objetivo de este proyecto era doble: (a) obtener un an´ alisis objetivo y cualificado de los ex´ amenes y m´ etodos de evaluaci´ on utilizados, as´ ı como (b) recoger sugerencias que permitan mejorar los procesos de evaluaci´ on de las asignaturas consideradas. Los objetivos propuestos en la presentaci´ on del proyecto reflejan este doble objetivo: Dise˜ nar un cuestionario que permita analizar la idoneidad de los ex´ amenes y pruebas realizados en el pasado para la correcta evaluaci´ on de los conocimientos y competencias descritos en las gu´ ıas docentes de las distintas asignaturas. Seleccionar evaluadores externos cualificados, para garantizar la cualificaci´ on y objetividad de las evaluaciones, as´ ı como la calidad de las sugerencias. Analizar la informaci´ on recogida para identificar aspectos que permitan reestructurar las pruebas de evaluaci´ on con dos objetivos: •mejorar la calidad de las evaluaciones •lograr que los alumnos orienten mejor el estudio. Revisar a posteriori los cuestionarios para lograr un doble objetivo: mejorar el sistema de evaluaci´ on por pares extender el sistema de evaluaci´ on por pares a otras ´ areas. Adem´ as, se quer´ ıa mostrar c´ omo algunas preguntas de la encuesta DOCENTIA est´ an mal formuladas. En particular, y dado el objetivo de este proyecto, nos centramos en la pregunta: ´ Item 8. El sistema de evaluaci´ on permite al estudiante reflejar los conocimientos y competencias adquiridas Nuestra hip´ otesis de partida era que los alumnos no est´ an suficientemente capacitados para responder a dicha pregunta y, consecuentemente, es un error evaluar al profesorado a tenor de la informaci´ on proporcionada por los alumnos en esta pregunta. Los resultados obtenidos en este proyecto confirman sin ambig¨ uedad nuestras sospechas iniciales. 2. Objetivos alcanzados Nuestra intenci´ on era realizar una revisi´ on cr´ ıtica de los ex´ amenes de todas las asignaturas de Matem´ aticas y Econometr´ ıa del Grado en Econom´ ıa mediante encuestas a profesorado externo. Pero, dado el escaso presupuesto concedido, hemos reducido nuestras expectativas iniciales. Tan s´ olo hemos podido encuestar a seis profesores externos, y por ello nos hemos centrado en una ´ unica asignatura: Matem´ aticas II. Valoraci´ on general de las respuestas obtenidas Las respuestas de los evaluadores reflejan que los ex´ amenes de la citada asignatura son adecuados, se ajustan al programa de la asignatura, y son homologables a lo 2 que se hace en otras universidades. Esta es una conclusi´ on un´ anime por parte de los evaluadores externos. No obstante, algunos evaluadores a˜ naden que se podr´ ıa incidir algo m´ as en alg´ un punto concreto del temario y aumentar el tiempo que se da a los alumnos para contestar. Valoraci´ on de las respuestas a la pregunta (´ Item 8) “El sistema de evaluaci´ on permite al estudiante reflejar los conocimientos y competencias adquiridas” Dese´ abamos comparar las respuestas proporcionadas por los alumnos con las dadas por nuestros evaluadores externos. Lamentablemente los alumnos no suelen cumplimentar las encuestas DOCENTIA, y el vice-rectorado no procesa las respuestas si su n´ umero es reducido. As´ ı que s´ olo hemos dispuesto de una encuesta DOCENTIA representativa para la asignatura de Matem´ aticas II (aunque poseemos encuestas de asignaturas an´ alogas de matem´ aticas, con m´ etodos de evaluaci´ on parecidos, que reflejan esencialmente lo mismo1). En la citada encuesta responden un total de 30 alumnos y muestra discrepancia entre la opini´ on de los alumnos y la de los evaluadores externos. En todas las preguntas m´ as de la mitad de los estudiantes encuestados responde con una nota de 4 o 5; todas salvo las correspondientes a la bibliograf´ ıa y el sistema de evaluaci´ on. En esta ´ ultima, m´ as de un tercio de los encuestados responden con un 1 o un 2. El ´ ıtem 8 es la ´ unica pregunta con una nota media inferior a 3 puntos, cuando la mayor´ ıa de apartados supera los cuatro puntos de media; es m´ as, en todos los ´ ıtems la moda es 4 o 5, salvo en la pregunta referida a la bibliograf´ ıa (moda 3) y la referida al sistema de evaluaci´ on (moda 1). Esta marcada diferencia tambi´ en se refleja en otras encuestas de asignaturas parecidas. Sin embargo, los evaluadores externos responden un´ animente que el sistema de evaluaci´ on si permite al estudiante reflejar los conocimientos y competencias adquiridas. La ´ unica matizaci´ on a esta un´ anime respuesta la ofrece el ´ ultimo evaluador, que a˜ nade que “los ex´ amenes en conjunto son variados y las preguntas cortas y largas casi no se solapan entre s´ ı”. Posibles modificaciones a introducir en los ex´ amenes. Los comentarios de los evaluadores han sido muy valiosos. Los profesores de la asignatura de Matem´ aticas II hemos discutido sobre ellos, y hemos decidido introducir algunas modificaciones para el curso el curso 2014-2015. Cabe destacar la coincidencia de la mayor´ ıa de los evaluadores en sugerir aumentar el tiempo que se da a los alumnos para completar el examen. Esta recomendaci´ on contrasta con nuestra experiencia de a˜ nos pasados, que muestra que la inmensa mayor´ ıa de los alumnos (m´ as de 90 %) ya han entregado el examen antes de finalizar el tiempo establecido. No obstante, dada la recomendaci´ on, ampliaremos el tiempo del examen. An´ alisis sobre el objetivo de la encuesta DOCENTIA Si el objetivo es proporcionar al profesor informaci´ on ´ util que permita mejorar el sistema de evaluaci´ on para que refleje en mayor medida los conocimientos y competencias adquiridos en la asignatura, la evaluaci´ on por pares resulta m´ as adecuada que las preguntas formuladas a los alumnos en la encuesta DOCENTIA. As´ ı se puede 1En el ap´ endice se puede consultar la encuesta de los alumnos de Matem´ aticas II junto con una de alumnos de Matem´ aticas III 3 observar en el resultado de las encuestas, pues los expertos han valorado distintos aspectos del examen y han hecho sugerencias ´ utiles para su mejora. Otra cuesti´ on aparte es si esta pregunta debe de tener alg´ un peso en la evaluaci´ on del profesor cuando en muchas asignaturas hay un examen com´ un para todos los grupos (esto es extensivo a otras preguntas como las relativas a la Bibliograf´ ıa, etc.). 3. Metodolog´ıa empleada en el proyecto Hemos dise˜ nado una encuesta que barre distintos aspectos del examen de Matem´ aticas II (v´ ease la Secci´ on 6 con los anexos). Las preguntas tienen dos partes. La formulaci´ on de una pregunta concreta, con un abanico estrecho de respuestas posibles; y una segunda parte que permite que el encuestado matice su respuesta si as´ ı lo cree conveniente. El cuestionario incluye el citado ´ Item 8 de la encuesta DOCENTIA formulado a los estudiantes. De este modo es posible comparar las respuestas dadas por profesores y estudiantes. Por ´ ultimo se a˜ nadi´ o la posibilidad de permitir al encuestado incorporar sugerencias tanto para la mejora de los ex´ amenes, como para mejoras de futuras versiones del propio cuestionario (por ejemplo para sugerir alguna pregunta que hayan echado en falta, etc.) El cuestionario se redact´ o y aloj´ o en el servicio Google Drive disponible junto a la cuenta institucional de la UCM. De esta manera se obtuvieron las respuestas de manera on-line. As´ ı mismo, se aloj´ o en un directorio de Google Drive la memoria de este proyecto y todos los ex´ amenes finales propuestos hasta la fecha en la asignatura Matem´ aticas II desde la implantaci´ on del Grado en Econom´ ıa. Para incentivar a los evaluadores externos se les remuner´ o por las labores de evaluaci´ on, cumplimentaci´ on de las encuestas y aportaci´ on de sugerencias. El 100 % del presupuesto del proyecto se ha destinado a estas remuneraciones. 4. Recursos humanos Todos los evaluadores externos son Matem´ aticos de formaci´ on y docentes de reconocida experiencia en el ´ area. Todos son externos a la Facultad de Econom´ ıa (s´ olo uno pertenece a la UCM) y poseen orientaciones diversas. Los enumeramos por universidades: Universidad Aut´ onoma de Madrid Alba Valverde Colmeiro. Profesora Contratada Doctora. Dpto. An´ alisis Econ´ omico Econom´ ıa Cuantitativa Joan Crespo Fernandez. Profesor Titular. Dpto. An´ alisis Econ´ omico: Econom´ ıa Cuantitativa Universidad Carlos III de Madrid Francisco Marhuenda. Catedr´ atico. Dpto de Econom´ ıa Juan Pablo Rinc´ on Zapatero. Profesor Titular. Dpto de Econom´ ıa 4 Universidad Complutense de Madrid Te´ ofilo Vald´ es. Profesor Titular. Departamento de Estad´ ıstica e Investigaci´ on Operativa I Universidad Polit´ ecnica de Madrid Juan Cires Martinez. Profesor colaborador. Dpto. Matem´ atica aplicada a las tecnolog´ ıas de la informaci´ on y las comunicaciones Los autores de este proyecto hemos sido: Alfredo Garc´ ıa Hiernaux, Emilio Cerd´ a, Eugenia Mera Rivas, Francisco ´ Alvarez Gonz´ alez, Haydee Lugo, Jesus Ruiz Andujar, Juan Angel Jimenez, Manuel Dominguez Toribio, Marcos Bujosa, Mari´ a Jesus Moreta, Mar´ ıa Dolores Robles, Mercedes Vazquez Furelos, Miguel Jerez, Rafael Lopez Zorzano, Sonia Sotoca y Teodosio Perez Amaral. Queremos expresar nuestro especial agradecimiento y sentido pesar por la p´ erdida del profesor Gregorio Serrano, integrante de este equipo, y que falleci´ o antes de finalizar esta memoria. 5. Desarrollo de las actividades Hemos seguido fielmente el plan de trabajo descrito en la memoria inicial del proyecto: 1. Dise˜ no de las encuestas 2. Captaci´ on de evaluadores con un perfil adecuado, en funci´ on de las distintas asignaturas 3. An´ alisis de las evaluaciones obtenidas 4. Discusi´ on sobre las posibles mejoras en los procedimientos de evaluaci´ on de las distintas asignaturas 5. Revisi´ on del sistema de evaluaci´ on por pares para su mejora y posible extensi´ on a otras asignaturas o ´ areas de conocimiento. Para ello hemos discutido peri´ odicamente los distintos puntos necesarios para llevar a cabo las distintas fases del proyecto, tanto presencialmente, como por e-mail. 6. Anexos Cuestionario 5 Cuestionario sobre los exámenes de Álgebra Lineal del Grado en Economía de la UCM El formulario está compuesto de tres secciones: cuestiones generales, dificultad y valoración general. Hay una cuarta sección donde puede incorporar sugerencias o comentarios tanto para mejorar los exámenes como para mejorar este cuestionario. * Required Nombre y Apellidos * Para no forzar a los encuestadores a abrir una cuenta de gmail, y para poder justificar ante el vicerectorado el pago de la pequeña remuneración a los evaluadores, necesitamos solicitar su nombre y apellidos. Por favor, escríbalos en el siguiente recuadro. Cuestiones generales El examen comienza con unas instrucciones para los alumnos. ¿Están claras dichas las instrucciones? * Las instrucciones son claras Las instrucciones son confusas Por favor, si ha considerado que las instrucciones son confusas, indique aquí el motivo. Indíquenos también si cree que falta algún mensaje importante. ¿Considera los exámenes bien redactados? * ¿Son legibles? ¿Hay ambigüedades en las preguntas? ¿Es clara la notación?, etc. Si, los exámenes están bien redactados. No. Son difíciles de leer, o contienen ambigüedades, o la notación no es clara, etc. Other: Si ha contestado que no a la pregunta anterior, por favor explique el motivo. ¿Cubren las preguntas el programa de la asignatura? * Si, cubren adecuadamente el contenido del programa. No, las preguntas exceden los contenidos del programa No, una parte significativa del programa no es cubierta por los exámenes Other: Si quiere extender su respuesta a la pregunta anterior, por favor hágalo aqui: Grado de dificultad La primera pregunta (y la aclaratoria que le sigue) es ambigüa por aludir a algo tan subjetivo como la "dificultad". Así pues, también puede contestar a las dos siguientes (ambas son opcionales) sobre qué resultados esperaría obtener si pusiera estos exámenes a sus alumnos. ¿Considera adecuado el nivel de las preguntas? * No. Hay demasiadas preguntas difíciles No. Hay demasiadas preguntas fáciles Si. Hay una correcta gradación y distribución en la dificultad de las preguntas Other: Si ha contestado que no a la pregunta anterior, por favor explique el motivo. Si no considera adecuado el nivel de las preguntas. Por favor, explique el motivo ¿Qué nota esperaría usted que obtuviese un alumno representativo suyo si hiciese este examen? Ésta pregunta no es obligatoria (y debería ir acompañada de un comentario sobre si el programa de su asignatura es similar o no). ¿Qué porcentaje de sus estudiantes estima usted que aprobaría este examen? Ésta pregunta no es obligatoria (y debería ir acompañada de un comentario sobre si el programa de su asignatura es similar o no). Diseño del examen Considera adecuado el formato del examen * Si No Si ha respondido que no, por favor, explique qué deberíamos cambiar Sólo deberían aparecer más preguntas cortas; solo largas. Sería mejor un examen tipo test, etc. ¿Considera adecuada la distribución de la puntuación entre las distintas partes y preguntas? * Hay preguntas de dificultad similar con puntuaciones muy distintas La puntuación asignada a las preguntas y apartados es adecuada Other: Si quiere extender su respuesta a la pregunta anterior, por favor hágalo aqui: ¿Considera demasiado largo el examen? * Si. Hay demasiadas preguntas y apartados No. Se deberían añadir más preguntas y apartados en el examen La extensión de los exámenes me parece correcta Other: Si quiere extender su respuesta a la pregunta anterior, por favor hágalo aqui: ¿Considera la duración del examen adecuado? * Si No. Se deja poco tiempo para contestar No. Se deja excesivo tiempo. Other: Si quiere extender su respuesta a la pregunta anterior, por favor hágalo aqui: ¿El sistema de evaluación permite al estudiante reflejar los conocimientos y competencias adquiridas? * Explique por qué cree que si, o por qué motivos considera que no. Si No Other: Si quiere extender su respuesta a la pregunta anterior, por favor hágalo aqui: Encuesta DOCENTIA Matem´ aticas II 16 Universidad Complutense de Madrid Resultados del Cuestionario de la Actividad Docente del Profesorado (Teoría) 2013-2014 Titulación: Asignatura: Actividad: Profesor/a: GRADO EN ECONOMÍA MATEMÁTICAS II Clases teóricas y/o prácticas Grupo: Grupo XX XXXXXXXXXXXXXXXXXXXXXXXXXX Número de encuestas : 30 Fecha de Impresión 7-7-2014 Página 3 de 4 Vicerrectorado de Evaluación de la Calidad Pregunta Total 1 2 3 4 5 Ns/Nc Desv.Típica Media 1. El/La profesor/a informa de manera clara sobre los objetivos de la asignatura. 30 0 0 7 10 13 0 0.5146 4.2 2. El/La profesor/a informa de manera clara sobre el sistema de evaluación. 30 0 1 3 12 13 1 0.8055 4.28 3. El/La profesor/a informa de manera clara sobre las actividades docentes: 30 1 5 4 7 13 0 0.9085 3.87 4. La bibliografía recomendada es útil para cursar la asignatura. 30 1 5 13 6 4 1 0.9645 3.24 5. El/La profesor/a organiza y estructura bien las clases. 30 0 2 2 5 20 1 0.87 4.48 6. El/La profesor/a utiliza el Campus Virtual como herramienta de aprendizaje. 30 0 1 1 9 18 1 0.8827 4.52 7. El/La profesor/a explica de forma clara y comprensible. 30 0 0 1 6 23 0 0.6303 4.73 8. El sistema de evaluación permite al estudiante reflejar los conocimientos y competencias adquiridas. 30 8 4 6 7 5 0 1.0529 2.9 9. El/La profesor/a cumple con el programa de la asignatura. 30 0 2 4 9 15 0 0.7811 4.23 10. El/La profesor/a cumple con los horarios de clase establecidos. 30 0 1 0 14 14 1 0.7085 4.41 11. El/La profesor/a cumple con el sistema de tutorías. 30 1 0 9 11 9 0 0.7641 3.9 12. El/La profesor/a cumple con el sistema de evaluación sobre el que ha informado. 30 0 1 5 6 18 0 0.8168 4.37 13. El/La profesor/a se muestra accesible con los estudiantes. 30 0 2 3 10 15 0 0.7892 4.27 Universidad Complutense de Madrid Resultados del Cuestionario de la Actividad Docente del Profesorado (Teoría) 2013-2014 Titulación: Asignatura: Actividad: Profesor/a: GRADO EN ECONOMÍA MATEMÁTICAS II Clases teóricas y/o prácticas Grupo: Grupo XX XXXXXXXXXXXXXXXXXXXXXXXXXX Número de encuestas : 30 Fecha de Impresión 7-7-2014 Página 4 de 4 Vicerrectorado de Evaluación de la Calidad Pregunta Total 1 2 3 4 5 Ns/Nc Desv.Típica Media 14. El/La profesor/a mantiene un trato correcto con los estudiantes. 30 0 0 0 10 20 0 0.2837 4.67 15. El/La profesor/a despierta mi interés por la asignatura. 30 0 1 9 12 6 2 0.7633 3.82 16. La labor docente de este profesor/a me ha ayudado a adquirir conocimientos y competencias. 30 0 0 10 12 8 0 0.5356 3.93 17. En mi opinión es un buen profesor/a. 30 0 0 3 9 17 1 0.5627 4.48 18. Estoy satisfecho/a con la labor docente del profesor/a. 30 0 1 6 10 13 0 0.7669 4.17 Encuesta DOCENTIA Matem´ aticas III 19 Universidad Complutense de Madrid Resultados del Cuestionario de la Actividad Docente del Profesorado (Teoría) 2013-2014 Titulación: A si g natura: Actividad: Profesor/a: GRADO EN ECONOM Í A MATEMÁTICAS III Clases teóricas y/o prácticas Grupo: Grupo XX XXXXXXXXXXXXXX Número de encuestas : 22 Fecha de Impresión 30-7-2014 Página 3 de 4 Vicerrectorado de Evaluación de la Calidad Pregunta Total 1 2 3 4 5 Ns/Nc Desv.Típica Media 1. El/La profesor/a informa de manera clara sobre los objetivos de la asignatura. 22 2 2 0 1 17 0 1.0799 4.32 2. El/La profesor/a informa de manera clara sobre el sistema de evaluación. 22 1 1 1 6 13 0 1.1892 4.32 3. El/La profesor/a informa de manera clara sobre las actividades docentes: 22 2 0 1 4 15 0 0.9623 4.36 4. La bibliografía recomendada es útil para cursar la asignatura. 22 2 2 13 3 2 0 1.1776 3.05 5. El/La profesor/a organiza y estructura bien las clases. 22 1 3 0 4 14 0 1.0585 4.23 6. El/La profesor/a utiliza el Campus Virtual como herramienta de aprendizaje. 22 1 1 1 10 9 0 1.1264 4.14 7. El/La profesor/a explica de forma clara y comprensible. 22 1 1 0 4 16 0 1.1339 4.5 8. El sistema de evaluación permite al estudiante reflejar los conocimientos y competencias adquiridas. 22 0 3 4 10 5 0 0.8678 3.77 9. El/La profesor/a cumple con el programa de la asignatura. 22 1 0 1 5 15 0 1.0059 4.5 10. El/La profesor/a cumple con los horarios de clase establecidos. 22 0 2 0 3 17 0 0.8635 4.59 11. El/La profesor/a cumple con el sistema de tutorías. 22 0 1 7 3 11 0 0.8859 4.09 12. El/La profesor/a cumple con el sistema de evaluación sobre el que ha informado. 22 0 2 0 6 14 0 0.827 4.45 13. El/La profesor/a se muestra accesible con los estudiantes. 22 1 0 1 6 14 0 0.9903 4.45 Universidad Complutense de Madrid Resultados del Cuestionario de la Actividad Docente del Profesorado (Teoría) 2013-2014 Titulación: A si g natura: Actividad: Profesor/a: GRADO EN ECONOM Í A MATEMÁTICAS III Clases teóricas y/o prácticas Grupo: Grupo XX XXXXXXXXXXXXXX Número de encuestas : 22 Fecha de Impresión 30-7-2014 Página 4 de 4 Vicerrectorado de Evaluación de la Calidad Pregunta Total 1 2 3 4 5 Ns/Nc Desv.Típica Media 14. El/La profesor/a mantiene un trato correcto con los estudiantes. 22 0 0 3 3 16 0 0.6841 4.59 15. El/La profesor/a despierta mi interés por la asignatura. 22 0 1 6 3 12 0 0.9048 4.18 16. La labor docente de este profesor/a me ha ayudado a adquirir conocimientos y competencias. 22 0 0 1 12 9 0 0.6223 4.36 17. En mi opinión es un buen profesor/a. 22 0 2 0 4 16 0 0.8503 4.55 18. Estoy satisfecho/a con la labor docente del profesor/a. 0 0 0 0 0 0 0 0.0 0 