Evaluación cuantitativa de competencias genéricas y específicas en la docencia de economía del sector público

EVALUACIÓN CUANTITATIVA DE COMPETENCIAS GENÉRICAS Y ESPECÍFICAS EN LA DOCENCIA DE ECONOMÍA DEL SECTOR PÚBLICO1 Luis Ángel Hierro Recio David Patiño Rodríguez Pedro Atienza Montero Rosario Gómez-Álvarez Díaz Departamento de Economía e Historia Económica Universidad de Sevilla RESUMEN El presente trabajo tiene como objetivo exponer la experiencia docente desarrollada durante el curso 2009-2010 para evaluar el grado de consecución de las competencias genéricas y específicas establecidas como objetivo en el proyecto docente de las asignatura de Economía del Sector Público de la Licenciatura de Economía. El resultado del proyecto fue la emisión de un informe individual en el que se evaluó el nivel alcanzado por cada alumno en cada una de las competencias propuestas y en el que además se incluía una breve descripción cualitativa de las consecuencias que se deducía de dicha evaluación. Palabras clave: Evaluación docente, competencias genéricas, competencias específicas. 1 El presente proyecto ha sido realizado con financiación obtenida en la Convocatoria competitiva de Proyectos de Innovación y Mejora Docente 2009-2010 del I Plan Propio de Docencia de la Universidad de Sevilla. 2 1. INTRODUCCIÓN El presente trabajo tiene por objeto mostrar el procedimiento desarrollado y aplicado en la asignatura de Economía del Sector Público de la Licenciatura de Economía de la Universidad de Sevilla a lo largo del curso 2009-10 con objeto de definir un sistema de evaluación cuantitativa de competencias generales y específicas que amplíe la información de los resultados obtenidos por el estudiante durante el curso. La introducción del Espacio Europeo de Educación Superior (EEES) tiene entre sus elementos básicos la creación de un sistema de enseñanza superior basado en el desarrollo de competencias. Al amparo de este proceso, durante los últimos años se ha producido un explosión de experiencias docentes que han generado una abundante literatura dedicada al diseño e implantación de currículos de enseñanza-aprendizaje basados en competencias. El trabajo que marcó un punto de referencia fue el denominado Proyecto Tuning (González, J. y Wagenaar, R. (coord.) (2003)), donde se definieron competencias genéricas y específicas de una multiplicidad de titulaciones universitarias. A partir de él la literatura es muy abundante y variada en su temática. Así, en De Miguel Díaz (dir.) (2005) podemos encontrar una explicación en detalle de las modalidades y métodos de enseñanza centradas en el desarrollo de competencias y en García SanPedro y Gairín (2011) una discusión sobre el uso de mapas de competencias como instrumento de implantación de las mismas y de evaluación de la calidad de la enseñanza. También son interesantes trabajos sobre las consecuencias del establecimiento de estos procesos de enseñanza, como el de Cáceres y Salas (2012) donde se analiza el impacto de la incorporación de las competencias genéricas sobre la docencia y concretamente sobre el proceso de enseñanza-aprendizaje y el uso de las TIC, o el de Rodríguez et al. (2011) donde se pretenden detectar las necesidades del profesorado derivadas de la implantación del EEES. En lo que respecta a la evaluación de competencias genéricas ha sido importante el avance en la especificación de indicadores de consecución de las mismas. Así, en Villa y Poblete (2007), con motivo del desarrollo del marco pedagógico de la Universidad de Deusto, se hace una propuesta muy detallada de evaluación de 35 competencias genéricas, agrupándolas en instrumentales, interpersonales y sistémicas. Para cada competencia se establecen tres niveles de dominio y una serie de indicadores específicos para cada nivel de dominio de cada competencia. A su vez, para cada indicador se fijan 5 descriptores ordenados de menor a mayor grado de consecución del indicador. Siguiendo una metodología similar, en Gimeno et al. (2011), a partir de 10 competencias genéricas de la titulación de Psicología, se fijan 4 niveles de dominio y una serie de indicadores para cada competencia. El grado de consecución de las competencias se estima como el porcentaje de alumnos y profesores que consideran que se han conseguido las mismas, a partir de unos cuestionarios que se les presenta. En Arias et al. (2011) se realiza algo similar respecto a la materia “entrevista clínica” de la titulación de Psicología. Se establecen 5 competencias específicas así como indicadores de consecución de cada una y se entrega un cuestionario a los alumnos donde éstos deben evaluar con una puntuación de 0 a 5 (en orden de menor a mayor consecución) el logro de cada uno de los indicadores. De manera similar, en Ruiz Ruiz (2010) los alumnos deben puntuar de 0 a 20 el grado de consecución de 10 competencias, genéricas y específicas, ahora sin establecer indicadores específicos de cada 3 competencia, para una asignatura de la titulación de Pedagogía. Igualmente en Lazo, Sierra y Cabezuelo (2009), respecto al Proyecto final de las titulaciones de Comunicación, a los alumnos se les pasó un cuestionario donde éstos evalúan de 0 a 10 el grado de logro de las competencias específicas establecidas2. Otro aspecto importante de estudio ha sido el referido a la metodología docente y evaluadora para el desarrollo de las competencias genéricas. Entre la literatura sobre esta cuestión son destacables el trabajo de Cano (2008) donde se especifican instrumentos de evaluación más adecuados según la naturaleza de la competencia y el reciente trabajo de Villa y Poblete (2011) donde se relatan distintos métodos de enseñanza-aprendizaje e instrumentos de evaluación y su adecuación al desarrollo y evaluación de distintas competencias. También es interesante la literatura sobre el papel en la evaluación de competencias de algunos instrumentos concretos como el portafolio, tanto tradicional (Morales (2010), Gavari (2009), Martínez Lirola (2008), Barragán (2005) o Colás, Jiménez y Villaciervos (2005)) como electrónico (Barragán et al. (2009), la simulación (Lleixá, Robert y Batalla, 2008) o los sistemas de autoevaluación y evaluación entre iguales (Ibarra et al., 2010). Pues bien, dentro de este marco nuestro trabajo tienen como objetivo unir ambos tipos de estudios, estableciendo una relación entre competencias y metodología docente pero a la par generando un sistema de evaluación que permita no tener que recurrir al sistema de encuesta para valorar las competencias asumidas. Nuestro trabajo establece una conexión numérica entre las técnicas docentes y de evaluación con las competencias, obteniendo una calificación numérica del grado de consecución de cada competencia por parte de cada alumno, de forma que además de la tradicional calificación numérica única de la asignatura podemos ofrecer al alumno, en forma de un informe individualizado de evaluación, una calificación de cada competencia. En este documento describimos el procedimiento diseñado como sigue: en el siguiente apartado describimos la relación entre las competencias genéricas y específicas y las técnicas docentes y de evaluación, en el tercero explicamos el procedimiento de evaluación de cada competencia y presentamos un modelo de informe individualizado de evaluación y, por último, incorporamos un breve apartado de conclusiones. 2. LAS COMPETENCIAS Y SU RELACIÓN CON LA METODOLOGÍA DOCENTE Para nuestro proyecto partimos del objetivo general de la reforma de planes de estudio consistente en modificar el sistema tradicional de docencia, basado casi en exclusiva en clases magistrales, para adoptar una metodología orientada a un aprendizaje dirigido al desarrollo de múltiples competencias y de potencialidades. 2 Ver también Alsina (coord.) (2011). En el área de las ciencias sociales, es muy destacable Agència per a la Qualitat del Sistema Universitari de Catalunya (2009). 4 El cambio de modelo docente se refleja en la intención de conseguir que en la asignatura de Economía del Sector Público los estudiantes desarrollen las competencias que a continuación se relacionan3: o Competencias transversales genéricas  Solidez en los conocimientos básicos de la profesión (Se entrena de forma intensa)  Habilidades para recuperar y analizar información desde diferentes fuentes (Se entrena de forma moderada)  Trabajo en equipo (Se entrena de forma moderada)  Capacidad de organizar y planificar (Se entrena de forma moderada)  Resolución de problemas (Se entrena de forma moderada)  Capacidad de análisis y síntesis (Se entrena de forma intensa)  Toma de decisiones (Se entrena de forma intensa)  Capacidad para aplicar la teoría a la práctica (Se entrena de forma intensa)  Capacidad de crítica y autocrítica (Se entrena de forma intensa) o Competencias específicas de Economía Pública:  Conocer los efectos de la intervención del sector público.  Conocer y saber aplicar los conocimientos sobre presupuesto público, empresas públicas y federalismo fiscal.  Conocer los tributos básicos y sistema fiscal y su influencia en el entorno económico. La evaluación de las competencias, que es nuestro principal objetivo, al igual que el desarrollo de las mismas, tal como se ha visto en el repaso bibliográfico realizado más arriba, está íntimamente ligada a las metodologías docentes empleadas que a su vez necesitan ser evaluables para poder medir el desarrollo de cada competencia4. Y no sólo eso, nuestra experiencia nos ha mostrado que la aplicación de técnicas con dificultades de evaluación genera desincentivos en los alumnos y profesores para el desarrollo de nuevas actividades docentes y para el seguimiento de las mismas. Es decir, las metodología cumplen su función y son viables si es posible medir la consecución de los objetivos propuestos. Los trabajos citados en la introducción ponen de manifiesto que hay una laguna en lo que concierne a la relación de las metodologías docentes con la evaluación del desarrollo de las competencias y esa es la que pretendemos rellenar con el sistema que aplicamos en nuestro proyecto de la forma que a continuación se describe para cada metodología docente. 3 Entre parentesis hemos incluido el nivel que las distintas metodologías docentes deben conseguir en las competencias genéricas. 4 Un análisis pormenorizado de tipos e instrumentos de evaluación se puede encontrar en Cortés de las Heras (2009). 5 2.1 Lección magistral. Las lecciones magistrales tienen como objetivo básico desarrollar las competencias específicas de adquisición de conocimientos sobre la materia y las evaluamos por dos procedimientos: el examen escrito y la participación activa en clase. El examen de conocimientos teóricos constituye la parte cuantitativamente más importante de la calificación de la asignatura. El peso de esta prueba en la calificación final es de hasta 6 puntos sobre 10. Para superar el examen escrito es necesario obtener un mínimo de 3 puntos y dado que la asignatura es anual, se posibilita superarlo en exámenes parciales o en el final. Sin embargo, la prueba ha sido modificada respecto a la que se venía realizando para adaptarse a la nueva metodología docente y se corresponda con la evaluación del grupo de competencias a desarrollar a través de las clases magistrales. La estructura del examen consta de 30 preguntas cortas a responder en un espacio tasado correspondiente a unas 8 ó 10 líneas. Se organiza en 10 bloques de 3 preguntas cada uno de las que los alumnos deben responder a 2, es decir, únicamente se responde el 66,7% de las preguntas. Las 20 preguntas seleccionadas por el estudiante tienen igual valor en la nota final del examen y también se limita el tiempo para responder. Para que los estudiantes aprueben la asignatura por parciales habrán de obtener una calificación mínima en ambos de 1,5 sobre 3 y la calificación final por este concepto vendrá determinada por la suma de los dos exámenes parciales aprobados5. El formato del examen evita premiar la suerte pues el alumno ha tenido que estudiar, en general, la mayor parte del contenido de la materia examinada y no puede “apostar” a preparar algunas partes dejando sin preparar otras. Por otro lado y frente a otras modalidades de exámenes como los test, ésta permite analizar aspectos como la expresión literaria, examinar cuestiones que precisan el uso de análisis gráfico, analítico, … El examen además se diseña de modo que se evalúen diferentes competencias pesando la importancia que se les quiere dar a las mismas. En concreto, el examen se ha diseñado para evaluar al estudiante sobre cuestiones teórico-prácticas del temario como las siguientes: Conceptos y caracterización, con una ponderación del 50% Consecuencias económicas, con una ponderación del 26,7% Ejemplos y evaluación de alternativas y de resultados, con una ponderación del 23,3% Las ponderaciones indican el peso que tienen en el examen las diferentes tipologías de cuestiones que a su vez están ligadas a las competencias, como muestra la Tabla 1. De este modo, la calificación del examen deja de ser sólo un número del 0 al 10 que mide el grado de adquisición de conocimientos memorísticos por parte del 5 El sistema docente residual para los que no cumplen el requisito del máximo de 3 faltas de asistencia, es evaluado exclusivamente a través del mismo examen. La diferencia está en que estos estudiantes deben responder a las 30 preguntas. Éste además constituye el principal incentivo para motivar la asistencia a clase. 6 alumno y posibilita determinar el grado en el que se ha conseguido cada una de las diferentes competencias implicadas. Tabla 1: Relación de competencias afectadas por el examen escrito. Fuente: Elaboración propia. Por su parte, la participación activa en clase aporta hasta 1 punto en la calificación final y para obtener la puntuación correspondiente el alumno debe responder a las cuestiones planteadas ordinariamente en clase por el profesor así como participar activamente en los debates no organizados que se planteen de manera ordinaria en las clases. En general, el seguimiento del estudiante se realiza en términos de la resolución de cuestiones que le haga el profesor, como control del trabajo continuo por parte del alumno, exigiendo una resolución coherente y razonada de las cuestiones que realice el profesor a lo largo de la clase y que versarán sobre la cuestión estudiada en la sesión. Se cuestiona también la promoción y participación en debates formales organizados en el desarrollo de las clases o informales en el ordinario devenir del desarrollo de las clases. Por último, se evalúa el análisis de ejemplos planteados. Cada 7 una de estas características evaluables revierten en un grupo de competencias tal como se indica en la Tabla 2. Tabla 2: Relación de competencias afectadas por la participación activa en clase. Fuente: Elaboración propia 2.2 Seminarios y exposiciones. Esta actividad proporciona un máximo de 1 punto en la calificación final de la asignatura y se desarrolla en varias sesiones a lo largo del curso. Precisa además la elaboración de un breve documento que se expone en el desarrollo de las mismas. En esta actividad los estudiantes, en grupos de 4 como máximo, deben buscar información sobre las cuestiones relacionadas con el sistema fiscal español y guiados por el profesor escribir un documento breve que debe ser expuesto al resto de los compañeros y al profesor en una breve exposición seguida de diálogo. En la misma el profesor plantea 8 cuestiones relativas al tema expuesto y se inicia un breve diálogo en el que interviene el resto de estudiantes. En esta actividad se evalúan aspectos como la profundidad del análisis realizado en el documento, la bibliografía utilizada en el mismo, la calidad de la exposición del trabajo y las respuestas a las cuestiones planteadas por el profesor tras la exposición. Por otra parte, esta actividad afecta al desarrollo de las competencias tal como muestra la Tabla 3. Tabla 3: Relación de competencias afectadas por seminarios y exposiciones (trabajo). Fuente: Elaboración propia. 2.3 Comentarios de artículos científicos. Esta actividad aporta un máximo de 2 puntos y consiste en la realización de comentarios razonados sobre artículos científicos seleccionados por los profesores de la asignatura y propuestos a los alumnos. Estos artículos versan sobre contenidos concretos de la materia a estudiar considerando los profesores que es de interés profundizar en sus conocimientos. Además, familiarizan al estudiante con la literatura científica y profesional en general. Por último, fuerzan a realizar un ejercicio de confección de un documento que con la dirección del profesorado aspira a forzar a realizar ejercicios de redacción y síntesis. El conjunto de artículos seleccionados se 9 circunscribe a papers de especial relevancia en estos temas y su idioma es el castellano para trabajos individuales e inglés para grupos de 2 alumnos en la asignatura del curso más avanzado. En todos los casos los documentos elaborados por los alumnos deben ser en castellano. En la Tabla 4 se expone la relación de esta actividad docente con la consecución de las competencias. Tabla 4: Relación de competencias afectadas por el comentario de artículos científicos. Fuente: Elaboración propia. 3.- LA EVALUACIÓN DE LAS COMPETENCIAS Y EL INFORME DEL ESTUDIANTE. Una vez diseñado el conjunto de actividades docentes y procedimientos de evaluación y establecida la relación con cada una de las competencias (Tablas 1 al 4) procedemos a establecer las características o ítems que evaluamos en cada tipo de actividad docente y el peso que le atribuimos en la calificación final, tal como aparece en la Tabla 5. 16 REFERENCIAS. Agència per a la Qualitat del Sistema Universitari de Catalunya (2009): “Guía para la evaluación de competencias en el área de ciencias sociales”, Barcelona. Disponible en Internet: www.aqu.cat. Alsina, J. (coord..) (2011): Evaluación por competencias en la Universidad: las competencias transversales, ICE y Ediciones Octaedro, S.L., Barcelona. Disponible en internet: www.octaedro.com/downloadf.asp?m=16518.pdf Arias, E. et al. (2011): “Plantilla de observación y evaluación de competencias (POAC): mejora de la calidad docente en la evaluación psicológica”, Aloma. Revista de Psicologia, Ciències de l'Educació i de l'Esport, 29, pp. 189-206. Disponible en Internet: http://www.raco.cat/index.php/Aloma/article/view/248389/332513 Barragán, R., García, R. y Buzón, O. (2009): “E-Portafolios en Procesos Blended-Learning: Innovaciones de la Evaluación en los Créditos Europeos”, RED. Revista de Educación a Distancia. Disponible en Internet: http://revistas.um.es/red/article/viewFile/69651/67131 Barragán Sánchez, R. (2005): “El Portafolio, metodología de evaluación y aprendizaje de cara al nuevo Espacio Europeo de Educación Superior. Una experiencia práctica en la Universidad de Sevilla”, Revista Latinoamericana de Tecnología Educativa, 4 (1), pp. 121-140. Disponible en Internet: http://campusvirtual.unex.es/cala/editio/index.php?journal=relatec&page=article&op=vi ew&path[]=189&path[]=179 Cáceres Lorenzo, M. T. y Salas Pascual, M. (2012): “Valoración del profesorado sobre las competencias genéricas: Su efecto en la docencia”, Revista Iberoamericana de Psicología y Salud, 3(2), pp. 195-210. Disponible en Internet: http://www.usc.es/suips/Revista/caceres.pdf Cano García, M. E. (2008): “La evaluación por competencias en la educación superior”, Profesorado. Revista de Currículum y Formación del Profesorado, 12 (3). Disponible en Internet: http://www.ugr.es/~recfpro/rev123COL1.pdf Colás, P., Jiménez, R. y Villaciervos, P. (2005): “Portafolios y desarrollo de competencias profesionales en el marco europeo de la educación superior”, Revista de Ciencias de la Educación, 204, pp. 519-538. Cortés de las Heras, J. (2009): “Tipos de evaluación en educación superior”. Disponible en Internet: http://www.cndcue.com/eventos/III_Jornadas_Enfermeria/Tipos_evaluacion.pdf De Miguel Díaz, M. (dir.) (2005): Modalidades de enseñanza centradas en el desarrollo de competencias. Orientaciones para promover el cambio metodológico en el marco del EEES, Ediciones de la Universidad de Oviedo, Oviedo. Disponible en Internet: http://www.ulpgc.es/hege/almacen/download/42/42376/modalidades_ensenanza_compe tencias_mario_miguel2_documento.pdf García SanPedro, M. J. y Gairín Sallán, J. (2011): “Los Mapas de Competencias: Una Herramienta para mejorar la Calidad de la Formación Universitaria”, Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación (REICE), 17 9 (1), pp. 84-102. Disponible en Internet: http://www.rinace.net/reice/numeros/arts/vol9num1/art5.pdf Gavari Starkie, E. (2009): “El papel del docente y del alumno en la elaboración de portafolios”, Revista de Educación, 349, pp. 451-462. Disponible en Internet: http://www.revistaeducacion.mec.es/re349/re349_21.pdf Gimeno, M., Vendrell, R., Isanta, C. y Arias, E. (2011): “Como formar y evaluar por competencias por parte de los tutores de los seminarios de Grado”, Aloma. Revista de Psicologia, Ciències de l'Educació i de l'Esport, 29, pp. 97-111. Disponible en Internet: http://www.raco.cat/index.php/Aloma/article/view/248384/332508 González, J. y Wagenaar, R. (coord.) (2003): Tuning Educational Structures in Europe. Informe Final. Fase 1,Universidad de Deusto, Bilbao. Ibarra Sáiz, M. S. et al. (2010): “EvalCOMIX en Moodle: Un medio para favorecer la participación de los estudiantes en la e-Evaluación”, RED. Revista de Educación a Distancia, 24. Disponible en Internet: http://www.um.es/ead/red/24/Ibarra_Cabeza.pdf Lazo, C. M., Sierra Sánchez, J. y Cabezuelo Lorenzo, F. (2009): “La evaluación de las competencias alcanzadas por los alumnos en el proyecto final de las titulaciones de Comunicación”, @tic. Revista d'Innovació Educativa, 2, pp. 48-55. Disponible en Internet: http://ojs.uv.es/index.php/attic/article/view/82/120 Lleixà Arribas, T., Robert Ferrer, M. y Batalla Flores, A. (2008): “La evaluación de competencias en la formación del profesorado de educación física. El caso del Blaagaard Seminarium de Copenhague”, Fuentes. Revista de la Facultad de Ciencias de la Educación, 8, pp. 116-124. Disponible en Internet: http://www.revistafuentes.es/gestor/apartados_revista/pdf/numeros_anteriores/ncbbkms o.pdf Martínez Lirola, M. (2008): “El uso del portfolio como herramienta metodológica y evaluadora en el proceso de convergencia europea”, Profesorado. Revista de Currículum y Formación del Profesorado, 12 (2). Disponible en Internet: http://www.ugr.es/~recfpro/rev122COL4.pdf Morales Calvo, S. (2010): “El Practicum en educación social: el portafolio como instrumento de seguimiento y valuación del aprendizaje de los alumnos”, Docencia e Investigación, 20, pp. 33-58. Disponible en Internet: http://www.uclm.es/varios/revistas/docenciaeinvestigacion/pdf/numero10/2.pdf Rodríguez, J., Álvarez, V., Gil, J. y Romero, S. (2011): “Necesidades del profesorado de la Universidad de Sevilla respecto a la enseñanza que requiere el EEES”, C&E. Cultura y Educación, 23(3), pp. 323-340. Ruiz Ruiz, J. M. (2010): “Evaluación del diseño de una asignatura por competencias, dentro del EEES, en la carrera de Pedagogía: Estudio de un caso real”, Revista de Educación, 351, pp. 435-460. Disponible en Internet: http://www.revistaeducacion.educacion.es/re351/re351_18.pdf Villa Sánchez, A. y Poblete Ruiz, M. (2007): Aprendizaje basado en competencias : una propuesta para la evaluación de las competencias genéricas, Universidad de Deusto, Bilbao. 18 Villa Sánchez, A. y Poblete Ruiz, M. (2011): “Evaluación de competencias genéricas: principios, oportunidades y limitaciones”, Bordón, 63(1), pp.147-170. Disponible en Internet: http://dialnet.unirioja.es/servlet/articulo?codigo=3601062