Evaluación por competencias en Educación Superior. Uso y diseño de rúbricas por los docentes universitarios

Investigar con y para la sociedad 1 EVALUACIÓN POR COMPETENCIAS EN EDUCACIÓN SUPERIOR. USO Y DISEÑO DE RÚBRICAS POR LOS DOCENTES UNIVERSITARIOS Autores: Velasco-Martínez, Leticia y Tójar-Hurtado, Juan-Carlos Institución: Universidad de Málaga Ciudad, País: Málaga, España Contacto electrónico: [email protected] Resumen El aprendizaje basado en competencias debe suponer una reconfiguración de la Educación Superior que dé respuesta a las actuales demandas formativas. El uso de la rúbrica en la Universidad se considera un instrumento de innovación docente que favorece la evaluación por competencias, tanto para estudiantes como para docentes. Desde su aparición en el ámbito universitario, su aplicación en los sistemas de evaluación ha ido creciendo paulatinamente. Sin embargo, aún no existe un cuerpo sólido de conocimiento que aporte evidencias del uso que hacen los docentes de la rúbrica como recurso de evaluación. En este trabajo se analizan rúbricas de 150 docentes de 5 universidades españolas. Las rúbricas utilizadas representan una gran variedad de asignaturas y centros universitarios de diversas ramas de conocimiento. El análisis comparado permite conocer cómo están siendo empleadas las rúbricas para evaluar, o no, competencias. En este estudio se observan los tipos de resultados de aprendizaje que son evaluados con rúbricas, así como los aspectos técnicos y pedagógicos que se tienen en cuenta en su diseño. Los resultados y conclusiones permiten revelar necesidades formativas del profesorado que desea evaluar por competencias. Abstract Competency-based learning has achieved a reconfiguration of higher education to meet the current demands of training. The use of rubric at universities is considered an innovative teaching tool that favors a competency evaluation for both students and professors. Since its emergence in higher education, its application to the evaluation system in university classrooms has grown progressively. However, there’s still not a solid field of knowledge to provide evidence of the rubric use made by teachers as skills assessment tool. In this paper, rubrics of 150 professors from 5 Spanish universities are analyzed. Rubrics used by professors represent a wide variety of subjects and university centers from all branches of knowledge. The comparative analysis lets us know how professors are using rubrics to assess or not competencies. In this study, we can observe the types of learning outcomes which are evaluated with rubrics, as well as technical and pedagogical aspects that professors include in its design. Results and conclusions let us detect training needs of professors to use rubrics to assess competencies. AIDIPE 2015 2 Palabras clave Competencia, formación basada en competencias, educación superior, métodos de evaluación, formación del profesorado. Keywords Competence, competency based education, higher education, evaluation methods, teacher education. Introducción El aprendizaje basado en competencias en España ha supuesto una reconfiguración de la Educación Superior para dar respuesta a las actuales demandas de formación. En este sentido, instituciones y distintas normativas universitarias promueven un “alineamiento constructivo” de los elementos claves del currículo (Biggs, 2005), otorgándole a las competencias el rol de referente curricular que da coherencia al diseño de las nuevas titulaciones. Sin embargo, basta revisar la mayoría de las programaciones docentes para detectar que no se ha resuelto su inclusión en el currículo (Mateo y Vlachopoulos, 2013) o que, en la mayoría de las ocasiones, solo supone cumplir con el trámite de enunciar un conjunto de competencias (Escudero, 2008), sin ningún planteamiento estratégico-metodológico de cómo integrarlas en las distintas asignaturas. Por otro lado, las propuestas educativas realizadas por el Espacio Europeo de Educación Superior (EEES), tales como el uso de las metodologías activas, la orientación de la docencia hacia el aprendizaje -autorregulado y autónomodel alumnado, la diversificación de las actividades de aprendizaje (simulaciones, portafolios, foros, etc.), junto con la consideración multidimensional de las competencias, exigen nuevos instrumentos de evaluación más dialógicos y comprensivos que las tradicionales pruebas de lápiz y papel (Ibarrra y Rodríguez-Gómez, 2010; Padilla y Gil Flores, 2008). En el contexto universitario, la rúbrica de evaluación es considerada un instrumento de innovación para obtener evidencias de la adquisición de competencias (Baryla, Shelley y Trainor, 2012; Cebrián, 2014; Panadero y Jonsson, 2013; Reddy y Andradre, 2010; Stevens y Levi, 2005; Valverde y Ciudad, 2014). Su potencialidad reside en la capacidad de emitir valoraciones ajustadas sobre la calidad de los trabajos en un amplio rango de materias o tareas (Blanco, 2008), asegurando a cada alumno que va a ser evaluado con los mismos criterios que sus compañeros, superando la arbitrariedad, la inconsistencia o la subjetividad de la evaluación y, por tanto, disminuyendo el margen de error en la calificación (Raposo y Sarceda, 2010). Asimismo, las rúbricas favorecen en el estudiante la autorregulación de su aprendizaje, permitiéndole reflexionar sobre el feedback proporcionado, planificar sus tareas, comprobar sus progresos y revisar su trabajo antes de la presentación, repercutiendo en una mejora del Investigar con y para la sociedad 3 rendimiento y reducción de los niveles de ansiedad (Eshun, y Osei-Poku, 2013; Panadero y Jonsson, 2013). La evaluación así entendida va más allá de la constatación de los resultados y permite al alumnado identificar sus fortalezas y debilidades. De este modo, la implicación activa del alumnado en los procesos de autorregulación y desarrollo de su propio aprendizaje ha provocado transformaciones importantes en la manera de planificar, desarrollar y evaluar las distintas situaciones de aprendizaje que facilitan el desarrollo de las competencias generales y específicas consideradas en las nuevas titulaciones. Por ejemplo, en los nuevos modelos de desarrollo competencial, el currículo no se estructura por unidades temáticas sino por actividades de aprendizaje (Mateo, 2006). En este sentido, Cruz y Abreu (2014, pp. 41-42) advierten que las rúbrica tienen un mayor impacto en los procesos formativos del alumnado cuando se diseñan situaciones de aprendizaje que implica la selección de tareas o actividades relevantes y significativas que movilicen e integren diversos conocimientos y habilidades que se desarrollan en los contextos reales de práctica profesional. En consecuencia, según la nueva estructura curricular basada en el desarrollo de actividades competenciales cabe preguntarse: ¿qué actividades de aprendizaje se evalúan con rúbricas?, ¿las habituales tareas asimilativas y reproductivas, propias del enfoque tradicional; o las tareas más centradas en la simulación, el trabajo en equipo, etc.? Para dar respuesta a estos interrogantes se tomó como referencia la clasificación de actividades propuesta por Marcelo, Yot, Mayor, Sánchez, Murillo, Rodríguez-López y Pardo (2014): asimilativas, gestión de información, aplicación, comunicativas, productivas, experienciales y evaluativas. Por otro lado, hasta ahora los objetivos educativos se han centrado en el enfoque clásico de adquisición de las competencias específicas propias de cada disciplina, por lo que la definición de éstas, su desarrollo y evaluación no presentaban dificultades; sin embargo no ocurre lo mismo respecto a las competencias genéricas de carácter transversal (Martín, Fernando, González, Herrero, Mozo y Quintano, 2008, Corominas y Sacristán, 2011, 63). Según Villa y Poblete (2011, 151), “la dificultad en la evaluación de las competencias puede ser muy distinta en función de las mismas competencias, ya que algunas están más «saturadas» de conocimientos, habilidades, valores que otras”. En este sentido, atendiendo a la clasificación de competencia genérica del Proyecto Tuning (Gónzalez y Wagennar, 2003), nos cuestionamos ¿qué tipo de competencias genéricas son más evaluadas con rúbricas? En relación al tipo de rúbrica, Blanco (2008, p. 176) señala que “la selección de un tipo u otro de rúbrica depende fundamentalmente del uso que se quiera dar a los resultados, es decir, si el énfasis se pone más en los aspectos formativos o sumativos. Otros factores a considerar son: el tiempo requerido, la naturaleza de la tarea en sí misma o los criterios específicos de desempeño que están siendo observados”. Desde estas premisas se analiza: ¿qué tipo de rubricas emplean los docentes: analítica (formativa) u holística (sumativa)? ¿Conocen los docentes los requisitos técnicos y pedagógicos esenciales para la construcción de rúbricas eficaces? AIDIPE 2015 4 Estas y otras cuestiones representan el cambio de paradigma educativo respecto a los nuevos enfoques e instrumentos de evaluación de competencias. Con este marco de referencia se establece una investigación dirigida a conocer los propósitos que persiguen los docentes cuando diseñan una rúbrica de evaluación; así como analizar los tipos de rúbricas que utilizan para apoyar y orientar los procesos de enseñanza y aprendizaje. Objetivos El conocimiento de las prácticas evaluativas de los docentes mediante el análisis del contenido de las rúbricas permitirá identificar en qué medida el profesorado está evaluando por competencias o si, por el contrario, continua anclado en la evaluación de aspectos disciplinares o de dominio de un contenido concreto, más centrados en principios psicométricos y conocimientos declarativos. En este sentido, se plantean los siguientes objetivos. General: Describir, analizar y valorar las rúbricas que utilizan los docentes para conocer el grado de consecución de las competencias y contenidos disciplinares. Específicos: − Conocer las finalidades de los docentes en el diseño de rúbricas de evaluación, explorando el tipo de trabajos que son objeto de evaluación, las actividades que predominan y las competencias genéricas que se evalúan con rúbricas. − Identificar las ramas de conocimiento más vinculadas con la utilización de rúbricas. − Determinar los criterios técnicos y pedagógicos que consideran los docentes en el diseño de las rúbricas. Método Participantes Se analizaron 150 rúbricas procedentes de distintas universidades públicas españolas. Tabla 1. Rúbricas pertenecientes a las comunidades autónomas participantes Comunidades f % Cataluña 14 9 Aragón 21 14 Galicia 30 20 Extremadura 37 25 Castilla y León 48 32 Total 150 100 Investigar con y para la sociedad 5 El muestreo fue intencional, teniendo presente el acceso público a las mismas y el cumplimiento de unos requisitos mínimos: datos de identificación y elementos básicos que las configuran según la literatura especializada. La distribución estadística por ramas de conocimiento muestra que el mayor porcentaje de rúbricas corresponde a las ramas de Ciencias Sociales y Jurídicas (34%) e Ingeniería y Arquitectura (33.3%). El porcentaje más bajo pertenece a Artes y Humanidades (4%). Este resultado podría ser tomado como un indicador de uso de rúbricas en cada rama de conocimiento Sin embargo, como no se empleó una muestra aleatoria, este resultado debe tomarse con cautela. Tabla 2. Rúbricas distribuidas por ramas de conocimiento Ramas de conocimiento f % Ciencias Sociales y Jurídicas 51 34,0 Ingeniería y Arquitectura 50 33,3 Ciencias de la Salud 24 16,0 Ciencias 19 12,7 Artes y Humanidades 6 4,0 Total 150 100 Procedimiento, técnicas de recogida de información y análisis La presente investigación combina metodología cuantitativa y cualitativa. La perspectiva cuantitativa se enmarca dentro de los estudios ex post-facto de tipo correlacional, y la perspectiva cualitativa se estableció mediante procedimientos de categorización inductiva-deductiva de las unidades de análisis (las rúbricas). Además de este proceso, se ha analizado cualitativamente la aplicación de algunas categorías sobre determinados tipos de rúbricas destacando algunos resultados relevantes desde el punto de vista cualitativo. Teniendo en cuenta la naturaleza de los datos, gran parte del análisis cualitativo de los mismos se incluye en este mismo apartado. De este modo, el sistema de categorías se elaboró a través de un análisis cualitativo del contenido de las rúbricas (Tójar, 2006): a) Reducción de la información. Se realizó antes de la recogida de datos con el fin de delimitar el marco conceptual del estudio, los propósitos preliminares, las primeras hipótesis de trabajo y los interrogantes implícitos en los fundamentos teóricos. Esta fase se compone de una serie de procesos que también interactúan entre sí: AIDIPE 2015 6 − La separación en unidades consistió en el análisis de información (rúbricas) en función de distintos criterios temáticos, surgidos de las propuestas de autores que explicaban los usos y aspectos técnicos y/o pedagógicos de este instrumento. − La identificación y clasificación de unidades se realizó mediante un modelo mixto de categorización (Tójar, 2006, p. 476) para elaborar categorías predefinidas (deductivas), derivadas de la literatura especializada sobre rúbricas; y categorías ad hoc (inductivas) construidas a partir de la observación de las mismas. − La síntesis y el agrupamiento de las unidades se produjo desde el propio proceso de categorización mixta (deductivo-inductivo), elaborándose un sistema de categorías para la recogida del contenido de las rúbricas:  Macrocategoría 1. Propósitos de evaluación con rúbricas.  Macrocategoría 2. Ramas de conocimiento.  Macrocategoría 3. Metodología.  Macrocategoría 4. Características técnicas y pedagógicas. b) La disposición y trasformación de los datos. En esta etapa se especificó y organizó la información en matrices descriptivas. c) La extracción y verificación de conclusiones permitió identificar regularidades y patrones, construyéndose finalmente, determinadas generalizaciones, tipologías y modelos. A partir de la elaboración del sistema de categorías, se analizó el contenido de las rúbricas y se clasificaron los datos obtenidos para hacer un tratamiento cualitativo y cuantitativo de los mismos. Resultados A continuación se presentan los resultados cuantitativos del estudio. A través del análisis univariante (categoría a categoría) y bivariante (relaciones entre categorías) se elaboró el perfil de la rúbrica que emplean los docentes en la evaluación, así como los aspectos técnicos y pedagógicos que tienen presentes en su diseño. Investigar con y para la sociedad 7 Tabla 3. Perfiles de las rúbricas1 VARIABLES PERFIL RÚBRICA Más evaluados % Menos evaluados % PROPÓSITOS Resultados de aprendizaje Documentos escritos 36 RA/G 1 2,7 IRI 2 2,7 Actividades Productivas 86,7 Experienciales 11,3 Competencia Genérica Instrumental Habilidades Básicas Informáticas (ordenador) 59,3 Conocimiento de Segunda Lengua 6,7 Competencia Genérica Interpersonal Trabajo en equipo 84,7 Comunicarse con expertos de otras áreas 0 Apreciar la diversidad y multiculturalidad 0 Trabajar en un contexto internacional 0 Competencia Genérica Sistemática Capacidad para aprender 81,3 Conocer otras culturas y costumbres 2 Tipo de descriptor de la competencia Conocimientos y Habilidades/Destrezas 60,7 Conocimientos y Actitudes/Valores 0 Tipo de conocimientos Vinculados a una materia 82 Vinculados al mundo profesional 32,7 Tipo de habilidades Intelectuales 88,7 Interpersonales 21,3 Tipo de actitudes y valores Compromiso personal 26,7 Desarrollo profesional 15,3 RAMAS Rama de conocimiento CC. Sociales y Jurídicas 34 Artes y Humanidades 4 METDOLOGÍA Métodos de enseñanza Expositivo/Lección Magistral 36,7 ABP 3 1,3 Portafolio 1,3 TIPOS DE RÚBRICAS Transferibilidad de la rúbrica 4 Si 87 No 63 Redacción del criterio evaluador Comprensible 5 70 Complejo 6 6 Impreciso 7 24 1 Recursos Audiovisuales o Gráficos. 2 Instrumentos de Recogida de Información. Contribuyen a desarrollar la capacidad de recopilar, analizar, organizar e integrar datos desde varias fuentes de información. 3 Aprendizaje basado en problemas. 4 La rúbrica posee contenidos que pueden usare para evaluar competencias y/o conocimientos de otras asignaturas (estructuras de informes escritos, competencias como el liderazgo, el trabajo colaborativo, etc.). 5 El criterio es definido de forma clara, sencilla, concisa, observable y ejecutable. 6 el criterio es definido de forma muy específica, reiterativa o con un vocabulario demasiado técnico 7 el criterio es definido vagamente, de forma muy genérica, simplista y ambigua. 1 El porcentaje (%) no suma 100 debido a la no exclusividad mutua. AIDIPE 2015 8 Como se muestra en la tabla 4, por un lado, los documentos escritos (36%) son los resultados de aprendizaje más evaluados con rúbricas. Por otro lado, son menos evaluadas la capacidad de construir instrumentos de recogida de datos (p.ej. hoja de observación) (2.7%) y la habilidad de diseñar recursos de carácter audiovisual o gráfico (p.ej. bookquest) (2.7%). Tabla 4. Porcentajes y frecuencias de los resultados de aprendizaje Resultados de aprendizaje f % Documentos escritos 54 36 Documento escrito y Presentación oral 22 14.7 Presentaciones orales 19 12.7 Situaciones de simulación 15 10 Herramientas informáticas 11 7.3 Problemas (matemático o de cálculo) 11 7.3 Dinámicas de trabajo 10 6.7 Recursos audiovisuales o gráficos 4 2.7 Instrumentos de recogida de datos 4 2.7 Total 150 100 Estos resultados señalan que los docentes pueden estar utilizando las rúbricas para evaluar la adquisición de habilidades y capacidades más propias de contenidos declarativos, por ejemplo: redactar un informe o un ensayo. En este sentido, capacidades cognitivas como, por ejemplo, la interpretación de imágenes complejas, son relegadas a un segundo plano, a favor de una concepción de la enseñanza que aún considera que el conocimiento puede encerrarse en un libro, un trabajo, una web, etc., sin cuestionarse la naturaleza inabarcable y cambiante del conocimiento (Bartolomé y Grané, 2013). Categoría 2. Actividades Como se observa en la tabla 5, las actividades de carácter productivo son las más evaluadas (28%) en relación a las de carácter experiencial (3,7%), destacándose una posible ausencia de los principios de aplicabilidad y transferibilidad promovidos por el EEES. Por otro lado, la creciente presencia de nuevas tecnologías está provocando que los docentes utilicen rúbricas para evaluar una variedad de tareas relacionadas con la gestión de la información (24,9%). Investigar con y para la sociedad 9 Tabla 5. Porcentajes y frecuencias de las actividades2 Actividades de aprendizaje f % Productivas 130 28 Gestión de la información 116 24,9 Comunicativas 106 22,8 Aplicación 46 9,9 Evaluativas 31 6,7 Asimilativas 19 4,1 Experienciales 17 3,7 Total 465 100 . Categoría 3. Competencias Genéricas Como se muestra en la tabla 6, las rúbricas que contienen de forma conjunta la competencia instrumental, interpersonal y sistemática son las más evaluadas (48,7%), seguidas de las rúbricas que evalúan de forma exclusiva la competencia sistémica (30%) y, finalmente, las rúbricas que evalúan la competencia instrumental en combinación con la interpersonal (4,7%). Por otro lado, se aprecian rúbricas que no evalúan ninguna competencia genérica (16,7%). Tabla 6. Porcentajes y frecuencias de las competencias genéricas. Competencias Genéricas f % Instrumentales + interpersonales + sistemáticas 73 48,7 Sistemáticas 45 30 No se evalúan competencias 25 16,7 Instrumentales+ interpersonales 7 4,7 Instrumentales 0 0 Interpersonales 0 0 Instrumentales + sistemáticas 0 0 Interpersonales + sistemáticas 0 0 Total 150 100 2 El porcentaje (%) no suma 100 debido a la no exclusividad mutua.