La utilizacion de la rúbrica en el diseño de materiales para la e-formación

EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 1 / 15 LA UTILIZACIÓN DE LA RÚBRICA EN EL DISEÑO DE MATERIALES PARA LA E-FORMACIÓN THE USE OF THE RUBRIC IN THE DESIGN OF MATERIALS FOR E-LEARNING Julio Cabero Almenara; [email protected] Margarita Rodríguez-Gallego; marg[email protected] Universidad de Sevilla (España) RESUMEN En esta investigación, 35 profesores de distintas Universidades españolas, han creado un entorno formativo telemático, destinado a la formación del profesorado universitario en la adquisición de diferentes capacidades y competencias para la utilización e inserción de las TIC en su actividad profesional. Se han generado bloques de contenido, e-actividades de diferente tipología, se ha creado una rúbrica de evaluación y se ha procedido a su validación a través de un grupo de expertos. PALABRAS CLAVE: Universidad, entorno formativo telemático, formación del profesorado, e-actividades, rúbrica de evaluación. ABSTRACT Thirty-five teachers of different Spanish universities have collaborated in this investigation. They have created a telematic learning environment with the aim of forming professors in acquiring different skills and competencies for the use and integration of ICT in their work. The project has different topics, a wide range of e-activities and we have created an evaluation rubric. The validation has been carried out by a group of experts. KEYWORDS: University, telematic learning environment, teacher training, e-activities, evaluation rubric. EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 2 / 15 1. INTRODUCCIÓN De acuerdo con diferentes autores el e-learning o la formación virtual ha pasado por etapas, en función de la importancia concedida a las variables que debemos prestar atención en la incorporación de estas acciones formativas. Karrer (2007), por ejemplo nos habla de tres, que denomina e-Learning 1.0, e-Learning 1.3, y e-Learning 2.0, determinadas desde la importancia concedida a las plataformas o LMS para llevar a cabo su puesta en acción a la utilización de las herramientas de la web 2.0 y los “social media”. En una línea muy similar también nos encontramos con la propuesta de Adkins (2007). En nuestro contexto Gros (2011), plantea que la aplicación del e-learning ha pasado por tres generaciones: la primera viene marcada por la adaptación de los materiales textuales a formatos web (modelo centrado en los materiales); la segunda, por poner el énfasis en la búsqueda del mejor campus virtual (plataformas y gestores); y la tercera, por apoyarse en un modelo de colaboración y en la flexibilidad. En un reciente trabajo de Cabero (2012) se señalan diferentes etapas, que concretamos con las siguientes denominaciones: un enfoque tecnológico, preocupado por las tecnologías a utilizar en el que “el contenido es el rey”, y la inquietud se centraba en el intento de búsqueda de principios para su diseño; un enfoque metodológico, obsesionado por buscar principios y estrategias didácticas para su aplicación; una perspectiva sistémica, que establece que la calidad está en la interacción de un cúmulo de variables; y una última etapa donde adquieren verdadera significación las tecnologías y la filosofía de la web 2.0. En esta misma línea, Bates (2011) nos llama la atención respecto a cómo se están produciendo en los últimos tiempos una serie de modificaciones respecto a los contenidos y los materiales didácticos a utilizar; en concreto nos habla del rediseño de cursos con la aparición de la perspectiva de los recursos abiertos. Por lo que se refiere al diseño de los materiales, descubrimos desde nuestro punto de vista (Cabero, 2012), dos grandes perspectivas: centrada en los contenidos y en las actividades. Que de acuerdo con Sancho y Borges (2001: 39), implican perspectivas diferentes, que establecen en los siguientes términos: a) Contenidos: el estudiante suele ser reactivo y pasivo, a la espera de lo que diga o decida el docente; el margen de decisión del estudiante es pequeño; se fomenta un aprendizaje individual; los estudiantes no tienen muchas oportunidades para aprender autónomamente; competencias memorísticas y de replicación de contenidos; y la educación personal y profesional, a menudo, está restringida a períodos determinados de la vida. EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 3 / 15 b) Aprendizaje centrado en las actividades: los estudiantes tienen una implicación activa en su aprendizaje, sin esperar que el docente decida por ellos; mucha libertad para los estudiantes y espacio para las propias decisiones en cuanto a ciertos elementos importantes de su aprendizaje; se fomenta la colaboración con los compañeros; los estudiantes tienen ocasiones de ser autónomos en su aprendizaje; competencias relacionadas con procesos, con una orientación a resultados, y a la búsqueda, selección y manejo de información; y educación personal y profesional a lo largo de la vida. En cuanto al diseño de materiales centrado en los contenidos, realizamos en su momento una propuesta (Cabero y Gisbert, 2005), que fue validada a lo largo de diferentes trabajos de investigación (Cabero y otros, 2004; Cabero, 2006; Cabero y Llorente, 2009). Y por lo que se refiere a la segunda, centrada en las actividades, ofrecemos en esta investigación una propuesta de diseño y evaluación de materiales para la formación virtual (Cabero, 2012), dentro del proyecto Dipro 2.0 financiado por el Ministerio de Ciencia e Innovación (Dipro 2.0-EDU2009-08893) (Cabero y otros, 2011). En su construcción contemplamos una serie de elementos como son: guía de materiales, guía de actividades, mapa conceptual, taxonomía clasificatoria de las e-actividades, y objetos de aprendizaje. Éstos últimos pueden ser de diferente tipología: clip de vídeos, pdf, cursos completos, podcast de audio, direcciones web, materiales multimedia,… Los materiales elaborados pueden consultarse en la siguiente dirección web: http://tecnologiaedu.us.es/dipro2/. Por lo que se refiere a la guía de actividades, se utilizaron una serie de elementos para su diseño, como: la ubicación de la actividad en un módulo y unidad específica, la descripción de la actividad, el nivel de dificultad de la actividad, tiempo aproximado que le puede llevar la realización de la actividad, y dos elementos de ayuda para la autoevaluación de la producción realizada, una lista de autochequeo y una rúbrica. Es decir, incorporamos muchos de los elementos usuales en guías específicas utilizadas para el desempeño de acciones formativas en la red (García y otros, 2010; Silva, 2011; Salazar y otros, 2012). Nos centraremos en la creación y validación de la rúbrica de evaluación consensuada por los investigadores. La utilización de la rúbrica fue una decisión adoptada al revisar la literatura y coincidir con Gikandi, Morrow y Davis (2011) en que todos estos cambios que la educación superior está sufriendo van asociados irremediablemente a la reconceptualización de la enseñanza, el aprendizaje, el espacio o la evaluación. «La rúbrica es una herramienta de valoración usada para reflejar el grado de cumplimiento de una actividad o un trabajo» (Barberá y De Martín, 2009: 99). La rúbrica es una herramienta versátil que provee a los usuarios, por una parte, de un referente que proporciona un feedback relativo a cómo mejorar su trabajo y, por otra, la posibilidad de manifestar sus expectativas sobre los objetivos de aprendizaje fijados. En todo momento, se conoce cuáles son los criterios con los que se va a calificar un objetivo que se ha establecido previamente. EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 4 / 15 En este sentido cobran una gran relevancia en los sistemas de autoevaluación, ya que nos mantienen informados de cuáles son sus lagunas y proporcionan los momentos en los que poder modificarlas; a su vez permite un registro pormenorizado del desarrollo del aprendizaje. Por todo lo anterior, en los procesos de autoevaluación la rúbrica se ha convertido en una muy buena estrategia autoevaluativa. Esta herramienta lleva funcionando en otros países, como EE.UU., casi dos décadas. Desde esta fecha ha ido creciendo el interés sobre su diseño, uso y aplicación en los sistemas de evaluación de las aulas universitarias. Sin embargo, en nuestro contexto universitario, la utilización de la rúbrica es una “motivación puntual del profesorado” (Torres y Reyes, 2011a). Además la rúbrica ofrece grandes posibilidades pues tiene distintas formas de utilización: como recurso para una evaluación integral y formativa (Moskal, 2000; Ahumada, 2005); como instrumento de orientación (Hafner y Hafner, 2003); como herramienta de trabajo (Stevens y Levi, 2005); como perspectiva de criterio más que de referencia a una norma (Simon y Forgett-Giroux, 2001) y negociación de significados (Cruz, 2011). Compartimos con Gairín (2011) y Díaz, Cabero y Barroso (2012) que se debe desarrollar y fortalecer el trabajo colaborativo de los docentes, y ello pasa, a nuestro juicio, por el empleo de herramientas que faciliten los procesos de enseñanza-aprendizaje, como es el caso de la rúbrica de autoevaluación. Por los motivos anteriormente mencionados hemos elegido la rúbrica como instrumento de evaluación. 2. DESCRIPCIÓN DEL PROCEDIMIENTO El diseño de investigación empleado ha sido de tipo exploratorio al revelarnos la revisión de la literatura que hay pocas investigaciones similares en el contexto educativo y, en concreto, en el ámbito universitario. Esta clase de estudios son comunes en situaciones donde existe poca información y se tiene la posibilidad de llevar a cabo una investigación más completa respecto de un contexto particular. El número total de profesores que han colaborado en la investigación ha sido 35, de Universidades españolas como País Vasco (2), Jaume I (2), Santiago de Compostela (2), Murcia (3), Sevilla (19), Universidad Pablo de Olavide de Sevilla (2), CEU San Pablo de Sevilla (1), Cádiz (1), Córdoba (1), Huelva (1) y Jaén (1). Se han creado 14 unidades o bloques temáticos para el entorno formativo telemático bajo la arquitectura web 2.0, destinado a la formación del profesorado universitario en la adquisición de diferentes capacidades y competencias para la utilización e inserción de las TIC en su actividad profesional. Las unidades elaboradas en el proyecto Dipro 2.0 se aglutinan alrededor de tres grandes núcleos: a) aspectos introductorios (1, 2, y 3); b) herramientas, servicios y recursos para la formación en contextos de educación superior (4, 5, 6, 7, 8, y 9); y c) aspectos metodológicos y de evaluación (10, 11, 12, 13 y 14). EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 5 / 15 A su vez cada bloque tiene asignadas las e-actividades de diferente tipología, y en número variable. En la tabla nº 1, pueden observarse el número de e-actividades diseñadas para cada una de las unidades. EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 6 / 15 Unidad Nº actividades 1º.- Modalidades de formación integrando tic: enseñanza presencial, elearning, b-learning y m-learning 7 2º.-Uso de las tecnologías en la enseñanza universitaria 11 3º.- Criterios generales para la integración, el diseño y la producción de las tic en la enseñanza universitaria 8 4º.- Recursos multimedia para la enseñanza universitaria (I): pizarra digital y presentaciones colectivas informatizadas 7 5º.- Recursos multimedia para la enseñanza universitaria (II): los hipermedias y multimedias 11 6º.- Recursos audiovisuales en la red 11 7º.- La videoconferencia como herramienta didáctica 7 8º.- Herramientas telemáticas para la comunicación 16 9º.- Entornos web 2.0. en la formación universitaria – herramientas web 2.0 8 10.- Metodologías y estrategias didácticas centradas en el alumno para el aprendizaje en red: individuales y grupales/colaborativas 11 11º.- La tutoría virtual 7 12º.- La Wesquest 5 13º.- Bases generales para la evaluación de tic para la enseñanza universitaria 6 14º.- La utilización de las tic como instrumento de evaluación de los estudiantes 8 Tabla nº 1. Número de actividades por unidad Para la evaluación del proceso de aprendizaje se han diseñado diferentes rúbricas que han seguido un proceso continuo de concreción. En un primer momento, se diseñó cada una de ellas por los responsables del equipo de investigación que participaron en la elaboración de los diferentes bloques de contenido. El total de actividades que se elaboraron fueron 123, lo que ha supuesto123 rúbricas. Las cuáles son las que vamos a analizar a continuación, para conocer la tipología utilizada, los criterios movilizados, y si se podrían obtener algunos patrones para su generalización a otro tipo de situaciones. El tipo de rúbrica utilizada fue la analítica, y los creadores de cada una de las unidades tuvieron libertad absoluta, para construir las diferentes unidades, y por tanto también, las diferentes rúbricas elaboradas para cada una de las actividades propuestas dentro de las diferentes unidades, sólo, y con el objeto de normalizar las propuestas se les ofreció un modelo que presentamos en la tabla nº 2. Modalidad que es una de las tradicionales, y que está compuesto de “criterios de valoración” y “escala de valoración”, estando ésta última constituida por cuatro niveles. ESCALA DE VALORACIÓN CRITERIOS DE VALORACIÓN 1 2 3 4 EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 7 / 15 Tabla nº 2. Modelo de rúbrica utilizado Para la validación de contenido del instrumento se han sometido a análisis las 123 rúbricas a través del juicio de expertos. Una vez depurados y reducidos los criterios y niveles de desempeño se han vuelto a pasar a los expertos para volver a realizar un análisis de las mismas. 3. RESULTADOS ALCANZADOS Una de nuestras primeras preocupaciones era conocer los criterios de valoración que han utilizado los diferentes investigadores para configurar cada rúbrica. En la tabla nº 3, presentamos los criterios de valoración utilizados, sus frecuencias de utilización, y el porcentaje. CRITERIOS DE VALORACIÓN F % Comprensión de la actividad 103 20,24 Claridad de la respuesta (producto/esquema/actividad/texto) ofrecida 105 20,63 Profundización de la respuesta 77 15,13 Contenido 116 22,79 Se expresa con claridad y corrección 5 0,98 Argumenta su reflexión 5 0,98 Se centra en el tema de reflexión 5 0,98 Facilidad de comprensión del esquema / de la actividad 24 2,75 Adecuación de la presentación a los requisitos de la actividad 2 0,39 Claridad del mapa producido y jerarquización de conceptos 2 0,39 Jerarquización de conceptos / de categorías 3 0,59 Criterios para la elección de contenidos 4 0,79 Presentación 2 0,39 Navegación 2 0,39 Originalidad 2 0,39 Experiencias/estudios revisados/analizados 1 0,20 Argumenta su reflexión sobre las experiencias / los usos identificados 4 0,79 Usos de las tecnologías identificados 1 0,20 Expresa la propuesta didáctica con claridad y corrección 2 0,39 Se centra en el tema de reflexión 1 0,20 Número de servicios identificados 1 0,20 Expresa el análisis de los servicios claridad y corrección 1 0,20 Búsqueda de aplicaciones 1 0,20 Actualización de las URLs 1 0,20 Coherencia del contenido de la comunicación oral 1 0,20 Claridad y cohesión en la presentación oral 1 0,20 Calidad del microcontenido final 1 0,20 Agrega las herramientas que se le proponen al PLE 1 0,20 Define el objeto de trabajo 1 0,20 Realiza las búsquedas fijándose en las palabras clave 1 0,20 Aspecto formal 1 0,20 Participación en el foro de debate 1 0,20 EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 8 / 15 Análisis de las aportaciones 1 0,20 Identificación de los detalles 1 0,20 Identificación de los hechos 1 0,20 Identificación de las opiniones 1 0,20 Identifica la información importante 1 0,20 Resumen 1 0,20 Organización de la información 1 0,20 Comparación 1 0,20 Toma de decisiones 1 0,20 Aportación de nuevas ideas 1 0,20 Diversidad de referencias y recursos 1 0,20 Calidad de las fuentes de información 1 0,20 Conocimiento de la herramienta 1 0,20 Identifica y relaciona detalles 1 0,20 Actitud crítica 1 0,20 Eficacia de motivación de la introducción 1 0,20 Eficacia cognoscitiva de la introducción 1 0,20 Conexión de la tarea con el currículo de la materia para la que está diseñada 1 0,20 Nivel cognoscitivo de la tarea 1 0,20 Claridad del proceso 1 0,20 Calidad del proceso 1 0,20 Riqueza del proceso 1 0,20 Apartado de Recursos (Nota: se deben evaluar todos los recursos ligados a la página (enlaces a páginas de Internet, libros,...) 1 0,20 Importancia y cantidad de recursos 1 0,20 Calidad de Recursos (enlaces a páginas de Internet) 1 0,20 Apartado de Evaluación 1 0,20 Claridad de los criterios de la evaluación 1 0,20 Adecuación de la respuesta 1 0,20 Adecuación de la tabla 1 0,20 Adecuación de la selección de los vídeos 1 0,20 Adecuación de la guía didáctica 1 0,20 Tabla nº3.- Criterios utilizados en todas las actividades para la construcción de las rúbricas Como podemos observar en la tabla anterior, los investigadores que han construido las rúbricas han barajado gran diversidad de criterios, incluso nos atreveríamos a decir “demasiados”. Concretamente, nos hemos encontrado con 63 diferentes. Pero hay que señalar que destacan sobre todos cuatro grandes criterios como los más utilizados, y que configuran el 80% del total de la distribución, que por orden de mayor utilización son los siguientes: - Contenido - Claridad de la respuesta (producto / esquema /actividad /texto) ofrecida. - Comprensión de la actividad. - Profundización de la respuesta. Ahora bien nuestro trabajo nos ha permitido identificar una serie de grupos o patrones que los investigadores han utilizado en la realización de las rúbricas que podrían servir para la autoevaluación de las actividades. El análisis de los mismos determina diez patrones diferentes como se presentan en la tabla nº 4. EDUTEC. Revista Electrónica de Tecnología Educativa. ISSN 1135-9250 Núm. 43 / Marzo 2013 Página 9 / 15 Conjunto A Conjunto B Conjunto C Conjunto D - Comprensión de la actividad - Claridad de la respuesta ofrecida - Profundización de la respuesta - Contenido - Se expresa con claridad y corrección - Argumenta su reflexión - Se centra en el tema de reflexión - Contenidos - Comprensión de la actividad - Claridad del producto - Facilidad de comprensión - Contenidos - Comprensión de la actividad - Claridad del esquema producido - Facilidad de Comprensión del esquema - Contenidos Conjunto E Conjunto F Conjunto G Conjunto H - Comprensión de la actividad - Adecuación de la presentación a los requisitos de la actividad - Contenidos - Claridad de la respuesta ofrecida - Comprensión de la actividad - Claridad del mapa producido y jerarquización de conceptos - Contenidos - Claridad de la respuesta ofrecida. - Claridad del esquema producido - Jerarquización de conceptos - Criterios para la elección de contenidos - Contenidos - Comprensión de la actividad - Claridad de la actividad realizada - Facilidad de la comprensión de la actividad - Contenidos Conjunto I Conjunto J - Contenido - Presentación - Navegación - Originalidad - Comprensión de la actividad. - Claridad del esquema producido - Facilidad de comprensión del esquema - Contenidos Tabla nº 4. Patrones de criterios utilizados en las rúbricas creadas Estos patrones nos han permitido registrar una serie de variables con una tendencia a ser fijas: contenidos, comprensión de las actividades, y claridad de la actividad, producto, respuesta,… ofrecida. El procedimiento seguido ha sido la aplicación de la validez de contenido estimada de la siguiente manera: 1. Se seleccionó un experto en Tecnologías de la Información y la Comunicación de cada Universidad participante, en total 11, a fin de juzgar, de manera independiente, la “bondad” de los criterios de valoración y niveles de desempeño de las rúbricas (claridad en la redacción y la tendenciosidad o sesgo en la formulación). 2. Cada experto recibió suficiente información escrita acerca de: (a) el propósito de la rúbrica y (b) conceptualización del universo de contenido.