Evaluación continua en proyecto l, asignatura de los grados de ingenierías de la ETSEIB

JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 326 ~ EVALUACION CONTINUA EN PROYECTO I , ASIGNATURA DE LOS GRADOS DE INGENIERIAS DE LA ETSEIB M Martínez Martinez. Ingeniería Química Universitat Politècnica de Catalunya [email protected] RESUMEN En esta comunicación se explicará como se ha llevado a cabo la evaluación continua en una asignatura obligatoria, Proyecto I, que se imparte en el cuarto cuatrimestre de los grados en: Ingeniería en Tecnologías Industriales, Ingeniería Química e Ingeniería de Materiales en la Escuela Superior de Ingeniería Industrial de Barcelona (ETSEIB) de la Universitat Politècnica de Catalunya (UPC-Barcelona Tech). Para facilitar la adquisición y evaluación de 3 competencias genéricas, de primer nivel competencial (comunicación eficaz, trabajo en equipo y aprendizaje autónomo), ésta asignatura se ha dividido en 12 proyectos de distintos ámbitos específicos asignados a los distintos Departamentos del centro. Cada proyecto es realizado por 18 ó 20 alumnos distribuidos en grupos de 3 ó 5 estudiantes y dirigido por un profesor o profesora. El sistema de evaluación así como los criterios de evaluación han sido comunes para todos los proyectos, de modo que el 80% de la evaluación fue grupal y distribuida a lo largo del curso en 3 entregas, tanto escritas como orales, que permiten la adquisición gradual de las competencias así como la reorientación del proyecto, si es necesario, para conseguir un resultado mejor. En concreto en esta comunicación se presentará la evaluación continua del proyecto del ámbito de Ingeniería Química, donde se han utilizado rúbricas y escales de valoración como herramientas de evaluación así como estrategias de evaluación entre iguales, autoevaluación además de la evaluación del propio profesorado. Dicha evaluación se ha realizado mediante el servicio web EvalCOMIX. PALABRAS CLAVE Evaluación continua; herramientas de evaluación; Proyecto de ingeniería, Competencias genéricas JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 327 ~ ABSTRACT This paper describes how it was carried out the continuous evaluation of an obligatory course, called Project I, imparted in the School of Industrial Engineering of Barcelona (ETSEIB) of Universitat Politècnica de Catalunya (UPC-Barcelona Tech) in the fourth quarter of the degrees in: Industrial Technology Engineering, Chemical Engineering and Materials Engineering. To facilitate the acquisition and evaluation of 3 generic competences in the first competence level (effective communication, teamwork and autonomous learning), this course (Project I) has been divided into a total of 12 different projects of different specific areas. Each project is carried out by 18 to 20 students divided into groups of 3 to 5 students and supervised by a teacher. Both the evaluation system and assessment criteria were common to all projects. Hence, 80% of the evaluation was for the group and was distributed along the course in 3 deliveries, written and oral, which allow the gradual acquisition of competences and the redirection of the project, if necessary, to achieve the best possible result. The 20% was individual evaluation. This communication specifically deals with the evaluation of the project of the Chemical Engineering area, where assessment rubrics and scales were used, as well as strategies for peer assessment and self-assessment in addition to the teacher's assessment. These assessments were performed using the web service EvalCOMIX. KEYWORDS Continuous evaluation; assessment tools; Project in Engineering, Generic competences INTRODUCCIÓN Con la incorporación de la Universidad Politècnica de Catalunya (UPC Barcelona Tech, Spain) al Espacio Europeo de Educación Superior (EEES), surge la necesidad de difundir toda la innovación educativa, que se estaba realizando dentro de la universidad, a toda la comunidad universitaria para así poder extenderla y fomentar la innovación entre todas las titulaciones y centros de la universidad. Es con este objetivo que se han creado varios grupos de innovación agrupados en el proyecto RIMA (Recerca e Innovació en Metodologies de l’Aprenentatge, http://www.upc.edu/rima/), con los que se pretende implicar al profesorado en las nuevas metodologías de enseñanza. Dentro de estos grupos el que se centra en el ámbito de la evaluación es el GRAPA (GRupo de la Evaluación de la Práctica Académica, http://www.upc.edu/rima/grups/grapa) [1,2]. JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 328 ~ El cambio más importante que supone el proceso de convergencia hacia el EEES, es sin duda que el centro de atención deja de ser el proceso de enseñanza para ser el proceso de aprendizaje [3]. Esto implica dejar de basar todo el proceso de enseñanza-aprendizaje en las tareas del profesorado y comenzar a centrarse en las actividades que hace el alumnado. En el momento de diseñar estas actividades el profesorado ha de tener claro que es fundamental que la evaluación se convierta en la estrategia para mejorar y favorecer el aprendizaje. La evaluación del aprendizaje del alumnado sin duda se encuentra en el centro del proceso de su aprendizaje ya que la manera en cómo se evalúa determina la capacidad de progreso durante este proceso, al mismo tiempo que condiciona la manera de entender el currículum [4]. Para que la evaluación apoye al aprendizaje, el profesorado ha de tener en cuenta, que la evaluación implica una serie de actividades relacionadas con la evaluación formativa además de la sumativa [5-7]. Además el alumnado ha de tener un feedback a tiempo que le permita reflexionar sobre cómo va aprendiendo y así poder mejorar, sin esperar al final para conocer cuáles son sus errores. Aumentar el protagonismo del alumnado en su proceso de aprendizaje a través de su participación en la evaluación es una forma de motivación e implicación del alumnado. La evaluación ha de estar orientada al aprendizaje [8] y por tanto la evaluación formativa toma más protagonismo [9]. Es dentro de este contexto que es muy importante disponer de variados instrumentos de evaluación que permitan tanto la autoevaluación, como la evaluación entre iguales y no sólo la del profesorado ya que éstas permiten un feedback inmediato. EvalCOMIX es una aplicación Web de código abierto independiente de cualquier otra que permite tanto el diseño y gestión versátil de instrumentos de evaluación como la utilización de los instrumentos anteriores en el proceso de evaluación de competencias de forma integrada con LMS, permitiendo, además de la evaluación tradicional por parte del profesorado, autoevaluaciones de los estudiantes y evaluación por compañeros/as [10,11]. El grupo GRAPA ha participado en la modalidad de grupos de trabajo, en la segunda convocatoria de ATENEA-labs, que la UPC ha convocado durante el curso 2011- 2012, para investigar la posible incorporación de esta herramienta en el campus virtual de la universidad. Para esta experiencia se usó el servidor del grupo EvalForm de la Universidad de Cádiz, de modo que las asignaturas participantes (tres) se introdujeron en este servidor y mediante un enlace en el campus virtual de la UPC se podía acceder a la herramienta En el presente artículo se presenta la experiencia de aplicación con dicha herramienta en una asignatura obligatoria: Proyecto I de 3 ECTS que se imparte por primera vez este cuarto cuatrimestre del curso 2011-2012, en los grados en: Tecnologías Industriales, Ingeniería Química, Ingeniería de Materiales, en la Escuela Superior de Ingeniería Industrial de Barcelona (ETSEIB-UPC). JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 329 ~ METODOLOGIA La asignatura de Proyecto I se imparte a 12 grupos de entre 18 y 20 alumnos, de modo que cada grupo es tutorizado por un profesor o profesora de un departamento distinto de la ETSEIB. Los objetivos generales y competencias genéricas han sido los mismos en todos los grupos así como el sistema de evaluación que es el que se muestra a continuación: NF: 0,2 N1+0,2 N2+0,4 NF+0,2 Nind Donde N1, N2, y NF son tres evaluaciones correspondientes a tres entregas (oral y escrita) que se hacen a lo largo del curso, de modo que las la última (NF) es la que constituye el proyecto final. El conjunto de estas entregas representa el 80% del total de la evaluación de la asignatura y el 20% restante es evaluación individual (Nind) Además se establecieron en todos los grupos de la asignatura los mismos indicadores a tener en cuenta en la evaluación de los informes y presentaciones orales así como en la evaluación de las competencias genéricas de trabajo en equipo y aprendizaje autónomo. En concreto esta comunicación se centra en el proyecto asignado al departamento de Ingeniería Química titulado: En que se diferencia el agua que bebemos del agua de los ríos y mares: Composición, caracterización y contaminantes. La metodología seguida ha sido la que se detalla a continuación: • Formación inicial de 4 grupos de 5 estudiantes Para constituir grupos heterogéneos en cuanto a personalidad se les pasa el primer día un test personalidad [12], que caracteriza las personalidades en 4 tipos distintos: Analytical, Driver, Amiable y Expressive. Se asigna el rol de coordinador a los 4 alumnos a los que les salió la personalidad de Driver y el resto de miembros del grupo es elegido por el coordinador/a, de modo que haya el máximo de variedad posible de personalidades en el grupo. Del resto de roles se estableció que como mínimo existiese otro más, el de la persona que hace de secretario/a. • Asignación del proyecto a cada grupo Se planificó que el proyecto de cada grupo constituyese una parte del proyecto global. Así se distribuye agua de rio a dos grupos (G2 y G3), agua potable y de mar a los otros 2 grupos restantes (G1 y G4) de forma que cada grupo eligió el que más le interesaba. Se les dio desde el inicio las indicaciones necesarias y material bibliográfico para iniciar cada uno de los subproyectos. • Seguimiento y entregables durante el curso Se planificó para que en las semanas 6, 10 y 15 del curso se presentaran los 3 informes de forma oral en sesión común y además por escrito, a través de JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 330 ~ Atenea-EvalCOMIX. Todas las entregas fueron evaluadas a través de rúbricas elaboradas y disponibles en EvalCOMIX, las mismas tanto para el alumnado como para el profesorado ya que tuvo lugar evaluación entre iguales y del profesorado en los dos tipos de entregables. El tiempo de dedicación presencial estuvo repartido en 6h en grupo grande (impartido por el departamento de Proyectos), 24 h en grupo pequeño y se ha distribuido en sesiones semanales de 2 horas cada una. El tiempo no presencial estipulado ha sido de 45h, ya que es una asignatura de 3 ECTS, lo que representa un total 75 horas dedicación alumno. Las sesiones de seguimiento han servido para dar feedback rápido a los grupos con el fin de reorientar para conseguir mejores proyectos finales y aprovechar las posibles sinergias generadas en los distintos grupos. Después de cada entrega tuvo lugar una entrevista entre la tutora y el coordinador/a de cada grupo en la que se le dio un feedback detallado tanto de forma oral como de forma por escrito, comentando las posibles mejoras a introducir en el trabajo. Además en dichas entrevistas se comentaron aspectos relacionados con el funcionamiento del grupo para poder detectar posibles malos funcionamientos. EVALUACIÓN COMPETENCIAS Y EvalCOMIX El objetivo general de esta asignatura es introducir el concepto de Proyecto, plantear correctamente un problema de ingeniería concreto y buscar una solución que podría resolver el problema a partir de los conocimientos que el alumnado dispone. Las competencias que el alumnado ha de adquirir han sido las específicas de cada ámbito del proyecto y las genéricas de: trabajo en equipo, comunicación eficaz y aprendizaje autónomo. EvalCOMIX permite la realización el diseño y gestión de instrumentos de evaluación. De los posibles tipos de instrumentos que se pueden crear se han escogido Rúbricas para la evaluación de informes y presentaciones orales y Escalas de valoración para la evaluación del trabajo en equipo y aprendizaje autónomo. Además cada modalidad de evaluación tiene asociado un campo de ponderación, que indica el peso que tendrá en la calificación total de la actividad por lo que a medida que los alumnos van evaluando tanto el profesorado como el alumnado podrá ver las calificaciones asociadas y por lo que tendrá automático el feeback. Evaluación de la competencia de comunicación eficaz Dicha competencia se evaluó de forma integrada con las específicas propias de la materia de la asignatura mediante los indicadores en las rúbricas elaboradas. JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 331 ~ A continuación se detallan las estrategias e instrumentos de evaluación que se han utilizado en las evaluaciones de los 3 informes y las 3 presentaciones orales del curso, que representan el 80% de la evaluación global de la asignatura. . 1. Previamente a las sesiones de presentación se debían entregar, en un plazo establecido, el informe y presentación correspondiente a través del sistema web de EvalCOMIX (servidor de la universidad de Cádiz) desde el espacio del campus virtual de la asignatura. Los informes y presentaciones debían reunir una serie de requisitos previamente establecidos como las partes o elementos que debían contener (portada, caratula, índice, objetivos, introducción, desarrollo, conclusiones, bibliografía), número máximo de páginas y tiempo de presentación. Para facilitar el proceso se dio acceso al sistema EvalCOMIX sólo a los coordinadores de grupo. 2. Las presentaciones orales fueron evaluadas por el resto de grupos y por la tutora durante la propia sesión de presentación. Para facilitar este procedimiento el aula estaba equipada con ordenadores de modo que de nuevo la persona coordinadora era la responsable de introducir las evaluaciones, después del consenso de todo su grupo, a través del sistema EvalCOMIX, inmediatamente después de cada presentación. Para favorecer la interdependencia positiva y la responsabilidad individual (ingredientes fundamentales del trabajo en equipo) el orden de presentación fue elegido al azar por la tutora en el momento de la presentación y además para favorecer la implicación del resto de grupos era obligatorio que cada grupo plantease una cuestión al grupo que presentaba. Para que la evaluación fuese objetiva tanto la tutora como los grupos utilizaron las mismas rúbricas, que eran conocidas desde el inicio. Era requisito que se añadiesen los puntos débiles y fuertes de cada presentación. La evaluación entre iguales representó el 20% de la evaluación. 3. Posteriormente cada informe debía ser evaluado por la tutora y 2 de los 3 grupos, en un plazo no superior a 72 horas. Igual que en el caso anterior se debía reunir todo el grupo, ahora fuera del aula, consensuar la evaluación y la persona coordinadora entrar la evaluación a través de la rúbrica correspondiente, que también fue común para todos y en cuyos indicadores se tenía en cuenta tanto el contenido como comunicación escrita. Al igual que en el caso anterior esta evaluación entre iguales representó el 20% de la evaluación y era obligatorio añadir comentario de mejora. En la Figura 1 se puede ver la rúbrica elaborada para la presentación oral, se puede observar en la parte superior horizontal los 4 criterios de calidad (bien adquirido, adquirido, poco adquirido y no adquirido) y sus 4 valores asignados para cada descripción y además a la izquierda los distintos indicadores evaluados cuya ponderación fue diferente entre ellos y consensuada al inicio del curso en la JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 332 ~ asignatura global. Entre los indicadores se puede observar que se tiene en cuenta el ajuste al tiempo de exposición y las respuestas a las cuestiones planteadas durante la sesión de presentación además de la estructura, el recurso gráfico, lenguaje verbal y no verbal, por lo que tanto la competencia genérica de comunicación oral como escrita se encuentra integrada en la evaluación de las competencias específicas propias del ámbito de la materia de igual modo que en la rubrica elaborada para la evaluación de los informes escritos. 4. Una vez finalizada la evaluación entre iguales de informes y presentaciones se hicieron visibles de forma automática las evaluaciones tanto del profesorado como del resto de grupos cuyos comentarios se tuvieron en cuenta para la elaboración de los informes de mejora que la tutora elaboró para cada grupo después de cada informe parcial. Figura 1: Rúbrica utilitzada para las presentaciones orales En la Figura 2 se puede observar la visualización después de finalizar la evaluación entre iguales y del profesorado de la última presentación. Puede observarse la calificación dada por el profesor y por cada grupo así como la global. JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 333 ~ Figura 2: Visualización de las evaluaciones de la presentación última Evaluación de las competencias genéricas de Trabajo en equipo y Aprendizaje autónomo El 20% restante de la evaluación de la asignatura representa evaluación individual, y como se ha comentado anteriormente, se distribuyó de modo que el 15 % se asignó a la evaluación del trabajo en equipo y aprendizaje autónomo, de modo que se implicaron como agentes evaluadores tanto al propio alumnado, los coordinadores de grupo y la tutora. El restante 5% fue asignado por la tutora y está relacionado con sesiones de laboratorio y una visita programada a una potabilizadora. A continuación se detalla la evaluación de las competencias genéricas trabajo en equipo y aprendizaje autónomo: 1. Después de cada entrega se pidió al coordinador/a de cada grupo que evaluase a cada uno de los miembros de su grupo mediante escalas de valoración elaboradas también con EvalCOMIX. Por lo tanto este proceso se hizo tres veces durante el curso y dichas evaluaciones fueron visibles sólo por la tutora. Además al final de curso también se pidió la autoevaluación a cada uno de las personas integrantes del grupo excepto al coordinador/a. JORNADA INNOVACIÓN DOCENTE – RIMA 2012 5-6 Julio 2012, UPF ~ 334 ~ 2. La evaluación del coordinador fue obtenida mediante la evaluación de cada uno de los integrantes del grupo y de la tutora al final de curso. Para esta evaluación también se utilizó una escala de valoración con 4 criterios de calidad. En la Figura 3 se puede observar la escala de valoración utilizada por la persona coordinadora de grupo para evaluar a cada uno de los miembros de su grupo en EvalCOMIX. Figura 3: Escala de valoración utilizada por cada coordinador/a para evaluar a su grupo En el cuadro de la Figura 4 se puede observar de forma esquemática y a modo de resumen las distintas evidencias recogidas comentadas anteriormente, donde se debían entregar y cuando, así como los agentes evaluadores implicados, los instrumentos de evaluación, las competencias evaluadas, tipo de evaluación y feedback. Esta planificación la tenían desde el inicio en el campus virtual y en la primera sesión del grupo se les explicó de forma general y fue en las entrevistas con los coordinadores/as de grupos donde se explicó en detalle según el momento del curso en el que se encontraba el proyecto.