Estudio Cuantitativo de 10 Años de Calificaciones

ESTUDIO CUANTITATIVO DE 10 AÑOS DE CALIFICACIONES1 C. BAENA1,2, P. PARRA1,2, I. GÓMEZ1 y M. VALENCIA1,2 1. Departamento de Tecnología Electrónica. ETS de Ingeniería Informática. Universidad de Sevilla 2. Instituto de Microelectrónica de Sevilla (IMSE-CNM-CSIC). [email protected] En este trabajo se presenta un estudio cuantitativo sobre todas las notas de las actas de cuatro asignaturas troncales de dos titulaciones durante los últimos 10 años. En los últimos cuatro años se han introducido mecanismos de evaluación continuada en esas asignaturas, lo que permite comparar los resultados de los alumnos antes y después de introducirlos. Nuestra meta en este trabajo es elucidar hasta qué punto influyen los mecanismos de evaluación continua en el éxito del alumnado. El análisis de los resultados permite concluir que, si bien la evaluación continua ha incrementado el número de aprobados en la 1ª convocatoria, han disminuido los aprobados en el año completo y ha aumentado enormemente el porcentaje de no presentados. 1. Introducción En los últimos años, en la Universidad de Sevilla se ha impulsado la implantación de medios de evaluación alternativos a la evaluación por examen final. Dentro de este proceso, los sistemas aparentemente mejores tienden a la evolución continua y centrada en el proceso formativo [1,2]. En nuestro caso, a partir del curso 2004/2005, hemos introducido paulatinamente pruebas parciales, ejercicios de “cinco minutos” y otros mecanismos de evaluación por curso, además de mantener los exámenes finales. De forma multitudinaria, este sistema de evaluación se ha aplicado en nuestro Departamento en clases de aula numerosas y asignaturas cuatrimestrales durante los últimos cursos [3]. Creemos necesario analizar el éxito de esta evaluación alternativa y es por ello que nos planteamos aquí considerar la evolución de los resultados obtenidos por los alumnos durante un número razonablemente alto de años, 10 en este caso, que, de hecho, son todos los que lleva vigente el actual plan de estudios. El estudio se lleva a cabo con los datos de cuatro asignaturas troncales de dos titulaciones diferentes. Estas asignaturas son similares en cuanto al profesorado, programa, situación en el currículo y número de créditos. La meta de este trabajo es dilucidar hasta qué punto influyen los mecanismos de evaluación continua en el éxito del alumnado. Para ello, nos hemos centrado en analizar los datos de las actas con el fin de medir la relación de aprobados y suspensos con diferentes enfoques. Este estudio se completa con el realizado en otro trabajo que se presenta en este mismo congreso [4] y que se centra en la participación/abandono de las actividades docentes y de evaluación de esos alumnos en el mismo periodo. Los resultados que presentamos en este trabajo se han obtenido analizando el total de las actas, lo que ha supuesto procesar más de 14000 datos. No se trata, pues, de un estudio estadístico sino que, más bien, es exhaustivo. Además, al ser las actas oficiales una fuente muy aséptica, nuestro estudio está alejado, al menos en cuanto a los datos, de las apreciaciones subjetivas que, en todo caso, nos podrán afectar en las conclusiones. En el análisis de los datos se distingue el periodo con sólo examen final y el otro con, además, evaluación continua con el fin de alcanzar nuestro objetivo de discernir la incidencia de ésta. Este trabajo se ha organizado en cuatro apartados. Tras la introducción describimos el entorno en el que nos movemos, que es común al del otro trabajo antes mencionado [4]. En el apartado 3 presentamos los datos obtenidos y su análisis y, por último, presentamos las conclusiones en el apartado 4. 1 Este trabajo ha sido soportado por los proyectos TIC-635 y TIC-1023 (Junta de Andalucía), y TEC2007-65105/MIC (MEC) 2. Descripción del entorno Las cuatro asignaturas bajo estudio son troncales, cuatrimestrales y pertenecen a primer curso de dos titulaciones diferentes: II (Ingeniería Informática), que es un título de 5 cursos con estructura 3+2 en cuanto al 1er y 2º ciclo, e ITIS (Ingeniería Técnica en Informática de Sistemas), que es de un solo ciclo y de 3 años. 2.1. Características de las asignaturas bajo estudio Por parejas, las asignaturas tienen el mismo nombre - Fundamentos de Computadores (FC-II y FCITIS) y Estructura de Computadores (EC-II y EC-ITIS)- y se han mantenido fuertemente homogéneas a lo largo de este periodo en casi todos los aspectos docentes: temario, metodología, (amplia) documentación sobre web (guías docentes, material teórico, de problemas y de laboratorio, exámenes, datos organizativos, etc.), situación en el currículo, desarrollo de laboratorio, recursos, sistema de evaluación, profesorado y alumnado. Las diferencias, aunque existen, pueden ser calificadas como “menores”. Las asignaturas de FC tratan los aspectos matemáticos de la representación y el álgebra binaria y los circuitos y subsistemas (unidades funcionales básicas) digitales combinacionales y secuenciales. Las de EC estudian el diseño de sistemas digitales a nivel RT (Register Transfer) e ISP (Instruction Set Processor) incluyendo computadores simples, las memorias y la organización y programación en ensamblador de computadores comerciales clásicos. Las prácticas de laboratorio, así como su organización, son muy similares e incluyen el uso de analizadores lógicos, de programas de diseño de sistemas digitales (ISE webPack) y de ensambladores/emuladores para programación a bajo nivel. Comparten asimismo un parecido número de alumnos por curso y en las clases de aula y de laboratorio. La nota de entrada ha sido equiparable en los años bajo estudio, por lo que el perfil del alumnado es similar. Dentro de cada titulación, la mayor parte del profesorado del primer cuatrimestre permanece en el segundo, lo que da mucha continuidad a FC y a EC. También hay diferencias entre las asignaturas, fruto de la diversidad del profesorado entre II e ITIS y de los créditos asignados (7,5 en FC-II y 6 en FC-ITIS; 4,5 en EC-II y 6 en EC-ITIS). Así, hay leves cambios en el orden de algunos temas del programa, en cómo se interpreta la obligatoriedad y peso de las prácticas y en aspectos, en general poco relevantes, del sistema de evaluación. En todo caso, las diferencias debidas a la distinta titulación son poco significativas. 2.2. Sistema de evaluación En las cuatro asignaturas se comparte la preocupación por desarrollar un sistema de evaluación adaptado al número amplio de alumnos y a los nuevos énfasis en la evaluación continua y centrada en el proceso formativo [2-4]. Desde el curso 2004/2005 se incluyeron pruebas para la evaluación continua que han ido evolucionando levemente hasta el sistema actual (2006/2007), cuyos rasgos comunes más importantes son (también existen ligeras variaciones entre las asignaturas): • Convocatorias oficiales. Hay 3: la 1ª o de Junio (en FC se desarrolla en Febrero); la 2ª o de Septiembre (S); y la 3ª o de Diciembre (D). Siempre existe Examen Final. • Las prácticas de laboratorio son “obligatorias” para aprobar por curso. • Pruebas parciales (PP): En cada asignatura hay 2 (ITIS) o 3 (II) pruebas parciales cuyas notas permiten aprobar por curso. Los que no aprueben deben realizar el examen final. • Pruebas ejercicios (PE): En cada grupo de aula se realizan durante las clases unos cuantos ejercicios de unos minutos de duración, sin aviso previo, y elegidos a criterio del profesor del grupo. El objetivo principal es potenciar y premiar la asistencia continuada a clase, así como la atención durante la misma. Además es un magnífico medio de realimentación para alumno y profesor. Aunque las PE se realizan en todas las asignaturas, su implementación varía en función de las circunstancias concretas del grupo de aula y profesor. En este estudio se expondrán datos de un grupo de EC de II, donde se han realizado 10 ejercicios. Si el alumno había respondido, al menos, a 5 de ellos, contribuían sumando (nunca bajando) puntos en la nota por curso (máximo de 2 para 10 ejercicios perfectos). Como puede observarse, este sistema de evaluación promueve potenciar la asistencia y participación en las actividades presenciales, así como el estudio continuado. El alumno no sólo recibe múltiples calificaciones distribuidas a lo largo del cuatrimestre, sino que su propio conocimiento es continuamente realimentado, de forma que pueda detectar y, en su caso, corregir inmediatamente sus lagunas. 3. Metodología de estudio: Datos obtenidos Los resultados de las actas desde 1998 a 2007 se muestran en la Tabla 1 (al final). Con el fin de facilitar su análisis, a continuación se presentan en forma gráfica. Se han considerado cinco casos a modo de indicadores de los aspectos más relevantes: 1. Aprobados anualmente; 2. Aprobados en la 1ª convocatoria frente a los aprobados en las otras dos convocatorias oficiales; 3. Resultados de la 1ª convocatoria; 4. Resultados conjuntos de la 1ª y 2ª convocatorias; y 5. Resultados de la 3ª convocatoria. Para cada caso se presentan los resultados de las cuatro asignaturas. 1. Aprobados anualmente: Número de alumnos que aprueban la asignatura en las tres convocatorias (1ª, 2ª y 3ª). La comparación se hace frente a los matriculados. Es un indicador del éxito (aprobados/matriculados) del año. La Fig. 1 muestra su evolución en el periodo analizado. Los aprobados en la 3ª convocatoria es un caso diferente ya que son repetidores del curso anterior, por lo que proceden de los no aprobados en 1ª ni 2ª en dicho curso. Esto es, el valor de un año, p. ej. el 2000, procede de los aprobados en 1ª y 2ª convocatoria del curso 1999/2000 más la suma de los aprobados en la 3ª convocatoria de ese año (diciembre de 2000). El valor de referencia se toma respecto a los matriculados inicialmente: en nuestro caso anterior, los matriculados en 1999/2000. Nótese que los alumnos repetidores forman parte también del siguiente curso, 2000/2001, por lo que forman parte del 100% de alumnos en la estadística del 2001, lo que introduce un ligero error. 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 FC - ITIS: Porcentaje de aprobados en las tres convocatorias del año Media 35% FC-II: Porcentaje de aprobados en las tres convocatorias del año (Media del 47%) 0% 10% 20% 30% 40% 50% 60% 70% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 EC-ITIS: Porcentajes de aprobados en las tres convocatorias. Media: 22% 0% 5% 10% 15% 20% 25% 30% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Figura 1. Aprobados anualmente Tras analizar las gráficas de la (Fig.1) se concluye que el éxito es pequeño (FC-II: 47%, FC-ITIS: 35%, EC-II: 37%, EC-ITIS: 22%), con media del 35%. Sólo un alumno de cada tres matriculados aprueba entre 1ª, 2ª y 3ª. Un resultado inesperado, pero importante, surge al comparar el periodo de sólo examen final frente al de, además, pruebas parciales. Pese a lo que cabría esperar, la introducción de más pruebas de evaluación no ha mejorado el éxito en ninguna asignatura (salvo en EC-ITIS). El éxito con sólo examen final hasta 2004 es mayor que el conseguido con evaluación más continua (2005-2007). 2. Aprobados en convocatorias ordinarias (1ª) frente a extraordinarias (2ª y 3ª): Muestra la distribución de los aprobados a lo largo del curso. Concretamente se mide cuántos alumnos aprueban en 1ª y cuántos entre 2ª y 3ª (conjuntamente). Este indicador debe mostrar la importancia que tienen las “segundas” convocatorias (2ª y 3ª) frente a la “principal” (1ª). 0% 10% 20% 30% 40% 50% 60% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 EC - II: Porcentaje de aprobados en las tres convocatorias FC-II: Porcentaje de aprobados frente a total 0% 20% 40% 60% 80% 100% 120% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Conv. 1 Conv. 2 y 3 Media: 65% en 1ª y 35% entre 2ª y 3ª Media: 37% EC-ITIS: Porcentajes de aprobados frente a total 0% 20% 40% 60% 80% 100% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Conv. 1 Conv. 2 y 3 Figura 2. Aprobados en convocatorias 1ª, 2ª y 3ª Analizando las gráficas de la (Fig.2), en términos medios el 67% de los alumnos aprueban en primera convocatoria (FC-II: 65%, FC-ITIS: 65%, EC-II: 77%, EC-ITIS: 63%). Esto significa que 2 de cada 3 aprobados lo hace en la primera convocatoria. Obviamente, la aportación de las otras dos convocatorias, 2ª y 3ª, es de un 32% (35%; 35%; 23%; 37%) lo cual es una cantidad nada FC-ITIS: Porcentaje de aprobados frente a total 0% 20% 40% 60% 80% 100% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Conv. 1 Conv. 2 y 3 Medias: 65% en conv. 1 y 35% en conv. 2 y 3 EC-II: Porcentajes de aprobados frente al total 0% 20% 40% 60% 80% 100% 120% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Conv. 1 Conv. 2 y 3 Medias: 77% en Conv. 1; 23% en conv. 2 y 3 Medias: 63% en Conv. 1; 37% en conv. 2 y 3 despreciable. De hecho, en todas las asignaturas salvo EC-II, ha habido al menos un año en el que han aprobado más alumnos entre la segunda y tercera convocatoria que en la primera. En los últimos años el peso de los aprobados en la segunda y tercera convocatoria está muy por debajo de la media, siendo clara la tendencia de concentrarse cada vez más los aprobados en la primera convocatoria, en detrimento de la segunda y la tercera. Esta tendencia toma fuerza desde que, a partir de 2005, se desarrolla el sistema de evaluación basado en pruebas parciales. Así, los porcentajes medios de aprobados en 2ª y 3ª en los años 2005, 2006 y 2007 son del 16% (7%, 25%, 8%, 23%), justo la mitad del 32%, porcentaje obtenido como promedio en los 10 años analizados. 3. Datos de la 1ª convocatoria: En este apartado se presentan los datos de actas de la principal convocatoria anual. Para cada titulación se muestran los porcentajes de aprobados y suspensos frente a los presentados. A partir de las gráficas (Fig.3), se obtiene un perfil medio de aproximadamente la mitad (o poco más) de suspensos y la mitad (o poco menos) de aprobados en esta convocatoria. Aunque hay más suspensos que aprobados, no es una desproporción acusada. De hecho, la percepción es que estas asignaturas “son fáciles”. FC-II: Resultados de los presentados en la Convocatoria 1 Medias: susp 51%, apr 49% 0 20 40 60 80 100 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Susp Apr FC-ITIS: Presentados en Convocatoria 1 Medias: susp 58%; apr 42% 0% 20% 40% 60% 80% 10 0 % 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Susp Apr EC-II: Resultados de los Presentados en Convocatoria 1 Medias: Susp 42%, Apr 58% 0% 20% 40% 60% 80% 100% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Susp Apr EC-ITIS: Resultados de Presentados en 1ª convocatoria Media: 58% de susp y 42% de apr 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Susp Apr Figura 3. Resultados de la 1ª convocatoria. En el período 1998-2004 (sólo exámenes finales), aunque hay fluctuaciones y “picos” excepcionales en algunas asignaturas se mantiene este perfil. Por el contrario, se aprecia un notable aumento en el porcentaje de aprobados desde que se ha incorporado la evaluación por parciales (2005-2007), de forma especialmente marcada en FC-II y EC-II donde se ha sobrepasado el 80% de aprobados. Claramente, desde que se incorporó el sistema de parciales la tendencia es aumentar el porcentaje de aprobados (disminuye el porcentaje de suspensos). La causa de esto es doble. Por una parte, todos los alumnos que aprueban por curso se cuentan directamente como aprobados en esta convocatoria, mientras que los suspensos por curso no se cuentan. Por otra, muchos de los alumnos que no aprueban por curso dejan de presentarse en el examen final, por lo que en éste el número de suspensos (y de aprobados) es menor y, por tanto, los resultados del examen final son cada vez menos relevantes en la primera convocatoria. Hay que señalar el resultado absolutamente atípico de la 1ª convocatoria de FC-ITIS de 2007, tanto en el número extraordinariamente bajo de aprobados como en la ruptura de la tendencia anteriormente comentada desde las pruebas parciales. 4. Datos de la 1ª y 2ª convocatorias: El conjunto de las convocatorias 1ª y 2ª ofrece, quizás, la mejor indicación del resultado académico de un curso, a pesar de que se elimine el impacto de la convocatoria de diciembre. El número total de alumnos es el de matriculados en el curso, sean repetidores o no; el número de aprobados es la suma de los que aprueban en la 1ª o en la 2ª convocatoria mientras que el número de suspensos y el número de no presentados son los de la 2ª convocatoria. Por esto, las gráficas (Fig.4) muestran una indicación de qué alumnos tienen éxito (Apr), fracasan (Susp) o abandonan (NP) la asignatura en un curso académico. Se ha eliminado la convocatoria de diciembre porque en ésta el alumno debe ser repetidor y, por tanto, el total de alumnos en acta es muy distinto del número real de alumnos. FC-II: Porcentajes de resultados en 1ª y 2ª convocatoria 0% 10% 20% 30% 40% 50% 60% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 NP Susp Apr Medias: NP 45%, Susp 12%, Apr 43% FC-ITIS: Porcentaje de resultados de 1ª y 2ª convocatorias 0% 10% 20% 30% 40% 50% 60% 70% 80% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 NP Susp Apr Medias: NP 56%, Susp 11% , Apr 33% EC-II: Resultados globales en 1ª y 2ª Conv. 0% 20% 40% 60% 80% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 NP Susp Apr Medias: NP 59% ; Susp 7% ; Apr 34% EC-ITIS: Porcentajes de resultados de 1ª y 2ª convocatorias 0% 20% 40% 60% 80% 100% 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 NP Susp Apr Medias: 71% de NP, 9% de Susp y 20% de Apr Figura 4. Resultados de la 1ª y 2ª convocatorias. Las convocatorias primera y segunda en su conjunto ofrecen los siguientes valores medios para las cuatro asignaturas estudiadas: Media de NP del 58% (45%, 56%, 59%, 71%), Media de Susp del 10% (12%, 11%, 7%, 9%), Media de Apr del 33% (43%, 33%, 34%, 20%). Uno de cada tres matriculados aprueba antes o en septiembre, si bien hay diferencias entre las asignaturas. También se aprecia que aprueban más alumnos en el primer cuatrimestre (FC) que en el segundo (EC). El porcentaje medio de suspensos es muy bajo (10% de los matriculados) y sin diferencias apreciables entre las asignaturas. En cuanto al peor dato, sin duda es el porcentaje medio de NP: 58%, lo que significa que casi 6 alumnos de cada 10 matriculados no se presentan. Este dato es muy malo en el mejor de los casos –de nuevo FC-II con un 45%- y se dispara en EC-ITS con un 71%. El resultado del primer cuatrimestre (FC) en porcentaje de aprobados es del 38% (43%, 33%) mientras que el del segundo cuatrimestre (EC) es del 27% (34%, 20%). En cuanto al resultado de los suspensos, tenemos FC con un 12.5% (12%, 11%) y EC con un 8% (7%, 9%). Ambos porcentajes son mayores en FC que en EC. Este dato se explica por la disminución en el número de NP. Es importante destacar que el aumento en el número de presentados contribuye a aumentar el número de aprobados (38% frente al 27%: diferencia del 11%) en mucha mayor proporción que el de suspensos (12.5% frente al 8%: diferencia del 4.5%). 5. Datos de la 3ª convocatoria: La 3ª convocatoria es, sin duda, una convocatoria de carácter extraordinario cuyos datos (Fig. 5) son analizados a continuación. Esta convocatoria tiene un elevado porcentaje de NP, un 83% (76%, 83%, 84%, 88%), siendo poco notables las desviaciones de cada asignatura. La proporción entre aprobados y suspensos roza el 50%. De hecho, en FC hay un porcentaje ligeramente mayor de aprobados que de suspensos. Sólo en EC-ITIS hay más suspensos que aprobados en proporción de 3 a 2. Se muestra claramente una tendencia a incrementar el número de los NP. De hecho, los presentados en la última convocatoria (dic-2006) alcanzan las ridículas cifras de 1 sobre 107 en FC-II, 4 sobre 124 en FC-ITIS, 3 sobre 137 en EC-II y 12 sobre 205 en EC-ITIS. Se trata de una tendencia generalizada en las asignaturas y que se hace muy acusada desde que existe la evaluación por curso.