La evaluación escolar : ilusión y prudencia

Educar. 11 119871. 113-126 LA EVALUACION ESCOLAR: ILUSION Y PRUDENCIA Jacques Roussell École Normale de la Universidad de Toulouse-le-Mirail RESUMEN La esperanza de 10s expertos reside en que una teoria de la evaluación prescriba 10s medios y condiciones de una buena evaluación. El tratamiento epistemológico de la evaluación muestra que toda concepción normativa entraíia la destrucción del objeto de la pedagogia y su transformación en un imaginari0 irreal en sus enunciados e ilusorio en sus prescripciones prácticas. La conclusión analiza y sobrepasa la solución de un relativismo radical propuesto por dos trabajos recientes. Tangencialmente, se presenta a 10s lectores espafioles un panorama de las practicas y de las investigaciones en cuanto a evaluación en 10s paises francófonos. ABSTRACT Practica1 people hope for a theory of evaluation that prescribes the means and conditions of correct evaluation. Epistemological treatment of evaluation shows that all standard conceptions entail destruction of the object of pedagogy and its transformation into the unreal and imaginary in its statements and the illusory in its practica1 prescriptions. The conclusion analyses and goes beyond the solution of a radical relativism, put forward in two recent papers. Tangentially, Spanish readers are presented with a panorama of the practices and the investigations with regard to evaluation in French speaking countries. El objetivo de este articulo sobre la evaluación escolar es examinar si una teoria de la evaluación puede tener como función y resultado el establecimiento de las condiciones para una buena evaluación. Éste es el motivo por el que 10s practicos interpelan al investigador. Esperan que pueda proponerse un modelo seguro del que s610 cabria hacer la aplicación. La satisfacción de esta esperanza responderia a dos preocupaciones mayores. No seguros de 10s medios de su practica, 10s maestros desean disponer de instrumentos susceptibles de revelar con exactitud el valor de su enseñanza, asi como el del aprendizaje de sus alumnos. Inquietos por las consecuencias irreversibles de las decisiones de certificación y de orientación tomadas en función de las evaluaciones, aquéllos reclaman garantias que aseguren la objetividad de sus actuaciones. La urgencia por establecer las condiciones de una buena evaluación no es deseo exclusivo de 10s docentes. Es una exigencia de la Adrninistración y de 10s ciudadanos. La Administración ha de rendir cuentas de la utilización de 10s presupuestos onerosos que financian 10s sistemas educativos. Su responsabilidad es ineludible. Los ciudadanos también son sensibles al deseo de una buena evaluación. Las incertidumbres que supone la evaluación constituyen el origen de la devaluación de la institución educativa; nutren la fuerza de las protestas; sirven de base a múltiples concepciones ideológicas de la escuela. La tesis sostenida en este articulo es que el teórico no puede responder a la demanda del establecimiento de las condiciones de una buena evaluación; esto es una ilusión, no por motivos accidentales, sino por razones esenciales. Es verdad, como atestiguan actitudes y opiniones, que la evaluación provoca, que se halla en el corazón del proceso educativo. No constituye un momento extrinseco, facultativo o simplemente conclusivo, como podria dar a entender la disposición común de los capitulos de los manuales y la organización de 10s estudios que determina el lugar de 10s controles al término del aprendizaje. La evaluación no se situa en un extremo del proceso educativo: le es inmanente, consubstancial. Es, en efecto, la operación que asegura la existencia y la coherencia del objeto de la pedagogia. Este objeto de la pedagogia ha sido definido por L. Not en un articulo publicado en 1969 en la revista ctHomo)). Esta concepción es redescubierta y retomada por las investigaciones más recientes en didáctica. La expresión ctobjeto de la pedagogia)).no designa banalmente 10 que hace el contenido del discurso pedagógico. El objeto de la pedagogia es 10 que hace que el discurso pedagógico sea posible y tenga un sentido. Este objeto esta ya construido. Es el resultado de una determinación epistemológica. Es el modelo de las situaciones didácticas empiricamente observa- 115 bles. Su constitución fija las condiciones, sin las cuales el saber pedagógico no puede ser el conocimiento de una realidad efectiva, subsistente fuera e independientemente de la mirada del investigador que la interroga. Toda derogación de las condiciones que aquél impone excluye la posibilidad de una ciencia de la pedagogia y transforma el discurso didactico en una proyección ficticia e imaginaria, irreal en sus enunciados teóricos, ilusoria en sus prescripciones practicas. Este objeto de la pedagogia esta constituido por tres términos en interacción: el alumno, el maestro y el saber. La supresión de uno solo de estos términos vacia el discurso pedagógico de toda consistencia. Anular el saber es transformar la situación pedagógica en una relación dual entre el maestro y el alumno. So10 subsiste, entonces, una situación afectiva, indiferenciable de cualquier otra relación humana. Esta situación es atribuible a la psicosociologia. En este caso, la cuestión de la evaluación, en el sentido mas intuitivo del termino, no puede ser mostrada: estan en juego significaciones y no el valor de 10s comportamientos. Suprimir la atención del alumno supone transformar la situación pedagógica en un sistema de transmisión del saber. No es una situación de aprendizaje; se confunde con las situaciones generales de comunicación y proviene de las teorias de la información. En este caso la evaluación se convierte en un control. Un control es, inicialmente, una operación contable que verifica la correspondencia exacta de dos roles, de dos listas. Pero el problema de la evaluaci6n escolar no es tanto el de decidir si el alumno reproduce exactamente el saber enseñado. Esta en juego la forma como 61 produce el conocimiento adquirido. Olvidar esta preocupación es convertir en equivalentes las apropiaciones aparentes por copia, repetición y comprehensión. La atención del alumno no puede eludirse. Excluir al maestro es dejar al alumno solo ante el mundo. El aprendizaje se identifica con 10 vivido, el saber con 10s cúmulos de experiencias, con la estructuracidn aleatoria y tanteante. El conocimiento no es mas que una profesión de fe. La evaluación se convierte en inoportuna y sin objetivo: el valor de una representación vivida tiende al mero hecho de ser vivida; s610 la autenticidad es exigible. Estos dos perfiles del objeto degradado de la pedagogia provienen de 10s modelos que L. Not caracteriza como pedagogias en tercera persona o en primera persona. La fenomenologia mas elemental verifica que la evaluación debe conservar el objeto de la pedagogia. Por ella se atan las interacciones esenciales entre el alumno, el maestro y el saber. La evaluación se describe siempre como estimación de un nivel de saber, apreciación del trabajo del alumno, pronunciación de un juicio por parte del maestro. Es cierto, pues, que la evaluación se situa en el centro del objeto de la pedagogia. La tesis que se sostiene en este articulo es la de que, por esta razón de orden epistemológico, es decir que tiende a la naturaleza y a la esencia del objeto de la pedagogia y no a circunstancias técnicas provisionales, el proyecto de constituir una buena evaluación es ilusorio. Toda promoción de una buena evaluación, es decir, de una evaluación prescriptiva, que dice 10 que se debe hacer, o sea, también normativa, que dice 10 que hay que hacer, entraña necesariamente la disolución del objeto de la pedagogia en un objeto quimérico. La demostración de esta tesis se basará en el analisis critico de dos momentos sucesivos que han marcado la reflexión sobre la evaluación y han pretendido prescribir una buena evaluación: la docimologia basada en el concepto de nota verdadera, la teoria sistémica basada en el concepto de evaluación formativa. Pero el10 no implica la suscripción total de las conclusiones de dos obras recientes, ya que el rigor y el vigor de su denuncia de la hipótesis de la buena evaluación autorizan a servir de base de estas reflexiones. Estos dos libros son el trabajo de J. Cardinet: cc8vaíuation scolaire et pratique)) (1986) y el texto de Y. Chevallard ((Pour une analyse didactique de l'évaluation)) (1986). Estos dos autores constatan la implicación ineludible de la evaluación en la situación didáctica, objeto de la pedagogia. Los dos concluyen que la objetividad, contrariamente a la hipótesis de la buena evaluación, reside en la relatividad de la evaluación. Esta relatividad es la condición de la salvaguarda del contrato pedagógico, es decir, del mantenimiento de la interacción del alumno, el maestro y el saber por la que se determina el objeto de la pedagogia. Esta hipótesis desemboca, según Cardinet, en una ~~aproximación psicosocial de la evaluación)) (O.C., p. 237), en una teoria de la connivencia (O.C., p. 107), según Chevallard. Este relativismo radical no será la conclusión de este articulo. El trabajo epistemológico del concepto de evaluación desemboca en la obligación de tomar una decisión sobre 10s valores implicados en la construcción didáctica. El problema de la evaluación reclama también la competencia y la responsabilidad del filosofo. Y esto porque la problemática de la evaluación va ligada a 10s términos de ilusion y de sabiduria. Pero, antes de tratar a fondo la trayectoria epistemológica y filosófica propuesta, conviene señalar previamente el contexto empirico en el que se elabora la cuestión de la evaluación. Este inventario de las prácticas e investigaciones en 10s paises francófonos obedece a dos motivos. Uno general, que subraya la urgencia de una puesta a punto ante el abandono de 10s trabajos en curso. El otro es el de la atención prestada a 10s lectores españoles, que se ven obligados a acoger este articulo en su revista. Estas informaciones dadas les permitiran orientarse sobre el estado de la cuestión en 10s paises francófonos. En el plano practico, en 10s paises francófonos, se desarrollan actual- mente vastas operaciones de evaluación sistematica de 10s logros escolares. Este hecho es nuevo. Hasta alla por el año 75, se hacia hincapié sobre todo en 10s procesos de aprendizaje y en el desarrollo de la innovación. La evaluación no se presenta como un problema crucial hasta que se impone, en 10s años ochenta por necesidades económicas y sociales tanto como pedagógicas, la necesidad de hacer un balance de la situación escolar. En Francia, hay que destacar dos hechos significatives. Uno de ellos es informativo: 10s servicios estadisticos del ministeri0 de Educación Nacional proceden, desde 1979, a una encuesta sistemática sobre muestras para evaluar el nivel de 10s alumnos sometidos a la enseñanza obligatoria (de 6 a 16 años). El otro es institucional. Por primera vez, en mayo de 1985, unas instituciones oficiales definen el procedimiento de evaluación para la escuela elemental y programan sistematicamente su aplicación. En Québec se ha realizado un esfuerzo considerable para asegurar el seguimiento de 10s alumnos. La dirección de la evaluación difunde entre 10s maestros colecciones de instrumentos de evaluación formativa de 10s aprendizajes. En la Suiza de cultura francesa, la investigación-acción (proyecto Rapsodie, por ejemplo) da lugar a evaluaciones analizadas en el trabajo de L. Allal y colaboradores titulado ctL'évaluation formative dans un enseignement différencién (1978). En el plano teórico, las investigaciones de lengua francesa se caracterizan por su riqueza y su diversidad. En Francia, donde múltiples organismos se centran en el tema, hay cinco centros particularmente activos. La universidad de Aix-en-Provence, en la prolongación de 10s trabajos de G. Noizet y J.P. Caverni, prosigue investigaciones de docimologia experimental. En Burdeos, bajo la dirección de Wittver y de P. Brousseau, se desarrollan análisis en el marco de una teoria de las situaciones de aprendizaje. En Lyon, 10s Ateliers Lyonnais de Pédagogie se consagran al estudio de la evaluación formativa. En Dijon, el Institut National de Recherche et d'Aplication Pédagogiques (INRAP), bajo la dirección de M.C. Dauvisis, autor de una importante tesis, ((Les objectifs de l'enseignement des mathématiques et la docimologie)> (1982), realiza análisis teóricos e instrumentos de la evaluación. En Ruan, el equipo animado por A. Raffestein publicó en 1985 siete cuadernos sobre la evaluación formativa y la escuela elemental. En Québec, la entrada en la pedagogia por objetivos es la fuente principal de las investigaciones. En Ginebra, 10s trabajos sobre la evaluación se inscriben en la prolongación dada al constructivismo piagetiano por las tesis de A.N. PerretClermont y M. Doize sobre el desarrollo social de la inteligencia. Éste es el contexto práctico y teórico en el que se publican las dos obras citadas. Más allá de la disparidad de 10s hechos y de 10s métodos, estos trabajos se caracterizan por un rasgo común: sobrepasar el paradigma de la calificación y la introducción del concepto de evaluación con el desecho de toda visión perspectiva y normativa. El paradigma de la calificación ha dominado todo el periodo de la docimologia clásica. Se inaugura en Francia en 1922 con 10s trabajos de H. Laugier y D. Weinberg sobre 10s resultados del certificado de estudios, el cual, en aquella época, sancionaba el final de la escolaridad obligatoria. Esta orientación docimológica se desarrolla en el ámbito internacional con la encuesta Carnegie del año 1932. Se concluye con la síntesis publicada en 1963 por H. Pieron bajo el titulo crExamens et docimologie)). En el plano práctico, las conclusiones de la docimologia encuentran su aplicación con la reforma de la calificación en 1969 que substituye la escala numérica de 21 eslabones por una escala reducida de 5 eslabones codificados literalmente por las letras A,B,C,D y E. La docimologia clhsica tendra como prolongación la docimologia experimental ilustrada por la obra de G. Noizet y J.P. Caverni titulada crPsychologie de l'évaluation scolaire)) (1978). Tales son 10s hechos. Nos queda despejar la significación y las consecuencias. El postulado de la docimologia es bien conocido: La apreciación de las producciones escolares consiste en una medida expresada por una nota. Una medida es la operación que asocia un número a cada elemento de un conjunt0 definido de objetos. La evidencia demuestra que la calificación tal como es practicada habitualmente verifica esta condición. Pero, por encima de las apariencias, las condiciones en las que este postulado se aplica se cuestionan. Esta interrogación proviene de dos competencias: la del técnico en metrologia, el matemático, y la del epistemólogo. Cualquiera que sea el método utilizado, 10s resultados son equivalentes: la teoria de la calificación queda invalidada. Por economia de trabajo se impone no considerar sino la dimensión epistemologica. Afirmar que una clase de fenomenos constituye la fuerza de la medida supone una precaución previa: habria que asegurar, en primer lugar, que el objeto tratado es susceptible de verificar 10s axiomas que definen la operación medida. Esta prudencia inicial no es respetada por 10s docimólogos: según ellos, la notación es en si misma una medida. Una convicción tan gratuita so10 se explica por las condiciones historicas de su afirmación. Desde que intenta constituirse como ciencia, la psicologia, y con ella la pedagogia, siente fascinación por las ciencias duras. Psicofísica y psicometria se construyen sobre este presupuesto de saber positivo, medible. Cuando este postulado es puesto a prueba de 10s hechos, parece que en realidad 10s conjuntos de notas no se comportan como medidas. No verifican las propiedades que se esperan de toda medida: no tienen ni validez ni fiabilidad. Esta constatación, en lugar de desechar la hipótesis metrológica, tiene el efecto contrario: reforzarla. Si las notas no se comportan como medidas, no es por razones esenciales, sino facticas. Para salvar la calificación como medida hay dos operaciones. Una de ellas es teórica: consiste en apaciguar las contradicciones axiomaticas de la medida. Aparece entonces la teoria de niveles de medida de S.S. Stevens desarrollada por Coombs y divulgada por M. Reuchlin. La otra es técnica. Consiste en proceder a una inversión de la realidad. Si las notas no se comportan como medida no es a consecuencia de una naturaleza rebelde, sino por error. Una escrupulosa revisión de las fuentes de error mediante medios estadisticos permite transformar efectivamente las notas en medida y fundar la teoria llamada de la nota verdadera. Sin penetrar mas en el análisis técnico, 10s argumentos expuestos permiten elicitar conclusiones. En primer lugar, en función de la trayectoria. Existe una buena calificación: la que puede presentarse como medida. Esta buena calificación no se encuentra en el orden de 10 real. Proviene de 10 deseable, de la posibilidad de que una formación clarificada de 10s evaluadores podra permitir acercarse. Las conclusiones son, pues, resolutivamente prescriptivas y normativas. Pero el precio a pagar es oneroso, mas que el de las manipulaciones lógicas de que anteriormente se ha hablado. El precio es la disolución de la situación pedagógica en la que toda apreciación escolar toma su sentido. No s610 10s conjuntos de notas son manipulados hasta que al fin se llega a la verdadera nota, sino que es, sobre todo, la situación pedagógica la que se anula. Bajo la mirada fria de un medidor no quedan mas que producciones anónimas, conjuntos de copias sin autor, sin promotor, con evaluadores desencarnados por permutables. iAÚn mas!, las necesidades de la experimentación exigen el recurso a variables invocadas, 10 que es precedido por la fabricación de copias artificiales que no son de nadie y que no van a ninguna parte. Desde aquí todo esta perdido o casi. Permanecera, al menos, que en toda hipótesis la razón exige no utilizar instrumentos de medida mas precisos que 10s únicos del error probable. Esto sera la reforma de la calificación. Aun teniendo en cuenta la excelencia de las intenciones, prescribir una buena evaluación con la visión de la nota verdadera es un hecho. La voluntad normativa opera substituyendo la realidad de la situación didac- tica por un univers0 imaginari0 tanto como irrealizable por ella: el del estadistico. Retomando el titulo de un articulo de G. Ferry aparecido en 1967 en la revista ct~'Éducation)), es la muerte de la pedagogia. La evaluaci6n prescriptiva se instituye s610 por la evaluacidn del alumno, del maestro y del saber. El objeto de la pedagogia está liquidado. Ahora bien, la realidad de la clase está ahi y no queda ninguna garantia para comprenderla. El pensamiento puede dejar dictar sus juicios por 10s hechos. Y, según 10s hechos que la mirada retiene, la calificaci611 va demasiado bien o va demasiado mal. La muerte de la pedagogia se celebrará en el jubilo de la supresion de toda calificacion que ha quedado claro que esta inexorablemente plagada de errores. Esta justa supresi6n será ejecutada por M. Lobrot, quien propone la supresi6n de toda apreciacion del trabajo escolar y sostiene que la competencia de cada uno se puede probar con la realidad. R. Cousinet, desde 1949, habia ya dejado entrever ((la supresi6n de la interrogacibn, de la recitacibn individual de las lecciones, el ejercicio y la apreciaci6n del maestro)) (citado por L. Not, p. 112, 1979). O bien la calificacidn es sometida a las decisiones de la contestaci6n. La calificaci6n va en verdad muy bien hasta que aparece ante 10s ojos de 10s soci6logos criticos, conducidos por 10s Héritiers de P. Bourdieu (1966), que 10s errores de la calificaci611 no hacen sino corroborar 10s efectos desastrosos de la cultura dominante. S610 falta que 10s hechos sean testarudos. La situaci6n pedag6gica está ahi. Esta situacion no hace sufrir por el hecho de constatar que existe. No es natural, es institucional. Es, pues, costosa socialmente, afectivamente. Su dinámica exige que cada uno, maestro y alumno, encuentre una respuesta clara a su implicaci6n en el trabajo pedag6gico. Ahora bien, la ruina del paradigma de la calificaci6n deja a uno desprovisto de todo instrumento para adoptar esta dinámica de la situacidn escolar. Por suerte, existe, al margen del imperi0 devastado de la calificacion, un concepto que podrá tomar el relevo. Este concepto es el de la evaluacion. Es a priori aceptable. Su cobertura semántica equidista de 10s rigores métricos de la calificacibn y de las intuiciones sospechosas de la apreciacion. Su virginidad es suficiente para permitir con toda pureza la construcci6n del trabajo te6rico. Prueba de ello es que ningún diccionario, ni siquiera en la actualidad, certifica su uso escolar ni aparece en 10s léxicos especializados que aparecen allá por el año 1979 (de Landscheere), sin que se pueda encontrar entonces una definicidn operativa del término. Desde entonces hasta ahora, su aparici6n esponthnea en 10s textos es rarisima. Sobre este concepto de evaluaci6n, inicialmente pobre en determinaciones, podrh construirse un modelo resolutivamente cientifico, es decir, que conserve la realidad de la situación pedagógica a la que tiene que rendir cuentas. Este modelo es el modelo sistémico. Este modelo se anuncia pertinente y rico en promesas. Su pertinencia tiende a la conservación del objeto de la pedagogia. A cada uno de 10s términos que constituyen el objeto de la pedagogia corresponden términos que organizan la evaluación. Al polo del saber corresponde la noción de objetivo, al del alumno la de proceso de aprendizaje y de estrategia, al del maestro, la de la diferenciación de 10s tipos de evaluación. Las promesas resultan de la confluencia de saberes y técnicas mas evolucionados. La lógica y la epistemologia de las disciplinas operan el análisis de 10s objetivos y subobjetivos. La psicologia comportamental permite dar una definición operativa a cada objetivo determinado por la descripción rigurosa del comportamiento esperado en una situación dada. La psicologia genética marca 10s hitos que autorizan la interpretación de las conductas de aprendizaje. La cibernética diferencia las variedades de regulaciones efectuadas por el maestro evaluador. Una categorización distingue tres clases de evaluaciones según 10s criterios de la función, del momento y de 10s instrumentos. La evaluación sumativa se situa al término de un aprendizaje; su función es la de certificación; su instrumento es la prueba estandarizada y criteriada. La evaluación predictiva interviene ante el aprendizaje; su función es diagnosticar las posibilidades de aprendizaje del alumno; su instrumento, el test mental. La evaluación formativa opera durante el aprendizaje; su función es informar al maestro de la adhesión del alumno a la enseñanza dada; sus instrumentos son la interrogación, la observación y la interpretación de las conductas de 10s alumnos. El conjunt0 de estas nociones se unifica alrededor del concepto de pedagogia de la maestria introducido por M. Caroll y desarrollado por B.S. Bloom (1968). Por este concepto se substituye el modelo de la repartición gausiana de las notas, utilizado por la docimologia clásica por una curva en J de 10s resultados. Esta curva en J significa que, en teoria y consagrando a la tarea todo el tiempo necesario, todos 10s alumnos pueden alcanzar el objetivo asignado. Esta fuerte racionalidad de la evaluación que organiza el modelo sistémico se comprueba como un proyecto irrealizable. El modelo sistémico, al igual que el modelo docimológico, es un modelo prescriptivo. Habra sido utilizado para estimular la innovación pedagógica. Pero no conserva mas que en la teoria el objeto de la pedagogia; éste no existe mas que de forma imaginaria, ilusoria. En realidad, en cada una de las proposiciones del modelo se observa su inversa. El análisis de 10s objetivos genera una estructura lineal y aditiva de 10s aprendizajes. Esta estructura es incompatible con el funcionamiento real de una inteligencia en desarrollo. Como ha demostrado J. Piaget, la