El resumen y su evaluación: aspectos teóricos y pedagógicos en el contexto de lenguas extranjeras

Estudios de lingüística inglesa aplicada EL RESUMEN Y SU EVALUACIÓN: ASPECTOS TEÓRICOS Y PEDAGÓGICOS EN EL CONTEXTO DE LENGUAS EXTRANJERAS Irina Argüelles Álvarez Universidad Politécnica de Madrid, España [email protected] A partir de investigaciones teóricas previas en el área de la comprensión lectora y el resumen, este trabajo presenta un modelo de baremo de bandas analíticas para evaluar resúmenes de textos expositivos en el aula de lenguas extranjeras y profundiza en su elaboración. La primera parte del trabajo trata de responder a las preguntas relacionadas con la producción de resúmenes desde una perspectiva cognitivo-textual. Seguidamente, se resumen algunas propuestas de adaptaciones pedagógicas basadas en las teorías anteriores para su aplicación en el aula. Por último, se repasan algunos de los modelos de evaluación existentes y se propone un método de evaluación y calificación de resúmenes en lengua extranjera para su uso dentro del aula desde una perspectiva formativa. La elaboración del baremo más que el producto final centra esta última parte del trabajo. Como conclusión, se resalta el valor formativo de la guía que puede servir, además de como baremo para evaluar el resumen, como apoyo para la enseñanza de este tipo de destrezas, para la autoevaluación o para la evaluación entre pares, o como guía en grupos de discusión de profesores o de alumnos. Palabras clave: Resumen, enseñanza, evaluación, guías de calificación. ELIA 12, 2012, pp. 115-152 116 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 Based on previous research in the areas of reading and summary writing, this paper has two goals: (1) to present a guide based on analytical bands to assess summaries of expository texts in a foreign language; and (2) to elaborate on its design process. The first part of the paper seeks to address those questions related to the production of summaries from a cognitive-textual perspective. The second part presents proposals for the application of those theories in the classroom. Finally, some of the existing models for the assessment of written summaries are evaluated and an alternative method is presented for the assessment of summaries in a foreign language with formative aims. The final section focuses on the process of the guide elaboration more than on the description of the resulting guide. The conclusion highlights the formative value of the guide, as it can be used not only to assess the product, but also as a support in the teaching of skills involved in summary writing, for self assessment, peer-evaluation or as guide in student or teacher discussion groups. Key words: Summary writing, teaching, assessment, scoring guides. 1. INTRODUCCIÓN Pensamos como Enrique Bernárdez en su prólogo al Resumen Escolar de Álvarez Angulo (1998: 5) que tratar sobre el resumen no es tratar sobre un tema local y particular sino todo lo contrario, por cuan- to que la práctica de dicha actividad presupone la puesta en marcha de habilidades de comprensión lectora y de producción escrita y por ende, de todas aquellas aptitudes cognitivas y comunicativas propias de tales actividades. Pero además de tales cuestiones de tipo cognitivo, existen otros factores que afectan a la producción del resumen y que tienen que ver con las relaciones entre sus componentes. Si, como proponen algunos autores (Cassany, Luna y Sanz 1994: 313), “texto significa cualquier manifestación verbal y completa que se produzca en una comunicación”, entonces proponemos que los resúmenes de cualquier tipo, y, concretamente, los 117 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 escritos por nuestros estudiantes, son textos y, por lo tanto, deberán ajustarse a las características que los identifican como tales. Por último, nos parece importante que los estudiantes aprendan a resumir dentro del aula de primeras y segundas lenguas. Aunque hoy se aplican nuevas metodologías o enfoques (Álvarez Angulo 2007; Chen y Su 2011; Frandsen 2011), esta concepción de la enseñanza–aprendizaje del resumen en el aula no es nueva y desde los primeros trabajos teóricos sobre tal habilidad, la práctica del resumen se entiende como una actividad que debe llevarse al aula (van Dijk 1979: 123). Si, como veremos más adelante, la evaluación es consecuencia lógica de la enseñanza–aprendizaje, entonces evaluar la habilidad de resumir es el resultado esperable de la enseñanza formal de tal actividad cognitivo–textual. Pero previa a cualquier consideración pedagógica, es la definición de resumen. Definir un resumen ha ocupado el tiempo de muchos investigadores durante años. De hecho, contamos hoy con numerosas propuestas1. Adoptamos en nuestro trabajo la definición de Álvarez Angulo (1998: 102) porque intenta conciliar las anteriores por un lado, y recoge, por otro, esa doble perspectiva cognitiva y textual que compartimos y que haremos nuestra a lo largo de esta investigación. Independientemente de su denominación y del tipo de aplicación de que se trate (resumen escolar; documentación (indexación) o de práctica profesional), el resumen es una habilidad textual compleja, una estrategia para procesar información, de gran utilidad social. Tal complejidad se justifica porque requiere una serie de operaciones cognitivas y lingüísticas (escoger, jerarquizar informaciones y organizarlas en otro texto: comprensión), así como la reformulación de las mismas en un nuevo texto, sometido a las exigencias de coherencia y cohesión de todo texto: producción. Consiste dicha estrategia en una paráfrasis selectiva textual, generalmente más corta, que se establece sobre el mantenimiento de una equivalencia informativa, economía de medios en el significante y adaptación a una situación nueva de comunicación. El tipo de texto — de partida, base, inicial (T)—, con la correspondiente superestructura, la 118 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 finalidad y el destinatario condicionan la realización del producto final: el resumen (t). La psicología cognitiva, que trata de explicar esos complicados mecanismos que intervienen en la tarea de resumir un texto, por un lado, y, la lingüística textual, que se centra en el resumen como texto, por otro, constituyen el marco teórico de esta parte del trabajo. 2. ASPECTOS COGNITIVOS RELACIONADOS CON EL RESUMEN Tratar de hablar sobre el resumen, de su metodología o de su evaluación es labor prácticamente imposible si no partimos de teorías cognitivas bien conocidas y ampliamente aceptadas como las de Walter Kintsch y Teun A. van Dijk. Desde la publicación en 1978 de su artículo Towards a model of text comprehension and production y hasta nuestros días, el estudio de aspectos cognitivos relacionados con la comprensión y producción de textos, y, más concretamente, con el resumen, incluye, en mayor o menor medida, referencias a dicho trabajo y a otros de los mismos autores, como, por ejemplo: Johns y Mayes 1990; Vega de M. et al. 1990; Castellá 1992; Hare 1992; Carson 1993; Milian Gubern 1997; Downing 1998; Bernárdez 1999 y Luque et al. 1999 entre otros. Queremos además añadir a las investigaciones de Kintsch y van Dijk las de otros investigadores que con anterioridad (Rumelhart 1977) o basados en los primeros (Garner1982; Brown y Day 1983; Brown, Day y Jones 1983; Bean y Steenwyk 1984; Hare y Borchardt 1984; Taylor y Beach 1984; Winograd 1984; Hidi y Anderson 1986; Sherrard 1989 en L1 y Edge 1983; Johns y Mayes 1990; Kirkland y Saunders 1991; Sarig 1993 en L2) han permitido el desarrollo de distintos trabajos, unos teóricos y otros pedagógicos, cuyo objetivo es responder cuatro difíciles preguntas: qué se entiende por resumen; qué es un buen resumen; cómo se debe resumir; y cómo llevar al aula el resumen tanto en la lengua materna como en lengua extranjera. 119 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 Kintsch y van Dijk entendieron la comprensión de un texto como un proceso de resumen del mismo y consideraron los resúmenes como la «macroestructura» del texto que se construye durante la lectura. Según los investigadores, los componentes esenciales de este modelo cognitivo son: la microestructura, la macroestructura del texto y el esquema que el lector tiene. Los investigadores parten de que las proposiciones que conforman el discurso se relacionan semánticamente en el proceso de interpretación, a veces explícitamente y, en ocasiones, a través de la inferencia. Los resúmenes se entienden como expresiones de la macroestructura de otro discurso (van Dijk y Kintsch 1985: 8052), que gozan de las propiedades de los discursos naturales. La macroestructura es, en sí misma, un resumen de una secuencia de frases o proposiciones vinculadas por un tópico, aunque más que hablar de una macroestructura de un texto, deberíamos hablar de distintas macroestructuras si nos atenemos a la recursividad de las reglas (van Dijk y Kintsch 1985: 801). Nos interesa esta precisión porque explica que puedan darse distintos niveles de reducción en un resumen. Aunque como hemos dicho, no pretendemos profundizar en la descripción de las macrorreglas por ya conocidas, las presentamos brevemente a continuación siguiendo la clasificación original de Kintsch y van Dijk (1978: 366) dada su pertinencia para estudios posteriores relacionados con la pedagogía del resumen, así como su evaluación: 1. Supresión. Las proposiciones que no condicionan directa o indirectamente la interpretación de una proposición posterior deben eliminarse. 2. Generalización. Cada secuencia de proposiciones debe sustituirse por la proposición general que denota la clase superordinada inmediata. 3. Selección3. De una secuencia de proposiciones, debemos suprimir todas las que representan una condición, componente o 120 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 consecuencia normal de un hecho denotado por otra proposición (según el postulado general o marco) (van Dijk y Kintsch 1985: 801) 4. Construcción. Cada secuencia de proposiciones puede sustituirse por una proposición que denote un hecho global del que los hechos denotados por las proposiciones de la microestructura son condiciones, componentes o consecuencias normales. Según Kintsch y van Dijk, las macrorreglas no se aplican de forma aleatoria sino probabilística y están determinadas por las necesidades u objetivos del lector. Es de suma importancia en este sentido el conocimiento del mundo por parte del individuo ya que aquel, determinará en gran medida que un lector sea capaz de entender un texto o lo mismo que otro lector. El conocimiento previo del lector determina el significado que extraerá de un texto. En los años 60, el concepto de “lo ya conocido” se entiende como un puente que permite entender las ideas en un texto (Ausubel y Robinson 1969). Más adelante, en los 70, se desarrolla la teoría de los esquemas como un modelo que representa cómo se almacena el conocimiento en la memoria (Rumelhart 1977). La teoría de los esquemas se aplica posteriormente a la enseñanza de Inglés como Lengua Extranjera (Carrell 1983a; Carrell 1983b; Carrell y Eisterhold 1983). Siguiendo con van Dijk y Kintsch (1983: 54), existe un tipo especial de esquema que se aplica a la macroestructura: las superestructuras o estructuras esquemáticas4. Las superestructuras son esquemas para las formas de texto más convencionales y facilitan la formación de la macroestrutura durante la comprensión, el recuerdo y la reproducción. Como veremos, son muy importantes para la comprensión y la producción de discurso, y para la aplicación de las macrorreglas. Con respecto a la comprensión, las superestructuras se definen mediante una serie de categorías y reglas de formación y transformación que permiten a los hablantes reconocer el tipo de discurso (“género”, en Downing 1996) al que se enfrentan gracias al conocimiento de su estruc- 121 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 tura global. Las superestructuras no deben entenderse como esquemas fijos, porque la estructura esquemática del discurso sólo se puede entender mediante la aplicación de tales reglas, que especifican posibles organizaciones o transformaciones de las categorías superestructurales. Se sabe poco sobre los procesos mediante los cuales los hablantes de una lengua «comprenden» tales superestructuras (Meyer 1975 y Kintsch y van Dijk 1978 tratan sobre los esquemas superestructurales), pero sí se sabe que dicho reconocimiento resulta de un aprendizaje directamente relacionado con el individuo y su entorno social. Con respecto a la actividad de resumir, el esquema especifica qué tipo de información es importante en su contexto, además del propósito con el que se resume. 2.1. La adaptación pedagógica de las macrorreglas Hasta ahora hemos presentado aspectos teóricos relacionados con la comprensión del texto y la producción del resumen. Nos interesan, además de tales aspectos, su posible repercusión en el aula ya que las reglas de Kintsch y van Dijk siguen adaptándose y enseñándose más o menos explícitamente. Basándose en las investigaciones de Kintsch y van Dijk (1978), Brown, Day y Jones (1983: 974) estudiaron en profundidad, con estudiantes de distintos cursos en la escuela y el instituto, la estrategia copiar– borrar (copy–delete), que suponía básicamente: a. leer los elementos secuencialmente, b. decidir sobre su inclusión o exclusión, y c. si se decide incluirlo, copiarlo más o menos literalmente. Brown, Day y Jones (1983: 977) o Winograd (1984: 421) distinguieron que los lectores más jóvenes o más inexpertos tienden a tomar decisiones sobre qué aspectos del texto original incluir en el resumen basándose en un procedimiento oración a oración, mientras que los lectores mayores o más expertos lo hacen tomando el texto en su conjunto. Los 122 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 autores concluyeron que con la edad y el aprendizaje, los estudiantes adquieren la habilidad para generalizar información, aunque tienden más a sintetizar ideas dentro del mismo párrafo que entre párrafos. Apoyándose en las investigaciones anteriores, Hare y Borchardt (1984) extendieron la lista de reglas para resumir (rulesheet) e incluyeron, además de las reglas de Brown y Day (1983), consejos generales para su aplicación, una regla de combinación de párrafos (paragraph combining rule) y una estrategia de perfeccionamiento del último borrador (polishing strategy), basadas en las investigaciones de Winograd (1984). Se trata de un intento claro por adaptar la teoría a la práctica y, en concreto, a la enseñanza explícita de las reglas dentro del aula. Pero el principal objetivo de la investigación de Hare y Borchardt, más allá de la formación de estudiantes, es analizar si la instrucción facilita al alumno la identificación de ideas principales en un texto expositivo. Hare y Borchardt (1984: 77) entienden que el reconocimiento de las ideas principales es una habilidad fundamental que subyace a la destreza de resumir, si bien es la habilidad que más se resiste a ser llevada de forma directa al aula. Asocian la enseñanza directa a objetivos concretos y la describen en términos de «atención académica específica», es decir, dedicación de tiempo académico y práctica controlada. Hasta ahora, las investigaciones examinadas nos hacen pensar que un buen resumen supone la aplicación de reglas de invención y combinación que, aparentemente, se desarrollan en edades avanzadas y que solo llegan a dominar algunos sujetos. Los estudiantes encuentran dificultades para seleccionar lo fundamental de un texto por la representación de la que se sirven para esta tarea (Whittaker 1991: 466) y, en este sentido, el conocimiento del mundo y de los distintos tipos de texto facilitan y guían la comprensión de un texto, así como la producción de un resumen. También sabemos que las macrorreglas se han llevado al aula y que su enseñanza puede mejorar la calidad de los productos, aunque no mejora, aparentemente, la identificación de ideas principales. 123 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 3. ASPECTOS TEXTUALES RELACIONADOS CON EL RESUMEN Hoy en día se entiende que existe una clara relación entre la estructura del texto y el proceso de comprensión del mismo. Se asume que los lectores con menor capacidad no se aprovechan de tales propiedades del texto, y que con instrucción, los sujetos pueden mejorar su capacidad de comprensión (Meyer et al. 1980, Meyer 1985: 12,13). Siguiendo a Meyer (1984), Sánchez Miguel (1990: 23) propone que los mejores lectores aplican una «estrategia estructural» que les permite detectar la organización interna de los textos que les sirve como patrón para organizar los recuerdos. La competencia textual puede mejorarse y, como dice Bernárdez (1999: 2), el estudio lingüístico del texto está hoy en día perfectamente institucionalizado. Distintos procedimientos, como el de cohesión–coherencia, se conocen y utilizan en la enseñanza–aprendizaje de lectura en lengua nativa y en una lengua extranjera. La LT se preocupa, por un lado, del conocimiento de las estructuras del lenguaje, y por otro, de las condiciones en las que puede aplicarse cada estructura. Para ello se hace necesaria la distinción de “tipos de texto”, que Bernárdez (1999: 26) define como “configuraciones prototípicas de organización textual”5. Tales configuraciones incluyen, según el mismo autor, ciertas superestructuras textuales también denominadas “estructuras retóricas”. Como ya vimos, la superestructura de un texto se reconoce intuitivamente. Sin embargo, además del “prototipo”, podemos reconocer como el mismo tipo de texto otros que conservan ciertas características primordiales, pero que sufren variaciones más o menos acusadas. Además, las secuencias textuales prototípicas no suelen presentarse de forma homogénea en un texto, sino estrechamente relacionadas con otras (Calsamiglia y Tusón 1999: 308). Por su importancia para nuestro estudio, vamos a centrarnos en el texto expositivo y en el resumen desde una perspectiva textual. 130 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 5. LA EVALUACIÓN DEL RESUMEN Si, como hemos visto, la evaluación y calificación es consecuencia lógica de la enseñanza y el aprendizaje dentro de nuestro sistema escolar y universitario, entonces se hace imprescindible encontrar medios que faciliten al profesor juzgar el trabajo de sus estudiantes dentro del aula y, en muchos casos, dar una puntuación al producto de tal trabajo. Aunque hemos encontrado algunas propuestas para la evaluación del resumen en lengua extranjera, extrañamente, no parece haber ejemplos de guías de demostrada validez y fiabilidad especialmente diseñadas para su aplicación dentro del aula o con la suficiente repercusión dentro del ámbito académico6. La guía de Lucisano y Kádár-Fülöp (1988) para la calificación de resúmenes a gran escala es una de las más específicas. Los autores trabajaron con lo que denominaron “esquema de puntuación” (scoring scheme) para la evaluación y calificación de pruebas directas de expresión escrita. Este esquema define los aspectos de los textos escritos que deben tenerse en cuenta y describe los criterios aplicables para juzgar dichos aspectos. Además, presenta una “escala de puntuación” (scoring scale) y un conjunto de redacciones que ejemplifican la evaluación de cada aspec- to de acuerdo con los criterios descritos. Los rasgos evaluados y lo que supone una realización perfecta se determinan a priori, y los evaluadores son formados en el uso de los criterios. El grado de fiabilidad se establece mediante la comparación de notas de varios evaluadores o del mismo tras la corrección de varios ejercicios (Purves et al. 1988: 41). Sin embargo, la guía de Lucisano y Kádár-Fülöp adolece de dos inconvenientes: el primero, que fue creada para pruebas a gran escala y deja muchos criterios sin especificar7; el segundo, que introduce una lista de ideas fundamentales que debe ser elaborada ad hoc para cada prueba y que se tiene en cuenta para la organización y el contenido. Elaborar un listado de este tipo para cada prueba que se lleva al aula nos parece poco económico por cuanto impide la generalización. 131 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 6. CONFECCIÓN DEL BAREMO DE BANDAS ANALÍTICAS PARARESÚMENES(BABAR) Parte de la investigación dentro de esta área de evaluación de la expresión escrita se centra en la relevancia del género y propone que, más que medir la capacidad de un estudiante para componer en general, debemos evaluar su capacidad para componer en un determinado género. Siguiendo esta idea, pensamos que las guías, en el caso de que se usen, habrán de ser creadas expresamente para la evaluación de ese género y, por lo tanto, deberán recoger las características que lo definen. Para elaborar esta guía (ver Apéndice), partimos de la aseveración de algunos investigadores como Fulcher (1997: 102,103) de la necesidad de elaborar escalas de calificación con el propósito de evaluar productos escritos que tengan en cuenta el género al que pertenecen. Nuestra guía, en particular, ha sido específicamente diseñada para la corrección de resúmenes de textos expositivos en lengua extranjera y es especialmente útil para niveles B1 y B2 según el Marco Común Europeo de Referencia para las Lenguas (MCERL). De acuerdo con la descripción del Marco, en el apartado dedicado al procesamiento textual (2001: 96), un usuario de la lengua en el nivel B1 puede parafrasear textos escritos breves usando las palabras y el orden del texto original, mientras que un usuario del nivel B2 puede resumir una variedad de textos sobre hechos concretos. Los niveles A1 y A2 usan estrategias de copiar y pegar—las estrategias mínimas que contempla nuestra guía—mientras que los niveles C1 y C2 implican una mayor longitud y dificultad del texto o que el resumen se realiza a partir de más de un texto fuente. El baremo toma como referencia la guía ESL Composition Profile, de Jacobs y sus colaboradores (1981) por varias razones: • La guía posee reconocida validez y fiabilidad para la evaluación de textos expositivos en ILE 132 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 • La unificación de criterios entre correctores se simplifica gracias a la especificidad en la definición de los rasgos • Además, las guías analíticas con rasgos tan definidos facilitan la crítica y la retroalimentación al alumno porque permite distinguir aquellos aspectos que necesitan menos atención de otros que necesitan más • La división en bandas numéricas ayuda al corrector en la asignación de una puntuación para cada rasgo • Su carácter comunicativo se ajusta al enfoque actual en la enseñanza de lenguas extranjeras • Sus criterios, los aspectos evaluables y el peso específico que cada uno de ellos tiene en la calificación global se ajustan en gran medida a aquellos que intuitiva o explícitamente aplican los correctores dentro del contexto particular en el que trabajamos. Siguiendo a Jacobs, el baremo para resúmenes de textos expositivos evalúa cinco aspectos que afectan a la producción escrita: contenido, organización, uso de la lengua, vocabulario y presentación. La revisión bibliográfica previa a su elaboración y las entrevistas más o menos formales con profesores–correctores confirman que estos aspectos son los más relevantes en una actividad de comunicación escrita que suponga la redacción de un texto. Los aspectos enumerados son los que recogen también las guías de tipo analítico u holístico más conocidas. Por ello, dichos aspectos han sido aquí retomados, en tanto en cuanto criterios semejantes de corrección de la expresión escrita, se usan en el contexto en el que se aplicará nuestro baremo. 6.1. El contexto experimental Antes de describir el baremo, sus principales características y los criterios que condicionan el establecimiento de unos pesos específicos 133 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 para distintos aspectos evaluables, resumimos brevemente el contexto en el que se desarrollan las partes experimentales del trabajo. Como Kirkland y Saunders (1991: 108), entendemos que el nivel de competencia de un estudiante que va a resumir en un contexto académico debe ser intermedio alto o avanzado. Participaron en nuestro estudio 127 alumnos de Traducción e Interpretación de la Universidad Alfonso X el Sabio de Madrid; 42 estudiantes de primer curso, 38 estudiantes de segundo curso, y 47 estudiantes de tercer curso. Dando por hecho que los estudiantes siguen mejorando su competencia en lengua inglesa a lo largo de sus años de estudios de traducción, trabajar con alumnos de tres cursos distintos nos permite contar con escritos de calidades variadas. Partimos de la idea de Johns y Mayes (1990: 265) de que aquellos alumnos con alta competencia en lengua extranjera producirán escritos de mejor calidad que aquellos que tienen una competencia menor. Los resúmenes del texto elegido para el experimento se recogieron en una mañana por tres profesoras de la Facultad de Traducción e Interpretación; se eliminaron los siete resúmenes que sobrepasaban las 100 palabras, según indicaban las instrucciones, y los resúmenes restantes (120) se agruparon de forma aleatoria en cinco carpetas de 23-25 textos cada una. Los textos de cada carpeta se multicopiaron de manera que contásemos con tres copias iguales de cada una de las cinco carpetas originales, es decir, un total de quince. La corrección de pruebas se llevó a cabo en dos fases: para la primera, se aplicó un método de impresión general y los correctores no fueron formados previamente; para la segunda, que tuvo lugar cuatro meses después, se usó el baremo de bandas analíticas que los mismos correctores aplicarían a los mismos trabajos, después de someterse a un periodo de formación. Contamos con la colaboración de quince correctores, todos profesores del mismo Centro donde cursan sus estudios los sujetos colaboradores. 134 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 6.2. Bandas numéricas Tratamos de recoger en este baremo aquellas puntuaciones con las que suele calificar el profesor en distintos contextos académicos dentro del aula—al menos en España—y trabajamos con un sistema de puntos enteros, medios y cuartos. Para cada aspecto se han creado unas bandas numéricas que se incrementan de 0.25 en 0.25 puntos desde una cifra mínima hasta una máxima distinta para cada rasgo. La variación de máximas y mínimas establecida en cada banda se justifica por dos razones: la primera, por el peso estimado que cada uno de dichos aspectos tiene a priori en la composición de resúmenes escritos; la segunda, por la necesidad de plasmar en el baremo las realidades observadas en la calificación de este tipo de pruebas. El establecimiento del peso estimado de los distintos aspectos con respecto al ejercicio en su globalidad se llevó a cabo a priori mediante el análisis de calificaciones dadas a un corpus de trabajos de expresión escrita—no resúmenes—anteriores a nuestro experimento por parte del equipo de colaboradores. A través de entrevistas informales con estos profesores, donde opinan sobre los pesos específicos de distintos aspectos en otros trabajos de expresión escrita y junto con la revisión bibliográfica (principalmente Jacobs et al. 1981), se estableció que los aspectos relacionados con el contenido y la organización supondrían el 50 % de la nota final y aquellos conectados con el vocabulario, uso de la lengua y presentación el restante 50 %. El establecimiento del peso estimado de los distintos aspectos con respecto al ejercicio en su globalidad se reajustó a posteriori a través del análisis de las 360 primeras calificaciones dadas a los resúmenes de nuestra prueba piloto por parte de los colaboradores. Dentro del primer 50 %, el contenido tendría más peso que la organización. En cuanto al segundo 50 %, el uso de la lengua tendría más peso que el vocabulario y la presentación y esta última tendría una importancia mínima con respecto al resto. La importancia que debe tener el vocabulario supuso un motivo 135 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 importante de divergencia entre los profesores a los que se les planteó la cuestión de la importancia relativa de cada uno de estos aspectos en un resumen. El peso final estimado para el vocabulario es el resultado de un acuerdo entre la mayoría. Debemos recordar que partimos de la idea de que la elaboración de un baremo de estas características no supone una actividad de matemática pura, sino que, más bien, intenta describir y formalizar el proceso de la corrección de los resúmenes, explicando o haciendo explícitos los criterios. Acogiéndonos a tal circunstancia, uno de los aspectos que proponemos, la presentación, no está subdividido simétricamente con respecto al resto; es decir, si contenido, organización, vocabulario y uso de la lengua se subdividen en cuatro posibles bandas de ejecución—muy bien, bien, regular y mal—, la presentación sólo recibe tres posibles puntuaciones—0.5, 0.25 y 0—para adecuar este aspecto a la proporción que representa con respecto al todo (5 %) manteniendo a la vez el criterio de medios puntos y cuartos. 6.3.Calificacionesmáximasymínimas El primer acercamiento a la notas de impresión general de nuestros colaboradores nos hizo considerar oportuno fijar un mínimo de dos puntos (2) y un máximo de nueve (9) para las futuras puntuaciones con el baremo. Entre 360 notas recogidas por el método de impresión general no aparece ninguna calificación de diez (10 – 0 %) y sólo tres de uno (1– 0.83 %). Con esta idea, se diseñó una guía de bandas analíticas cuyas puntuaciones máximas y mínimas coincidiesen con las observadas por el método de impresión general y se hizo una primera distribución de puntos aproximada para las distintas franjas teniendo en cuenta el peso que se había estimado debía tener cada una de las franjas, según el apartado anterior. 136 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 Así, llegamos al resultado de que al contenido se le puede dar una calificación máxima de 2.5 puntos; a la organización 2; al vocabulario 1.75; al uso de la lengua 2.25 y a la presentación 0.5 que suma un máximo total de 9 puntos. La razón para desestimar 10 como nota máxima es que, ateniéndonos a resultados de pruebas informales previas a las evaluaciones, y como hemos indicado, el número de veces que aparece dicha calificación en una prueba directa de expresión escrita en lengua extranjera es tan reducido que prácticamente no tiene representación estadística alguna. Pero a pesar de la nula representatividad estadística, en ocasiones el alumno recibe de hecho la calificación máxima. Por tanto, para no limitar las posibilidades del alumno, recomendamos la calificación de 10 para aquellos trabajos que alcancen la nota máxima en cada uno de los aspectos. La nota mínima, un 2, refleja los resultados de la primera parte de nuestro experimento, recogidos de la primera corrección—la primera fase que sigue criterios de impresión general, según se describe en el apartado 6.1. —, así como apreciaciones de los correctores basadas en la práctica diaria del aula. Se considera que un 0 debería sólo ser la consecuencia de un trabajo en blanco o no entregado y un 1 una calificación por debajo de los límites del baremo—realmente extrema y difícil de encontrar si partimos de que la prueba es adecuada para el nivel en el que se aplica. Esa franja de 2 a 9 refleja, por lo tanto, una realidad observada y no es extraña si la comparamos con otros baremos de este tipo (Diederich, French y Carlton 1971 citados en Jacobs et al. 1981: 25 usan una escala de 9 puntos y la nota mínima en Jacobs es de 34 sobre 100). 6.4. Criterios Por último, por cada banda o franja numérica ofrecemos una descripción bajo el título de «criterios» que recoge aquellas particularidades que deben observarse para cada uno de los aspectos en un trabajo de 137 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 resumen de textos expositivos. Como en el caso de las bandas numéricas, dichos criterios son el resultado de: • la revisión bibliográfica sobre características del resumen por un lado, y sobre evaluación de la expresión escrita, y más concretamente en el contexto de ILE, por otro (Argüelles Álvarez 2004). • el análisis de los 120 resúmenes escritos en inglés por estudiantes españoles y calificados por el método de impresión general por parte de 15 profesores (ver sección 6.1.). A través de las calificaciones obtenidas mediante el método de impresión general, identificamos aspectos concretos que son comunes en los resúmenes con puntuaciones similares. Estudiamos la aplicación de las macrorreglas y otros aspectos más lingüísticos o textuales, además de tener en cuenta la L2. Analizamos cada resumen desde la perspectiva de cada uno de los aspectos evaluables: • Contenido: en general, nos centramos en observar si los resúmenes recogían la idea principal, cómo se presentaba, qué otras ideas recogía y su importancia. • Organización: cómo se organizaban esas ideas en el resumen, es decir, siguiendo la estructura del texto original o reorganizando. • Uso de la lengua: la adecuación de la gramática según la actividad—transformaciones—y también que los estudiantes se expresan en una lengua extranjera—nivel oracional, concordancias y tiempos verbales. • Vocabulario: si los estudiantes producían transformaciones o copiaban; si las palabras del texto original permanecían en el resumen o si los estudiantes usaban sinónimos, antónimos, hiperónimos etc. En el caso de mantenerse las palabras originales, también analizamos si eran imprescindibles, y si se usaban adecuadamente. 138 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 • Presentación: ortografía y legibilidad en el sentido de claridad del texto manuscrito. Del análisis de los resúmenes desde la perspectiva de cada uno de los aspectos evaluables, elaboramos una lista de «tendencias» o posibilidades en la que intentábamos recoger lo que sucedía en la mayoría de los resúmenes y con respecto a tales aspectos. El siguiente paso fue recoger y conectar, de la lista de tendencias para cada uno de los aspectos, aquellas que se consideraban características de un buen resumen y aquellas que se consideraban características de uno malo. Estos serían los dos extremos: muy bien y mal. Para los resúmenes de calidades intermedias trabajaríamos, basándonos en Jacobs et al. (1981), con combinaciones de los extremos anteriores que, como habíamos observado, de hecho se producían en los resúmenes de los estudiantes. Establecimos dos niveles intermedios: bien y regular. Siguiendo los criterios de importancia establecidos con anterioridad, asignamos valores numéricos a cada una de las bandas de perfección. El resultado de la asignación de puntos, que, como vimos, se produjo desde un valor total máximo y uno mínimo preconcebidos, es una distribución desigual que sufrió variaciones, aunque mínimas, repetidas, durante la elaboración del baremo debido a los matices en la interpretación que se daba a las notas. También posteriormente, durante las sesiones de formación y con los correctores, se ajustaron los valores para adaptarlos lo más posible a la importancia subjetiva que estos estaban dando a distintos aspectos. Los valores asignados a cada una de las bandas ascienden y descienden en cuartos, y de un mínimo de 0 puntos a un máximo de 2.5 dentro de nuestro sistema decimal. Algunas bandas—contenido, vocabulario y presentación—tienen un único valor numérico para la calidad extrema “mal”, y otras—organización y uso de la lengua—tiene asignados dos. Esta decisión, que fue la final, es más intuitiva que la basada en otros estudios teóricos aunque la guía de Jacobs, por ejemplo, tampoco establece valores simétricos para cada una de las bandas y no explica claramente qué criterios concretos se siguieron para tomar decisiones con respecto a 139 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 estos valores. Se trataba de un tema más práctico que matemático y que debía resolverse basándose en lo que supone la actividad de resumir y en lo que esperamos conseguir con la evaluación, no en aspectos matemáticos. 7.RESULTADOS El concepto de fiabilidad en el que basamos el breve análisis de los resultados que presentamos a continuación, se refiere a si con el baremo se obtienen o no, resultados consistentes. Normalmente, el grado de fiabilidad se expresa con un coeficiente entre 0.00, que indica que los resultados no son consistentes, y 1.00, que indica que los resultados son muy fiables. En el caso que nos ocupa, tal coeficiente suele establecerse a partir de correlaciones entre correctores y entre notas, entre métodos o, en el caso de sistemas analíticos como este, de correlaciones de las distintas bandas o áreas con el total. En investigaciones relacionadas con la evaluación de la expresión escrita, se consideran adecuados niveles de fiabilidad entre correctores de .85 (Jacobs et al. 1981: 69), aunque el propósito de la evaluación determina en la práctica si una fiabilidad menor es aceptable según las decisiones que se vayan a tomar como consecuencia de la misma. Aunque suele aceptarse como válida una fiabilidad de .80 (Hamp-Lyons 1991: 69 o Cooper y Odell 1977: 18), en la práctica, se encuentran muchos casos en los que esta no supera un .67 y es difícil alcanzar más de .50 entre dos correctores incluso con sesiones previas de entrenamiento de los correctores (Diederich 1974: 33). En la Tabla 1 se aprecia cómo mediante la aplicación de nuestro método, los coeficientes de fiabilidad para uno, dos, tres y cuatro correctores, son más altos que en el caso del método de impresión general (IG). La que se alcanza mediante la aplicación de BABAR para tres correctores es 0.799, muy cercana a ese .80 considerado aceptable. 146 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 Garner, R. 1985. “Text summarization deficiencies among older students: Awareness or production ability?” American Educational Research Journal 22: 549-560. Hamp-Lyons, L. 1991. “Second language writing: assessment issues”. Second language writing: Research insights for the classroom. Ed. B. Kroll. Nueva York: CUP. 69-87. Hare, V. 1992. “Summarizing text”. Reading / writing connections: Learning from research. Eds. J. W. Irwin y M. A. Doyle. Newark, DE: International Reading Association. 96-118. Hare, V. y K. M. Borchardt. 1984. “Direct instruction of summarization skills”. Reading Research Quarterly 20: 62-68. Hidi, S. y V. Anderson. 1986. “Producing written summaries: Task demands, cognitive operations, and implications for instruction”. Review of Educational Research 56: 473-493. Jacobs, H. L., S. A. Zinkgraf, D. R. Wormuth, V. F. Hartfiel y J. B. Hugey. 1981. Testing ESL composition: A practical approach. Rowley, MA: Newbury House. Johns, A. 1985. “Summary protocols of “underprepared” and “adept” university students: Replications and distortions of the original”. Language Learning 35: 495-517. Johns, A. y P. Mayes. 1990. “An analysis of summary protocols of university ESL students”. Applied Linguistics 11: 253-271. Kintsch, E. 1989. Macroprocesses and microprocesses in the development of summarization skill. ICS Technical Report No. 89-5, Boulder, CO: Institute of Cognitive Science. Kintsch, W. y T. van Dijk. 1978. “Towards a model of text comprehension and production”. Psychological Review 85: 363-394. 147 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 Kirkland, M. R., y M. A. P. Saunders. 1991. “Maximizing student’s performance in summary writing: Managing the cognitive load”. TESOL Quarterly 25: 123-144. Long, J. y E. Harding-Esch. 1978. “Summary and recall of text in first and second languages: some factors contributing to performance differences”. Language interpretation and communication. Eds. D. Gerver y W. Sinaiko. Nueva York: Plenum. 273-287. Lucisano P. y J. Kádár-Fülöp. 1988. “The summary tasks”. The IEA study of written composition I: The international writing tasks and scoring scales. T. P. Gorman, A. C. Purves y R. E. Degenhart. Oxford: Pergamon Press. Vol.5: 112-127. Luque, J. L., J. A. García Madruga, F. Gutiérrez, Mª R. Elosúa y M. Gárate. 1999. “La construcción de la representación semántica de los textos”. J. A. García Madruga, Mª R. Elosúa, F. Gutiérrez, J. L. Luque y M. Gárate, Comprensión lectora y memoria operativa. Barcelona: Paidós. 55-96. Meyer, B. J. F. 1975. The organization of prose and its effects on memory. Amsterdam: North Holland Publishing. Meyer, B. J. F. 1984. “Text dimensions and cognitive processing”. Learning and comprehension of text. Comps. H. Mandl, N. Stein y T. Trabasso. Hillsdale, NJ: Lawrence Erlbaum. Milian Gubern, M. 1997. “Avaluar els textos escrits”. Comp. T. Ribas. L’avaluació formativa en l’àrea de llengua. Barcelona: Graó. 109- 129. Rumelhart, D.E. 1977. “Understanding and summarizing brief stories”. Basic processes in reading: Perception and comprehension. Eds. D. Laberge y S. J. Samuels. Hillsdale, NJ: Erlbaum. 265-303. 148 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 Sarig G. 1993. “Composing a study-summary: A reading-writing encounter”. Reading in the composition classroom: Second language perspectives. Eds. J. G. Carson e I. Leki. Boston: Heinle y Heinle. 161-182. Scardamalia, M., C. Bereiter y H. Goelman. 1982. “The role of production factors in writing ability”. What writers know: The language, process, and structure of written discourse. Ed. M. Nystrand. Londres: Academic Press. Sherrard, C. 1989. “Teaching students to summarize: Applying text linguistics”. System 17, 1: 1-11. Taylor, B. y R. W. Beach. 1984. “The effects of text structure instruction on middle - grade student’s comprehension and production of expository text”. Reading Research Quarterly 19: 134-146. Van Dijk, T. A. 1977. Text and context. London: Longman. Van Dijk, T. A. 1979. “Relevance assignment in discourse comprehension”. Discourse Processes 2: 113-126. Van Dijk, T. A. 1980. Macrostructures. Hillsdale, NJ: Lawrence Erlbaum. Van Dijk, T. A. y W. Kintsch. 1983. Strategies of discourse comprehension. Orlando, FL: Academic Press. Van Dijk, T. A. y W. Kintsch. 1985. “Cognitive psychology and discourse: Recalling and summarizing stories”. Theoretical models and processes of reading. Eds. H. Singer y R. B. Rudell. Newark, DE: IRA. 794-812. Reeditado de W.U. Dressler, ed. 1977. Current trends in textlinguistics. Nueva York: De Gruyter. Vega de, M., M. Carreiras, M. Gutiérrez Calvo y M. L. Alonso-Quecuty. 1990. Lectura y comprensión: Una perspectiva cognitiva. Madrid: Alianza Editorial. Whittaker Dovey, R. 1991. Textualidad y comprensión de textos: Artículos científicos de economía y filología. Madrid: UCM. 149 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 Winograd, P. N. 1984. “Strategic difficulties in summarizing text”. Reading Research Quarterly 19: 404-425. 150 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 APÉNDICE Laguía(BABAR) CONTENIDO Calificación Criterios Muy bien Bien Regular Mal 2.5 / 2.25 2 / 1.75 1.5/ 1.25 1 Resalta la idea central y la conclusión. Incluye las ideas relevantes y las desarrolla con precisión y concisión. Omite información redundante o no importante. Expone la idea central y la conclusión. Incluye muchas ideas relevantes y las desarrolla con bastante precisión y concisión. Poca información es redundante o no importante. Menciona la idea principal y/o conclusión además de algunas ideas relevantes. Desarrollo adecuado. Incluye información redundante o no importante. Algunas ideas son relevantes pero confunde otras o no las desarrolla con claridad. Puede omitir alguna(s) ideas importante(s). Incluye mucha información no importante o redundante. ORGANIZACIÓN Calificación Criterios Muy bien Bien Regular Mal 2 / 1.75 1.5 / 1.25 1 / 0.75 0.5 / 0.25 Se aprecia una clara estructuración expositiva. Evidente relación entre ideas y secuenciación lógica. Muy coherente. Se aprecia una estructura expositiva. Existe cierta conexión entre ideas. Secuenciación lógica, quizás algo incompleta. Coherente. Estructura clara, pero relación entre ideas poco evidente. Tiene cierta coherencia, pero falla en la secuenciación de ideas. Carece de estructuración o se aprecia con dificultad. No existe relación entre ideas y le falta coherencia. Secuenciación muy afectada. 151 El resumen y su evaluación: aspectos teóricos y pedagógicos... ELIA 12, 2012, pp. 115-152 VOCABULARIO Calificación Criterios Muy bien Bien Regular Mal 1.75 / 1.5 1.25 / 1 0.75 / 0.5 0.25 Usa sus propias palabras y mantiene sólo aquéllas que son clave. Preciso. Registro y forma son apropiados. Expresa las ideas con sus propias palabras aunque mantiene algunas prescindibles. Bastante preciso. Pocos errores de registro y forma. Intenta no usar las mismas palabras pero mantiene muchas prescindibles. Algo /poco preciso. Errores de registro y forma. Usa las mismas palabras o se aprecia desconocimiento de vocabulario apropiado. Muchos errores de registro o forma. USO DE LA LENGUA Calificación Criterios Muy bien Bien Regular Mal 2.25 / 2 1.75 / 1.5 1.25 / 1 0.75 / 0.5 Parafrasea correctamente. Usa recursos lingüísticos adecuados para combinar /enlazar ideas. Produce transformaciones con competencia. Apenas errores de tiempo, concordancia, preposiciones u orden. Parafrasea. Tiene recursos lingüísticos adecuados para combinar/ enlazar ideas. Produce transformaciones con cierta competencia. Pocos errores de tiempo, concordancia, preposiciones u orden. Parafrasea pero usa recursos lingüísticos básicos para combinar/ enlazar ideas. Produce pocas transformaciones o no son adecuadas. Bastantes errores de tiempo, concordancia, preposiciones u orden. Prácticamente copia. No usa recursos lingüísticos para combinar/ enlazar ideas. No sabe producir transformaciones, o no lo demuestra. Muchos errores de tiempo, concordancia, preposiciones u orden. 152 Irina Argüelles Álvarez ELIA 12, 2012, pp. 115-152 PRESENTACIÓN Calificación Criterios Muy bien Normal Mal 0.5 0.25 0 No tiene errores ortográficos ni de puntuación. Marca los párrafos. El número de palabras es exacto. Muy limpio. Tiene algunos errores ortográficos o de puntuación. Párrafos poco claros. El número de palabras no es exacto. Limpio. Tiene varios errores ortográficos y de puntuación. Párrafos muy poco claros. El número de palabras no es exacto. Poco limpio. Primera versión recibida: enero de 2012. Versión final aceptada: mayo de 2012.