Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura

anales de psicología, 2013, vol. 29, nº 2 (mayo), 435-453 http://dx.doi.org/10.6018/analesps.29.2.135231 © Copyright 2013: Servicio de Publicaciones de la Universidad de Murcia. Murcia (España) ISSN edición impresa: 0212-9728. ISSN edición web (http://revistas.um.es/analesps): 1695-2294 - 435 - Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura Juan-José Navarro1* y Joaquín Mora2 1Universidad Autónoma de Chile y Universidad de Sevilla 2Universidad de Sevilla Resumen: El presente artículo analiza la validez predictiva de un dispositivo de evaluación dinámica de procesos implicados en la lectura sobre el rendimiento (RE) y el progreso en comprensión (PR) de un grupo de estudiantes con especiales dificultades en la comprensión lectora (DL). Asimismo, se analiza en qué medida los resultados obtenidos ofrecen información adicional con respecto a la obtenida con pruebas estáticas de evaluación de la comprensión y la inteligencia. Para ello se utilizan dos criterios externos: (a) la valoración del profesorado sobre el RE y el PR; y (b) las calificaciones en el área de Lengua. La muestra estuvo compuesta por 60 estudiantes entre 9 y 16 años a los que se aplicó experimentalmente el dispositivo. Los resultados revelan que las puntuaciones dinámicas mostraron valores de predicción significativos sobre el RE y el PR, así como una validez incremental significativa con relación a la predicción realizada con base en las pruebas estáticas de evaluación de la comprensión y del CI. Se analizan los posibles mecanismos causales en relación a la modalidad de prueba dinámica y al contenido específico de las actividades como factores que podrían explicar los resultados obtenidos. Palabras clave: Evaluación dinámica; rendimiento académico en lectura; dificultades de aprendizaje; comprensión lectora; validez incremental. Title: Predictive and incremental validity of a dynamic assessment device on academic performance and progress in reading. Abstract: The present study focuses on establishing the predictive validity of dynamic assessment device of processes involved in reading tasks, in relation to school performance and progress of reading comprehension difficulties children (RD). We also analyse to what extent the results obtained offer additional information to the one provided by static assessment tests on reading comprehension or cognitive performance. With this aim, we used two external criteria: (a) the teacher´s assessment of academic performance and progress, and (b) the qualifications in the area of Language. The sample consisted of 60 students between 9 and 16 years who were applied the device. Dynamic scores showed significant predictive validity on school performance and progress. Likewise, dynamic scores showed a significant incremental validity in relation to the prediction based on static tests of reading comprehension and evaluation of the IQ. We discuss the possible causal mechanisms related to the dynamic assessment approach and the specific content of the activities as factors that could explain the results. Key words: Dynamic assessment; reading achievement; reading difficulties; reading comprehension; incremental validity. Introducción A pesar de los diferentes enfoques y modelos que se han desarrollado en el ámbito de la investigación relativa a la evaluación dinámica (ED), podríamos definir ésta básicamente como un procedimiento de evaluación del proceso de aprendizaje, caracterizado por la interacción entre evaluador y sujeto evaluado, y que a su vez incluye elementos de mediación o intervención en el proceso evaluativo (Dörfler, Golke y Artelt, 2009; Grigorenko, 2009). Estos procedimientos han sido desarrollados en su mayor parte en relación al trabajo con sujetos que presentan discapacidad intelectual, dificultades de aprendizaje o deprivación sociocultural, y la relevancia de su aplicación parece ser mayor precisamente en estos casos (Campione y Brown, 1987; Carlson y Wiedl, 2000; Saldaña, Mora y Moreno, 2007). En general, el diseño de la mayoría de las pruebas o dispositivos de ED desarrollados responden a dos modelos: (a) pretest/ mediación/ postest y (b) pretest/ tarearetroalimentación continua /postest. En el primero, los sujetos reciben un pretest formado habitualmente por pruebas estandarizadas que poseen además un carácter estático en relación al formato de aplicación; posteriormente, en la fase de mediación, los sujetos reciben instrucción relacionada con las aptitudes valoradas en el pretest y, por último, se aplica un postest normalmente integrado por las mismas pruebas * Dirección para correspondencia [Correspondence address]: Juan-José Navarro. Facultad de Educación, Universidad Autónoma de Chile. C/ Ricardo Morales, 3369, Comuna San Miguel, Santiago de Chile (Chile). E-mail: [email protected], jj[email protected] que configuraron la fase inicial o pruebas equivalentes. La respuesta del sujeto a la mediación y la valoración de su desarrollo potencial vendría dada por las diferencias establecidas entre la valoración obtenida en las fases pre y postest. Entre los dispositivos dinámicos que en mayor o menor medida son exponentes de este primer modelo se encuentran el LPAD (Learning Potencial Assessment Device) de Feuerstein (1998), la evaluación del potencial de aprendizaje (EPA) (Fernández-Ballesteros y Calero, 2000), el TPC-S (Swansoncognitive processing test) (Swanson, 2000) o el modelo de ED basado en el currículum (ACFS, Lidz, 2000). Por su parte, en el segundo de los modelos más utilizados se actúa de forma que cada uno de los ítems propuestos en la prueba va acompañado de una serie de sugerencias que, de una forma graduada, van presentándose al sujeto en caso de no resolver el ítem. La cantidad y el tipo de ayuda que reciben los sujetos son determinadas por el evaluador en función de cuándo y cómo son resueltos cada uno de los ítems de respuesta, pudiendo continuar esta ayuda gradualmente hasta que se llegue a la solución correcta. Esta cantidad y tipo de ayuda ofrecida es lo que sirve en este modelo para establecer una valoración dinámica del desarrollo, determinando a su vez los apoyos requeridos para resolver con éxito una determinada actividad. El enfoque de sugerencias graduadas de Campione y Brown (1987), es el más claro exponente de este modelo. Aunque la mayoría de las pruebas desarrolladas se ajustan en mayor o menor medida a estos dos modelos (Sternberg y Grigorenko, 2003), existen otras posibilidades. En este sentido, el enfoque Lerntest (Pruebas de Aprendizaje) (Guthke y Beckmann, 2000) incluye en su batería breve una fase de instrucción dentro del procedimiento de prueba, y el 436 Juan-José Navarro y Joaquín Mora anales de psicología, 2013, vol. 29, nº 2 (mayo) Testing the limits de Carlson y Wiedl (2000) establece distintas condiciones de intervención con cantidades variables de verbalización y retroalimentación, tratando de determinar las condiciones óptimas para la mejora del rendimiento en la prueba. Para una detallada exposición y revisión crítica puede consultarse Haywood y Lidz (2007) o Sternberg y Grigorenko (2003). Aún con distintos enfoques, los diversos modelos han tratado de optimizar el proceso de evaluación, tratando de obtener información sobre el potencial de aprendizaje del sujeto y sobre sus necesidades de apoyo durante el proceso de mediación. De este modo, la ED trataría de ofrecer información adicional a la ofrecida por pruebas estáticas o convencionales, permitiendo obtener datos no sólo acerca del producto final de la actividad desarrollada, sino también sobre el proceso de aprendizaje que tiene lugar durante su desarrollo, y en qué medida el sujeto se ha beneficiado de la mediación ofrecida (Resing, 2000; Jensen, 2000; Saldaña, 2004). La ED establecería de esta forma una conexión entre evaluación e intervención, por cuanto el análisis y la obtención de información se realizan a raíz de, o durante, la intervención y está orientada a la mejora de los procesos evaluados (Gersten y Dimino, 2006). Asimismo, la ED permite acceder a una valoración más integrada de distintos procesos y habilidades implicados en una actividad (Rapp y Broek, 2005). En este sentido, el análisis de los mecanismos que facilitan la construcción de aprendizajes y su mejora, puede revelarse crítico en la orientación de la acción educativa, permitiendo establecer conexiones más potentes entre procesos de evaluación e intervención (Grigorenko, 2009). En consonancia con lo anterior, un objetivo consustancial a los procedimientos dinámicos y que se refleja explícita o implícitamente en los dispositivos de ED es la mejora del funcionamiento cognitivo de los sujetos. Es en este sentido en el que la ED se aleja significativamente de los objetivos que presiden en gran medida las pruebas convencionales. De este modo, las pruebas dinámicas evalúan la modificabilidad y el cambio, en qué sentido se produce, cuál es la calidad y la cantidad de ese cambio, cómo tiene lugar y mediante qué tipo de intervención; todo esto con el objetivo de orientar una acción educativa óptima que continúe desarrollando el potencial de aprendizaje. En esta misma línea, desde estos modelos se ha enfatizado la falta de sensibilidad que muestran las pruebas estáticas para la evaluación educativa, ya que no permitirían obtener información sobre el proceso de aprendizaje o las dificultades encontradas durante el mismo, ni asimismo identificar las ayudas que requiere el estudiante para incrementar su rendimiento. Al no considerar el carácter procesual de las aptitudes, las pruebas estáticas terminarían por mezclar la medición de aptitudes ya desarrolladas con la de aptitudes en proceso de desarrollo (Sternberg y Grigorenko, 2003). Esta consideración de las aptitudes como formas de experiencia en desarrollo (Sternberg y Grigorenko, 2003), en contraposición a asumirlas como entidades estables y estáticas que nos vienen dadas, conduce de forma lógica a los procedimientos dinámicos de evaluación como la metodología más coherente y válida para aproximarse a la valoración de la naturaleza dinámica y experiencial de las funciones en desarrollo. En este sentido, entre los argumentos citados a favor de los modelos dinámicos, se encuentra el de mostrar una mayor validez para determinar el potencial de aprendizaje y el desarrollo de aptitudes en niños con deprivación sociocultural o pertenecientes a minorías étnicas, aspectos que de otra forma podrían quedar ocultos (Dörfler et al., 2009; Resing, Tunteler, de Jong y Bosma, 2009). El acento en la valoración del proceso y la capacidad de aprendizaje, focalizando su atención esencialmente en las competencias que se encuentran en desarrollo y tratando de establecer equivalencia inicial con relación a los contenidos a trabajar, contribuyen a que estos modelos puedan obtener información que escapa a las pruebas de aptitud convencionales (Dörfler et al., 2009; Sternberg y Grigorenko, 2003). Entre las conclusiones compartidas por la mayoría de estudios de ED, se puede encontrar que cualquier propuesta que se extrajera contando exclusivamente con la información proporcionada por las puntuaciones pretest, debería considerarse cuanto menos incompleta, ya que a menudo las puntuaciones experimentan cambios significativos incluso con cantidades pequeñas de intervención. La aplicación de modelos dinámicos ha mostrado por tanto evidencias de incremento significativo en el potencial de aprendizaje y el rendimiento de estudiantes con especiales dificultades. Diversos trabajos muestran efectos significativos en los grupos de tratamiento tras la aplicación de estos procedimientos (Beckmann, Beckmann y Elliott, 2009; Carlson y Wiedl, 2000; Fernández-Ballesteros y Calero, 2000; Resing, 2000; Resing et al., 2009; Resing y Elliott, 2011; Saldaña et al., 2007). Estas mejoras se han observado también en relación a dominios específicos como el cálculo, la memoria de trabajo o la lectura (Swanson y Howard, 2005). La investigación relativa a la ED ha centrado su interés mayoritariamente en el análisis de funciones cognitivas generales y en el hallazgo de valores que predijeran comparativamente mejor que el CI, el rendimiento posterior de los sujetos (Kozulin y Garb, 2002; Sternberg y Grigorenko, 2003). Sin embargo, a pesar de la obtención de indicadores estadísticos de validez y fiabilidad en algunas de estas pruebas (Caffrey, Fuchs y Fuchs, 2008), este planteamiento no parece haber repercutido significativamente en la mejora contextualizada de los sujetos y del proceso de evaluación en el marco escolar (Delclos, Vye, Burns, Bransford y Hasselbring, 1992; Elliott, 2003; Jensen, 2000; Ruijssenaars, Castelijns y Hamers, 1993). Si bien algunos estudios revelan el poder predictivo de estas pruebas sobre el rendimiento académico (RE), la mayoría lo hacen desde enfoques dinámicos que priman la descontextualización de las tareas y del proceso de evaluación (Lauchlan y Elliott, 2001; Sternberg y Grigorenko, 2003). En este sentido, la escasa conexión entre las actividades y contenidos de los procesos de evaluación y de intervención educativa, podría afectar significativamente a la Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura 437 anales de psicología, 2013, vol. 29, nº 2 (mayo) validez ecológica de las conclusiones aportadas (Elliott, 2003; Thurman y McGrath, 2008). En los últimos años ha tenido lugar un cierto redescubrimiento de la aplicación de procedimientos dinámicos de evaluación a dominios específicos de aprendizaje escolar, contribuyendo este hecho significativamente a una revisión de las posibles aportaciones anteriores realizadas desde este ámbito de investigación al proceso de enseñanza-aprendizaje (Guterman, 2002; Haywood y Lidz, 2007; Kalyuga y Sweller, 2005; Lidz, 2000; Resing y Elliott, 2011; Swanson y Howard, 2005; Thurman y McGrath, 2008). El renovado interés que suscita la ED de dominios específicos, responde asimismo a los cambios producidos en la conceptualización misma de procesos como la lectura y en el tratamiento de sus dificultades. En este sentido, adquiere especial importancia la consideración de enfoques educativos interactivos y sistémicos, que acentúan la actividad constructiva y metacognitiva del lector (Hacker, Dunlosky y Graesser, 2009; Thiede, Anderson y Therriault, 2003). Desde estos enfoques, se destaca la relevancia de actuar sobre las competencias del sujeto para controlar y regular el proceso de lectura, interpretando los textos de forma progresivamente autónoma, auto-interrogándose sobre su contenido, planificando y supervisando el logro de objetivos, o evaluando la propia comprensión. La consideración preferente de estos y de otros procesos implicados en la lectura por parte de los modelos dinámicos, ha permitido trascender algunos inconvenientes descritos en relación a la viabilidad de establecer procedimientos dinámicos dirigidos a este ámbito. Estos inconvenientes hacían referencia a la cualidad «cristalizada» de dominios específicos como la lectura (lo que dificultaría valorar su modificabilidad a corto plazo) y a la relevancia del conocimiento previo del alumno en la evaluación de la comprensión, lo que dificultaba el establecimiento de control sobre la historia previa (Kozulin y Garb, 2002). En la medida en que el foco de los investigadores se ha resituado en los procesos implicados en la lectura y no tanto en los contenidos textuales y la comprensión como producto, la relevancia de plantear modelos de evaluación centrados en la respuesta del sujeto a la intervención y en el proceso mismo de aprendizaje, ha cobrado mayor interés. Esta revisión a la que hacíamos referencia anteriormente en relación a las aportaciones anteriores realizadas desde enfoques dinámicos descontextualizados, ha supuesto también un replanteamiento de la investigación sobre la validez predictiva de los modelos dinámicos. En este sentido, algunos estudios han tratado de establecer el poder predictivo de aplicaciones dinámicas sobre la lectura en comparación con pruebas estáticas. Por ejemplo, Hamers, Penning y Guthke (1994) encontraron que los resultados obtenidos por el alumnado en lectura, correlacionaban en mayor medida con la aplicación dinámica de unas pruebas de aprendizaje con contenido específico de lectura, que con un test de inteligencia o una prueba de aprendizaje general aplicada convencionalmente. Lidz, Jepsen y Miller (1997) también hallaron mejoras significativas en cuanto al valor predictivo sobre lectura aplicando dinámicamente unos subtests específicos del Cognitive Assessment System basado en el modelo PASS (Naglieri y Das, 1987), en comparación con pruebas estáticas. Byrne, Fielding-Bamsley y Ashley (2000) analizaron longitudinalmente el rendimiento en lectura de un grupo de niños desde preescolar hasta quinto curso, hallando mediante modelos de regresión múltiple que la puntuación dinámica que reflejaba la tasa de progreso en lectura durante varias semanas, predecía el rendimiento significativamente mejor que la puntuación obtenida en el postest con una prueba estática, mostrando una validez adicional de entre el 9% y el 21% en las diferentes medidas. En general, los estudios que han analizado la validez predictiva adicional de la ED sobre el rendimiento en dominios específicos, han incluido como posibles variables predictoras, por una parte, las medidas pretest y postest provenientes de pruebas convencionales de lectura y de tests de inteligencia, y, por otra, las puntuaciones obtenidas de la aplicación de las distintas pruebas dinámicas empleadas (Caffrey et al., 2008). Por otra parte, se ha mostrado la relevancia de que la modalidad de prueba, es decir la metodología de evaluación adoptada, y la metodología de enseñanza, guarden una estrecha conexión (Carlson y Wiedl, 2000). Esta conexión entre evaluación e intervención remite a la validez ecológica de las pruebas como una de las premisas esenciales de propuestas orientadas al contexto educativo. Esta validez podría determinarse en función de los contenidos de la prueba, pero también en función del procedimiento de evaluación utilizado. En este sentido, en la medida en que éste se asemeje a los procedimientos de enseñanza-aprendizaje trabajados en el contexto escuela, podríamos hablar de una mayor validez ecológica del proceso y, como consecuencia, de los resultados (Thurman y McGrath, 2008). Es especialmente en este segundo punto donde la ED volvería a distanciarse de los procedimientos estáticos de evaluación. De este modo, los resultados parecen ser más consistentes cuando la predicción se ha realizado sobre situaciones de aprendizaje prolongado que guardaban relación conceptual y metodológica con los contenidos y procedimientos de la ED (Jensen, 2000; Saldaña et al., 2007; Sternberg y Grigorenko, 2003). En otras palabras, la mayor validez predictiva de una prueba dinámica en el contexto escolar, estaría en función de la relación entre el contenido de ambos procesos, evaluación e intervención educativa. El presente trabajo se propone examinar el valor predictivo de un dispositivo de evaluación dinámica de procesos implicados en la lectura (EDPL) con relación al RE y el progreso (PR) obtenidos por un grupo de estudiantes con dificultades de comprensión lectora (DL). Este valor predictivo se analiza en relación a dos aspectos: modalidad de prueba y contenidos de la evaluación. En relación a la modalidad de prueba se contrastan dos estrategias de evaluación, una aproximación dinámica y otra de carácter estático; en relación al contenido de la evaluación se contrastan también dos estrategias, una en la que el contenido de la evaluación es específico de dominio, y otra en la que este contenido tiene un carácter más descontextualizado con relación al dominio específico 438 Juan-José Navarro y Joaquín Mora anales de psicología, 2013, vol. 29, nº 2 (mayo) de aprendizaje. Con el fin de contrastar estas estrategias, y en consonancia con la investigación precedente, hemos utilizado como potenciales variables predictoras (a) las medidas pretest y postest de una prueba de comprensión lectora y de un test de inteligencia general, ambas aplicadas convencionalmente, así como (b) las puntuaciones dinámicas obtenidas a raíz de la aplicación del dispositivo EDPL. En este sentido, hemos formulado dos hipótesis específicas. La primera sostiene que las puntuaciones dinámicas obtenidas de la aplicación contextualizada del dispositivo EDPL se relacionarán significativamente con el RE y el PR en lectura, siendo mayor esta relación que la presentada por las pruebas estáticas de comprensión e inteligencia (Hipótesis 1). En segundo lugar, esperamos que las puntuaciones dinámicas constituyan un factor explicativo adicional del RE y el PR en lectura con relación a la predicción realizada con base en las pruebas estáticas de inteligencia y comprensión (Hipótesis 2). Por último, a modo de hipótesis, esta validez incremental de las puntuaciones dinámicas podría explicarse en función de la estrategia evaluativa adoptada. Esta estrategia integra la implementación dinámica y contextualizada de pautas de mediación en actividades estrechamente relacionadas con contenidos específicos de lectura. De este modo, la verificación de esta posible explicación tendría lugar en caso de obtener datos de validez incremental del dispositivo con relación a las dos pruebas estáticas utilizadas como batería de criterio. Método Participantes La muestra está compuesta por 60 estudiantes con DL (32 de educación primaria, 20 chicos y 12 chicas, y 28 de educación secundaria, 17 chicos y 11 chicas), con un rango de edad entre 9 y 16 años (M =12.40, DT =2.44). De estos estudiantes, 25 fueron catalogados como sujetos con dificultades de aprendizaje (DA), en ausencia de discapacidad o desventaja sociocultural, 15 como sujetos con desventaja sociocultural en ausencia de discapacidad (DEP) y 20 como sujetos con discapacidad cognitiva (CI ≤ 75) (DIS). El estudio presentado es parte de una investigación más amplia, en la que participaron 13 centros educativos de Sevilla y Cádiz (Andalucía-España), 7 de educación primaria y 6 de secundaria obligatoria. El conjunto de la muestra contemplaba un grupo experimental, al que se aplicó el dispositivo EDPL (N =60) y dos grupos control (con DL, N =73; sin DL, N =202). El nivel socio-económico del conjunto de la muestra fue catalogado como medio-bajo a raíz de la información proporcionada por cada uno de los centros. Instrumentos El dispositivo EDPL (Navarro y Mora, 2011) consta de 32 actividades de evaluación-intervención estructuradas en red y en función de diversos procesos implicados en la lectura, contemplados en consonancia con la investigación precedente (Compton et al., 2010; Graesser, Singer y Trabasso, 1994; Hacker, 1998; Kintsch, 1988; Kintsch y Kintsch, 2005). Estos procesos están agrupados en tres bloques: (1) Procesos Metacognitivos, incluyendo: (a) metaconocimientos relativos a la lectura, contenidos, estrategias y aspectos afectivo-emocionales; y (b) procesos de autorregulación de la comprensión; (2) Análisis e Integración de la Información, incluyendo: (c) procesos de asociación grafema-fonema; (d) procesos psicológicos subyacentes (memoria, atención y aspectos perceptivo-visuales); (e) procesos de integración textual; y (f) procesos de integración texto-conocimientos previos; y, por último, (3) Procesos de Ajuste Personal-Social. Por su parte, cada actividad contempla: (a) el proceso a evaluar; (b) una descripción de la tarea a realizar; (c) la propuesta metodológica de aplicación; (d) las pautas de mediación y evaluación de procesos metacognitivos; y (e) los indicadores de evaluación. Para facilitar la recogida y valoración del proceso de mediación efectuado (Anexo 1), los aplicadores disponen de Hojas de registro y evaluación (Anexo 2) para cada actividad. En estas hojas, deben valorar la puesta en práctica de una serie de indicadores que están recogidos al final de cada actividad, a modo de criterios de evaluación. Estos indicadores fueron desarrollados para facilitar el análisis del proceso de resolución de las tareas y guardan relación con los procesos a evaluar en cada una de las actividades. De este modo, la evaluación del aprendizaje en desarrollo se realiza en el dispositivo a través de la valoración de estos indicadores que, junto con las pautas de mediación propuestas, constituyen los elementos que permiten obtener información orientada a la intervención, es decir, información sobre las dificultades experimentadas por el suje- to durante el proceso, así como sobre el tipo y grado de apoyo que éste requiere para optimizar su actividad, lo que permite establecer conexiones entre evaluación e intervención (Dörfler et al., 2009). El objetivo es obtener información contextualizada sobre el potencial de aprendizaje, estableciendo no sólo las dificultades del sujeto, sino especialmente aquellas pautas de mediación que podrían facilitar significativamente una ejecución óptima de la tarea o la obtención de información valiosa orientada a la intervención. En este sentido, el proceso de mediación propuesto en EDPL contempla este conjunto de pautas metodológicas – no estandarizadas– en forma de guía metacognitiva, sugerencias graduadas, preguntas o feedback, que se proponen de forma específica para cada una de las actividades. Los aplicadores implementan estas pautas de mediación con el objetivo de evaluar el proceso mismo de ejecución y el grado y tipo de apoyo que necesita el sujeto durante la resolución de las tareas y, asimismo, con el objetivo de observar y valorar en qué medida el sujeto incorpora algunas de las estrategias que son objeto de mediación. En este sentido, la capacidad de apropiación de estas estrategias, especialmente de aquellas relacionadas con los procesos metacognitivos, o, en otras palabras, la modificabilidad que muestre el sujeto, en el sentido de incorporar e interiorizar determinados procedimientos en su repertorio estratégico que incrementen sus posibilidades de acceso a la comprensión, constituiría, no solo un elemen- Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura 439 anales de psicología, 2013, vol. 29, nº 2 (mayo) to revelador del funcionamiento cognitivo actual, sino también de su competencia para beneficiarse de aprendizajes futuros (Guterman, 2002). La cuantificación de las valoraciones efectuadas por los aplicadores sobre los indicadores propuestos en EDPL para cada proceso contemplado, se realiza a través de un sistema de análisis que permite operativizar el proceso de aplicación y disponer de puntuaciones dinámicas (PD). De este modo, las PD globales obtenidas proceden de la valoración integrada de los distintos procesos contemplados en el dispositivo a raíz de la valoración de los indicadores de evaluación presentes en cada actividad. El sistema adoptado (Moreno y Saldaña, 2005) está basado en una escala gradual compuesta por cuatro apreciaciones: (1) No aparece la conducta. El indicador no se ha puesto en práctica; (2) Indicios, conducta rudimentaria; (3) Conducta claramente apreciable (aunque no sea de gran calidad); y (4) Conducta intensa o de gran calidad. Los análisis relativos a la estimación de fiabilidad interobservadores, mediante el cálculo del coeficiente de correlación intra-clase, permitieron constatar la consistencia interna de las valoraciones. Para estos cálculos seleccionamos aquellas actividades realizadas por un mayor número de sujetos y calculamos el coeficiente Alfa de Cronbach. Los análisis se efectuaron sobre un total de 15 casos, siendo el número de ítems (indicadores valorados por los aplicadores en las 9 actividades seleccionadas) de 149 y el número total de observaciones de 2235. Los resultados globales mostraron un valor Alfa de .98, con una correlación inter-ítems de .26 (F= 7.459; p <.000). Con relación al coeficiente de correlación intra-clase, los cálculos mostraron que tanto el contraste para la medición simple (.29), como el efectuado para la medición promedio del coeficiente (valor Alfa), resultaron estadísticamente muy significativos (F= 60.813; p <0.000 para 14 gl.). Por su parte, los análisis de consistencia interna para las 9 actividades seleccionadas, mostraron un valor promedio de los coeficientes Alfa de .83, siendo el valor más bajo de .70 para la actividad Lectura de palabras y el mayor de .94 para la actividad Extracción y construcción del significado. Con relación a la validez de constructo, la matriz de correlaciones entre las puntuaciones obtenidas en los distintos procesos contemplados en el dispositivo y entre estos y la PD global, refleja un valor promedio del coeficiente de correlación de Pearson para los 21 contrastes efectuados de .45, con 16 contrastes significativos (14 al nivel de probabilidad p <.01 y 2 al nivel p <.05). Asimismo, en la Tabla 1 recogemos los valores de correlación entre las puntuaciones obtenidas en las 9 actividades seleccionadas a raíz de las cuales se efectuaron los cálculos de fiabilidad. El alto número de correlaciones significativas entre las distintas actividades, así como entre los distintos procesos entre sí y con la PD global, vendría a reforzar la consistencia del dispositivo en cuanto a su contenido y a la teoría de base que lo sustenta, así como también el sistema de codificación y valoración utilizado. No obstante, debemos señalar que el efecto significativo de muchas correlaciones es sólo moderado. En este sentido, debemos tener en cuenta que en la evaluación de la lectura son considerados diversos procesos que constituyen en sí mismos elementos claramente diferenciales en la configuración de la propia actividad lectora, así como en la determinación de las dificultades específicas en este ámbito (Cuetos, Rodríguez, Ruano y Arribas, 2007). Esto explicaría los diferentes niveles de correlación que hayamos entre los procesos contemplados en EDPL, así como entre las actividades seleccionadas. En este sentido, no es extraño observar en la Tabla 1 que la lectura de pseudopalabras mantenga niveles bajos y no significativos de correlación con tareas de construcción del significado o realización de inferencias, poniendo de manifiesto que se trata de actividades netamente diferenciadas en cuanto a requerimientos cognitivos y de procesamiento de la información. Los datos revelan de este modo el hecho conocido de que un buen número de estudiantes que no plantean mayores dificultades en procesos de decodificación, muestran en cambio dificultades importantes en habilidades complejas de procesamiento semántico. En síntesis, los procesos contemplados pertenecerían a un mismo conjunto de elementos que contribuyen a su vez a valorar un determinado constructo, en este caso la comprensión, aún cuando quede patente su entidad y contribución diferencial al análisis. Por su parte, con relación a la validez de criterio, el presente trabajo ofrece diversos contrastes entre las puntuaciones dinámicas obtenidas a raíz de la aplicación de EDPL y el criterio de valoración del profesorado sobre el rendimiento y el progreso en lectura. Tabla 1. Matriz de correlaciones entre las puntuaciones obtenidas en las actividades seleccionadas. Actividades 10 13 16 17 18 19 22 23 24 10. Lectura de pseudopalabras 1 13. Lectura de palabras .521** 1 16. Ordenar frases .517** .703** 1 17. Relacionar frases-dibujos .365** .527** .652** 1 18. Elaborar frases nuevas .344* .523** .788** .607** 1 19. Signos de puntuación .530** .546** .550** .537** .617** 1 22. Uso de la estructura .363* .473** .666** .515** .726** .567** 1 23. Extraer/construir significado .358 .643** .787** .676** .852** .589** .764** 1 24. Integrar el texto / inferencias .303 .774** .724** .616* .737** .680** .814** .805** 1 * p < .05; ** p < .01 440 Juan-José Navarro y Joaquín Mora anales de psicología, 2013, vol. 29, nº 2 (mayo) Por otra parte, en la investigación se utilizaron una serie de pruebas-criterio con un triple objetivo: establecer equivalencia inicial en los niveles de comprensión e inteligencia entre grupo experimental y control, examinar el valor de predicción del dispositivo (objeto del presente estudio), y evaluar su impacto en los sujetos experimentales. Se aplicaron dos pruebas de evaluación de la comprensión: ECO1, de aplicación en primaria, y ECOS, elaborada para secundaria. Ambas fueron construidas en función de los objetivos del estudio y pretenden dar respuesta a la valoración del conocimiento y uso de estrategias de lectura, así como de la comprensión global (Navarro y Mora, 2012). Las pruebas ECO1 y ECOS se componen de 10 textos con diversas estructuras y pertenecientes a ámbitos relacionados con áreas curriculares de primaria y secundaria respectivamente, seguidos de una serie de preguntas (43 para ECO1 y 56 para ECOS) con opción múltiple de respuesta. Algunos indicadores relativos a la validez y fiabilidad de estas pruebas se muestran en la Tabla 2. En cuanto a la evaluación de la inteligencia, ésta se realizó con el test de factor «G» de Cattell-2 Forma-A (Cattell y Cattell, 1974/2001). Con relación a la equivalencia inicial, los análisis mostraron que los grupos no presentaban diferencias significativas de partida. En relación a la inteligencia, los valores promedio del grupo experimental (GE) (82.57, DT = 14.00) y del grupo control (GC) (80.91, DT = 18.05), asumiendo la igualdad de varianzas (prueba «Levene», p > .05), fueron equivalentes (t(2, 103) = .53, p < .60). La comprensión también mostró equivalencia, tanto en primaria, Media GE = 84.18, DT = 8.75 y Media GC = 86.16, DT = 8.9 (t(2, 66) = -.93, p <. 36), asumiendo varianzas iguales (prueba «Levene», p > .05); como en secundaria, Media GE = 88.25, DT = 10.24 y Media GC = 91.17, DT = 8.02 (t(2, 63) = -1.29, p < .20), asumiendo también varianzas iguales (prueba «Levene», p > .05). Por su parte, con relación a la evaluación de impac- to del dispositivo en los sujetos experimentales (Navarro y Mora, 2012), la valoración del incremento experimentado por el GE a raíz de su participación en las sesiones de aplicación, fue evaluada mediante la aplicación pretest/postest de las pruebas-criterio de inteligencia y comprensión a las que se hace anteriormente mención. Tabla 2. Indicadores estadísticos de la aplicación piloto de las pruebas ECO1 y ECOS. Indicadores ECO 1 ECOS Muestra (grupos-clase, estudiantes sin DL) 179 43 Aplicación 5º y 6º primaria E.S.O. Ítems 43 56 Índice de Dificultad medio .65 .51 Índice medio de Homogeneidad .32 .37 Media 15.11 27.30 Desviación típica 6.52 9.86 Prueba «Kolmogorov-Smirnov» de normalidad* 1.176 (p < .126) 1.031 (p <.239) Fiabilidad (Alfa de Cronbach) .81 .89 *La distribución se ajusta a la normalidad en ambos casos. Diseño y procedimiento La investigación marco de este estudio utilizó un diseño pretest-postest con grupo control no equivalente. Su principal objetivo consistía, en síntesis, en analizar la aplicación experimental del dispositivo EDPL en el contexto escolar. Más concretamente, se pretendía valorar su grado de eficacia con relación a la información que era posible obtener con su aplicación; examinar su validez predictiva con relación al rendimiento y el progreso en lectura; configurar patrones metodológicos de mediación que se hubieran revelado claves en la optimización del proceso de enseñanza-aprendizaje vinculado a la aplicación contextualizada de actividades específicas de lectura; y valorar su capacidad para inducir cambios en el proceso de aprendizaje de estudiantes con especiales dificultades lectoras. Asimismo, esta investigación marco contemplaba un proceso de evaluación continua, en el que es posible obtener datos periódicos que permiten valorar el proceso de aprendizaje. En este sentido, un aspecto de especial interés para nosotros consistía en analizar la evolución de las puntuaciones dinámicas durante la aplicación del dispositivo. Este análisis podría ser reflejo del proceso de aprendizaje, y las dificultades experimentadas, en relación a las habilidades trabajadas, así como del proceso de mediación desarrollado por los aplicadores. En función del objetivo del presente estudio, nuestro análisis se centrará en el grupo de tratamiento. Debemos señalar que aunque el dispositivo fue configurado para facilitar en la práctica una aplicación flexible en función de los procesos y actividades en los que se observan dificultades, los objetivos de su aplicación experimental aconsejaron que ésta se realizara sobre el conjunto y siguiendo una secuencia de actividades ya pre-determinada, que iba desde aquellas más relacionadas con procesos de asociación grafema-fonema hasta aquellas relativas al contexto y a procesos de integración texto-conocimientos previos. De este modo, la aplicación del dispositivo EDPL fue realizada durante 16 semanas por 12 profesores/orientadores (aplicadores) que participaron voluntariamente y recibieron formación relativa a las bases teórico/metodológicas de la propuesta. Se trataba de profesionales implicados en proyectos de innovación, con formación y experiencia de al menos 5 años en orientación educativa y/o educación especial. La aplicación se realizó en pequeños grupos y tuvo lugar en el contexto educativo habitual de los estudiantes. Cada uno de los 11 grupos de aplicación invirtió una media de 2 sesiones semanales de 45-50 Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura 441 anales de psicología, 2013, vol. 29, nº 2 (mayo) minutos. Por su parte, 48 profesores-tutores colaboraron en la cumplimentación de las escalas de valoración sobre el RE y el PR. La selección inicial de la muestra se realizó con base en la información proporcionada por el profesorado especialista y los equipos o departamentos de orientación; por su parte, la asignación a los distintos subgrupos se realizó con base en esta información anteriormente proporcionada, así como en la puntuación CI obtenida en la fase pretest. Como apuntábamos anteriormente, para la recogida y valoración del proceso de mediación efectuado, los aplicadores dispusieron de las hojas de registro y evaluación para cada una de las actividades. En estas hojas, los aplicadores valoraron la puesta en práctica de los indicadores recogidos al final de cada actividad, y posteriormente, con objeto de obtener las PD, se procedió a la cuantificación de estas valoraciones mediante el sistema de análisis descrito en el apartado de Instrumentos. Asimismo, los aplicadores implementaron las pautas de mediación propuestas con el objetivo de evaluar el proceso de resolución de las tareas, y el grado y tipo de apoyo que necesitaron los sujetos durante el desarrollo de las mismas; los aplicadores observaron y valoraron también en qué medida los estudiantes incorporaban a su ejecución algunas de las estrategias objeto de mediación. Por otra parte, en nuestro análisis del valor predictivo, utilizamos dos criterios externos: (a) la valoración del profesorado acerca del RE y del PR observado durante el periodo de aplicación (Caffrey et al., 2008; Resing, 2000), y (b) las calificaciones en Lengua (CA). La valoración del profesorado como medida del rendimiento y el progreso otorga potencialmente una mayor validez ecológica al estudio, permitiendo además introducir elementos valorativos de carácter procesual que difícilmente pueden valorarse con medidas estáticas de rendimiento. Asimismo, la valoración del profesorado ha demostrado ser un excelente predictor del rendimiento académico (Clemente, Albiñana y Doménech, 1999). Confeccionamos una plantilla-registro en la que el profesorado, finalizada la aplicación, debía valorar mediante una escala cualitativa 7 criterios de evaluación formulados con base en los procesos contemplados en nuestra investigación, así como en los criterios propuestos por la Administración para el área de Lengua (Tabla 3). La valoración fue realizada por los tutores y también por los profesores/orientadores que implementaron el dispositivo. La gradación cualitativa fue: (1) Nivel bajo-muy bajo; (2) Nivel medio-bajo; (3) Nivel medio-alto; y (4) Nivel alto-muy alto. Asimismo, el profesor debía valorar el progreso observado marcando en la plantilla «P» o «NP» junto a cada criterio contemplado. De igual forma, al finalizar la fase experimental, solicitamos las CA finales. Es importante destacar aquí que las principales conclusiones derivadas de este estudio provienen de las valoraciones efectuadas por los tutores del alumnado participante, sin que estos participaran en la aplicación del dispositivo ni conocieran la distribución de los sujetos en relación a su participación del grupo experimental o control. Tabla 3. Criterios de evaluación utilizados por el profesorado para valorar el rendimiento y el progreso. 1. Utiliza estrategias adecuadas en situaciones de diálogo en el aula: escuchar, respetar opiniones, expresar sus puntos de vista... 2. Lee y comprende diferentes tipos de textos escolares adecuados a su nivel, destacando el tema y las ideas principales. 3. Utiliza estrategias de planificación en sus actividades de lectura, identificando la tarea que debe realizar y estableciendo unos objetivos. 4. Plantea dudas o preguntas al leer, se da cuenta de cuándo no comprende, formula conclusiones o comentarios de los textos leídos, evalúa su propia comprensión al terminar de leer. 5. Muestra una actitud positiva hacia la lectura. 6. Elabora esquemas o resúmenes de forma clara y ordenada, captando el sentido global del texto y las ideas principales. 7. Utiliza el Lenguaje escrito por propia iniciativa como medio para la adquisición de nuevos aprendizajes y como fuente de información. Análisis de datos Hemos efectuado análisis de correlación de Pearson y diversos análisis de regresión con el fin de precisar la información sobre el valor predictivo. En este sentido, con el objetivo de determinar la efectividad de las diferentes medidas contempladas, hemos realizado análisis de regresión por pasos para los diversos valores de RE, PR y CA mediante la introducción simultánea en la ecuación de las medidas pretest y postest de las pruebas-criterio (Cattell y ECO1/ECOS), las puntuaciones de mejora (PM), obtenidas de la diferencia postest – pretest; y las PD. En estos análisis, las variables que salvan el criterio de entrada (p <.05) aparecen ordenadas en la ecuación en función del porcentaje de varianza explicada. Asimismo, con objeto de analizar el valor predictivo adicional del dispositivo EDPL se realizaron análisis jerárquicos de regresión múltiple utilizando el método Introducir del programa SPSS/PC-19. En este caso, se introducía para cada contraste en un primer bloque cada una de las medidascriterio (puntuación postest) de inteligencia o comprensión, y posteriormente las PD como valor predictivo adicional. Este procedimiento permite obtener un valor incremental de predicción de la variable incluida en segundo lugar (PD), una vez controlado el efecto de la primera. La utilización en estos análisis de las medidas postest obedece a que se trata de la medición más próxima a la valoración del RE y del PR efectuada por el profesorado y, por tanto, de la opción más conservadora con relación a nuestra hipótesis. Estos análisis se han realizado para el conjunto de la muestra, así como para los distintos subgrupos contemplados. Por otra parte, todas las puntuaciones manejadas en la investigación fueron transformadas inicialmente a través de la aplicación de una escala derivada (M =100, DT =16) (Botella, León, San Martín y Barriopedro, 2001). Hemos adoptado en nuestros análisis una diferenciación cualitativa propuesta originalmente por Budoff (1987), efec- 442 Juan-José Navarro y Joaquín Mora anales de psicología, 2013, vol. 29, nº 2 (mayo) tuando contrastes para aquellos sujetos que obtuvieron mejoras postest partiendo de bajas puntuaciones (≤ 84) en las pruebas-criterio de comprensión (mejoradores), así como para aquellos que partiendo igualmente de bajas puntuaciones, no consiguieron ganancias (no-mejoradores). En cuanto a las medidas dinámicas contempladas en nuestro estudio, éstas han sido: (1) la puntuación global obtenida en EDPL (PD); y (2) las PM. Estas medidas dinámicas, especialmente las PD, deberían aportar un significado adicional a la predicción del RE y el PR de los sujetos con relación a la información obtenida de las pruebas-criterio. Resultados En la Tabla 4 exponemos datos descriptivos relativos a las valoraciones efectuadas. Posteriormente nos adentramos en el análisis del valor predictivo con relación a la comprensión lectora (primaria y secundaria) y la inteligencia, presentando en primer lugar las correlaciones entre los valores y puntuaciones obtenidos en las diversas medidas observadas y exponiendo a continuación los resultados de los análisis de regresión efectuados. Los tamaños de las muestras en los diversos contrastes presentados están en función de los recogidos en la Tabla 4. Tabla 4. Valores promedio obtenidos en las diversas valoraciones efectuadas. Valoraciones Primaria N Secundaria N Grupo completo N RE-T (sobre 4) 1.83 32 2.40 27 2.09 59 PR-T (sobre 7) 2.81 32 4.78 27 3.71 59 RE-A (sobre 4) 2.08 22 2.32 19 2.19 41 PR-A (sobre 7) 4.95 22 4.26 19 4.63 41 CA (sobre 10) 4.42 19 5.74 27 5.20 46 Nota: RE-T y PR-T = rendimiento y progreso valorados por el tutor; RE-A y PR-A = rendimiento y progreso valorados por el profesorado especialista; CA = calificaciones en el área de Lengua. Valor predictivo con relación a la comprensión en primaria En la Tabla 5 aparecen las correlaciones entre los valores y puntuaciones obtenidos en primaria en relación a la comprensión lectora. Tabla 5. Correlaciones entre valores y puntuaciones obtenidos en primaria para las diversas medidas contempladas. PD EDPL Pretest ECO 1 Postest ECO 1 PM RE-T PR-T RE-A PR-A CA PD-EDPL --- Pretest ECO1 -.51** --- Postest ECO1 -.20 .43* --- PM .23 -.47** .60** --- RE-T .61** -.20 .12 .32 --- PR-T .39* .18 -.15 -.27 .64** --- RE-A .44* .13 .39 .52* .36 .18 --- PR-A .28 .03 .28 .44* .18 .16 .59** --- CA -.76** .45 -.06 -.38 -.31 .11 -.54* -.11 --- Nota: PD-EDPL = puntuación dinámica obtenida en EDPL; PM = puntuación de mejora; RE-T y PR-T = rendimiento y progreso valorados por el tutor; RE-A y PR-A = rendimiento y progreso valorados por el profesorado especialista; CA = calificaciones en el área de Lengua. * p < .05; ** p < .01 En consonancia con los coeficientes de correlación obtenidos, el análisis de regresión por pasos sobre el rendimiento valorado por el tutor (RE-T), revela que sólo la PD salva el criterio de entrada en la ecuación, prediciendo este valor significativamente (R² =.38; F = 18.32, p < .000). Con relación a la valoración que los tutores hicieron del progreso (PR-T), los análisis muestran la inclusión de dos variables: en primer lugar la PD, R² =.19 (F = 6.46, p < .017) y posteriormente el pretest, incrementando R² en .15; la conjunción de ambas explica el 33.8% del progreso valorado (F = 6.87, p < .004). En cuanto al rendimiento valorado por el profesorado de apoyo (RE-A), la PM predice un 27.2% de la varianza (F = 7.09, p < .015), la PD un 19.6% (F = 4.88, p < .039) y el postest un 15.4% (F = 3.45, p < .079); el análisis de regresión por pasos muestra que sólo la PM salva el criterio de entrada. La valoración sobre el progreso efectuada por el profesorado de apoyo (PR-A) fue también sometida a este análisis, apareciendo sólo la PD en la ecuación (R² =.22; F = 5.21, p < .034). Por su parte, la PM es explicada por el postest en un 35,6% (F = 15.51; p < .000); los análisis de regresión muestran que el postest y la PD explican conjuntamente el 48.2% de la varianza, incrementando R² en .13 al introducir la PD. Las CA son explicadas en un 20.1% por el pretest (F =4.28, p <.054), aunque ninguna variable es introducida en la ecuación al efectuar la regresión por pasos. En síntesis, los resultados para el grupo de primaria confirman nuestra primera hipótesis, por cuanto las PD obtienen niveles de correlación significativos con el RE y el PR, mostrándose estos valores superiores a los obtenidos por la prueba estándar de comprensión. Análisis de regresión para los subgrupos de mejoradores y nomejoradores Para el subgrupo de mejoradores (n = 8), la PD obtiene el valor explicativo más alto (R² =.31; F = 2.65, p < .16) con relación al RE-T, aunque ninguna variable sobrepasa el criterio de entrada en la regresión por pasos, lo que ocurrió también en el resto de valoraciones del profesorado. Con relación al postest, los análisis muestran que sólo la PM explica Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura 443 anales de psicología, 2013, vol. 29, nº 2 (mayo) individualmente la varianza en este subgrupo, con un 74.2% (F = 17.29, p < .006). Por su parte, la correlación entre la PD y el postest es positiva (r = .31; p < .45), con un valor R² = .10. Con relación al subgrupo de no-mejoradores, presentamos los cálculos efectuados para el grupo de sujetos que no obtuvo ganancias postest independientemente de su puntuación inicial (n = 16), ya que sólo 3 sujetos no obtuvieron ganancias partiendo de bajas puntuaciones. Los resultados del análisis de regresión por pasos muestra que la PD predice en un 61.7% el RE-T, siendo la única variable introducida en la ecuación (F = 22.59, p < .000). De igual forma, para el RE-A (n = 10), la PD es la única variable incluida en la ecuación, explicando el 44% de la varianza (F = 6.40, p < .035). Valor predictivo con relación a la comprensión en secundaria La Tabla 6 muestra las correlaciones entre los valores y puntuaciones obtenidos en secundaria en relación a la comprensión lectora. Tabla 6. Correlaciones entre valores y puntuaciones obtenidos en secundaria para las diversas medidas. PD EDPL Pretest ECOS Postest ECOS PM RE-T PR-T RE-A PR-A CA PD-EDPL --- Pretest ECOS -.22 --- Postest ECOS -.16 .79** --- PM -.05 -.02 .60** --- RE-T .35 .31 .30 .10 --- PR-T .39* .25 .17 .02 .76** --- RE-A .49* .06 .09 .05 1.00** .74** --- PR-A .63** -.30 -.14 -.01 .74** 1.00** .74** --- CA .24 .25 .12 -.17 .68** .69** .69** .66** --- Nota: PD-EDPL = puntuación dinámica obtenida en EDPL; PM = puntuación de mejora; RE-T y PR-T = rendimiento y progreso valorados por el tutor; RE-A y PR-A = rendimiento y progreso valorados por el profesorado especialista; CA = calificaciones en el área de Lengua. * p < .05; ** p < .01 Los resultados confirman también para este grupo nuestra primera hipótesis. Los análisis para esta etapa con relación al RE-T mediante la introducción conjunta de las variables en la ecuación, muestran un modelo compuesto que explica el 32.8% de la varianza (p < .043). En cambio, la regresión por pasos revela que sólo la PD salva el criterio de entrada (R² =.18; F =4.88, p < .038 para 23 gl.). Así mismo, con relación al PR-T, sólo la PD entra en la ecuación (R² =.26; F =7.75, p < .011). Resultado similar muestra la regresión por pasos con relación al RE-A y el PR-A; los valores predictivos para la PD son, con respecto al RE-A, R² = .29 (F =6.14, p < .026), y con respecto al PR-A, R² =.49 (F =14.25, p < .002). En este último caso, el pretest, que correlaciona negativamente con el PR-A, entra en la ecuación incrementando R² en .16; de este modo, el modelo explica conjuntamente el 64.4% del PR-A (F =12.69, p < .001). Con relación a la PM, los resultados muestran que la PD no es incluida en la ecuación, permaneciendo sólo el postest como factor explicativo (R² =.357; F =12.77, p < .002). El análisis de regresión por pasos efectuado con relación a las CA no muestra ninguna variable significativa. Análisis de regresión para los subgrupos de mejoradores y nomejoradores En el subgrupo de mejoradores (n =11) la regresión por pasos para el RE-T no muestra ninguna variable en la ecuación. La PM aparece como el factor que mejor predice este valor, obteniendo una correlación de r =.52 (p < .052). La PD obtiene una correlación positiva pero no significativa con el RE-T (r =.40; p < .23), al igual que el postest (r =.34; p < .31). Por su parte, el pretest correlaciona negativamente (r = -.08) con el RE-T. Con relación al PR-T, los análisis muestran que sólo la PD salva el criterio de entrada (R² =.62; F =14.45, p < .004). El resto de variables quedan excluidas del modelo, con valores de correlación negativos (r = -.16 para el pretest) o moderados (r =.20 para el postest y r =.38 para la PM). Por su parte, los análisis con relación al RE-A (n =10) no muestran la inclusión de ninguna variable en la ecuación. La correlación más alta es la obtenida por la PM (r =.49; p < .076), seguida por la PD (r =.36; p < .16). Con relación al PR-A, la regresión por pasos muestra a la PD como única variable (R² =.62; F =13.02, p < .007). En cuanto a las CA, el análisis de regresión no revela ninguna variable en la ecuación. Por su parte, el subgrupo de nomejoradores estuvo compuesto por una reducida muestra (n =2) que no permitió extraer conclusiones relevantes sobre las valoraciones efectuadas. Valor predictivo con relación a la inteligencia En la Tabla 7 recogemos las correlaciones entre valores obtenidos y puntuaciones CI. La regresión por pasos con relación al RE-T muestra que sólo la PD salva el criterio de entrada en la ecuación, con un valor R² =.32 (F = 25.93, p < .000). Idéntico resultado obtenemos del análisis efectuado para la valoración del PR-T; la PD aparece como la única variable en la ecuación, explicando el 24.1% de la varianza (F =17.55, p < .01). Para la valoración del RE-A, también es la PD la que mejor predice el resultado, con un 24.6% de la varianza (F =11.76, p < .01). Por su parte, el análisis efectuado para la valoración del PR- A, muestra a la PM como la mejor predictora, con un valor R² =.16 (F =6.73, p < .014). Para las CA, ninguna variable 450 Juan-José Navarro y Joaquín Mora anales de psicología, 2013, vol. 29, nº 2 (mayo) Saldaña, D.; Mora, J. y Moreno, J. (2007). Evaluación dinámica en retraso mental severo: descripción de un procedimiento ecológico para la valoración de la metacognición. En J. N. García (Coord.), Dificultades del Desarrollo, Madrid: Pirámide. Sternberg, R. J. y Grigorenko, E. L. (2003). Evaluación dinámica. Naturaleza y mediación del potencial de aprendizaje. Barcelona: Paidós. Swanson, H. L. (2000): Swanson-Cognitive Processing Test: Review and applications. En C. S. Lidz y J. G. Elliott (Eds.), Dynamic Assessment: Prevailing Models and Applications, (pp. 71-107). Greenwich, CT: Elsevier-JAI. Swanson, H. L. y Howard, C. B. (2005). Children with reading disabilities: Does dynamic assessment help in the classification? Learning Disability Quarterly, 28(1), 17-34 Thiede, K., Anderson, M. y Therriault, D. (2003). Accuracy of metacognitive monitoring affects learning from texts. Journal of Educational Psychology, 95 (1), 66-73. Thurman, S. y McGrath, M. (2008). Environmentally based assessment practices: Viable alternatives to standardized assessment for assessing emergent literacy skills in young children. Reading y Writing Quarterly, 24, 1, 7-24. (Artículo recibido: 08-09-2011, revisado: 08-05-2012, aceptado: 25-05-2012)) Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura 451 anales de psicología, 2013, vol. 29, nº 2 (mayo) Anexo 1. Fragmento de una sesión de aplicación del dispositivo correspondiente a uno de los grupos de aplicación, CEIP Antonio Machado (evaluadora: M. J. Alés Hervás). Transcripción correspondiente a la mediación realizada con C., un alumno de 5º curso que presenta especiales dificultades en la comprensión global de textos. La actividad que sirve de base a esta mediación es la 23: «Extracción y Construcción del significado», perteneciente al bloque de procesos de integración textual. En esta actividad los alumnos debían leer un texto y realizar un resumen, que podían hacer por escrito y, seguidamente, también de forma oral. Posteriormente se seleccionaría de entre varios dibujos o esquemas, aquel que mejor representaba el contenido del texto. Igualmente, el alumno evaluado debía elegir entre varios párrafos, aquel que mejor resumía el contenido de lo que había leído. Como en otras actividades, se presentaban varios textos, dos con estructura narrativa, con distintos niveles de complejidad, y un tercero con estructura expositiva. Se pretendía evaluar esencialmente la construcción del significado global del texto que realizaba el alumno. Mediación efectuada Análisis de las pautas metodológicas de mediación utilizadas en la aplicación de la actividad Texto con estructura narrativa: El grillo y sus amigos (203 pal.; Popular) …Durante el resumen: Va diciendo en voz baja lo que escribe. Quiere enseñarme continuamente lo que hace. Le preocupa la expresión escrita. Está preocupado porque la historia quede bien, relee desde el principio con frecuencia para saber si está bien, quiere que supervise con él. Evaluadora: ¿Cómo te ha salido? C.: Yo creo que bien. Evaluadora: ¿Cómo sabemos que está bien? Entre todos los componentes del pequeño grupo concluimos estas normas generales: - Porque se escribe lo más importante de la historia: personajes, lo que pasó, cómo terminó… - Escribes al principio lo que pasó primero, después lo de en medio, y por último lo del final. No mezclando lo del final al principio… Lo ha escrito con sus palabras, sin copiarla. Durante la elección del dibujo: Observa con atención, sin mediación verbal. Elige la opción correcta. Evaluadora: ¿Por qué has elegido ese dibujo? C.: Porque el segundo no, porque no molestaba a un pez, sino a un zorro. El tercero no porque el cuento no decía que se pelearan, que le diera un puñetazo. El cuarto no porque en el cuento no había niños. Y el primero sí porque es cuando la avispa le va a picar debajo de la cola. Explica y argumenta su decisión sin necesidad de mediación externa. Durante la elección del mejor resumen: Evaluadora: ¿Cómo lo vas a hacer? C.: Leyéndolo y eligiendo uno. Evaluadora: ¿Cuál? C.: El que lo cuente mejor. Evaluadora: ¿Y cómo sabemos que lo cuenta bien? ¿Porque está escrito con letra más bonita? C.: No. Evaluadora: ¿Porque es más largo? C.: No. Evaluadora: ¿Porque es más corto? C.: No. Evaluadora: ¿Porque cuenta todo lo importante? o ¿Porque cuenta sólo lo del principio o lo del final? C.: Lo cuenta todo. Evaluadora: ¿Vale mezclar el final y después el principio? C.: No. Porque cuenta desde arriba hasta abajo. Evaluadora: Desde el principio de la historia hasta el final. C. lee el primer resumen y dice que ese no es, justificando su decisión. Sigue leyendo en voz baja, reflexivo. Eligen mal (los La Evaluadora realiza anotaciones sobre la puesta en práctica de procesos de autorregulación (estrategias de supervisión). Hace referencia también a aspectos de índole socio-personal (preocupación del sujeto y necesidad de continua supervisión externa). *Pregunta para provocar la puesta en práctica de procesos de autorregulación (estrategias de autoevaluación). Después trata de evaluar la conciencia acerca de lo que es necesario para realizar adecuadamente la actividad. *Lanza una cuestión al pequeño grupo (en el cual se encuentra el alumno evaluado) para que de forma colectiva construyan unas “normas generales” sobre los aspectos más relevantes a la hora de realizar un resumen. Realiza anotaciones sobre la calidad de la respuesta del sujeto. También anota con relación a la puesta en práctica de procesos cognitivos y de autorregulación (estrategias de supervisión). *Profundiza en la respuesta del alumno, realizando nuevas preguntas y solicitando la justificación de la respuesta. No se hace alusión en la trascripción al reforzamiento o la confirmación de la respuesta del sujeto. Realiza anotaciones sobre la puesta en práctica de procesos de autorregulación (estrategias de supervisión). *Pregunta para provocar la puesta en práctica de procesos de autorregulación (estrategias de planificación). Después *va realizando preguntas que tratan de apoyar la respuesta del alumno. *Pregunta para evaluar la conciencia del sujeto acerca de los elementos necesarios que debe tener el resumen elegido. *Establece apoyo gradualmente mediante preguntas para acercarse a respuestas más adecuadas. *Refuerza y confirma la respuesta del alumno, introduciendo términos de carácter más académico. Realiza anotaciones relativas a los procesos de autorregulación y también a la puesta en práctica de procesos de integración textual. Anota sobre la calidad de la respuesta de los alumnos del pequeño grupo. *Establece apoyo gradualmente mediante preguntas, con objeto de 452 Juan-José Navarro y Joaquín Mora anales de psicología, 2013, vol. 29, nº 2 (mayo) alumnos del pequeño grupo). Leemos las elecciones realizadas y hacemos preguntas sobre si cuentan toda la historia, si falta algo… Llegamos a la conclusión de que ninguna era correcta… Vuelven a leer; C. elige el resumen correcto y lo justifica diciendo que éste cuenta toda la historia. Evaluadora: ¿Cuenta el principio? C.: Sí porque dice que el grillo molestaba al zorro. Evaluadora: ¿Cuenta lo que pasa en medio? C.: Sí, los animales que acompañaban a cada uno, los de cuatro patas y los de muchas patas. Evaluadora: ¿Y cuenta el final de la historia? C.: Sí, que ganó el grillo porque le picó… acercarse a la respuesta más adecuada. *Va realizando preguntas que establecen apoyo de forma gradual y facilitan la realización de la actividad del alumno. *Focaliza la atención del sujeto en el contenido del texto, dirigiendo su actividad hacia la búsqueda de una determinada información. *Secuencia el contenido de la actividad para facilitar su realización. Notas utilizadas en la transcripción: Las anotaciones destacadas en negrita reflejan las reflexiones o comentarios de la propia evaluadora con relación al proceso de mediación o a la respuesta del alumno. En la columna correspondiente al análisis efectuado, los asteriscos indican referencias a algunas de las pautas metodológicas de mediación utilizadas durante la aplicación de la actividad. Validez predictiva e incremental de un dispositivo de evaluación dinámica sobre el rendimiento y el progreso en lectura 453 anales de psicología, 2013, vol. 29, nº 2 (mayo) Anexo 2. Hoja de registro y evaluación de la actividad: extracción y construcción del significado Sistema de puntuación: 1.No aparece la conducta. El indicador no se ha puesto en práctica. 2. Indicios de la conducta o puesta en práctica del indicador de forma rudimentaria. 3. Conducta claramente apreciable (aunque no sea de gran calidad). 4. Conducta intensa o de gran calidad. Criterios de Evaluación (Indicadores) Identifica/reconoce y accede al significado de palabras escritas (T) Construye el significado de proposiciones (T) Vincula proposiciones y construye significados aplicando reglas de supresión y generalización (T) Estructura el resumen del texto de forma adecuada, realizando un texto con sentido y estructura definidas (T) Resume el texto con un sentido global y utilizando vocabulario propio (T) Sigue la progresión temática adecuadamente al realizar el resumen del texto (T) Jerarquiza y secuencia la información (T) Identifica ideas relevantes de un texto (T) Integra nuevas ideas con conocimientos y experiencias anteriores (T-C) Expresa opiniones, juicios o intuiciones acerca del contenido del texto (T-C) Revisa las ideas del texto desde lo que ya sabe (T-C) Otros indicadores: Es consciente de lo que sabe acerca del contenido de la lectura (M) Dirige por sí mismo/a procesos de reflexión y solución del problema planteado (M) Identifica la tarea que debe realizar y el problema planteado (M) Define y crea metas (M) Secuencia operaciones a realizar (M) Realiza actividades coherentes con la meta que ha definido, manteniendo los objetivos (M) Manifiesta control de la impulsividad. Presenta latencias (M) Utiliza la mediación verbal. Se cuenta a sí mismo/a lo que va a hacer, lo que está haciendo o lo que ha hecho, se formula preguntas, se plantea dudas, etc. (M) Se recupera de las interrupciones y distracciones (M) Controla la actividad durante la lectura para determinar si entiende o no lo que está leyendo (M) Evalúa logros con relación a las metas definidas (M) Se formula preguntas y dudas sobre el texto leído (M) Persiste cuando se enfrenta a obstáculos y dificultades (P-S) Muestra entusiasmo por la lectura (P-S) Aparición/petición de conductas de ayuda/colaboración (P-S) Los evaluadores debían realizar una valoración de la puesta en práctica de cada uno de los indicadores contemplados en la actividad. Esta valoración fue la base sobre la que se aplicó el sistema de puntuación que permitió cuantificar las valoraciones y obtener las puntuaciones dinámicas con las que se ha realizado el análisis cuantitativo del proceso de aplicación de EDPL, así como la valoración de la validez predictiva. Elementos de valoración cualitativa Evaluación del proceso de resolución de la actividad y de la mediación efectuada. En esta Hoja de registro-evaluación, los evaluadores debían reflejar también su valoración cualitativa del proceso de resolución de la actividad, así como de la mediación efectuada, destacando especialmente aquellas pautas metodológicas de ED que hubieran sido claves en la explicación de las mejoras observadas en la actividad del estudiante. Nota: Los indicadores recogidos en este anexo están relacionados con los procesos implicados en la lectura que han sido contemplados en EDPL. En este sentido, para cada una de las actividades, los evaluadores debían valorar la puesta en práctica de algunos indicadores específicamente relacionados con la tarea a realizar y, asimismo, de otros indicadores cuya valoración se consideraba relevante en relación a otros procesos contemplados en el dispositivo. Entre paréntesis hemos situado unas iniciales correspondientes a los procesos con los que se relacionan cada uno de los indicadores de esta actividad: T = procesos de integración textual; T-C = procesos de integración texto-conocimientos previos; M = procesos metacognitivos; P-S = procesos de ajuste personal-social.