Dynamic assessment of reading difficulties

Revista de Psicodidáctica, 2012, 17(1), 27-49 ISSN 1136-1034 www.ehu.es/revista-psicodidactica © UPV/EHU Dynamic Assessment of Reading Difficulties Evaluación dinámica de las dificultades de aprendizaje de la lectura Juan-José Navarro and Joaquín Mora University of Seville1 Abstract This article describes the changes produced in a group of students with reading difficulties (RD) in response to the experimental application of a dynamic assessment device of the processes involved in reading (EDPL). The sample consists of 133 students of 9-16 years with RD (60 in the experimental group and 73 in the control group). The design is a pretest/posttest for impact evaluation. Analyses allow differentiated information on the impact of the EDPL device depending on the previously established degree of difficulty; empirically setting the population that would get more benefits from its application in the school context. The results show significant improvements in reading comprehension, personal-social adjustment and intelligence in the students who have greater difficulties both in specific domains and in intelligence. Likewise, the analysis provides information about the mechanisms that might explain the improvements. Keywords: Dynamic assessment, reading comprehension, reading difficulties. Resumen En este artículo se recogen los cambios producidos en un grupo de estudiantes con dificultades de comprensión lectora (DL) como respuesta a la aplicación experimental de un dispositivo de evaluación dinámica de procesos implicados en la lectura (EDPL). La muestra está integrada por 133 estudiantes de 9 a 16 años con DL (60 en el grupo experimental y 73 en el grupo control). Se utiliza un diseño pretest/ postest para la evaluación de los resultados. Los análisis efectuados permiten obtener información diferenciada sobre el impacto de EDPL en función del grado de dificultad previamente establecido, configurando empíricamente la población que obtendría mayores beneficios de su aplicación en el contexto escolar. Los resultados muestran mejoras significativas en comprensión, ajuste personal-social e inteligencia en aquellos estudiantes que presentan mayores dificultades, tanto en dominios específicos como en inteligencia. Así mismo, los análisis otorgan información acerca de los mecanismos que podrían explicar las mejoras. Palabras clave: Evaluación dinámica, comprensión lectora, dificultades de aprendizaje de la lectura. Correspondence: Juan José Navarro Hidalgo, Departamento de Psicología Evolutiva y de la Educación, Universidad de Sevilla, c/ Pirotecnia, s/n., 41013, Sevilla (Spain). E-mail: [email protected]. 1 We would like to express our gratitude to the academic staff at the different educational centres participating in this research, as well as to those at the Teachers’ Centre (CEP) in Alcalá de Guadaíra (Seville), for their valuable collaboration. Likewise, we thank the Department of Education of the Andalusian Government the granting of a study leave for this research. 28 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 Introduction Dynamic assessment models are based on the interaction between the subjects being assessed and other more expert subjects, who provide help, establishing a mediation process between current competences and task demands. Thus, a space in which to build knowledge is created, which is particularly sensitive to pedagogic action, hereby facilitating the identification of the type and degree of educational aid needed, and establishing a dynamic measure of the processes assessed, in contrast to more static measures that basically inform about skills that are already consolidated (Elliott, 2003; Grigorenko, 2009; Newman, Griffin, & Cole, 1989; Sternberg & Grigorenko, 2002; Vygotsky, 1934/1995). The application of these assessment models seems to be more relevant with students who present learning difficulties (LD) or cognitive disability (Campione & Brown, 1987; Carlson & Wiedl, 2000; Guthke & Beckmann, 2000; Saldaña, Mora, & Moreno, 2007; Swanson & Howard, 2005). However, the consideration of the social context characterized by the interaction and the support in which the educational process normally evolves can contribute significantly to the increase of the ecological validity of these procedures, facilitating their application and generalization in the school setting (Schlee, 1985; Thurman & McGrath, 2008; Wells, 1999). One of the main reasons brandished in favor of dynamic assessment (DA) is its capacity to identify interindividual differences while minimizing the influence of students’ previous history (Kozulin, 1998; Resing, Tunteler, de Jong, & Bosma, 2009). In effect, as it consists of activities that attempt to assess the process and capacity to learn certain concepts or skills, establishing a common starting point concerning the contents that are dealt with and focusing especially on skills and competences under development, these procedures would no doubt be rated better than conventional tests (Dörfler, Golke, & Artelt, 2009; Lidz & Elliot, 2000; Sternberg & Grigorenko, 2002). Some studies have shown that children with very different schooling histories could perform equally well in tests that assessed their learning potential (Feuerstein, 1996; Kaniel, Tzuriel, Feuerstein, Ben-Shachar, & Eitan, 1991). There is also evidence that students with special difficulties improved their performance significantly in assisted or collaborative learning situations, as well as after the application of dynamic assessment procedures, and these works generally show positive effects in the treatment groups (Campione, Brown, & Ferrara, 1987; Fernández-Ballesteros & Calero, 2000; Guthke & Beckmann, 2000; Resing, 2000; Resing & Elliott, 2011; Resing et al., 2009; Saldaña et al., 2007). Thus, significant improvements in specific do- DYNAMIC ASSESSMENT OF READING DIFFICULTIES 29 Revista de Psicodidáctica, 2012, 17(1), 27-49 mains, such as working memory, arithmetic or reading, have been reported (Swanson & Howard, 2005), as well as in general skills measured with IQ tests after applications focused essentially on metacognitive processes, in which the application conditions of the tasks were manipulated with regard to the quantity or type of verbalization and feedback received by the subject during the mediation (Beckmann, Beckmann, & Elliott, 2009; Carlson & Wiedl, 2000). However, DA allows access to the integrated assessment of diverse processes involved in an activity (Rapp & Broek, 2005). Thus, the information about the mechanisms through which a student builds and optimizes his learning can be relevant to orient the educational action (Ruiz & Camps, 2009), thereby allowing the establishment of real connections between the assessment and intervention processes, considered a key aspect to improve educational processes (Aguilera & García, 2004; Coll, Barberá & Onrubia, 2000; Gersten & Dimino, 2006; Grigorenko, 2009). In his proposals about assessment, Vygotsky made a particular distinction between DA in general cognitive functions (the more developed sphere) and DA in specific academic learning domains, such as reading or arithmetic (Kozulin & Garb, 2001). In our opinion, the nature of the tasks proposed from each one of these approaches is particularly relevant for education. Thus, on the one hand are the dynamic tests that include new tasks for the student; these tasks are characterized by their decontextualization and their similarity to conventional tests; they attempt to assess learning capacity (Kozulin, 1998; Sternberg & Grigorenko, 2002). Among their main advantages are: (a) they assess the learning potential in “culture-free” tasks and (b) the supposed equality of conditions when facing the tasks. Among their drawbacks are: (a) they assess “abstract” learning potential, with no correspondence with learnings that are meaningful for school, (b) the decontextualization of the activity of learning, (c) the scarce/lack of ecological validity, and (d) the supposedly lower predictive power of performance as a consequences of these elements. On the other hand are the tests that include tasks with contents related to academic learnings (Cioffi & Carney, 1983; Dörfler et al., 2009; Grigorenko, Sternberg, & Ehrman, 2000; Haywood & Lidz, 2007; Sternberg & Grigorenko, 2002). They have the following advantages: (a) the contextualization of the assessment instruments, (b) greater ecological validity of the results, and (c) the supposedly higher prediction power of academic performance. They also have the following drawbacks: (a) as they are activities whose contents are saturated with information that may already be a part of the subject’s knowledge, it would be more difficult to establish the learning capacity as such and, as a 30 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 consequence of this, (b) the need to exhaustively establish the initial level of development to be able to determine the improvements, as well as the need to build specific assessment devices, sensitive to the processes involved, and efficacious in the school setting (Lidz, 2004; Thurman & McGrath, 2008). Goals and research hypotheses The present work attempts to analyze the effects in a group of students with reading comprehension difficulties (RD) by the experimental application of a dynamic assessment device of the processes involved in reading (in Spanish, “evaluación dinámica de procesos implicados en la lectura” [EDPL]). Our hypothesis contemplated possible improvements in comprehension, as well as in the levels of personal-social adjustment and cognitive performance. This hypothesis is based on the processes of mediated interaction that take place during the application, as well as on the metacognitive content that underlies most of the mediation guidelines provided by the test administrators during the sessions. Method Participants Thirteen schools (7 from primary education and 6 from compulsory secondary education [CSE]), located in Seville and Cadiz (Andalusia-Spain), participated the investigation. The sample comprised 133 students with RD, of whom 60 (23 girls and 37 boys) were in the experimental group (EG) and 73 (29 girls and 44 boys) were in the control group (CG). Age range was between 9-16 years. The students were assigned to these groups as a function of the participation possibilities of the teachers who collaborated with the Work Group (WG) that implemented the EDPL device. There were 12 teachers/counselors (test administrators) in this WG, and another 5 were in the CG. The lower number of members in the CG is due to the fact that some counselor-participants of the CG attended large groups of students and, likewise, some counselors from the EG carried out their work in centers with students who ultimately made up the CG. In both cases, they were professionals involved in innovation projects, with training and experience in special education, psychology, or pedagogy. Fortyeight teacher-tutors collaborated in completing the rating scales, and 6 teachers who did not belong to the centers participated in the application of the criterion-tasks. Initial sample selection was carried out on the basis of the information about the significant presence of RD provided by the specialist teachers and counselors in a datacollection form. Various subgroups were contemplated as a function of the information provided by the DYNAMIC ASSESSMENT OF READING DIFFICULTIES 31 Revista de Psicodidáctica, 2012, 17(1), 27-49 educational counseling teams and by the centers, which were represented in each one of the experimental conditions. These subgroups were not exclusive, and their consideration in the subsequent analyses should contribute to better delimiting the efficacy sphere of the EDPL device. The details of the sample are in Table 1. Instruments The EDPL device EDPL (Navarro, 2008) is a set of strategies and activities of DA through which information about the process of resolving the proposed tasks is obtained, as well as of the mechanisms that contribute to improvement during the activity. In accordance with the theoretical framework of reference adopted, the proposed reading assessment is basically characterized by considering reading an interactive (Graesser, Singer, & Trabasso, 1994; Rapp & Broek, 2005), systemic and dynamic process, which is socially built in interaction contexts (Wells, 1999), based on a process of mediated interaction between the assessor and the student with difficulties, thereby providing a connection between assessment and intervention (Aguilera & García, 2004; Grigorenko, 2009). In this sense, the assessors take on an active role in the assessment situations, they modify their questions and even the instruments as a function of the subject’s response; they provide tools or guidelines to control and regulate the activity in order to observe and Table 1 Composition and Distribution of the Sample Distribution by stage and participation groups Participant teachers Subgroups contemplated for analysis EG CG Stage Students EG CG EG (members of the WG) CG Experts in validation Application of criterion-tests Collaborating teachers 12 5 4 6 48 Learning difficulties Cognitive disability Socioculturally deprived Receives specific support 31 13 16 39 47 16 10 26 Primary CSE 68 65 32 28 36 37 Totals 133 60 73 Note: The subgroup Receives specific support was made up of students with RD who received specialized educational attention, and it included subjects from the other subgroups. 32 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 appraise their degree of incorporation into the task resolution; they intervene in the process, mediating its accomplishment, in order to assess the process of performance and the degree and type of support the subject needs (Annex I). The EDPL device is made up of 32 assessment activities (Fig. 1) placed within a series of processes that have been contemplated as a function of prior research (Compton et al., 2010; Graesser et al., 1994; Hacker, 1998; Kintsch, 1988; Kintsch & Kintsch, 2005; Sánchez, 1999). Each activity includes: (a) the process to be assessed; (b) a description of the activity to be carried out; (c) the methodology proposed for its application; (d) the patterns of mediation and assessment of metacognitive processes, that is, the Figure 1. Assessment activities of the diverse reading processes contemplated in EDPL (Reprinted from Navarro, & Mora, 2011). DYNAMIC ASSESSMENT OF READING DIFFICULTIES 33 Revista de Psicodidáctica, 2012, 17(1), 27-49 tools and guidelines to control and regulate the aforementioned activity; and (e) assessment criteria or indicators. To facilitate collecting and appraising the information, the test administrators had Recording and assessment sheets for each activity. They should reflect the process of mediation and assessment carried out on these sheets. This assessment consisted of the analysis of the process of learning and resolving tasks, which involved difficulties about the “invisibility” of the cognitive and emotional processes at stake, the deployment of which the evaluator necessarily had to infer. A list of indicators (Table 2) was elaborated to facilitate the task of assessing more accurately the presence and quality of the diverse processes. These indicators were handed in to the test administrators as a part of each one of the activities and should be appraised on the Recording and assessment sheets. A system of analysis was developed to quantify the assessments carried out (Lukas & Santiago, 2004). This allowed us to operationalize the process of application and to obtain dynamic scores for each activity and also global scores. The system adopted (Moreno & Saldaña, 2005), was based on a gradual scale made up of four appraisals: (1) The behavior does not appear. The indicator was not deployed; (2) Signs, rudimentary behavior; (3) Clearly observable behavior (although not high quality); and (4) Intense behavior or high-quality behavior. Table 2 Indicators of the Block of Processes of Text-Prior Knowledge Integration He/she integrates new ideas with prior knowledge and experiences He/she uses prior knowledge and experiences to construct meanings He/she is sensitive to the author’s style, assumptions, perspective and intentions and can even question these aspects He/she expresses opinions, judgments, or intuitions about the text contents He/she establishes relations among diverse texts He/she formulates and answers questions about the text He/she formulates hypotheses. He/she anticipates results He/she contrasts and verifies the hypotheses He/she makes inferences about the text that go beyond it He/she reviews the ideas of the text based on what he/she already knows 34 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 Criterion battery — Factor “G” test of Cattell, Scale 2-Form A (Cattell & Cattell, 1974/2001). — Scale of Personal-social adjustment regarding Reading [in Spanish, Escala de Ajuste Personal-Social con relación a la Lectura, APSL]. This scale (Navarro, 2008) provides information about 9 dimensions (Table 3) and is made up of 80 items presented within a structure of short sentences on which the students should rate their degree of agreement or disagreement. A global score and scores of the diverse dimensions are obtained. — Text comprehension: We used two tests to assess text comprehension: ECO1, for the second and third cycles of primary education, and ECOS, to be applied in CSE (Table 4). They were elaborated in view of the goals of the study (Navarro, 2008) and they assess the student’s knowledge and use of reading strategies, as well as global comprehension. The ECO1 and ECOS comprise 10 texts with diverse structures, belonging to various spheres related to the curricular areas of primary and secondary education, respectively, followed by a set of multiple-choice questions (43 for ECO1 and 56 for Table 3 Dimensions of the APSL Scale D1 Knowledge of one’s own current cognitive limitations, potential, and possibility of learning, difficulties, and ways to solve them. D2 Knowledge of one’s expectations, academic self-concept, and attributional style. D3 Knowledge of one’s attitude toward reading: emotions, feelings of rejection versus satisfaction and enjoyment of reading, frustration tolerance, persistence in the face of difficulty, autonomy versus dependence. D4 Knowledge of one’s own interests and motivations. D5 Perception of support provided by the school and family settings, and of the conditions in which this occurs. D6 Perception of the relevance of the topic: reading, what it is good for, its importance. D7 Knowledge of one’s own relational strategies with others in reading tasks. D8 Knowledge of one’s own strategies of control and conscious regulation of the reading process (planning, supervision, self-assessment). D9 Awareness of the capacity to generalize this knowledge or strategies. DYNAMIC ASSESSMENT OF READING DIFFICULTIES 35 Revista de Psicodidáctica, 2012, 17(1), 27-49 Table 4 Dimensions of the ECO1 and ECOS Tests of Text Comprehension Conception of reading: What is reading good for, what does reading consist of, what does reading imply. Knowledge of the strategies that can be applied: self-regulation strategies (planning, supervision, self-assessment), transfer and generalization, textual integration, and integration of text-prior knowledge. Prior knowledge (only in ECOS): Knowledge about the text topic, situations posed, and action outlines described. Textual integration: access to the meaning of words, linear integration of the ideas, integration of all the ideas in an outline, construction of global propositions, distinction of the relevant information, ranking and sequencing the information, access to the information contained in charts, tables, and outlines, identification and use of the textual structure. Integration of the text with prior knowledge and experience: establishment of relations, formulation of hypotheses, inferences, author’s intention, critical review of the text from what is already known. Supervision of the process of comprehension: detection of incoherencies and overcoming the difficulties by applying strategies of lexical, syntactic, and semantic processing. ECOS). The application of these tests provides a global score in comprehension, and scores in the diverse dimensions. The analyses of the validity and reliability of the comprehension and personal-social adjustment tests, as well as its validation by experts before its application, yielded positive results. These tests were administered to groups of complete classes from the collaborating centers, obtaining, among others, the following data: ECO1 test (n = 179): alpha reliability coefficient = .81, Kolmogorov-Smirnov normality test = .088 (p < .002), mean homogeneity index (MHI) = .32, mean difficulty index (MDI) = .65; ECOS test (n = 43): alpha = .89, ShapiroWilk normality test (n < 50) = .94 (p < .027), MHI = .37, MDI = .51; APSL scale (n = 98): alpha = .88, Kolmogorov-Smirnov = .077 (p < .179), MHI = .32, MDI = .31. As the APSL data were nonnormal, nonparametric tests were used in some of the analyses carried out with small samples. Design and procedure A pretest-posttest design with a control group was used in order to assess the impact of the intervention. The procedure followed is summarized in Table 5. The EDPL device was applied in a small group. The 12 test administrators 42 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 tial analysis of metacognitive skills also led to focusing the mediator activity on processes and strategies of control and self-regulation of learning. This activity may also have facilitated the emergence of this type of skills in the students during the DA process, and this seems to be reflected in the improvement obtained in the dimensions of the criterion-tests more closely related to metacognition. These processes are precisely the ones that seem more susceptible to efficacious educational action to optimize the cognitive functioning of students with learning difficulties or intellectual disability (Carlson & Wiedl, 2000; García-Sánchez, 2002; Guterman, 2002; Navarro & Mora, 2009; Souvignier & Mokhlesgerami, 2006). In the introduction, it was noted that some investigations in DA had focused their intervention essentially on these skills and the results obtained confirmed their relevance in the improvement of the cognitive functioning of students with difficulties. In this sense, Carlson and Wiedl (2000) found that, when restructuring cognitive tests by the introducing detailed feedback and verbalization before, during, and after the task—as key factors in the improvement—precisely the students with metacognitive difficulties significantly improved their performance. The greater efficacy of the assessment model proposed by these authors lies in this kind of dynamic assessment of these skills in the students who presented deficits in these processes. The relevance of verbalization/mediation could be related to a possible restructuring of the processes of thinking, in the sense of optimizing attentional resources, which could positively affect the consideration of the rules to be followed, the strategies to be employed, or the information to be remembered. Moreover, a second factor in the verbalization process that may have great impact on improving task performance is that it involves the use of an additional coding system; in effect, when verbalization is introduced in the learning process, a double and conjoint coding of information can occur, which would result in improved learning. In our case, this hypothesis could explain the posttreatment improvements in the intelligence test. Thus, the students who obtained posttest gains could have initially used a preferentially perceptive-visual coding system, which was insufficient to perform the task successfully. Only after the application would the two coding systems have merged; on the one hand, the already present perceptive-visual system; and on the other, a symbolic-linguistic coding system, fruit of the use of verbal self-regulation strategies mediated during the implementation of the device. In this sense, despite the fact that the application of the device acted essentially on reading processes and, therefore, in a mainly verbal sphere, the work developed DYNAMIC ASSESSMENT OF READING DIFFICULTIES 43 Revista de Psicodidáctica, 2012, 17(1), 27-49 —based especially on metacognitive processes and thus more focused on general problem-solving strategies (although applied to a specific domain) than on skills linked to a specific task— could explain the changes in the performance with tests of non-verbal content. The students would have learned strategies to resolve different kinds of problems because the essence of their learning lies in the application of general elements, such as, for example: (a) more reflection prior to acting; (b) maintaining attention for longer periods of time and with more quality; (c) more control and regulation of activity; or (d) reviewing their activity after finishing the task. Thus, the application of these strategies to a test like the Cattell test would have contributed significantly to the explanation of the improvements obtained at posttest. On the other hand, the design used allowed us to control the main sources of error: age and prior performance in intelligence, personalsocial adjustment, and comprehension. The levels of equivalence obtained contributed to control over the main effects of regression to the mean, which otherwise would have cast doubt on the improvements observed in the students who started out with lower scores. However, despite the results in cognitive performance, the device did not generate differential effects in comprehension. Nevertheless, there is a limitation concerning the higher number of students in the EG who received special support due to the presence of greater reading difficulties. Despite the initial equivalence in reading performance —at least in primary education— this could have been an important obstacle for a valid group comparison of this aspect. The reason for this is the greater possibilities of favorable shortand medium-term evolution in students who present a lower degree of difficulties (which could have occurred in the CG), in comparison to those who displayed more specific difficulties that required special attention (Campione et al., 1987; Navarro & Mora, 2009). Despite this, with regard to our hypothesis, it is concluded that the EDPL produced significant improvements in the students who presented greater difficulties in functions and specific domains and in general intelligence, and it provided information about the mechanisms that may explain the improvements obtained. In this sense, the educational implications derived from these results —especially with regard to learning selfregulation strategies in students with greater difficulties in comprehension and intelligence— are necessarily related to the identification of the action and mediation mechanisms used by the administrators of the device, which are key elements either to obtain valuable information about the intervention or as a guideline and support that optimized the subject’s performance 44 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 (Grigorenko, 2009). The results are in accordance with those obtained in investigations mentioned in the introduction and that precisely underline the relevance of dynamic assessment procedures in students with greater learning difficulties. Thus, the data obtained will empirically configure the population that could obtain greater benefits from the application of the device in the school setting. Aguilera, A., & García, I. (2004). Evaluar interviniendo, intervenir evaluando: una propuesta de actuación ante las dificultades del aprendizaje. Apuntes de Psicología, 22(3), 309-322. Beckmann, N., Beckmann, J. F., & Elliott, J. G. (2009). Self-confidence and performance goal orientation interactively predict performance in a reasoning test with accuracy feedback. Learning and Individual Differences, 19(2), 277-282. Botella, J., León, O., San Martín, R., & Barriopedro, M. I. (2001). Análisis de datos en psicología I. Madrid: Pirámide. Campione, J. C., & Brown, A. L. (1987). Linking dynamic testing with school achievement. In C. S. Lidz (Ed.), Dynamic assessment: An international approach to evaluating learning potential (pp. 82-115). New York: Guilford Press. Campione, J. C., Brown, A. L., & Ferrara, R. A. (1987). Retraso mental e inteligencia. En R. Sternberg (Ed.), Inteligencia humana, II (pp. 599729). Barcelona: Paidós. Carlson, J. S., & Wiedl, K. H. (2000). The validity of dynamic assessment. In C. S. Lidz, & J. G. Elliot (Eds.), Dynamic assessment: Prevailing models and applications (pp. 681712). Greenwich, CT: Elsevier-JAI. Cattell, R. B., & Cattell, A. K. S. (1974/2001). Test de factor «G» (Escalas 2 y 3). Madrid: TEA. Cioffi, G., & Carney, J. (1983). Dynamic assessment of reading disabilities. Reading Teacher, 36, 764-768. Coll, C., Barberá, E., & Onrubia, J. (2000). La atención a la diversidad en las prácticas de evaluación. Infancia y Aprendizaje, 90, 111-132. Compton, D., Fuchs, D., Fuchs, L., Bouton, B., Gilbert, J., Barquero, L., et al. (2010). Selecting at-risk firstgrade readers for early intervention: Eliminating false positives and exploring the promise of a two-stage gated screening process. Journal of Educational Psychology, 102(2), 327-340. Dörfler, T., Golke, S., & Artelt, C. (2009). Dynamic assessment and its potential for the assessment of reading competence. Studies in Educational Evaluation, 35, 77-82. Elliott, J. (2003). Dynamic assessment in educational settings: Realising potential. Educational Review, 55(1), 15-32. References DYNAMIC ASSESSMENT OF READING DIFFICULTIES 45 Revista de Psicodidáctica, 2012, 17(1), 27-49 Fernández-Ballesteros, R., & Calero, M. D. (2000). The assessment of learning potential: The EPA instrument. In C. S. Lidz, & J. G. Elliott (Eds.), Dynamic assessment: Prevailing models and applications (pp. 293-323). Greenwich, CT: Elsevier-JAI. Feuerstein, R. (1996). La teoría de la modificabilidad estructural cognitiva. In S. Molina, & M. Fandos (coords.), Educación Cognitiva I (pp. 31-75). Zaragoza: Mira Editores. García-Sánchez, J. N. (2002). Aplicaciones de intervención psicopedagógica. Madrid: Pirámide. Gersten, R., & Dimino, J. (2006). New directions in research RTI (response to intervention): Rethinking special education for students with reading difficulties (yet again). Reading Research Quarterly, 41(1), 99-108. Graesser, A. C., Singer, M., & Trabasso, T. (1994). Constructing inferences during narrative text comprehension. Psychological Review, 101(3), 371-395. Grigorenko, E. (2009). Dynamic assessment and response to intervention. Two sides of one coin. Journal of Learning Disabilities, 42(2), 111132. Grigorenko, E., Sternberg, R. J., & Ehrman, M. E. (2000). A theory-based approach to the measurement of foreign language learning ability: The CANAL-FT theory and test. The Modern Language Journal, 84, 390405. Guterman, E. (2002). Toward dynamic assessment of reading: Applying metacognitive awareness guidance to reading assessment tasks. Journal of Research in Reading, 25(3), 283-298. Guthke, J., & Beckmann, J. (2000). The learning test concept and its application in practice. In C. S. Lidz, & J. G. Elliott (Eds.), Dynamic assessment: Prevailing models and applications (pp. 17-69). Greenwich, CT: Elsevier-JAI. Hacker, D. (1998). Self-regulated comprehension during normal reading. In D. Hacher, J. Dunlosky, & A. Graesser (Eds.), Metacognition in educational theory and practice (pp. 165-192). Hillsdale, NJ: Erlbaum. Haywood, H. C., & Lidz, C. S. (2007). Dynamic assessment in practice: Clinical and educational applications. New York: Cambridge University Press. Kaniel, S., Tzuriel, D., Feuerstein, R., Ben-Shachar, N., & Eitan, T. (1991). Dynamic assessment, learning, and transfer abilities of Jewish Ethiopian immigrants to Israel. In R. Feuerstein, P. S. Klein, & A. Tannenbaum (Eds.), Mediated learning experience (pp. 179-209). London: Freund. Kintsch, W. (1988). The role of knowledge in discourse comprehension: A construction-integration model. Psychological Review, 95(2), 163-182. Kintsch, W., & Kintsch, E. (2005). Comprehension. In S. G. Paris, & S. A. Stahl (Eds.), Children’s reading comprehension and assessment (pp. 71-91). Mahwah, NJ: Erlbaum. Kozulin, A. (1998). Psychological tools. A sociocultural approach to education. Cambridge, MA: Harvard University Press. Kozulin, A., & Garb, E. (2001). Dynamic assessment of EFL text comprehension of at-risk students. Paper presented at the 9th Conference of the European Association for Research on Learning and Instruction. Fribourg, Switzerland, 2001. Lidz, C. S. (2004). Comment on curriculum-based measurement: Describing 46 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 competence, enhancing outcomes, evaluating treatment effects, and identifying treatment nonresponders by Fuchs and Fuchs. Journal of Cognitive Education and Psychology, 4(1), 131-133. Lidz, C. S., & Elliott, J. G. (Eds.) (2000). Dynamic assessment: Prevailing models and applications. Greenwich, CT: Elsevier-JAI. Lukas, J. F., & Santiago, K. (2004). Evaluación educativa. Madrid: Alianza. Moreno, J., & Saldaña, D. (2005). Use of a computer-assisted program to improve metacognition in persons with severe intellectual disabilities. Research in Developmental Disabilities, 26, 341-357. Navarro, J. J. (2008). Evaluación dinámica de procesos implicados en la lectura. Doctoral dissertation. University of Seville (Spain). Navarro, J. J., & Mora, J. (2009). Metaconocimientos y comprensión de textos. Investigación en la Escuela, 69, 99-113. Navarro, J. J., & Mora, J. (2011). Analysis of the implementation of a dynamic assessment device of processes involved in reading with learningdisabled children. Learning and Individual Differences, 21(2), 168-175, doi: 10.1016/j.lindif.2010.11.008 Newman, D., Griffin, P., & Cole, M. (1989). The construction zone. New York: Cambridge University Press. Pardo, A., & San Martín, R. (1998). Análisis de datos en psicología II. Madrid: Pirámide. Rapp, D., & Broek, P. (2005). Dynamic text comprehension: An integrative view of reading. Current Directions in Psychological Science, 14(5), 276279. Resing, W. C. M. (2000). Assessing the learning potential for inductive reasoning (LIR) in young children. In C. S. Lidz, & J. G. Elliott (Eds.), Dynamic assessment: Prevailing models and applications (pp. 224-262). Greenwich, CT: Elsevier-JAI. Resing, W., & Elliott, J. G. (2011). Dynamic testing with tangible electronics: Measuring children’s change in strategy use with a series completion task. British Journal of Educational Psychology, 81, doi: 10.1348/20448279.002006 Resing, W., Tunteler, E., de Jong, F., & Bosma, T. (2009). Dynamic testing in indigenous and ethnic minority children. Learning and Individual Differences, 19(4), 445-450. Ruiz, U., & Camps, A. (2009). Investigar los géneros discursivos en el proceso educativo. Revista de Psicodidáctica, 14(2), 211-228. Saldaña, D., Mora, J., & Moreno, J. (2007). Evaluación dinámica en retraso mental severo: descripción de un procedimiento ecológico para la valoración de la metacognición. In J. N. García (coord.), Dificultades del desarrollo (pp. 1-17). Madrid: Pirámide. Sánchez, E. (1999). El lenguaje escrito y sus dificultades: una visión integradora. In A. Marchesi, C. Coll, & J. Palacios (comps.), Desarrollo psicológico y educación, 3. Trastornos del desarrollo y necesidades educativas especiales (pp. 127-155). Madrid: Alianza. Schlee, J. (1985). Förderdiagnostik - Eine bessere Konzeption? In R. S. Jäger, R. Horn, & K. Ingenkamp (Comps.), Tests and trends (pp. 82-208). Weinheim, Germany: Beltz. Souvignier, E., & Mokhlesgerami, J. (2006). Using self-regulation as a framework for implementing strategy instruction to foster reading compre- DYNAMIC ASSESSMENT OF READING DIFFICULTIES 47 Revista de Psicodidáctica, 2012, 17(1), 27-49 hension. Learning and Instruction, 16(1), 57-71. Sternberg, R. J., & Grigorenko, E. L. (2002). Dynamic Testing. Cambridge: Cambridge University Press. Swanson, H. L., & Howard, C. B. (2005). Children with reading disabilities: Does dynamic assessment help in the classification? Learning Disability Quarterly, 28(1), 17-34. Thurman, S. K., & McGrath, M. C. (2008). Environmentally based assessment practices: Viable alternatives to standardized assessment for assessing emergent literacy skills in young children. Reading & Writing Quarterly, 24(1), 7-24. Vygotsky, L. S. (1934/1995). Pensamiento y lenguaje. Barcelona: Paidós. Wells, G. (1999). Dialogic inquiry: Toward a socio-cultural practice and theory of education. Cambridge, UK: Cambridge University Press. Juan José Navarro Hidalgo holds a Ph.D. in Psychology, and is a Hired Professor in the Department of Developmental and Educational Psychology of the University of Seville. His research focuses on the dynamic assessment of the processes involved in reading, metacognition, and learning difficulties. Joaquín Mora Roche holds a Ph.D. in Psychology, and is a Titled Professor in the Department of Developmental and Educational Psychology of the University of Seville. He directs the research group Cognitive enrichment and special educational needs. His research revolves about disability, metacognition, and language. He is the author of the cognitive enrichment program Comprehending and Transforming. Received date: 11-1-11 Review date: 23-3-11 Accepted date: 22-6-11 48 JUAN-JOSÉ NAVARRO AND JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-49 ANNEX I Extract of the session corresponding to the application group (B), Public Primary and Secondary Center Antonio Machado (teacher María José Alés Hervás) Transcription of the mediation carried out with C., a male student from 5th grade who presents special difficulties in the global comprehension of texts. The mediation is based on activity 22: «Use of the structure of a text», which belongs to the block of textual integration processes. This activity basically consisted of the student reading from a set of texts, and then relating their content. Two of the texts were narrative in structure, one of them respected the logical structure and the other one was disordered in this sense. The other two texts were expositive and, as with the narratives, one of them was logically ordered and the other was not. They were simple texts with familiar contents; the difficulty of the task should not lie in the complexity of the text contents. We wished to assess whether the students identified the textual structure and whether they used structural elements to access the global comprehension of the texts. We also wished to assess the structuring of the text summary carried out by the student, that is, whether he/she wrote a text with defined meaning and structure. Mediation performed Analysis of the methodological patterns of dynamic assessment used in the mediation The whales (ordered text) Starts to read and goes back because he says he could not understand. C.: I had to start three times and it was his fault! (His classmate, who does not focus on the activity). He activates his prior knowledge when he finds a word he had seen in another text. C.: Filter! Like the layer that surrounds the earth and filters the sun. He asks the words he does not understand or know. He controls the activity, he knows that he must understand and he introduces latencies to make sure. He rereads the text, without needing external mediation. He is supervising the activity. He explains the content of the text coherently, with the proper sequence. There is no external verbal mediation by him. The Assessor takes notes about the implementation of self-regulation processes (supervision strategies), processes of personal-social adjustment, and processes of integration of text-prior knowledge. The student relates one of the words of the new text to the content of the previous text; however, in the transcription, there is no recording by the Assessor of a positive reinforcement response or of confirmation of the response, or of the subject’s attitude. She makes notes about the implementation of processes of self-regulation (supervision strategies). She also makes notes about the quantity and quality of help needed to accomplish the activity. *The Assessor asks questions to facilitate the subject’s self-assessment with regard to whether he liked the reading, and the ease or difficulty of his comprehension. *She DYNAMIC ASSESSMENT OF READING DIFFICULTIES 49 Revista de Psicodidáctica, 2012, 17(1), 27-49 Mediation performed Analysis of the methodological patterns of dynamic assessment used in the mediation Assessor: Did you like reading? C.: Yes Assessor: Was it easy or difficult? C. Easy or regular. Assessor: But did this text say the things correctly? C.: Yes, because in the other text, the one of Rabin, the things were wrong. (We look for the disordered text to remember it). Assessor: And when it was disordered, what happened, was it easier to understand? C.: No, it was more difficult because you get mixed up. Breathing (disordered text) C.: Why is the title down here? Assessor: Where should it be? C.: Up. He reads very fast. C.: Ready! But I’m going to read it again. While reading, he comments on the content of the text. Assessor: Did you understand all the words of the text? He asks several words he didn’t know, but which he had not asked spontaneously. When he finishes reading: C.: This part can’t be the first part because it says: «secondly...» Then there has to be another one before. Assessor: Good, and what does the text tell you? C.: I don’t know, it’s very difficult. Assessor: What does it talk about? Whales? C.: No, about lungs. Assessor: What else? C…: It’s very difficult because it talks about lungs, oxygen... We reread it, paragraph by paragraph, trying to understand the global meaning of the text. It takes a lot of effort but at last, he gets a slight idea of the text. Incoherencies in the structure of the text were detected. relates the text he is working on to the previous one in order to provoke the subject’s assessment about the structural characteristics of both texts. *She facilitates and accompanies the student’s activity, searching for the disordered text so as to facilitate comparison. *The Assessor establishes gradual support by means of questions that guide the subject toward a conclusion. The student underlines an incoherence in the text about its structure, and the Assessor attempts to *deepen and question the subject’s comments with a new question. She makes notes about the subject’s behavior regarding the implementation of processes of self-regulation (supervision). *The Assessor asks a question that attempts to provoke a process of reflection and self-assessment in the student with regard to his knowledge of the vocabulary of the text. *She asks the subject about the contents of the text, *establishing gradual support by means of new questions when she sees the subject’s difficulty to tell her what the text is about. *She sequences the content of the activity to facilitate its accomplishment. *The Assessor reinforces and confirms the subject’s response. NOTES USED IN THE TRANSCRIPTION: The notes in boldface reflect the assessor’s reflections or comments about the process of mediation or about the student’s response. In the column corresponding to the analysis carried out, asterisks indicate references to methodological patterns of dynamic assessment (MPDA). Revista de Psicodidáctica, 2012, 17(1), 27-50 ISSN 1136-1034 www.ehu.es/revista-psicodidactica © UPV/EHU Evaluación dinámica de las dificultades de aprendizaje de la lectura Dynamic Assessment of Reading Difficulties Juan-José Navarro y Joaquín Mora Universidad de Sevilla1 Resumen En este artículo se recogen los cambios producidos en un grupo de estudiantes con dificultades de comprensión lectora (DL) como respuesta a la aplicación experimental de un dispositivo de evaluación dinámica de procesos implicados en la lectura (EDPL). La muestra está integrada por 133 estudiantes de 9 a 16 años con DL (60 en el grupo experimental y 73 en el grupo control). Se utiliza un diseño pretest/ postest para la evaluación de los resultados. Los análisis efectuados permiten obtener información diferenciada sobre el impacto de EDPL en función del grado de dificultad previamente establecido, configurando empíricamente la población que obtendría mayores beneficios de su aplicación en el contexto escolar. Los resultados muestran mejoras significativas en comprensión, ajuste personal-social e inteligencia en aquellos estudiantes que presentan mayores dificultades, tanto en dominios específicos como en inteligencia. Asimismo, los análisis otorgan información acerca de los mecanismos que podrían explicar las mejoras. Palabras clave: Evaluación dinámica, comprensión lectora, dificultades de aprendizaje de la lectura. Abstract This article describe the changes produced in a group of students with reading difficulties (RD) in response to the experimental application of a dynamic assessment device of processes involved in reading (EDPL). The sample consists of 133 students of 9-16 years with RD (60 in the experimental group and 73 in the control group). The design is a pretest/posttest for impact evaluation. Analyses allow differentiated information on the impact of EDPL device depending on the degree of difficulty previously established; empirically setting the population would get more benefits from its application in the school context. The results show significant improvements in reading comprehension, personalsocial adjustment and intelligence in those students who have greater difficulties both in specific domains like intelligence. Likewise, the analysis gives information about the mechanisms that might explain the improvements. Keywords: Dynamic assessment, reading comprehension, reading difficulties. Correspondencia: Juan José Navarro Hidalgo, Departamento de Psicología Evolutiva y de la Educación, Universidad de Sevilla, c/ Pirotecnia, s/n., 41013, Sevilla. E-mail: [email protected]. 1 Deseamos agradecer la colaboración inestimable del profesorado perteneciente a los centros educativos participantes, así como la del CEP de Alcalá de Guadaíra (Sevilla). Asimismo, agradecemos a la Dirección General de Innovación Educativa y Formación del Profesorado de la Junta de Andalucía por el apoyo prestado a través de la concesión de una licencia de estudios al primer autor. 34 JUAN-JOSÉ NAVARRO Y JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-50 una de las actividades y debían ser valorados en las Hojas de registro y evaluación. Se desarrolló un sistema de análisis que cuantificara las valoraciones efectuadas (Lukas y Santiago, 2004). Esto nos permitiría operativizar el proceso de aplicación y disponer de puntuaciones dinámicas para cada actividad y también globales. El sistema adoptado (Moreno y Saldaña, 2005), tenía como base una escala con carácter gradual compuesta por cuatro apreciaciones: (1) No aparece la conducta. El indicador no se ha puesto en práctica; (2) Indicios, conducta rudimentaria; (3) Conducta claramente apreciable (aunque no sea de gran calidad); y, (4) Conducta intensa o de gran calidad. Batería de criterio — Test de factor «G» de Cattell, Escala 2-Forma A (Cattell y Cattell, 1974/2001). — Escala de Ajuste Personal-Social con relación a la Lectura, APSL. Esta escala, de elaboración propia (Navarro, 2008), otorga información acerca de 9 dimensiones (tabla 3) y se compone de ochenta ítems presentados al alumnado en una estructura de frases cortas ante las que éste debe mostrar individualmente su Tabla 3 Dimensiones de la Escala APSL D1 Conocimiento de las propias limitaciones cognitivas actuales, potencialidades y posibilidades de aprendizaje, dificultades y vías de solución. D2 Conocimiento de las propias expectativas, autoconcepto académico y estilo atribucional. D3 Conocimiento de la propia actitud ante la lectura: emociones, sentimiento de rechazo vs satisfacción y gusto por la lectura, tolerancia a la frustración, persistencia ante la dificultad, autonomía vs dependencia. D4 Conocimiento de los propios intereses y motivaciones. D5 Percepción del apoyo que ofrece el contexto escolar y familiar, y de las condiciones en las que se desenvuelve. D6 Percepción de la relevancia del tema: la lectura, para qué sirve, cuál es su importancia. D7 Conocimiento de las propias estrategias de relación con los demás en tareas de lectura. D8 Conocimiento de las propias estrategias de control y regulación consciente del proceso de lectura (planificación, supervisión, autoevaluación). D9 Reconocimiento de la capacidad de generalización de estos conocimientos o estrategias. EVALUACIÓN DINÁMICA DE LAS DIFICULTADES DE APRENDIZAJE DE LA LECTURA 35 Revista de Psicodidáctica, 2012, 17(1), 27-50 acuerdo o desacuerdo. Se obtiene una puntuación global y puntuaciones relativas a las distintas dimensiones. — Comprensión de textos: Se utilizaron dos pruebas de evaluación de la comprensión de textos: ECO1, para 2.º y 3.º ciclo de primaria, y ECOS, de aplicación en E.S.O (tabla 4). Fueron elaboradas en función de los objetivos del estudio (Navarro, 2008) y pretenden dar respuesta a la valoración del conocimiento y uso de estrategias lectoras, así como de la comprensión global. ECO1 y ECOS se componen de 10 textos que presentan diversas estructuras y pertenecen a diversos ámbitos relacionados con las áreas curriculares de primaria y secundaria respectivamente, seguidos de una serie de preguntas (43 para ECO1 y 56 para ECOS) con opción múltiple de respuesta. La aplicación de estas pruebas otorga una puntuación global en comprensión, al tiempo que puntuaciones relativas a las distintas dimensiones contempladas. Debemos destacar que los análisis sobre la validez y fiabilidad de las pruebas de compresión y ajuste personal-social, así como la validación de expertos realizada previaTabla 4 Dimensiones en las Pruebas de Comprensión de Textos ECO1 y ECOS Concepción sobre la lectura: Para qué sirve leer, en qué consiste y que implica la lectura. Conocimiento de estrategias que pueden aplicarse: estrategias de autorregulación (planificación, Supervisión, autoevaluación), transferencia y generalización, integración textual e integración texto-conocimientos previos. Conocimientos previos (sólo en ECOS): Conocimientos sobre la temática del texto, situaciones planteadas y esquemas de acción descritos. Integración textual: acceso al significado de palabras, integración lineal de las ideas, integración de todas las ideas en un esquema, construcción de proposiciones globales, distinción de la información relevante, jerarquización y secuenciación de la información, acceso a la información contenida en cuadros, tablas y esquemas, identificación y uso de la estructura textual. Integración del texto con los conocimientos y experiencias previas: establecimiento de relaciones, formulación de hipótesis, realización de inferencias, intención del autor, revisión crítica del texto desde lo ya conocido. Supervisión del proceso de comprensión: detección de incoherencias y superación de las dificultades mediante la aplicación de estrategias de procesamiento léxico, sintáctico y semántico. 36 JUAN-JOSÉ NAVARRO Y JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-50 mente a su aplicación, arrojaron resultados positivos. Se realizó una aplicación de estas pruebas a grupos-clase completos pertenecientes a los centros colaboradores, obteniendo entre otros los siguientes datos: prueba ECO1 (n = 179): coeficiente de fiabilidad «alfa» = .81; prueba «Kolmogorov-Smirnov» de normalidad = .088 (p < .002); índice medio de homogeneidad (IMH) = .32; índice de dificultad medio (IDM) = .65; prueba ECOS (n = 43): «alfa» = .89; prueba «Shapiro-Wilk» de normalidad (n < 50) = .94 (p < .027); IMH = .37; IDM = .51; escala APSL (n = 98): «alfa» = .88; «Kolmogorov-Smirnov» = .077 (p < .179); IMH = .32; IDM = .31. Es necesario señalar la ausencia de normalidad en los datos de APSL, lo que implicó el uso de pruebas no paramétricas en algunos análisis efectuados con muestras reducidas. Diseño y procedimiento Para la evaluación de impacto se utilizó un diseño pretest-postest con grupo control. En la tabla 5 hemos sintetizado el procedimiento seguido. La aplicación de EDPL fue realizada en pequeño grupo. Los 12 aplicadores recibieron formación relativa a las bases teórico/metodo lógicas de la propuesta. Estas sesioTabla 5 Procedimiento Seguido en la Investigación 1. Aplicación piloto de instrumentos diseñados y validación de expertos 2. Contactamos con colaboradores en la fase experimental y con las familias 3. Programación y comienzo de las sesiones del Grupo de Trabajo (GT). Formación de aplicadores 4. Formación de los colaboradores que efectuarían la pasación de pruebas-criterio 5. Pasación de pruebas-criterio a GE y GC 6. Aplicación del dispositivo en el GE por parte de los profesores/aplicadores / El GC recibe otros tratamientos 7. Seguimiento y evaluación del proceso de aplicación de EDPL por parte del GT 8. Aplicación postest de las pruebas-criterio 9. Sesiones de evaluación en el GT del dispositivo EDPL y de su aplicación 10. Recogida final de datos. Determinación de resultados en función de hipótesis EVALUACIÓN DINÁMICA DE LAS DIFICULTADES DE APRENDIZAJE DE LA LECTURA 37 Revista de Psicodidáctica, 2012, 17(1), 27-50 Tabla 6 Análisis de Equivalencia Inicial Global y por Subgrupos entre GC y GE para las Variables Inteligencia, Ajuste y Comprensión Medidas pretest Global Subgrupos DA DIS DEP AE Inteligencia M-GC (DT) M-GE (DT) 80.91 (18.05) 82.57 (14.00) 87.71 (16.36) 83.06 (15.03) 68.25 (14.30) 76.31 (10.76) 88.80 (16.83) 86.70 (13.20) 70.70 (14.61) 79.82 (13.37) Levene 3.78 .45 .53 .59 0.18 Sig. .054 .50 .47 .45 0.67 t(2, 103) = .53 (2, 53) = –1.09 (2, 27) = 1.68 (2, 19) = –.29 (2, 57) = 2.40 Sig. .60 .28 .11 .77 .02* Ajuste personal-social M-GC (DT) M-GE (DT) 95.06 (15.90) 97.98 (13.91) 95.50 (15.29) 95.78 (14.32) 97.38 (11.47) 97.76 (12.40) 89.28 (24.02) 102.13 (14.31) 92.65 (13.36) 94.77 (13.18) Levene .16 .05 .24 3.44 .30 Sig. .69 .82 .63 .08 .59 t(2, 115) = .98 (2, 63) = .08 (2, 27) = .09 (2, 21) = 1.62 (2, 62) = .63 Sig. .33 .94 .93 .12 .53 Comprensión (primaria) M-GC (DT) M-GE (DT) 86.16 (8.91) 84.18 (8.75) 88.75 (8.55) 86.92 (8.57) 80.75 (9.04) 84.35 (6.78) 82.66 (8.22) 81.95 (9.64) 80.47 (7.72) 84.79 (9.53) Levene .25 .31 .15 .26 .13 Sig. .62 .58 .71 .61 .72 t(2, 66) = –.93 (2, 31) = –.58 (2, 9) = .76 (2, 22) = –.19 (2, 26) = 1.14 Sig. .36 .36 .36 .36 .36 Comprensión (secundaria) M-GC (DT) M-GE (DT) 91.17 (8.02) 88.25 (10.24) 92.42 (8.20) 90.73 (9.68) 88.56 (7.28) 79.52 (6.34) 82.41 (4.09) 83.14 (12.30) 88.20 (6.75) 83.33 (5.67) Levene 1.67 .95 1.07 1.59 1.52 Sig. .20 .34 .32 .28 .23 t(2, 63) = –1.29 (2, 43) = –.64 (2, 16) = –2.59 (2, 4) = .08 (2, 35) = –2.38 Sig. .20 .53 .02* .94 .02* Presencia de subgrupos en GE y GC GC GE 47 31 16 13 10 16 26 39 χ²3.28 .31 1.39 2.60 Sig. .070 .58 .24 .11 Nota: En los contrastes se han asumido varianzas iguales; χ² = Chi cuadrado; M-GC/GE (DT) = Media del grupo control/experimental y desviación típica; DA = Dificultades de aprendizaje (excluyendo deprivación y discapacidad); DIS = Discapacidad cognitiva; DEP = Deprivación sociocultural (excluyendo discapacidad); AE = Recibe apoyo específico; * p < .05. 38 JUAN-JOSÉ NAVARRO Y JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-50 nes de formación tuvieron lugar en el marco de un GT coordinado por el investigador principal y a través del cual se realizó el seguimiento y la evaluación de todo el proceso. El contenido específico de estas sesiones incluía la presentación, discusión y análisis conjunto de las actividades propuestas, la ejemplificación de la aplicación de los patrones de mediación recogidos en el dispositivo, el análisis de vídeos y el seguimiento de las sesiones iniciales. El tiempo de aplicación fue de 16 semanas; cada grupo de aplicación (11 en total) invirtió un promedio de 2 sesiones semanales de 45 minutos. En función de los objetivos propuestos, los aplicadores debían realizar, en una secuencia ya pre-determinada, las actividades que se encuentran en los rectángulos tridimensionales de la Figura 1. Por su parte, dado que el GC estaba integrado por estudiantes con DL que recibían apoyo escolar, se trataba en realidad de un grupo de otros tratamientos, cuyo efecto, en cualquier caso, quedaría aleatorizado en función de la diversidad de actuaciones, centros y docentes participantes. En la tabla 6 recogemos los valores de equivalencia inicial entre GE y GC para diversas variables, incluida la presencia en ambos de sujetos pertenecientes a los diversos subgrupos. En los análisis no hallamos generalmente diferencias significativas inter-grupos. Asimismo, los valores de la prueba «Levene» de homogeneidad de varianzas mostraron esta equivalencia de partida. En los contrastes relativos a la inteligencia, el ajuste y la comprensión fue aplicada la prueba t-Student para grupos independientes. Con relación a la edad, los valores promedio del GE (12.40, DT = 2.44) y del GC (12.05, DT = 2.34), así como la prueba «Levene» y la t-Student, mostraron equivalencia (F = .59, p < .44; t(2, 131) = .83, p < .41). Por su parte, el sexo también mostró equivalencia inter-grupos (χ² GE/ GC niñas = .69; p < .41; χ² GE/GC niños = .61; p < .44). Análisis de datos y tratamiento estadístico Además de la designación previa del profesorado como criterio para establecer las DL, en nuestros análisis fueron consideradas las puntuaciones iniciales en las pruebas de comprensión, ajuste y CI, estableciéndose tres criterios de análisis en función de la valoración de las dificultades: (a) Valoración inicial del profesorado como alumno con DL; (b) Valoración del profesorado + puntuación inicial en Comprensión [o Ajuste] (≤ 84/100); y (c) Valoración del profesorado + puntuación inicial en Comprensión [o Ajuste] (≤ 84/100) + puntuación inicial en CI (≤ 84/100). En este sentido, un alumno podía cumplir un solo criterio, dos, o los tres. De este modo, ha sido posible analizar los resultados desde una óptica complementaria en función del criterio de análisis adoptado, permitiendo asi- EVALUACIÓN DINÁMICA DE LAS DIFICULTADES DE APRENDIZAJE DE LA LECTURA 39 Revista de Psicodidáctica, 2012, 17(1), 27-50 mismo obtener información diferenciada sobre el impacto de EDPL en función del grado de dificultad del estudiante. Por otra parte, todas las puntuaciones manejadas en la investigación fueron transformadas a través de la aplicación de una escala derivada con media 100 y DT 16 (Botella, León, San Martín, y Barriope dro, 2001). Para los contrastes con la escala APSL en subgrupos pequeños utilizamos las pruebas no paramétricas de «Wilcoxon» para muestras relacionadas y «U de Mann-Whitney» para muestras independientes. Asimismo, procedimos a calcular los valores de tamaño del efecto para cada uno de los contrastes efectuados mediante el coeficiente de correlación biserial-puntual rYλ de Pearson (Pardo y San Martín, 1998). Estos valores permiten obtener información no sólo sobre la existencia o no de un efecto significativo del tratamiento aplicado, sino sobre el impacto que éste ha tenido sobre las variables estudiadas. En este sentido, la estandarización propuesta asume que aquellos valores de rYλ que se sitúen por encima de .37 permitirían hablar de un tamaño grande del efecto y, por tanto, de un impacto significativo del tratamiento aplicado. Resultados Los análisis han sido efectuados, para cada una de las pruebas, en función de los tres criterios de análisis establecidos (tabla 7), y teniendo en cuenta asimismo los distintos subgrupos contemplados (tabla 8). En la presentación de los resultados iremos haciendo referencia a los efectos más relevantes observados en cada prueba-criterio, incluyendo algunos datos provenientes de los contrastes efectuados para las distintas dimensiones que integran. En primer lugar debemos admitir que el dispositivo no tuvo efectos diferenciales significativos sobre el rendimiento en comprensión en función del criterio de designación previa del profesorado, es decir, cuando fueron contemplados todos los sujetos. Aunque la inspección de los resultados muestra una evolución positiva en las ganancias del GE en ECO1 a medida que el criterio de análisis implicaba mayores dificultades, los efectos se ven ciertamente ensombrecidos a tenor de los resultados del GC. A pesar de la equivalencia inicial inter-grupos, la mayor presencia en el GE de alumnos que recibían apoyo específico (AE), podría haber tenido una influencia significativa en la obtención de bajas puntuaciones postest en este grupo. En la discusión volveremos sobre este asunto. Por otra parte, hemos contrastado, mediante la prueba t para muestras independientes, las puntuaciones de mejora (PM) para ECO1 entre GE y GC. Las diferencias promedio son favorables al GC, llegando a ser significativas para la dimensión Integración textual en función del primer criterio de análisis (t(2,64) = 2.190, p < .032) y del segundo (t(2,22) = 2.147, p < .043). 40 JUAN-JOSÉ NAVARRO Y JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-50 Tabla 7 Resultados en GC y GE para la Puntuación de Mejora (Postest-Pretest) en las Distintas Pruebas, en Función de los Tres Criterios de Análisis Establecidos Pruebas (a) Designación previa del profesorado (b) Criterio del profesorado + puntuación inicial en comprensión/ajuste (< = 84) (c) Criterio del profesorado + puntuación inicial en comprensión/ajuste (< = 84) + puntuación inicial en Cattell (< = 84) PM nrYλPM nrYλPM nrYλ ECO1 GC +6.04* 36 .39 +13.98** 13 .76 +7.10 6 .51 GE +0.60 30 .07 +6.12* 11 .60 +6.73* 7 .73 ECOS GC +5.15** 34 .56 +8.06* 7 .75 +12.30* 4 .91 GE +7.93** 25 .74 +8.68** 12 .84 +5.79* 7 .78 APSL GC –2.22 56 –.15 +4.01 12 .31 +10.31 7 .67 GE +0.11 54 .00 +8.36* 11 .75 +7.60* 8 .73 Cattell GC +3.07 42 .25 –3.66 15 –.35 –3.00 11 –.39 GE +4.79** 57 .41 +7.09** 24 .69 +8.33** 15 .74 Nota: En los contrastes pre-post se utilizó la prueba t para muestras relacionadas; los criterios de análisis (b) y (c) para APSL contemplaron la puntuación inicial obtenida en la propia escala; PM = puntuación de mejora; * p < .05; ** p < .01. Tabla 8 Resultados en GC y GE para la Puntuación de Mejora (Postest-Pretest) en las Distintas Pruebas, en Función de los Distintos Subgrupos Contemplados Pruebas DA DIS DEP AE PM nr Yλ PM nr Yλ PM nr Yλ PM nr Yλ ECO1 GC +5.30 22 .35 +1.68 4 .20 +9.42 10 .52 +1.12 8 .12 GE –0.20 11 –.03 +1.28 7 .20 +0.93 12 .09 +0.23 19 .03 ECOS GC +5.24** 24 .53 +4.92* 10 .66 — 0 — +5.15** 16 .75 GE +9.44** 17 .77 +5.54* 6 .80 +2.17 2 .51 +8.25** 17 .74 APSL GC –2.83 33 –.17 –2.30 16 –.30 +0.80 7 .04 –0.49 26 –.06 GE +2.04 29 .16 –4.89 13 –.48 +0.82 12 .09 +0.72 37 .06 Cattell GC +4.72 22 .34 +2.26 15 .26 –1.90 5 –.13 +2.69 23 .26 GE +2.77 30 .25 +10.64** 11 .74 +4.56 16 .41 +5.58** 36 .46 Nota: En los contrastes pre-post se utilizó la prueba t para muestras relacionadas; DA = dificultades de aprendizaje; DIS = discapacidad; DEP = deprivación socio-cultural; AE = recibe apoyo específico; PM = puntuación de mejora; * p < .05; ** p < .01. EVALUACIÓN DINÁMICA DE LAS DIFICULTADES DE APRENDIZAJE DE LA LECTURA 41 Revista de Psicodidáctica, 2012, 17(1), 27-50 Con relación a la prueba ECOS constatamos ganancias significativas en ambos grupos en función de los tres criterios de análisis. Los contrastes entre las PM mostraron diferencias significativas favorables al GE en función del primer criterio para la dimensión Supervisión y autoevaluación del proceso de comprensión (t(2,57) = –2,026, p < .047, rYλ = .26). Asimismo, el GE obtuvo ganancias significativas en los análisis efectuados para los distintos subgrupos, a excepción del grupo DEP, aunque las diferencias promedio con relación al GC no llegaron a ser relevantes estadísticamente. En cuanto a la escala APSL, los resultados muestran ganancias significativas en el GE en función del segundo y tercer criterio de análisis. Estas ganancias se produjeron en la puntuación global y especialmente en aquellas dimensiones relacionadas con el metaconocimiento estratégico sobre lectura (D8) y con el reconocimiento de la capacidad de generalizar estrategias (D9) («Wilcoxon» (n=11) = 32.00, p < .048, en función del criterio (b) y «Wilcoxon» (n=8) = 26.50, p < .033 para el criterio (c)). Por otra parte, hemos realizado para APSL contrastes en función de la etapa. Estos análisis nos permitieron comprobar que la dimensión D9 y aquella que expresaba conjuntamente las dimensiones D8 y D9, establecían diferencias significativas en E.S.O. (D9, t(2,25) = –2.848, p < .009, rYλ = .49; D8 y 9, t(2,25) = –2.900, p < .008, rYλ = .50). En ambos casos la medida del tamaño del efecto nos permite afirmar que en torno al 25% de la varianza en las puntuaciones postratamiento del GE (rYλ2) sería explicada por la aplicación de EDPL. Por su parte, en el GC hubo ausencia de diferencias reseñables, tanto en primaria como en secundaria. Con relación a los contrastes entre las PM, en función del primer criterio hallamos diferencias significativas en secundaria para la dimensión D8 y 9 a favor del GE —en este contraste no se asumieron varianzas iguales (t(2,58.62) = –2.458, p < .017, rYλ = .29)—. Para el segundo criterio, los contrastes de PM muestran diferencias notables favorables al GE, aunque no llegan a ser estadísticamente significativas ni para la puntuación global ni para las distintas dimensiones contempladas. Para el tercer criterio, en cambio, hallamos diferencias significativas favorables al GC para la dimensión D2 (U(n=15) = 3.00, p < .002). Con relación a los distintos subgrupos, los contrastes efectuados para las distintas dimensiones contempladas mostraron diferencias significativas en el GE para el subgrupo DA en la dimensión compuesta (D8 y 9), con una ganancia postratamiento de 7.02 puntos (t(2,28) = –2.486, p < .02, rYλ = .43). También para el subgrupo DA, hallamos diferencias significativas en la dimensión D1 en los contrastes de PM, con una diferencia promedio favorable al GE de 8.16 puntos (t(2,60) = –2.083, p < .042, rYλ = .26). Para el resto de 42 JUAN-JOSÉ NAVARRO Y JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-50 subgrupos no hallamos diferencias promedio significativas. Con relación a los resultados en Cattell, pudimos comprobar que para los distintos criterios adoptados las ganancias postratamiento del GE fueron muy significativas. Estas ganancias se produjeron tanto en primaria (t(2,29) = –2.245, p < .033, rYλ = .38) como en secundaria (t(2,26) = –2.622, p < .014, rYλ = .46). Los resultados positivos también se hicieron extensivos a los análisis efectuados en función de los distintos subgrupos contemplados, obteniendo ganancias muy significativas el subgrupo DIS (t(2,10) = –3.482, p < .006, rYλ = .74) y el de AE (t(2,35) = 3.085, p < .004, rYλ = .46). En cuanto a los contrastes entre las PM, éstos arrojaron diferencias significativas favorables al GE en función del segundo criterio (t(2,37) = 3.80, p < .001, rYλ = .52) y también en función del tercero (t(2,24) = 3.71, p < .001, rYλ = .59). Asimismo, los contrastes de PM muestran diferencias significativas para el subgrupo DIS favorables al GE. En estos contrastes hemos utilizado pruebas no paramétricas debido a las diferencias observadas en el pretest (U(n=26) = 41.00, p < .031). Por su parte, los resultados para el GC en estos análisis se muestran inconsistentes. Discusión Los resultados obtenidos generan algunas cuestiones que merecen ser discutidas: ¿Cuáles han sido los mecanismos de acción de EDPL que han permitido observar efectos positivos en algunos alumnos tras su aplicación? ¿Por qué se produjeron mejoras en rendimiento cognitivo con un dispositivo de ED de dominios específicos? Una peculiaridad de nuestro estudio la constituye el hecho de que el tratamiento experimental es, en sí mismo, un procedimiento de evaluación. El dispositivo EDPL se propone esencialmente obtener información válida con relación a la mejora del proceso de comprensión del alumnado con especiales dificultades; sin embargo, el proceso de interacción mediada que tiene lugar durante su aplicación, conlleva la puesta en práctica de una serie de patrones metodológicos de evaluación dinámica (PMED) que habrían facilitado la aparición de habilidades y estrategias de mayor nivel. En este sentido, los evaluadores extrajeron información acerca de aquellos PMED que se habrían mostrado eficaces (Navarro, 2008). Por otra parte, el análisis preferente de las habilidades metacognitivas ha conllevado igualmente una focalización de la actividad mediadora sobre procesos y estrategias de control y autorregulación del aprendizaje; actividad que podría haber facilitado igualmente la aparición, durante el proceso mismo de ED, de este tipo de habilidades en el alumnado y que parece haberse reflejado en los resultados, a través de las mejoras obtenidas en aquellas dimensiones de las pruebas-criterio más relacio- EVALUACIÓN DINÁMICA DE LAS DIFICULTADES DE APRENDIZAJE DE LA LECTURA 43 Revista de Psicodidáctica, 2012, 17(1), 27-50 nadas con la metacognición. Estos procesos serían, precisamente, los que parecen admitir en mayor medida una acción educativa eficaz para optimizar el funcionamiento cognitivo del alumnado con dificultades de aprendizaje o discapacidad intelectual (Carlson y Wiedl, 2000; García-Sánchez, 2002; Guterman, 2002; Navarro y Mora, 2009; Souvignier y Mokhlesgerami, 2006). En la introducción apuntábamos que algunas investigaciones en ED habían centrado esencialmente su intervención en estas habilidades y que los resultados obtenidos confirmaban su relevancia en la mejora del funcionamiento cognitivo de estudiantes con dificultades. En este sentido, Carlson y Wiedl (2000) encontraron que en la reestructuración de pruebas cognitivas, mediante la introducción de retroali men ta ción detallada y de verbalización antes, durante y después de la tarea, como factores clave en la mejora, eran precisamente aquellos estudiantes con dificultades metacognitivas, los que incrementaban significativamente su rendimiento. La mayor eficacia del modelo de evaluación propuesto por estos autores, residía de esta forma en la valoración dinámica de estas habilidades en los alumnos que presentaban déficit en estos procesos. La relevancia de la verbalización/mediación podría estar relacionada con una posible reestructuración de los procesos de pensamiento, en el sentido de optimizar los recursos atencionales, lo que podría afectar positivamente a la consideración de las reglas que deben ser seguidas, las estrategias que deben ser empleadas o la información que debe ser recordada. Por otra parte, un segundo factor del proceso de verbalización que podría incidir notablemente en la mejora de la ejecución de las tareas, es que éste supone en la práctica el uso de un sistema de codificación adicional; en efecto, cuando se introduce la verbalización del proceso de aprendizaje, puede llegar a producirse una codificación doble y conjunta de la información, lo que redundará en un aprendizaje con mayores garantías. En nuestro caso, las mejoras postratamiento observadas en la prueba de inteligencia podrían ser explicadas desde esta hipótesis. De este modo, los estudiantes que obtuvieron ganancias postest podrían haber utilizado inicialmente un sistema de codificación preferentemente perceptivo-visual, que se habría revelado insuficiente para dar cuenta con éxito de la tarea a realizar. Sólo posteriormente a la aplicación, habría tenido lugar una conjunción de dos sistemas de codificación; por una parte, el sistema perceptivovisual, ya presente; y por otro, un sistema de codificación simbólicolingüístico, fruto de la apropiación de estrategias de autorregulación verbal mediadas en el transcurso de la implementación del dispositivo. En este mismo sentido, a pesar de que la aplicación del dispositivo ha actuado esencialmente sobre procesos de lectura, y, por tanto, sobre un ámbito fundamentalmente 50 JUAN-JOSÉ NAVARRO Y JOAQUÍN MORA Revista de Psicodidáctica, 2012, 17(1), 27-50 Mediación efectuada Análisis de los Patrones metodológicos de evaluación dinámica utilizados en la mediación Evaluadora: ¿Te ha gustado la lectura? C.: Sí Evaluadora: ¿Te ha parecido fácil o difícil? C.: Fácil o regular. Evaluadora: Pero este texto ¿contaba bien las cosas? C.: Sí porque en el otro estaban las cosas mal, en el de Rabín. (Buscamos la lectura desordenada para recordarla). Evaluadora: Y desordenada qué pasaba, ¿era más fácil de entender? C.: No, más difícil, porque te lías. La respiración (texto desordenado) C.: ¿Por qué está el título aquí abajo? Evaluadora: ¿Dónde tendría que estar? C.: Arriba. Lee muy rápido. C.: ¡Ya! Pero lo voy a leer otra vez. Durante la lectura hace comentarios acerca del contenido del texto. Evaluadora: ¿Has entendido todas las palabras del texto? Pregunta varias palabras que no conocía, pero que espontáneamente no había preguntado. Cuando termina de leer: C.: Este trozo no puede ser el primero porque dice: «en segundo…» Entonces tiene que venir otro primero. Evaluadora: Bien, ¿Y qué cuenta el texto? C.: No sé, es muy difícil. Evaluadora: ¿De qué habla? ¿De ballenas? C.: No, de los pulmones. Evaluadora: ¿Qué más? C.: Es muy difícil porque dice cosas de los pulmones, el oxígeno… Leemos de nuevo párrafo a párrafo intentando comprender el significado global del texto. Le cuesta mucho trabajo, pero al final se queda con una leve idea. Sí detectó las incoherencias en la estructura del texto. la autoevaluación del sujeto con relación a si le gustó la lectura, y a la facilidad o dificultad de su comprensión. *Pone en relación el texto que se está trabajando con el anterior, con el objetivo de provocar la evaluación del sujeto acerca de las características estructurales de ambos. *Facilita y acompaña la actividad del alumno, buscando el texto desordenado con el objeto de facilitar la comparación. *La Evaluadora establece apoyo gradual mediante la realización de preguntas que guían al sujeto hacia una conclusión. El alumno resalta una incoherencia en el texto relativa a la estructura, y la Evaluadora trata de *profundizar y cuestionar lo apuntado por el sujeto con una nueva pregunta. Realiza anotaciones sobre la conducta del sujeto relativa a la puesta en práctica de procesos de autorregulación (supervisión). *La Evaluadora realiza una cuestión que trata de provocar un proceso de reflexión y autoevaluación en el alumno con relación al conocimiento que tiene sobre el vocabulario del texto. *Pregunta al sujeto por el contenido del texto, *estableciendo apoyo gradual mediante nuevas preguntas ante la dificultad que supone para el sujeto relatar de qué va el texto. *Secuencia el contenido de la actividad para facilitar su realización. *La Evaluadora refuerza y confirma la respuesta del sujeto. NOTAS UTILIZADAS EN LA TRANSCRIPCIÓN: Las anotaciones destacadas en negrita reflejan las reflexiones o comentarios de la propia evaluadora con relación al proceso de mediación o a la respuesta del alumno. En la columna correspondiente al análisis efectuado, los asteriscos indican referencias a los patrones metodológicos de evaluación dinámica (PMED).