Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez
Abstract
A tese que leva por título Sistema de certificación de lingua galega (Celga) no Marco Europeo Común de Referencia para as Linguas. Estudo de fiabilidade e validez, presenta un traballo de investigación sobre as probas de dominio do Celga deseñadas mediante tarefas. A partires dos datos obtidos nas convocatorias dos anos 2009 e 2010 móstranse dous estudos, un deles sobre a actuación dos avaliadores que corrixen ditas probas e a opinión que teñen sobre o sistema Celga; o segundo estudo versa sobre os candidatos que participan nas convocatorias, neste caso realízase unha análise psicométrica dos resultados dos candidatos atendendo a trazos de orde sociolóxica coma sexo, idade, lugar de procedencia, lugar de residencia e niveis de estudo. Da análise dos resultados obtidos nos dous estudos procúrase comprobar a validez e a fiabilidade das probas.
Full text
UNIVERSIDADE DE SANTIAGO DE COMPOSTELA F ACULTADE DE F ILOLOXÍA D EPARTAMENTO DE L INGUA E SPAÑOLA S ISTEMA DE CERTIFICACIÓN DE LINGUA GALEGA (C ELGA ) NO M ARCO C OMÚN E UROPEO DE R EFERENCIA PARA AS L INGUAS .E STUDO DE FIABILIDADE E VALIDEZ M ARGARITA C HAMORRO D ÍAZ 2013
1 Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez Tese de doutoramento presentada no Departamento de Lingua Española, da Facultade de Filoloxía, da Universidade de Santiago de Compostela, por Margarita Chamorro Díaz e dirixida polo profesor Tomás Jiménez Juliá. Vº e Pr. do Director Asdo. Tomás Jiménez Juliá Asdo. Margarita Chamorro Díaz
2 Ì1',&(
3 ÍNDICE CAPÍTULO 1 1. Panorámica sobre a investigación en avaliación de linguas 1.1. Antecedentes: anos sesenta e setenta 1.2. Anos oitenta: inicios do método comunicativo 1.2.1. A avaliación e o currículo 1.2.2. Os exames a grande escala 1.3. A década dos noventa.................................................................................... 1.3.1. Ámbitos de estudo na época 1.3.2. Áreas de maior impulso durante a década 1.3.3. Metodoloxía na investigación 1.4. Novo milenio, novas perspectivas................................................................. 1.4.1. O Marco común europeo de referencia para as linguas (MECR) 1.4.2. Asociacións europeas de avaliadores: ALTE, ILTE, EALTA 1.4.2.1. ALTE (Association of Language Testers in Europe) 1.4.2.2. ILTA (International Language Testing Association) .......................... 1.4.2.3. EALTA (European Association for Language Testing and Assessment)....................................................................................................... 1.4.3. Novos instrumentos para a avaliación: o Portfolio europeo das linguas 1.5. Liñas de investigación na área de avaliación no século XXI CAPÍTULO 2 2. O Certificado de Lingua Galega (Celga) 2.1. Antecedentes 2.2. Descrición do Celga 2.2.1 Descrición xeral do nivel Celga 2.2.2. Descrición do nivel segundo as habilidades 2.2.2.1. Comprensión oral 2.2.2.2. Comprensión escrita 2.2.2.3. Expresión oral 2.2.2.4. Expresión escrita
4 2.2.3. Contido 2.2.3.1. Lingua e comunicación: funcións comunicativas 2.2.3.2. Lingua e sistema: coñecemento do código 2.3. Probas de dominio mediante tarefas 2.4. Definición de tarefas 2.5. Medidas acadadas para a implantación do sistema Celga 2.5.1. Medidas políticas: o Plan xeral de normalización da lingua galega 2.5.2 Medidas administrativas: Orde do 16 de xullo de 2007 2.5.3. Medidas metodolóxicas: formación para o profesorado, publicación de materiais didácticos e cursos preparatorios 2.5.3.1. Materiais didácticos e cursos preparatorios 2.5.3.2 Ferramentas de axuda para os avaliadores: Manual de examinadores 2.6. O modelo de exame 2.7. Sistema de corrección da proba escrita 2.7.1. Cualificación final da proba escrita 2.7.2. Control de calidade nas correccións dos exames 2.8. Criterios de avaliación da proba escrita 2.8.1. Adecuación 2.8.2. Coherencia e cohesión 2.8.3. Gramática 2.8.4. Léxico 3. Obxectivos do Celga CAPÍTULO 3 3.1. Estudo I 3.1.1. Xustificación 3.1.2. Obxectivos e hipóteses 3.1.2.1. Utilidade dos criterios de corrección e avaliación 3.1.2.2. Influencia da experiencia dos avaliadores sobre a valoración dos criterios de corrección e avaliación 3.1.2.3. Influencia do nivel de lingua sobre a valoración do Celga 3.1.2.4. Equidade nas probas Celga
5 3.1.3. Mostra de avaliadores do Celga 3.1.4. Medidas 3.1.4.1. Variables clasificatorias 3.1.4.2. Criterios de corrección e avaliación das probas de expresión escrita 3.1.4.3. Criterios de corrección e avaliación das probas de expresión oral 3.1.4.4. Validación do construto 3.1.4.5. Equidade 3.1.5. Instrumento 3.1.6. Procedemento 3.1.7. Análises estatísticas 3.1.8. Utilidade dos criterios de corrección e avaliación das probas de expresión escrita segundo os avaliadores 3.1.8.1. Segundo o nivel do Celga 3.1.8.2. Segundo a experiencia dos avaliadores 3.1.9. Utilidade dos criterios de corrección e avaliación das probas de expresión oral segundo os avaliadores 3.1.9.1. Segundo o nivel do Celga 3.1.9.2. Segundo a experiencia profesional dos avaliadores 3.1.10. Opinión sobre a validez dos criterios de corrección e avaliación 3.1.11. Valoración da equidade do Celga 3.1.12. Valoración da competencia comunicativa dos candidatos ao Celga 3.1.12.1. Valoración da competencia comunicativa na proba escrita dos candidatos ao Celga 3.1.12.2.Valoración da competencia comunicativa na proba oral dos candidatos ao Celga 3.2. Estudo II Análise dos candidatos presentados ás probas do Celga durante os anos 2009 e 2010 3.2.1. Método da investigación 3.2.1.1. Obxectivos
6 3.2.1.2 Hipóteses 3.2.2. Mostra 3.2.3. Medidas 3.2.3.1. Variables clasificatorias 3.2.3.2. Criterios de corrección na proba escrita 3.2.3.3. Criterios de corrección na proba oral 3.2.4. Procedemento 3.2.4.1. Obtención de datos para o estudo 3.2.4.2. Procedemento de avaliación das probas Celga 3.2.5. Análises estatísticas 3.2.6. Resultados segundo o perfil sociodemográfico dos candidatos ao Celga 3.2.6.1. Segundo a idade 3.2.6.2. Segundo o sexo 3.2.6.3. Segundo o lugar de nacemento 3.2.6.4. Segundo o lugar de residencia 3.2.7. Fiabilidade e validez nas probas Celga 3.2.7.1. Fiabilidade 3.2.7.2. Validez 3.2.7.2. 1. Validez de contido 3.2.7.2. 2. Validez de construto 3.2.8. Resultados da proba escrita 3.2.8.1. Relacións entre os criterios de corrección e avaliación da proba escrita 3.2.8.2. Cualificación na proba escrita dos non aptos 3.2.8.3. Cualificación na proba escrita dos aptos 3.2.8.4. Cualificación na proba escrita segundo o nivel do Celga 3.2.8.4.1. Cualificación na proba escrita dos non aptos nos niveis Celga 1 e Celga 2 3.2.8.4.2. Cualificación na proba escrita dos non aptos nos niveis do Celga 3 e Celga 4 3.2.8.5.Cualificación na proba escrita segundo o nivel de estudos
7 3.2.8.6. Cualificación na proba escrita segundo o lugar de residencia 3.2.8.7. Cualificación na proba escrita segundo o sexo 3.2.8.8. Cualificacións na proba escrita segundo a idade 3.2.9. Resultados da proba oral 3.2.9.1. Relacións entre os criterios de corrección das probas orais 3.2.9.2. Cualificación na proba oral dos non aptos 3.2.9.3. Cualificación na proba oral dos aptos 3.2.9.4. Cualificación na proba oral segundo o nivel do Celga 3.2.9.5. Cualificación na proba oral segundo o nivel de estudos 3.2.9.6. Cualificación na proba oral segundo o lugar de residencia 3.2.9.7. Cualificación na proba oral segundo o sexo 3.2.9.8. Cualificación na proba oral segundo a idade CAPÍTULO 4 4.1.Conclusións Estudo I 4.1.1. Utilidade dos criterios de corrección e avaliación das probas de expresión escrita 4.1.1.1. Segundo o nivel do Celga 4.1.1.2. Segundo a experiencia dos avaliadores 4.1.2. Utilidade dos criterios de corrección e avaliación das probas de expresión oral segundo os avaliadores 4.1.2.1. Segundo o nivel do Celga 4.1.2.2. Segundo a experiencia profesional dos avaliadores 4.1.2.2.1. Na proba escrita 4.1.2.2.2. Na proba oral 4.1.3. Validez dos criterios de corrección e avaliación das probas segundo os avaliadores 4.1.3.1. Validez dos criterios de corrección e avaliación na proba escrita 4.1.3.2. Validez dos criterios de corrección e avaliación na proba oral 4.1.4. Valoración da equidade do Celga 4.1.5. Valoración da competencia comunicativa na proba escrita dos candidatos ao Celga 4.1.6. Valoración da competencia comunicativa na proba oral
Margarita Chamorro Díaz 14 1.2. Anos oitenta: inicios do método comunicativo Nesta década, segundo sinala Bachman (2000), o modelo de ensino, aprendizaxe e avaliación de linguas estará centrado no proceso, na creación dun discurso propio, na negociación do significado e na importancia do contexto no que se desenvolve a situación comunicativa. Xunto a isto, o tipo de exames a grande escala tivo que aliñarse a un currículo de lingua para ter un modelo do cal partir. Isto provocou que se fixese unha revisión das tarefas dos exames, esixindo que estas fosen tarefas auténticas e non só actividades pechadas que avaliaban o coñecemento do código, coa finalidade de garantir a validez nos exames a grande escala que permitise facer inferencias sobre a habilidade de uso da lingua do candidato. Ademais, non se pode esquecer que o deseño dos cursos de aprendizaxe de linguas se viu influído polos exames a grande escala que os candidatos tiñan que superar. Isto provocou que tanto o ensino coma a aprendizaxe e a avaliación estaban na necesidade de abrir unha liña de traballo que permitise avanzar nunha década cara a unha nova posición, onde o candidato pasaba de ser un mero reprodutor de regras gramaticais e traducións a un produtor de textos orais e escritos adecuados a unha situación comunicativa. Nesta década cabe sinalar a obra New Directions in Language Testing (Lee, Fok, Lord y Low, 1985), que recolle as presentacións do Internacional Symposium on Language Testing realizado en Hong Kong en 1983, onde os relatores articularon as súas propostas sobre catro áreas de interese: a avaliación e o currículo, os exames a grande escala, a avaliación da habilidade oral e, por último, a validación dos exames.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 15 1.2.1. A avaliación e o currículo Neste apartado son salientables as achegas de Davis (1985) e Rea (1985), ambos fan fincapé no tipo de lingua que se debe de ensinar na aula porque esta repercutirá no tipo de exame que terá que superar o candidato. Davis fai unha diferenza entre exames de aproveitamento e de dominio. A maioría dos exames seguen un modelo de ensino e aprendizaxe que levan a facer exames de aproveitamento, xa que queren comprobar se o candidato cumpriu os obxectivos do curso. Pola contra, os exames de dominio adoitan ser máis creativos, xa que os seus obxectivos e contidos poden influír no modelo de ensino ao que se verán sometidos os candidatos, xa que dan lugar a programas e cursos preparatorios para superar os exames. Para Davis, os exames de aproveitamento reflicten a concepción da lingua adoptada para o seu ensino na aula mentres que os de dominio a grande escala poden ser innovadores á hora de adoptar un modelo lingüístico que influirá no ensino. Outro dos autores que deu luz na área da avaliación de linguas neste período foi Rea (1991), quen salientou a importancia da avaliación no proceso de ensino e aprendizaxe e as dificultades de avaliación do método comunicativo, debido á necesidade de consenso sobre a natureza da base teórica que debe sustentar os exames para garantir a validez do seu construto e do seu contido. Unha das preocupacións abordadas por Rea, propia da época, é a reflexión sobre o mantemento da dicotomía chomskiana de competencia e actuación na avaliación, e chega á conclusión de que calquera comportamento lingüístico constitúe unha mostra de actuación e, polo tanto, a competencia non pode ser avaliada directamente, senón que só a través da actuación se poden inferir niveis de competencia nos candidatos. Outros dos temas que lle preocupan a Rea son as tarefas que teñen que levar a cabo os candidatos nos exames, cando estas son actividades baseadas na análise de unidades discretas
Margarita Chamorro Díaz 16 fronte a outro tipo de exames máis integradores, para o cal fai unha proposta de dous trazos clave para a avaliación da lingua dentro do seu marco de ensino. Conclúe que a avaliación da lingua dende un método comunicativo é complexa e problemática; aínda que daquela o método comunicativo xa estaba asumido como válido para o ensino, non era así no caso da avaliación, xa que, como ben é sabido, resulta menos problemático avaliar a competencia lingüística a través de elementos discretos ca dende o propio uso da lingua. 1.2.2. Os exames a grande escala Para relatar esta cuestión é fundamental a contribución de Swain (1985) sobre o construto dos exames a grande escala, debido á importancia e repercusión que poden ter tanto nos candidatos coma no método de ensino. Sinala os seguintes principios que deben rexer o deseño e a construción dos exames: a) Marco teórico: concibido como unha concepción da natureza da lingua para poder elaborar un exame de lingua, que no caso de Swain propón como modelo ideal o de competencia comunicativa, defendido xunto con Canale dende o comezo da década (Canale e Swain, 1980). b) Concentrarse no contido: facendo referencia ao contido do material empregado, das actividades lingüísticas comunicativas e das tarefas que permitan xerar actuacións lingüísticas comunicativas. Para Swain (1985: 38), o contido debe caracterizarse por ser motivador, integrador e interactivo por natureza, para que lle resulte atractivo ao candidato. c) Sesgar para obter unha boa finalidade: Swain propón que no exame o candidato debe sacar o mellor que ten de si para conseguir unha boa actuación. Para acadalo, suxire que o tempo sexa axeitado á tarefa, darlle
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 17 información ao candidato sobre o que se espera del e permitirlle o uso de ferramentas de axuda como dicionarios. d) Atender á repercusión do exame (washback 1 ): isto é, estudar o efecto que o exame ten nas prácticas de ensino. Ademais, considera fundamental involucrar os profesores no proceso de deseño de exames, no protocolo de administración das probas e na súa cualificación, para que vaian en consonancia coa súa metodoloxía no ensino. Outra cuestión que se tivo en conta nese momento e que aínda forma parte das investigacións sobre avaliación é a relativa á avaliación da expresión oral. Debido a que en todas as probas de dominio a grande escala unha parte da proba consiste na produción dun texto oral, detectouse que unha das maiores dificultades residía na avaliación das probas orais de xeito obxectivo, tamén se revelou como eiva a carencia de formación dos avaliadores para corrixir probas orais e escritas empregando os criterios establecidos. Esta cuestión continúa sendo, ata os nosos días, unha das maiores preocupacións nos sistemas de certificación a grande escala, aínda que, grazas ás achegas dos estudos en avaliación, se mellorou considerablemente. Entre os temas recollidos no compendio de relatorios presentados no simposio de Hong Kong destaca o relativo á validez dos exames de lingua. Daquela o concepto de validez presentaba certos problemas de definición, así que Stevenson (1985) propón unha reflexión sobre o concepto de validez, sobre todo na validez aparente (face validity), entendida como unha proba na que unha actividade pode parecer unha tarefa da vida real, cando en realidade é unha simulación. Esas simulacións deben ser elixidas atendendo a uns 1 Repercusión ou efecto de rebote, denomínase a influencia que poden exercer os exames no ensino, xa que, dependendo do modelo de exame empregado, a metodoloxía usada no ensino condicionará o modelo de exame. Un certificado baseado en tarefas, como é o Celga, require dun ensino da lingua baseado nun enfoque comunicativo cunha programación mediante tarefas.
Margarita Chamorro Díaz 18 principios teóricos e a súa cualificación precisa do mesmo sustento teórico para que se poidan facer inferencias válidas. Polo tanto, podemos observar como na década dos oitenta, e segundo as presentacións recollidas na obra New Directions in Language Testing (Lee, Fok, Lord e Low, 1985) procedentes do Internacional Symposium on Language Testing realizado en Hong Kong, xa existía unha necesidade de establecer a competencia comunicativa como modelo de lingua e, no relativo á avaliación, as preocupacións xiraban arredor das cuestións da avaliación da expresión oral e a validez das probas, aínda latentes nos nosos días. A partir deste encontro, segundo Bachman (2000), a avaliación de linguas converteríase nun dos asuntos que cumpría estudar na área de lingüística aplicada. 1.3. A década dos noventa 1.3.1. Ámbitos de estudo na época Esta década vén marcada por dúas liñas de traballo fundamentais nos estudos sobre adquisición de linguas; por unha banda, o método comunicativo que se adoptou como modelo para seguir no ensino de linguas e no deseño de probas de dominio e, pola outra, a competencia estratéxica ampliouse grazas aos estudos de Bachman e Palmer (1996), os cales consideran que as estratexias metacognitivas permiten establecer metas para saber que facer coa lingua, como facelo e planificar a aprendizaxe dunha lingua. Esta nova concepción influíu no construto teórico sobre ensinanza de linguas e no deseño de probas, xa que proporcionou un modelo de lingua comunicativo. Dos ámbitos que marcarían os estudos na década dos noventa destacamos o método comunicativo e a súa influencia na avaliación.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 19 Mentres que a comezos dos anos noventa o método comunicativo xa era coñecido grazas os traballos de Canale e Swain e amplamente utilizado no ensino de linguas, non parecía que a súa influencia fose tan marcada na área da avaliación. Así, na obra editada por Charles Alderson e Brian North, Language Testing in the 1990 (1991), que recolle os relatos expostos no simposio titulado A Avaliación da Lingua nos Anos Noventa: o Legado Comunicativo, organizado por IATEFL (International Association of Teachers of English as a Foreign Language), podemos atopar investigacións teóricas e prácticas sobre avaliación, ademais de modelos de avaliación que asentarían os estudos sobre este ámbito na década dos noventa. Figuras como Carrol ou Shekan, fundamentais nos avances nesta liña investigadora e que continúan hoxe en día tendo relevancia, plasmaron as súas inquedanzas sobre temas como a resistencia aos novos modelos de exame por parte de profesores, institucións examinadoras, candidatos ou mesmo o medio académico (Carrol, 1991), que provocaron unha falta de permeabilidade para as innovacións no campo da avaliación. Para Skehan (1991) a falta de permeabilidade vén provocada polas diferentes teorías da natureza da lingua, xa que nas décadas anteriores a influencia da teoría da gramática universal de Chomsky, da gramática estrutural, ademais dos enfoques sobre os actos de fala e a concepción da lingua como discurso, provocou unha confusión naqueles que precisaban dun modelo teórico de lingua sobre o que sustentar o deseño das probas. Engade tamén que o protocolo de realización de deseño e administración de probas pode resultar moi enleado se está continuamente cambiando de modelo, xa que é necesario pilotar as probas para comprobar que se manteñen os principios de validez e fiabilidade, ademais do incremento en gastos que os ditos cambios supoñen. Outra das cuestións tratadas no simposio e que continúa hoxe en día vixente é o uso das escalas como ferramentas para a avaliación de probas
Margarita Chamorro Díaz 20 comunicativas nas que o candidato ten que crear un texto oral ou escrito. Segundo Alderson (1991), este é un dos problemas aos que se teñen que enfrontar os avaliadores xa que, debido á necesidade de avaliar do xeito máis xusto posible unha mostra de actuación que non se pode medir tan obxectivamente coma unha proba pechada de resposta múltiple, é necesario que as escalas estean ben definidas e que sexan de axuda tanto para os avaliadores coma para os candidatos. Estas escalas serven para paliar a subxectividade inherente á cualificación porque achegan un estándar común que permite avaliar as producións máis subxectivas. Ademais, permítenlles aos candidatos saber que significa a nota que obtiveron só con ler a escala á que se corresponde a súa puntuación; por exemplo, se un candidato obtén un 3 nunha escala de 1 a 5, pode ler que é o que significa estar nese nivel no uso da lingua. Finalmente, outros temas que foron causa de discusión no simposio foron os defendidos por Rea e Davis. Para Rea (1991) os problemas sobre avaliación neste momento residen na definición da gramática comunicativa e en se esta pode ser medida comunicativamente; defende que só pode ser medida cando o candidato pode crear significado nun contexto comunicativo que lle permita realizar un acto comunicativo. Non obstante, para Davis (1991) o foco de atención versa sobre a relación entre a avaliación e a lingüística aplicada, considera que no plano teórico debe existir maior relación entre avaliación e adquisición de linguas e no plano práctico debería existir unha correlación entre o modelo do ensino de linguas e a súa avaliación, para que vaian en sintonía e non ocorra que no ensino prime un modelo comunicativo e a avaliación presente trazos propios do modelo estruturalista. 1.3.2. Áreas de maior impulso durante a década Bachman (2000) fai unha revisión dos ámbitos de estudo máis relevantes nesta década relacionados coa avaliación e sinala que case todos eles afondaron nas
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 21 relacións entre avaliación de linguas e outras áreas da lingüística aplicada, ademais dos avances obtidos na medición no contexto xeral da educación. Así, sinala os seguintes asuntos como aqueles que recibiron unha maior atención por parte dos estudosos: a metodoloxía para a investigación, os avances prácticos, os factores que afectan a actuación nos exames de lingua, a cualificación da actuación, a ética dos exames e a profesionalización no campo da avaliación. Trataremos cada un deles brevemente. 1.3.3. Metodoloxía na investigación Neste ámbito destacan os avances conseguidos nas técnicas de avaliación cuantitativa. De acordo con Bachman, pasouse dunha medición con referencia á norma, na que o que se medía era a actuación dun candidato con respecto á actuación do resto dos candidatos, a unha medición da actuación realizada con referencia a un criterio, que permite interpretar os resultados dun exame en función dun dominio na habilidade lingüística (por exemplo, pódese medir a coherencia e a cohesión dun candidato nunha proba escrita). Xunto a isto, outro dos avances da década foron os estudos que afondaron na avaliación cuantitativa, nos que se estableceron conceptos como a teoría da xenerabilidade (Generalizability theory) e a teoría de resposta ao ítem (Item response theory), máis empregada na medición educativa, mentres que nos exames de lingua se adopta o modelo de Rasch. 2 2 Teoría da xenerabilidade: baseada na análise da varianza e pode estimar a fiabilidade dun grupo completo de avaliadores dunha vez. Teoría da resposta ao ítem: sistema de medición que ten en conta tanto o candidato coma as características do ítem, baseada na teoría da probabilidade, mostra a probabilidade de que unha persoa acerte un ítem en particular. As notas dos candidatos e os totais de cada ítem transfórmanse nunha escala para que poidan relacionarse entre si. Modelo de Rasch: baseado no enfoque estatístico proposto por Rasch (1906-1980), consiste nunha fórmula matemática aplicable a calquera disciplina para establecer a relación entre a probabilidade de éxito e a diferenza entre a habilidade dun individuo e a dificultade dun ítem.
Margarita Chamorro Díaz 22 Outro dos logros desta década foi a clasificación dos tipos de avaliación en función do que se quixese medir. Así, a avaliación de probas de dominio mide o nivel de competencia que ten un candidato nun determinado nivel de lingua –este tipo de avaliación tamén se denomina avaliación cuantitativa–, mentres que a avaliación de probas de proceso está enfocada a obter información do proceso de aprendizaxe dunha lingua, para o cal se empregan diferentes procedementos, como a análise do discurso, informes do profesor, diarios de aprendizaxe do alumno, cuestionarios ou portfolios (esta avaliación tamén se denominou avaliación cualitativa, avaliación auténtica, educativa, pedagóxica e alternativa). No desenvolvemento deste tipo de avaliación destacan as achegas de Brown e Hudson (1998), que prefiren empregar o termo alternativas á avaliación no canto de avaliación alternativa, para evitar as connotacións negativas que o termo puidese ter se se entende coma unha avaliación diferente do que ata agora se fixera, e que non implica o deseño de exames a toma de decisións en función dos resultados. Así, os autores consideran necesarios procedementos integrados onde se teñan en contan os datos cualitativos e cuantitativos para a avaliación de linguas. Como reflexión sobre as melloras acadadas nesta década, Bachman (2000) destaca a aplicación da informática á avaliación, o perfeccionamento de técnicas de medición cuantitativas, a proliferación no uso de ordenadores persoais e a creación de programas de fácil accesibilidade para os usuarios. Xa dende finais dos oitenta esta cuestión tiña defensores como Alderson (1986), que vía as posibilidades para mellorar e aumentar a interacción entre a actuación e o candidato mediante as posibles avaliacións da actuación do candidato, así como a avaliación do contido dos ítems e do exame. Deste xeito, permite coa súa análise a posibilidade de obter unha reflexión sobre o proceso de aprendizaxe e o produto obtido; ademais o uso dun programa informático aplicado á avaliación e o desenvolvemento de teorías sobre o que debe ser un
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 23 exame de diagnóstico permitirá mellorar o proceso de aprendizaxe dunha lingua. Porén, tamén advirte da limitación na obtención de datos sobre o candidato ao usaren unicamente ítems de selección múltiple. Finalmente, Bachman tamén se refire aos factores que afectan o candidato á hora de realizar exames de lingua e revisa os aspectos sobre os que se centraron as investigacións neste ámbito. Considera que hai tres aspectos que cómpre destacar: — As características do procedemento do exame e dos cualificadores (Chalhoub-Deville, 1996 e McNamara, 1996), que non sempre son fiables, porque se atoparon desaxustes nas cualificacións en función da lingua materna do avaliador, así como da súa experiencia e formación previa. — Os procesos e estratexias adoptados polos candidatos ao responderen ás tarefas do exame, para o cal se empregaron cuestionarios (Púrpura, 1999) e métodos introspectivos (Wu, 1998). — As características dos propios candidatos, prestando atención a datos censuais, como a formación académica, o sexo, a idade, a lingua materna ou a cultura, que poden repercutir na actuación do candidato no exame (Kunnan, 1995). 1.4. Novo milenio, novas perspectivas 1.4.1. O Marco común europeo de referencia para as linguas (MECR) Sen dúbida ningunha, o punto de inflexión no ensino, aprendizaxe e avaliación de linguas no contexto europeo sería a publicación no ano 2001 do Common European Framework of Reference for Languages: learning, teaching, assessment, que constitúe un dos principais compoñentes da segunda fase dun proxecto do Consello de Europa de maior alcance titulado Language Learning
Margarita Chamorro Díaz 30 1.4.2. Asociacións europeas de avaliadores: ALTE, ILTE, EALTA Como xa adiantamos en seccións anteriores, o avance máis significativo no ámbito da avaliación vén dado nestas dúas últimas décadas pola profesionalización das persoas e institucións incluídas nas tarefas de avaliación en probas de dominio e a grande escala. Tres asociacións, ALTE, ILTE e EALTA, xorden no panorama europeo da avaliación; atendendo á súa orde cronolóxica de fundación, veremos cales son os seus fundamentos e a que se dedican, para o cal seguimos o estudo de Huhta (2007), no que describe a cooperación internacional na área da avaliación e das probas de segundas linguas e linguas estranxeiras en Europa, os Estados Unidos e Asia. Tales organizacións, con carácter profesional e internacional, promoven a avaliación e a certificación de linguas e afondan en cuestións relacionadas co dito ámbito para ofrecerlles ao profesorado e aos profesionais as ferramentas necesarias para avaliar competencias de lingua. As siglas ás que fan referencia os nomes das asociacións son ALTE (Asociación de Avaliadores de Lingua en Europa), ILTA (Asociación Internacional de Probas de Lingua) e EALTA (Asociación Europea de Avaliación e Probas de Lingua). 1.4.2.1. ALTE (Association of Language Testers in Europe) É a máis antiga das tres organizacións, fundada en 1990. Diferénciase das outras en que só poden ser membros da asociación as institucións responsables da certificación das diferentes linguas de ámbito unicamente europeo; conta nas súas bases con 31 membros, representantes de 26 linguas europeas e con 40 institucións afiliadas. Dende o punto de vista xurídico, a asociación está constituída como Grupo Europeo de Interese Económico, polo que a participa-
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 31 ción nela de representantes de países que aínda non pertencen á Unión Europea debe articularse por medio da figura de membro asociado. Unha das principais tarefas da asociación é a descrición e comparación dos diferentes exames e chegar a confeccionar un marco común de carácter referencial que permita a visualización das equivalencias. Os principais obxectivos da asociación son: — Establecer uns niveis comúns de competencia para promover o recoñecemento transnacional da certificación en Europa. — Establecer uns criterios comúns para todos os estadios do proceso de avaliación de linguas, para o desenvolvemento de probas, tarefas de escritura, administración, puntuacións e cualificacións, informe de resultados, análises das probas e informes das conclusións. — Colaborar en proxectos conxuntos e no intercambio de ideas e habilidades. Entre os proxectos da asociación cabe destacar o proxecto de 1998 CAN-DO, que supón a validación das escalas e certificacións de ALTE co MECR nun proxecto a longo prazo, xa que aínda está vixente e orientado á validación dos descritores de capacidade lingüística dos niveis de ALTE (Acceso 1, 2, 3, 4 e 5) que se definen por medio dunha serie de declaracións de habilidade, correspondentes ás tarefas que o candidato é quen de realizar en situacións comunicativas con relación á escala de niveis. O sistema de descricións consta dunhas 400 declaracións de habilidade, subdivididas en 40 categorías que describen o que un falante típico de segunda lingua (L2) pode facer nun idioma determinado, a un determinado nivel e en cada unha das destrezas (compresión e expresión oral e escrita). Este sistema está traducido a 13 idiomas europeos e foi desenvolvido a través dun rigoroso proceso de
Margarita Chamorro Díaz 32 selección de descritores, no que participaron expertos en avaliación de diferentes países europeos e máis de 10.000 estudantes de idiomas de toda Europa. O protocolo de actuación é o seguinte: adminístraselles aos candidatos ás probas dun exame oficial un cuestionario de autoavaliación do que se obtén unha serie de datos que son cruzados cos obtidos polos candidatos nos exames oficiais, procedemento polo que se validan a correlación entre as ditas certificacións e o MERC. Ata agora, os resultados obtidos entre o cuestionario e os exames oficiais son moi estables, como se pode comprobar no seguinte sitio: http://www.dialang.org. Unha das cuestións que se tiveron que solucionar ao realizar este tipo de proxectos paneuropeos foi a de acordar unha terminoloxía técnica específica de contido inequívoco que servise para facilitar os traballos conxuntos entre os membros. Así, en 1998 publicouse o glosario multilingüe de termos relacionados coa avaliación da competencia lingüística que vén empregándose como ferramenta posibilitadora de cooperación. No ano 2008 publicouno en galego a Xunta de Galicia co título Glosario de termos para a avaliación de linguas. No ano 1994, a asociación ALTE decidiu adoptar un código de boa práctica para definir os niveis mínimos de calidade. Os aspectos fundamentais sobre os que incide o código e para quen os membros se comprometen a salvagardar os dereitos do usuario son: — Desenvolvemento e confección das probas de exame. — Interpretación dos resultados das probas. — Compromiso de equidade e xustiza. — Información para os usuarios.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 33 No ano 2000, a asociación colaborou con EQUALS (European Association of Quality Language Services) para desenvolver o Portfolio europeo das linguas, que foi validado polo Consello de Europa no 2001 e describiremos máis adiante. Ademais das citadas liñas de investigación e produtos obtidos pola asociación, na actualidade conta con diferentes proxectos que desenvolven grupos de traballo entre os que destacan a certificación e acreditación de profesores, a certificación da competencia lingüística con fins específicos e a colaboración co Consello de Europa no desenvolvemento de descritores do nivel A1. As reunións de ALTE realízanse dúas veces por ano en cidades europeas onde se falan as linguas das institucións pertencentes á asociación. Nestes encontros establécense reunións dirixidas a asuntos de interese para os elaboradores de exames e obradoiros a cargo de expertos de prestixio internacional de acceso restrinxido aos membros da asociación. As reunións finalizan cunha conferencia de libre acceso na que se inclúen presentacións por parte do país anfitrión e doutras institucións membros de ALTE. Dende finais dos anos noventa tamén organiza conferencias específicas sobre probas de avaliación que teñen lugar cada tres anos. Aínda que se trata da asociación máis restritiva para a afiliación, na web da organización están á disposición de todas aquelas persoas e institucións interesadas neste ámbito materiais de axuda que permitan mellorar as probas de dominio, como se pode ver na páxina http://www.alte.org 1.4.2.2. ILTA (International Language Testing Association) ILTA é unha asociación internacional de probas de lingua que vén operando nos Estados Unidos dende mediados dos anos oitenta. Os seus obxectivos principais son:
Margarita Chamorro Díaz 34 — Estimular o desenvolvemento profesional mediante a realización de obradoiros e conferencias. — Promover a publicación e difusión de información relacionada coa área das probas de lingua. — Desenvolver a área das probas de lingua e formar profesionais que sexan quen de liderar a dita área. — Proporcionarlles servizos profesionais aos seus membros. — Incrementar o recoñecemento e o apoio á avaliación de linguas como profesión. — Estimular o orgullo profesional entre os seus membros. — Recoñecer a relevancia dos logros profesionais dos seus membros. — Cooperar con outros grupos interesados nos estudos estatísticos e en lingüística aplicada. O Language Testing Research Colloquium (en diante LRTC, que pode traducirse como o Coloquio de Investigación de Probas de Lingua) é a conferencia oficial de ILTA que centra a súa atención nos exames e nas probas de lingua a grande escala, deixando a un lado as avaliacións de aula. Isto é debido a que consideran que estas probas de dominio teñen un alto impacto, os resultados teñen consecuencias relevantes para os candidatos e, polo tanto, cómpre que sexan válidos, fiables e imparciais. Estas calidades non poden darse por supostas, senón que deben ser comprobadas mediante estudos que as verifiquen. Os resultados obtidos son máis interesantes para as entidades avaliadoras ca, por exemplo, o impacto da avaliación na aula no ensino regrado en primaria ou secundaria que, en teoría, se os resultados fosen incorrectos, poderían ser corrixidos polo profesor. Esta é a razón pola que as probas a grande escala é a área de maior investigación de LRTC, pero non a única; é importante sinalar as achegas feitas no ámbito da avaliación diagnóstica, nova
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 35 área de investigación que xurdiu a comezos do século XXI grazas ao proxecto DIALANG. Segundo Alderson (2005) e Huhta (2007), en realidade é moi pouco o que se sabe sobre como se desenvolve a competencia nunha segunda lingua e sobre que elementos lingüísticos ou de calquera outra índole son propios desa competencia nun determinado nivel. Se se soubese máis sobre ese proceso, existirían materiais didácticos, plans curriculares e probas de diagnóstico que reflectirían mellor a maneira que temos os humanos de aprender unha lingua. Finalmente, outro dos temas das conferencias de ILTA atinxe a consideración do contexto social e das consecuencias sociais dos diferentes tipos de avaliacións. Dedicaron un simposio ás avaliacións de linguas dirixidas á obtención do status de cidadanía para os inmigrantes, facendo fincapé na importancia dos contextos socioculturais e dos aspectos cognitivos na elaboración das probas, así como da avaliación da calidade e a utilidade destas. Pódense consultar estas cuestións na páxina http://iltaonline.com 1.4.2.3. EALTA (European Association for Language Testing and Assessment) Esta asociación europea de avaliación e probas de lingua foi creada en 2004 e medrou rapidamente debido á posibilidade de converter en membro asociado a todas as persoas interesadas na avaliación, fronte a outra asociacións nas que a filiación non é persoal senón institucional. A asociación xurdiu grazas a un proxecto financiado pola Unión Europea entre os anos 2002 e 2004 e aspira a achegar as probas de lingua e a avaliación ao maior número de interesados. O principio fundacional de EALTA ten como finalidade fomentar a comprensión dos principios teóricos que rexen o desenvolvemento de probas e das tarefas de avaliación de linguas, así como mellorar e compartir as prácticas
Margarita Chamorro Díaz 36 avaliativas en toda Europa. Para isto pretende levar a cabo as seguintes accións: — Compartir a experiencia profesional no campo da avaliación e probas de lingua. — Incrementar a comprensión da avaliación e as probas de lingua. — Promover o recoñecemento da avaliación e probas de lingua como disciplina profesional en Europa. — Mellorar a práctica dos sistemas de avaliación e probas de lingua en Europa. — Promover a formación en probas de lingua e avaliación. — Formar expertos en probas de lingua e avaliación para a resolución dos problemas de avaliación. — Establecer vínculos con outros grupos interesados na avaliación e nas probas de lingua. — Participar en actividades para a mellora das probas de lingua e avaliación en Europa. As reunións de EALTA realízanse unha vez por ano (na primavera) e, se observamos as temáticas dos relatorios, podemos ver que o foco de atención se centra no profesorado e nas avaliacións de aula máis do que nas probas de dominio de grande escala. Algúns dos títulos representativos serían “Prácticas de avaliación en primeiras e segundas linguas nas escolas”, “Avaliamos o que ensinamos, pero adquiren os aprendentes o que ensinamos?” Xunto a estes temas, tamén destaca a vinculación das probas e o MECR, tal e como vemos nos títulos dos relatorios: “O reto da construción dun sistema válido para a avaliación da expresión escrita baseada no MECR”, “Procedementos para
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 37 relacionar as probas co MECR”, “Definición de boas prácticas para relacionar os exames co MERC”. Outro dos temas recorrentes nas conferencias das tres asociacións é o desenvolvemento de novas probas con obxectivos diferentes. Estes obradoiros son moi útiles para os deseñadores de probas e permiten partillar problemas e solucións de carácter teórico e práctico comúns aos novos instrumentos de avaliación. Código de boas prácticas O feito de que as tres asociacións, ILTA, ALTE e EALTA, establecesen nas súas bases fundacionais un código é un índice de madurez científica e profesional que garante uns principios básicos de calidade nos que todas aquelas persoas e institucións involucradas na avaliación de linguas e no deseño de probas debe asumir como propias para manter os estándares de calidade no seu labor. Mentres que ILTA tivo moitas diferenzas para establecer un código deontolóxico internacional, tanto ALTE coma EALTA presentan nas súas respectivas páxinas electrónicas os seus códigos de boas prácticas. Sinalamos que o código de EALTA se ofrece en 32 linguas europeas, entre elas, o galego. O documento defínese como un código tripartito de deontoloxía profesional que (…) “Como consecuencia do desexo de EALTA de ser unha asociación aberta que acolla profesionais de diversas procedencias, as súas directrices elaboráronse tendo en consideración tres tipos de posibles membros que estean implicados en: (a) a formación de profesores en avaliación, (b) a avaliación na aula, (c) o desenvolvemento de probas en organismos ou centros avaliadores públicos ou privados. Hai unha serie de principios xerais aplicables a estes tres grupos: o respecto polos estudantes/examinandos, a responsabilidade, a equidade, a fiabilidade, a validez e a colaboración coas
Margarita Chamorro Díaz 38 partes implicadas”. http://www.ealta.eu.org/documents/archive/guidelines/- Galician.pdf. Finalmente, Huhta (2007) sinala a importancia das tres asociacións e destaca, en primeiro lugar, o espertar da conciencia do que implica a avaliación, con que instrumentos traballa e que se entende por calidade na avaliación. Considera que o profesorado de linguas, os formadores do profesorado e os deseñadores de probas deben concienciarse na importancia da avaliación e un xeito de facelo é organizando conferencias e eventos de formación, aínda que é necesario contar con diferentes métodos para influír nos encargados da toma de decisións dos órganos que expiden as certificacións de linguas en beneficio dunhas probas que sexan fiables, válidas e viables. Outro dos efectos positivos da existencia das asociacións é a influencia que poden ter nos formadores de profesorado, nos deseñadores de probas e nas xuntas de exames xa que, unha vez que toman conciencia da importancia do seu labor e da competencia necesaria para levar a cabo avaliacións de lingua, poden, pola súa vez, difundir os seus coñecementos entre os profesorado de linguas nos seus países ou rexións. Malia parecer un proceso moi lento na difusión deste coñecemento, é esencial para a constitución dun sistema de avaliación de calidade que implique a supervisión constante das distintas fases que compoñen o sistema de certificación. Xunto a esta concienciación da importancia do sistema de certificación, as asociacións poden constituír foros para o intercambio do coñecemento sobre a área de avaliación, organización de obradoiros e cursos de formación, ademais de recursos que poden axudar a mellorar as probas e avaliacións, tales como os códigos de boas prácticas ou as listaxes para comprobar a calidade do traballo realizado que ofrece ALTE en todas as fases do uso e deseño de probas (denominadas checklist: http://www.alte.org/quality_assurance/code/- checklist.php ).
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 39 EALTA ofrece libremente as presentacións das súas conferencias e ILTA ofrece os resumes das conferencias de LTRC. Son, polo tanto, ferramentas que poden axudar a todas as persoas involucradas nas tarefas de avaliación para a mellora do seu labor. 1.4.3. Novos instrumentos para a avaliación: o Portfolio europeo das linguas Unha das propostas do Consello de Europa que maior repercusión tivo na última década no eido do ensino, aprendizaxe e avaliación foi a publicación do MECR e a segunda foi a creación do Portflio europeo das linguas (PEL) como posta en práctica do MECR. O PEL é un proxecto desenvolvido e pilotado polo departamento de Política Lingüística do Consello de Europa dende 1998 ata o ano 2000 e foi no 2001, Ano Europeo das Linguas, proposto de forma xeral para toda Europa. Estes dous proxectos (o PEL e o MECR) teñen tamén como obxectivos principais: — Protexer e desenvolver a herdanza cultural e a diversidade de Europa como fonte de enriquecemento mutuo. — Facilitar a mobilidade entre a cidadanía, así como o intercambio de ideas. — Desenvolver un enfoque no ensino de linguas baseado en principios comúns. — Promover o plurilingüismo. A configuración física do PEL consta dunha carpeta dividida en tres módulos:
Margarita Chamorro Díaz 46 2.1. Antecedentes Para facer unha exposición sobre os novos certificados de galego, cómpre mirar atrás e ver como se desenvolveron nos últimos anos o ensino e a certificación da lingua galega para adultos e como se está levando a cabo esa mudanza cara a un novo sistema de certificación adaptado ao MECRL. Dende que a Lei 3/1983, do 15 de xuño, de normalización lingüística recollía as bases que asentaron o uso do galego nos ámbitos da Administración, ensino e medios de comunicación ata hoxe en día, producíronse varios cambios de normativa e diferenzas na evolución do orzamento asignado á formación de adultos en galego (Consello da Cultura Galega, 2002). O primeiro período, que acada dende 1983 ata 1985, caracterízase por un escaso gasto e unha orientación dirixida principalmente á formación do profesorado do ensino regrado en lingua galega, o cal lles permitía impartir a materia de galego. O segundo período, dende 1986 ata 1992, supuxo un incremento do orzamento e o asentamento das liñas de actuación en normalización lingüística da antiga Dirección Xeral de Política Lingüística. Neste momento a formación de adultos en galego estaba centrada na formación do funcionariado da Administración galega, pero a capacitación lingüística estaba dirixida á produción escrita, dado que era o ámbito público máis patente; cómpre sinalar que este corpo de funcionarios, maioritariamente, posuía unha competencia maior en comprensión e expresión oral ca en expresión escrita, polo tanto, os esforzos foron dirixidos cara á mellora na expresión escrita, facendo fincapé na norma ortográfica oficial. Nun terceiro período, dende 1993 a 2004, increméntase o orzamento debido ao compromiso establecido entre a Xunta de Galicia e o Goberno central para compensar a débeda histórica coa normalización lingüística.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 47 Durante todos estes anos, cabe destacar que o ensino de galego para adultos estivo marcado pola necesidade da cidadanía de conseguir un certificado requirido para o acceso á función pública ou ben como mérito nos concursos para o corpo de funcionarios. Isto provocou a necesidade de impartir cursos de formación de galego nos que primaba a asistencia como requisito para a consecución do título, e onde a didáctica destes cursos estaba baseada nun método gramatical e de tradución que pouco favoreceu o desenvolvemento da competencia comunicativa, xa que o que primaba e se valoraba era o coñecemento da gramática. En setembro de 2004 aprobouse, por unanimidade de todas as forzas políticas con representación no Parlamento de Galicia, o Plan xeral de normalización da lingua galega (Xunta de Galicia, 2006) que establece liñas de actuación en distintos ámbitos da sociedade e que será un punto de inflexión con respecto ao antigo sistema de ensino do galego para adultos. A partir deste momento, comeza a considerarse a necesidade de mudar o sistema de ensino de galego para adultos e a súa certificación. Así, créase un equipo de investigación sobre avaliación, formado por especialistas no ensino de linguas procedentes de distintos ámbitos da docencia que, dependendo do Centro Ramón Piñeiro para a Investigación en Humanidades e da Universidade e Santiago de Compostela, comeza a deseñar as liñas de actuación dos certificados. En primeiro lugar, faise unha tradución ao galego no 2005 do Marco europeo de referencia para as linguas: aprendizaxe, ensino e avaliación; manual que serve como referente para todas aquelas persoas implicadas na tarefa do ensino de linguas. O MECRL diferenza en tres niveis – A, B e C– todas aquelas habilidades (en inglés can do) que calquera usuario dunha lingua debe posuír para acadar a certificación dun determinado nivel. Nunha segunda fase do proxecto, admítese o galego como lingua membro na Asociación de Examinadores de Linguas Europeas (ALTE), creada
Margarita Chamorro Díaz 48 en 1990, coa finalidade de establecer escalas e niveis comúns de competencia, constituír e implantar procedementos homologados para o desenvolvemento, confección e administración de probas de exames, de sistemas de cualificación e de comunicación de puntuacións obtidas, así como de análise e investigación de resultados. Con este motivo, os vinte e seis membros de ALTE , representantes doutras tantas linguas europeas, e da que o galego é membro de dereito dende novembro de 2005, veñen colaborando nunha serie de proxectos para o intercambio de ideas e experiencias no ámbito da avaliación de linguas. Con motivo da entrada do galego en ALTE, fíxose unha presentación dun modelo de exame para a certificación do galego dun nivel A2 do MECRL e foi admitido por decisión unánime de todos os membros de ALTE. 2.2. Descrición do Celga Unha vez establecidos xa os parámetros de actuación do grupo de investigación en avaliación, comezou a planificación e o deseño das probas que constituirán os novos certificados de lingua galega adaptados ao MECRL. O Celga está configurado mediante distintos niveis de lingua, recolle as habilidades que reflicten a competencia comunicativa nas distintas destrezas (can do) e agrupa os contidos que calquera usuario de galego debe demostrar para obter este certificado nos distintos niveis de Celga, do 1 ao 5. Todos estes contidos recóllense na publicación da Xunta de Galicia do 2006 titulada Niveis de competencia en lingua galega que, tal e como aparece no documento, define: (...) Os niveis de competencia en lingua galega que se presentan neste documento responden, como se indicou máis arriba, aos criterios establecidos no Marco europeo común de referencia para as linguas, coas adaptacións requiridas pola situación singular do idioma galego e a diversidade de candidatos aos que pretende atender. Pártese dunha presentación moi breve do nivel en cuestión, para continuar despois co detalle das habilidades nas que se debe reflectir esa competencia e cos contidos de distinto tipo nos que se deben apoiar. As habilidades fan referencia ás capacidades comunicativas que o aprendiz debe demostrar en cada chanzo da adquisición idiomática; é dicir, a
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 49 aquelas tarefas e interaccións sociais que debe ser quen de desenvolver a través da lingua galega para acceder á certificación correspondente. Este ‘saber facer’ remítese ás catro dimensións convencionais na aprendizaxe de calquera idioma: a comprensión oral ou auditiva, a comprensión escrita ou de lectura, a interacción e expresión oral e a interacción e expresión escrita. (Xunta de Galicia, 2007: 13) Os contidos representan aqueles coñecementos que se consideran necesarios para poder activar de xeito satisfactorio –con corrección, adecuación e eficacia– as habilidades de comprensión e expresión ás que aludimos no parágrafo anterior. Estes coñecementos non constitúen, polo tanto, un eido de aprendizaxe con valor en si mesmo, senón que están ao servizo das capacidades comunicativas, que son as que se deben converter no eixe vertebrador da aprendizaxe do idioma e as que, en último termo, darán conta do nivel real de apropiamento realizado. Os contidos organízanse en tres grandes bloques: — Un de tipo comunicativo, no que se recollen de xeito máis detallado as capacidades de comprensión e expresión xa formuladas na sección de habilidades. Estas capacidades enúncianse en forma de funcións comunicativas que o usuario do idioma debe ser capaz de realizar en distintos ámbitos e situacións do seu quefacer cotián: desde os privados e informais, aos públicos e formais. — O segundo está relacionado co código, que representa o soporte lingüístico e normativo que o aprendiz debe coñecer para facer uso do idioma neses contextos e coas finalidades ás que se alude na sección anterior. Trátase dos coñecementos fraseolóxicos, gramaticais, léxicos, fonéticos e ortográficos que se asocian máis directamente coas funcións comunicativas de cada nivel e que constitúen o requisito básico para resolvelas satisfactoriamente; un
Margarita Chamorro Díaz 50 repertorio de formas e normas coas que o usuario debe codificar e descodificar as mensaxes nas interaccións nas que participa. — Finalmente, un terceiro bloque sobre coñecementos sociais e culturais relacionados con Galicia e cos galegos, que lle dan á aprendizaxe da lingua esa dimensión necesaria para converter o aprendiz nun usuario competente desde o punto de vista sociocultural. Como exemplo dos contidos que conforman o documento Niveis de competencia en lingua galega presentamos o nivel Celga 1 e os seus contidos correpondentes: 2.2.1 Descrición xeral do nivel Celga 4 A persoa que supere o Celga 1 posuirá un dominio da lingua xeral que lle permita satisfacer as necesidades máis primarias de comunicación: será capaz de comprender frases e expresións de uso frecuente, relacionadas con áreas que lle son especialmente relevantes (información elemental sobre si mesmo e a súa familia, compras, lugares de interese, ocupacións etc.); saberá relatar, describir, expoñer e demandar, en termos sinxelos, aspectos relacionados coa súa experiencia persoal, co seu contorno ou con interaccións sociais básicas; saberá comunicarse para levar a cabo tarefas cotiás que non requiran máis ca intercambios simples e directos de información sobre cuestións que lle son coñecidas ou habituais e en situacións de comunicación previsibles etc. É dicir, mostrará unhas capacidades comunicativas elementais pero suficientes para desenvolverse en contextos próximos e familiares, 4 Os datos que aparecen a continuación, aínda que poden ser consultados na orde que os recolle, consideramos adecuado expoñelos aquí para facilitar a comprensión dos comentarios que posteriormente se farán sobre eles.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 51 materializadas nun repertorio lingüístico aínda esquemático e vehiculadas especialmente a través da oralidade. 2.2.2. Descrición do nivel segundo as habilidades 2.2.2.1. Comprensión oral Comprenderá frases, expresións e o vocabulario máis habitual sobre temas de interese persoal e relacionado con áreas de prioridade inmediata. Interpretará o discurso de xeito eficaz para poder enfrontarse a necesidades concretas, sempre que se emita con lentitude e naturalidade, sexa breve, sinxelo, claro, redundante, práctico e ligado ao contexto. Máis en concreto, será capaz de comprender información e instrucións sinxelas, así como pasaxes curtas, mesmo gravadas, que traten sobre asuntos cotiáns e previsibles coma os seguintes: — Intervencións simples de carácter social que permitan manter un contacto mínimo con outra persoa, poñendo en práctica habilidades sociais como presentarse ou despedirse. — Información xeral relativa á identificación e caracterización persoal (relacións familiares, profesionais, estudos, tempo libre). — Instrucións sobre orientación e localización no espazo, así como sobre horarios e datas. — Información relativa á alimentación, produtos e obxectos de uso diario, prezos e formas de pagamento. — Preguntas e instrucións sinxelas relacionadas coa saúde. — Información básica de lugares ou oficinas públicas: correos, bancos, ambulatorios, institucións académicas etc.
Margarita Chamorro Díaz 52 — Información básica sobre feitos ou acontecementos, tanto do momento presente coma do pasado. — Opinións sobre acontecementos de actualidade, sempre que se presenten de forma clara e breve. — Mensaxes telefónicas sinxelas. 2.2.2.2. Comprensión escrita Será capaz de ler textos moi breves e sinxelos sobre asuntos cotiáns se conteñen vocabulario moi frecuente. Saberá atopar información específica e previsible en cartas, catálogos, prospectos, menús de restaurantes, listaxes, horarios, anuncios publicitarios e artigos breves de carácter informativo nos xornais. Comprenderá, interpretará e identificará información e instrucións sinxelas relacionadas con situacións cotiás e previsibles nas que atope textos como os seguintes: — Carteis e avisos públicos fixados en rúas, estradas e espazos de servizo público. — Horarios e datas de viaxes, servizos de transporte, apertura e peche de establecementos. — Información sinxela sobre a orientación e a localización no espazo. — Normas elementais de seguridade. — Instrucións sobre aparellos de uso frecuente (por exemplo, un teléfono público). — Informacións e instrucións de ámbitos como a hostalería (aloxamento, menús de restaurantes etc.), a sanidade ou a vida académica. — Indicacións básicas para o uso de medicamentos: posoloxía etc.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 53 — Información xeral relativa á identificación e caracterización persoal: relacións familiares, profesionais, estudos, afeccións etc. — Información sinxela relativa á alimentación e produtos de uso diario expostos nun establecemento comercial. — Información básica de formularios e documentos normalizados das oficinas de correos, da Administración e de entidades académicas e bancarias. — Noticias breves e titulares sinxelos dos xornais. 2.2.2.3. Expresión oral Poderá comunicarse en tarefas elementais e habituais que requiran un intercambio simple e directo de información sobre actividades e asuntos cotiáns. En situacións estruturadas e previsibles da vida diaria, será capaz de participar en conversas breves con razoable comodidade, sempre que conte coa colaboración do interlocutor. Aínda que resulten moi evidentes as pausas, as dúbidas iniciais e a reformulación, farase entender en intervencións breves. Será capaz de enlazar grupos de palabras con conectores sinxelos tales como e, pero e porque. Saberá facer descricións e presentacións breves e sinxelas da familia e doutras persoas, das condicións de vida ou de traballo, das actividades diarias, dos costumes, dos gustos e preferencias, dos obxectos e posesións etc. Será capaz de facer declaracións ensaiadas de contido previsible e aprendido sobre temas importantes da vida cotiá, coa garantía de ser entendido por oíntes dispostos a concentrarse e a colaborar. De maneira máis detallada, poderá resolver situacións e tarefas como as seguintes:
Margarita Chamorro Díaz 54 — Intervencións simples de carácter social que permitan manter un contacto mínimo con outra persoa, poñendo en práctica habilidades sociais como presentarse ou despedirse. — Controlar a comunicación oral (solicitando repeticións, o soletreo de palabras ou a moderación na velocidade da fala). — Dar información xeral relativa á identificación e caracterización persoal (relacións familiares, profesionais, estudos, tempo de lecer), de lugares e de obxectos. — Solicitar e dar instrucións sinxelas sobre orientacións e localización no espazo e sobre horarios e datas. — Reservar un cuarto nun hotel ou nun establecemento equivalente, facer preguntas sinxelas sobre o aloxamento e observacións ou reclamacións breves sobre o servizo. — Pedir produtos expostos en establecementos comerciais e información básica sobre eles. — Reclamar a atención do responsable dun establecemento e solicitar un servizo (restaurante, farmacia, tenda, gasolineira etc.). — Pedir información relativa á alimentación e a produtos de uso diario, prezos e formas de pagamento. — Darlle información básica sobre un problema de saúde a un médico ou a un farmacéutico. — Pedir información e realizar xestións sinxelas en distintas situacións cotiás: nas oficinas de correos, bancarias, académicas ou administrativas; en estacións de transporte público, axencias de viaxes etc. — Intervir en conversas sinxelas sobre experiencias persoais, centros de interese e acontecementos de actualidade, manifestando sentimentos, expresando acordo e desacordo e solicitando opinións.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 55 2.2.2.4. Expresión escrita Poderá escribir notas e mensaxes breves e sinxelas sobre temas relativos a áreas de necesidade inmediata e sobre aspectos cotiáns do seu contorno (persoas, lugares, condicións de vida e experiencias persoais e profesionais), empregando unha serie de frases e oracións enlazadas cos conectores máis usuais. Máis en concreto, será capaz de: — Cubrir formularios básicos con información persoal: matrícula nun curso, apertura dunha conta nun banco etc. — Escribir mensaxes breves de rexistro formal, por exemplo para facer unha reserva de aloxamento, pedir unha información sinxela sobre algo etc. — Escribir unha carta ou unha postal sobre asuntos de natureza persoal. — Escribir notas ou pequenas mensaxes a amigos sobre cuestións sinxelas. — Escribir sobre a súa familia, lugares, condicións de vida e experiencias persoais e profesionais. 2.2.3. Contidos 2.2.3.1. Lingua e comunicación: funcións comunicativas A persoa que supere este nivel será quen de dar e pedir información xeral e básica sobre persoas, lugares e obxectos; poderá expresar as súas opinións, sentimentos, desexos e preferencias, así como facer suxestións, invitacións e dar instrucións mínimas. Con respecto ao uso social da lingua, saberá saudar, presentarse a alguén, agradecer e pedir perdón. En relación coa organización do discurso, saberá dirixirse a un interlocutor, iniciar o discurso e finalizalo.
Margarita Chamorro Díaz 62 procesos de comunicación, orixinando así a creación de diferentes materiais de ensino de linguas, que dende os anos oitenta deron en chamarse tarefas. Para explicar que é unha tarefa, cómpre facer unha revisión sobre o dito termo partindo de Long (1985), que o acuñou por primeira vez e definiu tarefa como: calquera actividade realizada por un mesmo ou para os demais, libremente ou con algún interese. (...) Cubrir un impreso, comprar uns zapatos, facer unha reserva de avión (...) Noutras palabras, por tarefa entendemos todo aquilo que facemos acotío na nosa vida, no traballo, para divertirnos e entre unha e outra cousa. (Long, 1985: 21) E segundo Olga Juan (1999), nesta definición introdúcese o concepto de acción, que tamén postula o MERC, mediante o cal os estudantes teñen que “facer algo”, o obxectivo que teñen que alcanzar na súa aprendizaxe é o de cumprir cunha acción, co cal se converten en suxeitos activos no proceso de comunicación. Seguindo coas investigación sobre tarefas, Nunan (1989: 54) proporciona unha definición centrada na realidade da aula e tendo en conta a lingua como ferramenta necesaria para a realización das tarefas. Así, considéraa como: unha unidade de traballo na aula que implique os aprendices na comprensión, manipulación, produción ou interación na L2 mentres que a súa atención está centrada prioritariamente no significado máis ca na forma. Posteriormente, Candlin (1990) introduce o concepto de coñecemento xa existente nos estudantes tanto no plano lingüístico coma no extralingüístico, e o de actividade xeradora de problemas que os estudantes teñen que ir resolvendo, polo tanto, para Candlin unha tarefa é “unha actividade interdependente, social e xeradora de problemas que implica a aplicación do coñecemento existente para a consecución duns obxectivos”. Estaire e Zanón (1990) recompilan as definicións dos anteriores autores e fan unha síntese na que sinalan as características que debe presentar unha tarefa, xa que para eles cómpre que sexa:
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 63 a) representativa de procesos de comunicación da vida real, b) identificable como unidade de actividade na aula, c) dirixida intencionalmente á aprendizaxe de linguas, d) deseñada cun obxectivo, unha estrutura e unha secuencia de traballo, e) orientada á consecución dun obxectivo de manipulación de información. Para O. Juan (1999), os autores desta definición teñen unha proposta na que é indisociable a aprendizaxe de linguas dunha reflexión sobre como se produce a adquisición do coñecemento lingüístico, o que dá lugar a un alumno máis activo e autónomo, xa que é o responsable da súa aprendizaxe; tamén mudará o papel do profesor, descentralízase o seu poder na aula e convértese nun asesor que actúa e intervén segundo as necesidades do estudantado. Segundo Martín Peris (2001, 2004) na súa reflexión sobre as implicacións do uso de tarefas na aula, para que unha actividade poida ser considerada como unha tarefa, debe realizarse en cooperación, promover a comunicación entre o alumnado e finalizar coa obtención dun resultado determinado. Máis concretamente, debe cumprir os seguintes requisitos: 1. A tarefa é un plan de traballo, nela márcase un obxectivo final e uns pasos xerais que se poden seguir para acadalo, pero non se especifica que estruturas lingüísticas deben usar os aprendices, senón que son eles os que escollen en cada momento a lingua que van empregar segundo a precisen, é dicir, as tarefas crean un marco de acción no que o alumnado escolle libremente. 2. Está centrada fundamentalmente no significado (ou sexa, a súa intención é que os aprendices se comuniquen para conseguir algo, non que utilicen simplemente algunha estrutura lingüística coma o subxuntivo). A
Margarita Chamorro Díaz 64 lingua é unha ferramenta para conseguir un obxectivo, non é o obxectivo en si mesmo. 3. Implica procesos reais de uso da lingua. As actividades poden ser semellantes ás que realizamos no mundo real (cubrir un formulario) ou non (atopar cinco diferenzas entre dúas imaxes), pero os procesos comunicativos que empregamos nelas deben ser os que empregamos no mundo real: por exemplo, nunha conversa auténtica temos que tentar explicarnos de xeito que os demais poidan comprendernos ou poder contar anécdotas da nosa vida, pero non adoitamos repetir listaxes de verbos ou recitar diálogos aprendidos de memoria. Se unha actividade ten un destes dous exemplos como obxectivos, non podemos dicir que implique procesos reais de uso da lingua. 4. Pode requerir o uso de calquera das destrezas lingüísticas, así como de varias ao tempo, o cal supón a activación da comprensión auditiva ou de lectura, da producción oral ou escrita, ou de ambas á vez. 5. Pon en marcha procesos cognitivos xa que, se os aprendices teñen que levar a cabo un obxectivo común, terán que poñerse de acordo en como o van facer, seleccionar a información que consideren relevante ou razoar sobre determinadas opinións e eleccións de lingua. Estes procesos cognitivos son moito máis complexos ca os que se activan nunha actividade na que só hai que repetir un patrón de lingua determinado. 6. Remata cun produto claramente comunicativo, que é o obxectivo mesmo da tarefa (unha tarxeta cos datos de alguén, unha listaxe de consellos para levar unha vida sa, unha carta de reclamación etc.). 2.5. Medidas acadadas para a implantación do sistema Celga Para a implantación do sistema de certificación galego tiveron que artellarse unha serie de medidas adscritas aos ámbitos político, administrativo e metodo-
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 65 lóxico, e supuxeron cambios substanciais para afianzar o prestixio do galego no ámbito da cidadanía, da Administración e do ensino para adultos que pasamos a detallar a continuación. 2.5.1. Medidas políticas: o Plan xeral de normalización da lingua galega O Plan xeral de normalización da lingua galega aprobouse por unanimidade no Parlamento de Galicia o 21 de setembro de 2004; no documento publicado pola Xunta de Galicia no 2006 recóllense máis de catrocentas medidas concretas, elaboradas a partir da realidade lingüística de Galicia, para favorecer o uso do idioma nos distintos ámbitos da sociedade e garantir que calquera cidadán poida vivir plenamente en galego. Concibido coa participación de máis dun cento de profesionais representativos de todos os ámbitos da sociedade galega, constitúe un dos avances máis importantes en política de extensión do uso social do galego, tras a aprobación da Lei de normalización lingüística de Galicia, en xuño de 1983. O Plan xeral de normalización da lingua galega establece obxectivos xerais e concretos, estruturados en dous grandes bloques sectoriais de actuación. O primeiro bloque integra os sectores de carácter transversal: dereitos lingüísticos, novas tecnoloxías e implementación do corpus. O segundo grupo correspóndese cos denominados bloques verticais, correspondentes aos sete ámbitos sociais nos que se pretende actuar: Administración, educación, familia e mocidade, economía, sanidade, sociedade e proxección exterior da lingua. Tal e como aparece no Plan xeral de normalización da lingua galega (Xunta de Galicia, 2006), os obxectivos xerais son: — Garantirlle a posibilidade de vivir en galego a quen así o desexe, sabendo que conta co amparo da lei e das institucións.
Margarita Chamorro Díaz 66 — Conseguir para a lingua galega máis funcións sociais e máis espazos de uso, priorizando a súa presenza en sectores estratéxicos. — Introducir na sociedade a oferta positiva de atender o cidadán ou o cliente en galego como norma de cortesía dun novo espírito de convivencia lingüística. — Promover unha visión afable, moderna e útil da lingua galega que esfarele prexuízos, reforce a súa estima e aumente a súa demanda. — Dotar o galego dos recursos lingüísticos e técnicos necesarios que o capaciten para vehicular a vida moderna. A continuación presentamos unha serie de cadros que recollen de xeito resumido os principiais obxectivos do sector 2, que corresponde á familia, educación e mocidade; nos seus sectores transversais (dereitos lingüísticos, novas tecnoloxías e implantación do corpus) e verticais (Administración, educación, familia e mocidade, economía, sanidade, sociedade e proxección exterior da lingua).
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 67
Margarita Chamorro Díaz 68
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 69 Diagnóstico do sector Na formación de adultos, que é o que atinxe o sistema de certificación de galego, recóllense unha serie de puntos fortes e débiles que permiten sinalar as eivas sobre as que se debe actuar. Neste caso sería o segundo punto pertencente ao cadro de puntos débiles: deficiencias no sistema de capacitación lingüística dos adultos e ausencia dun marco de referencia homologable a outras linguas.
Margarita Chamorro Díaz 70 Polo tanto, unha vez establecido o sistema de certificación Celga, estaríase emendando a eiva relativa á formación de adultos en galego. 2.5.2 Medidas administrativas: Orde do 16 de xullo de 2007 A Orde do 16 de xullo de 2007, publicada no DOG número 146 do luns 30 de xullo de 2007, regula os certificados oficiais de coñecemento dos diferentes niveis de lingua galega (Celga) e as probas para obtelos. No artigo 2, niveis de coñecemento da lingua galega, establécense cinco niveis oficiais de coñecemento da lingua galega e os seus correspondentes certificados, que terán a seguinte denominación: 1. Certificado de lingua galega 1 (Celga 1): acredita unha competencia no uso da lingua que permite satisfacer as necesidades de comunicación máis básicas. Correspóndese co nivel A2 do marco europeo común de referencia para as linguas: aprendizaxe, ensino e avaliación (MECRL) e 1 da Asociación de Avaliadores de Linguas Europeas (ALTE). 2. Certificado de lingua galega 2 (Celga 2): acredita unha competencia no uso da lingua suficiente para intervir nun conxunto variado de situacións de comunicación con relativa seguridade e eficacia. Correspóndese co nivel B1 do MCERL e 2 de ALTE. 3. Certificado de lingua galega 3 (Celga 3): acredita unha competencia no uso da lingua que permite empregala cun grao importante de corrección normativa sobre temas diversos. Correspóndese co nivel B2 do MCERL e 3 de ALTE. 4. Certificado de coñecemento da lingua galega 4 (Celga 4): acredita unha competencia no uso da lingua suficiente para expresarse con fluidez e
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 71 espontaneidade na maior parte das situacións comunicativas. Correspóndese co nivel C1 do MCERL e 4 de ALTE. 5. Certificado de lingua galega 5 (Celga 5): acredita unha competencia no uso da lingua suficiente para desenvolverse sen dificultades e con corrección en calquera tipo de situación de comunicación, desde a máis informal ata a máis formal. Correspóndese co nivel C2 do MCERL e 5 de ALTE. No artigo 3, destinatarios, establécese que terán dereito a presentarse a exame todas as persoas maiores de dezaseis anos ou aquelas que os cumpran no ano natural de convocatoria das probas, logo do pagamento dos dereitos de exame correspondentes. No artigo 4, competencia, delimítase que a Secretaría Xeral de Política Lingüística convocará e realizará as probas. Así mesmo, expedirá os certificados citados no artigo 2 para acreditar a superación das probas. No artigo 5, Comisión Central de Avaliación, establécese que a Secretaría Xeral de Política Lingüística nomeará unha Comisión Central de Avaliación que se responsabilizará das seguintes funcións: a) Programación das probas e proposta de convocatoria á Secretaría Xeral de Política Lingüística. b) Elaboración dos exames. c) Avaliación daquelas probas que lle corresponda. d) Elaboración de actas do resultado das avaliacións. A Comisión Central de Avaliación das probas estará composta polos seguintes membros, nomeados pola Secretaría Xeral de Política Lingüística entre expertos na avaliación do coñecemento da lengua galega:
Margarita Chamorro Díaz 78 — instrucións e cronograma do día do exame especificado por niveis do Celga 1 ao Celga 4, — listaxe de material para o día do exame, — criterios de corrección e avaliación da expresión escrita nos niveis do Celga 1 ao Celga 4, — criterios de corrección e avaliación da expresión oral nos niveis do Celga 1 ao Celga 4, — modelos de grellas de avaliación da expresión oral (folla do avaliador e do entrevistador), — documentos administrativos: enquisa de calidade, folla de recollida de datos bancarios para o pagamento dos avaliadores, folla de reclamación, certificación de asistencia, informe sobre o desenvolvemento das probas Celga no exterior de Galicia. 2.6. O modelo de exame Tal e como avanzamos neste capítulo, o máis significativo dos exames que conforman as probas Celga é o seu deseño, xa que os candidatos deben resolver tarefas significativas para que se poida certificar a súa competencia comunicativa 8 en galego nos distintos niveis do Celga. Nestas probas non existe unha proba específica de gramática para demostrar o coñecemento do código, senón que as tarefas presentan as destrezas 9 integradas e a gramática 8 Competencia comunicativa (communicative competence): capacidade para utilizar adecuadamente unha lingua en diversas situacións. Bachman (1990: 16-68). 9 Destreza (skill): capacidade para facer algo. Nas probas de lingua distínguense catro destrezas: comprensión escrita, expresión escrita, comprensión oral e expresión oral. Cando se fala das destrezas integradas, significa que nunha mesma proba poden darse dúas ou máis destrezas xuntas que deben ser empregadas para a resolución da tarefa. Por exemplo, a proba A1 do Celga implica a comprensión oral e a expresión escrita. Glosario de termos para a avaliación de linguas (2008: 33).
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 79 convértese nun parámetro máis de avaliación xunto con outros que analizaremos máis adiante. Os exames Celga engloban dúas probas no seu formato, unha escrita e outra oral. Cada unha delas inclúe diferentes tarefas que o candidato deberá resolver; a primeira delas, a proba escrita de xeito individual, e a segunda, a proba oral en colaboración co examinador que dirixirá a entrevista. Para obter a cualificación de ‘apto’, requírese superar as dúas probas na mesma convocatoria de exame. A proba escrita realizarana todos os candidatos ao mesmo tempo, na data e no horario fixados. A proba oral será individual e terá lugar, como norma xeral, o mesmo día da proba escrita; tamén se poderá realizar nos días seguintes se o número de candidatos o fixese necesario. O modelo de exame está dividido en dúas partes: Proba escrita: que consta, pola súa vez, de dúas probas: — Proba A1. As destrezas implicadas son a comprensión oral e a expresión escrita) — Proba A2. Desenvólvese unha tarefa de comprensión escrita e expresión escrita. O candidato realizará a proba escrita de maneira conxunta co resto dos candidatos nas aulas habilitadas para tal fin. Nesta parte da proba, solicítaselle ao candidato unha tarefa na que as destrezas están integradas e se avalían tamén de maneira conxunta, xa que, para a realización da produción escrita en ambas as partes (A1 e A2), o candidato ten que comprender o texto oral na proba A1 e o texto escrito na proba A2 que lle serven como input para a súa produción escrita. A duración das dúas probas escritas será de entre dúas e tres horas, en función do nivel de Celga; os cinco primeiros minutos estarán dedicados á lectura do input para resolver a tarefa, logo escoitarán dúas veces
Margarita Chamorro Díaz 80 seguidas un audio e o tempo restante, ata completar as dúas/tres horas, servirá para realizar as dúas probas escritas (A1 e A2), que o candidato organizará como considere oportuno. Proba oral: consta dunha única proba na que como input pode activarse calquera destreza comprensiva (comprensión oral ou comprensión escrita) e a produción ten que implicar a expresión oral. Nesta proba establécese unha aula de audio onde os candidatos, en grupos de non máis de 15 persoas, poderán escoitar un audio ou ler un texto (se na proba oral o input que se propón é un audio, este escoitarase dúas veces seguidas e o candidato poderá tomar as notas que considere oportunas para logo consultalas durante a entrevista co examinador). Despois, os candidatos desprazaranse ás aulas onde os recibirán o avaliador e o entrevistador, que dirixirá a entrevista; o examinador proporalle, a partir do texto oral ou escrito que acaba de escoitar ou ler, a resolución dunha tarefa, ao tempo que un avaliador estará valorando a súa produción oral. A continuación mostramos unha serie de cadros que resumen os contidos da proba e a súa duración en cada un dos niveis Celga.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 81 2.7. Sistema de corrección da proba escrita A corrección dos exames escritos lévaa a cabo o profesorado colaborador da SXPL escollido para cada convocatoria que recibise a formación específica para tal fin. Realizarase tendo en conta as seguintes cuestións:
Margarita Chamorro Díaz 82 — Non se deben facer marcas nos exames dos candidatos. Para a puntuación do exame os avaliadores dispoñen da grella de avaliación, onde marcarán as cualificacións correspondentes a cada un dos parámetros de avaliación (adecuación, cohesión e coherencia, gramática e léxico). — En cada un dos parámetros as puntuacións que o candidato pode obter sitúanse nunha escala do 1 ao 4. As dúas partes da proba (A1 e a A2) avalíanse por separado; polo tanto, cada corrector fornece oito notas en total para cada candidato; a folla de avaliación dos correctores inclúe a seguinte grella: 2.7.1. Cualificación final da proba escrita Os criterios mínimos empregados para establecer a aptitude ou non dun candidato son os seguintes: — Se o candidato obtén un 1 nalgún dos oito parámetros, considérase ‘non apto’. — Se o candidato obtén máis dun 2 nos oito parámetros, considérase ‘non apto’. — Se o candidato obtén só un 2 nalgún dos oito parámetros, considérase ‘apto’. — Se o candidato non obtén ningún 1 nin ningún 2, considérase ‘apto’.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 83 2.7.2. Control de calidade nas correccións dos exames Coa finalidade de asegurar a fiabilidade das probas, estableceuse un sistema de correccións múltiple mediante o cal os exames poden chegar a ter ata catro revisións. O protocolo de corrección é o seguinte: — Primeira corrección O corrector da proba escrita terá que consignar as notas do exame escrito na folla de avaliación da proba e na aplicación informática da SXPL. Para que un candidato sexa considerado apto, como máximo poderá haber un único 2 nunha das oito notas da grella de corrección. — Segunda corrección Lévaa a cabo un supervisor de probas designado pola SXPL que descoñece a puntuación que se lle outorgou ao exame. Esta segunda corrección realizarase sobre exames non aptos e sobre unha selección aleatoria de exames aptos e as notas consígnanse na folla de supervisión da proba. Se o avaliador e o supervisor concordan na nota, esta mantense; en caso de discordancia, pasarase o exame a unha terceira corrección. — Terceira corrección Se un exame é apto para un dos correctores e non apto para o outro, será sometido a unha terceira corrección, realizada por outro supervisor que descoñece a puntuación outorgada polos dous anteriores, a cal determinará a nota definitiva. Esta nota consígnase na folla de revisión da proba. — Cuarta corrección Realízase no caso de que o candidato presente unha reclamación contra a cualificación final xa publicada. Levarana a cabo os membros da Comisión Central Avaliadora.
Margarita Chamorro Díaz 84 2.8. Criterios de avaliación da proba escrita Os criterios de avaliación da proba escrita son aqueles que se recollen no Manual de examinadores e que, como veremos a continuación, nalgún caso só se citan de xeito xeral e sen especificacións do que se debe de ter en conta en cada un dos parámetros. A razón vén dada porque, supostamente, estes parámetros son tratados en profundidade nos cursos de formación específica aos que os avaliadores deben asistir e que os capacita para realizar as funcións de avaliar e examinar nas probas Celga. O mesmo acontece cos parámetros de avaliación da proba oral, que non presentaremos neste apartado porque os trataremos en profundidade no 3.1.4.3. 2.8.1. Adecuación Neste parámetro valórase que o candidato se axuste á tarefa solicitada e cumpra os seguintes requisitos: — Extensión: cada nivel de Celga ten un número de palabras asignado en cada tarefa da proba escrita (Celga 1, 150 palabras; Celga 2, 200 palabras; Celga 3, 300 palabras e Celga 4, 400 palabras) e sobre este permítese un 20 % máis ou menos de palabras. A superación deste límite, por moi ben que cumpra os demais requisitos, indicará que non houbo unha resposta adecuada á tarefa e que non ofrece elementos suficientes para a súa avaliación. De calquera xeito, será necesario que este aspecto quede ben especificado ao comezo da proba nas indicacións para os candidatos. — Tratamento dos puntos da tarefa: en canto ao tratamento dos puntos da tarefa, só contarán aqueles que se traten de forma explícita e con información pertinente.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 85 — Formato textual: o escrito debe axustarse ao formato textual apropiado, aínda que poden permitirse leves alteracións nas convencións que configuran a macroestrutura dos textos. — Rexistro: debe utilizarse, en función do nivel, un rexistro adecuado á tarefa e un modo adecuado de dirixirse ao interlocutor. 2.8.2. Coherencia e cohesión Neste parámetro valórase nos textos: — puntuación, — estruturación do texto, — presentación clara das ideas. 2.8.3. Gramática Neste parámetro valórase a corrección ortográfica, morfolóxica e sintáctica: — ortografía, — acentuación, — estruturas morfosintácticas, — coñecemento da norma. 2.8.4. Léxico Neste parámetro valórase a corrección, precisión e riqueza léxica: — incorreccións (castelanismos...), — precisión, — riqueza léxica.
Margarita Chamorro Díaz 86 3. Obxectivos do Celga Os obxectivos xerais do novo sistema de certificación de lingua galega tentan asentar as bases dos Celga como referente na avaliación da lingua galega, coa finalidade de conseguir: • Consolidarse como sistema de certificación de lingua galega adaptado ao MECRL. • Permitir a convivencia do Celga xunto con outros certificados de linguas europeas. • Garantir a fiabilidade, validez e viabilidade na realización das probas. • Solucionar as eivas existentes na formación e certificación de galego para adultos; para o cal a SXPL pon á disposición da poboación recursos humanos e materiais que permitan o éxito nestes campos. Coa creación do sistema de certificación galega preténdese tomar medidas homoxéneas no ensino, aprendizaxe e avaliación da lingua galega para adultos asentada nos piares do MECRL e no Plan xeral de normalización da lingua galega. Así, o piar do MECRL, xunto co enfoque comunicativo, fundamentarán a liña de formación do profesorado, o ensino da lingua, a creación dos materiais de aula e o deseño das probas Celga. Xunto a isto, o Plan xeral de normalización da lingua galega será a guía que marcará a actuación cara a solucionar as eivas existentes en relación coa formación de adultos en lingua galega.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 87 CAPÍTULO 3 Estudos
Margarita Chamorro Díaz 94 3.1.2.3. Influencia do nivel de lingua sobre a valoración do Celga Outra das hipóteses que tentamos resolver está relacionada coa valoración do Celga en función do nivel de lingua que se avalía. Pode ocorrer que, dependendo do nivel de Celga, o peso dun criterio de corrección e avaliación poida ser máis significativo para un avaliador. Isto é, na proba escrita, a gramática pode ter menos peso no nivel Celga 1 ca no nivel Celga 4 ou, na proba oral, o criterio de pronuncia e entoación pode ter menos peso nun nivel baixo ca nun alto; isto pode deberse a que consideran que algúns criterios de corrección e avaliación non delimitan os distintos niveis de lingua, ou incluso poden crer que os criterios teñen distinto peso na suma total das puntuacións dependendo de se avalían unha proba escrita ou unha oral. 3.1.2.4. Equidade nas probas Celga Con respecto á equidade (do inglés fairness) no sistema de certificación Celga, enténdese esta como a posibilidade de xustiza na avaliación de calquera candidato sen prexuízos ou favoritismos derivados do seu perfil sociolóxico, ou sexa, que o sistema Celga avalía a competencia comunicativa dos candidatos en función dos niveis de lingua e non en función de cuestións como o nivel cultural, a idade, a procedencia etc. Trátase de demostrar que nas probas Celga non existen prexuízos culturais –termo procedente do inglés cultural bias, que consiste na distribución sistemática dun erro de medida causada pola orixe cultural dos candidatos–. Considérase que unha proba é parcial se un sector concreto da poboación de candidatos resulta privilexiado ou desfavorecido por algunha característica da proba, unha proba non imparcial culturalmente pode favorecer ou prexudicar os candidatos de determinadas orixes culturais (Bachman, 1990).
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 95 3.1.3. Mostra de avaliadores do Celga A mostra está composta por 152 avaliadores do sistema de certificación de lingua galega, aínda que nas bases de datos da SXPL a poboación total de avaliadores é de 280 profesores colaboradores, é dicir, que a mostra utilizada correspóndese co 54,29 % do total (Figura 1). A dita mostra caracterízase por non utilizar un método de selección aleatoria. As características específicas da poboación, coa súa dispersión e falta de estabilidade á hora de participar como avaliadores, fan moi difícil utilizar os métodos máis fiables de mostraxe. Por todo isto, utilizamos un curso de formación ao que os avaliadores tiveron que asistir de xeito obrigatorio antes da convocatoria das probas Celga de 2012 para aplicar o cuestionario á maior poboación posible; deste xeito chegouse a unha cifra que consideramos importante para ter en consideración as conclusións que se poidan extraer deste estudo. Figura 1. Porcentaxe da poboación que conforma a mostra de avaliadores do Celga
Margarita Chamorro Díaz 96 Unha das variables que se analizou nos examinadores foi a súa experiencia profesional no proceso de avaliación das competencias escritas e orais do galego no sistema Celga. Os avaliadores tiñan que explicar a súa experiencia tanto na competencia escrita coma na oral contestando unha pregunta aberta que despois se dividiu en categorías a partir das súas respostas. Con respecto á avaliación da competencia escrita a maioría dos avaliadores tiña unha ampla experiencia con máis de tres convocatorias (39,3 %), un 18 % declarou que participara en tres convocatorias e un 23,3 % tiña menos de dúas convocatorias de experiencia fronte a só un 19,3 % que declarou que non tiña experiencia na avaliación da competencia escrita (Figura 2). Na avaliación da competencia oral todos os suxeitos tiñan algún tipo de experiencia, un 40,7 % tiña entre catro e sete convocatorias e un 44,7 % tiña máis de sete convocatorias de experiencia (Figura 3). En xeral, os avaliadores tiñan máis experiencia no proceso de avaliación oral ca no de avaliación escrita. Isto débese a cuestións de organización da SXPL, xa que procura que, en cada convocatoria de probas, participen todos como avaliadores da proba oral e algúns deles como avaliadores da proba escrita, en función das necesidades do servizo. De feito, dáse o caso de avaliadores con moita experiencia nas probas orais e pouca nas probas escritas.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 97 19,3 23,3 18 39,3 0 5 10 15 20 25 30 35 40 45 Sen experiencia Menos de 2 anos 3 anos Máis de 3 Figura 2. Experiencia dos avaliadores na avaliación da competencia escrita no Celga 14,7 40,7 44,7 0 5 10 15 20 25 30 35 40 45 50 Ata 3 anos Entre 4 e 7 anos Máis de 7 anos Figura 3. Experiencia dos avaliadores na avaliación da competencia oral no Celga Como se pode ver na táboa seguinte (táboa I), a maioría da mostra ten unha ampla traxectoria nos dous campos de avaliación das probas orais e escritas. O 20,8 % da mostra participou en máis de catro convocatorias na avaliación da proba escrita no sistema Celga e na proba oral entre catro e sete convocatorias. Táboa I. Experiencia dos avaliadores na valoración da expresión escrita segundo a súa experiencia na avaliación da expresión oral.
Margarita Chamorro Díaz 98 A poboación de examinadores do Celga presenta o seguinte perfil de formación: a. Formación xeral: licenciados en Filoloxía Galega, licenciados en Tradución e Interpretación ou noutra licenciatura de filoloxía, sempre e cando cursasen materias de Lingua Galega. b. Formación específica para impartir os cursos preparatorios destinados aos candidatos que se presentarán ás probas do Celga, ademais de habilitalos como avaliadores das probas escritas e orais. A formación recibida consiste nun seminario de 32 horas lectivas cuxos obxectivos son: — Dotar os asistentes das ferramentas necesarias para a planificación e a avaliación no proceso de ensino e aprendizaxe da lingua galega, sempre dentro dun enfoque comunicativo, permitindo a presenza nas aulas dunha diversidade de actividades e oportunidades de aprendizaxe dirixidas ao desenvolvemento da competencia comunicativa do alumnado. — Responder ás esixencias do contexto de ensino, aprendizaxe e avaliación do galego que precisa a sociedade actual. — Reflexionar sobre o propio labor docente, como elemento dinamizador da formación do profesorado de galego. — Contribuír ao coñecemento do sistema funcional e formal do galego e dotar o alumnado dun tratamento didáctico axeitado aos principios comunicativos do ensino de linguas. Os contidos que se abordan no seminario de formación consisten en: — Introdución teórica ao enfoque comunicativo. Presentación do Marco europeo común de referencia para as linguas, aprendizaxe, ensino e avaliación. Os novos certificados de lingua galega: Celga. — Conceptos básicos de sociolingüística. Implicacións didácticas.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 99 — Didáctica das destrezas: comprensión e expresión orais e escritas. Tratamento de actividades na aula para favorecer a competencia comunicativa en cada unha delas. Ensino por tarefas. — Gramática pedagóxica. Estudo sobre casos conflitivos e o seu tratamento nas aulas. — Didáctica do vocabulario. — A avaliación e a autoavaliación na aprendizaxe. 3.1.4. Medidas Enténdense como medidas aquelas variables que teremos en conta á hora de analizar o sistema Celga. Por unha banda, están as variables clasificatorias, que atinxen os diferentes niveis de lingua que forman o sistema de certificación, dende o Celga 1 ao Celga 4, e a experiencia dos avaliadores como membros dos equipos participantes nas convocatorias do Celga; por outra, aténdense os criterios de corrección e avaliación empregados polos avaliadores nas probas orais e escritas definidas a continuación. 3.1.4.1. Variables clasificatorias a). Niveis do Celga Tal e como avanzamos no capítulo 2, onde se presenta unha extensa explicación sobre os diferentes niveis de lingua, lembramos que o sistema de certificación Celga está dividido en catro niveis que se corresponden cos establecidos polo MCRL do seguinte xeito: Celga 1 A2 Celga 2 B1 Celga 3 B2 Celga 4 C1
Margarita Chamorro Díaz 100 b). Experiencia dos avaliadores O grupo de avaliadores que colabora coa SXPL é un colectivo que recibiu unha formación específica para participar nas convocatorias de exame do Celga, tal como avanzamos no apartado 3.1.1. (Mostra de avaliadores do Celga). Para determinar a experiencia dos avaliadores empregouse o cuestionario administrado (anexo 1), no que tiñan que contestar á seguinte pregunta: Obtéñense así os datos sobre a súa participación na proba oral e escrita, xa que un avaliador que participe na proba oral non sempre participa como avaliador na proba escrita, de aí que moitos avaliadores teñan máis experiencia nas probas orais e menos nas escritas. Á hora de seleccionar os avaliadores da proba oral, preténdese que todos os compoñentes da listaxe participen como avaliadores dalgún dos catro niveis de Celga, de tal xeito que interveñan polo menos nun dos días da convocatoria e como máximo en dous días. Lembremos que a convocatoria das probas Celga se divide en dúas fins de semana, é dicir, catro días nos que en cada un se avalía un nivel de Celga. Para a asignación dos avaliadores da proba escrita, o criterio establecido é o de participar como tal nas últimas tres convocatorias. Normalmente cada avaliador debe corrixir unha media de trinta exames escritos, aínda que o número de avaliadores que participan na proba escrita tamén varía en función do número de candidatos que se presentan en cada convocatoria. 1. Sinale o número de convocatorias do Celga nas que participou -como avaliador da proba escrita: -como avaliador da proba oral:
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 101 3.1.4.2. Criterios de corrección e avaliación das probas de expresión escrita a). Adecuación á tarefa: mediante este parámetro valórase que o candidato se axuste ao tipo de tarefa que se lle esixe para completar a proba, é dicir, se se lle solicita que redacte un texto dunha determinada modalidade (expositivo, argumentativo ou narrativo) e cun determinado número de palabras (que varía segundo o nivel de Celga), que o cumpra. b). Coherencia e cohesión: mediante este parámetro avalíase que o texto producido polo candidato presente unha estrutura adecuada na presentación de ideas, que use conectores que axuden a progresar a información e que empregue os mecanismos gramaticais e léxicos necesarios para o mantemento do referente. Consideramos: A coherencia coma unha noción que inclúe as relacións pragmáticas ademais das relacións semánticas intratextuais. É un concepto que se refire ao significado do texto na súa totalidade, abarcando tanto as relacións das palabras co contexto coma as relacións entre as palabras no interior do mesmo texto. Alude á estabilidade e á consistencia temática subxacente, asociada á macroestrutura (contido), á superestrutura (esquema de organización) do texto, á súa ancoraxe enunciativa (protagonistas, tempo e espazo) e ás inferencias que activan os falantes para interpretalos a partir de coñecementos previos. A cohesión é un concepto que se refire a un dos fenómenos propios da coherencia, o das relacións particulares e locais que se dan entre os elementos lingüísticos, tanto os que remiten uns aos outros como os que teñen a función de conectar e organizar. Así, a coherencia, que inclúe a cohesión, pode considerarse tanto unha propiedade fundamental que dá cobertura ao conxunto de significacións dun texto coma un principio necesario para que o texto sexa definido como tal (Casalmiglia e Tusón, 2002: 221).
Margarita Chamorro Díaz 102 a). Gramática: mediante este parámetro valórase a corrección morfolóxica e sintáctica no discurso do candidato e a súa adaptación á norma estándar do galego. b). Léxico: neste parámetro tense en conta a corrección, precisión e riqueza léxica, de acordo coas esixencias de cada nivel. 3.1.4.3. Criterios de corrección e avaliación das probas de expresión oral a). Adecuación e interacción: mediante este parámetro valórase que o candidato se axuste ao tipo de tarefa que se lle esixe para completar a proba, é dicir, se se lle solicita que produza un texto dunha determinada modalidade (expositivo, argumentativo ou narrativo). b). Gramática: mediante este parámetro valórase a corrección morfolóxica e sintáctica no discurso do candidato e a súa adaptación á norma estándar do galego. c). Léxico: neste parámetro valórase a corrección, precisión e riqueza léxica, de acordo coas esixencias de cada nivel. d). Cohesión e fluidez: neste parámetro valórase que o candidato estruture correctamente as súas ideas e que teña unha fluidez e un ritmo de fala acorde co nivel correspondente. e). Pronuncia e entoación: neste parámetro valórase que o usuario utilice na oralidade o sistema fonolóxico do galego. f). Interacción: neste parámetro valórase que o candidato colabore co interlocutor e manteña vivo o diálogo nas partes da proba que requiren interacción.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 103 3.1.4.4. Validación do construto Segundo Alderson et al. (1998: 21), cada proba ten unha teoría que a sustenta, isto é, unha crenza abstracta sobre que é a lingua e en que consiste ter competencia comunicativa nesa lingua, que implica aprender esa lingua e que poden facer os falantes con esa lingua. Todos eses conceptos conforman o construto, ou conceptos psicolóxicos, que son os principais compoñentes dunha teoría e entre eles establecen unha serie de relacións. Por exemplo, algunhas teorías sobre a lectura afirman que esta inclúe distintos construtos (lectura globalizadora ou skimming, lectura selectiva ou scanning). A validación do construto supón examinar ata que punto unha proba avalía os seus construtos. Para poder levar a cabo a validación do construto é fundamental que un sistema de certificación desenvolva nas súas especificacións os fundamentos teóricos sobre os que se sustenta, que no caso do Celga veñen marcados polas pautas do MECRL e do sistema comunicativo no ensino, aprendizaxe e avaliación de linguas, ademais da relación entre a teoría e o obxectivo co cal se elaborou a proba. No contido das especificacións do exame debe constar a información sobre que habilidades se avalían, sobre as interrelacións nesas habilidades, sobre que métodos de avaliación se empregarán e sobre que criterios se utilizarán para a avaliación. No caso do sistema de certificación Celga, por tratarse de probas baseadas en tarefas, as habilidades veñen determinadas pola integración das destrezas de comprensión e expresión oral e escrita que os candidatos deben manexar para resolver as tarefas solicitadas na proba. A partir disto, os avaliadores empregarán unha serie de ferramentas coñecidas como criterios de corrección e avaliación que no presente traballo analizaremos para medir a validez do seu construto.
Margarita Chamorro Díaz 110 3.1.8.1. Segundo o nivel do Celga Seguindo a liña dos resultados anteriores, obsérvase que as puntuacións medias de utilidade adxudicadas atendendo ao nivel do Celga varían substancialmente. Os resultados amosan que a utilidade aumenta a medida que o nivel do Celga aumenta, é salientable a importancia que se adxudica aos criterios no nivel Celga 4 fronte ao resto. Cómpre sinalar que os criterios de avaliación se consideran útiles en todos os niveis da variable (Figura 6). As puntuacións oscilan entre a máis baixa, adxudicada ao criterio léxico no nivel Celga 1 (7,15), e a máis alta, dos criterios de coherencia e cohesión e adecuación á tarefa do Celga 4 (8,32). Figura 6. Nivel de utilidade dos criterios de corrección e avaliación para as probas de expresión escrita segundo os niveis dos Celga.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 111 Por outra banda, as valoracións sobre a utilidade dos criterios de corrección e avaliación varían dun xeito relevante atendendo aos distintos niveis do Celga. Ao analizar cada un deses criterios individualmente e os niveis diferentes do Celga, obsérvase a existencia de diferenzas significativas que se detallan na táboa 2. Os resultados que reflicte a análise individual dos criterios de avaliación segundo o nivel do Celga ao que se presente o avaliado, utilizando a análise de varianza con contraste a posteriori Tukey b, indican que: — A adecuación á tarefa se considera máis útil para o Celga 4 ca para o Celga 1 e Celga 2. — Os criterios de coherencia e cohesión, gramática e léxico se consideran máis útiles para o nivel Celga 4 ca para os primeiros –Celga 1 e Celga 2–. Así mesmo, estes criterios son considerados máis útiles no Celga 2 ca no Celga 1. Agrupando os resultados individuais, obtemos un panorama xeral que indica a existencia de dous perfís claros, un deles composto polo Celga 4, no que todos os criterios para a valoración dos suxeitos se consideran máis útiles ca nos niveis máis baixos (Celga 1 e Celga 2). Por outra banda, teriamos un perfil intermedio (Celga 3) no que as valoracións son semellantes ás do Celga 2 e ás do Celga 4, aínda que se diferenciaría claramente do Celga 1 en todos os criterios, agás no de adecuación á tarefa.
Margarita Chamorro Díaz 112 Táboa 2. Diferenzas nas valoracións de utilidade dos criterios de corrección escrita atendendo ao nivel do Celga. Resultados da aplicación da proba Anova Oneway e contraste a posteriori Tukey b. 3.1.8.2. Segundo a experiencia dos avaliadores Para analizar se a experiencia dos avaliadores influía no proceso de avaliación aplicouse a proba non paramétrica chamada H Krustal Wallis, da que se deduce que esta variable non inflúe significativamente sobre a percepción de utilidade de ningún dos criterios de corrección e avaliación: adecuación (K = 7,551; p = 0,056), coherencia e cohesión (K = 5,543; p = 0,136), gramática (K = 0,673; p = 0,880) e léxico (K = 0,106; p = 0,991). 11 11 Non se aplicou a proba a posteriori U de Mann Whitney para comprobar as diferenzas entre os diferentes niveis da variable experiencia.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 113 3.1.9. Utilidade dos criterios de corrección e avaliación das probas de expresión oral segundo os avaliadores Da mesma forma que no apartado anterior se presentan os resultados dos niveis de utilidade adxudicados polos avaliadores aos criterios de corrección e avaliación, neste apartado presentamos os resultados sobre a utilidade para as probas de expresión oral. Mentres que para a expresión escrita se utilizaban catro criterios, para as probas de expresión oral engádense dous criterios pola especificidade da competencia oral (pronuncia e interacción). A figura seguinte (Figura 7) presenta os resultados dos niveis de utilidade adxudicados a cada criterio sen ter en conta o nivel do Celga ao que se presenta o candidato. De igual forma que para a expresión escrita os criterios se consideran útiles porque a media non baixa en ningún dos casos de 7, os intervalos de puntuación oscilan entre 2 e 10 no caso de adecuación e pronuncia e 3 e 10 no resto dos criterios. En xeral, obsérvase que os correctores consideran que estes criterios son útiles para a función que desempeñan, xa que non existe ningún criterio que teña unha media de utilidade inferior a sete; o intervalo de puntuacións oscila entre 3 e 10 en todos os criterios, agás o de gramática que vai desde 2 a 10. A porcentaxe de avaliadores que lles adxudican un suspenso 12 aos criterios de utilidade non son moitos: adecuación á tarefa (11,7 %), coherencia e cohesión (13,6 %), léxico e á gramática (15,2 % e 15,1 %, respectivamente), pronuncia (18,3 %). Atendendo ás puntuacións medias en utilidade adxudicadas polos avaliadores, obsérvase que os criterios que obteñen unha maior puntuación son interacción e coherencia e cohesión (7,67 e 7,6, respectivamente) fronte a 12 Véxase nota 10.
Margarita Chamorro Díaz 114 pronuncia, que acada a puntuación máis baixa (7,17), o resto obtén puntuacións moi semellantes. Figura 7. Nivel de utilidade dos criterios de corrección e avaliación para as probas de expresión oral do Celga. 3.1.9.1. Segundo o nivel do Celga Ao analizar os resultados de utilidade dos criterios de corrección para expresión oral en función do nivel do Celga, obsérvase que se produce o mesmo fenómeno ca na expresión escrita: a medida que aumenta o nivel do Celga aumenta a importancia que lle adxudican os avaliadores a estes (Figura 8). A puntuación máis baixa é inferior ao seis e medio (6,45) e correspóndese coa pronuncia no Celga 1, é dicir, os avaliadores non o perciben como excesivamente útil para o primeiro nivel, circunstancia que se repetirá no Celga 2, e que despois se atenuará segundo aumenta o nivel do Celga. Por outra banda, os avaliadores consideran que os criterios máis útiles son os de adecuación á tarefa, interacción e coherencia e cohesión (8,27, 8,26, 8,22,
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 115 respectivamente), que se corresponden co Celga 4. Cómpre sinalar que en niveis máis baixos as puntuacións máis altas por nivel se refiren ao criterio de adecuación á tarefa. Figura 8. Nivel de utilidade dos criterios de corrección e avaliación para as probas de expresión oral dos distintos niveis Celga. Os resultados que reflicte a análise individual dos criterios de avaliación segundo o nivel do Celga ao que se presente o candidato, utilizando a análise de varianza con contraste a posteriori Tukey b, indican que: — A adecuación á tarefa se considera máis útil para o Celga 4 ca para o Celga 1 e 2. — Os criterios de coherencia e cohesión, gramática e léxico se consideran máis útiles para Celga 4 ca para os primeiros (Celga 1 e Celga 2) e todos eses criterios son máis útiles para o Celga 3 ca para o Celga 1.
Margarita Chamorro Díaz 116 Táboa 3. Diferenzas nas valoracións de utilidade dos criterios de corrección oral atendendo ao nivel do Celga. Resultados da aplicación da proba Anova Oneway e contraste a posteriori Tukey b. 3.1.9.2. Segundo a experiencia profesional dos avaliadores A experiencia dos avaliadores nas probas orais inflúen significativamente na percepción de utilidade en cinco dos seis criterios de avaliación utilizados nas probas orais: adecuación (K= 20,352; p < 0,001), gramática (K = 14;015; p = 0,001), coherencia (K = 26,839; p < 0,001), pronuncia (K = 14;378; p = 0,001) e interacción (K = 14,087; p = 0,001); non inflúe no criterio de léxico (K = 2,250; p = 0,284).
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 117 A continuación acudiuse á proba U-Mann-Whitney e ao cálculo manual da proba de Bonferroni para perfilar o patrón de diferenzas considerando as variables dúas a dúas. Os resultados indicaron que: a) medida que aumentaba a experiencia dos avaliadores, estes percibían que a coherencia e a cohesión tiñan máis utilidade. Existen diferenzas entre os que teñen menos de tres anos de experiencia fronte aos que teñen entre catro e sete (p’ = 0,004) e os que teñen máis de sete (p’ < 0,001) e entre os que teñen entre catro e sete fronte aos que teñen máis de sete (p’ = 0,006). b) Nos criterios de adecuación á tarefa, gramática e interacción había diferenzas significativas entre os correctores con menos de tres anos de experiencia e máis de sete (p’ < 0,001; p’ = 0,008; p’ = 0,002) e entre os que tiñan entre catro e sete anos de experiencia e máis de sete anos de experiencia (p’ = 0,002; p’ = 0,002; p’ = 0,006). Todos ían na mesma dirección, a medida que tiñan máis experiencia percibían que estes criterios tiñan máis importancia. c) No criterio de interacción había diferenzas significativas entre os avaliadores con menos de tres anos de experiencia e os de máis de sete anos de experiencia (p’ < 0,001). 3.1.10. Opinión sobre a validez dos criterios de corrección e avaliación Na segunda parte do cuestionario, pedíaselles aos avaliadores que escollesen entre os criterios de corrección e avaliación que considerasen menos válidos á hora de determinar a competencia comunicativa tanto escrita coma oral (preguntas 10 e 11 do anexo 1). Como resultados sobre os criterios menos válidos na proba escrita, máis da metade (59,6 %) dos avaliadores optaba por escoller a alternativa “e” que consideraba a todas as alternativas como válidas (Todos son igual de válidos).
Margarita Chamorro Díaz 118 Non obstante, hai unha porcentaxe de avaliadores que considera o criterio adecuación á tarefa como o menos importante (21,9 %), o resto de alternativas obtiveron puntuacións inferiores a 9. Hai que considerar que só cinco avaliadores escolleron o criterio de coherencia e cohesión como o menos válido (Figura 9). Figura 9. Criterio de corrección e avaliación que lles parecía menos válido á hora de determinar a competencia comunicativa na proba escrita. Existe una relación significativa entre a experiencia profesional dos avaliadores e a elección dos criterios que consideran como válidos ou non válidos á hora de determinar a competencia comunicativa (I = 0,025; p = 0,018). En xeral, pódese inferir que os avaliadores cunha maior experiencia (isto é, máis de catro convocatorias) son os que consideran en maior medida que todos os criterios son validos (63,2 %) fronte aos correctores con experiencia en tres convocatorias ou menos de dúas (55,6 % e 55,9 %, respectivamente). Hai un grupo que non concorda coa tendencia, que é dos avaliadores sen experiencia, o cal, curiosamente, coincide nas respostas cos
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 119 avaliadores máis experimentados (61,5 % os avaliadores sen experiencia e 63,2 % os avaliadores con máis de catro convocatorias). A causa desta disonancia é que este grupo está composto fundamentalmente por persoas con moita experiencia na avaliación da proba oral, de aí que poidan compartir os mesmos criterios ca as persoas con experiencia da proba escrita. Figura 10. Avaliadores que elixiron a alternativa “todos son válidos” á hora de determinar a competencia comunicativa escrita segundo o nivel de experiencia. Cando se lles solicitou aos avaliadores unha valoración sobre os criterios de corrección menos válidos para avaliar a competencia oral (na pregunta 11 do anexo 1), a metade (51,4 %) escollía as alternativa “todos son igual de válidos”. O criterio escollido por unha porcentaxe maior de avaliadores como menos válido foi o de pronuncia e entoación (17,6 %), mentres os criterios que se elixiron un menor número de veces foron cohesión e fluidez e gramática (6,8 % nos dous casos).
Margarita Chamorro Díaz 126 Figura 18. Pregunta 12: considera que hai algún/s criterio/s de corrección e avaliación que se debería/n engadir e que non se ten/teñen en conta á hora de avaliar os exames? Figura 18a. Considera que hai algún/s criterio/s de corrección e avaliación que se debería/n engadir e que non se ten/teñen en conta á hora de avaliar os exames? Resposta directa
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 127 Como se pode observar nas táboas anteriores (correspondentes á pregunta 12 do anexo 1), os avaliadores á hora de engadir outros criterios de corrección e avaliación presentan unha serie de posibilidades que están lonxe das características que teñen os actuais criterios, centrados en aspectos que conforman un texto, fronte a cuestións que poden agruparse nas seguintes categorías: — De orde sociolingüística, como ser galegofalante, ser falante nativo, situación sociolingüística, uso habitual do galego, ser galego funcional, non ser galegofalante, adecuación sociolingüística, actitude cara ao galego . — De carácter sociolóxico, como nivel de formación da persoa. — De orde textual, como adecuación ao rexistro, coherencia asociada á cohesión, pronuncia e entoación, reducir a marxe de palabras a un 10 %, riqueza. Pola contra, na táboa p12b (obtida da pregunta 12 do anexo 1) obsérvase que as alternativas que ofrecen son, por unha banda, de carácter sociolingüístico, como galegofalantes nativos, variacións dialectais, e pola outra de carácter sociolóxico, como nivel cultural, non recoñecer nivel cultural. Polo tanto, enténdese que á hora de establecer novos criterios de corrección e avaliación, existe unha certa confusión sobre cuestións de carácter meramente textual e doutra orde diferente, como a sociolóxica ou a sociolingüística, que, aínda que tamén forman parte do ecosistema da competencia comunicativa, pode que non sexan tan útiles como ferramentas á hora de avaliar a competencia comunicativa nunha produción textual oral ou escrita. 3.1.11. Valoración da equidade do Celga Ao preguntarlles aos colaboradores se pensan que as probas Celga teñen un sistema xusto de avaliación, a maior parte deles considera que é equitativa
Margarita Chamorro Díaz 128 (74,5%). A pesar desta maioría que cre que o procedemento de avaliación é xusto, existe unha porcentaxe significativa de avaliadores que non opina o mesmo (25,5 %). Figura 19. Opinión sobre a equidade do Celga Ao analizar a relación entre a experiencia dos avaliadores na proba escrita e a opinión sobre a equidade do sistema, observouse unha variación significativa (I = 0,015; p = 0,019). Sen considerar os avaliadores sen experiencia, pode observarse que, a medida que aumenta a experiencia como avaliadores na proba escrita, increméntase a percepción de equidade do sistema, pasando do 35,3 % daqueles con menos de dúas convocatorias ao 23,2 % dos avaliadores con máis de catro convocatorias. Semella que os incluídos na categoría sen experiencia son suxeitos con moita experiencia na avaliación oral e ningunha na proba escrita, de aí as cifras tan disonantes (Figura 19).
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 129 Figura 20. Relación entre a equidade do sistema de avaliación e a experiencia como avaliadores na proba escrita Ao examinar a relación entre a experiencia dos avaliadores na proba oral e a opinión sobre a equidade do sistema, observouse unha variación significativa (I = 0,006; p = 0,012). Os avaliadores cunha menor experiencia na proba oral (isto é, ata tres convocatorias) son os que opinan en maior medida (33,3 %) que o sistema é menos xusto. Figura 21. Relación entre a equidade do sistema de avaliación e a experiencia como avaliadores na proba oral
Margarita Chamorro Díaz 130 Porén, podemos observar como aqueles avaliadores con entre catro e sete convocatorias ou máis de sete convocatorias de experiencia na proba oral obteñen resultados moi similares cando consideran que o Celga é un sistema xusto de avaliación. Polo tanto, podemos inferir que a consideración da equidade no sistema de avaliación é proporcional á experiencia dos avaliadores nas distintas probas orais escritas. 3.1.12. Valoración da competencia comunicativa dos candidatos ao Celga Este apartado ten como finalidade amosar o construto empregado polos avaliadores no proceso de avaliación das probas escritas e orais do Celga. Con este obxectivo en mente e tendo presentes os resultados xerais e a influencia do nivel do Celga sobre a percepción da utilidade dos avaliadores, aplicamos a análise INDSCAL. 3.1.12.1. Valoración da competencia comunicativa na proba escrita dos candidatos ao Celga A análise multidimensional empregada para desentrañar o proceso de valoración realizada polos avaliadores sobre a competencia comunicativa dos candidatos na proba escrita, mediante a utilización dos criterios de corrección e avaliación, proporciónanos un modelo que explica case a totalidade da varianza (99 %), con niveis de Stress de Krustal aceptables. O valor mínimo aconsellable queda por baixo de 0,10 (Stress: 0,01), o cal indica un nivel moi alto de axuste entre o modelo e os datos. Acadar unha varianza explicada alta cun nivel de stress tan baixo significa que se obtivo un modelo correcto segundo os datos avaliados.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 131 Cómpre sinalar que a primeira dimensión (dimensión I) é a que realmente soporta o resultado do modelo de avaliación na proba escrita, xa que explica un 98,5 % da varianza mentres a segunda explica un 1,5 %. Este nivel tan alto de varianza explicada e tan baixo de stress na primeira dimensión indica a existencia dunha única dimensión para a avaliación da proba escrita en todos os niveis do Celga. Partindo da observación anterior, analizouse polo miúdo o modelo cunha solución onde todos os niveis do Celga teñen un peso superior a 0,90 na dimensión I, que é a que explica case a totalidade da varianza (táboa 22). A dimensión II explica un 2,5 % da varianza e o peso máis grande é no Celga 1 (w = 0,22). Figura 22. Peso dos niveis na avaliación da proba escrita do Celga en cada dimensión e valores da varianza explicada Os criterios de corrección e avaliación que teñen un peso maior na dimensión I son (vid. táboa 22) adecuación á tarefa (w = -1,25), léxico (w = - 0,98) e gramática (w = -0,98); mentres na dimensión II son os criterios de adecuación á tarefa (w = 1,39) e gramática (w = -1,29). Fifura 23. Peso dos criterios de corrección e avaliación na proba escrita en cada dimensión
Margarita Chamorro Díaz 132 A dimensión I, despois de revisar os datos (vid. Figura 23) e as diferenzas por nivel do Celga (Figura 24), amosa que os avaliadores consideran os criterios de gramática e léxico cun menor peso e son máis similares entre eles fronte ao criterio de adecuación á tarefa na avaliación da proba escrita do Celga e independentemente do nivel do certificado. Complementariamente, a dimensión II sinala que para o Celga I o criterio cun peso máis alto é o de adecuación á tarefa fronte ao de léxico. Figura 24. Mapa perceptual dos criterios de avaliación escrita do Celga. 3.1.12.2. Valoración da competencia comunicativa na proba oral dos candidatos ao Celga O procedemento utilizado para analizar o construto que utilizan os avaliadores para valorar a competencia oral foi igual ao da escrita. Neste caso o modelo multidimensional obtido mediante a análise INDSCAL explica o 99 %
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 133 da varianza e un valor de Stress de 0,03. Estes resultados indican un alto nivel de axuste entre o modelo e os datos. O modelo no que se fundamenta a valoración da competencia comunicativa dos candidatos na proba oral componse de dúas dimensións: a primeira explica un 59 % da varianza e a segunda explica algo menos, un 41 %. Na dimensión I é onde os niveis do Celga 1 e do Celga 2 teñen o peso máis alto (w = 0,94 e w = 0,92, respectivamente), mentres na dimensión II son os niveis de Celga 4 e Celga 3. Figura 25. Peso dos niveis do Celga na proba oral en cada dimensión e valores da varianza explicada Os criterios que máis determinan a avaliación da competencia oral na dimensión I serían (Figura 25) a adecuación (w = -1,76) fronte á pronuncia e entoación (w = -1,69), mentres na segunda dimensión os criterios que máis o determinan son a interacción (w = -1,46) e a adecuación (w = -1,04) fronte ao léxico (w = 1,09), á gramática (w = 1,06) e, en menor medida, pronuncia e entoación (w = -0,64).
Margarita Chamorro Díaz 134 Figura 26. Pesos dos criterios de avaliación da competencia oral en cada dimensión. Ao analizar o peso e direccións das escalas en cada unhas das dimensións, pódese dicir que a valoración da competencia comunicativa dos candidatos na proba oral nos niveis iniciais (Celga 1 e Celga 2) se fundamenta especialmente no criterio de adecuación e interacción fronte ao de pronuncia e entoación (dimensión I, Figura 26). Por outra banda, nos niveis máis altos do Celga (Celga 3 e Celga 4), a valoración fundaméntase en máis parámetros (dimensión II, Figura 27). Os avaliadores céntranse nos criterios de adecuación e interacción fronte aos de gramática, léxico e pronuncia e entoación. Figura 27. Mapa perceptual dos criterios de avaliación oral do Celga.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 135 3.2. Estudo II: Análise dos candidatos presentados ás probas do Celga durante os anos 2009 e 2010 A continuación presentamos a análise efectuada sobre os datos obtidos dos candidatos ao Celga presentados nas catro convocatorias correspondentes aos dous anos 2009 e 2010 que, xunto cos datos do estudo I, conforman o total da investigación sobre o sistema Celga. 3.2.1. Método da investigación Mediante un estudo realizado aos candidatos que se presentaron ao Celga durante os anos 2009 e 2010 en dúas convocatorias anuais –maio e decembro–, conseguimos datos coa finalidade de analizar a fiabilidade e validez das ditas probas. O número de candidatos é de 8016, cun perfil sociodemográfico heteroxéneo, xa que se consideran variables como idade, sexo, nivel de estudos, lugar de nacemento e lugar de residencia. A motivación principal para presentarse ás probas vén dada pola necesidade dos candidatos de obter unha certificación que lles permita optar a algún posto dos distintos niveis da Administración pública galega. Os candidatos facilitáronlle os seus datos á SXPL o mesmo día da proba e acordouse que só se faría uso deles con fins de mellora do sistema. Os datos foron tomados en conxunto, sen diferenciación por anos, xa que non é relevante analizalos por separado para demostrar a fiabilidade e a validez das probas. 3.2.1.1. Obxectivos Do mesmo xeito que avanzamos no apartado que recolle os obxectivos e hipóteses do estudo I, os obxectivos específicos dos que partimos na
Margarita Chamorro Díaz 142 mecanismos gramaticais e léxicos necesarios para o mantemento do referente. Consideramos que la coherencia es una noción más extensa que incluye las relaciones pragmáticas, además de las relaciones semánticas intratextuales. Es un concepto que se refiere al significado del texto en su totalidad, abarcando tanto las relaciones de las palabras con el contexto como las relaciones entre palabras en el interior del mismo texto. Alude a la estabilidad y a la consistencia temática subyacente, asociada a la macroestructura (contenido), a la superestructura (esquema de organización) del texto, a su anclaje enunciativo (protagonistas, tiempo y espacio) y a las inferencias que activan los hablantes para interpretarlo a partir de conocimientos previos .La cohesión es un concepto que se refiere a uno de los fenómenos propios de la coherencia, el de las relaciones particulares y locales que se dan entre elementos lingüísticos, tanto los que remiten unos a otros como los que tienen la función de conectar y organizar. Así, la coherencia, que incluye la cohesión, se puede considerar tanto una propiedad fundamental que da cobertura al conjunto de significaciones del texto como un principio necesario para que un texto sea definio como tal. (Casalmiglia e Tusón, 2002: 221-222) Gramática: mediante este parámetro valórase a corrección morfolóxica e sintáctica no discurso do candidato e a súa adaptación á norma estándar do galego. Léxico: neste parámetro valórase a corrección, precisión e riqueza léxica, de acordo coas esixencias de cada nivel. A competencia comunicativa na proba escrita está composta por dous niveis (apto/non apto). Para considerar se un candidato é apto ou non acudiuse ás puntuacións obtidas nos parámetros anteriores que seguen unha escala do 1 ao 4: 1 e 2 son non apto e 3 e 4 son apto. Competencia comunicativa escrita: os niveis da proba escrita serán apto e non apto. Para esta codificación consideraranse os criterios do Celga e, por tratarse en realidade de dúas probas (A1 e A2), permítese unha puntuación menor a 3 nalgún dos parámetros e só nunha das probas (na A1 ou na A2) e a
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 143 proba considerarase apta. En caso de aparecer máis dunha puntuación menor a 3, a proba considerarase non apta. 3.2.3.3. Criterios de corrección na proba oral Na proba oral, denominada proba B, os parámetros de corrección e avaliación que teñen que empregar os avaliadores como ferramenta no seu labor son os seguintes: — Adecuación — Gramática — Léxico — Cohesión e fluidez — Pronuncia e entoación — Interacción Como podemos observar, os únicos que varían con respecto aos parámetros da proba escrita son os seguintes, que pasamos a detallar: — Pronuncia e entoación: neste parámetro valórase que o usuario utilice na oralidade o sistema fonolóxico do galego. — Interacción: neste parámetro valórase que o candidato colabore co interlocutor e manteña vivo o diálogo nas partes da proba que requiren interacción. — Cohesión e fluidez: neste parámetro valórase que o candidato estruture correctamente as súas ideas e que teña unha fluidez e un ritmo de fala acorde co nivel correspondente.
Margarita Chamorro Díaz 144 A competencia comunicativa na proba oral está composta por dous niveis (apto ou non apto). Para considerar se un candidato é apto ou non apto acudiuse ás puntuacións obtidas nos parámetros anteriores que seguen unha escala do 1 ao 4, de 1 a 2 son non apto e de 3 a 4 apto. 3.2.4. Procedemento 3.2.4.1. Obtención de datos para o estudo Os datos empregados no presente apartado proceden das convocatorias do Celga dos anos 2009 e 2010 sometidos a unha análise psicométrica. Compiláronse mediante unha serie de táboas Excel onde se recollen os datos referidos aos candidatos, as puntuacións que obtiveron nas probas que realizaron e os códigos das persoas que avaliaron as ditas probas. Posteriormente, estes datos trasladáronse a unha matriz de datos de SPSS para a súa análise. Todos os datos obtidos para o presente traballo fóronlles solicitados aos candidatos o día da proba, aos que se lles explicou que só se faría uso deles para investigación a prol da mellora do sistema Celga. 3.2.4.2. Procedemento de avaliación das probas Celga Os candidatos que optan á consecución dun certificado Celga terán que superar dúas probas, unha escrita e outra oral, que pasamos a detallar a continuación. PROBA ESCRITA Proba A1 Este proba A1 correspóndese co primeiro exercicio que o candidato ten que resolver no exame. A partir dun texto oral que escoita, debe redactar un texto
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 145 escrito segundo unha serie de pautas que se lle indican e que lle permitirán adecuarse á tarefa solicitada, ben sexa creando un texto expositivo, narrativo ou argumentativo. Deste xeito, o candidato demostrará a súa competencia comunicativa tanto na comprensión oral coma na expresión escrita dos distintos niveis de Celga, ao ser quen de construír un texto entendido como “una unidad comunicativa de orden distinta a la oracional; una unidad intencional y de interacción” (Casalmiglia e Tusón, 2002: 219). Proba A2 Nesta segunda parte da proba escrita, denominada A2, a partir do input proporcionado por un texto escrito, o candidato debe redactar outro segundo unha serie de pautas que lle permitirán adecuarse á tarefa solicitada, creando un texto de modalidade expositiva, narrativa, ou argumentativa. Deste xeito, o candidato demostrará a súa competencia comunicativa na comprensión e a expresión escrita dos distintos niveis de Celga. PROTOCOLO DE AVALIACIÓN DA PROBA ESCRITA Todos os parámetros que conforman a grella de avaliación son empregados polos avaliadores colaboradores da SXPL que recibiron unha formación específica para desempeñar o dito labor. Para manter o anonimato e a fiabilidade na avaliación das probas escritas, o sistema establece que existan varias figuras que corrixan as probas; todas as persoas implicadas no proceso de corrección descoñecen a puntuación outorgada previamente polos seus compañeiros, así como a identidade do candidato –a proba non presenta ningún risco nin marca ou sinal que poida permitir a identificación do candidato–. Cada proba pode pasar ata por catro avaliadores diferentes que descoñecen a puntuación que obtivo esa proba anteriormente. Así, o sistema de avaliación do Celga presenta as seguintes figuras:
Margarita Chamorro Díaz 146 — Un corrector: é a primeira persoa que avalía a proba segundo os parámetros establecidos e decide se esta é apta ou non apta. — Un supervisor: que descoñece a puntuación outorgada anteriormente polo corrector á proba e avalía de novo, xa que todas as probas non aptas e, aleatoriamente, algunhas aptas son corrixidas unha segunda vez por un supervisor. — Un revisor: no caso de que as notas do corrector e do supervisor sexan discordantes, esa proba pasa a unha terceira corrección na figura do revisor, que tamén descoñece a puntuación outorgada á proba polos anteriores corrector e supervisor. — Un membro da Comisión Central Avaliadora: no caso de reclamación por parte do candidato, que en última instancia será quen decide se a proba é apta ou non apta. Os datos empregados no presente traballo son propiedade da SXPL e foron xenerosamente cedidos para seren analizados e permitir unha optimización e mellora do sistema de certificación Celga. PROBA ORAL Logo de realizar a proba escrita, os candidatos deberán demostrar a súa competencia comunicativa en galego na proba oral. Para isto, a partir dun input que pode ser unha comprensión oral ou unha comprensión escrita, deberán realizar unha entrevista na que estarán presentes o examinador e o avaliador e que será rexistrada para conservar a evidencia da actuación. O examinador levará o peso da entrevista co candidato, mentres o avaliador, sen participar na conversa, tomará nota da actuación do candidato para despois cubrir as grellas de avaliación coa puntuación que considere oportuna.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 147 Cando remata a entrevista e sen mediar palabra co avaliador, o entrevistador tamén cubrirá as grellas de avaliación e outorgaralle ao candidato a puntuación que considere axeitada. Unha vez cubertas as grellas por parte do avaliador e do examinador, exporán se consideran o candidato apto ou non, sen detallar a puntuación que cada un lle asignou aos parámetros de avaliación; en caso de non chegar a un acordo, deberán debater e, de non poñerse de acordo, anotarán na grella como incidencia a imposibilidade de chegar a un acordo na aptitude ou non do candidato, de tal xeito que pasaría a ser avaliado por un superviso. 3.2.5. Análises estatísticas Para analizar os resultados dos candidatos nas probas do Celga nas convocatorias do ano 2009 e 2010, utilizáronse complementariamente diferente tipos de técnicas. Para comprobar a fiabilidade do instrumento de avaliación do Celga, empregouse a proba Alpha de Crobach e así obter o coeficiente de consistencia, e para analizar a fiabilidade interxuíces escolleuse o coeficiente de kappa complementado co estatístico de correlación de Pearson. No estudo da validez de construto da proba aplicouse unha análise de compoñentes principais con rotación varimax, acompañado das probas de Kaiser-Meyer-Olkin e de Barlett que indican se se cumpren os requisitos para aplicar esta proba. Para afondar na relación entre as variables clasificatorias recollidas (nivel de Celga, nivel de estudos, idade, sexo…) e os resultados obtidos polos candidatos no Celga na proba oral e na proba escrita (apto/non apto), realizáronse contrastes de tipo non paramétrico que permiten establecer o nivel de significatividade das relacións.
Margarita Chamorro Díaz 148 Escolleuse entre as probas non paramétricas dispoñibles a do coeficiente de incerteza, técnica fundamentada na redución da proporción de erro que se amosa máis robusta ca outras técnicas como a lamba, xa que reduce a posibilidade de realizar prognósticos erróneos ao considerar non só as posibilidades de que os casos pertenzan á categoría máis probable senón a todas as categorías dispoñibles. Tamén se utilizou a proba Anova One Way con contrastes a posteriori Tukey b para analizar a relación de determinadas variables clasificatorias sobre os criterios de corrección e avaliación das probas de competencia comunicativa escrita e oral. Os datos foron exportados dunha base Excel a unha matriz de datos de SPSS para a súa posterior recodificación e análise. 3.2.6. Resultados segundo o perfil sociodemográfico dos candidatos ao Celga A continuación expóñense as características xerais dos candidatos ao Celga durante os anos 2009 e 2010. Para iso iremos analizando variables sociodemográficas tales como a idade, o sexo, o nivel de estudos, o lugar de nacemento e o lugar de residencia dos candidatos –datos recollidos o día da proba e concedida a autorización á SXPL para facer uso deles con fins de mellora no sistema Celga–. 3.2.6.1. Segundo a idade Unha das variables que caracterizan os datos sociais dos candidatos ao Celga é a idade. A continuación preséntase a distribución porcentual dos participantes nas probas para o obtención do Celga nos anos 2009 e 2010 por tramos de idade. Cómpre sinalar que soamente se obtiveron as idades de 2487 persoas, é dicir, o 55,6 % da mostra, polo tanto, este dato débese ter en conta con certa precaución. Despois de obter as súas idades, agrupáronse estas en cinco tramos,
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 149 situados desde menos de 30 anos ata máis de 60 anos. Ao realizar as análises descritivas directas, obtivemos que a mediana é de 41 anos –o participante de menor idade tiña 17 anos e o de maior 76–, mentres a media é 46 anos (Figura 31). Figura 31. Distribución dos candidatos por idade Como podemos observar na Figura 32, na que se recollen as distribucións dos participantes por idade e ano de convocatoria, no ano 2009 preséntase en cada un dos tramos de idade unha proporción maior ca na convocatoria do ano 2010, aínda que as diferenzas non son moi relevantes, pois non superan máis de tres puntos por tramo de idade.
Margarita Chamorro Díaz 150 Figura 32. Distribución dos candidatos por idade e ano de convocatoria Pódese observar na Figura 33 como nas quendas de maio e decembro o número de candidatos é case igual e a diferenza por tramos de idade é pouco relevante. En casos como o dos candidatos cunha idade entre 40 e 50 anos presentan unhas porcentaxes do 35,1 % no mes de maio fronte ao 35,3 % do mes de decembro, isto é, que a poboación candidata ao Celga é moi similar e non varía dunha convocatoria a outra. Figura 33. Distribución dos candidatos por idade e convocatoria
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 151 Como podemos observar na Figura 34, na que se plasma a distribución dos participantes segundo a idade e a proba á que se presentan, o tramo de idade que vai dos 40 aos 50 anos é o maioritario nos niveis de Celga 2, Celga 3 e Celga 4, mentres que no Celga 1 o tramo de idade no que se presentan máis candidatos é o que vai dos 30 aos 40 anos. Isto débese a que neste tramo de idade a maioría dos candidatos que se presentan de entre 30 e 40 anos non estiveron escolarizados en galego e adoitan ser estranxeiros e españois que se presentan a este nivel e que pretenden optar aos postos máis baixos da Administración galega (grupos C, D e E). Figura 34. Distribución dos candidatos por idade e proba á que se presentan Obsérvase que aqueles candidatos cunha idade entre 40 e 50 anos, que non estiveron escolarizados en galego e que maioritariamente son galegos, se presentan aos grupos Celga 2 e Celga 3. Este colectivo merecerá unha especial atención, xa que moitos deles non conseguirán a aptitude nas probas aínda que adoitan ser galegofalantes, cuestión que será analizada con máis detalle nas conclusións.
Margarita Chamorro Díaz 254 Byram, M. e Beacco, J. C. (2003). Guide for the development of language education policies in Europe, from languages diversity to plurilingual education. Council of Europa. Bordón, T. (2004). “Panorama histórico del desarrollo de algunas de las cuestiones fundamentales en la evaluación de segundas lenguas”. Carabela, 55, 5-29. Madrid. Brindley, G. (1994). “Task-centred assessment in language learning: the promise and the challenge”. En N. Bird et al. (eds.) (1994), Language and learning. Hong Kong: Hong Kong Education Department. Brown, J. D. e Hudson,T. (1998). "The alternatives in language assessment". TESOL Quarterly, 32, 4, 653-675. Brown, J. D. (2002). An investigation of second language task-based performance assessments. Honolulu: University of Hawaii Press. Bygate, M. (ed.) (2001). Researching pedagogic tasks: second language learning, teaching and testing. New York: Pearson Education. Canale, M. e Swain, M. (1980). "Theoretical bases of communicative approaches to second language teaching and testing". Applied Linguistics, 1, 1, 1-47. Canale, M. (1983). “On some dimensions of language proficiency”. En Oller, J. W. (ed.) (1983), Issues in language testing research. Rowley: Newbury House. Carrol, B. (1991). "Resistance to change". En Ch. Alderson e B. North (eds.), Language testing in the 1990s, 22-27. Chalhoub-Deville, M. (1996). "Performance assessment and the components of the oral construct across different tests and rater groups". En M. Milanovic e N. Saville (eds.), Performance testing, cognition and assessment (55-73). Cambridge: University of Cambridge, Local Examinations Syndicate e Cambridge University Press.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 255 Chalhoub-Deville, M. (2001). “Task-based assessments: characteristics and validity evidence”. En M. Bygate et al. (eds.) (2001). Researching pedagogic tasks: second language learning, teaching and testing. New York: Pearson Education. Cassany, D. (2007). “Del portfolio al e-PEL”, Carabela, 60 (El portfolio europeo de las lenguas (o PEL) y la enseñanza de lenguas extranjeras/segundas lenguas). Madrid: SGEL. Council of Europe (2001). Common european framework for languages: learning, teaching, assessment. Council of Europe (1989). Language learning for European citizenship (1989- 1996). Council of Europe (2003). Manual for relating examinations to the common European framework of reference for languages. Preliminary pilot version. Council of Europe (2001). Portfolio europeo das linguas. Davis, A. (1985). "Follow my leader: is that what language tests do?". En Y. P. Lee (ed.), New directions in language testing (3-13). Oxford: Pergamon. Davis, A. (1991). "Language testing in the 1990s". En Ch. Alderson e B. North (eds.), Language testing in the 1990s, 136-149. Ellis, R. (2003). Task-based language learning and teaching. Oxford: Oxford University Press. Figueras, N. (2008). “El MCER, más allá de la polémica”. MarcoELE, 7, 26- 36. Madrid. Fulcher, G. (1996). “Testing tasks: issues in task design and the oral group”. Language Testing, 13, 23-51. Huhta, A. (2008). “Asociaciones internacionales de evaluación y pruebas de lengua. ¿Qué son y qué hacen?”. MarcoELE, 7, 42-52. Madrid.
Margarita Chamorro Díaz 256 Huhta, A. (2007). “Diagnostic and formative assessment”. En Spolsky, B. e Hult, F. (eds.), Handbook of educational linguistics (469-482). Blackwell. Lado, R. ( 1961). Language testing: the construction and use of foreign language tests. Londres: Longman. Lee, Fok, Lord e Low (1985). New directions in language testing. Oxford: Pergamon. Lynch, B.; Hamp-Lyons, L. (1999). “Perspectives on research paradigms and validity: tales from the language testing research colloquium”. Language Testing, 8, 57-93. Melbourne. Long, M. H.; Norris, J. M. (2000). “Task-based language teaching and assessment”. En Bayram, M. (ed.) (2000), Encyclopedia of language teaching. Londres: Routledge. McNamara, T. (1996). Language testing. Oxford: Oxford University Press. McNamara, T. (1996). Measuring second language performance: a new era in language testing. New York: Longman. Parrondo, J. R. (2004). “Modelos, tipos y escalas de evaluación”. En Sánchez Lobato, J.; Santos Gargallo, I. (dirs.), Vademécum para la formación de profesores (967-982). Madrid: SGEL Ross. Púrpura, J. E. (1999). Modeling the relationship between test takers' reported cognitive and metacognitive strategy use and performance on language tests. Cambridge: University of Cambridge Local Examinations Syndicate e Cambridge University Press. Rea, P. (1985). "Language testing and the communicative language teaching curriculum". En Y. P. Lee (ed.), New directions in language testing (15- 32). Oxford: Pergamon. Rea, P. (1991). "What makes a grammar test communicative?". En Ch. Alderson e B. North (eds.), Language testing in the 1990s, 112-131.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 257 Skehan, P. (1991): "Progress in language testing: the 1990s". En Ch. Alderson e B. North (eds.), Language testing in the 1990s, 3-6. Slageter, P. (1979). Nivel umbral. Estrasburgo: Consello de Europa. Stevenson, P. (1985). "Pop validity and performance testing". En Y. P. Lee e outros (eds.), New directions in language testing (111-118). Oxford: Pergamon. Swain, M. (1985). "Large-scale communicative language testing: a case study". En Y.P. Lee (ed.), New directions in language testing (35-46). Oxford, Pergamon. Trim, J. (2007). Modern languages in the Council of Europe 1954-1997. Estrasburgo: Language Policy Division. Van Ek, J. A. e Trim, J. (1980). Threshold level English. Oxford: Pergamon. Van Ek, J. A. e Trim, J. (1991). Threshold level 1990 (edición revisada e corrixida). Cambridge: CUP. Xunta de Galicia. Presidencia. Secretaría Xeral de Política Lingüística (2005). Marco europeo común de referencia para as linguas: aprendizaxe, ensino, avaliación. Santiago de Compostela: Xunta de Galicia. Xunta de Galicia. Presidencia. Secretaría Xeral de Política Lingüística (2008). Glosario de termos para a avaliación de linguas. Santiago de Compostela: Xunta de Galicia. Wall, D. (1997). "Impact and washback in language testing". En C. Clapham e D. Corson (eds.), Encyclopaedia of language and education, 7 (Language Testing and Assessment). Dordrecht: Kluwer Academic. Weir, C. e Milanovic, M. (eds.) (2002). Innovation and continuity: revising the Cambridge Proficiency Examination. Cambridge: Cambridge University Press.
Margarita Chamorro Díaz 258 Wu, Y. (1998). "What do tests of listening comprehension test? A retrospection study of EFL test-takers performing a multiple-choice task". Language Testing, 15, 1, 21-44. Sitios web: ALTE: www.alte.org ALTE checklist: http://www.alte.org/quality_assurance/code/checklist.php Consello de Europa: http://www.coe.int/t/dg4/lingustic/Conference_EN.asp Dialang: http://www.dialang.org EALTA: http://www.ealta.eu.org EALTA: Código de boas prácticas: http://www.ealta.eu.org/documents/- archive/guidelines/Galician.pdf ILTA: http://iltaonline.com Manual para relacionar exámenes con los niveles del Marco común europeo de referencia: http://www.coe.int/T/DG4/Portfolio/documents/Overview.- doc Portfolio das linguas: http://www.culture2.coe.int/portfolio SURVEYLANG: http://www.surveylang.org/es/surveylang.html) Xunta de Galicia.Secretaría Xeral de Política Lingüística: www.xunta.es/- linguagalega
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 259 BIBLIOGRAFÍA CAPÍTULO 2 Alderson, C.; Clapham, C.; Wall, D. (1998). Exámenes de idiomas. Elaboración y evaluación. Cambridge: Cambrigde University Press. Candlin, C. (1990). Hacia la enseñanza del lenguaje basada en tareas. Comunicación, lenguaje y educación, 7-8. Council of Europe (2001). Common european framework for languages: learning, teaching, assessment. Estaire e Zanón (1990). El diseño de unidades didácticas en L2 mediante tareas: principios y desarrollo. Instituto Cervantes. Gysen, S. (2006). “Developing an introducting task-based language test”. En Taskbased language education: from theory to practice. Cambridge Appplied Linguistics Series. Hoz, C. Experiencias en el aula mediante tareas. Segundo encontro práctico de profesores de español en Alemaña. International House Barcelona- Editorial Difusión. http:// www.encuentro-practico.com. Juan Lázaro, O. (1999). “La enseñanza mediante tareas”. Actas do XXXIII Congreso Internacional da Asociación Europea de Profesores de Español. Soria. Long, M. (1990). Studies in second language acquisition. Cambridge Univ Press. Marín Peris, M. (2001). “¿Qué significa trabajar en clase con tareas comunicativas?”. En Llengua i Ús, 21. Barcelona: Direcció General de Política Llingüística, Generalitat de Catalunya. Melero Abadía, P. (2004). “De los programas nocional-funcionales a la enseñanza comunicativa”. En Vademécum para la formación de profesores (2004) (689-714). Madrid: SGEL.
Margarita Chamorro Díaz 260 Monteagudo, H.; Bouzada, X. M. (coords.) (2002). O proceso de normalización do idioma galego (1980-2000). Volume I. Política Lingüística: análise e perspectivas. Santiago de Compostela: Consello da Cultura Galega. Nunan, D. (1996). El diseño de tareas para la clase comunicativa. Madrid: Cambridge University Press. Richards, J. C. e Rodgers, T. S. (1998, 2.ª ed. 2001). Enfoques y métodos en la enseñanza de idiomas, Madrid: Cambridge University Press. Sánchez Pérez, A. (2004). “Metodología: conceptos y fundamentos”. En Vademécum para la formación de profesores (2004) (665-688). Madrid: SGEL. Van den Branden, K. (ed.) (2006). Taskbased language education: from theory to practice. Cambridge Appplied Linguistics Series. Xunta de Galicia. Presidencia. Secretaría Xeral de Política Lingüística (2005). Marco europeo común de referencia para as linguas: aprendizaxe, ensino, avaliación. Santiago de Compostela: Xunta de Galicia. Xunta de Galicia. Presidencia. Secretaría Xeral de Política Lingüística (2006). Niveis de competencia en lingua galega. Santiago de Compostela: Xunta de Galicia. Xunta de Galicia. Presidencia. Secretaría Xeral de Política Lingüística (2006). Plan xeral de normalización da lingua galega. Santiago de Compostela: Xunta de Galicia. Zanón, J. (1990). “Los enfoques por tareas para la enseñanza de las lenguas extranjeras”. Cable, 5. Zanón, J. (coord.) (1999). La enseñanza del español mediante tareas (53-57). Madrid, Edinumem.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 261 BIBLIOGRAFÍA CAPÍTULO 3 Alderson, C.; Clapham, C.; Wall, D. (1998). Exámenes de idiomas. Elaboración y evaluación. Cambridge: Cambrigde University Press. ALTE (1994). The ALTE code of practics. Cambridge: ALTE. Bachman, L. F. (1990). Fundamental considerations in language testing (271- 272). Oxford: Oxford University Press. Casalmiglia, H. e Tusón, A. (2002). Las cosas del decir. Barcelona: Ariel Lingüística. DiStefano, C.; Zhu, M. e Mindrila, D. (2009). “Understanding and using factor scores: considerations for the aplied researcher”. Practical Assessment, Research & Evaluating, 14 (20). Dispoñible en liña: http://pareonline.net/getvn.asp?v=14&n=20 García, E.; Gil, J. e Rodríguez, G. (2000). Análisis factorial. Madrid: La Muralla. García, R. (2003). “La medida en educación: concepto e implicaciones en las actividades diagnósticas. En R. García (ed.), Técnicas e instrumentos de diagnóstico. Proyecto docente del departamento MIDE de la Universidad de Sevilla (131-211). Sevilla: Editorial IETE. Garrett, H. E. (1937). Statistics in psychology and education (2.ª ed.). Oxford: Longmans, Green. Hair, Jr.; Anderson, R.; Tatham, R. L. e Black, W. C. (1999). Análisis multivariante (5.ª ed.). Madrid: Prentice Hall. Henning, G. (1991). “ How valid is valid?”. Language Learning, 41 (Communicative writing profiles: an investigation of the transferability of a multiple-trait scoring instrument across ESL writing assessment contexts).
Margarita Chamorro Díaz 262 Kerlinguer, F. N. (1975). Investigación del comportamiento: técnicas y metodología. México: Nueva Editorial Interamericana. Loredo, X.; Fernández, A.; Suárez, I. (2005). “Análise da expresión escrita en galego e castelán ao final do ensino obrigatorio: resultados dun estudo realizado na comarca de Santiago de Compostela”. Cadernos de lingua, 27, 109–127. Martínez, R. (1996). Psicometría: teoría de los test psicológicos y educativos. Madrid: Síntesis. Pérez, C. (2004). Técnicas de análisis multivariante de datos. Madrid: Prentice Hall. Prieto, G. e Delgado, A. R. (2010). “Fiabilidad y validez”. Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos, 31 (1), 67-74. Real, J. E. (2001) Escalamiento multidimensional. Madrid: Muralla. Sánchez, P.; Aguilar de Armas, I.; Fuentelsaz, C.; Casbas, M.; Moreno, T. e Hidalgo, R. (2005). "Fiabilidad de los instrumentos de medición en ciencias de la salud." Enfermería Clínica, 15, 4 , 227-236. Silva, B.; Barros, R.; Lorenzo, M.; Loredo, X.; Núñez, X.; Núñez, M.; Sans, D.; Castro, A.; Dávila, S. (2010). Avaliación da competencia do alumnado de 4 o da ESO nos idiomas galego e castelán (216). Santiago de Compostela: Universidade de Santiago de Compostela, Investigación Educativa. Tabachnick, B. G. e Fidell, L. S. (1989). Using multivariate statistics. Nova York: Harper Collins. Valderrey, P. (2010). SPSS 17. Extracción del conocimiento a partir del análisis de datos. Paracuellos del Jarama: Rama. Van de Branden, K. (2006). Task–based language education.Form theory to practice. Cambridge: Cambrigde University Press.
Sistema de certificación de lingua galega (Celga) no Marco Común Europeo de Referencia para as Linguas. Estudo de fiabilidade e validez 263 BIBLIOGRAFÍA XERAL Bachman, L. F. e Palmer, A. S. (1996). Language testing in practice: designing and developing useful language tests. Oxford: Oxford University Press. Bachman, L. F. (2002). “Some reflections on task-based language performance assessment”. Language Testing 19, 453-476. Brindley, G. (1994). “Task-centred assessment in language learning: the promise and the challenge”. En N. Bird et al. (eds.) (1994), Language and learning. Hong Kong: Hong Kong Education Department. Brown, J. D. et al. (2002). An investigation of second language task-based performance assessments. Honolulu: University of Hawaii Press. Bygate, M. (ed.) (2001). Researching pedagogic tasks: second language learning, teaching and testing. New York: Pearson Education. Canale, M. (1983). “On some dimensions of language proficiency”. En Oller, J. W. (ed. 1983). Issues in language testing research. Rowley: Newbury House. Canale, M. e M. Swain (1980). “Theoretical basis of communicative approaches to second language teaching and testing”. Applied Linguistics, 1, 1-47. Canale, M. (1983). “From communicative competence to communicative language pedagogy”. En Richards, J. C. e Schmidt, R. (eds.), Languague and communication. Londres: Longman. Chalhoub-Deville, M. (2001). “Task-based assessments: characteristics and validity