Modelo do 3.º ciclo da avaliação externa das escolas

Mecanismos de Mudança nas Escolas e na Inspeção ISBN 978-989-755-841-2 9 7 8 9 8 9 7 5 5 8 4 1 2 EXTERNA DAS ESCOLAS AVALIAÇÃO [c o o r d ] Isabel Fialho José Saragoça Sónia Gomes Maria José Silvestre Ana Paula Correia AVALIAÇÃO EXTERNA DAS ESCOLAS ROSTO_AvalExternaEscolas_06_2023.indd 1ROSTO_AvalExternaEscolas_06_2023.indd 1 15/06/23 17:5915/06/23 17:59 AVALIAÇÃO EXTERNA DAS ESCOLAS. MECANISMOS DE MUDANÇA NAS ESCOLAS E NA INSPEÇÃO Coordenação: Isabel Fialho Conceção e Composição: Isabel Fialho | José Saragoça | Sónia Gomes Maria José Silvestre | Ana Paula Correia Revisão de texto: Maria José Silvestre e Sónia Gomes Capa: Sal Design Studio © EDIÇÕES HÚMUS, 2013 End. postal: Apartado 7081 – 4764 ‑908 Ribeirão, V. N. Famalicão Tel. 926 375 305 E ‑mail: [email protected] www.edicoeshumus.pt ISBN 978 ‑989 ‑755‑862‑7 Impressão: Papelmunde, SMG, Lda. – V. N. Famalicão 1ª edição: Junho de 2023 Depósito legal: 510570/23 Este trabalho é financiado por fundos nacionais através da FCT – Fundação para a Ciência e a Tecnologia, I.P., no âmbito do projeto PTDC/CED‑EDG/30410/2017, e dos projetos UIDB/01661/2020 e UIDP/01661/2020, através de fundos nacionais da FCT/MCTES-PT. ÍNDICE 7 Introdução Isabel Fialho | José Saragoça | Maria José Silvestre | Ana Paula Correia | Sónia Gomes CAPÍTULO 1 15 Modelo do 3º ciclo da Avaliação Externa das Escolas Isabel Fialho | José A. Pacheco | Joana Sousa CAPÍTULO 2 45 Perceções de atores políticos, inspetivos e avaliativos (inspetores e peritos externos) sobre a Avaliação Externa das Escolas como política, procedimento e experiência José A. Pacheco | Isabel Fialho | Carlos Barreira | Filipa Seabra CAPÍTULO 3 89 Satisfação, perceção de efeitos e mecanismos de mudança na sequência do 3º ciclo de Avaliação Externa das Escolas Carlos Barreira | Maria da Piedade Vaz Rebelo | Maria da Graça Bidarra | Filipa Seabra | Marta Abelha CAPÍTULO 4 117 O 3º Ciclo da Avaliação Externa das Escolas: olhares dos Inspetores José Saragoça | Isabel Fialho | Maria José Silvestre | Ana Paula Correia | Sónia Gomes ESTUDOS DE CASO 145 Metodologia da investigação Ana Mouraz | Susana Henriques CAPÍTULO 5 151 Mudanças da Avaliação Externa nas Escolas e na Inspeção. Estudos de caso José Carlos Morgado | Natália Costa | Eduarda Rodrigues | Ila Beatriz Maia | Sofia Rodrigues | Helena Queirós | Sandra Vieira | Amílcar Santos CAPÍTULO 6 199 Escolas em busca de melhoria: efeitos da Avaliação Externa das Escolas em agrupamentos de escolas na zona centro Carlos Barreira | Maria da Graça Bidarra | Maria Piedade Vaz Rebelo | Ana Mouraz CAPÍTULO 7 223 Perceções sobre o 3º ciclo da Avaliação Externa das Escolas: o olhar dos atores escolares Ana Paula Correia | Maria José Silvestre | Sónia Gomes | Susana Henriques CONCLUSÃO 253 Resultados globais do projeto de investigação José A. Pacheco 261 Autores CAPÍTULO 1 MODELO DO 3º CICLO DA AVALIAÇÃO EXTERNA DAS ESCOLAS Isabel Fialho | José A. Pacheco | Joana Sousa Resumo Perspetivando-se o início do 3º ciclo de Avaliação Externa das Escolas, a partir do ano letivo de 2017-2018, em outubro de 2016 foi nomeado o Grupo de Trabalho de Avaliação Externa das Escolas (GTAEE) com a missão de analisar os referenciais e metodologias do Programa de Avaliação Externa das Escolas em vigor e propor o modelo para o 3º ciclo da avaliação externa das escolas. Neste texto damos conta de todo o trabalho desenvolvido pelo GTAEE desde a sua constituição até à experiência-piloto do modelo que decorreu em oito escolas públicas e uma escola privada. O processo começou com a análise de diversos documentos nacionais e internacionais, incluindo normativos de política educativa, que conduziu a significativas alterações no referencial da AEE, designadamente no âmbito, objetivos e princípios – alargamento da AEE a estabelecimento de ensino particular e cooperativo –, metodologia – inclusão, no quadro de referência, do domínio da Autoavaliação e de novos indicadores e referentes; alargamento da equipa de avaliadores a mais um perito externo; introdução da observação da prática educativa e letiva; maior diversificação e flexibilização das agendas; alteração dos descritores da escala de classificação; utilização do Infoescolas como principal fonte de dados quantitativos; devolução das primeiras considerações sobre a avaliação, no painel da Direção; introdução de um painel de entrevista com membros representativos da comunidade educativa; estrutura do relatório; possibilidade de avaliação externa intercalar e a criação de instâncias mais alargadas de acompanhamento do processo e de recurso das decisões. A proposta do modelo foi testada numa experiência-piloto que permitiu a validação do modelo geral proposto para o 3º ciclo da avaliação externa das escolas, providenciando informação útil ao grupo de trabalho para consolidar Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 16 e aperfeiçoar a sua proposta, designadamente ao nível do referencial teórico-conceptual, conferindo uma maior centralidade aos processos de ensino-aprendizagem; dos referentes / indicadores, com a redução de aspetos redundantes ou secundários; da metodologia com a adequação às diferentes tipologias de escola e seus modos de organização; da informação documental com a sistematização dos indicadores a disponibilizar às equipas de avaliação; da escala de classificação com o aperfeiçoamento dos descritivos da escala; do relatório com orientações que garantam um modelo mais útil para os diferentes agentes das comunidades educativas. Introdução Em termos formais, o modelo do 3º ciclo da Avaliação Externa das Escolas começa com a criação do Grupo de Trabalho de Avaliação Externa das Escolas (GTAEE), pelo Despacho nº 13342/2016, de 31 de outubro, no pressuposto de que: o Programa de Avaliação Externa das Escolas, desenvolvido pela Inspeção-Geral da Educação e Ciência, no quadro da Lei nº 31/2002, de 20 de dezembro, permite, além de fomentar nas escolas uma cultura de autoavaliação, através de uma interpelação sistemática sobre a qualidade das suas práticas e dos seus resultados, contribuir para promover o progresso das aprendizagens e dos resultados dos alunos, identificando pontos fortes e áreas prioritárias para a melhoria do trabalho das escolas. Do resultado dos dois ciclos de implementação do Programa, para além do reconhecimento da qualidade do trabalho desenvolvido pela Inspeção-Geral da Educação e Ciência, as entidades avaliadas têm visto a Avaliação Externa das Escolas como um instrumento para a implementação de processos de melhoria e uma oportunidade para toda a comunidade se apropriar da realidade, refletindo sobre as causas de sucesso/insucesso e traduzindo-se num trabalho mais focalizado em torno das aprendizagens e dos resultados dos alunos.1 Ainda segundo o normativo – e perspetivando-se, assim, o início do 3º ciclo de Avaliação Externa das Escolas, a partir do ano letivo de 2017-2018, há que proceder à reflexão sobre o modelo que presidiu ao 2º ciclo e preparar a implementação do modelo que o substituirá – é determinado o seguinte: 1. Despacho nº 13342/2016, de 31 de outubro. Modelo do 3º ciclo da Avaliação Externa das Escolas 17 1 — É criado o Grupo de Trabalho de Avaliação Externa das Escolas, adiante abreviadamente designado por GTAEE, que tem a missão de analisar os referenciais e metodologias do Programa de Avaliação Externa das Escolas existente com vista a propor um modelo a utilizar na avaliação externa dos estabelecimentos de educação e ensino a partir do ano letivo de 2017-2018. 2 — Cabe em especial ao GTAEE: a) Analisar os diferentes estudos e pareceres sobre: i) A Avaliação Externa das Escolas, em geral; ii) O modelo utilizado no segundo ciclo de Avaliação Externa das Escolas. b) Definir: i) O âmbito dos estabelecimentos de educação e ensino a abranger na avaliação externa; ii) Os referentes e domínios de avaliação, as metodologias, a escala e nomenclatura de classificação, os intervenientes no processo, incluindo a constituição das equipas de avaliação e a periodicidade dos ciclos de avaliação. c) Apresentar uma proposta de regime jurídico da avaliação externa das escolas. 2 O GTAEE integra representantes do Ministério da Educação, do Conselho das Escolas, da Confederação Nacional de Educação e Formação e peritos (docentes do ensino superior), apresentados, de seguida por ordem alfabética: Helder Guerreiro (Inspeção-Geral da Educação e Ciência), Isabel Fialho (Universidade de Évora), João Oliveira Baptista (Direção-Geral de Estatísticas da Educação e Ciência), João Nunes (Inspeção-Geral da Educação e Ciência), Jorge Sarmento Morais (Gabinete do Secretário de Estado da Educação), José Augusto Pacheco (Universidade do Minho), José Eduardo Lemos (Conselho das Escolas), José Manuel Batista (Gabinete do Ministro da Educação – Coordenador), Pedro Rodrigues (Universidade de Lisboa), Rodrigo Queiroz e Melo (Confederação Nacional de Educação e Formação). No decorrer dos trabalhos, numa fase mais tardia, o Coordenador designado passou a ser Pedro Abrantes, mantendo-se inalterável a composição do GTAEE. O tempo limite para a apresentação do documento foi estabelecido até 30 de abril de 2017, embora na realidade tenha ficado concluído em finais de outubro de 2018, inviabilizando a implementação do 3º ciclo no ano letivo 2017/2018. 2. Idem. Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 18 A primeira reunião do GTAEE decorreu a 14 de dezembro de 2016 e a última a 12 de outubro de 2018, depois de ter sido elaborado o referencial do 3º ciclo e realizada uma avaliação-piloto, que originou algumas alterações, tendo sido homologado o documento pelo Ministro da Educação, em outubro de 2018, com a generalização do 3º ciclo às escolas no 2º trimestre do ano letivo 2018/2019. De seguida, são descritos os documentos consultados, o referencial, a experiência-piloto e o documento final. 1. Documentos consultados Foi sempre entendido que qualquer proposta para o 3º ciclo da Avaliação Externa das Escolas estaria na linha de continuidade 3 dos dois primeiros ciclos, para os quais também contribuíram grupos de trabalho, no primeiro, designado pelo Ministério da Educação e, no segundo, pela Inspeção-Geral da Educação e Ciência (IGEC). Desse modo, os dois principais documentos são precisamente os referenciais do 1º e do 2º ciclos da avaliação externa das escolas, ainda que, na sua elaboração, o do 2º ciclo represente mais uma visão da IGEC4 e não tanto a perspetiva mais ampla que seria assegurada pela constituição do GTAEE do 3º ciclo. Aliás, dos dez membros que o constituem, dois são da IGEC, três do Ministério da Educação, três de universidades e dois de Associações de Diretores e Professores, com a particularidade de um desses membros representar também o ensino privado. O XXI Governo Constitucional, vigente entre 26 de novembro de 2015 e 26 de outubro de 2019, introduz mudanças significativas ao nível das políticas educativas, mais norteadas pela inovação, inclusão e cidadania5 do que pelos resultados das aprendizagens. Vários diplomas são promulgados no 3. Cf. Guerreiro (2015). 4. Pelo Despacho nº 4150/2011, de 4 de março, o Grupo de Trabalho é constituído por oito elementos, 50% dos quais pertencentes à IGEC, sendo ainda de acrescentar um elemento que desempenhou as funções de Inspetor-Geral. Por sua vez, o Grupo de Trabalho do 1º ciclo é constituído por seis elementos, na sua maioria pertencentes a instituições de ensino superior (Despacho Conjunto nº 370/2006, de 3 de maio. Cf. Relatório final da atividade do Grupo de Trabalho para Avaliação das Escolas (2006). Lisboa: Ministério da Educação 5. Ver, entre outros, Pacheco e Sousa (2018). Modelo do 3º ciclo da Avaliação Externa das Escolas 25 esta proposta procurou equilibrar a continuidade com os ciclos anteriores, salvaguardando a estabilidade e consistência do processo, tendo em conta um património já adquirido e incorporado no sistema, com a introdução de algumas melhorias que tornem o processo mais eficaz, mais relevante e mais adequado face às próprias mudanças que têm marcado o sistema educativo e a sociedade, no geral. Assim, destacam-se como principais novidades, face ao ciclo anterior: - A inclusão das escolas profissionais e dos estabelecimentos do ensino particular ou cooperativo com contratos de associação/patrocínio ou com receitas maioritariamente provenientes de fonte pública, bem como outros que desejem ser objeto de avaliação externa, em função dos recursos disponíveis; - A composição de equipas de avaliação com quatro elementos, agregando ao modelo anterior um profissional com experiência na docência e coordenação ou direção de escolas, diversificando assim os olhares avaliativos, promovendo a partilha de práticas entre escolas e fortalecendo o reconhecimento da avaliação externa de escolas; - A revisão do referencial, através de um maior enfoque nos processos de ensino e de aprendizagem, enquanto cerne da atividade escolar, incluindo a capacidade das escolas para promoverem a equidade, a inclusão e o bem-estar de todas as crianças e jovens, consoante as suas necessidades. - A restituição de uma maior autonomia dos domínios, não ficando subsumidos aos resultados académicos, bem como a autonomização de um quarto domínio de análise dedicado às práticas de autoavaliação das escolas (depois de o mesmo ter sido retirado no 2º ciclo), enquanto modo de promover a avaliação das escolas como instrumento de desenvolvimento organizacional; - A introdução da observação da prática educativa e letiva enquanto um dos elementos da metodologia, permitindo enriquecer as entrevistas de grupo, em particular, através de um maior enfoque nos processos de ensino e aprendizagem; - O reforço das consequências da avaliação externa, com a revisão dos documentos de planeamento das escolas, sem a produção de um plano de melhoria adicional, bem como o eventual agendamento de um processo de acompanhamento e avaliação intercalar; - As orientações expressas para a produção de um relatório mais sintético, num tempo mais curto, mais mobilizador das comunidades educativas e que dê maior relevo a evidências de práticas, sendo estas descritas ao nível de cada referente; - A institucionalização de instâncias mais alargadas de acompanhamento do processo e de recurso das decisões. Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 26 Por seu lado, mantêm-se vários dos elementos que têm sido característicos dos ciclos anteriores, tais como: - O papel da Inspeção-Geral da Educação e Ciência no planeamento e organização da atividade; - A participação de inspetores e de peritos externos nas equipas de avaliação das escolas; - Os domínios de avaliação Resultados, Prestação do serviço educativo, Liderança e Gestão; - A metodologia da avaliação assente na análise documental prévia, na visita às escolas e na interpelação a um conjunto amplo e diversificado de agentes das comunidades educativas; - O carácter eminentemente qualitativo, formativo e globalizante da avaliação, não se focando no cumprimento de procedimentos formais, mas nas estratégias e práticas a diferentes níveis que promovam a melhoria contínua do trabalho das escolas; - A atribuição das classificações, segundo uma escala do Excelente ao Insuficiente, a cada um dos domínios em avaliação. 2.2. Âmbito, objetivos, princípios Se nos dois ciclos anteriores, o modelo foi implementado somente nas escolas públicas, o 3º ciclo é alargado aos estabelecimentos de ensino particular e cooperativo com contrato de associação ou de patrocínio cuja receita seja maioritariamente proveniente de fonte pública (e também, por opção, aos estabelecimentos de ensino particular e cooperativo não incluídos anteriormente, em função dos recursos disponíveis). Numa comparação entre os objetivos da avaliação externa de escolas definidos por lei24, os objetivos do 2º ciclo e os objetivos do 3º ciclo (Quadro 1), as alterações introduzidas não são significativas, existindo uma forte consonância entre os objetivos mais do 1º ciclo que do 2º ciclo, ainda que os objetivos dos três ciclos tenham como referência os objetivos do sistema de avaliação, definidos pelo artº 3º da Lei 31/2002, de 20 de dezembro. 24. Lei 31/2002, de 16 de dezembro, artº 5º. Modelo do 3º ciclo da Avaliação Externa das Escolas 27 Quadro 1. Objetivos da avaliação externa das escolas. Lei 31/2002 (Objetivos do sistema de avaliação, artº 3º): a) Promover a melhoria da qualidade do sistema educativo, da sua organização e dos seus níveis de eficiência e eficácia, apoiar a formulação e o desenvolvimento das políticas de educação e formação e assegurar a disponibilidade de informação de gestão daquele sistema; b) Dotar a administração educativa local, regional e nacional, e a sociedade em geral, de um quadro de informações sobre o funcionamento do sistema educativo, integrando e contextualizando a interpretação dos resultados da avaliação; c) Assegurar o sucesso educativo, promovendo uma cultura de qualidade, exigência e responsabilidade nas escolas; d) Permitir incentivar as ações e os processos de melhoria da qualidade, do funcionamento e dos resultados das escolas, através de intervenções públicas de reconhecimento e apoio a estas; e) Sensibilizar os vários membros da comunidade educativa para a participação ativa no processo educativo; f) Garantir a credibilidade do desempenho dos estabelecimentos de educação e de ensino. 1º Ciclo25 a) Fomentar nas escolas uma interpelação sistemática sobre a qualidade das suas práticas e dos seus resultados; b) Articular os contributos da avaliação externa com a cultura e os dispositivos de autoavaliação das escolas; c) Reforçar a capacidade das escolas para desenvolverem a sua autonomia; d) Concorrer para a regulação do funcionamento do sistema educativo; e) Contribuir para um melhor conhecimento das escolas e do serviço público de educação, fomentando a participação social na vida das escolas 2º Ciclo26 a) Promover o progresso das aprendizagens e dos resultados dos alunos, identificando pontos fortes e áreas prioritárias para a melhoria do trabalho das escolas; b) Incrementar a responsabilização a todos os níveis, validando as práticas de autoavaliação das escolas; c) Fomentar a participação na escola da comunidade educativa e da sociedade local, oferecendo um melhor conhecimento público da qualidade do trabalho das escolas; d) Contribuir para a regulação da educação, dotando os responsáveis pelas políticas educativas e pela administração das escolas de informação pertinente. 3º Ciclo27 a) Promover a qualidade do ensino, das aprendizagens e a inclusão de todas as crianças e todos os alunos; b) Identificar os pontos fortes e áreas prioritárias, com vista à melhoria do planeamento, gestão e ação educativa das escolas; c) Aferir a efetividade das práticas de autoavaliação das escolas; d) Promover uma cultura de participação da comunidade educativa; e) Contribuir para um melhor conhecimento público da qualidade do trabalho das escolas; f) Produzir informação para apoiar a tomada de decisão, no âmbito do desenvolvimento das políticas educativas. Fonte: Elaboração dos autores. 25. Os objetivos constam não do referencial, mas do Folheto de divulgação da avaliação externa das escolas, https://www.igec.mec.pt/upload/AEE_2011/AEE_2010_11_Folheto.pdf Cf. De igual modo, IGEC (2009). 26. Cf. IGEC (2012). 27. https://www.igec.mec.pt/upload/AEE3_2018/AEE_3_Amb_princ_objetivos.pdf Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 28 Pela primeira vez, já que não existem nos dois primeiros ciclos de avaliação externa, os princípios constantes do referencial do 3º ciclo constituem uma base de orientação para realização da avaliação externa das escolas, assim identificados:28 a. Universalidade, avaliação de todas as tipologias de estabelecimentos de educação e ensino não superior; b. Flexibilidade, adaptação à diversidade de estabelecimentos de educação e ensino não superior; c. Respeito pela autonomia e projeto educativo de cada escola; d. Utilidade, contribuindo para a melhoria da prestação do serviço educativo pelas escolas e das aprendizagens das crianças e dos alunos, dos resultados escolares e do sistema educativo; e. Complementaridade entre avaliação interna e avaliação externa, fomento da autoavaliação como estratégia de desenvolvimento organizacional, curricular e pedagógico das escolas; f. Sustentabilidade, melhoria e consolidação dos anteriores processos de avaliação externa das escolas; g. Envolvimento e participação da comunidade educativa, reforço da confiança e cooperação dos atores do sistema educativo; h. Promoção da supervisão das práticas pedagógicas, nomeadamente em sala de aula e de atividades pelas escolas; i. Rigor técnico, baseando a avaliação em evidências concretas, entre as quais os dados estatísticos sobre as escolas fornecidos pelo Ministério da Educação; j. Transparência, publicitação do processo, instrumentos e resultados; k. Independência. 2.3. Metodologia A metodologia do 3º ciclo segue, em parte, a estrutura do 1º e do 2º ciclos da avaliação externa das escolas, embora com várias alterações significativas, nomeadamente: introdução de mais um avaliador externo, não pertencente à IGEC; preenchimento online dos questionários pelos alunos, professores, pessoal não docente e encarregados de educação; implementação da 28. Abrantes et al. (2018, p. 16). Modelo do 3º ciclo da Avaliação Externa das Escolas 29 observação da prática educativa e letiva (OPEL), sem recurso a uma grelha formal; maior flexibilidade no número de dias de visita à escola (de quatro a seis dias), em função do número de unidades educativas e níveis de educação e ensino; alteração do conteúdo dos descritores da escala de classificação; definição de um ciclo de avaliação das escolas (5 anos) com possibilidade de uma avaliação intercalar, em determinadas situações; conteúdo e dimensão do relatório de avaliação; proposta de criação de uma comissão de recurso. O documento29 estabelece um conjunto de orientações para a operacionalização do 3º ciclo da Avaliação Externa das Escolas , sobre a metodologia a seguir antes, durante e depois da intervenção (visita) na escola/agrupamento; a constituição da equipa de avaliação; a aplicação dos questionários; a observação da prática educativa e letiva; a duração da visita; a sessão de apresentação na escola, da responsabilidade do/a Diretor(a); as entrevistas de grupo; a escala de classificação; a periodicidade da avaliação e a duração do ciclo; a elaboração do relatório; e a proposta de criação de uma comissão de recurso. Estas orientações estão transcritas a seguir com ligeiras alterações na ordem com que são apresentadas no documento. De acordo com o documento, a metodologia de trabalho da avaliação externa assenta fundamentalmente em: - Análise documental de: ◦ Documento de apresentação da escola e documentos orientadores da mesma, por exemplo, projeto educativo, plano anual ou plurianual de atividades, regulamento interno, relatório de autoavaliação, plano(s) de melhoria, bem como outros documentos estruturantes, no âmbito da autonomia organizativa, curricular e pedagógica da escola que esta considere pertinente; ◦ Amostras, a solicitar, quando pertinente, pela equipa de avaliação externa, de documentos relacionados com a gestão e desenvolvimento do currículo, nomeadamente ligados à planificação de aulas e atividades e à avaliação. - Aplicação de questionários de satisfação (a alunos, pais e encarregados de educação, docentes e não docentes); - Análise de informação estatística relativa à escola, aos resultados escolares e aos resultados sociais; 29. Abrantes et al. (2018, pp. 31-37). Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 30 - Observação direta (nomeadamente instalações e equipamentos, prática educa - tiva e letiva, ambientes educativos e contactos com diferentes intervenientes do processo educativo); - Entrevistas de grupo (membros representativos da comunidade educativa). A avaliação externa de uma escola ou agrupamento de escolas organiza-se nas seguintes três fases que, no total, não devem exceder os três meses de duração; - 1ª fase: Preparação – Análise prévia da informação (incluindo a recolha documental, a aplicação dos questionários nas escolas e, eventualmente, a observação da prática educativa e letiva) e planeamento da visita, por parte dos avaliadores, em articulação com o/a Diretor da escola ou agrupamento ou com quem nomeie para o efeito; - 2ª fase: Interpelação – Visita intensiva à escola ou agrupamento, incluindo sessão de apresentação, observação direta, entrevistas de grupo e sessão final de balanço com o/a Diretor(a) e a sua equipa, bem como tempos intercalares para reflexão e articulação entre avaliadores; - 3ª fase: Análise – produção do relatório por parte da equipa, disponibilização da versão preliminar às escolas e eventual contraditório, disponibilização da versão final do relatório e do contraditório. A equipa de avaliação é constituída por quatro avaliadores, sendo dois inspetores da educação, um professor/investigador do ensino superior e uma personalidade com experiência de trabalho em funções de docência e coordenação ou direção em escolas, sendo escolhidos de acordo com a tipologia de escola a avaliar e o seu currículo. A equipa de avaliação é designada pela Inspeção-Geral da Educação e Ciência (IGEC), sendo os elementos externos à IGEC selecionados de uma bolsa de avaliadores. A coordenação da equipa de avaliação deverá ser confiada a um dos elementos da IGEC. Nos casos de escolas não agrupadas, com menos de 500 alunos ou apenas um nível de ensino, as equipas podem ser formadas apenas por dois elementos, sendo um inspetor e um elemento externo à IGEC, com um dos perfis definidos anteriormente. A análise documental prévia deve basear-se em: - relatórios de avaliação externa dos ciclos anteriores; - nos dados sobre a escola ou agrupamento disponíveis no portal Infoescolas; - outros dados estatísticos de caracterização da escola ou do agrupamento, enviados anualmente pela DGEEC às respetivas escolas (disponibilizados de forma agregada e também para cada uma das escolas); Modelo do 3º ciclo da Avaliação Externa das Escolas 31 - apresentação da escola ou agrupamento, providenciada pelo/a Diretor(a) e que deve seguir uma estrutura semelhante à da avaliação externa das escolas; - documentos oficiais da escola ou agrupamento disponibilizados no site. Os questionários aplicados aos alunos, aos docentes, ao pessoal não docente e aos encarregados de educação devem ser coerentes com o referencial teórico-conceptual, incluindo questões relativas aos quatro domínios. Estes questionários são de aplicação online, comprometendo-se as escolas a disponibilizar um código criado pela coordenação da AVALIAÇÃO EXTERNA DAS ESCOLAS a cada elemento da comunidade educativa e a providenciar espaços-tempos para que os agentes, que não dispõem de meios tecnológicos, possam fazer o seu preenchimento. O período de aplicação deve ser entre 30 e 15 dias antes da visita, de modo que os dados possam ser analisados no período prévio. A observação da prática educativa e letiva pode ter lugar no período prévio ou ao longo da visita principal, num conjunto de grupos/turmas dos diferentes níveis de educação e ensino, definido pela equipa de avaliação externa, a partir do universo de horários dos grupos e turmas remetidos pela escola/ agrupamento e comunicado à escola com 2-3 dias de antecedência. A observação incide, preferencialmente, na interação pedagógica, nas competências trabalhadas e na inclusão de todos os alunos. Estas observações têm como finalidade enriquecer a interpelação dos grupos de entrevistados e contribuir para a recolha de evidências, em triangulação com as restantes fontes de informação. Na observação da prática educativa e letiva, cada avaliador deverá observar diferentes grupos/turmas. A duração da visita é, em regra, de dois a quatro dias, em função da dimensão da unidade orgânica, da sua diversidade interna e dos resultados da análise prévia. As agendas são acordadas entre a equipa de avaliação e o/a Diretor(a) das escolas ou agrupamentos (ou com quem nomeie para esse efeito) nos dias anteriores à visita. Poderão ocorrer momentos paralelos de visita e de entrevistas de grupo, no sentido de ampliar a recolha da informação, nas equipas de quatro elementos, por exemplo, formando-se dois subgrupos, em ambos os casos, compostos por um inspetor e um perito externo. As agendas propostas encontram-se em anexo ao relatório, podendo as equipas de avaliação externa adotar variações para se adaptar às configurações e calendários das próprias escolas. Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 32 A sessão de apresentação da escola, feita pelo(a) diretor(a) perante as entidades suas convidadas e a equipa de avaliação externa, marca o início dos trabalhos na escola. O documento de apresentação (até 30000 caracteres, incluindo espaços) deve abordar explicitamente cada um dos domínios e campos de análise da avaliação externa (ver Quadro de Referência) e referir os resultados de anteriores avaliações externas e medidas consequentes tomadas pela escola. Deve igualmente basear-se, sempre que existam, em resultados e impactos da autoavaliação. No entanto, a escola não tem de se circunscrever a esses aspetos, podendo incluir adicionalmente outros que considere relevantes para a melhor compreensão da sua atividade. A entrevista de grupo é usada pela equipa de avaliação externa para interpelar a comunidade educativa e para recolher informação. Os participantes em cada grupo de entrevistados são designados segundo as regras consignadas nas agendas de trabalho. A condução de cada entrevista é planeada pela equipa de avaliação. Na entrevista com o/a Diretor(a) e a sua equipa, no final da visita, a equipa dá um primeiro feedback sobre a avaliação realizada. Será disponibilizada uma plataforma informática,30 na qual cada um dos avaliadores poderá registar as evidências recolhidas por campo de análise e as classificações propostas para cada domínio, bem como consultar a informação carregada pelos seus colegas (sem uma obrigatoriedade de ser exaustivo ou preencher todos os campos). Esta plataforma tem como finalidade agilizar e tornar mais transparente o trabalho dos avaliadores. Além dos próprios elementos da equipa de avaliação, os dados recolhidos pelos avaliadores serão confidenciais e apenas deverão ser disponibilizados para efeitos de análise, no âmbito de um processo global e devidamente formalizado ou em instância de recurso. A avaliação qualitativa é realizada por campo de análise, sendo depois atribuída uma classificação por cada domínio, de acordo com a seguinte escala: - Excelente: predomínio de pontos fortes em todos os campos de análise, incluindo práticas inovadoras e resultados notáveis. Não existem áreas que carecem de melhorias significativas. Tanto as práticas inovadoras como os resultados notá - veis são generalizados e sustentados. 30. Esta plataforma foi construída para ser testada na experiência-piloto do modelo. Modelo do 3º ciclo da Avaliação Externa das Escolas 33 - Muito Bom: predomínio de pontos fortes em todos os campos de análise, incluindo boas práticas e resultados notáveis. Tanto as boas práticas como os resultados notáveis são generalizados. - Bom: os pontos fortes sobrepõem-se significativamente aos pontos fracos, na maioria dos campos de análise. Os resultados são positivos na maioria dos indicadores, mas existem ainda áreas significativas de melhoria. -Suficiente: os pontos fortes sobrepõem-se aos pontos fracos, na maioria dos campos de análise, mas a ação ainda não é generalizada, nem sustentada. Os resultados são positivos na maioria dos indicadores, mas existem ainda lacunas importantes e a melhoria nos últimos anos não é evidente. - Insuficiente: os pontos fracos sobrepõem-se aos pontos fortes ou existem áreas importantes que carecem de melhorias urgentes. Os resultados são globalmente negativos e não revelam uma tendência de melhoria consistente. A periodicidade de avaliação de cada escola, em sede do ciclo regular de avaliação, é de uma vez em cada cinco anos. Pode existir uma avaliação intercalar focada em alguns domínios, por proposta da equipa de avaliação ou da escola, na sequência de ações de melhoria ou processos inovadores implementados. Podem existir, também, avaliações intercalares em caso de deterioração do serviço educativo prestado ou de resultados insuficientes. Nas avaliações intercalares, a equipa de avaliação externa poderá ser acompanhada, no todo ou em parte da intervenção, por outros especialistas. O relatório de avaliação regular é composto pelas evidências e juízos avaliativos acordada entre os membros da equipa de avaliação, tendo como principal objetivo informar e apoiar as comunidades educativas e a administração. Neste sentido, o conteúdo deste relatório deve ser compreensível para um leitor não especializado e ser considerado na conceção e implementação de ações de melhoria a integrar nos documentos de planeamento da escola. O layout do modelo de relatório deverá ser produzido por uma equipa de comunicação. A estrutura do relatório deverá incluir: - uma foto (de capa) e um quadro inicial de caracterização da escola; - as evidências sobre cada um dos campos de análise que suportam a classificação atribuída ao domínio (um parágrafo, 5-10 linhas, por campo de análise); - tabelas, gráficos ou “caixas de texto” que permitam aprofundar o conhecimento sobre estruturas e dinâmicas específicas da escola; Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 34 - um quadro-resumo das classificações, pontes fortes, áreas de melhoria e sugestão de próxima avaliação; - observações finais (facultativo); - um anexo uniforme com o enquadramento do processo de avaliação externa das escolas – 3º ciclo. A primeira versão do relatório deve ser disponibilizada ao/à Diretor(a) da escola ou agrupamento, até 30 dias úteis após a visita, dispondo a escola de 15 dias úteis para a apresentação à IGEC de um contraditório. A equipa avaliativa deverá analisar o contraditório e alterar ou não o relatório no prazo de 15 dias úteis, decorridos os quais envia a versão definitiva para a escola. A escola dispõe então de 10 dias úteis para apresentar um recurso. Caso não o faça, o relatório torna-se definitivo e a IGEC deverá torná-lo público e, caso a escola assim o entenda, também o contraditório. O relatório de avaliação intercalar inclui: motivo da avaliação, quadro resumo das classificações e pontos a salientar nos domínios objeto da avaliação, evidências, pontos fortes e áreas de melhoria nos domínios objeto da avaliação e conclusão. Os relatórios de avaliação são públicos, estando disponíveis nas páginas web da escola e da IGEC. Quando a avaliação intercalar tiver sido determinada por insuficiências ou deterioração do serviço educativo prestado e se verificar que estas se mantêm: - o relatório é enviado ao Conselho Geral / Entidade titular do estabelecimento de ensino que deverá pronunciar-se sobre o mesmo no prazo de 30 dias; - a IGEC indicará um inspetor da educação ou perito externo que acompanhará o/a Diretor(a) da escola durante o prazo de 6 meses após o que, caso conclua que a liderança da escola não demonstra competência para combater as insuficiências ou deterioração da prestação do serviço educativo, dará conhecimento ao Conselho Geral ou entidade titular do estabelecimento de ensino para os devidos efeitos, bem como ao membro do governo responsável pela área de educação. Propõe-se, ainda, que seja nomeada uma comissão de recurso, com cinco elementos, incluindo um especialista académico, duas pessoas indicadas pelas escolas públicas e privadas e dois dirigentes de diferentes serviços da administração educativa. A decisão da comissão de recurso pode não dar razão ao recurso ou, dando razão total ou parcial, proceder às alterações necessárias ao relatório ou recomendar uma nova avaliação. O relatório resultante da decisão da comissão é Modelo do 3º ciclo da Avaliação Externa das Escolas 41 da publicação do Ministério da Educação, homologado ministerialmente em fevereiro de 2019. Nesse processo, houve a retificação de campos de análise, de referentes e de indicadores, em linha com as políticas educativas e longe do valor esperado, que fora uma das principais marcas do 2º ciclo, evitando-se a sobreposição de indicadores. A observação da prática educativa e letiva manteve-se, mas somente como procedimento de levantamento de dados para questionamento nos painéis, sem a utilização formal de uma grelha, tal como se mantiveram a sequência e articulação dos domínios, entendendo-se a autoavaliação como centralidade do modelo e de uma avaliação orientada para o sucesso das crianças e dos jovens. Várias alterações foram ainda realizadas na metodologia, com a criação de um novo painel de entrevistados, a decidir por cada equipa de avaliação externa ao nível da participação dos possíveis elementos, e com o fornecimento formal de um feedback à direção da escola, no último dia da visita. Ou seja, o essencial do modelo manteve-se desde a avaliação das primeiras nove escolas, com a mudança a acontecer, essencialmente, em aspetos processuais da sua implementação pela IGEC. Apenas no início do ano letivo 2019/2020 foi iniciado o 3º ciclo da avaliação externa, num número reduzido de escolas, e com a publicação, na página web da IGEC, de um referencial sem qualquer alusão quer ao quadro teórico- -conceptual, quer à explicitação descritiva dos quatro domínios. O modelo do 3º ciclo da Avaliação Externa das Escolas resultou de um processo longo fundado num debate alargado a diversos stakeholders, que reconhece a autonomia da escola, a sua capacidade de reflexão, de iniciativa, de inovação e de mobilização para aperfeiçoar as suas práticas pedagógicas, curriculares e organizacionais. Referências ABRANTES, P., Guerreiro, H., Fialho, I, Baptista, J. O., Nunes, J., Morais, J. S., Pacheco, J. A., Lemos, J. E., Rodrigues, P., & Queiroz e Melo, R. (2018). Avaliação Externa das Escolas: Proposta de modelo para o 3º ciclo de avaliação. Ministério da Educação. AZEVEDO, J. M. (2015). Notas para o terceiro ciclo de avaliação. In CNE (Ed.), Avaliação externa das escolas (pp.230-238). Conselho Nacional de Educação. CAPELA, L. (2015). O futuro do modelo de avaliação externa das escolas. In CNE (Ed.), Avaliação externa das escolas (pp.253-256). Conselho Nacional de Educação. Avaliação Externa das Escolas. Mecanismos de Mudança nas Escolas e na Inspeção 42 DECRETO-LEI Nº 54/2018, de 6 de julho. Diário da República nº 129/2018, Série I. Presidência do Conselho de ministros, Lisboa. DECRETO-LEI Nº 55/2018, de 6 de julho. Diário da República nº 129/2018, Série I. Presidência do Conselho de ministros, Lisboa. DESPACHO Nº 4150/2011, de 4 de março. Diário da República nº 45/2011, Série II. Ministérios das Finanças e da Administração Pública e da Educação, Lisboa. DESPACHO Nº 13342/2016, de 31 de outubro. Diário da República nº 215/2016, Série II. Ministério da Educação, Lisboa. DESPACHO Nº 3721/2017, de 3 de maio. Diário da República nº 85/2017, Série II. Ministério da Educação, Lisboa. DESPACHO Nº 5908/2017, de 5 de julho. Diário da República nº 128/2017, Série II. Ministério da Educação, Lisboa. DESPACHO Nº 6478/2017, de 26 de julho. Diário da República nº 143/2017, Série II. Ministério da Educação, Lisboa. DESPACHO Nº 6944-A/2018, de 19 de julho. Diário da República nº 138/2018, 1º Suplemento, Série II. Ministério da Educação, Lisboa. DESPACHO Nº 8476-A/2018, de 31 de agosto. Diário da República nº 168/2018, 2º Suplemento, Série II. Ministério da Educação, Lisboa. DESPACHO CONJUNTO Nº 370/2006, de 3 de maio. Diário da República – 2ª Série, nº 85. Ministério da Educação; Ministério das Finanças e da Administração Pública, Lisboa. GUERREIRO, H. L. (2015). A avaliação externa de escolas em Portugal. Da sustentabilidade no presente aos desafios no futuro. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 13(4), 131-147. GRUPO DE TRABALHO DE AVALIAÇÃO EXTERNA DAS ESCOLAS (GTAEE). (2018). A experiênciapiloto do 3º ciclo de Avaliação Externa das Escolas: Metodologia e principais resultados. S/l. INSPEÇÃO-GERAL DA EDUCAÇÃO (IGE). (2009). Avaliação externa das escolas: Referentes e instrumentos de Trabalho. https://www.igec.mec.pt/upload/AVALIAÇÃO EXTERNA DAS ESCOLAS _2010/AVALIAÇÃO EXTERNA DAS ESCOLAS _Referentes.pdf INSPEÇÃO-GERAL DA EDUCAÇÃO (IGE). (2010). Folheto de divulgação da avaliação externa das escolas. https://www.igec.mec.pt/upload/AVALIAÇÃO EXTERNA DAS ESCOLAS _2011/ AVALIAÇÃO EXTERNA DAS ESCOLAS _2010_11_Folheto.pdf INSPEÇÃO-GERAL DA EDUCAÇÃO E CIÊNCIA (IGEC). (2012). Quadro de referência para a avaliação externa das escolas. https://www.igec.mec.pt/upload/AVALIAÇÃO EXTERNA DAS ESCOLAS _2016-2017/AVALIAÇÃO EXTERNA DAS ESCOLAS _16_17_(1)_Quadro_de_Referencia.pdf INSPEÇÃO-GERAL DA EDUCAÇÃO E CIÊNCIA (IGEC). (2015). Despacho 13/IGEC/2015, de 1 de junho. INSPEÇÃO-GERAL DA EDUCAÇÃO E CIÊNCIA (IGEC). (2016). Avaliação Externa das Escolas (Memorando I/00990/SC/16). Modelo do 3º ciclo da Avaliação Externa das Escolas 43 LEI 31/2002, 16 de dezembro. Diário da República nº 294/2002, Série I-A. Assembleia da República. MARTINS, G. O. (Coord.). (2017). Perfil dos alunos à saída da escolaridade obrigatória. Ministério da Educação, Direção-Geral da Educação. https://www.dge.mec.pt/sites/ default/files/Curriculo/Projeto_Autonomia_e_Flexibilidade/perfil_dos_alunos.pdf OCDE. (2018). The future of education and skills, Education, 2030. OECD Publishing http://www. oecd.org/education/2030/ OECD. (2013). Synergies for better learning: an international perspective on evaluation and assessment. OECD Publishing. http://dx.doi.org/10.1787/9789264190658-10-en OLIVEIRA, P. G. (Coord.), Clímaco, M C., Carravilla, M. A., Sarrico, C., Azevedo, J. M., & Oliveira, J. F. (2006). Relatório final da atividade do Grupo de Trabalho para Avaliação das Escolas. Lisboa: Ministério da Educação. https://www.igec.mec.pt/upload/Relatorios/AVALIAÇÃO EXTERNA DAS ESCOLAS _06_RELATORIO_GT.pdf PACHECO, J. A., & Sousa, J. (2018). Políticas curriculares no período pós-LBSE (1996-2017) Ciclos de mudança na educação pré-escolar e nos ensinos básico e secundário. In J. A. Pacheco, M. C. Roldão, & M. T. Estrela (Org.), Estudos de currículo (pp. 129-176). Porto Editora. SANTIAGO, P., Donaldson, G. Looney, A., & Nusche, D. (2012). OECD reviews of evaluation and assessment in education: Portugal. OECD Publishing www.oecd.org/edu/evaluationpolicy