POSSIBILIDADES E LIMITES DA AVALIAÇÃO EXTERNA

DE ESCOLAS PARA A MELHORIA EDUCACIONAL CARLINDA LEITE | CIIE/FPCE.UP| carlinda@fpce.up.pt

Com colaboração de Marta Sampaio | msampaio@fpce.up.pt

A avaliação na sua relação com a melhoria: o discurso legal;

A avaliação na sua relação com a melhoria: o discurso académico;

A AEE e a melhoria – alguns dados do início de uma pesquisa empírica:

uma análise focada nas classificações de resultados, prestação do

serviço educativo, liderança e gestão;

uma interpretação dos resultados na relação com a melhoria;

oportunidades indiciadas na AEE transformadas em pontos fortes - o

que dizem os relatórios;

Limites e Possibilidades da AEE contribuir para a melhoria - o que dizem as

teses de doutoramento e de mestrado.

A AVALIAÇÃO DAS ESCOLAS E A MELHORIA EDUCACIONAL

NO DISCURSO LEGAL

Lei nº 31/2002

“O sistema de avaliação, enquanto instrumento central de definição das políticas educativas prossegue, de forma sistemática e permanente, os seguintes objetivos: a) Promover a melhoria da qualidade do sistema educativo, da sua organização e dos seus níveis de eficiência e eficácia, apoiar a formulação e o desenvolvimento das políticas de educação e formação e assegurar a disponibilidade de informação de gestão daquele sistema c) Assegurar o sucesso educativo, promovendo uma cultura de qualidade, exigência e responsabilidade nas escolas d) Permitir incentivar as ações e os processos de melhoria da qualidade, do funcionamento e resultados das escolas, através de intervenções públicas de reconhecimento e apoio a estas h) Promover uma cultura de melhoria continuada da organização, do funcionamento e dos

resultados do sistema educativo e dos projetos educativos”

Despacho Conjunto n.º 370/2006

“A avaliação dos estabelecimentos de educação e ensino constitui um importante instrumento para a melhoria da qualidade do ensino e da aprendizagem (…) Para a concretização desta prioridade, importa proceder à constituição de um grupo de trabalho com o objetivo de estudar e propor os modelos de autoavaliação e de avaliação externa dos estabelecimentos de educação pré-escolar e dos ensinos básico e secundário, e definir os procedimentos e condições necessários à sua generalização, tendo em vista a melhoria da qualidade da educação e a criação de condições para o aprofundamento da autonomia das escolas”

Decreto-Lei n.º 276/2007

“No quadro das orientações definidas pelo Programa de Reestruturação da Administração Central do Estado (PRACE) e dos objetivos do Programa do Governo no tocante à modernização administrativa e à melhoria da qualidade dos serviços públicos com ganhos de eficiência, importa concretizar o esforço de racionalização estrutural consagrado nas novas leis orgânicas dos ministérios em relação aos diversos serviços da administração direta e indireta do Estado com competências em matéria inspetiva. Uma das vertentes do PRACE consistiu no reforço das funções de apoio à governação e das correspondentes soluções orgânicas. De entre essas funções ressaltam as de inspeção” “Artigo 3º: O presente decreto -lei aplica-se aos seguintes serviços de inspeção: (…) o) À Inspeção -Geral da Educação;

Decreto Regulamentar n.º 81-B/2007 de 31 de Julho

“ (…) o presente decreto regulamentar aprova a nova estrutura orgânica da Inspeção-Geral da Educação, em conformidade com a missão e atribuições que lhe são cometidas pela nova Lei Orgânica do Ministério da Educação” “Concebida como o serviço central de controlo, auditoria e fiscalização do funcionamento do sistema educativo no âmbito da educação pré -escolar, dos ensinos básico e secundário e da educação extra -escolar, bem como dos serviços e organismos do Ministério da Educação, a Inspeção -Geral da Educação é objeto de reestruturação, adotando-se, em termos de estrutura interna, o modelo estrutural misto, sem prejuízo da manutenção dos atuais serviços desconcentrados. De sublinhar que, a acrescer às suas funções inspetivas tradicionais, é cometida a este serviço a função de participação no desenvolvimento do processo de avaliação das escolas.” “Artigo 3.º - Missões e atribuições: 2- A IGE prossegue as seguintes atribuições: (...) (h) propor medidas que visem a melhoria do sistema educativo; (i) participar no processo de avaliação das escolas e apoiar o desenvolvimento das atividades com ele relacionadas“

Decreto Regulamentar nº 15/2012

“A IGEC prossegue as seguintes atribuições: (…) c) Contribuir para a qualidade do sistema educativo no âmbito da educação pré -escolar, dos ensinos básico e secundário e da educação extra-escolar, designadamente através de ações de controlo, acompanhamento e avaliação, propondo medidas que visem a melhoria do sistema educativo e participando no processo de avaliação das escolas de ensino básico e secundário e das atividades com ele relacionadas”

Despacho nº 10434/2013

“À Equipa Multidisciplinar da Educação Pré-Escolar e dos Ensinos Básico e Secundário compete, relativamente àqueles níveis de educação e ensino, às modalidades especiais de educação e à educação extraescolar, o seguinte: a) Colaborar com o IGEC no planeamento, conceção e monitorização das ações de fiscalização, controlo e acompanhamento; b) Propor as medidas consideradas adequadas para a melhoria do sistema educativo e as decorrentes da sua intervenção no âmbito da avaliação externa das escolas”

CNE Parecer nº nº 1/2011

“Os objetivos normalmente visados na avaliação externa das escolas têm subjacentes dois grandes propósitos: a melhoria, na perspetiva da equidade no acesso à educação e eficácia e eficiência do desempenho, e a prestação de contas. Numa perspetiva analítica, o primeiro encontra-se tendencialmente mais associado a um enfoque qualitativo, formativo e de aconselhamento, centrado nos processos e numa abordagem interna, enquanto o segundo está normalmente ligado a uma abordagem sumativa e de controlo, numa perspetiva mais externa e predominantemente centrada nos resultados” “Será preferível que, ao invés da preparação de mais um documento específico, os elementos do plano de melhoria venham a ser incluídos noutros documentos de apoio à gestão das escolas, já existentes (…) Sugere -se que seja definida a obrigatoriedade de as escolas apresentarem um plano de melhoria na sequência da AEE”

CNE Parecer nº nº 2/2013

“Num permanente esforço de prestação de contas à sociedade, importa difundir a informação adequada para que todos reconheçam os progressos realizados, compreendam os compromissos e metas assumidos e tenham oportunidade de contribuir para a melhoria do sistema” “O CNE retoma, a este propósito, recomendações já anteriormente aprovadas que apontam para a necessidade de promover a melhoria das aprendizagens e intervir aos primeiros sinais de dificuldade, como forma de evitar a acumulação de insucessos e repetências nos percursos escolares. A melhoria da formação de professores constitui fator decisivo de mudança, assim como a focalização da avaliação externa das escolas nas aprendizagens e resultados escolares, desde que se considere o valor acrescentado do processo educativo”

CNE Parecer nº 4/2013

“...a melhoria dos resultados educativos e a consolidação dos patamares já alcançados não se compadecem com [...] políticas errantes exigindo, tal como o CNE tem recomendado, estabilidade, visão estratégica, capacidade de acompanhamento e regulação” (p. 10). Esta ideia está reforçada na primeira Recomendação Geral do Estado da Educação 2012 em que se afirma: “A prossecução das políticas educativas é crucial para o desenvolvimento estratégico da Educação e Formação e não se coaduna com alterações avulsas e pontuais na estrutura e na organização do sistema” (p. 308)”; “(…) Dir-se-ia que o legislador está mais centrado numa lógica de redução dos recursos do que na melhoria do sistema”.

A autoavaliação reforça as capacidades da escola, dos professores e da comunidade escolar para gerirem os seus projetos (Leite, Rodrigues & Fernandes, 2006).

“É na base do reconhecimento de que a avaliação pode, e deve, ter por intenção última a construção de processos contínuos de melhoria, isto é, que ela contém uma componente formativa, que se tem

hoje justificado o recurso à avaliação. E é no reconhecimento de que essa melhoria está também relacionada com questões de ordem institucional que … tem vindo a afirmar-se a necessidade da

avaliação das escolas/agrupamentos” (Leite, Rodrigues & Fernandes, 2006).

“O acompanhamento, o apoio e a exigência relativamente às escolas com classificações

de Insuficiente é fundamental para que a avaliação constitua uma oportunidade de melhoria e não um risco de penalização”

(IGEC, 2009, p. 66)

“O processo de desenvolvimento de uma avaliação eficaz deve conseguir uma correcta articulação entre as diferentes componentes de avaliação (por exemplo: avaliação dos professores de avaliação, avaliação escolar e de

desenvolvimento da escola), e garantir se os vários elementos dentro de uma componente de avaliação estão suficientemente ligados (por exemplo,

autoavaliação escolar e avaliação externa das escolas) ” (OCDE, 2012, p: 9).

Desenvolvimento de capacidades de organização implicam: (1) desenvolvimento organizacional; (2) aprendizagem da organização; (3) melhoria escolar

Formação interna da escola, para resolver os seus problemas de forma relativamente autónoma

Orientar a melhoria da escola não pode depender de uma só pessoa, requer o desenvolvimento de uma capacidade de liderança por parte de todos

«Mais do que implementar determinados

programas, uma mudança sustentável depende das escolas construírem a sua

capacidade interna para a aprendizagem, do conjunto de elementos da comunidade escolar, a nível pessoal, interpessoal e

organizacional, com o propósito coletivo de incrementar a aprendizagem dos alunos»

(Bolívar, 2013: 26)

Mais do que do controlo, considera-se que a avaliação das escolas pode contribuir para a

melhoria da educação, desde que provenha do compromisso ativo dos professores. Isto

pressupõe que as escolas e os professores sejam considerados elementos chave nas decisões

organizacionais e curriculares.

PROCEDIMENTOS

METODOLÓGICOS

Análise dos relatórios finais de AEE entre 2006 e 2012,

realizados pela IGEC, com foco nas classificações relativas a: (a)

resultados académicos; (b) prestação do serviço educativo; (c)

liderança e gestão

Análise de 40% dos relatórios da AE de escolas/agrupamentos da

zona Norte e Centro do país, simultaneamente avaliadas no 1º e

no 2º ciclo de AEE, num total de 104, recorrendo à análise

documental, pela técnica da análise de conteúdo com apoio do

programa NVivo (v.10)

Análise de 75 teses (11 de doutoramento e 64 de mestrado) realizadas entre 2006 e

2013. A pesquisa foi realizada no Repositório Nacional, Biblioteca Nacional e nos sites de

faculdades através dos termos “Avaliação Externa de Escolas” e “Autoavaliação”.

A análise centrou-se nos resumos e nas conclusões destes trabalhos académicos

focada nas seguintes categorias e subcategorias:

(1) EFEITOS - positivos e negativos;

(2) POSSIBILIDADES - relacionadas com: a comunidade educativa; a formação

existente ou necessária; papéis docentes e desenvolvimento profissional; gestão e

administração escolar

(3) LIMITES - institucionais e políticos

DADOS DE UMA ANÁLISE FOCADA NAS

CLASSIFICAÇÕES DE: RESULTADOS;

PRESTAÇÃO DO SERVIÇO EDUCATIVO;

LIDERANÇA E GESTÃO

INTERPRETANDO DADOS DOS

RESULTADOS NA RELAÇÃO

COM A MELHORIA

RESULTADOS ACADÉMICOS: A classificação "Bom" foi a mais atribuída, tendo nos anos 2010-2011 e 2011-2012 o pico maior (na totalidade dos relatórios, 67% tem esta classificação). A classificação “Insuficiente" é residual. Verifica-se uma descida acentuada da classificação “Suficiente" nos anos de 2011-2012 enquanto que a classificação de "Muito Bom" aumenta consideravelmente.

PRESTAÇÃO DO SERVIÇO EDUCATIVO: tal como no domínio anterior, a classificação de "Bom" predomina ao longos dos anos. A tendência é igual ao domínio anterior: a classificação de “Insuficiente" é residual e, nos últimos três anos letivos, a classificação de “Suficiente" desce e a de “Muito Bom" sobe.

LIDERANÇA E GESTÃO: a classificação de "Bom" é superior ao longo dos anos expeto no último, 2011-2012, em que é ultrapassada pela classificação "Muito Bom". As classificações de “Insuficiente" são as mais baixas, bem como, no ano de 2011-2012, a classificação de “Excelente". A classificação de “Suficiente" decresce bastante no último ano e a de “Muito bom" tem a maior subida, de 17% para 51.1%.

CONCLUSÕES • A AEE tem reconhecido uma melhoria das escolas ao nível dos resultados, da prestação

do serviço educativo e da liderança e gestão; • Tem sido reconhecido que a maior parte das escolas tem uma qualidade superior ao

“suficiente”; • Apesar dos “resultados académicos” ainda não serem predominantemente “Muito Bom”,

tem sido reconhecida a melhoria ao nível da “liderança e gestão” e da “prestação do serviço educativos das escolas”

OPORTUNIDADES INDICIADAS NA AEE TRANSFORMADAS EM

PONTOS FORTES: O QUE DIZEM OS RELATÓRIOS

1º CICLO de AEE 2º CICLO de AEE

OPORTUNIDADES DE MELHORIA

LISBOA

ALENTEJO E ALGARVE

NORTE

CENTRO

Diferenciação e Apoios Pedagógicos

Acompanhamento e Supervisão

Articulação e Sequencialidade

Articulação e Sequencialidade

Articulação e Sequencialidade

PONTOS FORTES

O QUE DIZEM AS TESES

“Os intervenientes no processo de autoavaliação deverão ser o corpo docente, os pais, os alunos e o pessoal não docente e a sua participação deve ter um carácter colectivo e ser feita através de reuniões de grupos representativos dos vários estabelecimentos do agrupamento” (TM, 2007)

“Continuamos a defender que a avaliação interna e, no seu seio, a autoavaliação, permite aos atores a recuperação da sua qualidade de autores das práticas, extremamente relevante perante os sentimentos de despersonalização, expropriação e sobrecarga que habitam os professores … mas também para os sentimentos de insatisfação e desinteresse que habitam os alunos, sendo necessário ‘construir as escolas como meios de vida e trabalho’ que ‘integram o aluno num conjunto relacional’ e de sentido (Barroso, 2001: 90). Não comprovámos que assim é, mas comprovámos sementes de que assim poderá vir a ser” (TD, 2010)

“Consideramos que os professores estão mais preparados, a nível científico e pedagógico, para participar neste processo, mas o desconhecimento generalizado dos outros atores educativos tem de ser tido em consideração e têm de se convocar estratégias que permitam dilui-lo” (TM, 2009)

“Podemos afirmar que é necessário aumentar o nível de comunicação entre professor e aluno, de forma a potenciar a autonomia, a reflexão e a participação na regulação da aprendizagem, por parte do aluno” (TM, 2012)

“Detectaram-se áreas de aperfeiçoamento ao nível da discussão de problemas da política da escola, elaboração de instrumentos de avaliação e outros instrumentos de avaliação e análise de necessidades de formação dos docentes” (TM, 2007)

“A aplicação do modelo requer, acima de tudo que os órgãos de gestão e administração escolar, e grande parte das pessoas que nela exercem as suas funções, estejam plenamente convencidas da necessidade de apostar na melhoria da qualidade e na utilização sistemática de processos de auto-avaliação e gestão da mudança” (TM, 2006)

“A razão fundamental que justifica a auto-avaliação é a melhoria da organização e da prestação do serviço educativo” (TM, 2007)

“O corpo docente tem a percepção de que num processo de autoavaliação, o Conselho Executivo tem uma função de charneira para unir a parte pedagógica com a parte administrativa, as estruturas de orientação educativa devem explicitar as áreas e os indicadores da auto-avaliação, enquanto o Conselho Pedagógico é o órgão fundamental para pôr em prática a melhoria do processo de auto-avaliação” (TM, 2007)

“A parte mais difícil é mobilizar toda a comunidade educativa para implementar processos de auto-avaliação, construir e monitorizar planos de melhoria que alimentem a sua sustentabilidade” (TD, 2010)

“Detectaram-se também algumas evidências de que algumas instituições estão a contratualizar externamente todo o processo, o que contraria o desenvolvimento de uma cultura organizacional de qualidade e melhoria, transformando a autoavaliação num mero cumprimento normativo” (TM, 2011)

“A centralização da gestão do sistema educativo não é a única dificuldade a ultrapassar na construção de um projeto educativo que tenha impacto na vida do Agrupamento e da comunidade.(…) As dinâmicas internas, a capacidade demonstrada para promover a inovação, a construção de redes de interdependência com outras organizações, (…) a ação coletiva e a contextualização institucional são determinantes para o sucesso de um empreendimento desta natureza” (TM, 2012)

“Concluímos que a autoavaliação de escola, como dispositivo de ‘prestação de contas’ é algo que vem de fora e se

impões como um corpo estranho à escola” (TM, 2011)

“As nossas conclusões fazem-nos refletir sobre a dificuldade

real de implementação de modelos de avaliação, pois cada escola é, de fato, uma realidade específica onde o propósito se

articula com o despropósito (Morin, 1973), de forma

intencional, e onde a ambiguidade se articula com a

racionalidade burocrática e com as demandas políticas internas e externas e suas contradições”

(TD, 2012)

“Foram apontados como principais constrangimentos (a) a dificuldade em quantificar a avaliação, (b) a falta de

tempo para levar a cabo uma autoavaliação significativa e (c) a

dificuldade de distanciamento resultante do facto do docente ser,

simultaneamente, actor e observador desse processo” (TM, 2011)

NEGATIVOS “Toda a morfologia do programa e os respectivos dispositivos de implementação apontavam num sentido oposto ao do empossamento por parte dos interlocutores nas escolas do espírito de auto-reflexão sobre as práticas e de customização dos modos de a operacionalizar” (TM, 2006)

“A avaliação externa não promove, de forma significativa, a modificação da postura assertiva dos docentes nem a modificação da postura afetiva dos discentes perante a disciplina/docente. No entanto, promoverá alguma modificação das práticas pedagógicas/afetivas nos docentes assim como na postura académica dos alunos” (TM, 2006)

“De acordo com alguns dos entrevistados, o processo de avaliação interna é visto como um meio para melhorar a Escola, todavia também realçam o aspeto demasiado burocrático desencadeado pelo mesmo” (TM, 2009)

“A autoavaliação não se configura ainda como estratégia verdadeiramente interpelativa das práticas, emergindo num quadro global de exterioridade, entre o referencial burocrático sedimentado e o referencial tecnocrático circulante, mas ao mesmo tempo surge protegida dos seus fundamentalismos, em processos brandos de apropriação pelas escolas, que dão conta do seu natural impulso autonómico” (TD, 2010)

POSITIVOS “Para além das limitações deste trabalho, foi possível concluir que a aplicação do modelo de excelência da EFQM, embora se tenha demonstrado um processo com alguma complexidade, fornece à escola um conjunto de ferramentas de grande utilidade para desencadear processos de melhoria da qualidade” (TM, 2006)

“Pensamos poder dizer que o processo de auto-avaliação está a ser desenvolvido com a responsabilidade de quem está consciente de que tem uma missão a cumprir e de quem quer prestar um serviço de qualidade na comunidade” (TM, 2007)

“O corpo docente espera que a auto-avaliação tenha impacto na organização escolar, principalmente no que se relaciona: com a definição de objectivos claros; com a eficácia do ensino e da aprendizagem; com a planificação de projetos, que devem indicar claramente os resultados esperados e as respetivas evidências; e com a melhoria dos Projetos Curriculares de Turma” (TM, 2007)

A AEE, entre 2006 e 2012, teve:

impacto ao nível do desenvolvimento de processos de autoavaliação das escolas;

os processos de autoavaliação, bem como a reflexão, em muitos casos promovida

pela AEE, permitiram às escolas conhecerem-se melhor e, a partir desse

conhecimento, promoverem as alterações possíveis, ou seja, promover a melhoria;

os planos de melhoria, necessários após a AEE, potenciam uma adequação dos

projetos e dos planos de ação das escolas;

os trabalhos académicos focados nesta temática têm ampliado o conhecimento

existente sobre avaliação das escolas. Têm também ampliado o debate e a reflexão

sobre a qualidade da AEE e da autoavaliação e sobre as possibilidades e limites na

promoção da melhoria educacional.

Bolívar, António (2012) Melhorar os Processos e os Resultados Educativos. O que nos

ensina a investigação. Gaia: Fundação Manuel Leão.

IGE—Inspeção-Geral de Educação (2009). Avaliação Externa das

Escolas-2007-2008-Relatório. Lisboa: IGE.

Leite, C., Rodrigues, L. & Fernandes, P. (2006). “A autoavaliação das escolas e a melhoria

da qualidade da educação – um olhar reflexivo a partir de uma situação. In Revista

Estudos Curriculares, Ano 4, nº 1, pp. 21-45.