doc 5 eficácia da autoavaliação das escolas1.indd

EFICÁCIA DA AUTO-AVALIAÇÃO EFICÁCIA DA AUTO-AVALIAÇÃO NAS ESCOLAS NAS ESCOLAS

INSPECÇÃO-GERAL DA EDUCAÇÃO

PROJECTO ESSE

EXPLORAÇÃO DOS PRINCIPAIS PONTOS EXPLORAÇÃO DOS PRINCIPAIS PONTOS RELACIONADOS COM O PAPEL E AS FUNÇÕES RELACIONADOS COM O PAPEL E AS FUNÇÕES

DE INSPECÇÃODE INSPECÇÃO

FICHA TÉCNICA

TítuloEfi cácia da auto-avaliação nas escolas: exploração dos principais pontos relacionados com o papel e as funções de inspecção

AutoriaSICI – The Standing International Conference of Inspectorates

Título originalEffective self-evaluation in schools: exploring key issues to the role and functions of the inspectorate

TraduçãoHelder Guerreiro

EdiçãoInspecção-Geral da Educação (IGE)Av. 24 de Julho, 1361350-346 LISBOATelf.: 213 92 48 00Fax: 213 92 49 60E-mail: [email protected]: http://www.ige.min-edu.pt

Coordenação editorial, copidesque, design gráfi co, revisão tipográfi ca e divulgaçãoIGE – Gabinete de Planeamento, Documentação e Formação (GPDF)

Agosto 2007

Índice

Introdução 5

1 Avaliação interna e externa 7

1.1 Avaliação externa: prestação de contas e desenvolvimento 71.2 Auto-avaliação: aperfeiçoamento e prestação de contas 71.3 Relação entre avaliação externa e interna 9

2 Possíveis papéis para as inspecções nos sistemas que promovem a auto-avaliação e o desenvolvimento das escolas 13

2.1 Opiniões sobre o papel das inspecções 142.2 Auto-avaliação: o amigo crítico e a inspecção 19

3 O que observar? 21

3.1 Fases da auto-avaliação 213.2 Instrumentos de auto-avaliação 223.3 O envolvimento do parceiro 27

3.3.1 A perspectiva do professor 283.3.1 A perspectiva do estudante 28

3.4 O que avaliam as escolas? A necessidade de estabelecer conjuntos de indicadores, padrões e critérios, e quadros conceptuais 29

3.4.1 O que devem abranger os critérios, indicadores e padrões? 293.4.2 O que devem os quadros conceptuais abranger? 303.4.3 Quadros conceptuais: dois exemplos 31

3.5 Relatório da auto-avaliação 333.6 Impacto da auto-avaliação 333.7 Principais condições para o sucesso da auto-avaliação 35

Bibliografi a 37

Introdução

Este documento propõe, com base numa selecção de literatura internacional e na investigação, uma análise do fenómeno actual da auto-avaliação e a sua relação com as funções de controlo e de avaliação das inspecções. Para isso é preciso clarificar o que se entende por auto-avaliação neste contexto, dado que existem inúmeras definições.

A seguinte definição, baseada em Van Petegem (1998, 159), pode ser encarada como a síntese da maioria das que foram encontradas na literatura internacional:

«Auto-avaliação é um processo empreendido pela escola, no qual os professores, sistematicamente, recolhem e analisam os dados, incluindo informação sobre as percepções e opiniões dos diferentes actores. Este processo é utilizado para avaliar diferentes aspectos do desempenho da escola, tendo como referência os critérios estabelecidos. Deverá produzir resultados que ajudem, efectivamente, as escolas a definir objectivos para o seu planeamento ou para quaisquer iniciativas, com vista a um melhor desempenho».

Esta definição ajuda a clarificar o conceito de auto-avaliação, mas necessita de ser mais explorada, de modo a compreender mais profundamente os contextos em que ocorre, as finalidades, os objectivos, os métodos, os actores, os instrumentos, o impacto, as limitações... E, sobretudo, terá de ser analisada do ponto de vista das funções e das metodologias de trabalho da inspecção.

Nesta perspectiva, começando pela primeira secção, este documento tenta construir uma vista pano-râmica de todo o campo da avaliação interna e externa. Na segunda secção, a nossa câmara dá uma imagem mais focalizada, na qual é possível explorar o papel dos inspectores na auto-avaliação e na melhoria das escolas. Finalmente, a terceira secção tenta dar um plano de pormenor do que a Inspecção pode observar quando avalia a auto-avaliação de uma escola. Seguidamente, iremos referir-nos a este tipo de actividade inspectiva como meta-avaliação (esta é uma opção de ordem prática que resulta das diferentes definições dadas na Europa à palavra meta-avaliação).

Antes de prosseguir, devemos mencionar que parece existir um consenso entre a maioria dos autores ao considerarem que a auto-avaliação não é um fim em si mesma. Isto é muito claro no relatório do projecto Evaluating quality in school education1:

Auto-avaliação é uma ferramenta, que é utilizada pelas escolas em função do seu impacto na efi-cácia e no aperfeiçoamento das escolas. A atitude positiva das escolas face à avaliação não é por esta ser um fim em si mesma, mas porque aponta para aspectos da vida escolar significativos e merecedores de atenção (1999, 20).

De acordo com o questionário utilizado neste projecto, as escolas valorizavam mais o processo de reflexão interno quando a auto-avaliação estava interligada com a acção. Portanto, o processo de auto-avaliação deverá sempre ser observado num contexto de acção e conduzido de acordo com os resultados que se espera alcançar.

1 Avaliação da qualidade na educação escolar (N. T.)

6I N S P E C Ç Ã O - G E R A L D A E D U C A Ç Ã O

Esta é, também, a opinião de peritos de educação e directores de escola numa pesquisa conduzida por Devos et al.:

uma boa auto-avaliação é um processo contínuo que conduz à acção. Deve fazer parte de toda a política escolar (e não ser uma actividade isolada). Requer uma atitude crítica de auto-questionamento. É também uma ferramenta de mudança ou de aperfeiçoamento e não um fim em si mesma. Porém, tal não torna a avaliação externa excessiva ou redundante. Ambas se complementam.

Mas estas conclusões realçam um paradoxo: enquanto o sucesso de qualquer avaliação parece estar associado à acção que se lhe segue, existem mais resultados de investigação e instrumentos de trabalho disponíveis para a primeira do que para a segunda. Como ajudar mais as escolas na fase da acção subsequente à avaliação constitui claramente um campo onde a investigação e o apoio técnico precisam de maior desenvolvimento. (Macbeath et al., 1999, 52).

7E F I C Á C I A D A A U T O - A V A L I A Ç Ã O N A S E S C O L A S

1 Avaliação interna e externa

1.1 Avaliação externa: prestação de contas e desenvolvimento

A avaliação externa pode ser justificada com o facto de o poder central ter necessidade de controlar e orientar as escolas. Esse controlo representa um modo de garantir uma oferta educativa de qualidade e de assegurar que as escolas usam os recursos eficazmente e que os seus resultados justificam o dinheiro investido. A avaliação externa, enquanto controlo, deve garantir que as diferenças no desempenho entre escolas não sejam demasiado discrepantes e que os resultados previstos sejam alcançados. A avaliação externa também desperta a atenção do público em geral para as questões da qualidade educativa através da publicação de relatórios sobre o estado geral do sistema educativo ou sobre escolas específicas. Embora a avaliação externa seja conduzida, inicialmente, pela necessidade política de prestação de contas, pode também ser conjugada com uma perspectiva de desenvolvimento ou de melhoria; e, pode, ainda, ao fornecer às escolas informação de retorno sobre os seus pontos fortes e pontos fracos, recomendar formas de intervir e constituir apoio ou recurso para alcançar os seus objectivos. Por último, pode também ser vista como um estímulo para o aperfeiçoamento escolar, disponibilizando dados comparativos que, posteriormente, podem ser utilizados como uma ferramenta de gestão na análise comparada com outras escolas, tendo como foco aspectos específicos do desempenho de cada escola – benchmarking (Macbeath, 2000, 91).

1.2 Auto-avaliação: aperfeiçoamento e prestação de contas

A auto-avaliação é sustentada por uma lógica diferente. Para além de um objectivo de prestação de contas, o seu impulso primordial é o de desenvolvimento. É uma característica intrínseca das escolas eficazes e da prática profissional, que assume outro significado com a descentralização.

Numa perspectiva política, é vista como um mecanismo que permite às próprias escolas melhorar a sua qualidade, ajudando-as a controlar o seu progresso e a prestar contas, com precisão, aos seus actores externos – pais e comunidade mais vasta. A auto-avaliação é vista como um contributo para o debate democrático sobre a qualidade educativa ao nível da escola e da sala de aula, além de constituir um complemento da avaliação externa, conduzida por diferentes tipos de agentes exteriores à escola.

Numa perspectiva escolar, a auto-avaliação tem um objectivo mais imediato. O diálogo estabelece-se, sobretudo, entre os actores internos e incide no contributo de cada um para o planeamento e para o aperfeiçoamento do trabalho na sala de aula, na escola e na comunidade. Para que isso, efectivamente, aconteça, é necessário o envolvimento de todos os actores relevantes e o acesso a instrumentos que possam mais eficazmente apoiar a tomada de decisão, a aprendizagem e o ensino (Macbeath, 2000, 91-92).

Auto-avaliação e responsabilidade profissional dos professores

Se é certo que tanto a avaliação externa como a auto-avaliação incluem elementos de prestação de contas e de desenvolvimento, ainda que com diferente ênfase, a interacção entre prestação de contas e desenvolvimento é mais subtil quando analisamos as questões na perspectiva da responsabilidade profissional dos professores individualmente.


Tentando definir prestação de contas, Learmonth (2000, 116-117) inspira-se em vários autores (ex. Bush, 1980) ao identificar três perspectivas:

1 – a prestação de contas moral, segundo a qual se responde perante os destinatários; 2 – responsabilidade contratual, segundo o qual se responde perante os empregadores ou a admi-

nistração;3 – prestação de contas profissional, através da qual se responde perante nós mesmos e os nossos

colegas.

Eraut (1992) define prestação de contas profissional como incluindo:

• compromisso moral para servir os destinatários do nosso serviço;• obrigação profissional de auto-monitorizar e de rever periodicamente a eficácia da própria

prática;• obrigação profissional de expandir o seu conhecimento, de reflectir sobre a sua experiência

docente e de desenvolver a especialização;• obrigação profissional e contratual de contribuir para a qualidade da organização onde se

trabalha;• obrigação de reflectir e contribuir para a discussão sobre o papel da mudança da auto-avaliação

da sua profissão no contexto da sociedade em geral.

Os professores devem ter um sentido de compromisso pessoal num sistema de prestação de contas se quiserem que este constitua um efectivo meio de desenvolvimento. A investigação conduzida nos Estados Unidos da América e no Reino Unido mostra claramente que o desenvolvimento das escolas depende do empenho e da consistência do desenvolvimento profissional dos professores, do seu traba-lho conjunto na escola e em parceria com outras escolas, com vista a melhorar a qualidade do ensino e da aprendizagem e, deste modo, elevar os níveis de desempenho. Os padrões nacionais de desempenho profissional dos professores reflectem um bom princípio ao permitirem, talvez mesmo exigirem, que os professores se envolvam num programa de desenvolvimento profissional contínuo que aumentará a capacidade de prestarem contas sistemáticas e rigorosas do seu trabalho. Outro indicador positivo é o aumento da investigação em sala de aula conduzida por professores individualmente ou em pequenos grupos (Frost et al, 2000).

No caso dos professores individuais, a definição de prestação de contas profissional pode incluir o ser capaz de fazer uma avaliação da sua prática em sala de aula. A avaliação deve reflectir a capa-cidade de:

• fazer escolhas fundamentadas a partir de um amplo repertório de abordagens de ensino e de aprendizagem, sempre de acordo com os conteúdos e com as necessidades de aprendizagem de um grupo específico de alunos;

• saber demonstrar quais as aprendizagens que se realizaram, ou não, na aula; • decidir, com base nas experiências anteriores, sobre a acção futura.

À medida que os professores desenvolvem a capacidade de prestar contas das suas práticas, desen-volve-se na escola um conhecimento mais aprofundado sobre o progresso e desempenho dos alunos e, por fim, sobre a própria escola. Este processo ajudará a modelar, sustentar e fortalecer a compreen-são profissional e pública, do que é essencial na escolaridade, no ensino e na aprendizagem. Deverá, também, contribuir para o aperfeiçoamento contínuo da prática profissional de modo a promover as escolas como comunidades de aprendizagem e a aprendizagem ao longo da vida dos estudantes e dos professores.


A prestação de contas da prática profissional torna-se parte de um sistema de prestação de contas sempre que está acessível a grupos que são os actores com responsabilidade no sucesso da escola (órgãos de gestão, autoridades regionais ou locais, inspecção, pais, comunidade local, Administração Educativa).

Para apoiar a prestação de contas, estes grupos de actores devem ter oportunidade de analisar, detalhadamente, os relatórios e responder, levantando questões ou sugerindo mudanças. Os professores são obrigados a considerar estas respostas, mas também têm o direito de decidir se devem, e como, adaptar as suas práticas. Qualquer modalidade de sistema de prestação de contas em que os actores externos têm um papel activo, coloca-nos perante uma inter-relação entre a avaliação interna e externa.

1.3 Relação entre avaliação externa e interna

Uma relação duradoura e bem sucedida entre a avaliação interna e externa é o objectivo de todos os sistemas europeus. A natureza e o processo do sistema de avaliação em qualquer país pode ser identificado como um ponto algures na representação da relação entre avaliação externa e interna. Adicionalmente, deverão ser consideradas duas outras dimensões nesta representação: dimensão de pressão-apoio e dimensão base-topo/topo-base para que se possa ter uma noção daquilo que os sistemas abarcam, dando-nos um modelo tridimensional onde se podem assinalar aspectos específicos de sistemas individuais:

A dimensão avaliação interna-externa representa um contínuo da auto-avaliação para a avaliação conduzida por um agente externo. O ponto extremo da avaliação externa refere-se a sistemas onde a monitorização da qualidade e dos níveis de aprendizagem é unicamente da responsabilidade de uma entidade externa (ex. Inspecção). No outro extremo desta dimensão, situam-se os sistemas onde não existe uma entidade externa e a certificação da qualidade é, exclusivamente, competência e responsabilidade da própria escola.

A dimensão de pressão-apoio refere-se a um contínuo, em que a um elevado nível de apoio do sistema se associa um sistema de pressão extremamente forte. Se, por um lado, esta dimensão pode ser observada objectivamente, ela também se refere a uma realidade mais subjectiva. Isto é, pressão e apoio são mais bem entendidos se se tiver em conta a experiência das pessoas: sentem-se sob pressão, ou sentem-se apoiadas? Aqui, o equilíbrio pode ser encontrado considerando as experiências individuais e colectivas. Este equilíbrio contribui para maior eficácia no trabalho porque associa a satisfação intrínseca e a motivação ao reconhecimento extrínseco e ao reforço.

A dimensão topo-base/base-topo representa o modo como o sistema vê e implementa as mudanças. Num dos extremos temos uma decisão oriunda de cima, através de orientações, da legislação, de uma estrutura nacional. Em alternativa, a decisão pode ser desencadeada inteiramente por uma iniciativa das bases: dos professores, dos alunos e dos pais.

Encontrar o ponto de equilíbrio ideal dentro e entre estas três dimensões é o desafio para todos os sistemas que procuram avaliar a qualidade, fazendo com que ela promova a própria capacidade dos professores e das escolas. As iniciativas vindas do topo para a base precisam de respostas da base para o topo. As expectativas externas devem responder às necessidades internas e a pressão não funciona sem o apoio (Macbeath, 2000). Van Petegem (1996-1997, 470) concorda que o equilíbrio entre a pressão externa e a validação da qualidade conduzida internamente é muito difícil e frágil. A pressão externa


2 Office for Standards in Education (N.T.).3 Accelerated Inspection Programme, no original. (N.T.).4 Local Education Authority (N.T.).5 Benchmarking, no original (N.T.).

será sempre necessária para concentrar a atenção das escolas na necessidade da preocupação interna pela qualidade, mas não deverá tornar-se em pressão excessiva.

Learmonth (2000, 42-44) ilustra de forma relevante o modo como o equilíbrio entre a pressão e o apoio tem sido gerido em Inglaterra. Na sua análise das implicações para as escolas e para as Autoridades Locais de Educação que foram sujeitas a uma intervenção do OFSTED2 – Programa Acelerado de Inspecção (AIP)3, Watling et al. (1998) esboçaram oito estratégias para melhorar as escolas em dificuldades, de preferência instigadas e apoiadas pela Autoridade Local de Educação (LEA)4. Estas incluem, desde o início, tanto a provisão de um apoio externo intensivo como a «diminuição da pressão externa/inspecção com vista a acabar com os receios e a dar espaço ao crescimento». Acredita-se que a LEA deveria agir como um amigo crítico e estabelecer um equilíbrio adequado entre apoio e estímulo. O recurso a amigos críticos é um dos elementos de uma ampla parceria entre a LEA e a escola para apoiar a auto-avaliação. A parceria também tem tido em conta a eficácia do processo, através da avaliação do sucesso em diversas áreas, incluindo o desenvolvimento dos professores como aprendentes, as mudanças na cultura da escola e, significativamente, a avaliação do sucesso dos alunos.

Como se ilustra neste exemplo, os decisores políticos dispõem de uma variedade de meios para alcançar os objectivos que estabeleceram para o sistema educativo. Podem utilizar estratégias mais suaves, tais como a persuasão, o entusiasmo, os incentivos e os mecanismos de recompensa. Podem regular, através de leis, e podem criar instituições para a orientação, aconselhamento e controlo. Contudo, não podem progredir sem o empenho dos professores, dos alunos e dos pais que formam a espinha dorsal do sistema e que têm um interesse pessoal na qualidade e nos níveis de sucesso e de progresso escolar (Macbeath 2000, 91-93).

De acordo com alguns dos directores de escola entrevistados por Devos (op. cit.), as autoridades educativas deveriam intervir o mínimo possível na regulação da auto-avaliação. Eles pensam que deve ser uma iniciativa autónoma das escolas. Outros directores pensam que as autoridades deveriam apoiar a auto-avaliação através do:

• desenvolvimento de instrumentos adequados;• disponibilização de dados de referência5;• formação, nomeadamente formação em serviço, dos funcionários internos e externos.

De um modo geral, a larga maioria dos directores envolvidos consideram que as organizações externas só deveriam ter um papel de apoio na auto-avaliação. Van Petegem (1996-1997, p. 470) está convicto de que a política educativa devia estimular a auto-avaliação no contexto da certificação da qualidade através:

• da divulgação um livro de referência que contenha instrumentos para a auto-avaliação;• da organização de formação em serviço;• do estímulo ao desenvolvimento nas escolas por via de inspecções, através da recolha de

informação sobre a auto-avaliação das escolas ou focalizando as actividades inspectivas na meta-avaliação.


6. Mudar a escola através da investigação (N.T.)

Tendo por base estudos internacionais, Macbeath (1999, 153) aponta alguns princípios orientadores para um sistema integrado que concilie a avaliação interna e externa de uma forma sistemática e coe-rente:

• a condução e o enfoque da avaliação externa são discutidos e negociados com a escola;• os critérios usados na avaliação externa são divulgados e discutidos junto daqueles a quem

dizem respeito;• existe um protocolo de comportamento, relações interpessoais e de reconhecimento profissional

que é compreendido e aprovado;• a escola confia na competência e na credibilidade da equipa de avaliação;• a equipa de avaliação é constituída por diversos elementos, dos quais alguns conhecem bem a

escola e outros desconhecem-na completamente;• as equipas de avaliação prestam contas à escola sobre a qualidade do seu trabalho;• o processo é considerado pelos principais actores como vantajoso e como um apoio ao desen-

volvimento da escola e das aulas;• as responsabilidades pela avaliação são partilhadas entre entidades externas e internas, como

for conveniente;• o enfoque da avaliação externa incide, em primeiro lugar, sobre a qualidade da abordagem da

própria escola ao seu desenvolvimento e à sua capacidade de mudança;• a equipa de avaliação necessita de tempo para conhecer a escola e a sua comunidade antes de

iniciar uma avaliação ou inspecção.

Partindo do trabalho de Stephen Ball, Macbeath (1999, p. 154-155) conclui que a certificação da qualidade e o aperfeiçoamento da escola são trabalhos que dizem respeito a todos. Trata-se de um sistema de desenvolvimento no qual cada um tem a sua responsabilidade e orgulho na qualidade do trabalho, procurando todos os mecanismos para contribuir positivamente. Não se espera que os pro-fessores suportem todo o peso da prestação de contas, tal como não se espera que as escolas, individu-almente, sejam auto-suficientes num mercado competitivo. É preciso criar sistemas de apoio a todos os níveis, desde a sala de aula até às autoridades locais. A garantia de qualidade é mais colegial do que hierárquica e é mais preventiva, a partir do seu interior, do que curativa a partir do exterior. Não funciona num clima de ameaça e sanções, nem se pode desenvolver num clima onde os professores e as escolas estãso em competição para alcançar objectivos em que não acreditam.

Ele menciona quatro prioridades:

1 A auto-avaliação deve estar no centro de qualquer abordagem, de âmbito nacional, ao desenvolvimento da escola;

2 A prestação de contas e o auto-desenvolvimento devem ser considerados como dois componentes de uma estratégia integrada;

3 É preciso disponibilizar tempo e recursos para apoiar o desenvolvimento da escola;4 A inspecção das escolas deve continuar a ser uma característica do movimento condutor das

políticas de desenvolvimento das escolas, desde que vista como uma parte de uma estratégia de colaboração com as escolas e com as autoridades locais.


Tentativas de combinar processos de auto-avaliação com algumas formas de inspecção externa estão em curso nos EUA, apesar de o termo inspecção não ser utilizado: pensa-se que é um termo dema-siado assustador para os professores e tem demasiado peso hierárquico na presunção que os inspectores conhecem todas as receitas para a melhoria das escolas. Os procedimentos desenvolvidos por David Green no projecto de Chicago School Change through Inquiry Project (SCIP)6 e por Tom Wilson e seus colegas em Rhode Island inserem-se na tradição da inspecção inglesa. Cada um deles tem inovações interessantes, com as quais os nossos sistemas poderiam aprender (Learmonth, 2000, 121-124).

Os processos desenvolvidos pelo projecto SCIP de Chicago colocam tanto os avaliadores externos como os internos no papel de investigadores em vez de se apoiarem somente nos avaliadores externos como peritos. Nos esquemas de avaliação da qualidade desenvolvidos originalmente por Green em Nova York e Illinois, as equipas de avaliação incluíam representantes do Departamento de Estado da Educação, directores de escolas locais e representantes da indústria e do comércio. Todos receberam formação específica em avaliação, dando prioridade à compreensão de três aspectos da vida da escola:

• ensino e aprendizagem;• aprendizagem, progresso e sucesso;• escolas como comunidades de aprendizagem.

Este processo de avaliação fornece-nos um modelo que as escolas podem desenvolver, para as ajudar a tornar-se comunidades de investigação. Envolve escolas em contínua auto-avaliação. A ava-liação externa da qualidade acontece em ciclos de cinco anos, acrescida de uma auto-avaliação anual, conduzida pela própria escola. Tanto o processo de avaliação como o de auto-avaliação convida à honestidade e não ao exibicionismo.

Os avaliadores externos podem permanecer na escola por uma semana, mas o formato da inter-venção encoraja tanto os avaliadores como os avaliados a olhar para o desempenho da escola num contexto de actualidade em vez de a considerar como uma imagem descontextualizada. Para além da investigação, os outros dois processos-chave envolvidos no trabalho de Green são:

• a análise crítica e a discussão dos dados recolhidos a fim de obter uma perspectiva global e consensual na equipa;

• a publicação dos resultados da investigação, de modo a que, ao longo do processo, possam estar acessíveis à análise crítica de quem quiser.

O esquema School Accountability for Learning and Teaching (SALT)7 de Rhode Island incorpora algumas actividades fundamentais num ciclo planeado:

• auto-análise. Trata-se de actividades de investigação com enfoques específicos conduzidos pela equipa interna de desenvolvimento da escola, concentrando-se em três áreas:

• aprendizagem dos alunos; • ensino; • estruturas e processos dentro e fora da escola que promovem e apoiam a aprendizagem e o

ensino.• plano de desenvolvimento da escola, baseado nos dados obtidos durante a auto-análise e

requendo uma avaliação profissional para decidir o tipo de acções a desencadear;• visita à escola, na qual participam, durante quatro dias, uma equipa de professores de Rhode

7 Prestação de contas da escola sobre a aprendizagem e o ensino (N.T.).


Island, um pai, um administrador escolar, um membro do conselho de escola(s), um membro de uma escola superior de educação e um membro do Departamento de Educação. Cada escola é visitada de cinco em cinco anos. A equipa de visitantes elabora um relatório sobre o desem-penho da escola no âmbito das três áreas do SALT e faz recomendações tendo em vista o seu desenvolvimento;

• pacto escolar para aprendizagem. É elaborado pela escola, pelas autoridades de distrito e pelo Departamento de Estado de Educação. O objectivo deste pacto é assegurar à escola a capaci-dade necessária para implementar o plano de desenvolvimento previsto. Tem em conta o que o distrito e o Departamento devem fazer para apoiar a escola;

• serão do Relatório de Escola. As escolas informam os pais e a comunidade, pelo menos uma vez por ano, sobre o seu desempenho, o seu plano para melhorar os resultados e o modo como a comunidade pode ajudar a escola a alcançar os seus objectivos.

Tanto na auto-análise como na visita de avaliação, os avaliadores podem apreciar a qualidade do trabalho em sala de aula. Existem outras vias para avaliar o desempenho das escolas, tais como, os resultados dos testes, a avaliação do programa, questionários sobre a percepção dos pontos fortes e fracos das escolas e a investigação baseada na metodologia das ciências sociais. Wilson esboça oito fases na visita da equipa:

• percepções e observações iniciais da equipa; • recolha de dados – evidências - (não é permitido o ouvir dizer);• delinear conclusões preliminares a partir das evidências;• formulação de juízos críticos profissionais, pela equipa;• discussão e tomada de decisão pela equipa;• recomendações enunciadas em termos globais, com base nas conclusões;• elogios às áreas de excelência; • elaboração do relatório (cuja função é apoiar e não servir de modelo).

Estes dois sistemas (SALT e SCIP) têm em comum dois elementos: a prestação de contas dos profissionais de terreno (ver em cima A Auto-avaliação e a responsabilidade profissional dos professores 1.2) e uma formação relevante. Cada sistema está a desenvolver uma prestação de contas profissional que não só se relaciona directa e fortemente com o desenvolvimento da escola, como também reflecte um reconhecimento da necessidade de uma prestação de contas externa relativamente à consecução dos níveis de qualidade requeridos pelo Estado.

Podemos concluir, acrescentando que a maioria dos autores, sistemas e projectos aqui mencionados, procura o equilíbrio nas três dimensões dentro do modelo anteriormente descrito neste capitulo, mas que tende a enfatizar, na avaliação interna, o apoio e a abordagem base-topo. Quais as consequências que este modelo pode trazer para o papel dos inspectores e das inspecções será o assunto da próxima secção.

2 Possíveis papéis para as inspecções nos sistemas que promovem a auto-avaliação e o desenvolvimento das escolas

Esta secção apresenta a opinião de diferentes autores relativamente ao papel das inspecções. Será feita uma tentativa de colocar os seus pontos de vista no contexto das dimensões mencionadas no capítulo anterior. Além disso, uma vez que um número de autores e projectos de auto-avaliação são


coincidentes no benefício que traz às escolas o apoio do amigo crítico na auto-avaliação, será descrito o papel e o envolvimento deste amigo crítico. De acordo com as fontes aqui utilizadas, a amizade crítica não é uma tarefa dos inspectores. Mas as consequências da ideia de amigo crítico podem ser significativas para o papel da inspecção. É por isso que ambas integram esta secção.

2.1 Opiniões sobre o papel das inspecções

Referindo-se às dimensões acima mencionadas, Van Petegem (1996–1997, p. 470) alerta para o facto de a pressão externa dever ser exercida com cuidado. Argumenta que quanto maior for a pressão externa, maiores são as probabilidades de ocorrerem efeitos colaterais indesejáveis. Por exemplo, pode existir uma confusão entre fins e meios. O autor diz que o que funciona, para a inspecção, como um instrumento de controlo de qualidade (verificar os procedimentos das escolas para levar a cabo a auto-avaliação) pode tornar-se um fim em si mesmo para a escola, porque se a inspecção é vista como estando preocupada exclusivamente com os processos de auto-avaliação, isso pode desviar a atenção do fim desejado: a melhoria das aprendizagens e dos resultados dos alunos.

Por isso, Van Petegem argumenta que a inspecção deveria limitar-se aos resultados da educação, enquanto as escolas se deveriam preocupar com a avaliação dos seus próprios processos. O controlo das inspecções sobre os processos pode ser contraproducente, resultando em fachada para inspector ver e em burocracia. Isto significa, também, que os resultados da auto-avaliação, no que se refere aos processos, deveriam ter como destinatárias as próprias escolas e não servir como meio de prestação de contas para o exterior.

Learmonth (2000, p. 113-115) desenvolve um ponto de vista mais completo e aponta os elementos nucleares para um novo sistema de inspecção. Estes elementos são os seguintes:

• um processo de inspecção que satisfaça os requisitos de prestação de contas para o exterior e que, simultaneamente, promova, directa e vigorosamente, a melhoria do desempenho em cada escola considerada individualmente;

• um quadro de referência para a avaliação das escolas que dê flexibilidade para tomar em consideração as necessidades, circunstâncias, pontos fortes e fracos da escola individual e do seu contexto sócio-económico;

• papéis claros e complementares aos da inspecção para aqueles que têm responsabilidades legais para facultar um serviço de educação: serviços centrais, autoridades educacionais regionais e locais e a própria escola;

• a recolha de dados que permitam fazer um retrato da escola tão detalhado, honesto e específico quanto possível;

• as evidências complementares do conhecimento profundo da escola por aqueles que lá trabalham permanentemente, ou temporariamente, bem como as diferentes perspectivas de outras experiências profissionais adquiridas noutros locais. A relação entre os que pertencem à escola e os que a vêem de fora é dinâmica e permite a cada grupo aprender com o outro;

• os mecanismos de apoio e de intervenção disponíveis para as escolas que, por qualquer razão interna ou externa, têm dificuldades, os quais deverão ser accionados antes que as dificuldades se transformem numa crise;

• um sistema nacional que mostre ao público até que ponto uma escola individual é responsável pelos seus próprios pontos fortes e fracos e até que ponto beneficia ou sofre as consequências das políticas nacionais ou locais;

• a flexibilidade do processo de avaliar selectivamente e, se necessário, apoiar elementos específicos da oferta educativa, em vez de assumir que é sempre precisa a avaliação global da escola;


• um sistema de inspecção que solicite contributos aos principais parceiros do processo de educação e que valorize as suas opiniões ao formular os juízos de valor sobre a qualidade da oferta educativa da escola;

• o reconhecimento de que a formulação segura destes juízos de valor é frequentemente um processo complexo que resulta de aproximações sucessivas, no qual todos os participantes reconhecem a sua capacidade de aprender mais. A formação em avaliação tem de estar conti-nuamente disponível para aqueles que trabalham nos serviços educativos;

• um esforço contínuo em convencer aqueles que trabalham dentro e fora das escolas (incluindo os políticos) de que uma inspecção externa não é, por definição, mais rigorosa, mais válida ou mais fiável do que uma auto-avaliação, sistemática e consistentemente enquadrada;

• um acordo em que os aspectos internos e externos da avaliação da escola não são vistos como exclusivos ou competitivos, mas como processos complementares que, em conjunto, apoiam as escolas no seu esforço para melhorar os padrões de desempenho dos seus alunos.

Learmonth apresenta esta visão de uma forma mais concreta ao distribuir possíveis papéis à Ins-pecção Nacional das Escolas, às Autoridades Locais de Educação e às escolas (132-134).

Inspecção nacional das escolas:

• proporcionar consultoria profissional ao governo, quer na formulação de políticas, quer na avaliação dos efeitos da política educativa;

• acompanhar a qualidade da avaliação da escola, coordenar a recolha de dados nacionais, quan-titativos e qualitativos, sobre a avaliação da escola e publicar periodicamente relatórios em formatos acessíveis;

• acompanhar e apoiar as prioridades das LEA, no âmbito dos seus Planos de Desenvolvimento da Educação para promover o desenvolvimento das escolas. Este papel de acompanhamento deveria incluir o direito de intervenção, caso as responsabilidades das LEA não estejam a ser cumpridas;

• inspeccionar aspectos importantes de oferta educativa nacional que não são aplicados por uma única instituição de avaliação, por exemplo, a articulação curricular entre níveis de ensino, ou a articulação da oferta educativa num agrupamento ou numa escola integrada;

• coordenar o programa de formação para desenvolver capacidades de auto-avaliação na escola. Esta deverá ter uma vertente nacional e uma vertente regional. A formação estaria disponível para todos os intervenientes nos serviços de educação e a todos os níveis;

• desenvolver critérios, que sejam sensíveis às vantagens e aos desafios das diferentes comunidades socioeconómicas, para avaliar o desempenho da escola;

• assegurar a presença de um inspector nacional para cada equipa de avaliação de escola (ou para uma amostra de escolas pré-definida), de modo a que a informação flua em ambas as direcções, entre cada escola e a administração.

LEA

• coordenar e, em última análise, validar as matrizes de auto-avaliação das escolas. Estas matrizes deveriam ser aprovadas pelos membros eleitos da LEA, os quais deveriam, também, ter acesso regular aos resultados das avaliações;

• promover a formação em avaliação de escolas a nível local, em parceria com instituições de ensino superior; promover também a investigação-acção baseada na escola e relevante para o seu desenvolvimento;


• acompanhar os níveis de desempenho dos alunos nas escolas tuteladas pelas Autoridades Locais e intervir rapidamente se as escolas (ou alguns aspectos da vida das escolas) começarem a ter dificuldades;

• coordenar o processo de constituição de equipas locais de inspectores profissionais8 e organizar formação contínua adequada para estes inspectores. As equipas de inspecção deviam incluir membros das LEA vizinhas, de modo a alargar a experiência e os pontos de vista de todos os participantes;

• contribuir para uma base de dados nacional, com informação quantitativa e qualitativa, pro-duzida pelos profissionais durante as visitas;

• apoiar a avaliação do director e do professor nas escolas e acompanhar a distinção entre auto-avaliação da escola e gestão do desempenho (por um lado, considerando a diferença entre a avaliação das aprendizagens dos alunos e o seu progresso e, por outro, apreciando o desempenho do professor).

Escolas

• desenvolver e implementar as matrizes de auto-avaliação, em cooperação com as Autoridades Locais de Educação, dando oportunidade a todos os actores na comunidade escolar (professores, pessoal não docente, membros da assembleia de escola, pais e alunos) para fazer críticas construtivas;

• promover a constituição de redes intra-escolares e inter-escolares, com vista a debater as prá-ticas profissionais, garantindo que estes intercâmbios tenham objectivos claros e constituam acções específicas de aprendizagem;

• disponibilizar à comunidade, de uma forma acessível e regular, relatórios sobre o progresso e os problemas no desempenho da escola. A validade destes relatórios deve ser confirmada pelas Autoridades Locais. Se não houver um acordo, a natureza do desacordo deve ser especificada no relatório (132-134).

Learmonth elabora uma proposta concreta sobre o sistema de validação da qualidade em Inglaterra, no qual as funções são divididas e harmonizadas entre a Inspecção, as Autoridades de Educação Locais e as Escolas. A sua finalidade é combinar a prestação de contas externa e o desenvolvimento da escola, tendo em atenção o contexto da escola individual. De acordo com Learmonth, estes são processos complementares e de apoio mútuo, visando ambos o mesmo objectivo: elevar o nível do desempenho dos alunos. O seu modelo de avaliação interna-externa parece ser orientado no sentido de atribuir à avaliação interna um importante peso face à avaliação externa. No que se refere à dimensão apoio-pressão, existe uma quantidade substancial de acções de apoio neste modelo, mas o apoio não tem sido prestado numa base voluntária. A dimensão pressão está ainda presente de um modo claro, tal como a abordagem topo-base.

Tal como Learmonth, Standaert (2001, 11-12) tenta determinar os princípios básicos do trabalho das inspecções. No seu estudo Inspectorates of Education in Europe - a critical analysis9 constrói um quadro teórico para analisar os sistemas de inspecção. Este quadro é baseado em dois campos de tensão. Um primeiro campo de tensão tem que ver com o conceito de qualidade. Existem várias

8 Em muitos países, as circunscrições regionais e locais, de base municipal ou inter-municipal, dispõem de um certo número de supervisões de educação, também chamadas de inspecções locais, e que não se confundem com inspecções nacionais, tituladas pelas Agências Nacionais de Inspecção, Inspecções Gerais ou Inspecções Regionais, em Regiões Autónomas. (N.T.).

9 Inspecções de Educação na Europa: uma análise crítica (N.T.).


perspectivas que originam diferentes formas de controlo de qualidade. Standaert sublinha duas abordagens extremas: a abordagem da sala de aula e a abordagem técnico-económica. À medida que a segunda tem vindo a tornar-se dominante, têm sido assinalados os possíveis perigos de um excessivo movimento padronizado à custa de uma abordagem integrada para o aperfeiçoamento da qualidade que, para além dos resultados, considera a situação inicial, os contextos e os processos na educação. Standaert também sublinha uma segunda área de tensão que existe entre a influência dos níveis de políticas central e local na qualidade da educação. Esta tensão é muito relevante para a actividade inspectiva, pois os sistemas de inspecção situam-se no nível central. Reconhece-se, cada vez mais, que a própria escola pode influenciar a qualidade da educação, de um modo que não se pensava ser possível. Este pressuposto é ainda mais real se a escola se tornar uma organização que aprende, mas sujeita a algumas condições.

Os dois campos de tensão coexistem num quadro interpretativo que se fundamenta no entendimento de que a racionalidade técnica (que, entre outras coisas, dá ênfase aos resultados educacionais e à tomada de decisão e controlo ao nível central) predominante na sociedade e na educação, deve evoluir para uma racionalidade técnico-interactiva que modere a anterior, dando maior enfoque aos processos educacionais e ao impacto local na tomada de decisão.

Esta análise pressupõe três importantes princípios básicos para o trabalho da inspecção:

• uma alteração do enfoque da inspecção, dando maior atenção à escola enquanto entidade que se auto-avalia;

• um pacote de indicadores nucleares que seja, até certo ponto, acompanhado ao nível central, com a possibilidade de ser largamente complementado localmente (ver também 3.4, expectativas do que é uma boa escola);

• implementar as inovações, através de inspecções sequenciais e de pressão por parte da Inspec-ção, por um lado, e através da informação e do apoio veiculados em actividades de formação continua e orientação, por outro.

Também aqui se procura um equilíbrio entre as três dimensões indicadas na página 9, acima. Nesta perspectiva, a dimensão externa, deve estar limitada a um pacote nuclear, passando a avaliação de todos os aspectos do desempenho das escolas a ser realizada por estas como entidades auto-avaliativas. O método de pressionar de cima para baixo ainda é necessário para implementar as inovações, mas deve ser complementado pelo suporte.

Clive Hopes (pp. 35 relatório da SICI: The evaluation of the quality of Self-assessment of schools10. (ver também a classificação do educador norueguês Trond Alvik, que descreve três formas diferentes que a avaliação externa/interna pode assumir: Paralela, sequencial e cooperativa).

MacBeath (1999, p. 90), em Schools must speak for themselves11, procura uma alternativa e uma abordagem apropriada, tendo em conta as diferentes culturas de inspecção, supervisão e avaliação. Dá uma série de exemplos:

• Abordagem crítica de todo o sistema

Neste modelo, a avaliação externa constitui uma abordagem bem desenvolvida, apreciando todo o sistema. A auto-avaliação da escola é obrigatória e os seus resultados são incorporados no processo de

10 A avaliação da qualidade da auto-avaliação das escolas (N. T.).11 As escolas devem falar por si (N. T. ).


avaliação externa. A inspecção é realizada por uma inspecção independente. A inspecção é, geralmente, bem distinta de outros organismos que dão apoio permanente às escolas.

• Avaliação externa levada a cabo através inspecção local

Cada escola submete-se a inspecções regulares, espaçadas por alguns anos, desenvolvidas por um inspector da região, que é responsável por várias escolas e que elabora um relatório. Este relatório pode ser utilizado como base de diálogo entre o inspector e as escolas, como ponto de partida para o seu desenvolvimento. As escolas têm conhecimento das áreas principais que são avaliadas e podem utilizar o roteiro para orientar a sua auto-avaliação. Nesta abordagem tradicional, o inspector é, frequentemente, envolvido no processo de correcção e de desenvolvimento. Este método implica uma incompatibilidade entre as funções de controlo e as de aconselhamento. Alguns inspectores, apesar de se sentirem à vontade com esta situação, não valorizam a percepção que dela têm os professores.

• Cooperação dos pares

A cooperação dos pares, tal como é utilizada tradicionalmente nas escolas secundárias dinamarquesas, requer visitas regulares às escolas por especialistas de áreas disciplinares, que aconselham os professores, ao mesmo tempo que são informados por eles acerca do currículo e dos exames. Estes dois pilares, como fundamento principal do controlo de qualidade, são objecto de discussão permanente por parte dos professores. Os conselheiros visitam os professores individualmente e organizam grupos de discussão com todos os professores de uma área ou disciplina numa escola com o fim de esclarecer pontos de interesse para os professores e de transmitir informação para o exterior. Como consequência das muitas visitas, são veículo privilegiado e recíproco de informação sobre a situação das escolas. Essa interacção pode ser vista como um diálogo contínuo de auto-avaliação no seio das escolas.

• Desenvolvimento organizacional

A auto-avaliação é realizada no âmbito de projectos especiais, tal como o desenvolvimento da escola por peritos externos no campo da avaliação. Nesta abordagem, existe uma sequência de avaliações para além de uma avaliação em cada fase. A presença de peritos externos serve para limitar o grau de auto-ilusão e modera conflitos internos, sendo estes dois aspectos considerados como potenciais fraquezas nos métodos de auto-avaliação sem avaliadores externos.

• Responsabilidade colegial de uma escola entre o seu Director e o Superintendente Local (Canadá)

Em vez de se considerar o inspector externo como um instrumento de intervenção, as avaliações mútuas sobre o estado da escola podem ser realizadas anualmente pelo Director e pelo Superintendente Local que o apoia, utilizando métodos de avaliação interna. Os objectivos são delineados, considerando áreas para desenvolvimento e áreas que mantenham os bons níveis de desempenho. O plano resulta de um acordo entre o Director e o Superintendente e é revisto no fim de cada ano.

Nem todos os sistemas de avaliação têm como suporte um grupo de inspectores. Nalguns sistemas, as inspecções são realizadas por colegas praticantes (podendo ser directores de escola, pais, membros da Assembleia de Escola, um membro de um instituição de ensino superior), representantes do comércio e da indústria e também membros do Departamento de Estado da Educação como nos sistemas de Rhode Island (SCIP), de Nova York e de Illinois (SALT). Nestes casos o sistema de visitas é concebido como


uma importante dimensão da participação do Estado no desenvolvimento profissional dos professores. O mais importante é que estes procedimentos acentuam o papel de colegas aprendizes tanto do avaliador externo como do avaliado.

Na procura de uma avaliação das escolas honesta e útil, a experiência dos colegas envolvidos na inspecção é importante para complementar o conhecimento especializado, e acumulado ao longo dos anos, da escola que vai ser avaliada (Learmonth, 2000, 124-125).

2.2 Auto-avaliação: o amigo crítico e a inspecção

Para descrever o conceito de amigo crítico utilizamos o relatório do projecto Evaluating quality in school education (1999). Nalguns sistemas o amigo crítico provou ser muito apreciado como fonte de apoio exterior à hierarquia directa da escola. O amigo crítico pode, como o projecto demonstrou, ser oriundo de diferentes áreas profissionais, cada uma com seus pontos fortes. Apesar de tal pessoa ser, acima de tudo, um amigo e um aliado da escola, deve também estar preparado para criticar, e desafiar, o que a escola está a fazer. Neste projecto, o amigo crítico, ao invés de um papel neutral tinha um papel de apoio e de defesa da escola, trabalhando em conjunto com os gestores e professores para transmitir a informação crítica necessária. O conceito de amigo crítico depende da gestão efectiva da tensão que existe entre mostrar uma atitude crítica face à escola de modo a desafiá-la nas suas práticas e manter o apoio incondicional das pessoas envolvidas, para que seja aceite e ouvido.

As escolas envolvidas no projecto Avaliação da qualidade da educação na escola valorizam o espírito aberto do amigo crítico. Estar esclarecido acerca dos papéis e objectivos e não possuir agendas ocultas foram vistos como os princípios fundamentais para a aceitação de um indivíduo externo. Os amigos críticos também foram classificados como sensíveis às necessidades dos diferentes indivíduos e grupos de actores na escola por serem bons ouvintes, pela exposição clara das suas ideias, pelo bom relacionamento com os professores e pela sua compreensão da complexidade da vida escolar. Em alguns casos o amigo crítico transformou-se em:

• conselheiro científico, que dá conselhos úteis, oferece uma visão clara dos pontos fortes e fracos da escola, informa e fornece materiais sobre auto-avaliação, sugere métodos, etc.;

• organizador, que modera os encontros, controla o tempo, estrutura os processos, dá orientações para a acção, etc.;

• motivador, que dá segurança e coragem, que é um bom ouvinte, que dá importância ao projecto de escola, etc.;

• facilitador, que lida com emoções, mantém o equilíbrio entre assuntos profissionais e pessoais, que questiona sobre relações interpessoais, etc.;

• colaborador em rede12, que cria redes, sugere possíveis actores externos ou de outras escolas e ajuda na construção da equipa, etc.;

• actor externo, que traz uma visão diferente, que é crítico e ocasionalmente contrapõe argu-mentos e cria múltiplas perspectivas, etc.

Os seguintes aspectos parecem ter sido relevantes no sucesso do amigo crítico:

• uma definição clara da relação entre a escola e o amigo crítico tem de ser estabelecida desde o início;

12 Networker, no original. Alguém que recolhe e partilha informação (N.T.).


• se o amigo crítico tem uma atitude de apoio em vez de domínio, a escola tem mais oportunidades de desenvolvimento autónomo;

• é importante saber com quem o amigo crítico trabalha. Se trabalhar com os pais ou com os alunos torna mais provável o aumento da participação nas actividades de auto-avaliação;

• o impacto do amigo crítico será, provavelmente, menor se não se identificar suficientemente com o trabalho da escola ou se não estiver disponível quando a escola necessita de apoio;

• se houver uma cultura de auto-reflexão positiva dentro da escola, o amigo crítico tem mais oportunidades de desempenhar o seu papel;

• o amigo crítico parece não ter tanta influência nos casos em que existe um envolvimento intenso do inspector da escola. Portanto, é importante estabelecer uma relação saudável entre o amigo crítico e a inspecção.

Face ao exposto, o conceito de amigo crítico como uma estrutura de apoio (fora do sistema de controlo) provou ser um dos pontos principais deste projecto.

Van Petegem (1996-1997, p. 461) também promove o conceito de amigo crítico. Do seu ponto de vista, o papel desta entidade restringiu-se à condução do processo de auto-avaliação em vez de interferir no seu conteúdo. De acordo com esta orientação, as escolas também necessitam de apoio técnico, por exemplo, de pessoas experientes em lidar com questionários.

O amigo crítico está claramente situado fora da hierarquia directa da escola e fora do sistema de controlo. Além disso, o papel do amigo crítico parece ficar fragilizado se o seu trabalho estiver fortemente associado ao trabalho dos inspectores da escola. Com base nestas observações, o papel dos inspectores de escola pode também ser definido de um modo negativo.

• o envolvimento no decurso do processo de auto-avaliação parece ser arriscado. A interferência da inspecção pode ser entendida como factor de pressão (em oposição ao papel de apoio do amigo crítico), pelo que é preferível uma avaliação a posteriori;

• deve ser evitada a combinação das funções de orientação e de avaliação dos inspectores, pois essa acumulução perturba o equilíbrio entre a avaliação externa e interna, confunde a pressão e o apoio e transforma a auto-avaliação numa iniciativa imposta em vez de uma actividade autónoma da escola. O amigo critico é mais um actor interno, exterior à escola, do que um inspector pode ser e, por isso, a escola utiliza-o como apoio, contribuindo para garantir o equi-líbrio correcto;

• uma associação estreita com os inspectores acarreta o risco de comprometer a posição de apoio do amigo crítico. O envolvimento da inspecção pode, também, colocar o amigo crítico numa posição de competição.

Não sendo fácil retirar conclusões da diversidade de informações e opiniões sobre o papel da ins-pecção, o projecto QUALS (1999) esboça uma conclusão:

Geralmente, pensava-se que uma abordagem integrada da avaliação, baseada na auto-avaliação da escola, orientada e apoiada pelas autoridades de educação, e algumas formas de avaliação nacional externa, que incluiria a meta-avaliação, poderia resultar num sistema robusto e eficiente.

A próxima secção, que é também a mais detalhada, aborda o conteúdo desta meta-avaliação, reflec-tindo sobre o que pode a inspecção observar enquanto avalia a auto-avaliação das escolas.


3 O que observar?

Esta secção contém os tópicos principais, baseados na literatura, que a inspecção podia utilizar ao observar a auto-avaliação da escola. Estes tópicos podem ser organizados da seguinte forma:

• fases da auto-avaliação;• instrumentos da auto-avaliação;• envolvimento dos actores;• o que avaliam as escolas? A necessidade de ter indicadores, padrões e critérios, e quadros con-

ceptuais;• elaborar relatórios da auto-avaliação;• impacto da auto-avaliação; • condições principais para o sucesso da auto-avaliação.

Em cada país, a variedade de tópicos visados depende de factores tais como o lugar da auto-avaliação no sistema de validação da qualidade no país e o objectivo da meta-avaliação da inspecção. Por exemplo, este objectivo pode ser a avaliação da eficácia da auto-avaliação e/ou a utilização dos resultados da auto-avaliação como base para a avaliação externa.

3.1 Fases da auto-avaliação

A maioria dos estudos revela que as escolas passam por várias fases quando querem desenvolver a auto-avaliação. Isto pode ser uma perspectiva para a meta-avaliação. Em si própria, é um modo de avaliação distante, orientada para os procedimentos mas que pode ser utilizada em combinação com outros critérios ou como um enquadramento geral na meta-avaliação.

A maioria dos autores menciona três fases: preparação, avaliação e acção sequencial.Um exemplo típico da estrutura apresentada por vários autores é o que expõe Willems et Prins

(1993, p. 5):

1 Orientação:Estamos prontos para a auto–avaliação?Quais os objectivos a atingir?

2 Preparação:Como organizamos a auto-avaliação?O que vamos avaliar?

3 Avaliação:Como reunimos os dados?De onde vamos recolher os dados?Como analisamos os dados?

4 Avaliar e reflectir sobre os dados:Avaliar os resultados em função de valores padrão ou de critérios;Interpretação dos resultados;Como vamos lidar com os resultados e conclusões preliminares?

5 Acção sequencial:Que decisões são tomadas para melhorar as áreas problemáticas?Como assegurar o desenvolvimento de acções?


Este é um exemplo de um procedimento bastante linear. Não obstante, na prática escolar, as diferentes fases nem sempre ocorrem pela mesma sequência. As diferentes fases ocorrem, parcialmente, em simultâneo e influenciam-se através de feedback mútuo.

3.2 Instrumentos de auto-avaliação

As escolas utilizam uma grande diversidade de instrumentos para realizar a auto-avaliação. Estes instrumentos são um auxílio para elas e ajudam-nas a levar a cabo a auto-avaliação. A natureza destes instrumentos pode variar de acordo com o objectivo da auto-avaliação (por exemplo, avaliação de um aspecto ou avaliação global da escola) e de acordo com a fase de auto-avaliação em que são aplicados. Para os inspectores pode não ser exequível a familiarização com todos os instrumentos e modelos disponíveis no seu país. Portanto, a inspecção pode utilizar um conjunto de critérios para verificar se os instrumentos usados garantem um mínimo de qualidade na auto-avaliação. Os seguintes critérios foram desenvolvidos por Cremers-van Wees et al. (1996).

1.º Adequação aos objectivos

Nem todos os instrumentos são adequados para cada escola. Cada instrumento deve ser compatível com o contexto escolar e com os procedimentos de avaliação (in)formal existentes.

2.º Um instrumento deve ter um critério ou uma norma base referenciada para comparação.

A escola deve ser capaz de analisar os resultados da auto-avaliação com vista a decidir se podem ou não ser considerados satisfatórios.

Existem diferentes meios para estabelecer uma base para tal avaliação:

• Uma base interna para comparação, na qual a situação existente é comparada com a situação considerada desejável pela escola, com as suas expectativas em função dos resultados. A apreciação da situação existente é, deste modo, determinada apenas pelas ideias e pelos objectivos da própria escola. É, por isso, uma forma limitada de referenciar critérios.

• Bases externas de comparação, nas quais a situação existente na escola é comparada com padrões gerais (exemplo: requisitos do currículo formal referenciados em critérios) ou com a situação nas outras escolas (referências normativas).

De acordo com o projecto Evaluating Quality in Schools (1999), os métodos de avaliação da qualidade devem ser normas de processo e não normas de conteúdo. Definem a qualidade da avaliação ou a validação da qualidade do procedimento (quem envolver, o que procurar) mas não estabelecem critérios de qualidade. Estes métodos ajudam os indivíduos em causa a determinar as suas forças e fraquezas. O seu objectivo é examinar o seu desempenho e os processos utilizados para descobrir como se adequar às necessidades dos actores, sem perder de vista o contexto em que se encontram. A apreciação da qualidade de resposta institucional é feita pelos próprios participantes e por aqueles que os apoiam.

13 Benchmarking, no original (N.T.).


Isso não significa que estes actores não utilizem critérios externos ou padrões tais como valores de referência13. Instituições externas, como as inspecções, podem ter um papel principal ao proporcionar às escolas acesso a dados que lhes permitem comparar-se entre si.

3.º Os instrumentos devem utilizar tanto os métodos quantitativos como os qualitativos na recolha e na análise da dados.

A educação é complexa e as avaliações da educação são muito sensíveis aos erros de medição. Portanto, é necessário uma abordagem multidimensional para medir e recolher informação com vista a fornecer um conjunto de informações fiáveis, verificáveis e válidas tanto como possível.

Um instrumento deve recolher informações objectivas e também opiniões de diferentes actores. Desta maneira, os aspectos avaliados podem ser observados de diversos ângulos. As análises devem estabelecer relações, bem como fornecer descrições.

Existem diversos meios de reunir informação. Eis alguns exemplos retirados do projecto Evaluating Quality in School Education.

• Questionários: eficiência e confidencialidade ou anonimato reforçados;• Entrevistas: consomem mais tempo; atingem maior profundidade do que os questionários, mas

levantam questões de validade e confiança;• Grupos focalizados: é uma forma de painel com interesse para as escolas, que junta um grupo

de pessoas representando a totalidade das opiniões (exemplo: 20 pais representando a totalidade das famílias). As questões e discussões visam evidenciar, com a máxima honestidade e detalhe, os pontos de vista daquele grupo de actores, utilizando técnicas de brainstorming, afirmações provocatórias…. Vantagem: económico e eficiente, permite obter informações qualitativas. Desvantagem: menor grau de confiança do que o questionário devido à amostra e à necessidade de ter um especialista a orientar as sessões.

• Observação de colegas: os professores reúnem-se com um colega para observar e dar feedback sobre a aprendizagem, o ensino, o apoio aos alunos com dificuldades de aprendizagem. É um desafio construtivo que provoca reforço positivo. Condições: confiança, honestidade, planea-mento, acordo sobre as áreas a focalizar.

• Observação de alunos: esta é uma observação feita pelos alunos; é muito apreciada por eles, aumenta a sua consciência face à tarefa e face ao papel do professor, bem como face à tensão entre ensinar (o que o professor faz) e aprender (o que o aluno faz).

• Coadjuvância: o observador actua como uma sombra do aluno, professor, ou director, acompanhando o indivíduo ou toda a turma no decurso de um certo período. Valor: dá uma visão longitudinal, uma imagem diacrónica dos acontecimentos em vez de uma simples fotografia isolada no tempo.

• Avaliação por fotografia, vídeo e imagem: envolve alunos que captam com câmaras aspectos da vida escolar que lhes são significativos. Valor: dá a oportunidade de identificar explicita-mente algumas das normas sociais subjacentes à escola que podem ser utilizadas para começar um diálogo aberto e construtivo, envolvendo directamente os interessados ou os visados.

• Campo de forças: é utilizado para examinar as forças dinâmicas que actuam em direcções opostas, que empurram ou se afastam dos objectivos a alcançar (por exemplo: questionar os alunos para identificar coisas que ajudem ou dificultem a aprendizagem).


4.º Um instrumento deve incluir contexto, input, processos e indicadores de output.

É importante olhar para ambos - os resultados da educação e os inputs e processos através dos quais se alcançaram estes resultados. Para além dos output, também estes tipos de indicadores determinam a qualidade da educação. O instrumento ideal recolhe dados e descreve a situação em cada um destes diferentes tipos de indicadores e depois estabelece claras ligações entre eles.

Como exemplo, podemos mencionar a Inspecção Flamenga, que aplica instrumentos baseados no modelo CIPO (Maes et al, 1999, 156-158). As escolas são informadas sobre os instrumentos e podem utilizá-los na sua auto-avaliação se acharem conveniente. Este modelo conceptual é uma matriz sistemática, que também é utilizado pela OCDE na definição de indicadores internacionais de educação. Nesta matriz, qualquer conhecimento dos efeitos da educação de uma escola deve dar prioridade aos processos educativos e organizacionais empregues e aos recursos utilizados (humanos, estruturais e materiais disponíveis) e não aos factores contextuais do ambiente da escola ou do sistema educativo (por exemplo, jurídico, administrativo, factores demográficos). Isto implica que a inspecção interprete a informação sobre a escola com uma visão clara de como cada um destes factores está interagindo nesse caso particular. Este modo de pensar é semelhante à auto-avaliação da escola.

CONTEXO

INPUT PROCESSO OUTPUT

Como o modelo CIPO é uma matriz vazia, tem de ser preenchida com indicadores e factos cuida-dosamente seleccionados. A selecção de indicadores é, entre outras coisas, baseada no enquadramento da política educacional flamenga. Esta é uma das razões pelas quais os indicadores específicos diferem de um sector educacional para outro.

Por exemplo, no ensino secundário os indicadores de output são o ponto de partida para as auditorias. O output é o efeito que a escola tem sobre a aprendizagem e o sucesso dos alunos. Os principais indicadores de output são os desempenhos de aprendizagem (objectivos finais), dados do percurso escolar, destino dos alunos que acabam a escolaridade (exemplo: transição para o ensino superior ou para o mundo laboral) e eficácia (valor acrescentado). Estes são operacionalizados em variáveis.

Em relação ao processo, a inspecção verifica como a escola utiliza os recursos disponíveis para maximizar a qualidade na educação que proporciona. Existe um indicador geral de processo, Indicador de Processo1: Intencionalidade conjunta, que é operacionalizado em três variáveis e 38 descrições. Os demais indicadores de processo estão divididos em indicadores orientados para as políticas educativas e em indicadores que dizem respeito à política de apoio à educação.

Os quatro indicadores de processo das políticas educacionais referem-se ao processo de aprendiza-gem. São operacionalizados em 13 variáveis e 133 descrições:

• Indicador de processo 2: Currículo• Indicador de processo 3: Coerência• Indicador de processo 4: Aconselhamento• Indicador de processo 5: Avaliação.


A política de indicadores de apoio à educação revela até onde a organização da escola, logística e política de profissionalização apoia a realização dos objectivos da educação. Está definida em três indicadores, sete variáveis e 79 descrições:

• Indicador de processo 6: Política organizacional• Indicador de processo 7: Política de pessoal• Indicador de processo 8: Política de logística

Os dados de input e o contexto também estão incluídos pois podem explicar ou apoiar os de output, tal como os indicadores de processo o fazem. O dados de input referem-se aos recursos que a escola aplica com vista à maximização da qualidade. Existem dados de input sobre os recursos humanos (alunos e funcionários da escola) e também sobre recursos estruturais e materiais. Os dados de contexto contêm a identificação da escola, a sua localização, bem como aspectos administrativos e legais.A inspecção fl amenga está actualmente a rever este instrumento.

5.º Utilidade

As escolas devem manusear com facilidade um instrumento e devem obter resultados que sejam úteis para as questões abordadas na sua auto-avaliação. Esse instrumento deve:

• ser facilmente manuseável: por exemplo, não requerer muito tempo para a familiarização com o instrumento ou com a sua utilização, nem exigir apoio e ter, além disso, procedimentos claros;

• proporcionar resultados úteis: por exemplo, articulação entre o enquadramento teórico e a prática diária, articulação entre os seus objectivos e os da auto-avaliação, facilidade no acesso dos participantes aos resultados...

6.º Exequibilidade

Importa ter em consideração a exequibilidade dos instrumentos em termos de custos efectivos e a relação custos-resultados.

A exequibilidade política deve também ser tida em conta devido à importância de envolver tantos actores quanto possível nas diversas fases de auto-avaliação.

7.º Aspectos éticos

Os objectivos da auto-avaliação devem ser antecipadamente definidos com vista a evitar objectivos ocultos ou falta de ética. Também deve haver:

• clareza nas tarefas e deveres dos envolvidos;• acesso fácil aos resultados;• protecção da privacidade e do anonimato;• objectividade dos avaliadores; é necessário ter em consideração que, na auto-avaliação, os

avaliadores também são objecto de avaliação;• garantia de um relatório honesto: exemplo - pontos fortes e fracos, mencionando as opiniões

das minorias, abordagem crítica dos resultados.


8.º Aspectos técnicos do instrumento

Estes incluem:

• Confiança;• Validade;• Enquadramento teórico e bases do instrumento;• Clareza de objectivos e métodos.

Na sequência do que foi dito na introdução sobre a auto-avaliação como uma ferramenta que é dirigida à acção, um instrumento ideal de auto-avaliação é um instrumento amplo que considera as necessidades da escola como ponto de partida, que leva a escola a reflectir e que actua para atingir os resultados possíveis (projecto Evaluating Quality in Schools, 1999, 96).

Ao escolherem os instrumentos, as escolas devem também estar conscientes da sua natureza e do objectivo para o qual foram concebidos. Alguns instrumentos são mais adequados para a comparação, outros estão mais orientados para o desenvolvimento.

O projecto Avaliação da qualidade nas escolas (1999, 75-76) pressupõe que um instrumento utilizado como referente habitual tenha uma comparabilidade elevada. Por exemplo, um questionário é construído à volta de questões e afirmações que se referem a certos padrões e normas estabelecidos pelos seus criadores. Todos os que completam este questionário dão as suas opiniões dentro de um conjunto de parâmetros. Os resultados ajudam a situar a população respectiva dentro deste enquadramento normativo.

Estas descobertas podem ser utilizadas pela escola como um diagnóstico sobre a posição corrente da escola com interesse para os outros, cuja consequência é a decisão sobre medidas adicionais. Con-siderando que as conclusões são habitualmente médias ou medianas estatísticas, não têm implicações imediatas no desenvolvimento, relevantes para uma pessoa ou situação. Habitualmente, como conse-quência, segue-se uma discussão sobre os passos para melhorar a situação.

Os métodos que são fortes para o potencial melhoramento são fracos na comparabilidade porque não podem ser utilizados (e não se espera que o sejam) com a finalidade de generalização. Mudança e desenvolvimento requerem sempre um contexto prático e o envolvimento de determinadas pessoas. Neste caso, através de um processo de compreensão, a situação melhora, novas ideias emergem, trans-formando as atitudes e o comportamento das pessoas. Contudo, sem informação comparativa pode tornar-se difícil avaliar com precisão a gravidade ou o significado das fraquezas identificadas.

A seguinte classificação de instrumentos (Willems & Prins, 1993) em função dos objectivos que pretendem alcançar, pode ser uma ferramenta útil para responder à questão: está a escola a trabalhar com o instrumento que melhor vai ao encontro dos objectivos da actividade de auto-avaliação a que diz respeito?

a) Instrumentos de auto-diagnóstico

Estes instrumentos são desenvolvidos para obter uma visão clara da situação corrente numa escola e com a intenção explícita de tomar medidas de aperfeiçoamento baseadas nos resultados. Willems & Prins identificam três subcategorias dentro deste grupo.

• A primeira subcategoria é a Avaliação centrada na escola. Aqui, os funcionários dão as suas opiniões sobre a diferença entre a situação desejada e a situação real do funcionamento da escola. Têm, igualmente, de mencionar se certos elementos podem ou não ser melhorados.


A percepção do pessoal é o padrão (interno) para decisões e acções. A auto-avaliação pode envolver qualquer aspecto da escola. São exemplos em língua inglesa o GRIDS e os sistemas GIL (Hopkins, 1987) e em holandês o sistema SAS (Voogt, 1989, 1991);

• A segunda subcategoria inclui sistemas para diagnóstico organizacional. Estes sistemas utilizam um padrão externo para determinar se, e até que ponto, uma situação na escola pode ser considerada satisfatória. Não é o pessoal, mas antes uma teoria organizacional válida que determina o critério. Um exemplo é o School Health Inventory (Hoy & Feldman, 1987) que as escolas podem utilizar para verificar se os critérios de uma organização saudável estão reunidos.

• A terceira subcategoria é a abordagem dos indicadores. Anteriormente foi dado um exemplo oriundo da inspecção flamenga. A investigação sobre escolas eficazes pode ser uma fonte de inspiração para desenvolver indicadores de sistema. Para além do uso desta abordagem na (auto-)avaliação da escola, também é possível utilizá-la para que os países se comparem no tempo ou entre si. Os indicadores de informação sobre a qualidade podem ser quantitativos e qualitativos e podem envolver o contexto, input, processos e aspectos do output. A relação mútua entre estes elementos é crucial (Olthof, et al.; Scheerens et al., 1988);

b) Sistemas de informação acerca da gestão da escola.

Estes sistemas são maioritariamente conduzidos pelos fluxos de informação e pelas necessidades de uma organização. Não são desenvolvidos explicitamente para melhorar a escola, mas podem ser utilizados com esse fim. Todos os aspectos da vida escolar podem, em princípio, ser avaliados, mas, na prática, estes aspectos têm de ser quantificados porque estas abordagens utilizam sistemas computadorizados na maioria dos casos. Geralmente, os padrões existem no sistema, embora o utilizador tenha de determinar se existe ou não uma melhoria. O sistema também pode ser utilizado para recolher informação rapidamente e para fazer ligações entre grupos de dados.

c) Sistemas com o desempenho dos alunos como base.

Aqui, dados como o desempenho dos alunos e o valor acrescentado dos alunos são analisados para obter informação sobre o funcionamento da escola. Alguns exemplos são as turmas, os professores, a média das disciplinas. Nesta abordagem, existem sistemas de monitorização dos alunos e também sistemas nos quais os dados sobre o desempenho dos alunos, recolhidos, por exemplo, via investigação, são fornecidos à escola. Nos sistemas de monitorização dos alunos, o seu progresso é regularmente avaliado para obter informação sobre o desempenho e a evolução com a intenção de observar certos grupos ou até uma escola inteira (Gillijns, 1993; Van Doorn & Soethout, 1990).

3.3 O envolvimento do parceiro

O projecto Evaluating Quality in School Education indica que, se a auto-avaliação visa a melhoria da escola, tal deve ser um processo participativo. Uma vez que é delineada em função de professores, alunos e pais deveria envolvê-los, ou aos seus representantes, tanto quanto possível no processo. Além disso, é importante alcançar um acordo sobre o que vai ser avaliado antes de se avançar. Isto significa que, segundo a mesma fonte, um nível satisfatório de participação no processo de auto-avaliação será mais facilmente alcançado se os actores estiverem envolvidos não só na fase operacional mas também na concepção, na observação e na avaliação.


Em relação ao envolvimento dos actores, Devos et al. observaram o seguinte:

• na maioria dos casos, o Director toma a iniciativa de auto-avaliação:• o envolvimento activo durante o processo de avaliação está sobretudo limitado ao Director e

a um pequeno grupo de professores. Alguns deles gostariam de envolver mais professores e outros actores, mas na realidade esta situação não acontece;

• os alunos só estão envolvidos quando são o objecto da auto-avaliação.

3.3.1 A perspectiva do professor

De acordo com o projecto QUALS, uma das áreas mais problemáticas da avaliação, incluindo a auto-avaliação, foi a sala de aula. Um número significativo de países relatou dificuldades em ultrapassar a resistência dos professores à avaliação que incidia sobre a sua competência profissional ao nível da sala de aula. Os professores geralmente olharam para esta avaliação como ameaçadora ou como uma intrusão indesejada na sua autonomia profissional, reflectindo o que se designa como paradigma da autonomia e paridade, o qual declara que todos os professores são autónomos no seu trabalho e que têm o mesmo valor. A natureza celular da organização da escola combateu, frequentemente, uma atmosfera avaliativa aberta e o aumento das abordagens em equipa. Porém, houve indicações de que, nos casos em que os professores tinham recebido um nível elevado de formação e lhes foi reconhecido o respeito e o estatuto de profissionais, estiveram mais inclinados a ser participantes activos na auto-

-avaliação. Se fosse proporcionada a formação em auto-avaliação, a participação seria posteriormente intensificada. (Ver também Auto-avaliação e prestação de contas, 1.2).

3.3.2 A perspectiva do estudante

Em relação à perspectiva do estudante, muitas escolas e projectos de investigação desenvolveram práticas para levar a voz do estudante à auto-avaliação da escola. Este processo pode ser desenvolvido pelas escolas que pretendam responder à exigência de introduzir elementos de cidadania no currículo e noutros aspectos da vida da escola. Um exemplo óbvio e desejável da democracia prática no trabalho são as oportunidades dadas aos estudantes para desenvolverem as suas perspectivas sobre o ensino e a aprendizagem e outros assuntos mais amplos, e ouvi-los na escola.

Entre os mais abrangentes e esclarecedores estudos sobre a voz do estudante na auto-avaliação das escolas estão os projectos Improving School Effectiveness (ISEP) desenvolvido na Escócia, e Making Belfast Work: Raising School Standards (MBW/RSS). O International School Effectiveness and Improvement Centre 14 (ISEIC) em Londres, participou em ambos (ver, respectivamente, Robertson and Sammons 1997 and Sammons et al. 1997).

Jon Pickering (1997) resumiu de um modo lúcido e acessível tanto os casos do bom acolhimento da voz do estudante nos debates sobre a avaliação da escola, como também alguns dos obstáculos actuais que impedem que esta situação aconteça plenamente (Learmonth, 2000).

Em resumo, a auto-avaliação parece ganhar com o envolvimento do maior número de actores possível. Este é um assunto a ser considerado no trabalho de inspecção, apesar de, face aos resultados da pesquisa, tal não ser sempre evidente. No caso particular do pessoal parece óbvio que, sem as con-dições adequadas, frequentemente, os professores consideram ameaçadora a avaliação do desempenho na sua sala de aula.

14 Centro Internacional para a Eficácia e o Desenvolvimento das Escolas (N.T.).


3.4 O que avaliam as escolas? A necessidade de estabelecer conjuntos de indicadores, padrões e critérios, e quadros conceptuais

3.4.1 O que devem abranger os critérios, indicadores e padrões?

Como foi mencionado no ponto 3.2, a auto-avaliação deve envolver contexto, input, processo e indicadores de output.

Mas em que podem as escolas basear-se para seleccionar estes indicadores? De acordo com Van Petegem, qualquer conjunto de critérios deve evidenciar o que contribui para uma boa escola ou para a boa educação. Podem inspirar-se em vários aspectos ou trabalhos:

• na expectativa geral do que é uma boa escola, por exemplo, nos requisitos mínimos fixados pelo governo para cada escola e sobre os quais exista um consenso na sociedade ou na visão da inspecção (como representante das autoridades) do que é uma boa escola, expressa no conjunto de indicadores que utilizam;

• na visão da escola sobre si própria, em documentos normativos como o plano de desenvolvi-mento da escola, regulamento da escola, plano anual. As escolas podem focalizar a avaliação da sua própria política (exemplo - orientação dos alunos, participação);

• na investigação sobre a eficácia da escola (ou outra pesquisa) que produza critérios com ine-quívoco valor científico.

O projecto Evaluating Quality in School Education (1999, 13) revela que, ao escolher prioridades de acção no processo de auto-avaliação, as escolas seleccionam áreas de acordo com o que sentem poder ou não modificar. A área mais frequentemente escolhida foi o tempo como recurso de aprendizagem e a escolha menos popular foi a relação escola-comunidade. Nalgumas circunstâncias, a reorganização do tempo é um dos aspectos mais fáceis de alterar, enquanto provocar um impacto na comunidade é uma tarefa muito mais ambiciosa. Outra escolha popular está relacionada com pequenas alterações em projectos de desenvolvimento anteriores.

As escolas que escolhem poucas áreas de enfoque e acção podiam trabalhar com maior profundidade nas fases de diagnóstico e de desenvolvimento.

Outra contribuição que pode ajudar os inspectores a observar o que as escolas avaliam tem origem em Stoll e Fink (Learmonth, 2000, 40-41). Partindo de comparações internacionais, sumaria as considerações mais importantes para as escolas, ou outras organizações, estabelecendo indicadores para a auto-avaliação:

• a finalidade e a audiência para a recolha de informação devem estar bem definidas;• é importante medir e reconhecer os resultados;• os indicadores de desempenho são somente uma parte da vida de uma escola; • existe o perigo de facilmente sobreavaliar resultados mensuráveis à custa dos que são menos

quantificáveis;• os indicadores deviam medir aspectos que persistem nas escolas, de modo a analisar tendên-

cias;• uma vasta audiência deve compreender os indicadores;• as informações não devem ser recolhidas só porque estão disponíveis;


• os indicadores devem tratar aspectos de qualidade, equidade e eficiência;• recolher muito poucos indicadores pode levar a dificuldades de interpretação por insuficiência

de informação. Demasiados podem criar grandes dificuldades.

Acima de tudo, é importante que toda a comunidade educativa verifique que a informação recolhida seja utilizada de tal maneira que possa influenciar a política e a prática (Learmonth, 2000, 40-41).

3.4.2 O que devem os quadros conceptuais abranger?

Na maioria dos casos, indicadores, padrões e critérios são partes de um quadro conceptual. Macbeath (1999) argumenta que o problema dos quadros conceptuais é que eles não fazem sentido apenas no papel ou de forma abstracta. Têm de fazer sentido nas cabeças das pessoas e nos seus diálogos. Não importa quão elegante seja o quadro, pois é quase sempre modificado e reconstruído quando aplicado na prática. E assim deve ser. Tal como qualquer conhecimento, este adquire significado ao ser recons-truído. Qualquer modelo conceptual, matriz ou tentativa do seu desenvolvimento ou aperfeiçoamento tem de respeitar estes princípios fundamentais. Deve:

• começar pela própria experiência e compreensão dos professores;• ter um objectivo com sentido claro;• ter uma estrutura que ajude a dar sentido à experiência;• incidir nas prioridades;• ser sensível ao contexto;• ser económico;• ter impacto;• juntar várias partes num todo coerente;• ser amigável;• ser inclusivo;• ser flexível;• fornecer um modelo de como fazer em vez de o que fazer;• ter a liberdade de adoptar as mudanças;• proporcionar as ferramentas para o trabalho;• ter resultados passíveis de discussão;• estar orientado para a acção;• conduzir o aperfeiçoamento individual e da escola.

Os professores, tal como os inspectores e os políticos, trabalham a partir de teorias implícitas; isto é, têm por certas convicções e intuições que suportam a sua vida profissional e dão forma à sua prá-tica diária. Num contexto profissional, argumentaríamos que tais teorias internas devem ser explícitas mais do que implícitas. Se estão acessíveis, podem ser examinadas e testadas e reformuladas caso seja necessário. Este é um dos objectivos primeiros da auto-avaliação.

15 National Union of Teachers (N.T.).


3.4.3 Quadros conceptuais: dois exemplos

Baseado no estudo NUT15 (1995) (com a participação de professores, pais, alunos e outros grupos), e nos estudos subsequentes efectuados em diversas escolas na Inglaterra e no País de Gales, em 1998, encontramos no trabalho de John MacBeath dez grupos de indicadores. Estes podem ser ilustrativos de um possível quadro conceptual que vá ao encontro dos critérios sublinhados anteriormente neste capitulo. São os seguintes:

• clima de escola;• relações; • organização e comunicação;• tempo e recursos;• reconhecimento dos objectivos alcançados;• equidade;• articulação família-escola;• apoio ao ensino;• clima de sala de aula;• apoio à aprendizagem.

Um modelo alternativo que considera mais directamente os aspectos de output, foi desenvolvido (e discutido num workshop da SICI) por Deketelaere (1999) que analisou seis quadros conceptuais de diferentes países e fez um proposta para ordenar todos os aspectos ou indicadores de qualidade em quatro áreas chave da qualidade:

a) Output (abrangendo: sucesso escolar, realização de objectivos, resultados, produtos);b) Processos ensino-aprendizagem (abrangendo: currículo, orientação dos alunos, qualidade do

ensino, avaliação, carácter, clima pedagógico);c) Gestão (abrangendo: gestão escolar, liderança, organização, validação da qualidade, comunicação,

gestão de pessoal);d) Contexto-input (abrangendo: infra-estrutura, contexto financeiro, características dos novos

alunos, exigências legais, estruturas de apoio externas à escola).

No mesmo relatório do workshop da SICI podemos ler que existe um consenso face ao seguinte:

• estas quatro áreas-chave abrangem todos os aspectos da qualidade que as inspecções querem inspeccionar;

• uma avaliação da qualidade de uma escola deve considerar estas quatro áreas-chave.

Nas matrizes para inspecção, indicadores ou variáveis, ou aspectos, têm vários níveis de abstracção. Ann Deketelaere, baseada na análise de conteúdo e na análise linguística, propôs o uso de quatro níveis:

1. Áreas-chave da qualidade: as quatro áreas-chave mencionadas anteriormente;2. Indicadores: preferivelmente factores gerais numa área-chave da qualidade;3. Variáveis: características mais específicas de um factor numa área-chave da qualidade;


4. Descrições: da forma que uma variável pode adquirir em determinada situação. Tal descrição contém uma norma: se uma descrição ou outra similar é observada, a variável adquire um certo valor.

A diferença entre os dois níveis de abstracção indicadores/variáveis não é nítida. Um indicador – como foi dito – deve ser identificável como um aspecto da qualidade, que é claramente distinguível e talvez mensurável (exemplo: resultados dos exames como um indicador na área-chave output), mas, em qualquer caso, observável (exemplo – liderança na área-chave da gestão). O indicador deve ser comunicável. Se os indicadores reúnem estas estas características podem servir como uma estrutura:

• que focaliza a auto-avaliação na escola;• que focaliza a avaliação externa como, por exemplo, uma inspecção total de escola;• para o relatório sobre o estado da educação, que a maioria das inspecções tem de entregar aos

seus ministros e/ou parlamentos;• para debater a educação na sociedade.

O relatório do workshop propõe:

Área-chave output:

1. sucesso escolar, realização de objectivos (em variáveis tais como: exames, ou resultados dos testes);

2. valor acrescentado da escola;3. a capacidade dos alunos para aplicar as conhecimentos aprendidos;4. a capacidade dos alunos para aplicar competências sociais e de vida;5. satisfação dos alunos, dos pais e das escolas onde prosseguem estudos;6. destino dos alunos que saem da escola;7. assiduidade e participação.

Área-chave Processos de ensino-aprendizagem:

1. o currículo oferecido pela escola;2. o ensino (em variáveis tais como: estrutura, clareza, desafio, estratégia, avaliação, desenvolvi-

mento dos recursos, resposta às diferenças, eficiência);3. o conteúdo (em variáveis tais como: nível de exigência das disciplinas, relevância, actualidade,

adequação à realidade);4. o clima pedagógico (em variáveis tais como: carácter, resposta às diferenças, desafio, interacção,

segurança);5. a aprendizagem (em variáveis tais como: envolvimento, planeamento, informação de retorno,

estratégia, competências, avaliação, gestão de tempo, cooperação);6. gestão da sala de aula.

Área-chave Gestão

1. validação da qualidade;2. liderança;


3. visão construída;4. comunicação na escola;5. organização;6. gestão de recursos humanos;7. ligações com a comunidade mais vasta.

Área-chave Contexto Input

Foram anteriormente assinalados alguns dos indicadores desta área-chave como podendo ser fortemente influenciados pelas escolas, enquanto outros excedem largamente o seu controlo. Consequentemente, a função explicativa destes indicadores é muito variável. Aqui, o ponto principal é o modo como a escola lida com os desafios e com as oportunidades que são lhe apresentados pelo seu contexto input. Estes incluem os seguintes:

1. característica do ambiente (variáveis tais como urbanização, riqueza, oportunidades de educa-ção);

2. características dos alunos matriculados na escola (variáveis tais como: condições de saúde, situação socioeconómica, domínio da linguagem, apoio da família ao estudo, carácter, percurso escolar anterior);

3. infra-estrutura (em variáveis tais como: premissas, edifícios, situação financeira, TIC).4. características do pessoal (em variáveis tais como: educação, carácter, qualidade de ensino,

relações com a comunidade);5. levantamento do número de alunos (em variáveis tais como: etnicidade, género, competências

linguísticas, necessidades educativas especiais).

3.5 Relatório da auto-avaliação

Devemos considerar os seguintes critérios quando planeamos a melhor forma de dar a conhecer os resultados do processo de auto-avaliação.

De acordo com Devos et al., os resultados da auto-avaliação devem ser facultados aos próprios pro-fessores, para que estes mantenham a sua cooperação. Além disso, os resultados devem ser colocados no seu próprio contexto e cuidadosamente explicados de modo a evitar interpretações erradas.

Cremers-van wees et al. (1996) reforçam o ponto de vista de que a informação de retorno sobre os resultados deve ser facultada a todos os envolvidos. Além disso, eles acentuam que é importante que os relatórios da auto-avaliação sejam honestos, acessíveis e compreendidos por todos os participantes.

Habitualmente, a estrutura e o conteúdo destes relatórios dependem da perspectiva da inspecção sobre a meta-avaliação. Nos relatórios dos países podem ser encontrados exemplos.

3.6 Impacto da auto-avaliação

Na análise final, toda a fundamentação da auto-avaliação é baseada na expectativa de que con-duzirá a algumas melhorias ou impactos em função dos objectivos estabelecidos no início do processo. Também é possível que as actividades de auto-avaliação produzam efeitos não pretendidos. Portanto, o impacto da auto-avaliação é um tema fundamental a ser observado pela inspecção.

Um exemplo de possíveis áreas de impacto pode ser encontrado no relatório QUALS (1999). Os países participantes neste projecto variavam na medida em que a auto-avaliação era parte integrante do seu


sistema; tal foi visto como um aspecto de crescente importância da avaliação, estritamente ligado à melhoria da escola. De facto, houve muito apoio à visão expressa por Posch:

«a auto-avaliação é um núcleo indispensável de qualquer avaliação caso se pretenda um desenvolvimento sério. O julgamento profissional dos professores, a sua disponibilidade para reflectir sobre o processo educacional e os seus resultados e para comparar o seu trabalho com o dos outros, são pré-requisitos indispensáveis para o desenvolvimento da qualidade educativa...»

A auto-avaliação estava habitualmente ligada a escolas que desenvolvem maiores níveis de auto-nomia e que assumem a responsabilidade pelo planeamento do seu próprio desenvolvimento.

Além do mais, olhando através de melhorias específicas nas áreas-alvo, havia uma importante dimensão extra face à auto-avaliação por parte do pessoal da escola, que transcendia os benefícios específicos visados para áreas particulares. Esta dimensão extra era o fortalecimento do profissionalismo dos professores, a sua motivação e a sua capacidade para trabalhar em cooperação, como uma equipa na escola e em contextos mais vastos. Este foi um aspecto notável da resposta dos professores e directores das escolas em todos os países.

São feitas listas dos modos como a auto-avaliação pode ter um impacto positivo nas escolas, no projecto Evaluating Quality in School Education (1999) e também em Devos et al.

• aumenta o auto-conhecimento: «Agora compreendemos melhor a escola»;• resulta, frequentemente, no reconhecimento dos objectivos alcançados: reconhecimento do

trabalho que já está a ser desenvolvido na escola;• aumenta a autoconfiança e facilita a abordagem das avaliações externas (Inglaterra). Também

fornece os dados necessários para uma interacção mais produtiva com organismos externos;• desenvolve-se um sentido de prestação de contas, fazendo sentir uma necessidade constante de

adaptação;• torna possível uma prestação de contas mais objectiva;• alarga as perspectivas e dá aos funcionários uma compreensão mais detalhada da escola e uma

visão mais abrangente e sofisticada do que é a avaliação. Trabalhar em rede com outras escolas contribui fortemente para este aspecto;

• gera a compreensão e o discernimento sobre a finalidade, os processos e o valor da auto-avaliação (ajuda a definir critérios de avaliação, identifica pontos fortes da escola, identifica lacunas e necessidades de mudança, fornece informação sobre iniciativas prévias, fornece ferramentas para análise, permite um enfoque sistemático na realização de objectivos, dá oportunidade de ouvir, noutra perspectiva, os estudantes e os pais);

• fortalece a cultura geral da escola, a cultura da avaliação e a cultura do profissionalismo;• clarifica que consciência, compreensão e melhoria das relações são coisas intrinsecamente

boas, mas não suficientes. A avaliação deve conduzir ao planeamento e a estratégias de acção. Benefícios a longo termo: escolas com mais experiência olham para a auto-avaliação como parte integrante da prática escolar;

• gera uma forte capacidade política ao nível da escola;• alinha a autonomia profissional individual dos professores à política da escola;• fortalece a escola não só para conduzir uma política reactiva, mas para reagir criativa e pro-

activamente a todos os tipos de situação e de desenvolvimentos: «guiar-se a si próprio para não ser guiado». Isto requer mecanismos de controlo interno e procedimentos que podem ser produzidos por sistemas de auto-avaliação;

• introduz, em geral, melhorias nas escolas: encoraja-as a serem mais pro-activas na monitorização


do seu próprio progresso, a centrarem-se no trabalho de equipa, no aperfeiçoamento das relações com os actores envolvidos;

• promove a democracia, o intercâmbio de informação, a consciencialização sobre as áreas mais preocupantes, o aumento das expectativas nos resultados académicos, a identificação de boas práticas;

• tem um impacto positivo na aprendizagem dos estudantes;• a auto-avaliação leva à acção e melhoria (a curto e a longo prazo) nas áreas avaliadas.

3.7 Principais condições para o sucesso da auto-avaliação

Ao longo dos itens atrás mencionados, um número de temas fundamentais identificados (no trabalho de projecto e pesquisa) foram considerados cruciais para o sucesso da auto-avaliação (Evaluating quality in school education project, 1999, Macbeath 1999, Devos et al.). Estes temas fundamentais dão informações de fundo úteis que os inspectores podem considerar na sua meta-avaliação:

• o impacto potencialmente positivo do amigo crítico;• a disponibilização dos dados adequados;• a escolha de um pequeno número de áreas de enfoque na avaliação;• atitudes positivas face à auto-avaliação;• uma actividade iniciadora que junte tantos actores quanto possível e estimule o processo de

auto-avaliação;• um elevado nível de participação não é, em si, uma condição suficiente para produzir um forte

impacto na escola, nem para garantir uma elevada satisfação, mas é uma condição necessária para tal;

• para que o processo participativo traga satisfação também necessita de ter um impacto ao nível da escola;

• um elevado nível de adesão e de empenho de professores e alunos é uma condição para que um processo participativo resulte na melhoria da escola;

• a satisfação no processo, em si, não é suficiente para produzir atitudes positivas relativamente à auto-avaliação. Adicionalmente, é essencial que a escola acredite que haverá um impacto sobre a eficácia e o desenvolvimento e que irá produzir um maior grau de empenho dos alunos na sua aprendizagem. Isto é compatível com a constatação de que a satisfação dos professores está relacionada com a percepção da eficácia da escola e com a capacidade de aperfeiçoamento;

• o processo que conduz à escolha das avaliações ou acções é de uma importância crucial. Este processo tem de envolver um número adequado de actores, confiar nos dados obtidos, ter consequências em avaliações (ou acções) de um pequeno número de áreas, cuidadosamente escolhidas;

• a capacidade de escolher e focalizar num campo específico relevante para qualquer grupo de actores é passível de baixar significativamente o nível de frustração e de assegurar um nível de participação mais satisfatório;

• se a avaliação for praticada como um processo de compreensão do que é a qualidade (ou do que poderia ser) – como oposição à simples medição de padrões pré-determinados – mais fácil é para os pais e alunos tornarem-se actores no processo em pé de igualdade;

• a necessidade de atmosfera aberta, de boa comunicação na escola e de uma cultura democrá-tica;

• uma abordagem profissional da auto-avaliação;• clareza sobre os objectivos da auto-avaliação;


• objectividade;• utilização criativa dos instrumentos existentes;• considerar sempre o contexto da escola;• reconhecer que o estabelecimento de um processo eficaz de auto-avaliação requer uma

aprendizagem de vários anos.

Finalmente, em relação à organização geral do contexto, factores tais como um elevado nível de autonomia escolar, algum encorajamento e apoio a nível nacional à auto-avaliação e uma articulação coerente dos procedimentos da auto-avaliação com outras formas de regulação e monitorização (espe-cialmente em relação à avaliação externa das escolas) favorecem, provavelmente, o desenvolvimento eficaz da auto-avaliação da escola.


Bibliografia

CREMERS-VAN WEES; L.M.C.M., REKVELD; I.J., BRANDSMA; H.P., BOSKER, R.J. 1996 Instrumenten voor zelfevaluatie. Beschrijving van 31 instrumenten. Enschede, Universiteit

Twente, OCTO, IV, 180 pp.

CREMERS-VAN WEES; L.M.C.M., REKVELD; I.J., BRANDSMA; H.P., BOSKER, R.J.1996 Instrumenten voor zelfevaluatie. Inventarisatie en beschrijving. Enschede,Universiteit Twente,

OCTO, IV, 128 pp.

DEKETELAERE, Ann 1999 Indicators for good schools: analysis and proposals. Report on the workshop organized by

the Flemish inspectorate for SICI. Utrecht/Brussel, SICI/Inspectie van het Vlaamse Onderwijs, 125 pp.

DEVOS, G., VERHOEVEN; J.C., VAN DEN BROECK, H.s.d. Interne zelfevaluatieinstrumenten voor kwaliteitszorg in het Secundair Onderwijs (OBPWO

96.04). Gent/Leuven, Vlerickschool voor Management/Katholieke Universiteit Leuven, Departement Sociologie

GILLIJNS, P. 1993 Het leerlingvolgsysteem van het CITO. Inhoud en werkwijze. Tijdschrift voor Orthopedagogiek,

(32), 30-45.

HOPES, C.; SCHIRP, H.1999 The Evaluation of the Quality of the Self-Assessment of Schools. Report on the workshop 8-9

April 1999: SICI, DIPF, MSWWF and LSW. Soest, Landesinstitut für Schule und Weiterbil-dung, 154 pp.

HOPKINS, D. 1994 Institutional Self-Evaluation and Renewal. In T. Husen & T.N. Postlethwaite (eds.), The inter-

national encyclopedia of education. Oxford, Pergamon, 2847-2852.

HOY, W.K.; FELDMAN 1987 Organizational health: the concept and its measure. Journal of research and development in

education, 20 (4), 30-37.

LEARMONTH, J. 2000 Inspection. What’s in it for schools? London/New York, Routledge Falmer, 171 pp.

MACBEATH, J.1999 Schools must speak for themselves. The case for school selfevaluation. London/New York,

Routledge Falmer, 165 pp.

MACBEATH, J.; SCHRATZ, M.; MEURIT, D.; JAKOBSEN, L.2000 Self-evaluation in European schools. A story of change. London/New York, Routledge Falmer,

202 pp.


MACBEATH, J.; SCHRATZ, M.; MEURIT, D.; JAKOBSEN, L.1999 Evaluating quality in schools. A European pilot project. Final report. Brussels, European

Commission, 118 pp.

MAES, B.; VER EECKE, E.; ZAMAN, M.1999 Inspectorates of Education in Europe. A Descriptive Study. Utrecht/Brussels, SICI-DVO, 431

pp.

OLTHOF, A.; EMMERIK R.; SATTER, J.s.d. Effectieve scholen en kwaliteitszorg. Een onderwijsindicatorenstelsel voor scholengemeen-

schappen. (Meso-Focus.) Culemborg, Educaboek, 78 pp.

QUALS, Pepin N.1999 Mechanisms for quality assurance and evaluation of school education (SOCRATES Programme

(III, 3.1) Agreement Number 96-01-3PE-0421-00). Edinburgh, The Scottisch Office Educa-tion and Industry Department, HM Inspectors of Schools, Audit Unit, II-62 pp.

SCHEERENS, J.; STOEL, W.G.R.; VERMEULEN, C.J.A.J.; PELGRUM, W.J.1988, De haalbaarheid van een onderwijs-indicatorenstelsel voor het basis- en voortgezet onderwijs.

Enschede, Universiteit Twente, Onderzoekcentrum Toegepaste Onderwijskunde, VI-83 pp.

STANDAERT, R.2001, Inspectorates of Education in Europe. A critical analysis. Leuven/Leusden, Acco, 122 pp.

VAN DOORN, F.; SOETHOUT, H.1990 Leerlingvolgsysteem. Een Management Informatie Systeem? School & Begeleiding, Juni, 37-

41.

VAN PETEGEM, P.1998 Visie- en methodologie-ontwikkeling voor de zelfevaluatie van scholen. Schoolleiding en -

begeleiding. Aflevering 22, Oktober, 1-44.

VAN PETEGEM, P.1996-1997 Scholen op zoek naar hun kwaliteit. Effectievescholenonderzoek als inspiratiebron voor

de zelfevaluatie van scholen. Gent, Universiteit Gent, doctoraatsverhandeling, 539 pp. + bijlagen.

VOOGT, Janna C.1989 Scholen doorgelicht. Een studie over schooldiagnose. De Lier, Academisch Boekencentrum,

1989, X-252 pp.

doc 5 eficácia da autoavaliação das escolas1.indd

Documents