AvaliaAvaliaççãoão das das OrganizaOrganizaçções Escolares ões Escolares -- II

Vitor AlaizVitor Alaizvalaiz@netcabo.ptvalaiz@netcabo.pt

1. A Exigência da Qualidade no discurso oficial sobre a

avaliação das escolas

2. Pressões para a qualidade:

i. No domínio da Educação

ii. No domínio da Economia

SUMSUMÁÁRIO:RIO:

1. A Exigência da QualidadeA Exigência da Qualidade2.2. Melhoria e AvaliaMelhoria e Avalia ççãoão

A exigência da qualidade no discurso sobre a avaliação das escolas (1)

O aumento da despesa paumento da despesa p úúblicablicana educação tem sido, em parte significativa, desperdidesperdi ççado na ado na desorganizadesorganiza çção do sistemaão do sistema

Lei 31/2002 (do Preâmbulo)

e os efeitos multiplicadores sobre a efeitos multiplicadores sobre a qualidade das aprendizagensqualidade das aprendizagens têm sido demasiado modestos.

A exigência da qualidade no discurso sobre a avaliação das escolas (2)

�É neste contextoneste contexto que se insere a necessidade de uma aposta na avaliação , qualitativa e quantitativa, do sistema educativo não superior,

�como forma de orientar as actuações pedagógicas, de promover a excelência , …

Lei 31/2002 (do Preâmbulo)

A exigência da qualidade no discurso sobre a avaliação das escolas (3)

Objectivos do sistema de avaliação

O sistema de avaliação, enquanto instrumento central de definição das

políticas educativas , prossegue, de forma sistemática e permanente,

os seguintes objectivos:

a) Promover a melhoria da qualidade do sistema educativo,

Lei 31/2002, art. 3º

Qualidade?Qualidade? Uma exigência?Uma exigência?

QUANTIDADEQUANTIDADE

QUALIDADEQUALIDADE

EDUCAÇÃO

Escola de massas

ECONOMIA

Produção em série

Escola de Qualidade

para Todos

Qualidade?Qualidade? Uma exigência?Uma exigência?

Produção e serviços de

Qualidade certificada

ECONOMIA

Produção em série

A Qualidade, A Qualidade, uma exigência!uma exigência!

Produção e serviços de

Qualidade certificada

GESTÃO GESTÃO EMPRESARIALEMPRESARIAL

Evitar desperdícios

Qualidade, factor competitivo

Defesados

Consumidores

Exigência da qualidade

EDUCAÇÃO

Escola de

massas

Escola de Qualidade

para Todos

Exigência de QualidadeExigência de Qualidade

INSUCESSO ESCOLARINSUCESSO ESCOLAR(baixo n(baixo níível de vel de literacialiteracia, abandono, indisciplina, , abandono, indisciplina,

analfabetismo)analfabetismo)

Democratização da Educação(escola de massas)

Crise da EducaCrise da Educaçção ão + Crise Econ+ Crise Econóómica (1973, mica (1973, ……) )

Exigência de EficExigência de EficááciaciaExigência Exigência de Equidadede Equidade

EDUCAEDUCAEDUCAEDUCAEDUCAEDUCAEDUCAEDUCAÇÇÇÇÇÇÇÇÃOÃOÃOÃOÃOÃOÃOÃO ECONOMIAECONOMIAECONOMIAECONOMIAECONOMIAECONOMIAECONOMIAECONOMIA

Exigência de QualidadeExigência de Qualidade

INSTITUIINSTITUIÇÇÕES POLÕES POLÍÍTICASTICAS(INTERNACIONAIS, NACIONAIS)(INTERNACIONAIS, NACIONAIS)

UNIÃO EUROPEIA

IGE: Av Integr + Efectivid AAE

IIE: Projecto QXXI

Lei 31/2002: CNE, etc.

Grupo Trabalho MEIPQIPQ

OCDE, UNESCO

EFQMEFQM

1. Avalia1. Avaliaçção de Escolasão de Escolas

i.i. Porquê?Porquê?

ii.ii. Para quê?Para quê?

iii.iii. O quê?O quê?

iv.iv. Como?Como?

SUMSUMÁÁRIO:RIO:

1. ……2.2. AvaliaAvalia çção de Escolasão de Escolas

AVALIAAVALIAÇÇÃO DE ESCOLAS:ÃO DE ESCOLAS:

EscolasEscolaseficazeseficazes

MelhoriaMelhoriada escolada escola

Reformas Reformas Educativas Educativas (topo/base)(topo/base)

MelhoriaMelhoriaeficazeficaz

da escolada escola

ReestruturaReestruturaçção ão da gestãoda gestão

(autonomia)(autonomia)

PORQUÊ?PORQUÊ?

Insucesso Insucesso EscolarEscolar

Democratização da Educação

Crise da Crise da EducaEducaççãoão

A Escola?A Escola?

Tanto faz,Tanto faz,Não afecta nadaNão afecta nada

A Culpa A Culpa éé do Sistemado Sistema

Effectiveness Improvement

Movimento de Movimento de InvestigaInvestigaçção da Eficão da Eficáácia cia EscolarEscolar

(Cf. Javier Murillo, 2003)

Por que é que umas escolas são melhores

que outras situadas em idêntico contexto?

Por que Por que éé que umas escolas são melhores que umas escolas são melhores

que outras situadas em idêntico contexto?que outras situadas em idêntico contexto?

Ponto de partida do investigaPonto de partida do investigaçção ão sobre eficsobre eficáácia da escolacia da escola

Schools Make no DifferenceSchools Make no Difference

RelatRelatóório COLEMAN rio COLEMAN (1966), EUA(1966), EUAEscola: variEscola: variáável estatisticamente nulavel estatisticamente nula

RelatRelatóório PLOWDEN rio PLOWDEN (1967), UK(1967), UKDiferenDiferençças entre famas entre famíílias explicam mais da varialias explicam mais da variaçção dos alunos do que ão dos alunos do que

as diferenas diferençças entre escolasas entre escolas

o SISTEMA explica tudoo SISTEMA explica tudo

Etapa 1. Etapa 1. ReacReacççõesões ao Relatao Relatóório rio ColemanColeman

• Mayesk, 1972:– variável de rendimento:

• indice composto: 5 variáveis

• Metodologia– quantitativa

– abordagem input-output

EficEficáácia da escolacia da escola

Etapa 2. Etapa 2. Estudos de casoEstudos de caso de escolas eficazesde escolas eficazes

• Weber, 1971:– estudos de casos de excelência– Listas de factores de eficácia (liderança,...)

• Ex.:Modelo dos 5 factores (Edmonds, 1979):

– Liderança forte– Expectativas elevadas– Disciplina sem opressão– Centradas na aquisição de objectivos básicos– Avaliação sistemática dós alunos

EficEficáácia da escolacia da escola

Etapa 3.Etapa 3. ConsolidaConsolida çção da investigaão da investiga ççãoão s/ efics/ eficáácia escolar cia escolar

(1979(1979--1986)1986)

• Brookover, 1979, School social systemsand student achievement

– Padrões de interacção na escola– Clima social da escola

• Rutter, 1979, Fifteen thousand hours

• Modelo input-process-output

EficEficáácia da escolacia da escola

Etapa 4.Etapa 4. Estudos Estudos MultinMultiníívelvel (1986 (1986 -- ...)...)

• Aitkin & Longford, 1986: – Artigo sobre superioridade da metodologia multinível– Clima social da escola

• ICSEI, 1991: aproximação com movimento da Melhoria da Escola

• Scheerens, 1997: – modelo integrado

• Sammons, Thomas e Mortimore, 1997– departamentos

EficEficáácia da escolacia da escola

Etapa 3.Etapa 3. ConsolidaConsolidaçção da investigaão da investigaçção sobre eficão sobre eficáácia escolar (1979cia escolar (1979--1986)1986)

• Mortimore,P. (1980-87), School Matters

Liderança partilhadaImplicação das lideranças intermédias

Implicação dos docentesConsistência entre os professores

Aulas estruturadasEnsino intelectualmente desafiante

Ambiente centrado no trabalhoPouco temas por aula

Máxima comunicação entre professores e alunosEscrever e utilizar as avaliações

Implicação das famíliasClima positivo

Mortimore,P. (1980-87), School Matters

“Primeira investigação sobre eficácia escolar que cumpre todos os requisitos para

efectuar inferências válidas” (Goldstein, 1997)

Resumo:Resumo:

��Q: Q: quantoquanto influi a escola influi a escola sobre o rendimento dos sobre o rendimento dos

alunos?alunos?

�� Q: Q: o que gerao que gera as diferenas diferençças as entre as escolas?entre as escolas?

Tema 1.Tema 1.

ESTIMAESTIMAÇÇÃO DA MAGNITUDE DOS ÃO DA MAGNITUDE DOS EFEITOS ESCOLARESEFEITOS ESCOLARES

�� DefiniDefiniççãoão–– Capacidade das escolas para influir no rendimento Capacidade das escolas para influir no rendimento

acadacadéémico dos seus alunosmico dos seus alunos

�� Indicador: Indicador: –– % da variância do rendimento explicado pela escola % da variância do rendimento explicado pela escola

�� ColemanColeman (1966): (1966): –– efeito escolar não significativo (efeito escolar não significativo (estatistestatist/ igual a zero)/ igual a zero)

�� InvestigaInvestigaçção ão pospos--ColemanColeman: : –– 11ºº) Confirmar) Confirmar falsidadefalsidade, , calculando a magnitude dos calculando a magnitude dos

efeitos.efeitos.–– 22ºº) Actualmente: estimar efeitos + propriedades dos ) Actualmente: estimar efeitos + propriedades dos

efeitosefeitos

Propriedades dos efeitosPropriedades dos efeitos

�� CONSISTÊNCIACONSISTÊNCIA–– entre diversas medidasentre diversas medidas

�� ESTABILIDADEESTABILIDADE–– o mesmo valor ao longo do tempoo mesmo valor ao longo do tempo

�� PERDURABILIDADEPERDURABILIDADE–– duraduraçção do efeitoão do efeito

�� EFICEFICÁÁCIA DIFERENCIALCIA DIFERENCIAL–– efeito para diversos grupos de alunosefeito para diversos grupos de alunos

ESCOLA EFICAZESCOLA EFICAZ

aquela que promove de forma duradoura o

desenvolvimento integral

de todos e de cada um dos seus alunos

mais além do que seria previsível, tendo

em conta o seu rendimento inicial e a sua

situação social, cultural e económica.

UMA DEFINIÇÃO ACTUAL (2000)

Significado desta definição

�Equidade� Uma escola só é eficaz se e só se favorece o

desenvolvimento de todos e cada um dos alunos

�Valor acrescentado� É indispensável ter em conta o contexto SEC

�Desenvolvimento integral� Para além dos resultados académicos, os

resultados educativos (formação em valores, bem-estar ou satisfação)

1960 – 2000

Investig > Desenv > Difus > Adopção

Iniciaç > Implantaç > Continuaç > Produtos

Modelos Modelos

Melhoria eficaz da Escola

60

80

90

Melhoria da EscolaMelhoria da EscolaMelhoria da EscolaMelhoria da EscolaMelhoria da EscolaMelhoria da EscolaMelhoria da EscolaMelhoria da Escola

�� FASES:FASES:�� Fase 0. Fase 0. Optimismo pedagOptimismo pedagóógicogico

�� Fase 1. Fase 1. Escola, centro da mudanEscola, centro da mudan ççaa�� Fase 2. Fase 2. Gestão da mudanGestão da mudan ççaa�� Fase 3. Melhoria Eficaz da EscolaFase 3. Melhoria Eficaz da Escola

�� 1960 1960 –– 20002000

�� Investigadores + Docentes + Investigadores + Docentes + ……

Contributos

Resultados da investigação.

Sem teoria da mudança

Quantitativo: correlaç variáv

Que critérios e factores determinam a eficácia

Por investigação

Estática: produto

Resultados cognitivos dos alunos

EFICEFICEFICEFICÁÁÁÁCIA CIA CIA CIA ESCOLARESCOLARESCOLARESCOLAR

Menosprezou as aulas

Sobrevalorizou cooperaç entre profsLimitações

Qualitativo: narraç de casosMétodo

Que estratégias de melhoria

Por experiências práticasProdução de conhecimento

Dinâmica: processosOrientação

Relações entre profess. e cultura escolar

Foco

MELHORIA da MELHORIA da MELHORIA da MELHORIA da ESCOLAESCOLAESCOLAESCOLA

(Bolívar: 2003: 39, adaptado)

EFICÁCIA

MELHORIA

MELHORIA

MELHORIA

MELHORIA

EFECTIVE SCHOOL EFECTIVE SCHOOL EFECTIVE SCHOOL EFECTIVE SCHOOL IMPROVEMENTIMPROVEMENTIMPROVEMENTIMPROVEMENT

Fase 3.Fase 3.Melhoria Eficaz da EscolaMelhoria Eficaz da Escola

�� ColaboraColaboraçção dos 2 movimentosão dos 2 movimentos�� Revista Revista SE SE andandSISI

�� ICSEI ICSEI ((InternationalInternationalCongressCongressfor SE + SI), 1991 for SE + SI), 1991

�� Modelo ESIModelo ESI

ArticulaArticulaçção ESCOLA + DEPART + AULAão ESCOLA + DEPART + AULAPerspectiva multinPerspectiva multiníívelvel

(Cf. F. J. Murillo Torrecilla, 2003, 52-92)

Fase 3.Fase 3.Melhoria Eficaz da Escola (exemplos)Melhoria Eficaz da Escola (exemplos)

(Cf. F. J. Murillo Torrecilla, 2003, 52-92)

� Improving School Effectiveness Project (ISEP), � Escócia 1995-1997� John MacBeath y Peter Mortimore (2001)

� Capacity for change and adaptation of school in the case of Effective School Improvement(ESI)� Europa (8 países)� coord Bert Creemers� (Reezigt, 2001; Murillo, 2001; Muñoz-Repiso y Murillo,

2003)

AvaliaAvaliaççãoão de organizade organizaçções escolares: ões escolares: finalidades, modalidades, objectofinalidades, modalidades, objecto

SUMSUMÁÁRIO:RIO:

1.1. Por quê?Por quê?

2.2. Para quê?Para quê?

3.3. O quê?O quê?

4.4. Como?Como?

1.1. Actualidade Actualidade

2.2. FinalidadeFinalidade

3.3. ObjectoObjecto

4.4. ModalidadesModalidades

Sistema de Avaliação do Ensino Não-superior

Lei 31/2002

Sistema misto:

avaliação externa

avaliação interna+=

Porquê a Avaliação de Escolas?

Em 2006

� Cf. Circular do gabinete ME, JAN 2006� Cf. relatórios publicados em

� http://paginas.fe.up.pt/%7Ejfo/gt-aval/

Porquê a Avaliação de Escolas?

Avaliar uma escola:

para quê?

CONHECIMENTO

Prestar contas

Melhorar

PODER(controlo, legitimação)

AvaliaAvaliaçção: ão: finalidadefinalidade

AvaliaAvaliaçção internaão interna

AutoAuto--avaliaavaliaççãoãoParticipaParticipaçção da ão da

comunidade educativacomunidade educativa

Avaliação externa

Membros da comunidade educativa

(professores, auxiliares, pais,...)

INTERVENIENTES

Avaliadores não pertencentes àcomunidade educativa local

(inspectores, técnicos, pais,...)e instrumentos externos

(testes, exames)

AvaliaAvaliaççãoão EXTERNAEXTERNA--11

Sistemas de Sistemas de avaliaavaliaçção das ão das aprendizagensaprendizagens

Visitas de Visitas de equipas de equipas de inspectoresinspectores

Fontes :Fontes :

TESTES ESTADUAIS TESTES ESTADUAIS (EUA)

RANKINGSRANKINGS

OFSTEDOFSTED(UK)

AVALIAAVALIA ÇÇÃO ÃO INTEGRADAINTEGRADA (IGE)

ESTADO

Comunicaçãosocial Famílias

INVESTIGADORESOutros(ex.: OCDE)

Quem é o destinatário?

Actores educativos

AvaliaAvaliaçção: ão: finalidadefinalidade

AvaliaAvaliaççãoão EXTERNAEXTERNA--22

Facilitar/induzir a melhoria

Efeitos Efeitos ““sumativossumativos”

(consequências fortesconsequências fortes)

- Penalização (encerramento)

+ Recompensa(pecuniária)

Efeitos “formativos”

(consequências moderadas)(consequências moderadas)

UtilizaUtilizaçção:ão:

Clima organizacional

AvaliaAvaliaçção EXTERNA ão EXTERNA -- 33

UniUnidimensionaldimensional

PluriPluridimensionaldimensional

Tipo :

Contexto sociocultural

Processos de ensino-aprendizagem

Estratégias de aprendizagem

Resultados escolares

DimensõesIndicadores

Ex.1: Resultados académicos

Ex.2: Satisfação do pessoal

Ex.: Programa AVES