impactos e processos da aaeens: evidências resultantes de...

Impactos e Processos da AAEENS:

Evidências resultantes de estudos de casos/agrupamentos de escolas

José Augusto Pacheco, José Carlos Morgado, Filipa Seabra, Natália Costa, Helena Queirós, Eduarda Rodrigues, Joana Sousa e Conceição Lamela

Universidade do Minho

Inquérito por Questionário

População e amostra

População (N)

• 71 Professores/Educadores que lecionam nos seguintes

níveis de ensino:

- Pré-escolar – 4 jardins de infância

- Ensino básico – 4 escolas do 1º CEB

– 1 escola do 2º e 3º CEB

Amostra (n)

54 Professores/Educadores

Estrutura do Questionário

Dados de Caracterização

• Sexo; Idade; Habilitações Académicas; Tempo de Serviço;

Categoria Profissional; Nível(eis) de ensino em que leciona;

• Exercício de cargos entre 2006 e 2014;

• Participação no processo de Avaliação externa.

Questão sobre o grau de concordância com

o atual modelo de Avaliação Externa.

Dados de opinião – 5 dimensões

• Mudanças na Escola;

• Mudanças no Currículo;

• Mudanças na Sala de Aulas;

• Mudanças na Autoavaliação;

• Mudanças na Comunidade.

Mudanças na Escola

38,9%

24,1%

49,0%

46,3% 47,1%

40,3%

7,4%

13,0%

26,6%

18,5% 17,0%

23,1%

53,8%

63,0%

28,3%

35,2% 35,9% 36,5%

Promove melhoria daqualidade

Fornece aos profs.conhecimento dos ptos. fortes

e fracos

Ajuda na construção daidentidade

Promove o empenho dosprofs. em projetos

Desenvolve-se à margem dosprofs.

Provoca mudanças na gestãoescolar

MUDANÇAS NA ESCOLA

Discordo Indeciso Concordo

Mudanças no Currículo

46,3%

50,0%

57,4%

50,9%

70,4%

61,6%

11,1%

16,7%

13,0%

22,6%

11,1%

21,2%

42,6%

33,3%

29,7%

26,4%

18,5% 17,3%

Contribui para articulaçãoentre ciclos ensino

Contribui para o desenv.colaborativo do currículo

Contribui para melhorar aspráticas curriculares dos

profs.

Reconhece autonomia aosprofs. no desenv. do currículo

Contribui para a autonomiados profs. no desenv. do

currículo

Provoca mudanças na gestãodo currículo

MUDANÇAS NO CURRÍCULO


Mudanças na Sala de Aulas

18,9%

57,4%

31,5%

55,6%

31,5%

61,1%

17,0% 16,7%

29,6%

13,0%

27,8%

11,1%

64,2%

25,9%

38,9%

31,5%

40,8%

27,8%

Valoriza os resultados dasaprendizagens externas

Contribui para melhorar aspráticas pedagógicas

Valoriza avaliação sumativaface à avaliação formativa

Contribui para que os profs.realizem testes em conjunto

Contribui para que os profs.colaborem na aferição de

critérios de correção

Contribui para envolvimentonos processos de EA

inovadores

MUDANÇAS NA SALA DE AULA


Mudanças na Autoavaliação

18,9% 20,4%

31,5%

22,7% 24,6%

27,8%

15,1%

3,7%

33,3%

15,1%

26,4%

11,1%

66,1%

75,9%

35,2%

62,3%

49,1%

61,1%

Impõe um modelo deautoavaliação da escola

Contribui para elaboração deum plano de melhoria da

escola

Realiza-se em paralelo c/autoavaliação da escola

Contribui p/ existência daautoavaliação da escola

Valoriza o trabalho da equipade autoavaliação da escola

Favorece a existência de umplano contínuo de melhoria

MUDANÇAS NA AUTOAVALIAÇÃO


Mudanças na Comunidade

33,3%

40,7%

35,2%

46,3%

40,7%

38,9%

20,4%

16,7%

22,2%

20,4%

33,3%

24,1%

46,3%

42,6% 42,6%

33,3%

14,8%

37,0%

Fornece informação aospais/EE sobre os pontos

fortes e fracos

Contribui p/estratégias demarketing que valorizam a

escola

Revela existência de práticasde colaboração entre escola

e comunidade

Promove interação entreescola e comunidade

educativa

É um processo relevantepara a sociedade

Promove o debate sobre aqualidade das escolas

MUDANÇAS NA COMUNIDADE


Grau de Concordância com o Modelo de AE

Seminário Avaliação externa de escolas: Processos e Impactos

8 de Novembro IE-UL Projecto AEEENS (PTDC/CPE/116674/2010)

Universidade de Coimbra FPCE

Rankings e avaliação externa de escolas: Que relação?

Graça Bidarra [email protected]

Carlos Barreira [email protected]

Maria Piedade Vaz-Rebelo [email protected]

Helena Oliveira [email protected]

Georgina Lopes [email protected]

Contextualização �  Os rankings surgem em 2001, com base nos

exames nacionais do 12º ano.

�  Em 2005 surgem pela 1ª vez os rankings do ensino básico.

�  Em 2012 in ic ia-se a contextua l i zação socioeconómica das escolas a partir da:

- Taxa de alunos no escalão A da Ação Social

Escolar (ASE); - Média de anos de escolaridade dos pais.

Contextualização e objectivo do estudo

•  Os resultados das escolas nos exames nacionais (rankings) e

as classificações na AEE são processos distintos que contudo nos remetem para a avaliação do desempenho das escolas.

•  Analisar a relação entre as posições ocupadas pelas

escolas nos rankings nacionais e as classificações atribuídas pela Inspeção Geral da Educação e Ciência.

� Resultados esperados

•  Admitimos que esta relação possa ser mais elevada no segundo ciclo de AEE, dado que se verificou uma contextualização quer dos rankings, quer nos resultados académicos na AEE, sendo a classificação dos domínios (PSE e LG) indexada aos resultados.

Metodologia

�  Procedemos a um estudo de natureza documental

com um grupo de dezassete escolas secundárias

da Região Centro.

�  Procedimentos

Classificações obtidas no âmbito da AEE

Excelente - nível cinco (2º ciclo) Muito Bom - nível quatro

Bom - nível três Suficiente - nível dois Insuficiente - nível um

�  Procedimentos

�  Ranking I - resultados nacionais das escolas em estudo

�  Ranking II - indicador dos rankings a partir da média dos rankings a nível nacional, constituindo um ranking para as escolas em estudo

Resultados

�  AEE no primeiro e segundo ciclos

�  Rankings das Escolas no 1º e 2º ciclos de AEE

�  Relação entre os Rankings e a AEE

0

2

4

6

8

10

12

Resultados P. S. Educativo Org. e Gest. Escolar

Liderança Cap. Aut. e Mel. Esc.

Nº d

e es

cola

s

Figura 1 - Classificações na avaliação externa das escolas secundárias no 1º ciclo avaliativo

MUITO BOM

BOM

SUFICIENTE

INSUFICIENTE

0

2

4

6

8

10

12

Resultados P. S. Educativo Lid. E Gest.

Nº d

e es

cola

s

Figura 2 - Classificações na avaliação externa das escolas secundárias no 2º ciclo avaliativo

EXCELENTE

MUITO BOM

BOM

SUFICIENTE

INSUFICIENTE

Quadro 2 – Ranking das escolas secundárias de 2011/2012

Escolas Ranking I

2011/2012 Ranking II

2011/2012

Quadro 1 – Ranking das escolas secundárias de 2005/2006 a 2010/2011

Escolas Ranking I 2005/2006

Ranking I 2006/2007

Ranking I 2007/2008

Ranking I 2008/2009

Ranking I 2009/2010

Ranking I 2010/2011

Ranking II 2005/2006 a 2010/2011

E. Sec. I. D. Maria 24 8 19 26 13 21 1

E. Sec. J. Falcão 92 23 27 31 41 43 2

E. Sec. J. Carvalho 97 71 63 45 89 87 3

E. Sec. J. C. C. Gomes 458 250 210 326 484 337 15 E. Sec. M. Castilho 446 283 469 222 424 310 16 E. Sec. D. Dinis 404 304 490 388 438 449 17

E. Sec. I. D. Maria 26 1 E. Sec. J. Falcão 37 2 E. Sec. J. Carvalho 54 3 E. Sec. Vagos 336 15 E. Sec. O. Hospital 360 16 E. Sec. Lousã 442 17

Quadro 3 – Ranking II das escolas secundárias e AEE – domínio Resultados, 1º ciclo

Escolas Ranking II 2005/2006 a 2010/2011

A.E.E. Domínio

RESULTADOS 1º ciclo

E. Sec. I. D. Maria 1 BOM

E. Sec. J. Falcão 2 BOM

E. Sec. J. Carvalho 3 M. BOM

E. Sec. J. C. C. Gomes 15 SUF. E. Sec. M. Castilho 16 SUF. E. Sec. D. Dinis 17 SUF.

Quadro 4 – Ranking II das escolas secundárias e AEE – domínio Resultados, 2º ciclo

Escolas Ranking II 2005/2006 a 2010/2011

A.E.E. Domínio

RESULTADOS 2º ciclo

E. Sec. I. D. Maria 1 M. BOM

E. Sec. J. Falcão 2 M. BOM

E. Sec. J. Carvalho 3 M. BOM

E. Sec. Vagos 15 BOM E. Sec. O. Hospital 16 BOM E. Sec. Lousã 17 BOM

Quadro 5 – Coeficiente de correlação entre os rankings do secundário e as classificações nos domínios da avaliação externa de escolas no 1º ciclo

Resultados Prestação de

Serviço Educativo

Organização e Gestão Liderança

Capacidade de Autorregulação e

Melhoria da Escola

Ranking II 2005/06 a 2010/11

Correlação de Pearson -,601* -,514* -,115 -,276 -,242

Sig. (bicaudal) ,011 ,035 ,661 ,283 ,350

N 17 17 17 17 17 ** p ≤ 0,01 *.p ≤ 0,05

Quadro 6 – Coeficiente de correlação entre os rankings do secundário e as classificações nos domínios da avaliação externa de escolas no 2º ciclo

Resultados Prestação de

Serviço Educativo

Liderança e Gestão

Ranking II 2011/2012

Correlação de Pearson -,669** -,453 ,236 Sig. (bicaudal) ,003 ,068 ,361 N 17 17 17

** p ≤ 0,01 * p ≤ 0,05

CONCLUSÕES

�  Nas escolas em estudo, houve uma evolução nas

classificações dos domínios do primeiro para o

segundo ciclo de AEE .

�  No geral as escolas que ocuparam “melhor” posição

nos rankings apresentaram melhores classificações

nos domínios de AEE.

� Correlação significativa entre rankings e a classificação das escolas no domínio Resultados nos dois ciclos de AEE.

� Contudo, a AEE diz mais sobre as escolas, sobre o seu funcionamento e processos, pois para além dos resultados académicos, avalia também os resultados sociais e o reconhecimento da comunidade, bem como a Prestação do Serviço Educativo e a Liderança e Gestão.

�  Resta saber se na AEE se consegue

dar conta dos processos relacionados

com a Liderança e Gestão e a

Prestação de Serviço Educativo e

compreender o seu impacto e efeitos nos

Resultados ?

Um abraço da Equipa de Coimbra

Obrigado pela atenção dispensada!

Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na

'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.

Instituto de Educação – Univ. Lisboa

Lisboa, 8 novembro 2014 Mª José Silvestre | Isabel Fialho | José Saragoça

[Universidade de Évora]

ENQUADRAMENTO DO ESTUDO

Organização-

-escola

Gestão holística e sustentável nas áreas da estratégia, criatividade e

inovação

Gestão do capital humano e do conhecimento

Formação, comunicação e

informação

Autorregulação

Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na 'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.

OBJETIVOS DA INVESTIGAÇÃO

(ii) Identificar eventuais padrões de alteração registados nas unidades de gestão alvo de estudo;

(iii) Explicar as divergências ou similitudes encontradas nas eventuais alterações provocadas pelo impacto do processo de Avaliação Externa.

(i) Conhecer as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AEE), o que concerne aos “Resultados” e à “Prestação do Serviço Educativo”;


CONCEÇÕES TEÓRICAS DA AVALIAÇÃO ORGANIZACIONAL

Prestação de contas;

Accountability; Avaliação

Externa de Escolas; Avaliação

Interna; Autoavaliação;

Regulação

Qualidade da educação;

Melhoria na educação

Desenvolvimento profissional;

Desenvolvimento

organizacional

Impacto da avaliação da escola e na escola

( a partir da análise dos Tópicos predominantes no estado da arte)


METODOLOGIA DA INVESTIGAÇÃO

Paradigma interpretativista

Análise discursiva

Entrevistas a atores organizacionais

Análise documental

- Relatórios da AEE

- Legislação

- Páginas Web das UGE

Fundamentação teórica da temática

Abordagem mista, predominantemente

qualitativa


1. Desenho da investigação

- pergunta de partida

- objetivos

- seleção de técnicas e instrumentos de recolha de

dados

- definição dos participantes (número; critérios de

seleção)

Inquérito por

entrevista

5. Redação do Relatório/Tese

2. Produção, validação e testagem do guião da entrevista

semiestruturada. Contactos com as escolas e

calendarização das entrevistas.

E

S

T

A

D

O

D

A

A

R

T

E

Análise dos

Relatórios da AEE

3. Realização e transcrição das entrevistas

3.1. Análise de conteúdo das

entrevistas

4. Análise dos Relatórios da AEE

Fases da investigação

TOTAL DE ESCOLAS/AGRUPAMENTOS DE ESCOLAS

10

Diretor 9

Presidente do Conselho Geral 8

Coordenador/ elemento da equipa de AI 9

Coordenador de departamento 1

Total de inquiridos 27

UNIDADES ESCOLARES E ATORES SELECIONADOS


ANÁLISE DAS ENTREVISTAS

Áreas temáticas

I Conceções e práticas de Avaliação Interna

II Conceções de Avaliação Externa e fatores contextuais de diferenciação

III Caminhos diferenciados de avaliação organizacional

IV Alterações provocadas pelo impacto do processo de AEE

V Avaliação organizacional e melhoria


Relação entre a AEE e as linhas de rumo que as UGE tomam, na sequência da intervenção avaliativa. Equipa responsável pelas práticas avaliativas como uma das principais equipas do coletivo organizacional, capaz de gerar sinergias internas e externas.

UGE capazes de aderir a medidas de política educativa, com o objetivo de adequar as respostas educativas às necessidades de alunos, famílias e comunidades. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos, na sequência da ação avaliativa externa.




Divulgação dos dados da AEE direcionado essencialmente para os atores internos (nomeadamente os docentes), nem sempre chegando à comunidade educativa, restringindo-se à divulgação nos órgãos e estruturas intermédias. Assunção da avaliação organizacional interna enquanto atividade com função formativa reguladora.

Ausência generalizada da distinção entre os conceitos de ‘avaliação interna’ e de ‘autoavaliação’. Fraco grau de competência meta-avaliativa de alguns atores organizacionais.


ANÁLISE DOS RELATÓRIOS DA AVALIAÇÃO EXTERNA DAS ESCOLAS DE 2006/2007

“Sucesso académico”: existência de uma interligação (mais ou menos estreita, dependendo dos contextos organizacionais) entre a AEE e a AI/AA. “Participação e desenvolvimento cívico”: predomínio de bons desempenhos organizacionais (11), relativamente ao número de indicadores de desempenhos a melhorar (5). “Comportamento e disciplina”: escolas conseguiram encontrar respostas contextualizadas para as questões da regulação dos comportamentos e da observação de regras. “Valorização e impacto das aprendizagens”: diversificação e divulgação da oferta formativa e dinamização de projetos podem ser formas de levar os pais à escola.



“Articulação e sequencialidade”: existência de 4 traços comuns na atuação das UGE, indicadores de bons desempenhos organizacionais.

“Acompanhamento da prática letiva em sala de aula”: apenas 2 indicadores evidenciados em todas as UGE (indicador positivo: intervenção dos Serviços de Psicologia e Orientação; indicador negativo: inexistência de mecanismos internos de supervisão e acompanhamento da prática letiva).

“Diferenciação e apoios”: evidenciado em todas as UGE, através de formas contextualizadas, à medida da capacidade de resposta de cada escola.

“Abrangência do currículo e valorização dos saberes e da aprendizagem”: evidenciação de 14 indicadores de bons desempenhos, contra apenas 3 de desempenhos a melhorar.


RESULTADOS

Domínio “Resultados”

Aumento do conhecimento sobre a problemática da avaliação organizacional, na sua dupla vertente de avaliação interna/autoavaliação e avaliação externa. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos. Adoção de uma postura organizacional inteligente ou aprendente e desenvolvimento da “massa crítica”.

«Quais foram as alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo”?»


Autoproposta das escolas revela a aceitação coletiva da prestação de contas organizacional. Contudo, não está ainda enraizada a tradição de procedimentos de accountability nos atores docentes . Condicionantes da atual falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas: • lentidão da alteração das práticas e culturas de escola; • necessidade de aquisição de competências avaliativas, por parte dos diferentes atores organizacionais; • a ausência de atuação estratégica, em algumas das escolas. A procura de respostas para o imperativo legal da prestação de contas, levou à adoção de respostas divergentes, contextualizadas e condicionadas pelas competências e pelos desejos das lideranças de topo.

RESULTADOS


O impacto inicial negativo acabou por ter um efeito positivo (a médio e longo prazo), em função das melhorias organizacionais que provocaram:

• a AEE estimula ou induz a melhoria, tanto ao nível da AI/AA, como ao nível dos resultados e do serviço educativo, cumprindo assim a finalidade maior da sua existência: a promoção da melhoria das organizações escolares, por via da prestação de contas; • a AEE parece ter atingido, em todas as UGE estudadas, alguns dos objetivos que lhe estão subjacentes: para além da prestação de contas e do apoio à decisão, a formação dos agentes educativos.

RESULTADOS


RESULTADOS


Efeito da AEE nas escolas

Prestação do serviço educativo

Resultados

A AEE constitui-se quase como uma alavanca que faz despoletar os olhares reflexivos das escolas, uma vez que as obriga à prestação de contas (Afonso, 2005; Costa, 2007; Gonçalves,

2009; Fialho, 2011).


RESULTADOS

Domínio «Resultados» – fator “Sucesso académico”

Importância que algumas medidas de política educativa tiveram na alteração das práticas docentes, muito por via da atualização de conhecimentos. Identificação de aspetos que contribuíram para a melhoria dos resultados académicos dos alunos.

Existência de ocorrências positivas, ao nível dos diferentes fatores constitutivos deste domínio, bem como a ocorrência de efeitos positivos da AEE.

«Quais são os padrões de alteração registados nas unidades de organização alvo de estudo, potenciadores de eficiência, eficácia e qualidade organizacionais?»


RESULTADOS

Domínio “Prestação do serviço educativo”

“Acompanhamento da prática letiva em sala de aula”: processa-se quase exclusivamente por via da avaliação do desempenho docente; “Diferenciação e apoios”: aquele que marca presença transversal nas escolas. “Abrangência do currículo e valorização dos saberes e da aprendizagem”: lideranças assumem papel de extrema importância.



RESULTADOS

Distintas formas de disseminação e internalização da informação oriunda da AEE e de operacionalização da legislação.

Forma como os órgãos assumiram a sua função intrínseca e (des)valorizaram o papel formativo da AEE; conceção de AEE que as lideranças de tipo perfilham .

Papel dos líderes de topo: (des)valorização do saber acrescido dos colaboradores com mais formação académica, indução dessa formação ou procura ‘serviço-de-pronto-a- -servir’ ao nível da AI.

Existência de projetos; implicação ativa de todos os agentes educativos; existência de ações de melhoria; abertura da escola ao seu entorno, à comunidade envolvente e aos atores extraescola.

Quais são as explicações para as divergências e/ou similitudes provocadas pelo impacto do processo da Avaliação Externa?


CONCLUSÕES

A autoavaliação/avaliação interna ainda não parece ser, nas escolas portuguesas, plenamente assumida como uma estratégia organizacional capaz de produzir os efeitos desejados (a melhoria e o desenvolvimento das escolas), consubstanciando-se no cumprimento legal: uma avaliação de conformidade, dado que as práticas não se encontram sistematizadas e consolidadas. A formação e o conhecimento pessoal dos atores influenciam o agir organizacional e a aceitação da prestação de contas.


Impõe-se à escola enquanto organização a capacidade de se transfigurar e revelar como organização aprendente, curricularmente inteligente e consequente do ponto de vista avaliativo. A falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas permite inferir a necessidade da criação de mecanismos de apoio às escolas, dentro do próprio sistema educativo (Eurydice, 2004; McNamara &

O’Hara,2008; OCDE, 2009, 2012; IGEC, 2012).

CONCLUSÕES


SUGESTÕES DE MELHORIA DOS PROCESSOS DE AVALIAÇÃO ORGANIZACIONAL

AA e AEE devem concorrer para as decisões de

micro, mezzo ou macro política

educativa.

AA como instrumento estratégico holístico para a melhoria

sustentada e articulada da qualidade da escola, do ensino e da

aprendizagem.

Complementaridade entre AA (cariz essencialmente formativo e regulador) e AEE (apoiado na AA para sustentar o feedback

necessário ao desenvolvimento organizacional).

AA como questão instrumental e técnica, capaz de suportar e

validar o debate interno, apontando linhas de ação e

sustentando as decisões.



BIBLIOGRAFIA Adam, J.-M. (2010). A análise textual dos discursos: entre gramáticas de texto e análise do discurso.

Conferência realizada durante a Jornada em homenagem a Patrick Charaudeau : “A análise do discurso

nas ciências da linguagem e da comunicação”, Lyon II, 4 de junho de 2010. Retirado de

http://www.revistaeutomia.com.br/volumes/Ano3-Volume2/especial-destaques/destaques-

linguistica/destaque_a_analise_textual_dos_discursos.pdf.

Afonso, N. (2002). Avaliação e desenvolvimento organizacional da escola. Revista Brasileira de Política e

Administração da Educação, 20 (1), 150-169.

Afonso, N. (2005). Investigação naturalista em educação. Porto: Edições Asa.

Alves, A. (1995). Argumentação e análise do discurso na perspectiva de O. Ducrot. Texto adaptado da

lição para provas de agregação na Universidade do Minho – lnstituto de Ciências Sociais. Retirado de

http://repositorium.sdum.uminho.pt/bitstream/1822/7390/1/AAlves_1995_Arg_Analise_Disc_Ducrot.pdf.

Alves, A. M. C. (2007). Autonomia e gestão das escolas. Centralização, descentralização,

desconcentração e autonomia. Dissertação de Mestrado. Universidade Portucalense, Porto.

Alves, M. P., & Machado, E. A. (2008). Para uma perspectiva dialógica da avaliação de escola. In M. P.

Alves, M. P. & E. A. Machado, (Org.), Avaliação com sentido(s). Contributos e questionamentos. Santo

Tirso: De Facto Editores, 97-108.

Anderson, J. A. (2005). Accountability in education. UNESCO, Paris: The International Academy of

Education (IAE).

http://www.revistaeutomia.com.br/volumes/Ano3-Volume2/especial-destaques/destaques-linguistica/destaque_a_analise_textual_dos_discursos.pdf




















http://repositorium.sdum.uminho.pt/bitstream/1822/7390/1/AAlves_1995_Arg_Analise_Disc_Ducrot.pdf




















BIBLIOGRAFIA

Antaki, C., Billig, M., Edwards, D., & Potter, J. (2003). Discourse analysis means doing analysis: a

critique of six analytic shortcomings, Discourse Analysis Online, 1 (1). Retirado de

http://www.shu.ac.uk/daol/previous/v1/n1/index.htm.

Bardin, L. (2007). Análise de conteúdo. (3ª edição). Lisboa: Edições 70, Lda.

Barroso, J. (2010). Avaliação, política, gestão e desenvolvimento organizacional: o caso da auto-

avaliação das escolas. II Seminário Internacional “Auto-avaliação de Escolas: Perspectivas

Metodológicas”, FPCE/UP, 23 de Janeiro de 2010. Retirado de

http://paginas.fe.up.pt/~gei05010/arqme/seminariointernacional02.php.

Boaduo, N. A-P (2011). Systematic analysis and interpretation of collected data for a research study: A

practical methodological framework for writing research report. Educational Research and Review. 6

(2), 140-146. Retirado de http://www.academicjournals.org/ERR.

Bogdan, R., & Biklen, S. (1994). Investigação qualitativa em educação. Porto: Porto Editora.

Bolívar, A. (1997). A escola como organização que aprende. In R. Canário (Org.), Formação e situações

de trabalho. Porto: Porto Editora, 79-100.

Burgess, R. G. (1985). Issues in educational research-qualitative methods. London: The Falmer Press,

152-174.

CNE (2011). Recomendação nº 1/2011. Recomendação sobre avaliação das escolas. Lisboa: CNE.

http://www.shu.ac.uk/daol/previous/v1/n1/index.htm















http://paginas.fe.up.pt/~gei05010/arqme/seminariointernacional02.php














http://www.academicjournals.org/ERR








BIBLIOGRAFIA

Correia, S. M. T. (2011). Dispositivo de autoavaliação de escola: entre a lógica do controlo e a lógica da

regulação. Tese de Doutoramento, Universidade do Minho, Braga.

Della Porta, D., & Keating, M. (Edit). (2008). Approaches and methodologies in the social sciences – a

pluralist perspective. Cambridge: University Press.

Fernández Díaz, M. J. (1997). Evaluación de centros educativos. RELIEVE. 3 (1) [On-line]. Retirado de

http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_0.htm.

Ferreira, E., & Espogeira, M. (2009). Avaliação da escola como um dispositivo de prática reflexiva dos

professores: a aprendizagem, a vontade, a emoção, e a partilha. X Congresso da Sociedade Portuguesa de

Ciências da Educação. Bragança.

Fialho, I. (2009a). A Avaliação Externa das escolas. Desafios e oportunidades de melhoria na qualidade do

ensino. Educação. Retirado de

http://webs.ie.uminho.pt/avaliacaoexternaescolas/Texto%20Isabel%20Fialho%20texto.pdf.

Fialho, I., Cid, M., Silvestre, M. J., & Gomes, S. (2010). Avaliação, escola e excelência. Indícios

organizacionais de uma relação. Comunicação apresentada no XI Congresso da AEPEC - Da exclusão à

excelência. Caminhos Organizacionais para a Qualidade da Educação. Universidade de Évora, Évora, 16 a

18/09/2010. Retirado de http://hdl.handle.net/10174/5091.

http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_0.htm


















http://webs.ie.uminho.pt/avaliacaoexternaescolas/Texto Isabel Fialho texto.pdf




















http://hdl.handle.net/10174/5091











BIBLIOGRAFIA Figari, G. (2008). A avaliação de escola: questões, tendências e modelos. In J. M. Alves & E. A. Machado

(2008) (Org.), Avaliação com sentido(s). Contributos e questionamentos. Santo Tirso: De Facto Editores,

41-75.

Gomes, S., Silvestre, M. J., Fialho, I., & Cid, M. (2011). Modelos e práticas de (auto)avaliação em escolas

do Alentejo. Libro de Actas do XI Congreso Internacional Galego-Portugués de Psicopedagoxía. A

Coruña. Universidade da Coruña [CD-ROM] ISSN: 1138-1663.

Kintsch, W., & van Dijk, T. A. (1983). Strategies of discouse comprehension. San Diego, California,

Academic Press.

Leite, C. (2003). Para uma escola curricularmente inteligente. Porto: ASA Editores.

McNamara, G.. & O'Hara, J. (2008). The importance of the concept of self evaluation in the changing

landscape of education policy. Studies in Educational Evaluation, 34, 173-179.

Morgan, A. (2010). Discourse Analysis: An overview for the neophyte researcher. Journal of Health and

Social Care Improvement. Retirado de

http://www.wlv.ac.uk/pdf/Discourse%20analysis%20Dr%20A%20%20Morgan.pdf.

Nevo, D. (1997). Evaluación basada en el centro. Un diálogo para la mejora educativa. Bilbao:

Mensajero.

http://www.wlv.ac.uk/pdf/Discourse analysis Dr A Morgan.pdf


























BIBLIOGRAFIA

Nikander, P. (2006). Constructionism and discourse analysis. In A. J. Holstein & J. F. Gubrium (Eds.),

Handbook of Constructionist Research. Guilford Publitions. Retirado de

http://www.helsinki.fi/sosiaalipsykologia/arkisto/nikander.pdf.

Pacheco, J. (2011). Currículo, aprendizagem e avaliação. Uma abordagem face à agenda globalizada.

Revista Lusófona de Educação, 17 (17), 75-90. Retirado de

http://revistas.ulusofona.pt/index.php/rleducacao/article/view/2366.

Rebordão, I. (2010). A avaliação das escolas no quadro actual das políticas públicas de educação.

Relatório do Projeto de Mestrado, Universidade de Lisboa - Instituto de Educação, Lisboa.

Saragoça, J., Fialho, I., Silva, C., & Fialho, J. (2012). Avaliação da qualidade das escolas alentejanas: o

desafio da auto-avaliação. In M. F. Patrício et al. (Orgs), Da exclusão à excelência: caminhos

organizacionais para a qualidade da educação. Lisboa: AEPEC (no prelo).

Silvestre, M. J., Gomes, S., Fialho, I. & Cid, M. (2011b). Interação escola, família e comunidade nas

práticas de Autoavaliação das escolas: sinais de mudanças educacionais. Comunicação apresentada no

XI Congresso SPCE – “Investigar, inovar e desenvolver: desafios das Ciências da Educação”, Guarda,

Portugal, 30 de junho a 2 de julho de 2011.

http://www.helsinki.fi/sosiaalipsykologia/arkisto/nikander.pdf









http://revistas.ulusofona.pt/index.php/rleducacao/article/view/2366











Obrigado!

Discussão...

[email protected] [email protected] [email protected]

Perceções sobre efeitos da Avaliação Externa das Escolas nos 'Resultados' e na

'Prestação do Serviço Educativo'. Um estudo em escolas do Alentejo.

Mª José Silvestre | Isabel Fialho | José Saragoça [Universidade de Évora]

Instituto de Educação – Univ. Lisboa

Lisboa, 8 novembro 2014



[ENQUADRAMENTO DO ESTUDO]

[OBJETIVOS DA INVESTIGAÇÃO]

[CONCEÇÕES TEÓRICAS DA AVALIAÇÃO ORGANIZACIONAL]

Por favor, consultar a versão alargada/ completa desta apresentação.



Paradigma interpretativista

Análise discursiva

Entrevistas a atores organizacionais

Análise documental

- Relatórios da AEE

- Legislação

- Páginas Web das UGE

Fundamentação teórica da temática

Abordagem mista, predominantemente

qualitativa


[Fases da investigação]

UNIDADES ESCOLARES E ATORES SELECIONADOS

TOTAL DE ESCOLAS/AGRUPAMENTOS DE ESCOLAS

10

Diretor 9

Presidente do Conselho Geral 8

Coordenador/ elemento da equipa de AI 9

Coordenador de departamento 1

Total de inquiridos 27



Relação entre a AEE e as linhas de rumo que as UGE tomam, na sequência da intervenção avaliativa. Equipa responsável pelas práticas avaliativas como uma das principais equipas do coletivo organizacional, capaz de gerar sinergias internas e externas.

UGE capazes de aderir a medidas de política educativa, com o objetivo de adequar as respostas educativas às necessidades de alunos, famílias e comunidades. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos, na sequência da ação avaliativa externa.



Divulgação dos dados da AEE direcionado essencialmente para os atores internos (nomeadamente os docentes), nem sempre chegando à comunidade educativa, restringindo-se à divulgação nos órgãos e estruturas intermédias. Assunção da avaliação organizacional interna enquanto atividade com função formativa reguladora.

Ausência generalizada da distinção entre os conceitos de ‘avaliação interna’ e de ‘autoavaliação’. Fraco grau de competência meta-avaliativa de alguns atores organizacionais.



“Sucesso académico”: existência de uma interligação (mais ou menos estreita, dependendo dos contextos organizacionais) entre a AEE e a AI/AA. “Participação e desenvolvimento cívico”: predomínio de bons desempenhos organizacionais (11), relativamente ao número de indicadores de desempenhos a melhorar (5). “Comportamento e disciplina”: escolas conseguiram encontrar respostas contextualizadas para as questões da regulação dos comportamentos e da observação de regras. “Valorização e impacto das aprendizagens”: diversificação e divulgação da oferta formativa e dinamização de projetos podem ser formas de levar os pais à escola.



“Articulação e sequencialidade”: existência de 4 traços comuns na atuação das UGE, indicadores de bons desempenhos organizacionais.

“Acompanhamento da prática letiva em sala de aula”: apenas 2 indicadores evidenciados em todas as UGE (indicador positivo: intervenção dos Serviços de Psicologia e Orientação; indicador negativo: inexistência de mecanismos internos de supervisão e acompanhamento da prática letiva).

“Diferenciação e apoios”: evidenciado em todas as UGE, através de formas contextualizadas, à medida da capacidade de resposta de cada escola.

“Abrangência do currículo e valorização dos saberes e da aprendizagem”: evidenciação de 14 indicadores de bons desempenhos, contra apenas 3 de desempenhos a melhorar.


RESULTADOS


Domínio “Resultados”

Aumento do conhecimento sobre a problemática da avaliação organizacional, na sua dupla vertente de avaliação interna/autoavaliação e avaliação externa. Elevação do grau de participação e de comprometimento com a vida da escola, sobretudo nos aspetos pedagógicos. Adoção de uma postura organizacional inteligente ou aprendente e desenvolvimento da “massa crítica”.


RESULTADOS

Autoproposta das escolas revela a aceitação coletiva da prestação de contas organizacional. Contudo, não está ainda enraizada a tradição de procedimentos de accountability nos atores docentes . Condicionantes da atual falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas: • lentidão da alteração das práticas e culturas de escola; • necessidade de aquisição de competências avaliativas, por parte dos diferentes atores organizacionais; • a ausência de atuação estratégica, em algumas das escolas. A procura de respostas para o imperativo legal da prestação de contas, levou à adoção de respostas divergentes, contextualizadas e condicionadas pelas competências e pelos desejos das lideranças de topo.


RESULTADOS

O impacto inicial negativo acabou por ter um efeito positivo (a médio e longo prazo), em função das melhorias organizacionais que provocaram:

• a AEE estimula ou induz a melhoria, tanto ao nível da AI/AA, como ao nível dos resultados e do serviço educativo, cumprindo assim a finalidade maior da sua existência: a promoção da melhoria das organizações escolares, por via da prestação de contas; • a AEE parece ter atingido, em todas as UGE estudadas, alguns dos objetivos que lhe estão subjacentes: para além da prestação de contas e do apoio à decisão, a formação dos agentes educativos.


RESULTADOS


A AEE constitui-se quase como uma alavanca que faz despoletar os olhares reflexivos das escolas, uma vez que as obriga à prestação de contas (Afonso, 2005; Costa, 2007; Gonçalves,

2009; Fialho, 2011).

Efeito da AEE nas escolas

Prestação do serviço educativo

Resultados

RESULTADOS


Domínio «Resultados» – fator “Sucesso académico”

Importância que algumas medidas de política educativa tiveram na alteração das práticas docentes, muito por via da atualização de conhecimentos. Identificação de aspetos que contribuíram para a melhoria dos resultados académicos dos alunos.

Existência de ocorrências positivas, ao nível dos diferentes fatores constitutivos deste domínio, bem como a ocorrência de efeitos positivos da AEE.


RESULTADOS





RESULTADOS


Existência de projetos; implicação ativa de todos os agentes educativos; existência de ações de melhoria; abertura da escola ao seu entorno, à comunidade envolvente e aos atores extraescola.

Forma como os órgãos assumiram a sua função intrínseca e (des)valorizaram o papel formativo da AEE; conceção de AEE que as lideranças de tipo perfilham . Distintas formas de

disseminação e internalização da informação oriunda da AEE e de operacionalização da legislação.

Papel dos líderes de topo: (des)valorização do saber acrescido dos colaboradores com mais formação académica, indução dessa formação ou procura ‘serviço-de-pronto-a- -servir’ ao nível da AI.


CONCLUSÕES

A autoavaliação/avaliação interna ainda não parece ser, nas escolas portuguesas, plenamente assumida como uma estratégia organizacional capaz de produzir os efeitos desejados (a melhoria e o desenvolvimento das escolas), consubstanciando-se no cumprimento legal: uma avaliação de conformidade, dado que as práticas não se encontram sistematizadas e consolidadas. A formação e o conhecimento pessoal dos atores influenciam o agir organizacional e a aceitação da prestação de contas.


CONCLUSÕES

Impõe-se à escola enquanto organização a capacidade de se transfigurar e revelar como organização aprendente, curricularmente inteligente e consequente do ponto de vista avaliativo. A falta de sistematicidade nos procedimentos avaliativos organizacionais das escolas portuguesas permite inferir a necessidade da criação de mecanismos de apoio às escolas, dentro do próprio sistema educativo (Eurydice, 2004; McNamara &

O’Hara,2008; OCDE, 2009, 2012; IGEC, 2012).


SUGESTÕES DE MELHORIA DOS PROCESSOS DE AVALIAÇÃO ORGANIZACIONAL

AA e AEE devem concorrer para as decisões de

micro, mezzo ou macro política

educativa.

AA como instrumento estratégico holístico para a melhoria

sustentada e articulada da qualidade da escola, do ensino e da

aprendizagem.

Complementaridade entre AA (cariz essencialmente formativo e regulador) e AEE (apoiado na AA para sustentar o feedback

necessário ao desenvolvimento organizacional).

AA como questão instrumental e técnica, capaz de suportar e

validar o debate interno, apontando linhas de ação e

sustentando as decisões.


[BIBLIOGRAFIA]


Obrigado!

Bom almoço...

[email protected] [email protected] [email protected]

Por favor, consultar a versão alargada/ completa desta apresentação.

Impactos e Processos da AAEENS: Evidências resultantes de estudos de

casos/agrupamentos de escolas

José Augusto Pacheco, José Carlos Morgado, Filipa Seabra, Natália Costa, Helena Queirós, Eduarda Rodrigues, Joana Sousa e Conceição Lamela


• Metodologia de investigação

• Caracterização do agrupamento

• Resultados da Avaliação Externa no agrupamento

• Análise dos inquéritos por entrevista (categorias)

• Mudanças organizacionais

• Mudanças curriculares e pedagógicas

• Resultados académicos e sociais

• Efeitos observáveis da Avaliação Externa

Sumário

Este trabalho é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade – COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.

Metodologia de Investigação

• Análise de Conteúdo Relatórios e contraditórios de AEE

• Inquérito por entrevista semiestruturada Diretor (D)

Coordenador de equipa de auto-avaliação (CEAAV)

Coordenadores de estruturas de gestão intermédia (CEGI)

• Inquérito por questionário Professores


Caracterização do Agrupamento 2014/2015

Localização Viana do Castelo

Oferta Educativa Pré-escolar (4 jardins de infância) Ensino básico regular (4 escolas do 1º ciclo; 1 escola básica de 2º e 3º ciclos)

Dimensão do agrupamento

Dimensionado para 16 turmas (2º e 3 ciclos). Atualmente tem 21 turmas (750 alunos).

Recursos Humanos 71 Docentes 47 Assistentes Técnicos e Operacionais


Resultados da Avaliação Externa de Escolas do Agrupamento

1º Ciclo de Avaliação Externa de Escolas (2007/2008)

2º Ciclo de Avaliação Externa de Escolas (2011/2012)

Dimensões

Resultados

Suficiente

Resultados

Bom Prestação do Serviço Educativo

Prestação do Serviço Educativo

Organização e gestão escolar

Liderança e gestão

Muito bom

Capacidade de auto-regulação

Melhoria do Agrupamento

Liderança e gestão Bom

Contraditório (Solicitação de correção de dados de facto e

de discordância de dados de opinião)

Contraditório (Discordância na classificação do domínio dos

resultados)


Resultados da Avaliação Externa de Escolas do Agrupamento

1º ciclo de avaliação 2º ciclo de avaliação

Pontos

fortes

- As medidas de prevenção do abandono escolar.

- A aposta nas tecnologias de informação e comunicação.

- O empenho e a motivação do corpo docente.

- O clima de tranquilidade e disciplina.

- O envolvimento de algumas Associações de Pais/EE na vida das

unidades do 1.º Ciclo e Educação Pré-escolar.

- A diminuição contínua da taxa de abandono escolar, no último

triénio.

- O reconhecimento da comunidade educativa pelo trabalho

desenvolvido pelo Agrupamento.

- A valorização das metodologias ativas e experimentais no processo

de desenvolvimento do currículo.

- As práticas consolidadas de recolha e análise de dados quantitativos

e qualitativos relativos aos resultados escolares, bem como a outros

indicadores da vida no Agrupamento.

- O desenvolvimento de projetos e o acesso a recursos da

comunidade local com vista à promoção da igualdade de

oportunidades educativas aos alunos.

- A liderança de topo ativa, aberta e mobilizadora das lideranças

intermédias, as quais estimulam a participação dos encarregados de

educação, das autarquias e de outras instituições locais.

- A valorização das pessoas e das suas competências profissionais nos

processos de gestão de recursos humanos.

Pontos

fracos

ou

Áreas de

melhoria

- A persistência do insucesso escolar no final do 3.º ciclo e a

evolução negativa dos resultados alcançados em Língua

Portuguesa e Matemática nas provas de aferição dos 4.º e 6.º

anos e nos exames nacionais do 9.º ano.

- A desatualização dos documentos de planeamento.

- A escassa articulação vertical dos currículos e das diversas

unidades educativas.

- Ausência de acompanhamento e supervisão da prática letiva

em sala de aula.

- Inexistência de uma cultura de autoavaliação do agrupamento.

- Os resultados da avaliação externa, particularmente os das provas

de aferição do 4.º ano.

- A monitorização do percurso dos alunos em termos de

prosseguimento de estudos e empregabilidade tendo em vista avaliar

o impacto da ação educativa do Agrupamento.

- O reforço, diversificação e adequação das práticas de ensino em

ordem a melhorar os resultados académicos dos alunos.

- A regulação dos processos de trabalho, em contexto de sala de aula,

com vista à melhoria das aprendizagens dos alunos.

- O envolvimento da comunidade educativa na autoavaliação do

Agrupamento.

Fonte: IGEC, Relatórios de Avaliação do Agrupamento, 2008 e 2012


Análise dos inquéritos por entrevista

Categorias Subcategorias

Mudanças organizacionais Autoavaliação institucional Lideranças de gestão e administração Parcerias escola/comunidade

Mudanças pedagógicas

Trabalho cooperativo docente Articulação e sequencialidade curricular Acompanhamento e supervisão da prática letiva Avaliação das aprendizagens

Resultados académicos e sociais

Resultados escolares internos Resultados escolares externos Qualidade do sucesso Resultados sociais/participação na comunidade

Efeitos observáveis

Discursivo Procedimental Parcial Exógeno/Endógeno Negativo/positivo


Mudanças Organizacionais

Autoavaliação institucional

“é feita em conformidade com os princípios da avaliação

externa” (D)

“o salto provocado na avaliação externa foi de fazermos aquilo a que

chamamos uma avaliação interna à

prova da Inspeção”(D)

“houve vários fatores que proporcionaram a

equipa de autoavaliação na altura.

Nós passamos a agrupar-nos.” (CEGI)

Antes da aplicação do modelo a escola já tinha

práticas internas de monitorização de

resultados escolares e relatórios avulsos de

funcionamento das várias estruturas.



Lideranças de gestão e

administração

“nós assumimos desde o início que não alterávamos

nada.”(CEGI)

“ele sabe mover as pessoas e é essa energia

que ele transmite ao corpo docente que nos faz querer ser cada vez mais e melhor. E daí a

avaliação externa não ter influenciado a nossa

prática”(CEGI)

A formalização da equipa de autoavaliação configura uma

mudança organizacional. A criação de dois novos cargos depois da primeira avaliação identificar a sua inexistência

como ponto fraco (coordenador da articulação e

do apoio ao estudo e coordenador de projetos e do

plano anual de atividades).



Parcerias escola/

comunidade

“fez com que o meio evoluísse (…) e que a

comunidade reconhecesse o nosso

trabalho. Foi muito mais ao nível exta-

agrupamento” (CEGI).

Interação forte “com juntas de freguesia e

associações culturais” (CEGI)

“dar resposta às necessidades com o

apoio de todos” (CEGI)

É considerada, pelo Diretor, como um ponto forte da organização

escolar, existindo a preocupação de estabelecer parcerias locais,

contribuindo para a construção da imagem e identidade social da

escola na comunidade. Com efeito, a AEE não tem um

efeito direto na relação da escola com a comunidade porque a escola

considera que essa é a sua mais-valia, sendo uma área de

intervenção privilegiada e anterior a qualquer AEE.


Mudanças Curriculares e Pedagógicas

Os coordenadores consideram que a AEE

identifica pontos fracos que de imediato podem ser

transformados em pontos fortes se a escola adotar formas de registo dessas

práticas, como é o caso da articulação curricular, da

planificação e dos critérios de avaliação.

“as atividades desenvolvidas não são feitas pensando que é uma recomendação da avaliação externa” (D)

Articulação e sequencialidade

curricular

“para criar dossiês, criar registos, criar

documentação que de facto permita fazer esse

registo para memória futura (…) o que foi feito

foi criar alguma forma que esses documentos registem o que se faz,

demonstrem evidências” (D)



Trabalho cooperativo

docente

“aqui quase tudo é trabalho

colaborativo. É tudo partilhado”

(CEGI)

“a partir do momento que se exige que haja mais articulação que

os professores colaborem mais entre

si e partilhem materiais, isso cá faz-se muito e reflete-se

na sala de aula”. (CEGI)

O Diretor refere que as mudanças introduzidas

na escola não são sequência da AEE,

embora refira que as mudanças nascem da

necessidade de a escola responder às

exigências do modelo.

“em termos de alteração das práticas

não vejo tanto decorrente da

avaliação externa ou de alguma

recomendação” (D)



É referido que as práticas se mantêm,

só que agora são formuladas evidências

documentais.

“a avaliação externa é mesmo isso, temos de

produzir em função daquilo que nos é

pedido” (CEGI)

Acompanhamento e supervisão da

prática letiva

“para criar dossiês, criar registos, criar

documentação que de facto permita fazer esse

registo para memória futura (…) o que foi feito

foi criar alguma forma que esses documentos registem o que se faz,

demonstrem evidências” (D)

“acho que há aqui alguma

artificialidade” (D)

“só se for o tal formalismo que nos poderia faltar… (…)é prática comum de há muitos anos abrir as

portas das salas…” (CEGI)



É reconhecido que houve uma alteração

nos critérios de avaliação para

adequar o trabalho da escola ao modelo.

“nas atitudes já só damos 10% da nota,

90% é para os conhecimentos e capacidades. Ora,

penso que isto não é positivo” (CEAAV)

Avaliação das aprendizagens

“sabemos que vamos tirar vantagens se

formos de encontro ao sucesso escolar

porque nós também queremos ter sucesso

educativo” (CEGI)

“se o objetivo é que todos trabalhemos para os

resultados então eles estão a trabalhar bem, mas eu penso que a função da escola não é só os resultados escolares, há

mais dimensões a ter em conta” (CEGI)

“para atingirmos os resultados e para

sermos mais e melhor (…) o nosso valor é

medido por aí” (CEGI)


Resultados Académicos e Sociais

Resultados escolares internos

É reconhecido por todos os

entrevistados que a avaliação das

aprendizagens influencia a

avaliação da escola.

“a importância que se está a dar ao

sucesso escolar e educativo. A escola está-se a afunilar”

(CEGI)

“o Ministério também transmite muito essa

ideia, nós estamos aqui para trabalhar para os resultados escolares” (CEAAV)

“Há toda uma harmonização do

trabalho que se faz internamente com a

avaliação externa porque é o que é

visível.” (D)

“única maneira de os resultados internos

não serem tão díspares dos

resultados externos” e, “mais ainda, isso

pode até trazer créditos para as

escolas, o que é mais interessante.” (D).

“as escolas têm que sobreviver e sobrevivem e é

assim que fazem e ponto final.” (D)



Resultados escolares externos

Existe a preocupação em adaptar as

práticas da escola ao contexto nacional,

tornando os procedimentos de

avaliação de alunos uniformes.

“Estamos a adotar os mesmos procedimentos

para todas as disciplinas” (CEGI)

“condiciona por completo toda a avaliação dos outros aspetos. Isso é algo que, de facto, é preocupante (…) Os

próprios critérios de classificação dos testes já são

iguais aos exames(D)

“o resultado da avaliação externa está condicionado pela avaliação dos

alunos” (CEGI)



Qualidade do Sucesso Os Coordenadores de

de estruturas de gestão intermédia

compreendem que é pertinente fomentar

uma cultura de automelhoramento nos

seus pares tendo em vista o sucesso

educativo.

“Eu não consigo conceber em trabalhar sem

perspetivar a minha melhoria pessoal e eu não

estou a pensar na avaliação externa” (CEGI)

“tento juntamente com eles implementar algumas medidas que esperemos que promovam sucesso

educativo. (…) a ideia é que haja uma melhoria” (CEGI).

“primeiro está a qualidade

pedagógica” (CEGI)

“as escolas começam a trabalhar para a

avaliação externa e não para os alunos e isto é

um bocado perverso (… ) eu penso que a função da escola não é só os

resultados escolares… há mais dimensões a ter em

conta” (CEAAV)



Resultados sociais/

participação na

comunidade

A participação na comunidade é um dos valores da escola

mais referidos, justificando-se com o facto da comunidade

ter uma boa imagem social da escola, uma vez que o

Agrupamento se considera atento às necessidades do

contexto envolvente.

“os miúdos desde cedo que vão tendo

essa noção de identidade” (CEGI).

“não fazemos seleção de alunos. Aceitamo-los a todos.” (CEGI) “interação forte com

juntas de freguesia e associações culturais”

(CEGI)


Efeitos Observáveis da Avaliação Externa de Escolas

Efeito Discursivo

“a forma como registávamos (…) o tipo de linguagem

que nós utilizávamos era diferente daquilo que eles queriam.

Foi uma adequação à linguagem e à

forma de registo.” (CEGI)

A apropriação da linguagem da AEE,

sobretudo ao nível do referencial utilizado, verifica-se, inclusive,

na elaboração do contraditório.



Efeito Procedimental

“fizemos as melhorias de

encontro àquilo que queriam de

nós. Agora temos algo objetivo para apresentar” (CEGI)

Neste Agrupamento a AEE teve um efeito procedimental que

passou pela formalização de procedimentos.

“o modelo de autoavaliação está

construído de maneira a responder

ao modelo da avaliação externa”

(CEAAV)

“um referencial de avaliação interno, foi uniformizado a todos

os níveis (…) foi construído, no fundo,

um referencial modelo que nos preparou

melhor para responder àquilo que avaliação externa nos

pedia” (D)



Efeito Parcial

“arranjamos caminhos de

aligeirar rapidamente.”

(CEGI).

O lado mais visível dos efeitos

imediatos é do impacto da

avaliação externa nos resultados

escolares.

Eu acho que de facto os rankings,

mesmo nas condições em que

são feitos, têm mais impacto que

a avaliação externa” (D),

Nós estamos aqui para

trabalhar para os resultados escolares!”

(CEAAV).



Efeito exógeno

“O salto que se provocou na avaliação externa foi de

fazermos aquilo a que nós chamámos de uma

avaliação interna à prova de Inspeção” (D)

Tendência do Agrupamento para a

estandardização e uniformização de

práticas, com vista a responder com

sucesso às exigências da avaliação externa.

“Eu acho que foi mais tornar evidente, através das tais evidências, de

coisas que já estavam cá, já existiam e já se faziam, mas

que (…) se calhar, não estavam documentadas da

forma que se esperava. Porque é mais

procedimento de registo de que outra coisa.” (CEGI)



Efeito positivo/ negativo

Os atores escolares têm uma imagem concreta do impacto das mudanças, admitindo que provoca

alterações no planeamento das práticas, especialmente

organizacionais e curriculares, mas não nas

práticas pedagógicas e inclusive no modo de

pensar.

“E acho que sinceramente, tendo em conta esta escola, acho que a avaliação

externa pouco ou nada iria imputar nas nossas formas de pensar (…) E daí a avaliação externa não ter influenciado a nossa prática!” (CEGI).

“o efeito que se pretendia era o da

melhoria da escola, nós continuamos a fazer o que estávamos a fazer.

Apenas tentamos construir a tal avaliação

à prova de inspeção”. (D)

“em termos de alteração das

práticas, não vejo tanto decorrente

da avaliação externa ou de

alguma recomendação”(D)


Impactos e Processos da AAEENS: Evidências

resultantes de estudos de casos/agrupamentos de escolas

José Augusto Pacheco, José Carlos Morgado, Filipa Seabra, Natália Costa, Helena Queirós,

Eduarda Rodrigues, Joana Sousa e Conceição Lamela


Agradecemos a atenção dispensada!

PROCESSOS E IMPACTOS DA AEEENS:

RESULTADOS DO INQUÉRITO NACIONAL

DO PROJETO AEEENS AOS DIRETORES

DE AGRUPAMENTOS DE ESCOLAS

João M. Moreira e Pedro Rodrigues

Universidade de Lisboa

Seminário "Avaliação Externa de Escolas: Processos e Impactos"

Universidade de Lisboa

8 de novembro de 2014

Projeto PTDC/CPE-CED/116674/2010: Impacto e Efeitos da

Avaliação Externa de Escolas do Ensino Não Superior (AEEENS)

Introdução

O projeto AEENS tem como um dos seus pilares a diversidade e complementaridade metodológica

Combina análises qualitativas e quantitativas

Das primeiras, destacam-se as análises dos relatórios, dos contraditórios, entrevistas, estudos de caso, etc.

O presente estudo recorre a uma metodologia quantitativa, através de um questionário estruturado, para obter uma panorâmica das perceções que os atores a nível das escolas/agrupamentos têm da avaliação externa, dos seus impactos e efeitos

Os diretores de escolas/agrupamentos foram tomados como informadores privilegiados, pois melhor do que ninguém interpretam a posição e a experiência da escola neste processo

Método

Questionário de autopreenchimento, maioritariamente de resposta fechada, com campos de resposta aberta em todos os blocos

Respondido online, através de convite enviado por email

População: todos os diretores de agrupamento e de escolas não agrupadas do continente (N = 811)

Primeiro email enviado em 26 de maio de 2014

Até este momento:

367 questionários iniciados

233 questionários concluídos (28.7%)

Estrutura do questionário

Página inicial Apresentação / Instruções

Bloco I Caracterização da Escola / Agrupamento

Bloco II Domínios e Facetas dos Efeitos da Avaliação Externa

Escala de -3 Extremamente negativo a +3 Extremamente positivo

Bloco III Loci (impacto sobre os diferentes elementos da escola)

Escala de 0 Nenhum a 4 Muito grande

Bloco IV Fatores potenciadores e inibidores do impacto da avaliação externa

Escala de -2 Muito inibidor a +2 Muito potenciador

Bloco V Avaliação global do processo de avaliação externa

Escala de -3 Extremamente negativo a +3 Extremamente positivo

Bloco VI Eficiência do processo de avaliação externa

Escala de 0 Um aproveitamento nada eficiente dos recursos a 4 Um aproveitamento extremamente

eficiente dos recursos

Caracterização dos participantes

Zona N %

Norte 90 39 %

Centro 36 16 %

Lisboa e Vale do Tejo 72 31 %

Alentejo 23 10 %

Algarve 12 5 %

Avaliadas N %

1º Ciclo (2006/2011) 160 69 %

2º Ciclo (2011/2014) 122 52 %

Ambos 106 45 %

Resultados - Efeitos

Bloco II – Domínios e Facetas dos Efeitos da Avaliação

Externa

Escala de

-3 Extremamente negativo a

+3 Extremamente positivo

Média DP

Geral + 1.11 0.82

Resultados + 0.96 0.82

Prestação do Serviço Educativo + 1.10 0.85

Liderança e Gestão + 1.28 0.87

Média DP

Qualidade dos processos de autoavaliação da escola/agrupamento + 1.55 1.05

Valorização dos processos de autoavaliação + 1.55 1.07

Adoção de medidas de melhoria em articulação com a autoavaliação + 1.53 1.03

Taxas de abandono e desistência + 0.75 1.23

Solidariedade e relacionamento entre os alunos + 0.67 0.98

Comportamento e disciplina dos alunos + 0.65 0.98

Resultados - Loci

Bloco III - Loci (impacto sobre os diferentes elementos da escola) Escala de 0 Nenhum a 4 Muito grande

Locus Média DP

Documentos orientadores da atividade da escola/agrupamento 2.38 1.09

Formas de atuação da Direção 2.36 1.10

Formas de atuação dos órgão de gestão intermédia 2.31 1.05

Regulamentos internos 2.09 1.14

Formas de atuação dos professores 2.09 1.05

Formas de atuação dos funcionários administrativos 1.82 1.10

Formas de atuação dos auxiliares de ação educativa 1.78 1.05

Formas de atuação de entidades externas relevantes 1.60 1.12

Formas de atuação dos alunos 1.59 1.12

Formas de atuação dos pais 1.54 1.09

Materiais e recursos educativos disponíveis 1.36 1.24

Instalações físicas 1.24 1.24

Resultados – Fatores potenciadores

Bloco IV - Fatores potenciadores e inibidores do impacto da avaliação externa

Escala de -2 Muito inibidor a +2 Muito potenciador

Fator Média DP

Consequências da avaliação externa no processo de autoavaliação/equipa de autoavaliação +1.09 0.88

Difusão na escola/agrupamento dos resultados da avaliação externa +1.01 0.84

Apropriação e uso pela escola dos referenciais da avaliação externa (da IGEC) na sua avaliação e

monitorização interna +0.98 0.89

Publicitação do relatório de avaliação externa +0.98 0.853

Grau de articulação entre os processos de avaliação interna e externa +0.86 0.88

Qualidade da colaboração estabelecida com a equipa de avaliação externa +0.83 0.95

Credibilidade da equipa de avaliação externa junto dos atores da escola/agrupamento +0.82 0.98

Grau de clareza e informação do relatório de avaliação externa +0.79 0.96

Nível de participação/envolvimento dos diferentes atores da escola no processo de avaliação +0.77 0.89

Grau de focalização da avaliação em indicadores objetivos +0.77 0.84

Grau de compreensão e consideração pela equipa de avaliação externa das particularidades da

escola/agrupamento, do seu contexto e da sua evolução +0.57 1.07

Duração da presença da equipa de avaliação externa +0.37 0.88

Consequências da avaliação externa na avaliação dos diretores +0.35 0.91

Consequências da avaliação externa nas cotas de classificação do desempenho docente +0.34 0.95

Resultados – Avaliação global

Bloco V - Avaliação global do processo de avaliação externa Escala de -3 Extremamente negativo a +3 Extremamente positivo

Média DP

Ao nível do processo de autoavaliação da escola +1.73 1.14

Ao nível organizacional +1.45 1.09

Ao nível curricular e pedagógico +1.14 1.09

Ao nível da participação da comunidade na vida da escola +1.07 1.06

Ao nível dos resultados dos alunos +0.83 1.01

Resultados - Eficiência

Bloco VI - Eficiência do processo de avaliação externa Escala de 0 Um aproveitamento nada eficiente dos recursos a 4 Um aproveitamento

extremamente eficiente dos recursos

N %

Um aproveitamento nada eficiente dos recursos 11 5 %

Um aproveitamento pouco eficiente dos recursos 28 12 %

Um aproveitamento moderadamente eficiente dos recursos 68 29 %

Um bom aproveitamento dos recursos 111 48 %

Um aproveitamento extremamente eficiente dos recursos 15 6 %

Diferenças entre clusters

Utilizando a classificação em clusters da DGEEC,

não se encontraram diferenças significativas

Realizámos uma análise com base nos nossos dados

Cluster 1 – Agrupamentos de maior dimensão e com

corpo docente mais estável (N = 145)

Cluster 2 – Agrupamentos de menor dimensão e com

corpo docente menos estável (N = 58)

Cluster 3 - Agrupamentos com mais alunos abrangidos

pela ASE, com NEE ou de origem estrangeira (N = 29)

> Básico (H) > Secundário (U) > Não regulares (P)

1 49 2 53

2 6 15 27

3 3 7 13

Diferenças entre clusters

Com os nossos clusters, apenas um efeito se aproxima da

significância

Efeito geral (p = 0.08)

Cluster Média

1 > Dimensão, estabilidade 1.09

2 < Dimensão, estabilidade 1.00

3 > ASE, NEE 1.41

Analisando por domínios, verifica-se que este efeito é

sobretudo devido ao domínio “Prestação do Serviço

Educativo”(p = 0.08) Cluster Média

1 > Dimensão, estabilidade 1.07

2 < Dimensão, estabilidade 1.01

3 > ASE, NEE 1.43

Diferenças entre regiões

Efeito significativo (p = .01) para o Impacto (Loci)

Média

Norte 2.08

Centro 1.47

Lisboa e vale do Tejo 1.76

Alentejo 1.94

Algarve 1.50

Noutros blocos (Efeitos, Avaliação global) encontra-se o mesmo

padrão de resultados, embora não significativo: Norte, Lisboa e

Alentejo mais positivos, Centro e Algarve mais negativos

Resultados

Correlações entre resultados e avaliação do processo 1º Ciclo

(N=154)

2º Ciclo

(N=120)

Diferença

(N=102)

Efeito Geral .06 .22* .17

Efeito Resultados .06 .21* .17

Efeito Prestação do Serviço Educativo .05 .18 .13

Efeito Liderança e Gestão .05 .25* .19

Impacto (Loci) -.02 .23* .30*

Ao nível organizacional .10 .17 .09

Ao nível curricular e pedagógico .08 .20* .17

Ao nível da participação da comunidade na vida da escola .06 .35** .26*

Ao nível do processo de autoavaliação da escola .07 .36** .30*

Ao nível dos resultados dos alunos .14 .20* .08

Eficiência do processo .13 .32** .23*

Conclusões

O impacto e efeitos da avaliação externa são, de forma global, vistos como moderadamente

positivos.

Os impactos e efeitos mais fortes são notados nos aspetos mais próximos do processo de avaliação

externa: avaliação interna, documentos orientadores, atuação da liderança.

Os aspetos organizacionais estão num nível intermédio.

Em aspetos mais distais (resultados dos alunos, atuação de alunos e famílias), os impactos e efeitos

são vistos como menores.

Os principais fatores potenciadores do impacto e efeitos da avaliação externa têm a ver com o

grau em que esse processo impregnou a escola, sendo difundido e incorporado.

A perceção dos efeitos da avaliação está relacionada com os seus resultados:

Os resultados no 1º Ciclo de avaliação não estão relacionados com as perceções dos seus efeitos e impacto.

Resultados mais elevados no 2ª Ciclo de avaliação estão relacionados com perceções mais favoráveis dos

seus efeitos, sobretudo nos aspetos da autoavaliação e ligação com a comunidade.

A avaliação parece, em larga medida, exercer os seus efeitos positivos através da apropriação dos seus

pressupostos pelas Escolas, sobretudo no âmbito da autoavaliação

Estes resultados refletem sem dúvida aquilo que é o processo da AEEENS, tal como é aplicado neste

momento

Dados mais completos ajudar-nos-ão a iluminar estas questões, quer com um maior número de

respostas ao questionário, quer através dos estudos de caso.

impactos e processos da aaeens: evidências resultantes de...

Documents