public disclosure authorized - · . cip-brasil. catalogação-na-fonte sindicato nacional dos...

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

wb394321

Typewritten Text

50171

Preencha a fi cha de cadastro no fi nal deste livro

e receba gratuitamente informações

sobre os lançamentos e as promoções da Elsevier.

Consulte também nosso catálogo

completo, últimos lançamentos

e serviços exclusivos no site

www.elsevier.com.br

CIP-Brasil. Catalogação-na-fonteSindicato Nacional dos Editores de Livros, RJ

K37u Kellaghan, Thomas O uso dos resultados da avaliação do desempenho educacional / Thomas Kellaghan, Vincent Greaney, T. Scott Murray ; tradução Alexandre Sabine. – Rio de Janeiro : Elsevier, 2011. il. – (Pesquisas do Banco Mundial sobre avaliações de desempenho educacional ; v. 5)

Tradução de: Using the results of a national assessment of educational achievement Apêndice Inclui bibliografia ISBN 978-85-352-3962-1

1. Testes e medidas educacionais. 2. Avaliação educacional. 3. Rendimento escolar. 4. Educação e Estado. I. Greaney, Vincent. II. Murray, T. Scott. III. Título. IV. Série.

10-4462. CDD: 371.262 CDU: 37.091.26

Do original: Using the Results of a National Assessment of Educational AchievementCopyright © 2009, by The International Bank for Reconstruction and Development/The World BankPublicado originalmente em Inglês pelo Banco Mundial. Em caso de discrepâncias, prevalecerá a versão original em inglês.

Esta obra foi elaborada pela equipe do Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial. As afirmações, interpretações e conclusões aqui contidas não expressam necessariamente a opinião dos diretores executivos da instituição ou dos governos que eles representam. O Banco Mundial não garante a exatidão dos dados incluídos nesta publicação. As fronteiras, cores, denominações e outras informações mostradas em qualquer mapa neste estudo não implicam nenhuma opinião da parte do Banco Mundial em relação à situação jurídica de qualquer território, bem como o endosso ou a aceitação de suas fronteiras.

This work was originally published by The World Bank in English as National Assessments of Educational Achievement Volume 5: Using the Results of a National Assessment of Educational Achievement in 2009. This Brazilian Portuguese translation was arranged by Elsevier Brazil. Elsevier Brazil is responsible for the quality of translation. In case of any discrepancies, the original language will govern.

The findings, interpretations, and conclusions expressed herein are those of the author(s) and do not necessarily reflect the views of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The boundaries, colors, denominations, and other information shown on any map in this work do not imply any judgement on the part of The World Bank concerning the legal status of any territory or the endorsement or acceptance of such boundaries.

Direitos e permissõesO material contido nesta publicação é protegido por direito autoral. A cópia e/ou transmissão sem permissão de uma parte ou de todo o conteúdo poderão ser consideradas violação da lei aplicável. O Banco Internacional para Reconstrução e Desenvolvimento/Banco Mundial estimula a disseminação desta obra e normalmente permitirá com rapidez a reprodução de trechos deste relatório. Para obter permissão de fotocópia ou reimpressão de qualquer parte deste livro, envie um pedido contendo informações completas para Copyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA; telefone: 978-750-8400; fax: 978-750-4470; Internet: www.copyright.com. Todas as outras perguntas sobre direitos e licenças, inclusive direitos subsidiários, devem ser dirigidas ao Office of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA.Fax: 202-522-2422; e-mail: [email protected].

© 2011, The International Bank for Reconstruction and Development/The World Bank

Todos os direitos reservados e protegidos pela Lei no 9.610, de 19/02/1998.

Copidesque: Shirley Lima da Silva BrazRevisão: Edna Cavalcanti e Roberta BorgesEditoração Eletrônica: Estúdio Castellani

Elsevier Editora Ltda.Conhecimento sem FronteirasRua Sete de Setembro, 111 – 16o andar20050-006 – Centro – Rio de Janeiro – RJ – Brasil

Rua Quintana, 753 – 8o andar04569-011 – Brooklin – São Paulo – SP – BrasilServiço de Atendimento ao [email protected]

ISBN 978-85-352-3962-1Edição original: ISBN 978-0-8213-7966-0

AGRADECIMENTOS

Uma equipe liderada por Vincent Greaney (consultor, Rede de Desenvolvimento Hu-mano, Grupo de Educação, Banco Mundial)

e Thomas Kellaghan (Centro de Pesquisas Educacionais, St. Patrick’s College, Dublin) preparou a série da qual este é o Volume 5. Outros colaboradores da série são Sylvia Acana (Uganda National Examinations Board – Comissão Nacional de Exames de Uganda), Prue Anderson (Australian Council for Educational Research – Conselho de Pesquisas Educacionais da Austrália), Fernando Cartwright (Candadian Coun-cil on Learning – Conselho de Aprendizado do Canadá), Jean Dumais (Statistics Canadá – Estatísticas do Canadá), Chris Freeman (Australian Council for Educational Research – Conselho de Pesquisas Educacionais da Austrália), Hew Gough (Statistics Canadá – Estatísticas do Canadá), Sara Howie (University of Pretoria – Universidade de Pretória), George Morgan (Australian Council for Educational Research – Conselho de Pesquisas Educacionais da Austrália), T. Scott Murray (Statistics Cana-dá and UNESCO Institute for Statistics – Estatísticas do Canadá e Insti-tuto de Estatísticas da UNESCO) e Gerry Shiel (Educational Research Centre, St. Patrick’s College, Dublin – Centro de Pesquisas Educacio-nais, St. Patrick’s College, Dublin).

O trabalho foi realizado sob a direção inicial de Ruth Kagia, diretora de Educação, sua sucessora, Elizabeth King, e Robin Horn, gestor, Rede de Desenvolvimento Humano, Grupo de Educação do Banco Mundial. Robert Prouty iniciou o projeto e o gerenciou até agosto de 2007. Mar-guerite Clarke gerenciou o projeto em seus estágios finais até a revisão e publicação. Agradecemos as contribuições do revisor externo, Al Bea-ton (Boston College). Outros comentários relevantes foram feitos por Patricia Arregui, Luis Benveniste, Marguerite Clarke, Shobana Sosale e Emiliana Vegas. Recebemos contribuições e apoio valiosos de David Harding, Aidan Mulkeen e Myriam Waiser. Um agradecimento especial vai para Hilary Walshe, do Educational Research Centre (Centro de Pesquisas Educacionais), que digitou o manuscrito, e para Mary Rohan, que contribuiu para o trabalho.

Agradecemos às seguintes pessoas e organizações pela permissão de reproduzir os materiais no texto: Sylvia Acana, Martin Ackley, Abdul-ghani Al-Bazzaz, Aisha Al-Roudhan, Patricia Arregui, Educational and Developement Service Centre (Katmandu), Educational Research Cen-tre (Dublin) (Centro de Serviços Educacionais e de Desenvolvimento [Katmandu], Centro de Pesquisas Educacionais [Dublin]), Ethiopia Education Quality Assurance and Examinations Agency (Agência Edu-cacional de Garantia da Qualidade e de Exames da Etiópia), Exami-nations Council of Lesotho (Conselho de Exames do Lesoto), Lucien Finette, Zewdu Gebrekidan, Laura Gregory, Cynthia Guttman, Sarah Howie, International Association for the Evaluation of Educational Achievement (Associação Internacional para Avaliação do Aprovei-tamento Escolar), Tirth Khaniya, Mauritius Examination Syndicate (Conselho de Exames da República de Maurício), Claudia McLauchlan, Michigan State Board of Education (Conselho Estadual de Educação de Michigan), National Center for Education Statistics of the U.S. De-partment of Education (Centro Nacional de Estatísticas de Educação do Departamento de Educação dos Estados Unidos), National Educational Research and Evaluation Centre (Centro Nacional de Pesquisa Educa-cional e Avaliação, Colombo, Sri Lanka), Bob Prouty, United Nations Educational (Organização das Nações Unidas para a Educação, a Ciên-cia e a Cultura) (Relatório Global de Monitoramento do EFA), Matseko

C. Ramokoena, Rebecca Ross, Maureen Schafer, Bert Stoneberg, Sadia Tayyab e Hans Wagemaker.

O projeto, a edição e a produção deste livro foram coordenados por Janet Sasser e Paola Scalabrin, do Escritório de Publicações do Banco Mundial. O Fundo Fiduciário Educacional da Irlanda, o Programa de Parcerias do Banco Holandês, o Centro de Pesquisas Educacionais (Du-blin) e o Conselho de Pesquisas Educacionais da Austrália contribuíram generosamente para a preparação e publicação da série.

A tradução desta série para o português foi possível com o generoso apoio da Russia Education Aid for Development Trust Fund.

PREFÁCIO

Mais do que anos de escolaridade, é o apren-dizado – ou a aquisição de habilidades cognitivas – que aumenta a produtividade

individual e o lucro, gerando ganhos para a renda agregada na economia. Foi comprovado, por exemplo, que o aumento do desvio-padrão nas pontuações de alunos em avaliações internacionais de letramento em linguagem e competências em matemática está associado ao aumento de 2% nas taxas anuais de crescimento do PIB per capita.

Mensurar os produtos do aprendizado dos alunos é cada vez mais re-conhecido como uma ação necessária, não apenas para o monitoramento da eficácia do sistema escolar, mas também para o aprimoramento da qualidade educacional. As informações sobre o aproveitamento dos alu-nos podem ser usadas para orientar várias políticas educacionais, incluin-do o projeto e implementacão de programas para aperfeiçoar o ensino e o aprendizado nas salas de aula, a identificação de alunos com ritmo mais lento para que possam receber o apoio necessário e a provisão de assistência técnica e treinamento adequado para professores e escolas com baixo desempenho.

O uso dos resultados da avaliação para aprimorar o aprendizado dos alunos é um desafio crítico para os países em desenvolvimento. Poucos

países em desenvolvimento mensuram os níveis de aprendizado dos alu-nos de maneira regular ou sistemática, e aqueles que o fazem não costu-mam usar os resultados para orientar suas políticas educacionais. Porém, políticas educacionais melhores têm o potencial de promover aumentos significativos nas habilidades cognitivas. Se os países em desenvolvimen-to pretendem realmente oferecer educação para todos, precisam de as-sistência, tanto para mensurar os níveis de aprendizado de seus alunos quanto para encontrar maneiras de transformar essas informações em políticas e práticas educacionais eficazes.

Este livro é um recurso valioso para tais iniciativas. Ele reúne, pela primeira vez, grande parte das pesquisas atuais sobre o que realmente é eficaz na transposição de dados das avaliações nacionais em informações que permitam ação imediata, e como reunir interessados em conversas sobre tais informações, de modo que aprimore a qualidade da educação e o aprendizado dos alunos. O livro tem por objetivo maximizar o reco-nhecimento do valor dos dados nacionais sobre o aprendizado dos alu-nos e auxiliar os países a explorar plenamente as informações coletadas por suas avaliações.

Elizabeth KingDiretora de Educação

Rede de Desenvolvimento HumanoBanco Mundial

SUMÁRIO

1. FATORES QUE AFETAM A UTILIZAÇÃO E NÃO UTILIZAÇÃO

DAS CONCLUSÕES DAS AVALIAÇÕES NACIONAIS 1

O contexto político de uma avaliação nacional 3Responsabilidade 5A qualidade do Instrumento de avaliação 16Tipo de avaliação 19Subutilização das conclusões da avaliação nacional 22Conclusão 27

2 RELATO DE UMA AVALIAÇÃO NACIONAL: O RELATÓRIO

PRINCIPAL 31

Contexto da avaliação nacional 34Objetivos da avaliação nacional 34Modelo de referência para a avaliação nacional 34Procedimentos na aplicação da avaliação nacional 35Descrição do aproveitamento na avaliação nacional 35Correlatos do aproveitamento 39Mudança no aproveitamento ao longo do tempo 46Conclusão 49

3 RELATO DE UMA AVALIAÇÃO NACIONAL: OUTROS

INSTRUMENTOS PARA COMUNICAR AS CONCLUSÕES 51

Folha de especificações do produto 52Como informar a ministros e funcionários seniores a formulação

de políticas 53Publicação de relatórios sumários 55Publicação de relatórios técnicos 58Publicação de relatórios temáticos 59Como assegurar a cobertura da mídia 62Divulgação de comunicados de imprensa 63Realização de entrevistas coletivas 68Realização de reuniões individuais 68Publicação de relatórios em websites 69Disponibilização dos dados da avaliação 70Outros instrumentos de divulgação 72Conclusão 73

4 COMO CONVERTER AS CONCLUSÕES DA AVALIAÇÃO

EM POLÍTICAS E AÇÃO 75

Capacidade institucional para absorver e utilizar as informações 76Confiabilidade e relevância das informações fornecidas por uma

avaliação 77Procedimentos para identificar políticas ou ações adequadas

após uma avaliação 78Determinação de uma intervenção abrangente ou direcionada 82Complexidade da formação de políticas e tomada de decisão 83Conclusão 85

5 CONCLUSÕES DA AVALIAÇÃO NACIONAL, POLÍTICAS

E GESTÃO EDUCACIONAL 87

Descrição do aproveitamento 88Descrição de recursos 89Monitoramento do aproveitamento 91Revisão do sistema educacional 93Formulação de políticas gerais e acompanhamento na tomada

de decisão 93Definição de padrões 97Fornecimento de recursos para as escolas 99

Apoio à revisão curricular 101Revisão de livros didáticos 104Conclusão 105

6 CONCLUSÕES DA AVALIAÇÃO NACIONAL E ENSINO 107

Desenvolvimento profissional dos professores 108Fontes de dados de uma avaliação nacional para orientar o

desenvolvimento profissional dos professores 108Enfoque nas escolas e ensino em sala de aula 119Conclusão 134

7 CONCLUSÕES DA AVALIAÇÃO NACIONAL E

CONSCIENTIZAÇÃO PÚBLICA 137

Exemplos do uso dos resultados da avaliação para informar o público 140

O papel da mídia 141Desenvolvimento de uma estratégia de comunicação 142Conclusão 145

8 A BUSCA PELA OTIMIZAÇÃO DO USO E VALOR

DAS AVALIAÇÕES NACIONAIS 149

Otimização do uso das conclusões da avaliação nacional 151Desenvolvimento de avaliações nacionais para aumentar seu valor 154Conclusão 162

REFERÊNCIAS 163

ÍNDICE 177

QUADROS

1.1 Questões que Podem ser Esclarecidas por Meio de uma Avaliação Nacional 2

1.2 Avaliação do Aproveitamento a Partir de Evidências Limitadas 91.3 O Efeito Negativo dos Usos da Atribuição de Responsabilidade

com Consequências Significativas 111.4 Atribuição de Responsabilidade pelo Aproveitamento dos Alunos 141.5 Desvio da Culpa pelo Fracasso Escolar 15

1.6 Dois Usos de Dados de uma Avaliação Internacional 231.7 Extensão do Uso dos Resultados da Avaliação Nacional:

Honduras 243.1 Relatório Sumário do Estado de Illinois, Níveis de Aproveitamento

dos Alunos da 4a série no NAEP de 2007, Estados Unidos 553.2 Sugestões para Aplicar a Abordagem PISA ao Ensino e

Aprendizado de Matemática: Irlanda 573.3 Trecho de Comunicado de Imprensa, NAEP: Estados Unidos 653.4 Exemplo de Comunicado de Imprensa: Estados Unidos 673.5 Website, Aproveitamento em Matemática em Escolas Primárias:

Irlanda 703.6 Mapa do Site, Website da NAEP: Estados Unidos 715.1 Utilização dos Resultados da Avaliação para Promoção de

Reformas: República Dominicana 955.2 Mitos sobre a Educação nos Estados Unidos 966.1 Questão para relacionar o item de valor de lugar: Paquistão 1136.2 Uso das Conclusões da Avaliação Nacional para Aprimorar

a Formação de Professores: Minas Gerais, Brasil 1176.3 Principais Características de um Programa de Treinamento de

Professores no Trabalho Baseado nos Resultados da Avaliação Nacional: Uruguai 118

6.4 Trecho de Pôster Publicado após uma Avaliação Nacional: Uganda 121

6.5 Questão de matemática 1226.6 Recomendações após uma Avaliação Nacional em Matemática,

5a Série: Irlanda 1266.7 Tópicos para Discussão: Resultados da Avaliação Nacional

e Variáveis da Eficácia da Escola 1276.8 Tópicos para Discussão: Resultados da Avaliação Nacional

e Variáveis da Eficácia do Professor 1286.9 Tópicos para Discussão: Resultados da Avaliação Nacional

e Fatores Individuais Relacionados com o Aluno e sua Família Associados ao Aprendizado do Aluno 129

7.1 Leis sobre a Liberdade de Informação 1387.2 Acordos para a Divulgação dos Resultados da Avaliação Nacional:

Uruguai 1397.3 Procedimentos para Maximizar o Impacto das Conclusões

da Avaliação Nacional 1437.4 Capa do Encarte da Avaliação Nacional: Etiópia 146

FIGURAS

2.1 Habilidades e Estratégias de Leitura e Pontuações de Corte, por Pontos de Referência, para a Escala Combinada de Letramento em Leitura, 4a Série, PIRLS, 2001 38

2.2 Percentuais de Alunos dos Gêneros Masculino e Feminino que Obtiveram Domínio na Avaliação Nacional, 4a Série, por Área Curricular: Sri Lanka 40

2.3 Percentuais de Alunos que Assistem à Televisão por Quantidades Variáveis de Tempo, por Gênero e Pontuação Média em Leitura: Kuwait 41

2.4 Diferenças Regionais no Aproveitamento, 4a Série: Índice Composto da Etiópia (%) 43

2.5 Pontuações Médias de Leitura de Alunos Comparadas com o Número de Livros na Residência: 1a e 5a Séries: Irlanda 45

2.6 Tendências nas Pontuações Médias da Escala de Leitura para Alunos de 9, 13 e 17 anos, NAEP, 1971–2004: Estados Unidos 46

2.7 Percentual Médio de Respostas Corretas em Matemática, por Áreas de Conteúdo, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda 47

2.8 Percentual Médio de Respostas Corretas em Habilidades Matemáticas, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda 48

3.1 Pontuações Médias na Escala de Leitura por Raça ou Etnia, NAEP, 4a Série, 2005: Estados Unidos 62

6.1 Distribuições da Pontuação em Leitura de Alunos e Professores: Vietnã 113

6.2 Avaliação Nacional de Matemática da 5ª Série no Vietnã: Correlação entre as Pontuações Médias de Professores e Alunos da Província 116

6.3 Fatores que Afetam o Aproveitamento: Uganda 135

TABELAS

1.1 Motivos para a Subutilização das Conclusões e Ações e Avaliação Nacional, a fim de Solucionar a Subutilização, e Agentes Responsáveis pela Ação 25

2.1 Pontuações-padrão (e Erros-padrão) de Meninos e Meninas em uma Avaliação Nacional de Idioma e Matemática 32

2.2 Pontuações-padrão (e Erros-padrão) e Pontuações em Vários Percentis em uma Avaliação Nacional de Ciências, por Província 32

2.3 Pontuações Médias de Aproveitamento (e Erros-padrão) em uma Avaliação Nacional Aplicada em Dois Momentos 33

2.4 Correlação entre Pontuações Médias de Aproveitamento em Leitura e Fatores Escolares em uma Avaliação Nacional da 5a Série 33

2.5 Percentuais de Alunos Pontuando nos Níveis Mínimos e Desejáveis de Conhecimento em Testes de Letramento em Linguagem, Letramento em Matemática e Habilidades de Vida: República de Maurício 37

2.6 Níveis de Aproveitamento em Matemática na NAEP, 4a série: Estados Unidos 37

2.7 Níveis de Habilidade em Leitura na 5a Série em Avaliação Nacional: Vietnã 39

2.8 Pontuações Médias em Matemática, 8a Série, por Grupo Racial: África do Sul 42

2.9 Pontuações Médias na Avaliação Nacional do Idioma Nepali, 5a Série, por Região: Nepal 42

3.1 Relatório Técnico: Conteúdos Sugeridos 605.1 Percentuais de Escolas que Possuem Materiais Escolares Básicos:

Quênia 905.2 Percentuais de Escolas que Possuem Materiais Escolares,

1990-2002: Malawi 915.3 Países que Usaram os Resultados da Avaliação Nacional na

Revisão do Sistema Educacional 945.4 Classificação dos Alunos da 4a Série Avaliados como Proficientes

ou Acima nas Avaliações Estaduais e Nacionais em 2005: Estados Unidos 99

6.1 Percentuais de Alunos Cujos Professores Relataram Estar Prontos para Ensinar Matemática, Dados do TIMSS, 8a Série 111

6.2 Percentual de Professores que Pontuam em cada Nível de Proficiência em Matemática: Moçambique 114

6.3 Percentual de Alunos que Responderam Corretamente a Itens em uma Avaliação de Matemática: Colúmbia Britânica, Canadá 121

ABREVIAÇÕES

CONFEMEN Conferência dos Ministros da Educação dos Países de Língua Francesa

IEA Associação Internacional para a Avaliação do Apro-veitamento Escolar

MEAP Programa de Avaliação Educacional de Michigan

NAEP Avaliação Nacional do Progresso em Educação dos Estados Unidos

PASEC Programa de Análise dos Sistemas de Educação de CONFEMEN

PIRLS Estudo Internacional sobre o Progresso do Letra-mento em Leitura

PISA Programa Internacional de Avaliação de Alunos

SACMEQ Consórcio da África Austral e Oriental para Moni-toramento da Qualidade da Educação

SIMCE Sistema de Medição da Qualidade da Educação (Chile)

TIMSS Estudo das Tendências Internacionais no Estudo de Matemática e Ciências

FATORES QUE AFETAM

A UTILIZAÇÃO E NÃO

UTILIZAÇÃO DAS

CONCLUSÕES DAS

AVALIAÇÕES NACIONAIS

C A P Í T U L O

1

Os principais objetivos de uma avaliação nacional, conforme definido no Volume 1 desta série, são determinar (a) quão bem

os alunos estão aprendendo no sistema educacional (com relação a ex-pectativas gerais, objetivos do currículo e preparação para o aprendi-zado futuro e para a vida); (b) se há evidência de pontos fortes e pon-tos fracos específicos no conhecimento e habilidades dos alunos; (c) se subgrupos específicos na população apresentam desempenho ruim; (d) quais fatores estão associados ao aproveitamento dos alunos; (e) se os padrões governamentais estão sendo alcançados na disponibilização de recursos; e (f) se o aproveitamento dos alunos muda ao longo do tempo (Greaney e Kellaghan, 2008). Na busca por esses objetivos, utilizando-se procedimentos definidos pelas ciências sociais, são coletados dados dos alunos e de outros agentes envolvidos com o sistema educacional. Essa coleta de dados visa tornar mais transparentes os resultados da gestão e prática educacional e tem como objetivo final oferecer aos tra-balhadores do sistema informações que aprimorem sua atuação prática (Ferrer, 2006).

As evidências sobre o alcance dos objetivos de uma avaliação na-cional trazem implicações para a avaliação de aspectos importantes do

2 | SÉRIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIAÇÕES DE DESEMPENHO EDUCACIONAL

funcionamento de um sistema educacional em termos de acesso, qua-lidade, eficiência e equidade (Braun et al., 2006) (ver Quadro 1.1). É bastante provável que a avaliação revele que as questões estão inter-re-lacionadas. Em muitos sistemas educacionais, escolas com baixo apro-veitamento tendem a atender alunos oriundos de famílias em situação de desvantagem econômica ou de grupos minoritários; tendem também a receber o menor nível de recursos (por exemplo, os livros didáticos chegam atrasados ou não chegam); e tendem a ter dificuldade para atrair professores, por estarem em uma localidade isolada ou por ques-tões étnicas ou linguísticas. Claramente, qualquer informação fornecida por uma avaliação nacional deve ser do interesse de um grupo amplo de interessados: políticos, gestores educacionais, professores, treinadores de professores, desenvolvedores de currículo, pais, empregadores e o público em geral.

Os livros anteriores desta série descreveram como são obtidas infor-mações em uma avaliação nacional: Como são desenhados os instru-mentos para coletar informações sobre o aproveitamento dos alunos e variáveis relacionadas; como é selecionada uma amostra de alunos para representar o aproveitamento do sistema educacional como um todo

QUADRO 1.1

Questões que Podem ser Esclarecidas por Meio de uma Avaliação Nacional

Acesso. Obstáculos para frequentar a escola, como disponibilidade limitada de vagas ou distância entre a residência dos alunos e a escola.

Qualidade. A qualidade dos insumos e produtos do ensino, como os recursos e ins-talações disponíveis para apoiar o aprendizado (currículos factíveis, competência do professor, livros didáticos); práticas instrucionais; interações entre aprendiz e profes-sor; e aprendizado do aluno.

Eficiência. Utilização ótima dos recursos humanos e financeiros, refletida na proporção entre alunos por professor, rendimento dos alunos e taxas de repetência de série.

Equidade. Oferta de oportunidades educacionais para os alunos e obtenção de pari-dade de aproveitamento para os alunos, independentemente de suas características, como gênero, idioma ou pertencimento a grupo étnico e localização geográfica.

Fonte: Autores, com base em Braun et al., 2006.

O USO DOS RESULTADOS DA AVALIAÇÃO DO APROVEITAMENTO ESCOLAR | 3

(em termos claramente definidos, como alunos da 4a série ou com 11 anos); quais procedimentos devem ser observados na coleta e limpeza de dados; e quais métodos podem ser empregados em sua análise. Este livro se vale da divulgação e uso dos dados obtidos em uma avaliação nacional, com o objetivo final de aprimorar a qualidade do aprendizado dos alunos. Ele foi escrito tendo em vista dois públicos-alvo: (a) os res-ponsáveis pela preparação de relatórios de avaliação e pela comunicação e divulgação de conclusões e (b) os usuários de tais conclusões.

Este capítulo introdutório aborda cinco temas. Primeiro, descreve aspectos do contexto político dentro do qual a avaliação nacional está sendo realizada e suas implicações no uso das conclusões da avaliação. Segundo, discute a questão da responsabilidade, que é uma preocupação de grande relevância em muitos governos e com a qual as atividades de avaliação nacional têm sido estreitamente identificadas. Terceiro, ressal-ta que a qualidade dos instrumentos usados em uma avaliação nacional para a obtenção de informações relacionadas com o aprendizado dos alunos (conhecimento, habilidades, atitudes e hábitos que os alunos ad-quiriram como resultado de sua educação) gera implicações importantes para o uso das conclusões que visam aprimorar o aprendizado. Quarto, considera como as características de uma avaliação nacional (baseada no censo, em amostra ou internacional) afetam a maneira como as conclu-sões podem ser utilizadas. Para concluir, enumera possíveis razões para a falta de aplicação das conclusões da avaliação nacional.

O CONTEXTO POLÍTICO DE UMA AVALIAÇÃO NACIONAL

Embora possam existir muitas semelhanças entre uma avaliação nacio-nal e outra, há, na verdade, diferenças entre avaliações quanto às impli-cações de seu uso. Diferenças no projeto, implementação e aplicação emanam do fato de que a avaliação é um fenômeno político (bem como um fenômeno técnico), que reflete interesses, tensões, normas institu-cionais e natureza das relações de poder entre os atores políticos. Quan-do se identifica o contexto político no qual uma avaliação se realiza, é possível explicar diferenças entre os países quanto às suas estratégias de


avaliação (Benveniste, 2002). Mesmo nos Estados Unidos, os sistemas de atribuição de responsabilidade variam de estado para estado, refletin-do decisões administrativas e tradições que evoluíram com o passar do tempo (Linn, 2005b).

O papel da avaliação no exercício do controle e poder em questões educacionais tem várias facetas. Em primeiro lugar, a avaliação tem origem num processo político, geralmente inspirado e influenciado por motivações políticas. Em segundo lugar, a forma da avaliação será o resultado de uma concorrência entre os atores sociais que buscam influenciar a determinação de normas e valores a serem privilegiados pelo Estado. Terceiro, uma avaliação pode afetar as relações sociais en-tre, por exemplo, o gestor educacional e professores, ou entre profes-sores e pais. Quarto, o controle sobre a disposição e a interpretação dos resultados da avaliação implica autoridade para influenciar políticas, distribuição de recursos e percepções públicas. Por fim, uma avaliação pode abranger mecanismos para regulamentação e responsabilização, implícita ou explicitamente, de atores sociais em relação aos resultados (Benveniste, 2002).

Os atores sociais, com a capacidade de influenciar a natureza de uma avaliação – e o modo como as conclusões são usadas –, são diversos. A maneira como a política de poder desenrola-se na realidade de um país depende de vários fatores, como os listados a seguir:

O grau em que as decisões relacionadas com o fornecimento de re-��cursos educacionais (por exemplo, financiamento, currículos) é fun-ção de uma governança centralizada ou descentralizadaA existência e a força das instituições e redes informais, e dos grupos ��de interesses, tanto dentro quanto fora do governo A força dos sindicatos de professores, que podem exercer papel fun-��damental na implementação de políticas, se não na própria formula-ção de políticasO papel de agências externas (multilaterais e bilaterais) de sensibili-��zar os governos para abordar questões em seu sistema educacional e de fornecer ou apoiar o desenvolvimento de sua capacidade de lidar com eles.


As implicações de um ponto de vista político para uma avaliação nacional podem ser ilustradas por dois exemplos (Benveniste, 2002). No Chile, enfatiza-se a responsabilidade perante o público, promoven-do, portanto, a competição no mercado, que é induzida pela publicação dos resultados de uma avaliação para escolas individuais. Um ponto de vista bastante diferente é encontrado no Uruguai, onde o Estado aceita a responsabilidade pelo aproveitamento dos alunos e pelo fornecimento dos recursos necessários para apoiar o aprendizado – principalmente dos setores desprivilegiados da população.

Outro aspecto importante do contexto político no qual uma avalia-ção nacional se realiza que tem implicações para as conclusões é o grau de abertura de um sistema educacional. Alguns sistemas são descritos como “excludentes”. Nesses sistemas, o acesso a informações importan-tes sobre aspectos do sistema educacional, incluindo resultados de pes-quisas, fica restrito a elites formuladoras de políticas ou responsáveis seniores pela decisão, que não permitem sua divulgação ao público. No outro extremo, em sistemas mais abertos, há esforços para atrair o inte-resse da mídia, mobilizar forças políticas e promover um debate sobre questões educacionais (Reimers, 2003). Uma postura intermediária re-levante ao uso dos dados da avaliação nacional é aquela que prevê que a circulação de informações sobre o sistema educacional, inclusive dados sobre o aproveitamento dos alunos, embora não seja totalmente restri-ta, é limitada. No Uruguai, por exemplo, prevê-se que os dados sobre o aproveitamento dos alunos sejam utilizados primordialmente para os fins da comunidade educacional (Benveniste, 2002).

RESPONSABILIDADE

Nas últimas décadas, as ações de responsabilidade, em resposta às pres-sões políticas, sociais e econômicas, adquiriram importância crescente nos governos de muitos países. Esta seção considera a responsabilidade no contexto da educação e, em particular, concentra-se nas formas como a interpretação do conceito afeta o uso dos dados da avaliação nacional. É preciso ter em mente que grande parte do discurso se baseia na expe-


riência dos Estados Unidos e dedica-se a analisar a responsabilidade nas escolas (McDonnell, 2005).

O desenvolvimento dos movimentos de responsabilidade no setor público (inclusive educação) pode ser relacionado a uma variedade de fatores que não se excluem mutuamente, incluindo-se os seguintes:

A necessidade de gerenciar recursos finitos (e, em alguns casos, de-��crescentes) e de aumentar os resultados para determinado volume de contribuições.A utilização de ideias de planejamento e gestão que foram empres-��tadas do universo empresarial, principalmente aquelas relacionadas com garantia de qualidade, satisfação de clientes e melhoria contí-nua (características do Novo Movimento de Gestão Pública e de uma abordagem de administração corporativista). Esses conceitos podem, por sua vez, envolver a definição do desempenho em termos de re-sultados, definir metas de desempenho, utilizar indicadores de de-sempenho para determinar o grau de alcance das metas, implementar um planejamento estratégico e operacional, e basear a distribuição de recursos no desempenho.A introdução de mecanismos de mercado de distribuição e controle ��envolvendo programas de incentivo, concorrência, terceirização e au-ditoria, bem como a transferência de relações de poder para mecanis-mos de autocontrole como tentativa de minimizar a necessidade de supervisão externa e de fazer os indivíduos internalizarem as normas, os valores e as expectativas dos interessados, e a mentalidade neces-sária para se autogovernarem.Um movimento em direção a uma prática mais baseada em evidências. ��Tal movimento requer que os dados apoiem as reivindicações que os indivíduos e as instituições apresentaram, desempenho profissional e eficiente, além de dados nos quais basear decisões quanto à distri-buição de recursos (ver Blalock, 1999; Clegg e Clarke, 2001; Davies, 1999; Hopmann e Brinek, 2007; Kellaghan e Madaus, 2000).

Uma avaliação nacional ajusta-se bem a muitos desses fatores por fornecer informações (evidências) estatísticas atualizadas relativamente


simples sobre o sistema educacional. Além disso, pode identificar sub-grupos ou unidades na população que atendam a um padrão específico e aqueles que deixam de fazê-lo. As informações podem ser utilizadas para o planejamento e a gestão – em especial, para optar pela ação neces-sária a fim de aprimorar a qualidade ou eficiência. Elas também podem ser utilizadas para atribuir responsabilidade implícita ou explícita aos atores sociais, colocando sobre eles o ônus para mudanças ou ajustes.

O enfoque sobre a responsabilidade varia em todo o mundo, reve-lando-se com velocidades e impactos diferentes (Hopmann e Brinek, 2007). Não chega a causar surpresa que os propósitos e objetivos de muitas avaliações nacionais – principalmente nos países em desenvolvi-mento – ou as maneiras pelas quais essas avaliações se encaixam em um sistema de responsabilidade não sejam muito claras. Nos casos em que as políticas de responsabilidade não são bem desenvolvidas, as conclusões das avaliações nacionais não tendem a causar efeitos significativos (Hop-mann e Brinek, 2007). Contudo, caso se deseje utilizar os resultados das avaliações, seria necessário haver pelo menos um reconhecimento implícito da responsabilidade. Caso contrário, como devem ser tomadas as decisões sobre a ação que deve ser executada após uma avaliação e os indivíduos ou instituições que executarão tais ações?

Atribuir responsabilidade aos vários interessados envolvidos em um sistema tão complexo quanto o sistema educacional não é uma questão trivial. Seis questões que auxiliam a esclarecer as questões merecem ser consideradas para essa tarefa – principalmente quando os resultados da avaliação nacional são utilizados para atribuir responsabilidade a escolas e professores.

Um Sistema de Responsabilidade Deve Concentrar-se nos Resultados?

Um enfoque nos resultados da educação – em particular, no aprendi-zado dos alunos – pode ser atribuído ao reconhecimento formal de que muitas crianças passam um tempo considerável na escola sem adquirir conhecimento e habilidades úteis. A necessidade de assegurar que as


crianças realmente aprendam como resultado de suas experiências edu-cacionais foi destacada no Fórum Mundial de Educação para Todos, rea-lizado em Jomtien, Tailândia, em 1990 (UNESCO, 1990), e novamente nas Diretrizes de Ação de Dakar (UNESCO, 2000).

Utilizar dados sobre os resultados da educação como única base para a atribuição de responsabilidade, contudo, implica perder de vista o fato de que também são relevantes para a avaliação da qualidade os aspectos de fornecimento de recursos (por exemplo, instalações físicas da escola, currículos, materiais educacionais, técnicas instrucionais dos professores e atividades de preparação). Esses fatores são importantes, pois deles depende a qualidade do aprendizado dos alunos. “Não é possível esperar que os alunos se tornem proficientes a não ser que o conteúdo e o pro-cesso de instrução em sala de aula preparem-nos bem para isso” (Haertel e Herman, 2005: 21).

Um Sistema de Responsabilidade Deve Voltar-se para Resultados Cognitivos?

A maioria das pessoas provavelmente concorda que a escolaridade atende a muitos propósitos – alguns pessoais (por exemplo, o desenvolvimento cognitivo, moral e social dos alunos) e outros sociais (por exemplo, pro-mover a coesão social ou construir uma nação). A maioria das pessoas provavelmente também concordaria que os resultados cognitivos são pro-eminentes e, além disso, que o desenvolvimento de habilidades de letra-mento e habilidades numéricas mensuradas em todas as avaliações nacio-nais é necessário, como alicerce para o progresso educacional posterior dos alunos. Dificilmente, poderia ser considerado satisfatório, entretanto, se a total confiança nessas medidas para fins de responsabilidade resultasse na inobservância de outros resultados valorizados da escolaridade relacio-nados a comportamentos, valores, motivação, aspirações, autoconceito, habilidade de trabalhar em grupos, habilidade de realizar apresentações orais e socialização. Empregadores e economistas identificaram muitos desses resultados (em geral, descritos como soft skills) como extremamen-te importantes para a obtenção de um emprego (Cheng e Yip, 2006).


Um Sistema de Responsabilidade Deveria Basear-se em uma Única Métrica de Aproveitamento dos Alunos?

A maior parte das avaliações nacionais utiliza um único teste (embora ele possa assumir várias formas) para avaliar a competência dos alunos em uma área de currículo (por exemplo, matemática, leitura ou ciên-cias). Portanto, impõe-se uma pergunta: mesmo que o aproveitamento cognitivo dos alunos seja aceito como critério legítimo para a qualidade da escolaridade, é sensato basear a avaliação dessa qualidade (e uma possível atribuição de responsabilidade) a uma única métrica do desem-penho dos alunos em uma ou duas séries?

A resposta parece ser não. Um teste pode fornecer apenas uma quantida-de limitada de informações sobre o aproveitamento dos alunos (ver Quadro 1.2). Um painel preciso do aprendizado dos alunos, independentemente de o aprendizado estar sendo avaliado em nível nacional ou em nível da escola individual, exige métricas múltiplas de aproveitamento (Guilfoyle, 2006).

Se um teste ficar limitado a itens de múltipla escolha, problemas adi-cionais tendem a surgir, até porque é extremamente difícil, com o em-prego de tal formato, mensurar habilidades cognitivas de alto nível.

QUADRO 1.2

Avaliação do Aproveitamento a Partir de Evidências Limitadas

“Um sistema que condiciona a avaliação de uma escola inteira a uma média de pontua-ção de teste de um grupo de alunos em determinada série não pode ter a pretensão de avaliar adequadamente a escola em questão.”

Fonte: Guilfoyle 2006: 13.

Sanções Devem Ser Vinculadas ao Desempenho em uma Avaliação Nacional?

Uma decisão importante que se coloca quanto à utilização das conclu-sões das avaliações nacionais é se devem ser vinculadas sanções ao de-sempenho dos alunos. Embora a atribuição de algum grau de respon-sabilidade, mesmo que não seja reconhecido explicitamente, possa ser


esperado após uma avaliação, não é possível concluir que sanções devam ser aplicadas. Em algumas avaliações nacionais, contudo, são aplicadas sanções, geralmente a escolas, professores e, em alguns casos, a alunos. Exemplos de tais ocorrências podem ser encontrados na avaliação do currículo nacional na Inglaterra, que foi introduzida inicialmente como uma ferramenta para atribuir responsabilidades, e em várias avaliações em nível estadual nos Estados Unidos. Nesses casos, uma avaliação tor-na-se uma operação de alto risco para as escolas, com uma variedade de recompensas ou punições atreladas ao desempenho dos alunos. É possí-vel que as escolas ou os professores recebam recompensas na forma de bônus financeiros, que os professores sejam demitidos e que os alunos sejam impedidos de passar de ano ou se formar.

Vários argumentos apoiam a vinculação de consequências significativas ao desempenho dos alunos em um teste. Primeiro, essas consequências esti-mulam os indivíduos (em especial, os professores) a internalizar as normas, os valores e as expectativas dos interessados (especificamente, daqueles no Ministério da Educação) e a aceitar a responsabilidade por se adequar a eles. Segundo, apoiam a operação de mecanismos de mercado no sistema educacional, incluindo concorrência, terceirização e auditorias. Terceiro, atuam para direcionar as iniciativas de professores e alunos aos objetivos da instrução e a fornecer padrões de aproveitamento esperado que os alunos e professores possam almejar, criando, dessa forma, um sistema de instrução orientado para a medição. Nessa situação, é possível esperar que o desempe-nho dos alunos melhore se a instrução tiver sido alinhada a um instrumento de avaliação. A melhora no desempenho, contudo, pode não ser evidente quando o aproveitamento dos alunos for avaliado por outros instrumentos. Quando se comparam os ganhos no aproveitamento ao longo do tempo na Avaliação Nacional do Progresso em Educação norte-americana de alunos em estados que têm consequências significativas vinculadas às avaliações em nível estadual com os ganhos dos alunos em estados que não têm testes com essas consequências significativas, as conclusões são ambíguas (Amrein e Berliner, 2002; Braun, 2004).

Os argumentos contrários à vinculação de consequências significati-vas ao desempenho de alunos em testes se baseiam, em sua maioria, em observação e pesquisas com exames públicos (e não com avaliações na-


cionais) num período prolongado (Kellaghan e Greaney, 1992; Madaus e Kellaghan, 1992; Madaus, Russell e Higgins, 2009). Conclusões seme-lhantes estão surgindo quanto aos efeitos de testes associados à lei No Child Left Behind, nos Estados Unidos (Guilfoyle, 2006). As evidências disponíveis indicam que ocorrem consequências negativas quando san-ções são associadas ao desempenho dos alunos:

Os professores tendem a reagir alinhando o que ensinam com o co-��nhecimento e as habilidades avaliados no teste (“ensinar para fazer a prova”), negligenciando, portanto, áreas do currículo (por exemplo, artes, estudos sociais, educação física) que não são avaliadas.O ensino tenderá a enfatizar a memorização mecânica, a repetição ��frequente e a acumulação de conhecimentos factuais, resultando numa abordagem passiva de aprendizagem, em vez de uma abor-dagem que enfatize habilidades de alto nível de raciocínio geral e resolução de problemas.Os professores tendem a empregar um tempo considerável desenvol-��vendo as estratégias de resolução de testes dos alunos (como a manei-ra de responder a perguntas de múltipla escolha) e podem até usar o formato de múltipla escolha quando ensinam (ver Quadro 1.3).

QUADRO 1.3

O Efeito Negativo dos Usos da Atribuição de Responsabilidade com Consequências Signifi cativas

“Os sistemas de avaliação que são monitores úteis perdem muito de sua confiabilidade e credibilidade para este fim quando a eles são vinculadas consequências significativas. Os efeitos negativos não previstos dos usos da atribuição de responsabilidade com con-sequências significativas com frequência superam os efeitos positivos pretendidos.”

Fonte: Linn 2000: 14.

Tabelas de Classificação Devem ser Publicadas após a Realização de uma Avaliação Nacional?

Um exemplo específico do uso de consequências significativas em uma avaliação nacional é a publicação dos resultados no formato de tabelas


de classificação em que as escolas são classificadas em ordem de desem-penho. A expectativa dessa abordagem é que ela induza à concorrência entre as escolas e, por sua vez, aumente o aproveitamento dos alunos (Reimers, 2003). As informações podem ser usadas para manter pais e comunidades informados e, em algumas situações, os pais podem usar as informações para realizar escolhas sobre escolas para seus filhos. Mesmo quando não for possível escolher a escola ou quando os pais não utilizam os resultados da avaliação para realizar essa escolha (Vegas e Petrow, 2008), a mera publicação das informações sobre o desempenho das es-colas pode pressioná-las a melhorar o desempenho.

Além dos impactos adversos no ensino e aprendizado que já foram elencados em relação aos procedimentos de avaliações com consequên-cias significativas, é possível prever vários outros problemas quando são calculados e publicados os resultados individuais das escolas (Clotfelter e Ladd, 1996; Kane e Staiger, 2002; Kellaghan e Greaney, 2001; Linn, 2000). Primeiro, o desempenho das escolas (e, portanto, sua posição em uma tabela de classificação) varia de acordo com o resultado avalia-do (por exemplo, aproveitamento em leitura ou matemática). Segundo, mesmo as classificações que se baseiam na mesma métrica podem apre-sentar variação, dependendo do critério de “sucesso” que for adotado (por exemplo, pontuação média ou a proporção de alunos que obtêm pontuações “altas”). Terceiro, a falta de precisão nos procedimentos de avaliação significa que diferenças pequenas entre escolas (que podem causar grande impacto em sua classificação) serão creditadas ao aca-so. Quarto, as pontuações de aproveitamento podem variar de um ano para o outro, devido a fatores que estão fora do controle da escola (por exemplo, diferenças em cortes de alunos). Escolas pequenas são parti-cularmente vulneráveis a esse problema. Quinto, o aproveitamento dos alunos em uma escola representa mais do que os esforços dos professo-res, como é ilustrado pelo fato de as classificações da escola baseadas em aproveitamento e dados socieconômicos serem quase idênticas (Vegas e Petrow, 2008). Sexto, para compreender os fatores sobre os quais a escola não tem controle (por exemplo, habilidade dos alunos, ambiente doméstico), a média de ganhos nas pontuações dos testes dos alunos durante o ano pode ser usada como índice para o desempenho da escola.


Entretanto, essa medição tende a mostrar pouquíssima variância entre escolas e foi, portanto, considerada insatisfatória. Além disso, não leva em consideração o fato de que a taxa de crescimento dos alunos está re-lacionada com seu aproveitamento inicial. Abordagens estatísticas mais sofisticadas, que levam em conta uma diversidade de fatores sobre os quais as escolas não têm controle, podem ser adotadas para calcular as pontuações de ganhos da escola (modelos de valor agregado). Os pro-blemas que surgem com essas abordagens são a complexidade dos pro-cedimentos administrativos necessários para coletar os dados, o nível de conhecimento estatístico exigido para a análise, as dificuldades na esco-lha de variáveis a serem incluídas nos modelos estatísticos e o fato de que o ajuste para o aproveitamento anterior pode resultar em expectativas reduzidas para alunos com desempenho abaixo do esperado.

Por fim, as tabelas de classificação estimulam práticas corruptas, como assegurar que os alunos de desempenho mais baixo não partici-pem da avaliação ou concentrar-se no desempenho de alunos limítrofes para inflar a pontuação média de uma escola. Informações falsas sobre as condições nas escolas podem ser fornecidas (como ocorreu no Chile) para manipular a categorização socioeconômica da escola se uma cate-goria baixa atrair benefícios.

Quem Deve Ser Considerado Responsável?

Um dos principais argumentos contra a vinculação de consequências sig-nificativas para escolas e professores com o desempenho dos alunos em uma avaliação nacional é que uma avaliação não identifica os aspectos do aproveitamento que podem ser atribuídos a escolas ou professores. Mesmo uma reflexão breve sobre a ampla diversidade de fatores que interagem para afetar o desempenho dos alunos deveria levar os respon-sáveis a refletirem antes de atribuir responsabilidade. Os fatores podem ser identificados como (a) características dos alunos, incluindo seu apro-veitamento anterior; (b) condições de vida dos alunos, incluindo recur-sos da família e da comunidade e apoio recebido; (c) políticas educacio-nais e recursos e apoio, incluindo currículos e preparação de professores,


que são fornecidos pelas autoridades públicas relevantes; (d) condições e recursos da escola, incluindo governança e gestão; e (e) competência dos professores (Kellaghan e Greaney, 2001).

Parece razoável esperar que os indivíduos ou instituições associadas a esses fatores tenham responsabilidade apenas pelas questões sobre as quais tenham controle. Logo, a responsabilidade é compartilhada por (a) alu-nos; (b) professores; (c) escolas; (d) formuladores de políticas, administra-dores e gerentes do sistema escolar (em níveis nacional, estadual, regional, ou municipal, dependendo da maneira como o sistema educacional está organizado); (e) provedores de serviços de apoio (desenvolvedores de cur-rículo, treinadores de professores e editores de livros didáticos); (f) pais; e (g) outros (incluindo políticos, contribuintes e a sociedade como um todo). De fato, é extremamente difícil distribuir a responsabilidade entre tamanha variedade de interessados (ver Quadro 1.4). O não reconheci-mento do problema, contudo, pode levar a uma atribuição equivocada, que, por sua vez, pode resultar em ação inadequada (ver Quadro 1.5).

QUADRO 1.4

Atribuição de Responsabilidade pelo Aproveitamento dos Alunos

Não é fácil atribuir responsabilidade pelo aproveitamento dos alunos:

Embora os � professores sejam responsáveis em certo grau pelo aproveitamento de seus alunos, isso significa que deveriam ser os únicos responsáveis se a escola na qual ensinam não dispõe dos recursos básicos? Se eles receberam treinamento inadequado? Se os alunos estão ausentes por longos períodos? Se o currículo que devem ensinar é inadequado a seus alunos?

Deve-se atribuir aos � alunos a responsabilidade caso suas famílias não valorizem a educação ou ofereçam condições ou oportunidades para estudar? Se o currículo é inadequado? Se suas experiências educacionais anteriores foram prejudicadas por um ensino incompetente?

Deve-se atribuir aos � pais a responsabilidade por não enviarem seus filhos à escola regularmente porque não podem arcar com os custos envolvidos ou porque pre-cisam que seus filhos trabalhem?

Deve-se atribuir aos � gestores educacionais a responsabilidade se eles não ofere-cem recursos financeiros suficientes para atender às necessidades das escolas?

Deve-se atribuir aos � políticos a responsabilidade caso os recursos financeiros disponíveis ao governo sejam inadequados para atender às demandas do sistema educacional?

Fonte: Os autores.


QUADRO 1.5

Desvio da Culpa pelo Fracasso Escolar

“Os testes com atribuição de responsabilidade podem sutilmente desviar a culpa pelo fracasso escolar dos recursos escolares inadequados, formação ruim de professores ou fatores extraescola e colocá-la nos professores e alunos que ‘não estão fazendo esforços suficientes’ e, com isso, desviar a atenção de reformas mais onerosas e ne-cessárias.”

Fonte: Haertel e Herman, 2005: 3.

Muitas avaliações nacionais, pelo menos implicitamente, reconhecem o papel dos fatores externos à escola na determinação do aproveitamen-to dos alunos. Mesmo em avaliações com consequências significativas, os resultados dos testes costumam ser apresentados separadamente para escolas, dependendo da situação socioeconômica dos alunos que aten-dem. As pontuações dos alunos também podem ser ajustadas para que se compreendam suas características, como aproveitamento anterior ou situação socioeconômica de suas famílias. Além disso, mesmo quando estão associadas consequências significativas, são fornecidos recursos adicionais para as escolas que enfrentam dificuldades. Essa ação com-preende que os professores que não apresentam bom desempenho po-dem necessitar de assistência e desenvolvimento profissional sustentado (Linn, 2000).

Uma consideração sobre a variedade de interessados que podem afetar o aprendizado dos alunos respalda a conclusão de que a avaliação da res-ponsabilidade é uma questão complexa e não deve basear-se nas estatísticas limitadas fornecidas por uma avaliação nacional. No caso dos professores, a avaliação da responsabilidade exige um julgamento clínico que leve em con-ta uma variedade de fatores, incluindo as circunstâncias em que ensinam. Esses julgamentos são feitos de maneira mais adequada por um profissio-nal (diretor, inspetor ou supervisor). A decisão sobre a responsabilidade de outros interessados é igualmente complexa. Em um sistema democrático, os políticos respondem ao seu eleitorado, mas não é igualmente claro qual é a prioridade que os cidadãos dão à educação, muito menos ao aproveita-mento dos alunos, quando votam nas eleições. Os gestores educacionais são responsáveis perante seus superiores e agentes políticos pelo desempenho


de suas funções, mas, novamente, não está claro se o aproveitamento esco-lar deveria ser levado em conta. A distância dos gestores educacionais do trabalho concreto na escola, em contraste com a posição dos professores, provavelmente asseguraria que o aproveitamento dos alunos não tem papel relevante na avaliação de seu desempenho.

Um grau maior de clareza e transparência sobre a responsabilidade de todos os indivíduos e instituições que contribuem para os resultados do sistema educacional (incluindo o aprendizado dos alunos) deveria atuar para eliminar muitas das ambiguidades presentes nos atuais sistemas de atribuição de responsabilidade. Além disso, a adoção de um sistema de atribuição de responsabilidade que inclua indivíduos, instituições e agên-cias que exercem controle sobre os recursos e as atividades das escolas deveria atuar para concentrar a energia de todos os envolvidos na reali-zação das tarefas pelas quais são responsáveis (Clegg e Clarke, 2001).

A QUALIDADE DO INSTRUMENTO DE AVALIAÇÃO

O termo qualidade aplica-se a uma variedade de aspectos das experiên-cias educacionais dos alunos, incluindo ambientes de aprendizado segu-ros e com recursos adequados, currículos que atendem às necessidades dos alunos, práticas instrucionais, professores competentes engajados em pedagogias ativas e aprendizado dos alunos (ver, por exemplo, Schubert, 2005; UNESCO, 2000; UNICEF, 2000). Em estudos sobre avaliação nacional, contudo, como observamos, o principal foco quando se consi-dera a qualidade está nos resultados cognitivos do processo educacional – ou seja, o que os alunos aprenderam –, com o intuito de desenvolver estratégias para aprimorar esses resultados. Tal ênfase está de acordo com a meta 6 das Diretrizes de Ação de Dakar, que destaca a melhoria da qualidade da educação, “para que resultados reconhecidos e mensu-ráveis do aprendizado sejam alcançados por todos, principalmente no letramento em linguagem, letramento em matemática e habilidades bá-sicas para a vida” (UNESCO 2000: 8).

Em reconhecimento ao papel central atribuído ao aprendizado do aluno em uma avaliação nacional, esta seção descreve quatro condições


que devem ser atendidas para assegurar (a) que o teste utilizado repre-sente fielmente o aproveitamento que as escolas se empenham em de-senvolver e (b) que as informações obtidas atendam às necessidades dos usuários (Beaton e Johnson, 1992).

Primeiro, como um teste pode mensurar apenas parte do conheci-mento e das habilidades específicas em um construto (por exemplo, leitura), é importante assegurar que forneça uma representação ade-quada desse conhecimento e das habilidades (ver Haertel e Herman, 2005; Linn e Baker, 1996; Messick, 1989). Além disso, os itens do teste devem exibir importância curricular, complexidade cognitiva, adequação linguística e sentido para os alunos. Portanto, um teste não deve limitar-se a mensurar componentes de habilidades isolados ou itens de conhecimento que exijam dos alunos a recapitulação de fatos ou informações (uma característica de muitas avaliações nacio-nais) se o objetivo do sistema educacional é desenvolver habilida-des cognitivas de alto nível (que envolvem raciocínio, habilidade de identificar e solucionar problemas e habilidade de realizar tarefas não rotineiras). Recomenda-se que os desenvolvedores de testes tenham em mente que é desejável criar um instrumento que forneça uma base para política e decisões que tenham a probabilidade de induzir a mudanças curriculares e instrucionais que, por sua vez, promovam o desenvolvimento de conhecimento e habilidades valorizadas (ver Frederiksen e Collins, 1989).

Um teste deve conter um número adequado de itens, de modo a as-segurar a representação adequada de um domínio ou construto – ou dos objetivos ou subdomínios (por exemplo, áreas de conteúdo ou habilida-des matemáticas). O número reduzido de itens em algumas avaliações nacionais deve suscitar questionamento quanto à sua adequação a esse quesito. Por exemplo, o número de itens nos testes das avaliações na América Latina (20-40, com exceção do Brasil) significa que a cobertura do conteúdo tem sido deficiente. Além do mais, é difícil justificar um ponto de vista em que o domínio de um objetivo específico possa ser determinado por meio de apenas três ou quatro itens (González, 2002). Essa inadequação não está de maneira alguma limitada às avaliações na-cionais na América Latina.


Segundo, um teste deve avaliar conhecimentos e habilidades em nível adequado aos alunos que deverão responder a ele. Haverá proble-mas caso um teste se baseie exclusivamente em documentos curricula-res se o currículo contiver expectativas irreais sobre o aproveitamento dos alunos. Em tal situação, que é relativamente comum em países em desenvolvimento, o teste será extremamente difícil para alunos com rendimento abaixo da média e fracassará no intento de registrar seu aproveitamento. A solução está em levar em consideração, no momen-to de desenvolver os testes, não apenas os padrões do currículo preten-dido, mas também o que se conhece sobre o aproveitamento real dos alunos nas escolas. Em termos práticos, proporções muito pequenas de alunos devem acertar todos os itens ou errar todos eles. Esse re-sultado pode ser obtido com o envolvimento dos professores atuantes no desenvolvimento e na seleção de itens de testes e com a cuidadosa experimentação em campo dos itens antes da avaliação principal em uma amostra de alunos que abranja a variação encontrada nas escolas da população-alvo.

Uma terceira condição para que exista confiança em que um tes-te forneça informações válidas sobre o conhecimento e as habilidades dos alunos em um domínio curricular específico é que o desempenho dos alunos não deve ser determinado por sua competência em outros do-mínios que não aqueles que o teste se propôs a avaliar (Messick, 1989). Por exemplo, um teste elaborado para avaliar o aproveitamento dos alunos em ciências ou matemática não deve exigir processamento ex-cessivo de linguagem a ponto de o desempenho no teste depender da habilidade diferencial dos alunos de ler, e não de sua habilidade em ciências ou matemática. Esse problema ocorre quando não é possível supor que todos os alunos que farão o teste tenham o mesmo nível de habilidade em leitura, o que provavelmente ocorreria quando a lingua-gem do teste fosse diferente da linguagem que alguns alunos normal-mente utilizam.

Por último, se os resultados da avaliação serão utilizados para moni-torar mudanças ao longo do tempo, os instrumentos de avaliação devem ser comparáveis entre si. Para alcançar esse resultado, pode-se utilizar o mesmo texto, que deve ser armazenado com segurança de uma apli-


cação para a outra. Caso sejam utilizados testes diferentes, a criação de escalas utilizando a Teoria de Resposta ao Item possibilita que os resultados sejam apresentados nas mesmas escalas de proficiência (ver o Volume 4). A melhor prática pressupõe transferir um subgrupo de itens de um teste para o outro, de modo a se verificar um meio robusto para relacionar os testes. Também é essencial que as amostras dos alu-nos e os procedimentos seguidos na aplicação sejam equivalentes. Se os critérios de exclusão (por exemplo, para alunos com dificuldades de aprendizado) variarem de uma avaliação para a outra, ou se as condições sobre as quais os aplicadores não tiverem controle (por exemplo, taxas de resposta) diferirem, esses fatores devem ser levados em consideração quando se fizerem comparações entre o aproveitamento dos alunos em momentos distintos.

TIPO DE AVALIAÇÃO

O potencial de uso das informações derivadas de uma avaliação depende das características da avaliação. O uso que pode ser feito dos resultados da avaliação varia para (a) avaliações baseadas no censo, das quais todas (ou a maioria das) as escolas e os alunos na população-alvo participam (como, por exemplo, no Brasil, Chile e Inglaterra); (b) avaliações basea-das em amostras, das quais participam uma amostra de alunos ou escolas selecionadas para representar a população total (como ocorre na maioria dos países); e (c) avaliações internacionais, em que um número de países segue procedimentos similares para obter informações sobre o aprendi-zado dos alunos.

Avaliação Baseada no Censo

Uma avaliação nacional da qual participam todas (ou quase todas) as escolas e alunos, geralmente em séries ou faixas etárias específicas, é chamada de avaliação baseada no censo ou baseada na população. Ela tem o potencial de fornecer informações sobre o aproveitamento dos


alunos para (a) o sistema educacional em geral, (b) setores do sistema, (c) escolas, (d) professores ou turmas, (e) alunos individuais e (f) fatores associados ao aproveitamento. Como são disponibilizadas informações sobre todas as escolas, é possível identificar aquelas que apresentam o pior desempenho, e tomar decisões sobre possíveis medidas corretivas, como a oferta de cursos de desenvolvimento profissional para professo-res, serviços suplementares ou recursos adicionais. A avaliação torna-se uma avaliação de consequências significativas se forem vinculadas san-ções ao desempenho escolar ou se forem publicadas informações sobre o desempenho de escolas individuais.

Avaliação Baseada em Amostra

Pelo fato de a população como um todo não participar de uma avalia-ção baseada em amostra, ela pode, ao contrário da avaliação baseada no censo, fornecer informações apenas sobre o aproveitamento dos alu-nos para (a) o sistema educacional em geral, (b) setores do sistema e (c) fatores associados ao aproveitamento. Apesar de esse enfoque limitar o uso que pode ser feito das conclusões da avaliação, apresenta várias vantagens. Primeiro, aplicar uma avaliação baseada em amostra é consi-deravelmente menos oneroso do que aplicar uma avaliação baseada no censo. Segundo, não é necessário avaliar todos os alunos a fim de atender ao objetivo básico de uma avaliação nacional, que é oferecer informa-ções válidas, confiáveis e oportunas sobre o funcionamento do sistema educacional e, em particular, da qualidade do aprendizado dos alunos. Terceiro, como as escolas participantes não são identificadas, uma ava-liação baseada em amostra não tem o impacto negativo de uma avalia-ção baseada no censo nas escolas e no aprendizado se forem vinculadas sanções a escolas, professores, ou a ambos, por causa do desempenho. Por fim, avaliações baseadas em amostra podem ser aplicadas com mais frequência, possibilitando que avaliações sucessivas sejam direcionadas a questões emergentes. Algumas avaliações nacionais são aplicadas em base contínua para amostras móveis de alunos, dando, assim, acesso con-tínuo de dados da avaliação aos educadores.


Avaliação Internacional

Outra distinção relevante ao se considerar o uso de dados da avaliação é se a avaliação é uma operação independente ou se é realizada no contex-to de um estudo internacional. Estudos internacionais têm o potencial de fornecer informações que não podem ser obtidas em uma avaliação nacional. Eles podem (a) ajudar a definir o que será alcançado (quanto os alunos podem aprender e em que idade) por meio da observação do desempenho em vários sistemas educacionais; (b) permitir aos pesquisa-dores observarem e caracterizarem as consequências de práticas e polí-ticas distintas; (c) trazer à tona conceitos para compreender a educação que possam ter sido ignorados em um país; e (d) ajudar a identificar e questionar crenças e suposições que possam ter sido assimiladas como corretas (Chabbott e Elliott, 2003). Além disso, estudos internacionais tendem a alcançar padrões técnicos muito mais elevados do que avalia-ções nacionais, e possibilitam que os participantes compartilhem custos de desenvolvimento e implementação que, de outra forma, tornariam esses métodos proibitivos em muitos sistemas. Os resultados de avalia-ções internacionais tendem a atrair atenção considerável da mídia e têm sido usados para estimular o debate sobre a adequação de provisiona-mento educacional e aproveitamento dos alunos, bem como para pro-por mudanças nos currículos (principalmente em matemática e ciências) (Robitaille, Beaton e Plomp, 2000).

Embora as avaliações internacionais possam – pelo menos em nível superficial – oferecer dados comparativos sobre o aproveitamento dos alunos que não estão disponíveis em uma avaliação nacional, é necessá-rio cautela quando da utilização das conclusões para orientar a política doméstica. Entre as principais armadilhas encontradas na utilização de dados internacionais para esse fim, apontamos que, quando um teste precisa ser administrado em vários países, seu conteúdo talvez não re-presente adequadamente o currículo de um país participante específico. Também é um fato geralmente reconhecido que estudos internacionais não prestam atenção suficiente aos contextos nos quais os sistemas edu-cacionais funcionam. De fato, é improvável que a tecnologia por eles empregada possa representar as sutilezas dos sistemas educacionais ou


fornecer uma compreensão fundamental do aprendizado e como ele é influenciado por fatores culturais e contextuais locais (Porter e Gamo-ran, 2002; Watson, 1999). Em caso afirmativo, não é possível supor que abordagens identificadas em estudos internacionais que parecem funcio-nar bem em alguns sistemas educacionais serão igualmente eficazes em outros. A adoção e a implementação de políticas baseadas nesse pressu-posto podem não apenas ser ineficazes, como também trazer prejuízos (Robertson, 2005).

Além de fornecer comparações entre as condições de um sistema educacional e as condições de outros sistemas, os dados obtidos numa avaliação internacional podem ser usados por um país individual para examinar aspectos mais profundos de seu próprio sistema (com base em análises feitas sobre o país) naquilo que se torna, de fato, uma avalia-ção nacional (Ministério da Educação do Kuwait, 2008; Postlethwaite e Kellaghan, 2008) (ver Quadro 1.6). Na verdade, um dos objetivos do Estudo de Letramento em Leitura, realizado pela Associação Internacio-nal para Avaliação do Aproveitamento Escolar em 1990/91, foi fornecer dados de linha de base nacionais sobre o letramento em leitura de alunos entre 9 e 14 anos, visando o monitoramento das mudanças ao longo do tempo (Elley, 1992).

SUBUTILIZAÇÃO DAS CONCLUSÕES DA AVALIAÇÃO NACIONAL

Ao considerar a utilização (e não utilização) das conclusões da avaliação nacional, deve-se reconhecer, desde o início, que não há muitas informa-ções disponíveis sobre o assunto. Além disso, menos informações ainda estão disponíveis sobre a utilização ótima das conclusões ou sobre os efeitos de se basearem as decisões das formulações de políticas nas con-clusões. Essa falta de conclusões talvez não seja um reflexo verdadeiro do uso atual, é claro, porque as informações reservadas para uso do go-verno podem não estar documentadas para o público.

As evidências que estão disponíveis revelam que o uso das conclusões da avaliação nacional não está disseminado, não obstante o potencial que as informações derivadas de uma avaliação tenham para iniciar uma


reforma e apesar das despesas realizadas para obter as informações. Essa observação foi feita, por exemplo, no contexto da determinação de po-líticas e decisões específicas (ver Arregui e McLauchlan, 2005; Himmel, 1996; Olivares, 1996; Rojas e Esquivel, 1998) e sugere que o uso de dados da avaliação nacional é muito semelhante ao uso das conclusões de outras pesquisas relacionadas com políticas (ver Capítulo 4). A des-crição da experiência hondurenha provavelmente é semelhante a outras experiências (Quadro 1.7). Contudo, embora a identificação de um uso específico de dados da avaliação talvez não tenha sido possível naquele caso, o fato de os dados influenciarem a opinião pública e aumentarem a conscientização é, em si, um componente significativo.

Uma variedade de motivos pode ser apresentada para a subutilização de conclusões da avaliação nacional (Tabela 1.1). Primeiro, as conclu-sões tendem a ser subutilizadas quando a avaliação nacional é considera-da uma atividade independente, isolada de outra atividade educacional

QUADRO 1.6

Dois Usos de Dados de uma Avaliação Internacional

A distinção entre a utilização dos dados coletados em uma avaliação internacional para fins de comparações entre países e de dados coletados para análise nacional pode ser ilustrada por meio de uma comparação entre o uso de dados coletados em estudos realizados pela Associação Internacional para a Avaliação do Aproveitamen-to Escolar (IEA – International Association for the Evaluation of Educational Achieve-ment) na Hungria e na Finlândia. Na Hungria, o enfoque foi a comparação entre seu sistema de educação e os sistemas de outros países. A comparação indicou que (a) aproveitamentos em matemática e ciências foram satisfatórios, (b) aproveitamentos na compreensão em leitura foram geralmente inferiores àqueles registrados em outros países, (c) as escolas na Hungria foram mais diversificadas em seus aproveitamentos do que as escolas em outros países, e (d) o ambiente doméstico teve maior influência no aproveitamento em leitura dos alunos do que em outros países (Báthory, 1992). Em contrapartida, na Finlândia, dados internacionais obtidos em estudos realizados pela IEA foram utilizados para analisar a qualidade do ensino de matemática e ciências no país. Os dados, que constituíram a única evidência empírica disponível à época sobre o aproveitamento dos alunos, foram usados em análises que contemplaram necessi-dades específicas e transmitidos aos responsáveis pelo planejamento, pela formula-ção de políticas e pelos grupos de trabalho ad hoc nacionais.

Fonte: Howie e Plomp, 2005; Leimu, 1992.


e com pouca conexão com ela. Essa situação tende a ocorrer quando a atividade de avaliação nacional é nova ou é realizada por agentes exter-nos ou a pedido de doadores. Rust (1999), por exemplo, apontou que, na África Subsaariana, os documentos de políticas costumam ser per-cebidos pelos burocratas locais como pertencentes à agência doadora, dissociados da formulação local de políticas.

QUADRO 1.7

Extensão do Uso dos Resultados da Avaliação Nacional: Honduras

“Estes projetos geraram uma grande quantidade de dados e informações que des-crevem o aproveitamento escolar dos alunos; são iniciativas de pesquisas que tiveram impacto significativo sobre a opinião pública, porém... não contribuíram para tornar o sistema educacional mais eficiente ou eficaz. Os resultados não chegam a ser usados; eles não foram um mecanismo real para controle e responsabilidade; e, até o momen-to, as informações geradas não parecem ter tido consequências significativas além de informar, sensibilizar e aumentar a conscientização.”

Fonte: Moncada et al., 2003: 73, como foi informado em Arregui e McLauchlan, 2005: 6.

Segundo, a subutilização de conclusões da avaliação nacional tende a ocorrer quando os formuladores de políticas, gestores educacionais e ou-tros interessados que estão em posição de fazer algo com as conclusões têm envolvimento limitado ou nenhum envolvimento no desenho e na implementação de uma avaliação.

Terceiro, chega a surpreender, por conta de as avaliações comuni-carem informações importantes, que o primeiro estágio de uso – co-municação das informações a atores relevantes, como formuladores de políticas, provedores de treinamento de professores e doadores – nem sempre é realizado de maneira satisfatória, limitando clara-mente o potencial de uso. Esse problema pode ser creditado a uma falha na preparação de orçamento para a disseminação das conclu-sões. Em uma situação na qual a maior parte do tempo e dos recursos disponíveis para um projeto é necessária para o desenvolvimento e o gerenciamento dos instrumentos e análise de dados, talvez não tenha sobrado qualquer recurso para a produção e a disseminação de pro-dutos e serviços de informações.

TAB

ELA

1.1

Mot

ivos

par

a a

Subu

tiliz

ação

das

Con

clus

ões

e A

ções

e A

valia

ção

Nac

iona

l, a

fim d

e So

luci

onar

a S

ubut

iliza

ção,

e A

gent

es R

espo

nsáv

eis

pela

Açã

o

Mo

tivo

Açã

oA

gen

te

1. A

tivid

ade

de

aval

iaçã

o na

cion

al

cons

ider

ada

uma

ativ

idad

e in

dep

end

ente

, com

pou

ca r

elaç

ão

com

out

ras

ativ

idad

es e

duc

acio

nais

Inte

gra

r a

ativ

idad

e d

e av

alia

ção

em e

stru

tura

s, p

olíti

cas

e p

roce

ssos

de

tom

ada

de

dec

isão

exi

sten

tes.

Min

isté

rio d

a Ed

ucaç

ão

2. E

nvol

vim

ento

inad

equa

do

dos

inte

ress

ados

no

pro

jeto

e

imp

lem

enta

ção

de

uma

aval

iaçã

o

Envo

lver

tod

os o

s in

tere

ssad

os r

elev

ante

s no

pro

jeto

e

imp

lem

enta

ção

de

uma

aval

iaçã

o.A

gên

cia

de

aval

iaçã

o na

cion

al;

Min

isté

rio d

a Ed

ucaç

ão

3. F

alha

em

com

unic

ar a

s co

nclu

sões

a

tod

os q

ue e

stão

em

pos

ição

de

agir

Faze

r p

rovi

sões

no

orça

men

to p

ara

dis

sem

inar

, pla

neja

r at

ivid

ades

e p

rep

arar

vár

ios

rela

tório

s p

erso

naliz

ados

par

a as

nec

essi

dad

es d

os u

suár

ios.

Ag

ênci

a d

e A

valia

ção

Nac

iona

l

4. F

alta

de

confi

anç

a na

s co

nclu

sões

de

uma

aval

iaçã

o na

cion

alA

sseg

urar

que

a e

qui

pe

de

aval

iaçã

o te

nha

a co

mp

etên

cia

técn

ica

nece

ssár

ia e

que

os

inte

ress

ados

re

leva

ntes

sej

am e

nvol

vid

os d

esd

e o

iníc

io.

Min

isté

rio d

a Ed

ucaç

ão

5. S

ensi

bili

dad

e p

olíti

ca p

ara

div

ulg

ar a

s co

nclu

sões

pub

licam

ente

Aum

enta

r a

pro

bab

ilid

ade

de

div

ulg

ar a

s co

nclu

sões

p

ublic

amen

te, p

or m

eio

da

real

izaç

ão d

e d

iscu

ssõe

s re

gul

ares

com

os

inte

ress

ados

.

Min

isté

rio d

a Ed

ucaç

ão

6. F

alha

em

ela

bor

ar a

ções

ad

equa

das

ap

ós u

ma

aval

iaçã

o em

nív

el d

e p

olíti

cas

ger

ais

Inte

gra

r a

ativ

idad

e d

e av

alia

ção

naci

onal

às

ativ

idad

es d

e el

abor

ação

de

pol

ítica

s e

de

ger

enci

amen

to, e

rev

isar

as

conc

lusõ

es p

ara

det

erm

inar

imp

licaç

ões

e es

trat

égia

s.

Min

isté

rio d

a Ed

ucaç

ão

7. F

alha

em

ela

bor

ar u

ma

ação

ap

rop

riad

a ap

ós u

ma

aval

iaçã

o na

cion

al e

m n

ível

de

esco

la

Gar

antir

a c

omun

icaç

ão a

deq

uad

a d

e co

nclu

sões

par

a as

esc

olas

, ana

lisar

as

conc

lusõ

es e

ela

bor

ar e

stra

tég

ias

par

a ap

rimor

ar o

ap

rove

itam

ento

dos

alu

nos,

bem

com

o fo

rnec

er a

poi

o co

ntín

uo p

ara

a im

ple

men

taçã

o.

Ag

ênci

a d

e av

alia

ção

naci

onal

; M

inis

tério

da

Educ

ação

; esc

olas

e

pro

fess

ores

; tre

inad

ores

de

pro

fess

ores

; aut

orid

ades

cur

ricul

ares

; fo

rnec

edor

es d

e liv

ros

did

átic

os

Font

e: C

omp

ilaçã

o d

os a

utor

es.


Quarto, as deficiências de muitas avaliações em termos de instru-mentação, amostragem e análise podem suscitar questionamentos sobre a validade dos dados que fornecem, levando usuários em potencial a esperar antes de tomar providências em relação às conclusões ou antes de desconsiderá-las completamente.

Quinto, se uma avaliação nacional identifica desigualdades socioeco-nômicas e educacionais associadas ao pertencimento a grupos étnicos, raciais ou religiosos, o resultado pode ser fonte de constrangimento para políticos, conduzindo a tentativas de não divulgar as conclusões ao gran-de público.

Sexto, é pouco provável que decisões adequadas sobre políticas e ge-renciamento resultem de uma avaliação nacional se os procedimentos e mecanismos não estiverem em vigor (a) para considerar as conclusões no contexto de outras atividades de políticas e gerenciamento e (b) para determinar ações com base nas conclusões da avaliação.

Por fim, as conclusões da avaliação nacional tenderão a permanecer subutilizadas a não ser que todos os interessados que estejam em posição de tomar providências a partir das conclusões (a) estejam devidamente informados sobre as conclusões, (b) avaliem as implicações das conclu-sões da avaliação para seu trabalho e (c) elaborem estratégias projeta-das para aprimorar o aprendizado dos alunos. Por exemplo, no caso de escolas e professores, a não ser que sejam adotadas providências para formular as conclusões da avaliação nacional de maneira que se rela-cionem com as preocupações dos professores – e a não ser que sejam direcionados recursos financeiros para criar mecanismos pelos quais os professores possam usar as informações obtidas de uma avaliação para orientar a reforma –, o caminho de menor resistência para os funcioná-rios da escola talvez seja, na melhor das hipóteses, ignorar a avaliação nacional e na pior, sabotá-la.

Essas observações servem como um pedido para se terem expecta-tivas irreais quanto a mudanças de políticas que sobrevenham a uma avaliação. Não obstante, este livro procura mostrar que os dados da ava -liação podem oferecer orientações para os formuladores de políticas e responsáveis pela decisão, por meio do aprofundamento de informa-ções sobre as ações elaboradas para lidar com a subutilização listada na


Tabela 1.1. Sempre que possível, são citados alguns exemplos da utili-zação atual, coletados em vários países, para estimular o interesse pú-blico e as iniciativas de formuladores de políticas e gestores. Há menos evidências disponíveis sobre a área crítica e mais complexa da utilização das conclusões da avaliação nacional em salas de aula para aprimorar o aprendizado dos alunos.

CONCLUSÃO

O uso das conclusões de uma avaliação nacional depende de vários fatores. O contexto político no qual a avaliação é realizada terá forte influên cia. O reconhecimento de que a avaliação em si pode ser consi-derada um ato político que reflete o poder, as ideologias e os interesses de atores sociais pode servir para tornar a avaliação – e as decisões que se basearem nela – mais transparente.

Como o instrumento usado para mensurar o aproveitamento dos alu-nos é a pedra fundamental de uma avaliação nacional, sua qualidade afe-tará o uso que será feito das conclusões. Os instrumentos de teste devem fornecer informações sobre aproveitamento escolar (a) que sejam cor-retas e abrangentes, (b) que mensurem um leque de aproveitamentos, (c) que forneçam orientação para ações corretivas, e (d) que sejam sus-cetíveis a mudanças instrucionais. Os testes utilizados em muitas avalia-ções nacionais não atendem a essas condições. Talvez se limitem a men-surar níveis mais baixos de conhecimento e habilidades, não contenham um número suficiente de itens e talvez sejam excessivamente difíceis, o que leva os usuários em potencial a não terem uma base confiável para a elaboração de suas políticas e decisões. O valor de uma avaliação nacio-nal para usuários em potencial será acentuado se os dados antecedentes sobre a experiência dos alunos que forem coletados – e os procedimen-tos usados para analisar esses dados – apontarem para fatores que afetem o aprendizado e sejam suscetíveis à manipulação de políticas.

Uma decisão crucial para os formuladores de políticas e gestores edu-cacionais que contempla uma avaliação nacional, com implicação para a utilização que pode ser feita das conclusões, é se a avaliação deve basear-


se em amostra ou no censo. Uma avaliação baseada em amostra fornece informações e uma base para ação no nível de sistema, enquanto uma avaliação baseada no censo fornecerá, além disso, informações indivi-duais sobre – e uma base de ação nas – as escolas. A escolha entre uma avaliação baseada em amostra e uma avaliação baseada no censo deve ser orientada pela consideração tanto das necessidades de informação dos formuladores de políticas e gestores quanto dos custos envolvidos.

Uma avaliação baseada no censo traz a oportunidade de atribuir res-ponsabilidade às escolas pelo aprendizado dos alunos. Antes de decidir usar as conclusões da avaliação para esse fim, os formuladores de políti-cas devem analisar seriamente (a) as informações limitadas que uma ava-liação nacional pode fornecer sobre a qualidade de ensino oferecida por uma escola; (b) a diversidade de indivíduos, instituições e condições que afetam o aprendizado dos alunos; e (c) as consequências negativas (se in-voluntárias) de vincular as consequências significativas ao desempenho dos alunos. Embora uma avaliação usada dessa forma como mecanismo de poder possa ser corretiva no curto prazo, no longo prazo o dever burocrático associado a ela pode corromper o sistema que ela tinha por missão corrigir ou aprimorar (Madaus e Kellaghan, 1992).

Quando não houver consequências significativas diretas vinculadas aos resultados – o que acontece com a maior parte das avaliações na-cionais –, a avaliação é considerada como desprovida de consequências significativas, e as conclusões serão usadas, em primeiro lugar, como ferramenta de planejamento e gestão (McDonnell, 2005). As informa-ções obtidas são consideradas incentivo suficiente para políticos, formu-ladores de políticas, educadores, pais e o público agirem, e, embora o Estado talvez não assuma a responsabilidade pelo aproveitamento real dos alunos, aceita a responsabilidade pela realização de provisionamento adequado para a educação pública e pela redução de disparidades na qualidade de ensino oferecida a – e alcançada pelas – crianças de origens étnicas ou classes sociais diferentes (Reimers, 2003).

Quando um estado assume tal posicionamento, é necessário realizar uma análise detalhada dos resultados dos testes, a fim de descrever os apro-veitamentos dos alunos e identificar práticas das escolas e dos professores que reforcem esses aproveitamentos. Em seguida, as conclusões devem ser


amplamente divulgadas, devem ser fornecidos recursos e assistência técnica para ajudar as escolas a identificar os problemas que estejam enfrentando e deve ser prestado apoio contínuo ao processo de melhoria escolar.

Esta série foi escrita principalmente para atender às necessidades dos indivíduos que realizam uma avaliação nacional baseada em amostra. Contudo, o conteúdo dos outros volumes, com exceção do módulo que aborda a amostragem e parte do módulo sobre análise estatística, tam-bém é relevante para a implementação de uma avaliação baseada no censo. Grande parte deste volume também é relevante, embora várias questões não sejam (por exemplo, identificar escolas que necessitem de assistência após a realização de uma avaliação baseada em amostra). Os pré-requisitos para a utilização eficaz das conclusões de uma avaliação nacional são relevantes tanto para avaliações baseadas em amostra quan-to para avaliações baseadas no censo, e incluem os seguintes itens:

Envolvimento dos formuladores de políticas e responsáveis pela deci-��são no projeto da avaliação para lidar com as questões que identifica-ram como de interesse prementeComunicação dos resultados em um período razoável e de forma in-��teligível aos principais usuáriosIncorporação das informações da avaliação em estruturas burocráticas ��existentes e tradução das informações em políticas, estratégias e ins-trumentos de política (por exemplo, mandatos, estratégias de cons-trução de capacidade, incentivos e políticas para motivar a ação)Garantia de que as conclusões da avaliação influenciarão a prática dos ��professores em sala de aula, com o objetivo de aprimorar o aprendizadoFornecimento de apoio contínuo para utilizar as conclusões, a fim ��de promover mudanças e desenvolver mecanismos que apoiem sua aplicação na reforma em nível de sala de aula.

Ao longo deste volume, conforme são descritas muitas atividades que uma avaliação nacional abrange, faz-se referência a estudos baseados no censo e em estudos internacionais quando oferecem conhecimentos a se-rem usados ou quando descrevem práticas relevantes para uma avaliação baseada em amostra.


Os Capítulos 2 e 3 descrevem os tipos de relatórios necessários para informar aos usuários as conclusões de uma avaliação. O Capítulo 4 apresenta assuntos gerais que merecem ser considerados quando se tra-duzem as conclusões da avaliação em políticas e ações. Este capítulo é seguido por uma descrição de usos específicos dos dados da avaliação nacional para gestão educacional e de políticas (Capítulo 5), para o ensi-no (Capítulo 6) e para promover conscientização pública (Capítulo 7). O capítulo final (Capítulo 8) identifica as condições que tendem a oti-mizar o uso das conclusões de uma avaliação nacional. E também suge-re várias maneiras como as atividades de avaliação nacional podem ser modificadas e intensificadas, visando o aumento de seu valor perante os usuários.

RELATO DE UMA

AVALIAÇÃO NACIONAL:

O RELATÓRIO PRINCIPAL

C A P Í T U L O

2

Este capítulo apresenta os componentes do instrumento principal e essencial para co-municar as conclusões de uma avaliação na-

cional. Esses componentes devem incluir não apenas as conclusões da avaliação, mas também os procedimentos seguidos ao longo dela, para que os leitores possam avaliar sua adequação e relevância. O relatório compõe ainda a base de meios auxiliares para comunicar as conclusões (por exemplo, notas informativas, notas de imprensa, um relatório para escolas – consulte o Capítulo 3).

O relatório principal de uma avaliação nacional deve conter uma des-crição dos seguintes componentes: (a) contexto da avaliação, (b) obje-tivos da avaliação, (c) o modelo que orientou o projeto da avaliação, (d) os procedimentos que foram seguidos, (e) descrições do aproveita-mento na avaliação nacional, (f) correlações de aproveitamento e (g) mudanças em termos de aproveitamento ao longo do tempo (se hou-ver dados adequados de várias avaliações). A quantidade de detalhes apresentados no relatório principal vai depender da preparação ou não de um relatório técnico em separado. A maior parte dos leitores tem conhecimento técnico limitado e se interessa apenas pelo que o relatório significa para seu trabalho. Grande parte dos detalhes técnicos pode ser direcionada para os Apêndices do relatório principal.


No início, os participantes da equipe de avaliação nacional e princi-pais interessados precisam chegar a um acordo sobre como projetar o relatório principal, coletar os dados e comunicar os resultados. Pode-se facilitar um consenso sobre a comunicação dos resultados se um res-ponsável elaborar uma série de tabelas em branco e se os participantes discutirem as variáveis e os dados exatos a serem associados a cada tabela. A Tabela 2.1 é uma tabela em branco utilizada para ilustrar como dados nacionais dos níveis de alunos podem ser apresentados por área de currículo e gênero. A Tabela 2.2 sugere como os resultados em

TABELA 2.1

Pontuações-padrão (e Erros-padrão) de Meninos e Meninas em uma Avaliação Nacional de Idioma e Matemática

Idioma Matemática

Meninos Meninas Meninos Meninas

Média

Erro-padrão

Fonte: Representação dos autores.

TABELA 2.2

Pontuações-padrão (e Erros-padrão) e Pontuações em Vários Percentis em uma Avaliação Nacional de Ciências, por Província

Província MédiaErro- padrão

Pontuação percentil

5o 25o 75o 95o

1

2

3

4

5

6

Nacional

Fonte: Representação dos autores.Observação: Esses dados podem ser utilizados para a preparação de diagramas de caixa e de bigodes.


nível de província podem ser apresentados de modo a possibilitar que os formuladores de políticas comparem níveis de aproveitamento entre alunos de menor aproveitamento (aqueles no 5o percentil) e alunos de maior aproveitamento (aqueles no 95o percentil) em cada província. A Tabela 2.3 compara o nível de aproveitamento dos alunos em dois momentos distintos. A Tabela 2.4 foi elaborada para identificar as re-lações entre aproveitamento dos alunos e um número de variáveis de interesse para a política.

TABELA 2.3

Pontuações Médias de Aproveitamento (e Erros-padrão) em uma Avaliação Nacional Aplicada em Dois Momentos

Primeira aplicação Segunda aplicação Estatisticamente signifi cativas?

Média Erro-padrão Média Erro-padrão

Fonte: Representação dos autores.Observação: deve-se levar em consideração que ambas as médias se baseiam no cálculo da signifi cân-cia da diferença entre elas.

TABELA 2.4

Correlação entre Pontuações Médias de Aproveitamento em Leitura e Fatores Escolares em uma Avaliação Nacional da 5a Série

Variáveis r

Tamanho médio da turma, 5a série

Número médio de livros didáticos por aluno, 5a série

Percentual de alunos que podem ser acomodados durante as aulas de redação, 5a série

Número de professores de sala de aula na escola

Número de alunos matriculados na escola

Número de anos de experiência como professor (professores da 5a série)

Nível de qualifi cação profi ssional do professor (professores da 5a série)

Número de recursos de sala de aula

Fonte: Representação dos autores.


CONTEXTO DA AVALIAÇÃO NACIONAL

Ao descrever o contexto, afirma-se a importância de obter informações sobre o aprendizado dos alunos como base para a tomada de decisões gerenciais e a elaboração de políticas. Será relevante considerar as evidências de estudos anteriores sobre o aproveitamento dos alunos (caso estejam disponíveis).

OBJETIVOS DA AVALIAÇÃO NACIONAL

O objetivo principal deve ser mencionado: por exemplo, oferecer evidên-cias sobre o aprendizado dos alunos no sistema educacional. Objetivos mais específicos também podem ser mencionados: por exemplo, estabe-lecer os padrões atuais de leitura de alunos da 4a série; para comparar os aproveitamentos dos alunos em escolas particulares e públicas; para mo-nitorar tendências no aprendizado dos alunos ao longo do tempo; para descrever recursos da escola; para examinar fatores do ambiente escolar, doméstico e do aluno que possam estar relacionados com o aproveita-mento em leitura; e fornecer uma base para avaliações futuras.

MODELO DE REFERÊNCIA PARA A AVALIAÇÃO NACIONAL

Um modelo de referência é um plano ou descrição geral que narra o que está sendo avaliado em termos de conhecimento, habilidades e outros atributos, e como essa avaliação está sendo realizada. O modelo de re-ferência orienta o desenvolvimento da avaliação e torna-a transparente, primeiramente para aqueles que desenvolvem os instrumentos de ava-liação, mas também para um público mais amplo que lerá o relatório da avaliação. O Capítulo 2 do Volume 2 desta série descreve como desen-volver um contexto de avaliação (Anderson e Morgan, 2008).

O Estudo Internacional sobre o Progresso do Letramento em Leitura (PIRLS – Progress in International Reading Literacy Study) apresenta o exemplo de uma descrição do construto avaliado em seu estudo sobre o aproveitamento em leitura de alunos de 9 anos (Mullis et al., 2006; ver


também o Volume 1 desta série, Greaney e Kellaghan, 2008: Apêndice B2). A leitura é descrita em função de dois propósitos (ler como expe-riência literária e ler para adquirir e usar informações) e quatro processos (enfocar e armazenar informações mencionadas explicitamente, fazer inferências objetivas, interpretar e integrar ideias e informações, bem como examinar e avaliar conteúdo).

Um contexto também descreve os instrumentos utilizados para ava-liar o aproveitamento. É útil incluir exemplos dos tipos de itens utiliza-dos na avaliação para oferecer aos leitores uma ideia da natureza das ta-refas envolvidas. É claro que, entre esses itens, não devem estar aqueles planejados para ser usados em avaliações futuras.

PROCEDIMENTOS NA APLICAÇÃO DA AVALIAÇÃO NACIONAL

A maneira e o período em que os dados foram coletados devem ser descritos. A descrição compreende a identificação da população na qual a avaliação se baseou, a seleção de escolas ou alunos participantes e os dados sobre exclusões e não participação.

DESCRIÇÃO DO APROVEITAMENTO NA AVALIAÇÃO NACIONAL

Ao se decidir como apresentar as conclusões de uma avaliação nacional, é importante ter em mente que as informações fornecidas devem ser relevantes para as necessidades dos formuladores de políticas e respon-sáveis pela decisão e devem apoiá-los construtivamente na resolução de problemas de políticas. A escolha de um índice único de aproveitamen-to dos alunos (por exemplo, uma pontuação total em matemática) ou índices múltiplos (por exemplo, pontuações separadas para cálculo e resolução de problemas) pode ser relevante. Embora os formuladores de políticas geralmente prefiram estatísticas resumidas, a comunicação de um único índice de aproveitamento tem grande probabilidade de não mencionar informações importantes, limitando, assim, a base para ação posterior à avaliação (Kupermintz et al., 1995).


Cada vez mais, utiliza-se uma descrição de desempenho em função de níveis de proficiência para apresentar os resultados de uma avaliação nacional. O procedimento compreende a ancoragem da escala, que con-ta com dois componentes: (a) um componente estatístico que identifica itens que discriminam entre pontos sucessivos na escala de proficiên-cia, usando características específicas (por exemplo, as proporções de respostas corretas aos itens em níveis de pontuação diferentes), e (b) um componente de consenso no qual os itens identificados são usados por especialistas em currículo para fornecer uma interpretação do que grupos de alunos nos pontos relacionados, ou próximos deles, sabem e podem fazer (Beaton e Allen, 1992). Os níveis podem ser rotulados (por exemplo, satisfatório/insatisfatório; mínimo/desejado; básico/proficien-te/avançado) e é possível identificar a proporção de alunos com aprovei-tamento em cada nível. A Tabela 2.5 apresenta dados de uma avaliação nacional realizada na República de Maurício.

A Tabela 2.6, que descreve níveis de aproveitamento em matemática na Avaliação Nacional do Progresso em Educação (NAEP) nos Estados Unidos, vai além do tipo de dados apresentados na Tabela 2.5 ao for-necer definições de desempenho no intervalo de níveis de proficiência. O percentual de alunos (em escolas públicas) em cada nível variou de 44% no nível básico para 30% no nível proficiente, chegando a 5% no nível avançado. Portanto, 79% dos alunos tiveram desempenho dentro do nível básico ou acima dele (Perie, Grigg, e Dion, 2005).

A abordagem para estabelecimento dos níveis de proficiência é dife-rente no Estudo Internacional sobre o Progresso do Letramento em Lei-tura (PIRLS) de 2001. Os pontos de corte foram determinados primei-ramente com a especificação do percentual de alunos em cada categoria de referência e, em seguida, com a análise das habilidades e estratégias de leitura associadas com cada nível (Figura 2.1).

Os formuladores de políticas vietnamitas, trabalhando em conjunto com outras partes interessadas, como desenvolvedores de currículo, iden-tificaram seis níveis de aproveitamento dos alunos em leitura para alunos da 5a série usando informações estatísticas e o julgamento de especialistas (Tabela 2.7). Os formuladores de políticas utilizaram os dados para reali-zar comparações em base de país, de província e outras bases.


TABELA 2.5

Percentuais de Alunos Pontuando nos Níveis Mínimos e Desejáveis de Conhecimento em Testes de Letramento em Linguagem, Letramento em Matemática e Habilidades de Vida: República de Maurício

Matéria

Percentual de alunos

Nível mínimo ou acima Nível desejado ou acima

Letramento em Linguagem 77,6 35,4

Letramento em Matemática 70,3 26,4

Habilidades de Vida 71,6 32,4

Fonte: Câmara de Exames da República de Maurício, 2003. Reproduzido mediante autorização.

TABELA 2.6

Níveis de Aproveitamento em Matemática na NAEP, 4a série: Estados Unidos

Nível Aproveitamento esperado na 4a série

Básico Os alunos exibem alguma evidência de compreensão de conceitos e procedimentos matemáticos nas cinco áreas de conteúdo do NAEP. Eles devem ser capazes de estimar e utilizar fatos básicos para realizar cálculos simples com números inteiros, exibir algum grau de compreensão de frações e decimais, e solucionar alguns problemas simples do mundo real em todas as áreas de conteúdo da NAEP. Eles devem ser capazes de utilizar, embora nem sempre corretamente, calculadoras de quatro funções, réguas e formas geométricas. Suas respostas por escrito serão geralmente mínimas e apresentadas sem informações suplementares.

Profi ciente Os alunos devem aplicar com consistência conhecimentos integrados de procedimentos e entendimento conceitual de resolução de problemas nas cinco áreas de conteúdo da NAEP. Devem ser capazes de usar números inteiros para estimar, calcular e determinar se os resultados são razoáveis. Devem ter um entendimento conceitual de frações e decimais; ser capazes de resolver problemas reais em todas as áreas de conteúdo da NAEP; e usar calculadoras de quatro funções, réguas e formas geométricas adequadamente. Eles devem empregar estratégias de resolução de problemas, identifi car e utilizar informações adequadas. Suas soluções por escrito devem ser organizadas e apresentadas com informações suplementares e explicações de como chegaram a elas.

Avançado Os alunos devem aplicar conhecimentos integrados de procedimentos e entendimento conceitual de resolução de problemas complexos e não rotineiros do mundo real nas cinco áreas de conteúdo da NAEP. Devem ser capazes de solucionar problemas complexos e não rotineiros do mundo real em todas as áreas de conteúdo da NAEP. Devem demonstrar domínio no uso de calculadoras de quatro funções, réguas e formas geométricas. Espera-se que tirem conclusões lógicas e justifi quem respostas e processos de resolução explicando por que e como as soluções foram alcançadas. Devem ir além do óbvio em suas interpretações e ser capazes de comunicar seus pensamentos com clareza e concisão.

Fonte: Centro Nacional de Estatísticas de Educação dos Estados Unidos, 2006a.


Em muitas avaliações nacionais, particiona-se a variância no aprovei-tamento dos alunos em componentes entre escolas e dentro da escola. O processo compreende o cálculo do coeficiente de correlação intraclas-se (rho), que é uma medida da homogeneidade do aproveitamento dos alunos nas escolas. Ele informa quanto da variação no aproveitamento encontra-se entre alunos nas escolas (dentro de clusters) e quanto se en-contra entre as escolas (entre clusters). Um coeficiente intraclasse baixo significa que o desempenho das escolas está em um nível comparável, enquanto valores crescentes do coeficiente indicam variação crescente entre escolas no aproveitamento dos alunos (Postlethwaite, 1995). As conclusões de estudos internacionais (por exemplo, do PIRLS ou do Programa Internacional de Avaliação de Alunos, conhecido como PISA) indicam a existência de diferenças consideráveis entre sistemas educa-cionais no valor da correlação intraclasse. Além disso, sistemas em que o nível nacional de aproveitamento seja baixo tendem a exibir diferenças maiores entre escolas em seus níveis de aproveitamento.

FIGURA 2.1

Habilidades e Estratégias de Leitura e Pontuações de Corte, por Pontos de Referência, para a Escala Combinada de Letramento em Leitura, 4a Série, PIRLS, 2001

Fonte: Ogle e outros 2003: Figura 5.

Referência Habilidades e estratégias de leitura

• Demonstra capacidade de integrar ideias e informações.Apresenta interpretações sobre os sentimentos e comportamentos dos personagens, com o apoio de informações do texto.Integra ideias contidas no texto para explicar o significado ou tema mais amplo da história.Demonstra compreensão sobre materiais informativos, integrando informaçõescontidas em vários tipos de materiais e aplicando-as com eficácia a situações reais.

Demonstra capacidade de fazer inferências e de reconhecer alguns elementostextuais em textos literários.Faz inferências para descrever e contrastar ações dos personagens.

Faz interpretações básicas.Localiza partes específicas do texto para recuperar informações.Faz observações sobre textos inteiros.

•

•

•

•

•

•••

Recupera detalhes mencionados explicitamente em vários textos literários einformativos.

•

Pontuaçõesde corte

10%superior

Quartilsuperior

Média

Quartilinferior

615 eacima

570 eacima

510 eacima

435 eacima


CORRELATOS DO APROVEITAMENTO

Uma avaliação nacional geralmente coleta informações sobre fatores de-mográficos e outros fatores ambientais, de forma a possibilitar a realiza-ção de comparações entre os aproveitamentos de subgrupos na popula-ção. Essas informações, quando relacionadas em análises estatísticas com o aproveitamento dos alunos, podem responder a perguntas essenciais ao papel de uma avaliação nacional, como por exemplo:

TABELA 2.7

Níveis de Habilidade em Leitura na 5a Série em Avaliação Nacional: Vietnã

Nível de habilidade Aproveitamento

Percentual de alunos

Erro- padrão

1 Aluno associa texto em nível de palavra ou sentença, auxiliado por fi guras. Habilidade restrita a uma amplitude limitada de vocabulário relacionado com fi guras.

4,6 0,17

2 Aluno localiza texto expresso em sentenças curtas e repetitivas e pode trabalhar com o texto sem o auxílio de fi guras. O tipo de texto fi ca restrito a sentenças e frases com padrões repetitivos.

14,4 0,28

3 Aluno lê e compreende passagens mais longas. Aluno busca informações no texto usando anáfora e catáfora, e compreende paráfrase. Vocabulário em expansão possibilita a compreensão de sentenças com alguma complexidade estrutural.

23,1 0,34

4 Aluno relaciona informações de partes diferentes do texto. Aluno seleciona texto e estabelece relações para extrair e inferir signifi cados possíveis distintos.

20,2 0,27

5 Aluno correlaciona inferências e identifi ca intenção do autor a partir de informações expostas de maneiras diversas, em tipos de textos distintos, e em documentos nos quais a mensagem não está explícita.

24,5 0,39

6 Aluno combina texto com conhecimento externo para inferir vários signifi cados, inclusive signifi cados ocultos. Aluno identifi ca objetivos, atitude, valores, crenças, motivações, suposições não declaradas e argumentos do autor.

13,1 0,41

Fonte: Banco Mundial 2004, Vol. II: Tabela 2.1.


O sistema está deixando de atender a algum grupo específico?��Existem lacunas de desempenho entre os grupos, grandes o suficiente ��para exigir ação corretiva?Quais fatores estão associados com o baixo aproveitamento?��

Dessa maneira, por relacionar produtos aos insumos fornecidos e pro-cessos utilizados, uma avaliação nacional mostra “o que é”. Entretanto, tam-bém pode mostrar “o que poderia ser”, revelando que alguns setores no sistema estão alcançando produtos mais desejáveis (alto aproveitamento) e tentando identificar os fatores associados com o sucesso relativo.

Se os tamanhos da amostra em uma avaliação nacional forem gran-des o suficiente, as evidências sobre aproveitamento podem ser fornecidas por gênero; região (por exemplo, província); localidade (urbana ou ru-ral); pertencimento a grupos étnicos ou linguísticos; e tipo de instituição frequentada (pública ou particular). Estimulados parcialmente pela atual ênfase em equidade de gênero nos programas Education for All e Fast Tra-ck Initiative, as avaliações nacionais geralmente examinam as diferenças de aproveitamento entre meninos e meninas. A Figura 2.2 apresenta um

FIGURA 2.2

Percentuais de Alunos dos Gêneros Masculino e Feminino que Obtiveram Domínio na Avaliação Nacional, 4a Série, por Área Curricular: Sri Lanka

Fonte: Centro Nacional de Avaliação e Pesquisas Educacionais do Sri Lanka, 2004: Figura 4.44. Reproduzido mediante permissão.

33,739,2 36,8 39,0

8,0 11,1

0

20

40

60

80

100

perc

entu

al

área de avaliação nacionalprimeira língua

masculino feminino

matemática inglês


resumo dos resultados da avaliação nacional do Sri Lanka para os percen-tuais de alunos dos gêneros masculino e feminino que obtiveram domínio em seu idioma materno, matemática e inglês.

Uma avaliação nacional no Kuwait também identificou diferenças de gênero nos aproveitamentos em leitura (Figura 2.3). Nesse caso, as di-ferenças de gênero foram associadas com a quantidade de tempo que o aluno assiste à televisão. Talvez não seja surpresa que longos períodos na frente da televisão estejam associados a pontuações menores de aprovei-tamento em leitura.

A Tabela 2.8 apresenta informações sobre o aproveitamento em ma-temática obtido por grupos raciais na África do Sul, com base em dados coletados para o Estudo de Tendências Internacionais no Estudo de Ma-temática e Ciências (TIMSS – Trends in International Mathematics and Science Study). A Tabela 2.9 traz informações sobre diferenças regio-nais encontradas em uma avaliação nacional no Nepal.

FIGURA 2.3

Percentuais de Alunos que Assistem à Televisão por Quantidades Variáveis de Tempo, por Gênero e Pontuação Média em Leitura: Kuwait

Fonte: Ministério da Educação do Kuwait 2008. Reproduzido mediante permissão.

22

17

33

8

20

5 50

100

150

200

250

300

350

400

00

10

20

30

40

50

20

2521

29

372 365

311

388

354 359

325306

284303

tempo gasto assistindo à televisão

perc

entu

al

pont

uaçã

o m

édia

em

leitu

ra

5 horasou mais

3-5 horas

meninas (%) meninos (%) meninas (pontuação) meninos (pontuação)

1-3 horas até 1 hora nãoassistem


TABELA 2.8

Pontuações Médias em Matemática, 8a Série, por Grupo Racial: África do Sul

Grupo racialNúmero

de alunosPontuação

médiaErro-

padrão Mínimo Máximo

Africano 5.412 254 1,2 5 647

Asiático 76 269 13,8 7 589

Negro 1.172 339 2,9 34 608

Indiano 199 341 8,6 12 612

Branco 831 373 4,9 18 699

Total ou média gerala

8.147 275 6,89

Média internacional 487 0,7

Fonte: Howie 2002. Reproduzido mediante permissão.a. Com base no conjunto de dados nacionais sul-africanos para o Terceiro Estudo Internacional de Matemática e Ciências.

TABELA 2.9

Pontuações Médias na Avaliação Nacional do Idioma Nepali, 5a Série, por Região: Nepal

Região Número Pontuações médias Desvio-padrão

Oriental 802 51,32 16,7

Central 932 50,91 19,5

Ocidental 1.018 52,89 13,2

Meio-Oeste 465 50,78 12,7

Ocidente distante 293 49,71 13,2

Fonte: Centro de Serviços de Educação e Desenvolvimento do Nepal, 1999. Reproduzido mediante permissão.

A avaliação nacional da Etiópia também fornece informações sobre a distribuição do aproveitamento por região (Figura 2.4). As conclusões da avaliação sugerem pelo menos duas opções de políticas. Elas indicam, por um lado, que o apoio pode ser direcionado às regiões com o maior contingente de alunos com pontuações baixas (Oromiya, Somali, Dire Dawa) em uma medida composta (baseada em pontuações nos testes de leitura, matemática, ciência ambiental e inglês). Por outro lado, a decisão de direcionar apoio poderia basear-se nas menores pontuações médias de desempenho (Tigray, Benishangul-Gumuz).


Muitas (porém não todas) avaliações nacionais coletam informações por meio de questionários sobre aspectos das experiências educacionais dos alunos e das circunstâncias de seus lares e comunidade, para terem pistas sobre fatores escolares e extraescolares que influenciam o progres-so escolar dos alunos. Na avaliação nacional do Vietnã, por exemplo, um local exclusivo para estudo na residência do aluno foi associado ao aproveitamento mais alto, mesmo quando se levaram em conta avalia-ções mais globais de fatores contextuais domésticos. Escolas e alunos de alto e baixo desempenho também puderam ser diferenciados com base

FIGURA 2.4

Diferenças Regionais no Aproveitamento, 4a Série: Índice Composto da Etiópia (%)

Fonte: Gebrekidan 2006. Reproduzido mediante permissão da Agência da Garantia de Qualidade e Exames da Etiópia.Observação: A média é representada pela linha escura grossa; o quadro vai do desvio-padrão (SD) −1 até +1 SD, e as linhas fi nais de −1,96 SD até +1,96 SD. As marcações fora das linhas fi nais representam discrepâncias ou valores extremos.

Tigray Afar

Amha

ra

Orom

iya

Somali

Benish

angu

l-Gum

uz

Naçõe

s, Nac

ionali

dade

s

e Pov

os d

o Sul Har

ari

Addis

Ababa

Dire D

awa

região

0

20

40

60

80

100co

mpo

sto

(%)


na regularidade das refeições e número de dias de ausência da escola (Banco Mundial, 2004).

É preciso cautela ao interpretar as conclusões das análises nas quais o aproveitamento dos alunos esteja relacionado com outras variáveis. A con-clusão de que fatores relacionados com o aproveitamento dos alunos pos-sam ser considerados fatores que influenciam ou “causam” aproveitamento não pode ser comprovada por várias razões, incluindo as seguintes:

Interpretações causais de relações identificadas em dados transversais po-��dem ser sustentadas apenas se forem respaldadas por outra evidência.O número de escolas ou alunos em algumas categorias pode ser pe-��queno demais para permitir inferências confiáveis.Os métodos de análise estatística podem ser inadequados. Análises ��que exploram relações entre duas variáveis (por exemplo, entre ta-manho da turma e aproveitamento) e que deixam de levar em con-sideração as complexas interações nos dados (por exemplo, entre qualificações dos professores e localização da escola) podem levar a interpretações equivocadas.São necessárias análises complexas para dar conta da influência nos ��resultados educacionais de fatores de interação atuando nos níveis de aluno, escola e sala de aula. Por causa dessa situação, é necessário empregar técnicas estatísticas multinível e multivariadas. Essas técni-cas isolam os efeitos de uma variável que são líquidos dos efeitos de outras variáveis por removerem ou fazerem ajustes sistemáticos para o efeito de clusters de variáveis, de forma a mostrar a existência ou não de diferenças significativas entre alunos e escolas após o ajuste. Por exemplo, a conclusão de que escolas particulares são superiores a escolas públicas, com base na conclusão de que os alunos que fre-quentam escolas particulares apresentam níveis mais altos de apro-veitamento do que os de escolas públicas não pode ser respaldada quando as pontuações dos alunos são ajustadas para levar em conta o contexto socioeconômico.

A apreciação das complexidades envolvidas na identificação de cau-sas do aproveitamento será fortalecida se for percebido que, com fre-


quência, as variáveis dos fatores contextuais para os quais os dados são coletados em uma avaliação nacional talvez sejam apenas substitutos de fatores que afetam o aprendizado em um nível mais profundo e de forma mais difusa. Nesse caso, é preciso considerar outros dados de pesquisa e, portanto, as análises estatísticas sofisticadas talvez não sejam adequadas. Por exemplo, embora a análise possa revelar correlação positiva entre aprendizado do aluno e número de livros na residência do aluno (ver a Figura 2.5), não é possível concluir – mesmo quando outras variáveis são levadas em conta – que o número de livros tem relação causal com o aproveitamento do aluno. Embora o acesso a livros possa ser importante, o aprendizado tende a ser afetado não diretamente pela disponibilidade de livros, mas pelas características de um ambiente que os valorize, como naquele em que os pais expressem grande valor ao aproveitamento esco-lar, ofereçam orientação e apoio aos filhos, estimulem-nos a explorar e discutir ideias e eventos e estabeleçam altos padrões e expectativas para o aproveitamento escolar (ver Kellaghan et al., 1993).

FIGURA 2.5

Pontuações Médias de Leitura de Alunos Comparadas com o Número de Livros na Residência, 1a e 5a Séries: Irlanda

Fonte: Eivers et al., 2005a: Figura 4.2.

180

200

220

240

260

280

300

nenh

um1–

10

11–5

0

51–1

00

101–

250

251–

500

501+

número de livros

po

ntu

ação

méd

ia

1ª série 5ª série


MUDANÇA NO APROVEITAMENTO AO LONGO DO TEMPO

As avaliações nacionais fornecem evidências de mudança no aprovei-tamento dos alunos ao longo do tempo se os instrumentos de avaliação estiverem adequadamente relacionados. Quando essas informações es-tão disponíveis, as conclusões podem ser apresentadas como foi feito na Avaliação Nacional dos Estados Unidos (NAEP) para os anos de 1971 a 2004 (Figura 2.6). O gráfico das pontuações médias na escala de leitura indica que, para os alunos de 9 anos, a pontuação média em leitura foi maior em 2004 do que no ano anterior. Para alunos com 13 anos, a pon-tuação média em 2004 foi maior do que a pontuação média em 1971 e 1975, mas não foi diferente da pontuação média nos outros anos. A pontuação média em 2004 para alunos de 17 anos apontou uma queda em relação a 1992. O Volume 1 desta série (Greaney e Kellaghan, 2008:

FIGURA 2.6

Tendências nas Pontuações Médias da Escala de Leitura para Alunos de 9, 13 e 17 anos, NAEP, 1971–2004: Estados Unidos

Fonte: Centro Nacional de Estatísticas Educacionais dos Estados Unidos 2005.Observação: *indica que uma pontuação difere signifi cativamente da pontuação registrada em 2004.

1971

0

200

210

220

230

240

250

260

270

280

290

300

310

320

500

po

ntu

ação

da

esca

la

1975

1980

1984

208* 210*

255* 256* 258 257 257 257 260 258 258 259 259

285288288288290*289*285286285290* 290*

215*211* 212* 209* 211* 211* 212* 212*

219

ano

1988

1990

1992

1994

1996

1999

2004

17 anos 13 anos 9 anos


134) relatou mudanças nas pontuações de letramento ao longo do tem-po em vários países africanos.

Se os instrumentos de avaliação permitem (isto é, se oferecem repre-sentação adequada dos subdomínios curriculares), as avaliações nacionais podem fornecer evidências de mudança não apenas em métricas brutas do aproveitamento dos alunos, mas também nos subdomínios de uma área de currículo. Por exemplo, os testes usados nas avaliações nacionais de 5a série na Irlanda permitiram que o desempenho dos alunos fosse estimado para várias áreas e habilidades de conteúdo em matemática. Os resultados das avaliações em cinco áreas de conteúdo, aplicadas em 1999 e 2004, são exi-bidos na Figura 2.7. As diferenças entre as faixas etárias são estatisticamente significativas apenas para “forma e espaço” e “análise de dados e probabilida-de”. Em ambos os casos, registrou-se melhora entre 1999 e 2004.

Os dados para a mesma avaliação nacional estão relatados para cinco áreas de habilidades matemáticas na Figura 2.8. Nesse caso, foi significa-tivo apenas o aumento para “raciocínio” entre 1999 e 2004.

FIGURA 2.7

Percentual Médio de Respostas Corretas em Matemática, por Áreas de Conteúdo, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda

Fonte: Surgenor et al.: Figura 3.1.

per

cen

tual

de

resp

ost

as c

orr

etas

40

45

50

55

60

65

70

75

núm

ero

álgeb

ra

form

as e

espa

çom

edida

s

análi

se d

e da

dos

e pr

obab

ilidad

e tota

l

área de conteúdo

1999 2004


Em muitos países, a necessidade de monitorar o progresso em relação ao alcance dos Objetivos de Desenvolvimento do Milênio de educação universal primária até 2015 reforça o interesse pela avaliação do aprovei-tamento ao longo do tempo. Os esforços para aprimorar a qualidade da educação, contudo, talvez tenham de prosseguir em face dos problemas gerados pelo aumento do número de matrículas e queda nos orçamentos. No Malawi, por exemplo, o desempenho deteriorou-se acentuadamente após uma campanha para fornecer escolaridade a todos sem dispor dos recursos necessários para lidar com a extinção das mensalidades e os números em crescimento (Altinok, 2008).

FIGURA 2.8

Percentual Médio de Respostas Corretas em Habilidades Matemáticas, na Avaliação Nacional, 5a Série, 1999 e 2004: Irlanda

Fonte: Surgenor et al., 2006: Figura 3.2.

40

45

50

55

60

65

70

aplic

ação

e re

soluç

ão

de p

roble

mas

integ

raçã

o e

cone

xão

racio

cínio

imple

men

taçã

o

com

pree

nsão

e

reco

rdaç

ão tota

l

habilidade

per

cen

tual

de

resp

ost

as c

orr

etas

1999 2004


CONCLUSÃO

Um relatório principal de avaliação nacional deve descrever o estudo em um grau de detalhamento suficiente para servir como fonte primária de informações para a avaliação. Ao mesmo tempo, não deve sobrecarregar os leitores com excessiva quantidade de informações técnicas. Alguns relatórios pecam nesse sentido; outros erram na direção oposta, ao ofe-recerem informações inadequadas sobre aspectos técnicos do estudo, conteúdo dos testes de aproveitamento, métodos utilizados ou erro e viés nas estimativas.

Outro erro consiste em fornecer dados apenas em formato tabular. Pelo fato de poucos usuários em potencial terem as habilidades neces-sárias para fazer inferências a partir de tabelas estatísticas, um método mais eficaz é o de ilustrar as conclusões principais em gráficos ou figuras. Além disso, um relatório que dependa excessivamente de apresentação em formato tabular pode deixar de focar a atenção nas conclusões de pesquisa que ajudem a explicar relações reveladas pela avaliação, como por que uma variável (como ambiente doméstico) é importante e o que se conhece sobre sua influência no aproveitamento dos alunos. Essas informações, contudo, são críticas quando se espera que os usuários apreciem o significado das conclusões e estejam em posição de julgar quais ações serão necessárias para sanar as deficiências eventualmente identificadas.

As opiniões e práticas diferem quanto à inclusão de recomendações em um relatório de avaliação nacional. Alguns relatórios nacionais (e internacionais) contêm recomendações, enquanto outros não. Cabe às equipes de avaliação nacional esclarecer, no início do projeto, se o Mi-nistério da Educação espera que o relatório contenha recomendações. Além disso, caso se esperem recomendações, as equipes de avaliação nacional devem determinar se devem ser incluídas apenas se surgirem diretamente do estudo sobre a avaliação nacional ou se conclusões mais amplas e relevantes de pesquisas podem ser levadas em consideração.

C A P Í T U L O

3 RELATO DE UMA

AVALIAÇÃO NACIONAL:

OUTROS INSTRUMENTOS

PARA COMUNICAR AS

CONCLUSÕES

Em muitos casos, o único relatório divulgado após uma avaliação nacional é do tipo descri-to no Capítulo 2. Como os usuários em po-

tencial de dados da avaliação são numerosos e os públicos diferentes apresentam requisitos diferentes, este capítulo descreve maneiras adicio-nais de comunicar conclusões que são preparadas exclusivamente para atender a várias necessidades. Entre esses métodos, temos a publicação de longos relatórios detalhados e de pequenas notas de imprensa, bem como a condução de reuniões individuais que resumem as principais conclusões de uma avaliação. Embora os desenvolvedores de currículo e autores de livros didáticos exijam informações detalhadas sobre o apren-dizado (mais detalhadas talvez do que as apresentadas em um relató-rio principal), deve-se apresentar um resumo das conclusões ou pontos principais aos cidadãos, que talvez tenham conhecimentos estatísticos limitados.

Pérez (2006) identificou os seguintes princípios gerais relativos à co-municação de conclusões de pesquisa que podem ser considerados apli-cáveis às conclusões de avaliações nacionais:


Usar linguagem simples, preferencialmente em produtos atrativos de ��mídia, como vídeos.Identificar com clareza os interessados e adaptar os eventos e produ-��tos às suas necessidades.Considerar o recrutamento de líderes públicos e de confiança como ��defensores da causa.Divulgar as informações para a mídia de massa. Os eventos devem ser ��amplamente anunciados.Usar slogans e mensagens simples, que possam ser prontamente com-��preendidos. Por exemplo, uma frase como “uma criança de 8 anos deve ser capaz de ler uma história com 60 palavras em um minuto e responder a três perguntas sobre seu conteúdo” ilustra o que um padrão significa.Reforçar todos os materiais de disseminação por canais de mídia ou ��para grandes públicos (inclusive apresentações de PowerPoint) com informações técnicas de apoio.

Os procedimentos e instrumentos que uma equipe de avaliação na-cional pode utilizar para suplementar o relatório principal são descritos neste capítulo e incluem o seguinte: dar informações aos funcionários do Ministério e funcionários seniores encarregados das políticas; preparar notas informativas; publicar relatórios sumários, relatórios técnicos e re-latórios temáticos; assegurar a cobertura da mídia; divulgar comunicados de imprensa; realizar coletivas de imprensa; realizar reuniões indivi duais; publicar relatórios em website; e disponibilizar dados da avaliação.

FOLHA DE ESPECIFICAÇÕES DO PRODUTO

O gestor de uma avaliação nacional constatará que é útil preparar uma folha de especificações do produto quando estiver planejando preparar relatórios. A folha inclui os seguintes elementos relativos ao produto:

Nome (por exemplo, relatório principal)��Descrição resumida��


Usuários a que se destina��Prioridade��Descrição detalhada��Principais atividades de produção, responsabilidades e cronograma��Custos de produção��Data projetada para a divulgação (e local, se for adequado)��Preço��Dependência de outros produtos ou insumos.��

Como o número potencial de produtos e serviços inevitavelmente superará os recursos técnicos e financeiros disponíveis para a equipe de avaliação nacional, os produtos devem ser priorizados de modo que aqueles com o maior potencial de promover uma reforma sejam viabili-zados. Entretanto, cabe à equipe de avaliação nacional planejar e calcu-lar o custo de todo o espectro de produtos e serviços, a fim de permitir uma ação rápida se recursos adicionais forem disponibilizados.

COMO INFORMAR A MINISTROS E FUNCIONÁRIOS

SENIORES A FORMULAÇÃO DE POLÍTICAS

As equipes de avaliação nacional devem preparar comunicações (pre-ferencialmente, em formato escrito) para o ministro e os agentes de nível sênior no Ministério da Educação. Eles desejam ter informações que apresentem as principais conclusões de uma avaliação de ma neira concisa e as eventuais implicações dessas conclusões (Beaton e John-son, 1992). Os ministros costumam receber inúmeros documentos para ler diariamente, e por isso uma nota informativa precisa ser obje-tiva e concisa.

Ministros e seus altos funcionários raramente se interessam em ler os relatórios completos, porém precisam estar cientes das principais con-clusões e ser alertados sobre questões que a mídia, o Congresso ou os interessados no sistema educacional (por exemplo, sindicato dos profes-sores) possam levantar quando o relatório da avaliação for publicado. Eles precisam das informações, mesmo que as notícias sejam “ruins”.


Para alguns públicos, “boas” notícias nem sempre são bem-vindas, por-que isso implica que recursos adicionais não são necessários.

É preciso prestar atenção especial à maneira como resultados diferen-ciais para subpopulações são comunicados e interpretados. Se alguns gru-pos apresentarem desempenho ruim, a notícia pode ser politicamente cons-trangedora para os políticos, porque os resultados podem ser interpretados como evidência de negligência em relação a esse segmento da população. Isso pode até mesmo ser uma razão para não se conduzir uma avaliação nacional ou, caso seja realizada, que os resultados não sejam publicados.

Muitos ministérios de governos têm formatos-padrão para os comu-nicados ministeriais. Esses formatos devem ser adotados, exceto se fo-rem considerados inadequados para a tarefa. Notas de imprensa eficazes sobre uma avaliação nacional podem conter os seguintes elementos:

Propósito para a condução da avaliação definido com concisão��Uma ou duas sentenças que expliquem por que é importante que o ��ministro tome ciência dos resultadosBreve descrição do contexto para a avaliação (como quem participou ��dele e qual foi a população-alvo avaliada)Principais resultados, principalmente aqueles que possam ter impli-��cações políticas (como níveis de aproveitamento dos alunos, diferen-ças regionais e de gênero, alocação de recursos para as escolas)Próximos passos possíveis que venham a apresentar opções, como dis-��cutir se o ministro deveria fazer uma declaração pública sobre parte dos resultados, recomendar que uma autoridade curricular ou insti-tuições de treinamento de professores estudem os resultados ou ainda sugerir uma avaliação nacional subsequente em uma área de currículo diferente.Recomendações para aconselhar o ministro sobre a resposta a ser ��dada quanto às opções listadasInformações sobre anexos que estejam inclusos, como um comuni-��cado de imprensa, um resumo da avaliação nacional ou o relatório completoNome da pessoa da equipe da avaliação nacional a ser contatada caso ��o ministro deseje mais informações


PUBLICAÇÃO DE RELATÓRIOS SUMÁRIOS

O relatório sumário para leitores com formação não técnica geralmente é publicado com o relatório principal. O relatório sumário é bastante conciso, como acontece com os relatórios em nível estadual ou as sínte-ses fornecidas pela Avaliação Nacional do Progresso em Educação dos Estados Unidos (NAEP) em seu website. O Quadro 3.1 apresenta o

QUADRO 3.1

Relatório Sumário do Estado de Illinois, Níveis de Aproveitamento dos Alunos da 4a série no NAEP de 2007, Estados Unidos

Fonte: Centro Nacional de Estatísticas de Educação dos EUA, 2007.

Illinois4ª Série

Escolas públicasRelatório Estadual Sucinto

A Avaliação Nacional do Progresso em Educação (NAEP) avalia a leitura em duas áreas de conteúdo na 4ª série: leitura para a experiência literária e para obter informações. A escala de leitura da NAEP varia de O a 500.

Resultados gerais em leitura para o Illinois• Em 2007, a pontuação média para os alunos da 4ª série no Illinois era 219. O número não diferia muito da pontuação média de 2005 (216), tampouco da pontuação média em 2003 (216).• A pontuação média de Illinois (219) em 2007 não diferiu muito da pontuação de outras escolas públicas do país (220).• Dos 52 estados e outras jurisdições que participaram da avaliação da 4ª série de 2007, a pontuação média dos alunos em Illinois foi superior à pontuação de outras 12 jurisdições, não diferiu muito da pontuação em outras 14 jurisdições e ficou abaixo da pontuação em outras 25 jurisdições. • O percentual de alunos do Illinois que tiveram desempenho igual ou superior ao nível de proficiência da NAEP foi de 32% em 2007. Esse percentual não diferiu muito do registrado em 2005 (29%) e não diferiu significativamente do registrado em 2003 (31%).• O percentual de alunos no Illinois que tiveram desempenho igual ou acima do nível básico da NAEP foi de 65% em 2007. Esse percentual não foi muito diferente do registrado em 2005 (62%) e não diferiu muito do registrado em 2003 (61%).

Desempenho dos grupos participantes da NAEP no Illinois: 2007

Diferenças Médias de Pontuação entre Grupos Selecionados

Grupos participantes373323565013‡

79

1223

16‡2

12

303542141854‡

1645

636777445087‡48 ↑79

217222230201205240

‡

51495520203#

HomensMulheresBrancosNegrosHispânicosAsiáticos/ Habitantes de ilhas do PacíficoÍndio Americano/Nativo do Alasca

204 ↑232

52 ↓21

4456

Com direito ao Programa Nacional de Almoço na EscolaSem direito ao Programa Nacional de Almoço na Escola

• Em 2007, a diferença de pontuação entre os alunos no 75º percentil e alunos do 25º percentil foi de 49 pontos. Em 2003, a diferença de pontuação entre alunos no 75º percentil e alunos no 25º percentil foi de 53 pontos.

• Em 2007, os alunos do gênero masculino no Illinois tinham uma pontuação média 5 pontos inferior à das alunas do gênero feminino. Em 2003, a pontuação média dos alunos do gênero masculino foi 5 pontos inferior à das alunas do gênero feminino.• Em 2007, os alunos negros tinham pontuação média 29 pontos inferior à dos alunos brancos. Em 2003, a pontuação média dos alunos negros foi 34 pontos menor do que a dos alunos brancos • Em 2007, os alunos hispânicos tiveram pontuação média 24 pontos inferior à dos alunos brancos. Em 2003, a pontuação média dos alunos hispânicos foi 31 pontos inferior à dos alunos brancos.• Em 2007, os alunos que tinham direito a almoço gratuito ou a preços subsidiados, auxílio contra a pobreza, tiveram pontuação média 28 pontos inferior à dos alunos que não tinham direito ao almoço grátis/ subsidiado. Essa diferença de desempenho foi menor do que a registrada em 2003 (35 pontos).

OBSERVAÇÃO: Os níveis de aproveitamento em leitura da 4ª série na NAEP correspondem aos seguintes intervalos da escala: Abaixo do Básico, 207 ou abaixo; Básico, 208-237; Proficiente, 238-267; Avançado, 268 ou acima.

Percentual de níveis de aproveitamento na NAEP e pontuação médiaIllinois (público)

23

23

24

24

30

33

33

34

8

8

39

38

35

34

2003

2005

2007

2007

216

7

7

216

219

220

Pontuação média

Nação (público)

Percentual abaixo do básico Percentual no Básico, Proficiente e Avançado.

Abaixo do Básico Básico Proficiente Avançado

OBSERVAÇÃO: As pontuações em percentis selecionados na escala de leitura da NAEP indica como foi o desempenho dos alunos nos níveis mais baixos, intermediários, e mais altos.

Percentualde alunos

Pontuaçãomédia

Percentualabaixo do básico

Percentual de alunos no nível ou acima deleBásico Proficiente

PercentualAvançado

Pontuações de leitura em percentis selecionadosPontuação

500

250

240 244

219

242 24575º

50º

25º

’03 ’05 ’07

230

220220 222

210

190191* 193 195

0

200

Percentis


relatório sumário de desempenho de alunos da 4a série em Illinois, na avaliação de leitura realizada em 2007.

Alguns relatórios sumários são mais extensos. Por exemplo, após uma avaliação nacional de geografia na 4a, 8a e 12a series, o Centro Nacional de Estatísticas de Educação elaborou um resumo dos resultados na sé-rie de fatos do NAEP (com aproximadamente seis páginas), intitulado “Geografia: O que os alunos sabem e o que eles conseguem fazer?”. O relatório descreveu o que o 25o, o 50o e o 90o percentis em cada série haviam aprendido (Vanneman, 1996). Outros relatórios são mais exten-sos e podem incluir uma breve descrição de todos os componentes do relatório principal.

Estão disponíveis os relatórios principais e sumários para a avaliação na-cional de leitura em inglês na Irlanda (Eivers et al., 2005a, 2005b). As duas publicações podem ser acessadas no website do Educational Research Cen-tre (http://www.erc.ie). O relatório principal do NAEP nos Estados Unidos para história (4a, 8a e 12a séries) e um relatório sumário podem ser obtidos no endereço http://nces.ed.gov/nationsreportcard/ushistory/.

Os professores de sala de aula, em geral, são a audiência primária para os relatórios sumários. Nesse caso, os relatórios sumários provavel-mente incluem recomendações para a atividade docente que provêm do relatório (ver Capítulo 6). Por exemplo, foi publicado um guia para o aproveitamento em matemática de alunos irlandeses de 15 anos após a aplicação da prova do Programa Internacional de Avaliação de Alunos (PISA) na Irlanda, em 2003 (Shiel et al., 2007). O relatório contém exemplos de itens da prova, bem como informações sobre o desempe-nho dos alunos e sobre até que ponto os professores irlandeses ensinam matemática do tipo encontrado no PISA. O Quadro 3.2 contém três das várias recomendações para professores que constam do relatório.

Os relatórios sumários podem contemplar outros grupos de interesse, como veremos a seguir:

Os sindicatos de professores representam os interesses coletivos dos ��professores e podem ser agentes poderosos a favor – ou contra – a mudança. Eles têm interesses próprios no uso das informações para defender suas posições.


QUADRO 3.2

Sugestões para Aplicar a Abordagem PISA ao Ensino e Aprendizado de Matemática: Irlanda

As recomendações a seguir foram extraídas de um guia preparado pelo Centro de Pesquisas Educacionais que foi publicado pelo Departamento de Educação e Ciências da Irlanda após a realização de uma avaliação nacional:

Enfatizar uma abordagem mais interativa para o ensino de matemática, em que os alunos se envolvam na discussão de problemas, antes e depois de serem solucionados. A discussão deve voltar-se para a identificação das habilidades matemáticas necessárias à solução de um problema, e para expor o raciocínio dos alunos após o problema ser resolvido.

Enfatizar a gama completa de competências (processos) cognitivos ao en-sinar. A ênfase exagerada na reprodução de conteúdos nas salas de aula e exames implica que muitos alunos talvez não tenham a oportunidade de colocar em prática competências de nível mais alto, como Conexão e Refle-xão. É provável que, ao aplicarem essas competências em todos os níveis de habilidade, os alunos tenham entendimento conceitual mais profundo e mais independência na resolução de problemas.

Implementar um equilíbrio mais saudável entre questões descontextualizadas e questões inseridas em contextos reais. Muitas perguntas em livros didáticos e exames atuais estão descontextualizadas. Embora tais itens desempenhem pa-pel importante no desenvolvimento de habilidades matemáticas básicas, tam-bém é importante oferecer aos alunos oportunidades de se engajarem com pro-blemas do mundo real. Tal engajamento serve para tornar a matemática mais relevante e oferece oportunidade para o desenvolvimento de uma variedade maior de competências matemáticas.

Fonte: Shiel et al., 2007: 48.

Líderes comunitários, incluindo políticos locais, precisam de infor-��mações para determinar se o sistema educacional está produzindo o que a comunidade precisa para alcançar seus objetivos sociais, cultu-rais e econômicos.Empregadores e líderes empresariais precisam de informações objeti-��vas sobre o aproveitamento escolar como indicador da qualidade de preparação de empregados futuros.


Os cidadãos podem usar as informações de uma avaliação nacional ��para julgar se o sistema educacional está cumprindo seus objetivos em relação a acesso, qualidade, eficiência e equidade, o que pode conduzir a pressões para melhorar o fornecimento de educação.Agências doadoras buscam informações objetivas para avaliar a eficá-��cia dos programas ou justificar a assistência ao setor educacional ou para uma região geográfica ou subgrupo específico da população.

PUBLICAÇÃO DE RELATÓRIOS TÉCNICOS

Os relatórios técnicos são elemento fundamental para uma avaliação na-cional, porque fornecem informações detalhadas sobre a avaliação aos membros das comunidades de pesquisa e científicas, permitindo que eles a avaliem de maneira crítica. Os relatórios técnicos também atuam como um registro das atividades abrangidas pela avaliação, registro esse necessário para implementar ciclos futuros de uma avaliação.

Algumas avaliações nacionais publicam apenas um relatório, que serve tanto como relatório técnico quanto relatório geral. Um bom exemplo é o relatório australiano sobre aproveitamento dos alunos nas tecnologias de informação e comunicação nos anos 6 a 10; ele contém detalhes téc-nicos sobre os níveis de proficiência e procedimentos amostrais (Ainley, Fraillon e Freeman, 2007).

Outros relatórios contemplam aspectos mais técnicos da amostra-gem, análise de itens, técnicas e critérios de cálculo de pontuação, construção de escalas, análises estatísticas e controle de qualidade. Bons exemplos podem ser encontrados em The Trends in International Mathematics and Science Study 2003: Technical Report (Martin, Mullis e Chrostowski, 2004) e em Reading Literacy in the United States: Tech-nical Report of the U.S. Component of the IEA Reading Literacy Study (Binkley e Rust, 1994).

A Tabela 3.1 lista as atividades que devem ser abrangidas por um relatório técnico. É importante prestar atenção especial ao desenvolvi-mento do instrumento, à descrição da população ou à amostra que foi avaliada, à construção de escalas dos itens e à análise estatística.


PUBLICAÇÃO DE RELATÓRIOS TEMÁTICOS

Os relatórios temáticos aprofundam aspectos das conclusões de uma avaliação relacionados com um tema específico que não foi abordado em detalhes no relatório principal. Um relatório temático pode analisar padrões de erros nas respostas dos alunos para aspectos específicos do currículo ou para conjuntos de itens em um teste de aproveitamento. Essas análises podem ajudar a identificar onde um currículo precisa ser reformulado ou a instrução ser fortalecida. Por exemplo, uma análise dos padrões de erros nos itens de ciências do PISA, em 2006, foi condu-zida para os alunos do Qatar (DataAngel Policy Research, 2007). Ape-sar de seu potencial para aprimorar a prática, pouquíssima análise desse tipo é conduzida.

Um relatório temático pode concentrar-se em uma subpopulação de interesse para um público específico ou estar relacionado a uma política determinada (por exemplo, meninos e meninas, grupos ra-ciais ou étnicos, alunos em contextos em desvantagem, alunos da área rural). A Figura 3.1 apresenta um exemplo que compara as pontua-ções de aproveitamento em leitura de alunos que foram classificados por raça ou etnia a partir de dados da avaliação nacional nos Estados Unidos.

Exemplos de relatórios temáticos que incorporam métodos esta-tísticos avançados e apresentam resultados de forma acessível e com relevância para a formulação de políticas podem ser encontrados em estudos que utilizam dados do Consórcio da África Austral e Orien-tal para Monitoramento da Qualidade da Educação, ou SACMEQ, e do Programme d’Analyse des Systèmes Educatifs de la CONFEMEN (Conférence des Ministres de l’Education des Pays Ayant le Français en Partage), ou PASEC, na eficácia de custos dos insumos educa-cionais (Michaelowa e Wechtler, 2006) e diferenças de letramento entre populações urbanas e rurais (Zhang, 2006) e estudos usando dados do PISA sobre o “engajamento em leitura” de alunos de 15 anos (Kirsch et al., 2002).

TAB

ELA

3.1

Rel

ató

rio

Téc

nico

: Co

nteú

do

s Su

ger

ido

s

Seçã

oA

lgum

as a

tivi

dad

esE

xem

plo

s o

u co

men

tári

os

Prop

ósito

Des

crev

er o

con

text

o e

os p

rinci

pai

s ob

jetiv

os d

a av

alia

ção

naci

onal

Mon

itora

r m

udan

ças

nos

níve

is d

e ap

rove

itam

ento

des

de

a re

aliz

ação

da

últim

a av

alia

ção

naci

onal

, com

unic

ar d

ifere

nças

re

gio

nais

no

Ap

rove

itam

ento

dos

alu

nos,

ou

amb

os.

Defi

niç

ão d

a m

atér

iaD

efi n

ir a

mat

éria

que

ser

á av

alia

da.

Lis

tar

asp

ecto

s d

a m

atér

ia q

ue s

erá

aval

iad

a (c

omo

voca

bul

ário

, com

pre

ensã

o,

com

por

tam

ento

).

Letr

amen

to e

m le

itura

é d

efi n

ido

com

o “a

cap

acid

ade

de

com

pre

end

er e

usa

r as

form

as d

a lin

gua

gem

esc

rita

exig

idas

p

ela

soci

edad

e e/

ou v

alor

izad

as p

elo

ind

ivíd

uo”

(Cam

pb

ell e

t al

., 20

01: 3

).

Det

alhe

s d

o q

ue e

stá

send

o m

ensu

rad

oD

escr

ever

as

área

s d

e co

nteú

do

e ní

veis

co

gni

tivos

a s

erem

ava

liad

os p

ara

cad

a m

atér

ia e

sér

ie. I

nclu

ir d

etal

hes

sob

re o

s ite

ns.

Incl

uir

um e

sque

ma

ou t

abel

a co

m e

spec

ifi ca

ções

. Ind

icar

o

núm

ero

de

itens

de

múl

tipla

esc

olha

, ite

ns d

e re

spos

ta fe

chad

a e

itens

de

resp

osta

s p

or e

xten

so.

Des

envo

lvim

ento

do

inst

rum

ento

Forn

ecer

det

alhe

s so

bre

a c

onst

ruçã

o d

e te

stes

-pilo

to, q

uest

ioná

rios

e m

anua

l ad

min

istr

ativ

o, in

clui

ndo

revi

sões

.

Incl

uir

um r

esum

o d

a au

torid

ade

curr

icul

ar e

aná

lises

dos

p

rofe

ssor

es s

obre

a a

deq

uaçã

o d

os it

ens

da

pro

va. C

aso

as p

rova

s ou

que

stio

nário

s te

nham

sid

o tr

aduz

idos

, des

crev

er c

omo

a fi d

elid

ade

da

trad

ução

foi c

omp

rova

da.

Pop

ulaç

ão o

u am

ostr

a av

alia

da

No

caso

de

amos

tra,

ind

icar

o t

aman

ho

e os

crit

ério

s p

ara

excl

usão

de

alun

os,

agru

pam

ento

e s

ubst

ituiç

ão d

as e

scol

as.

Faze

r um

rel

atór

io s

obre

a p

opul

ação

des

ejad

a, d

efi n

ida

e ex

cluí

da

(por

exe

mp

lo, i

dad

e ou

sér

ie, p

úblic

a e

par

ticul

ar);

taxa

s d

e p

artic

ipaç

ão, e

stra

tifi c

ação

sim

ple

s; t

ipo

da

amos

tra

(por

exe

mp

lo,

clus

ter,

núm

ero

de

está

gio

s); m

étod

o p

ara

det

erm

inar

o t

aman

ho

da

amos

tra;

e m

étod

o p

ara

calc

ular

o e

rro.

Op

eraç

ões

Des

crev

er a

sel

eção

de

adm

inis

trad

ores

e

as m

edid

as d

e co

ntro

le d

e q

ualid

ade.

Des

crev

er o

s p

roce

dim

ento

s p

ara

asse

gur

ar a

ent

reg

a, o

ar

maz

enam

ento

e a

dev

oluç

ão c

om s

egur

ança

de

tod

os o

s in

stru

men

tos

de

aval

iaçã

o.

Cál

culo

das

pon

tuaç

ões

Des

crev

er o

s p

roce

dim

ento

s d

e cá

lcul

o d

e p

ontu

açõe

s e

med

idas

de

cont

role

de

qua

lidad

e.

Ind

icar

per

cent

ual d

e tip

os d

ifere

ntes

de

itens

de

test

e q

ue fo

ram

su

bm

etid

os a

nov

o cá

lcul

o fe

ito p

or a

gen

te in

dep

end

ente

.

Entr

ada

e lim

pez

a d

e d

ados

Des

crev

er p

roce

dim

ento

s e

med

idas

de

cont

role

de

qua

lidad

e.Ex

plic

ar c

omo

erro

s es

pec

ífi co

s no

s re

gis

tros

dos

alu

nos

fora

m

iden

tifi c

ados

e a

ltera

dos

.

Aná

lise

de

itens

Faze

r um

res

umo

da

difi

culd

ade

dos

ite

ns e

nív

eis

de

dis

crim

inaç

ão.

Ind

icar

se

os it

ens

se m

ostr

aram

tec

nica

men

te a

deq

uad

os e

m

vária

s re

giõ

es e

gru

pos

ling

uíst

icos

, se

for

o ca

so. A

pre

sent

ar a

s ra

zões

par

a q

ualq

uer

elim

inaç

ão d

e ite

ns.

Con

stru

ção

das

esc

alas

dos

ite

nsSe

for

adot

ada

a te

oria

de

resp

osta

ao

item

, exp

licar

com

o é

feito

o c

álcu

lo d

as

pon

tuaç

ões

das

esc

alas

e d

os n

ívei

s d

e p

rofi c

iênc

ia.

Des

crev

er o

pap

el d

os e

spec

ialis

tas

em c

onte

údo

par

a d

eter

min

ar

o ní

vel d

e p

rofi c

iênc

ia.

Aná

lise

dos

dad

os d

a av

alia

ção

Ap

rese

ntar

res

ulta

dos

est

atís

ticos

re

sum

idos

, inc

luin

do

os e

rros

-pad

rão.

C

omp

arar

res

ulta

dos

com

os

da

aval

iaçã

o na

cion

al a

nter

ior,

se

for

pos

síve

l. A

nalis

ar o

s d

ados

sob

re a

s q

uest

ões

sug

erid

as p

ela

com

issã

o d

e co

ord

enaç

ão.

List

ar o

s p

roce

dim

ento

s es

tatís

ticos

exa

tos;

iden

tifi c

ar o

sof

twar

e us

ado;

des

crev

er o

mét

odo

de

cálc

ulo

dos

err

os-p

adrã

o, n

ívei

s d

e si

gni

fi cân

cia

esta

tístic

a, e

man

eira

s d

e lid

ar c

om o

s d

ados

q

ue fa

ltara

m. E

xplic

ar c

omo

os ín

dic

es (p

or e

xem

plo

, rec

urso

s d

a es

cola

, int

eres

se d

os p

ais

pel

a ed

ucaç

ão),

caso

ten

ham

sid

o us

ados

, for

am c

alcu

lad

os. C

omp

arar

as

dife

renç

as r

egio

nais

no

apro

veita

men

to. E

stab

elec

er a

rel

ação

ent

re a

pro

veita

men

to e

ca

ract

erís

ticas

do

alun

o (id

ade,

gên

ero,

atit

udes

em

rel

ação

à

mat

éria

); p

rofe

ssor

(qua

lifi c

açõe

s d

o p

rofe

ssor

, rec

urso

s d

a es

cola

); ou

con

text

o d

o am

bie

nte

fam

iliar

(tam

anho

da

fam

ília,

esc

olar

idad

e d

os p

ais)

.

Con

clus

ões

Ap

rese

ntar

um

res

umo

das

con

clus

ões

prin

cip

ais.

Aco

nsel

har

qua

nto

à lim

itaçã

o d

os r

esul

tad

os.

Ap

rese

ntar

rec

omen

daç

ões

just

ifi cá

veis

com

bas

e no

s re

sulta

dos

se

isso

tiv

er s

ido

solic

itad

o no

iníc

io.

Font

e: C

omp

ilaçã

o d

os a

utor

es.


COMO ASSEGURAR A COBERTURA DA MÍDIA

É caro produzir relatórios em papel. Além disso, esse tipo de publicação pode não ser adequado para muitos indivíduos interessados nas conclu-sões de uma avaliação nacional. Em contraste, a mídia – impressa, no rádio, televisão ou em vídeo – oferece um meio acessível para dissemi-nar as mensagens-chave de uma avaliação nacional a indivíduos que, de outra maneira, não teriam acesso a elas. Por um lado, a falta de obtenção de cobertura de mídia pode significar que uma avaliação passe desper-cebida. Por outro lado, quando a mídia critica uma avaliação – ou pro-move mensagens sensacionalistas ou incorretas –, o sistema de avaliação nacional pode ser ameaçado.

FIGURA 3.1

Pontuações Médias na Escala de Leitura por Raça ou Etnia, NAEP, 4a Série, 2005: Estados Unidos

Fonte: Centro Nacional de Estatísticas de Educação dos EUA, 2006b: Figura 2.17.Observação: Os resultados se baseiam na amostra nacional da NAEP. Negro inclui afro-americanos. Hispânico inclui latinos, e Habitante de ilha da Ásia ou Pacífi co inclui nativos do Havaí. As categorias de raça excluem a origem hispânica. * indica que a pontuação é signifi cativamente diferente daquela dos alunos índios americanos e nativos do Alasca.

0

190180

204

índio

am

erica

no o

u

nativ

o do

Alas

ca

habit

ante

de

ilha

da Á

sia o

u Pac

ífico

bran

cone

gro

hispâ

nico

*922*922

200* 203200

220210

230240250260270280290300

500

po

ntu

ação

na

esca

la

grupo racial ou étnico


O rádio atinge um grande número de indivíduos e é especialmen-te adequado para indivíduos com pouca habilidade em letramento. A televisão também atinge grande contingente de pessoas e tem o papel importante de despertar o interesse do público. Entretanto, as apresen-tações no rádio e na televisão são geralmente superficiais e curtas demais para possibilitar um entendimento real das conclusões de um estudo de pesquisa ou de suas implicações.

Uma experiência mais profunda do uso da televisão para informar o público sobre os resultados de uma avaliação foi realizada na América Latina. Após a divulgação dos resultados de uma avaliação internacional realizada pelo Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (ver o Volume 1 desta série, Apêndice C – Greaney e Kellaghan, 2008), os detalhes foram publicados em um vídeo exibido em todo o continente (Ferrer e Arregui, 2003). O argumento favorá-vel ao uso de vídeos e televisão para comunicar as conclusões de uma avaliação nacional ou internacional é reforçado pelo que foi observado no Peru, onde os vídeos se mostraram mais eficazes que as palestras ou apresentações em PowerPoint durante o diálogo com os interessados em política educacional (Pérez, 2006).

DIVULGAÇÃO DE COMUNICADOS DE IMPRENSA

Um comunicado de imprensa é uma declaração curta e por escrito divulga-da para a mídia. O formato e o conteúdo variam, dependendo de quem os divulga. Um comunicado de imprensa emitido pelo Ministério da Educação tende a enfatizar os aspectos positivos das conclusões, enquanto outro escri-to por uma instituição de pesquisa tende a adotar uma postura mais neutra. No início, a pessoa responsável por redigir o comunicado de imprensa deve esclarecer a qual público ele se destina. O público pode ser a sociedade em geral, funcionários do governo ou especialistas. Conhecer o público-alvo ajuda a determinar a quantidade de informações técnicas a ser incluída e o tom do comunicado à imprensa.

A preparação de um comunicado de imprensa ajuda a reduzir, po-rém não elimina, a tendência de os jornalistas simplificarem em excesso


as conclusões da avaliação. Alguns jornalistas talvez procurem destacar uma conclusão que traga prejuízos políticos, em vez de apresentar um quadro mais neutro e equilibrado.

Um comunicado de imprensa deve iniciar com a data da divulgação e o nome e endereço do órgão (Ministério da Educação, instituto de pesquisa ou outro órgão) responsável pela divulgação. Se for possível, o logotipo do órgão deve aparecer no cabeçalho, que, por sua vez, deve ser curto e interssante, e apresentado em negrito. Talvez ele seja a única chance de atrair a atenção do leitor. “Divulgado Relatório de Avaliação Nacional” é conciso, mas “Novo Relatório Enfatiza Sucessos no Setor Educacional” é conciso e também interessante. Em seguida, escreve-se uma frase inicial ou de destaque para despertar o interesse do leitor, se-guida por uma ou duas frases que agregam informações à frase inicial.

A seção principal de um comunicado de imprensa deve basear-se em fatos e conter respostas curtas às seguintes perguntas:

Quem realizou a avaliação nacional?��Por que ela foi realizada?��Quando foi realizada?��Como foi realizada?��Quais foram as conclusões principais?��Por que elas são importantes?��

Os redatores de um comunicado de imprensa devem fazer o seguinte:

Ter uma ideia clara do que esperam que os leitores concluam sobre o ��comunicado de imprensaAter-se aos fatos e não florear as conclusões��Evitar frases longas, termos técnicos e jargão de estatística��Usar verbos na voz ativa��Redigir o texto como gostariam que fosse publicado no jornal��Limitar o comunicado a uma página ou, no máximo, duas, com es-��paço duploVerificar se os fatos e a gramática do texto estão corretos e se não há ��erros de escrita


Incluir um número de telefone para contato, além de endereço postal ��e eletrônicoUsar ### abaixo da última linha do texto para sinalizar o fim do co-��municado de imprensa.

Se houver diagramas, devem ser de fácil compreensão, ter um propó-sito claro e não tentar apresentar um excesso de detalhes ou ter notas de rodapé. Gráficos no formato de barras, em vez de linhas, são considera-dos mais eficazes (Hambleton e Slater, 1997).

O Quadro 3.3 apresenta um trecho extraído de comunicado de im-prensa de duas páginas da avaliação nacional de 2007, nos Estados Uni-dos. Outro exemplo de comunicado de imprensa pode ser consultado no Quadro 3.4.

QUADRO 3.3

Trecho de Comunicado de Imprensa, NAEP: Estados Unidos

COMUNICADO DE IMPRENSA

Embargado, Aguardar até a divulgação na terça-feira, 25 de setembro, 10:00. EDT

CONTATO: Matt Maurer, (202) 955-9450 ramal 322,[email protected]

Alunos Norte-Americanos Exibem Progresso em Matemática e Leitura, de acordo com o Nation’s Report Card™ de 2007.

Alunos dos Grupos Minoritários Exibem Alguns dos Maiores Ganhos

WASHINGTON (25 de setembro de 2007) – No quadro geral, o aproveitamento dos alunos em matemática e leitura nos Estados Unidos está melhorando, de acordo com os resultados apurados pelo Nation’s Report Card™ de 2007. Parte desse aumento foi registrada entre os alunos pertencentes aos grupos minoritários do país.

(continua)


QUADRO 3.3

Dois relatórios que foram divulgados hoje, The Nation’s Report Card™: Mathe-matics 2007 e The Nation’s Report Card™: Reading 2007, mostram detalhes sobre o aproveitamento dos alunos das 4a e 8a series na Avaliação Nacional do Progresso em Educação (NAEP), aplicada pelo Departamento de Educação dos Estados Unidos há alguns meses, neste ano. Os relatórios comparam dados nacionais e estaduais em 2007 com cada ano anterior, quando os testes foram aplicados, iniciando, em 1990, para matemática e, em 1992, para leitura. De acordo com as médias nacionais, as pontuações de matemática para os alunos da 4a e 8a séries apresen-tam tendência ascendente desde 1990. Além disso, a proporção de alunos com desempenho dentro ou acima dos níveis de aproveitamento Básico e Proficiente aumentou consideravelmente nos últimos 17 anos. Os ganhos registrados desde 2003 são estatisticamente significativos, embora não sejam tão marcantes quanto aqueles obtidos em períodos anteriores. Ao mesmo tempo, a pontuação média em leitura para os alunos da 4a série foi a maior registrada em 15 anos e vem au-mentando desde 2003, embora os ganhos gerais desde 1992 tenham sido mais modestos do que os observados em matemática.

A pontuação média em leitura na 8a série vem aumentando discretamente desde 2005, mas permanece abaixo do nível de aproveitamento exibido em 2002 e é prati-camente semelhante à média registrada em 1998.

…

Exemplares do The Nation’s Report Card™: Mathematics 2007 e The Nation’s Re-port Card™: Reading 2007, além de mais informações sobre as avaliações da NAEP de 2007 de matemática e leitura, estarão disponíveis na internet, no endereço http://nationsreportcard.gov às 10:00 EDT em 25 de setembro.

# # #

O Nation’s Report Card é a única avaliação continuada e com representativida-de nacional sobre a situação educacional nos Estados Unidos e cumpre a função de métrica nacional do aproveitamento dos alunos desde 1969. Por meio da Avaliação Nacional do Progresso em Educação(NAEP), o Nation’s Report Card informa ao públi-co o que os alunos dos Estados Unidos sabem e são capazes de fazer em várias áreas de estudo, e compara os dados do aproveitamento entre estados e vários grupos demográficos de alunos.

Fonte: http://www.nationsreportcard.gov/math_2007/media/pdf/newsrelease.pdf.


QUADRO 3.4

Exemplo de Comunicado de Imprensa: Estados Unidos

Este modelo de Comunicado de imprensa foi publicado pelo Conselho Estadual de Edu-cação do Michigan em “Pencils Down: A Guide for Using and Reporting Test Results”:

PARA DISTRIBUIÇÃO IMEDIATA:DATA:CONTATO:Relações PúblicasMary Green555-1313

Escolas de Mathville Citam o Ensino Tardio como Eventual Causa para o Peque-no Ganho nas Pontuações de Testes

Os alunos da 4a, 7a e 10a séries de Mathville apresentaram apenas melhoria discreta em algumas áreas testadas na prova do Programa de Avaliação Educacional do Michi-gan (MEAP – Michigan Educational Assessment Program), realizado no final de setem-bro. No relatório enviado ao Conselho de Educação de Mathville, o superintendente Phred Smart afirmou que, “embora estejamos satisfeitos em constatar melhorias, é preciso trabalhar muito ainda, principalmente em matemática”. Embora os alunos de Mathville tenham obtido resultados acima da média estadual em algumas áreas, Smart afirmou: “Estamos revisando nosso programa de matemática levando em conta que muitos dos conceitos avaliados não são ensinados aos alunos antes do dia da prova.” ___% dos alunos da 4a série em Mathville, ___% dos alunos da 7a série e ___% dos alunos da 10a série alcançaram três quartos dos objetivos em cada nível.

Smart afirmou que a disciplina de matemática da 7a série será estudada por um comi-tê distrital de matemática. O comitê de matemática é composto por professores da 1a à 9a séries, pelo consultor distrital de matemática da escola e pelo diretor da escola.

___% dos alunos da 4a série de Mathville alcançaram três quartos dos objetivos de leitura, comparados com ___% daqueles em nível estadual.

Os alunos da 7a série pontuaram acima da média estadual em ___ dos 25 objeti-vos de leitura testados e ___% dos alunos alcançaram pelo menos três quartos dos objetivos quando comparados com ___ dos alunos em base estadual. ___% dos alunos da 10a série alcançaram três quartos dos objetivos de leitura, comparados com ___% dos alunos em base estadual.

O MEAP é aplicado a todos os alunos de 4a, 7a e 10a séries nas escolas públicas do Michigan, no outono. Pelas leis do estado de Michigan, essa prova é obrigatória desde 1969. A prova é utilizada pelos professores para formular programas que atendam às necessidades especiais de aprendizado dos alunos.

O MEAP ajudou a determinar se os alunos aprenderam habilidades específicas em leitura e matemática. As perguntas do teste são extraídas de um banco de questões que refletem as habilidades básicas tidas como essenciais pelos educa-dores do estado de Michigan.

Os exemplares dos resultados da avaliação distrital estão à disposição do públi-co nos escritórios administrativos do distrito, 242 13th Street.

Fonte: Gucwa e Mastie, 1989. Reproduzido mediante permissão do Conselho de Educação do Estado do Michigan.


REALIZAÇÃO DE ENTREVISTAS COLETIVAS

Caso o objetivo seja alcançar uma ampla variedade de canais de mídia, geralmente é necessário realizar uma coletiva de imprensa com a mídia impressa, emissoras de rádio e de televisão. As conclusões devem ser apresentadas pelos principais integrantes da comissão nacional de coor-denação (se possível) e o coordenador nacional da pesquisa. As apresen-tações devem durar aproximadamente 20 minutos, e outros 10 minutos devem ser destinados a perguntas. A experiência mostra que é difícil evitar que os palestrantes desviem-se das mensagens combinadas e, por isso, recomenda-se que pratiquem a apresentação com antecedência, bem como suas respostas para as possíveis perguntas.

Os participantes devem receber uma cópia do comunicado de im-prensa, um relatório sumário dos resultados da avaliação nacional, notas biográficas sucintas sobre os palestrantes e uma nota explicativa sobre a agência que realizou a avaliação (caso ela não tenha sido realizada pelo Ministério da Educação).

Entrevistas coletivas para promover a divulgação dos resultados da avaliação nacional podem apresentar riscos. Alguns jornalistas e grupos de interesse talvez tenham interesse em fazer sensacionalismo com os resultados e interpretar equivocadamente as mensagens prin-cipais. As perguntas feitas pela mídia costumam destacar os resulta-dos negativos. A mídia popular em muitos países tendem a oferecer explicações simplistas para questões complexas (como as razões para queda ou aumento nos índices de aproveitamento escolar). É impor-tante que as coletivas de imprensa sejam usadas para corrigir conclu-sões sem fundamentos, como atribuir a culpa por resultados ruins a um único motivo ou grupo (por exemplo, professores, Ministério da Educação, ou livros didáticos).

REALIZAÇÃO DE REUNIÕES INDIVIDUAIS

Em geral, a divulgação da mensagem central de uma avaliação nacional é realizada com maior eficácia em reuniões individuais com os interessa-


dos, e não em entrevistas coletivas. Eventos individuais de mídia podem auxiliar o porta-voz da avaliação nacional a estabelecer uma relação com um jornalista ou com um repórter de rádio ou televisão. Esses eventos também proporcionam tempo para esclarecer possíveis equívocos de in-terpretação.

PUBLICAÇÃO DE RELATÓRIOS EM WEBSITES

No futuro, o acesso crescente à internet ajudará a assegurar que mais pessoas tenham acesso aos resultados da avaliação nacional. O Chile publica resultados detalhados da avaliação em seu website de avalia-ção nacional (http://www.simce.cl). O Departamento de Educação e Ciências da Irlanda apresenta os resumos das conclusões das avaliações nacionais em seu website oficial (http://www. education.ie/servlet/blo-bservlet/des_cos_preface.htm). A página de abertura do site que trata de aproveitamento em matemática lista apenas os títulos dos capítulos do relatório, que podem ser obtidos com um clique (Quadro 3.5). O website do NAEP norte-americano vai além e possibilita que os educa-dores e cidadãos interessados busquem respostas a perguntas específicas fazendo sua própria análise comparativa dos dados (Quadro 3.6). Os in-divíduos que se conectam ao website (http://nces.ed.gov/nationsreport-card), mesmo que tenham pouco ou nenhum conhecimento estatístico, podem obter respostas a questões relacionadas com o desempenho em seu próprio estado, tais como:

Os padrões aumentaram ou diminuíram desde o último NAEP?��Existem diferenças de gênero no aproveitamento em leitura?��Como os estudantes de grupos minoritários se comparam com a mé-��dia geral do estado em leitura?Como as pontuações do estado se comparam com as de estados vizi-��nhos ou com a média nacional em ciências?


QUADRO 3.5

Website, Aproveitamento em Matemática em Escolas Primárias: Irlanda

O site do Departamento de Educação da Irlanda lista os conteúdos do relatório da avaliação nacional para aproveitamento em matemática. Os usuários clicam nos títulos a seguir para consultar o relatório:

Prefácio

Capítulo 1 – Contexto da AvaliaçãoCapítulo 2 – Instrumentos e Procedimentos de AvaliaçãoCapítulo 3 – Aproveitamento em Matemática dos Alunos na 4a SérieCapítulo 4 – Características dos Alunos e Aproveitamento em MatemáticaCapítulo 5 – Ambiente Familiar e Aproveitamento em MatemáticaCapítulo 6 – Ambiente de Sala de Aula e Aproveitamento em MatemáticaCapítulo 7 – Características da Escola e Aproveitamento em MatemáticaCapítulo 8 – Apoio ao Aprendizado de MatemáticaCapítulo 9 – Opiniões dos Inspetores sobre o Ensino e Aprendizado de MatemáticaCapítulo 10 – RecomendaçõesApêndicesGlossário

Fonte: http://www.education.ie/servlet/blobservlet/des_cos_preface.htm.

DISPONIBILIZAÇÃO DOS DADOS DA AVALIAÇÃO

Embora os dados da avaliação em si sejam um ativo negligenciado, um grande grupo de agências ou indivíduos pode ter interesse em realizar análises secundárias dos dados. Entre eles, estão funcionários gradua-dos de ministérios que não sejam os do Ministério da Educação (por exemplo, saúde, infraestrutura ou finanças); pesquisadores; professores de instituições educacionais; e agências doadoras em busca de justifi-cativa objetiva para apoiar projetos nacionais ou direcionados. Alguns obstáculos à utilização das informações por indivíduos ou agências que não sejam a equipe de avaliação nacional, embora amplamente técnicos, abrangem questões de privacidade e confidencialidade.

O método tradicional de satisfazer as necessidades de usuários secun-dários tem sido produzir e publicar enormes volumes de tabelas estatís-ticas. Essas publicações, contudo, são difíceis de usar, e as tabelas nelas


contidas geralmente não atendem às necessidades específicas do usuário. Produtos comerciais como o iVision permitem que grandes volumes de tabelas pré-planejadas sejam acessados com rapidez.

Muitos organizadores de avaliações nacionais escolhem produzir para os usuários um arquivo em microfilme e documentação técnica suplementar que foram monitorados para proteger a confidencialidade de alunos, professores e escolas. Caso os usuários requisitem acesso aos dados dos alunos, as equipes nacionais podem configurar um serviço re-moto ao qual os usuários externos enviam um código de análise que roda

QUADRO 3.6

Mapa do Site, Website da NAEP: Estados Unidos

Fonte: Centro Nacional de Estatísticas de Educação dos EUA, 2008.

ContatoPublicaçõesGlossário de termosCronograma de avaliação Serviço newsflashNo Child Left BehindDocumentação técnicaCentro de pesquisas onlineQuestionários de informações sobre antecedentesLivretos com amostras de perguntasStatChat (arquivo)

AMOSTRA DE PERGUNTAS

Mapa do site

Sobre o NAEP

Visão geralFAQsAtividades do NAEPInformações para escolas selecionadasInformações para os paisInclusão de alunos com deficiência e aprendizes do idiomaNAEP nacionalNAEP estadualNAEP distrital (TUDA)Tendências de longo prazo no NAEP Estudo de notas do ensino médioEstudo nacional de educação indígenaEstudos especiaisParceiros do NAEPConselho Nacional de Avaliação

ANÁLISE DE DADOS

BOLETIM DE APROVEITAMENTO DO PAÍS

Avaliação Nacional do Progresso em Educação (início)

Matérias do NAEP

ArtesEducação CívicaEconomiaLíngua estrangeiraGeografiaMatemáticaLeituraCiênciasHistória dos Estados UnidosRedaçãoHistória Mundial

PERFIL DOS ESTADOS PUBLICAÇÕESFaça uma busca no NEAP

Ferramentas especiais

Ferramentas de Pesquisa do NAEPData Explorer do NAEPComparações entre estados Perfis dos estados

Outros recursos


na base de dados confidencial. Na sequência, os resultados estão sujeitos à confidencialidade. Embora seja trabalhoso, esse método permite que as equipes de avaliação nacional protejam a confidencialidade – uma consideração importante, já que a participação depende da garantia de que os resultados de escolas, professores ou alunos individuais não serão divulgados publicamente.

As equipes nacionais de estudos precisam convencer os políticos e autoridades do ministério de que disponibilizar os dados da avaliação nacional trará benefícios no longo prazo, mesmo que cause algum tipo de desconforto de curto prazo ao colocar dados nas mãos de possíveis críticos.

OUTROS INSTRUMENTOS DE DIVULGAÇÃO

Entre os instrumentos adotados para disseminar as conclusões de uma avaliação nacional, estão conferências, workshops, seminários, newslet-ters e encartes dedicados a grupos específicos de interessados (por exem-plo, autoridades do ministério ou professores).

Conferências, workshops e seminários oferecem mecanismos para comunicar a disponibilização dos resultados da avaliação aos principais interessados de várias formas. Eles geram a oportunidade de obter con-senso sobre o significado das conclusões principais e sobre os passos que precisam ser tomados para sanar problemas eventualmente identifica-dos. Esses métodos são bastante apropriados para informar os seguintes grupos:

Os desenvolvedores de currículo, que podem encontrar informações ��em uma avaliação nacional que identifique pontos fracos no aprovei-tamento dos alunos com implicações para a revisão curricularOs escritores de livros didáticos, como é o caso dos desenvolvedores ��de currículo, talvez precisem revisar os livros didáticos e materiais de apoio (por exemplo, manuais do professor) em face de evidências sobre o aproveitamento dos alunos reveladas na avaliação nacional.


Os treinadores de professores (em cursos de qualificação e cursos ��durante o trabalho), que podem usar as conclusões da avaliação na-cional para identificar pontos fracos na preparação de professores ou nas práticas pedagógicas dos professores.

CONCLUSÃO

Vários países adotam uma variedade de abordagens para disseminar as conclusões de uma avaliação nacional. Na Colômbia, por exemplo, os resultados foram divulgados através da mídia de massa e foi organizado um programa de workshops locais e nacionais para discutir os resul-tados e suas implicações. Em um seminário nacional, foram discutidas estratégias para aprimorar a qualidade educacional e os administradores locais e professores receberam informações sobre os resultados nacionais e regionais, publicadas em newsletters e encartes. Na Irlanda, a ampla cobertura de uma avaliação foi realizada por meio de um relatório geral, um relatório sumário (direcionado primordialmente aos professores) e um comunicado de imprensa. Os resultados também foram divulgados no rádio, na televisão e nos jornais, e o Ministério da Educação e o órgão responsável pela implementação da avaliação nacional organizaram, em conjunto, um seminário nacional (Centro de Pesquisas Educacionais) do qual participaram administradores, professores e acadêmicos.

Muitas autoridades da avaliação nacional não comunicam adequada-mente as conclusões da avaliação à variedade de indivíduos e entidades que têm interesse em saber mais sobre o aprendizado dos alunos nas escolas. Essa deficiência impõe sérias limitações à utilização das conclu-sões. Há várias razões que explicam essa situação, como a falta de in-teresse por parte dos funcionários seniores do ministério, a falta de de-senvolvimento de uma infraestrutura que envolva as atividades de ava-liação nacional, a falta de valorização do papel que uma variedade de interessados pode desempenhar em resposta às conclusões de uma ava-liação nacional e a falta de recursos para produzir relatórios e explorar canais de informação direcionados para as necessidades dos usuários em potencial.


À medida que os sistemas de avaliação nacional amadurecem, serão feitas várias exigências sobre os recursos limitados disponíveis para uma avaliação. Essas exigências estarão relacionadas com a frequência da ava-liação, a melhoria da qualidade técnica das avaliações, o aperfeiçoamen-to das habilidades dos encarregados pela realização das avaliações e o aprimoramento da capacidade dos formuladores de políticas e gestores educacionais de absorver e usar as informações obtidas em uma avalia-ção. Numa situação desse tipo, é preciso fazer escolhas difíceis sobre a alocação ótima de recursos. Ao se fazerem essas escolhas, recomenda-se não negligenciar a importância dos procedimentos para otimizar o uso mediante a comunicação das conclusões de maneira adequada para os interessados.

C A P Í T U L O

4 COMO CONVERTER

AS CONCLUSÕES

DA AVALIAÇÃO EM

POLÍTICAS E AÇÃO

Embora o principal objetivo de um sistema de avaliação nacional seja descrever o aprendiza-do dos alunos, seu papel não fica restrito à

formulação de tal descrição. A fim de justificar o esforço e as despesas envolvidos, as informações fornecidas por uma avaliação sobre o apro-veitamento dos alunos, seus pontos fortes e fracos e como eles estão distribuídos na população (por exemplo, por gênero ou localização) são úteis para a formulação de políticas e a tomada de decisões (relaciona-das, por exemplo, com a distribuição de recursos). Uma avaliação nacio-nal também é concebida para fornecer informações aos desenvolvedores de currículo, escritores de livros didáticos, treinadores de professores e o público em geral. Sob tal ponto de vista, uma avaliação deve fornecer mais do que informações; após a comunicação de seus resultados, ela deve tornar-se uma alavanca para a promoção de reformas.

Este capítulo apresenta cinco temas relevantes ao se considerar como as informações fornecidas pela avaliação podem ser convertidas em polí-tica e ação: (a) capacidade institucional de absorver as informações e uti-lizá-las, (b) confiabilidade e relevância das informações fornecidas pela avaliação, (c) procedimentos para identificar políticas ou ações apro-priadas após uma avaliação, (d) determinação de uma intervenção que


abranja todo o sistema, ou seja direcionada a um ponto específico e (e) complexidade da formação de políticas e tomada de decisões. O enfo-que recai primordialmente em arranjos institucionais no sistema educa-cional. Capítulos posteriores abordam usos mais específicos da avaliação nacional para a gestão educacional e de políticas (Capítulo 5) e para o ensino (Capítulo 6).

CAPACIDADE INSTITUCIONAL PARA ABSORVER E UTILIZAR

AS INFORMAÇÕES

Várias condições relacionadas com a capacidade institucional devem ser atendidas caso se pretenda que as conclusões de uma avaliação nacio-nal sejam utilizadas da modo mais eficaz (Kellaghan e Greaney, 2004; Postlethwaite, 1987; Vegas e Petrow, 2008). Em primeiro lugar, é de especial importância que os formuladores de políticas tenham vontade política, estejam abertos para receber novas informações e dispostos a considerar mudanças ou reformas. Segundo, os formuladores de polí-ticas e responsáveis pela decisão no Ministério da Educação devem ter a capacidade (conhecimento e habilidades) para interpretar e usar as informações fornecidas por uma avaliação nacional. É necessário um in-vestimento considerável para desenvolver tal capacidade, principalmen-te em países em que a prática da avaliação nacional é nova. Terceiro, uma avaliação nacional não deve ser vista como uma atividade isolada. Ao contrário, deve ser integrada a estruturas, processos de formulação de políticas e tomada de decisões, além de canais de distribuição de re-cursos já existentes.

Quarto, cabe à equipe de avaliação nacional assegurar que os sistemas e as estratégias estejam organizados para comunicar as conclusões a ins-tituições e agentes com o papel de implementar políticas (por exemplo, estruturas de administração local, supervisores, inspetores e orientado-res; autoridades de desenvolvimento curricular; escolas e professores). Quinto, após as capacidades terem sido desenvolvidas, deve-se assegurar que os funcionários continuem a organizar e realizar avaliações, bem como interpretar conclusões. A rotatividade de funcionários e especia-


listas técnicos – comum em muitos países em desenvolvimento – terá impacto negativo na capacidade. Para concluir, é necessário contar com o apoio e o comprometimento de todos os interessados. Logo, o pro-pósito, as conclusões e as implicações da avaliação nacional devem ser comunicados com clareza e deve-se tentar solucionar as preocupações dos interessados que, eventualmente, se sintam ameaçados pelas políti-cas ou decisões.

CONFIABILIDADE E RELEVÂNCIA DAS INFORMAÇÕES

FORNECIDAS POR UMA AVALIAÇÃO

Antes de considerar quais decisões podem basear-se nas conclusões de uma avaliação nacional, os responsáveis devem assegurar-se de que as informações fornecidas sejam confiáveis e realistas. Essa conclusão será verificada (a) se a equipe da avaliação nacional for tecnicamente competente, (b) se o conhecimento e as habilidades dos alunos estão adequadamente representados no instrumento de avaliação, (c) se os procedimentos adequados foram seguidos na coleta e análise de dados e (d) se o aprendizado dos alunos foi descrito com detalhamento suficien-te e levando em conta as necessidades e o conhecimento técnico dos usuários (Capítulo 1; ver também Postlethwaite, 2004a: Capítulo 5).

Os formuladores de políticas e gestores necessitam de informações que vão ao encontro das questões relevantes para eles e que funcionem como plataforma para formação, planejamento e tomada de decisão so-bre políticas. Há vários exemplos de avaliações nacionais que não aten-deram a esse requisito. Por exemplo, se o teste utilizado em uma avalia-ção é excessivamente difícil e não faz distinções nos níveis mais baixos de aproveitamento, a avaliação não fornecerá as informações necessárias para um funcionário sênior do Ministério tomar decisões relacionadas com a distribuição de recursos para alunos com baixo aproveitamento. Resultados de avaliação que apresentem apenas pontuações médias ou uma classificação das regiões geográficas com base nessas pontuações, sem realizar uma análise do aproveitamento que as pontuações repre-sentam, não fornecerão informações em detalhes suficientes para os de-


senvolvedores de currículo e treinadores de professores. Para concluir, relatórios de avaliação que levam de três a quatro anos para ser comple-tados têm poucas chances de atrair grande interesse dos formuladores de políticas, porque as conclusões podem não ser mais relevantes para os problemas ou funcionários que solicitaram a avaliação.

PROCEDIMENTOS PARA IDENTIFICAR POLÍTICAS OU AÇÕES

ADEQUADAS APÓS UMA AVALIAÇÃO

Em alguns casos, as conclusões de uma avaliação nacional apontarão diretamente para as ações necessárias, a fim de solucionar um pro-blema que tenha sido identificado. Com frequência, porém, a ação necessária não será óbvia. A avaliação identifica problemas, mas as informações por ela fornecidas não gerarão uma solução nem selecio-narão possíveis providências a serem tomadas. Por exemplo, a ava-liação pode fornecer evidências de que os alunos têm um desempe-nho insuficiente em algumas áreas de aproveitamento, ou identificar relações entre aproveitamento e fatores contextuais, indicando que o aproveitamento das meninas é inferior ao aproveitamento dos me-ninos, ou que os alunos em pequenas escolas da área rural não têm desempenho tão bom quanto aqueles que estão em escolas situadas em áreas urbanas. Todavia, a identificação de fatores relacionados com o aproveitamento dos alunos não explica, com clareza, por que os gêneros ou alunos em localidades diferentes deveriam apresen-tar aproveitamentos diferentes. Muitas avaliações nacionais abordam essa questão em certo grau quando coletam dados adicionais sobre as condições em que o aprendizado ocorre. Os resultados das análises guardam relação com o aproveitamento dos alunos e, embora não identifiquem caminhos específicos para a ação, podem levar a uma maior compreensão dos fatores que afetam os resultados e contri-buem para a formação de políticas e decisões (Blalock, 1999).

Além de reconhecer a complexidade de se chegar a decisões após uma avaliação, os formuladores de políticas e responsáveis pelas decisões precisam estar cientes da viabilidade e da relação custo-benefício de ini-


ciativas ou reformas subsequentes. Certamente, deve-se dar prioridade à identificação de insumos que tendem a fazer diferença no aprendizado. Portanto, embora alguns insumos (por exemplo, instalações físicas de alto nível para a escola) possam ser altamente atrativos, talvez não se-jam mais eficazes do que os insumos modestos. O impacto do custo de uma intervenção no orçamento educacional também é uma considera-ção relevante. Apesar de os alunos talvez aprenderem melhor em turmas de tamanho reduzido, o custo de implementação de uma estratégia de turmas pequenas em países em desenvolvimento pode ser alto demais para a opção ser considerada viável (Lockheed e Verspoor, 1991). Este capítulo identifica quatro procedimentos (que não são mutuamente ex-cludentes) segundo os quais as conclusões da avaliação podem desem-penhar papel relevante ao sugerir políticas ou ações adequadas após a realização de uma avaliação.

Discussão das Conclusões

A atividade mais importante que se segue a uma avaliação nacional é o envolvimento dos interessados na discussão e na interpretação das con-clusões, com o objetivo de desmembrar suas implicações, sugerir reações causais e propor abordagens para solucionar os problemas identificados. Uma variedade de fontes de informação e conhecimento especializado e vários dos agentes interessados têm um papel a desempenhar na in-terpretação das conclusões e na busca por soluções. A contribuição dos indivíduos em contato próximo com as operações cotidianas das escolas (professores, inspetores, supervisores ou conselheiros) será de importân-cia especial.

Muitos países organizam seminários e workshops após a realização de uma avaliação nacional para possibilitar que vários pontos de vista possam ser ouvidos. Outras abordagens mais formais para analisar con-clusões (por exemplo, nas deliberações de uma comissão nacional ou na elaboração de estratégia nacional do setor) também são empregadas (ver o Capítulo 5).


Como Permitir que as Conclusões “Esclareçam” o Processo de Elaboração de Políticas

A aplicação das conclusões de outras pesquisas educacionais orientadas para políticas sugere que o impacto das conclusões da avaliação nacional seria conceitual, e não instrumental. Portanto, as conclusões entrariam na arena da elaboração de políticas não por meio da aplicação direta dos resultados, mas na forma de generalizações, orientações e sugestões gerais que “esclarecem” o processo de elaboração de políticas, moldando a forma como as pessoas pensam sobre as questões e agregando conheci-mento ao debate e discussão como um todo (Husén, 1984; Weiss, 1979). Sob esse ponto de vista, a utilização de pesquisas é um processo gradual e difuso, que fornece conceitos e perspectivas teóricas que permeiam o processo de elaboração de políticas, afetando a compreensão de questões educacionais e sugerindo soluções apropriadas para os problemas.

O “esclarecimento” não deve ficar restrito aos formuladores de po-líticas e responsáveis pela decisão. A divulgação dos resultados de uma avaliação nacional pode aumentar a conscientização não apenas entre os formuladores de políticas e gestores, mas também entre os cidadãos em geral. O aumento da conscientização da população, por sua vez, pode atuar para destacar o papel essencial da educação no atendimento de objetivos nacionais e mobilizar a opinião pública para apoiar os efeitos do fortalecimento das provisões.

Embora as vantagens da iluminação sejam óbvias, a utilização das conclusões da pesquisa dessa maneira pode trazer desvantagens. Primei-ro, o processo está aberto a simplificações exageradas e distorções. Se-gundo, pesquisas malfeitas podem atrair tanta atenção quanto uma boa pesquisa. Terceiro, algumas conclusões importantes da pesquisa podem nunca atingir os formuladores de políticas ou responsáveis pela decisão. Embora o uso das conclusões da avaliação nacional para esclarecer os interessados (incluindo o público) em relação às condições do sistema educacional deva ser encorajado, é necessário fazer mais. O Ministério da Educação e outros interessados relevantes devem estudar com cuida-do as conclusões de uma avaliação nacional, a fim de elaborar políticas e ações específicas para lidar com as deficiências identificadas.


Resposta aos Problemas Específicos Identificados em uma Avaliação Nacional

Em algumas avaliações nacionais, a ação necessária para solucionar problemas específicos será óbvia. Por exemplo, caso se constate que as escolas não dispõem de recursos especificados nas regulamentações do ministério (por exemplo, livros didáticos), será necessário tomar provi-dências para que os recursos sejam fornecidos. Caso o conhecimento dos professores sobre as matérias seja insuficiente, cursos durante o trabalho direcionados para os pontos fracos identificados parecem ser a forma mais óbvia de sanar a situação.

Referências a Outras Conclusões de Pesquisas

Levar em conta outras conclusões na pesquisa pode ajudar a fortalecer a base para a extração de conclusões lógicas sobre as relações causais que uma avaliação nacional pode sugerir, fornecendo uma base mais segura para a formação de políticas. Essas conclusões podem surgir de uma infinidade de estudos, incluindo estudos sobre a eficácia da escola e do professor; estudos sobre a influência relativa dos fatores escolares e do-mésticos sobre o aprendizado dos alunos; e estudos sobre os processos de sala de aula, tamanho da turma e efeitos da repetição de série. Quando sugere como as conclusões da avaliação nacional podem ser usadas para aprimorar o ensino e o aprendizado na sala de aula, o Capítulo 6 recorre à literatura sobre pesquisas – em especial, os estudos sobre a eficácia da escola e do professor – para obter orientações.

Recomenda-se cautela na utilização das conclusões da pesquisa para apoiar as inferências derivadas dos dados da avaliação nacional. Os estu-dos podem não ser adequados do ponto de vista técnico ou as conclusões podem não ser relevantes no contexto no qual se realizou a avaliação nacional. Os problemas em potencial serão ampliados caso a pesquisa tenha sido realizada em outros países. Em especial, se os países em ques-tão forem economicamente desenvolvidos, as conclusões podem não ser relevantes para um país em desenvolvimento. Por exemplo, a conclusão


de que turmas pequenas se associam a maior aproveitamento dos alunos tende a basear-se em estudos americanos em que uma turma tinha 20 alunos ou menos (ver, por exemplo, Finn e Achilles, 1990). Turmas com esse número de alunos são raras em países em desenvolvimento.

DETERMINAÇÃO DE UMA INTERVENÇÃO ABRANGENTE

OU DIRECIONADA

Uma distinção importante para se definir a ação a ser tomada é se envol-verá todo o sistema ou se será direcionada a subpopulações ou setores específicos do sistema educacional. A ação que abrange todo o sistema tem por objetivo aprimorar o desempenho de todos os alunos e abrange técnicas aperfeiçoadas, reforma curricular e reforma dos livros didáticos. O treinamento de professores pode ser uma iniciativa que abranja todo o sistema ou apenas direcionada. Outras intervenções direcionadas incluem uma variedade de provisões. Primeiro, uma intervenção pode oferecer re-cursos adicionais aos alunos com necessidades especiais de aprendizado (por exemplo, programas prévios de prevenção ou programas de refor-ço em leitura). Segundo, uma intervenção pode envolver várias ações e políticas, como a remoção ou o alívio de obstáculos pedagógicos ao de-sempenho (por exemplo, falta de materiais de ensino ou professores com desempenho ruim) e entraves econômicos (por exemplo, mensalidades escolares ou mão de obra perdida quando as crianças são matriculadas na escola). Essas ações podem ser projetadas para afetar diretamente o de-sempenho de alunos em subgrupos da população, como alunos de origem socioeconômica mais baixa, crianças desalojadas por conta de tumultos civis, órfãos, minorias linguísticas, alunos em pequenas escolas da área rural ou meninas (em algumas sociedades). Terceiro, uma intervenção pode ser projetada para afetar indiretamente o desempenho cognitivo dos alunos (por exemplo, programas de envolvimento dos pais ou programas nutricionais e de refeições na escola) (ver Willms, 2006; Banco Mundial, 2004). As intervenções direcionadas requerem que as escolas desenvol-vam e apresentem um plano que descreva como elas se propõem a usar os recursos adicionais no aprimoramento do aprendizado dos alunos.


COMPLEXIDADE DA FORMAÇÃO DE POLÍTICAS

E TOMADA DE DECISÃO

O Capítulo 1 expôs que uma série de fatores políticos pode desem-penhar papel relevante na determinação do formato de uma avalia-ção nacional. Este capítulo aborda a complexidade da elaboração de políticas e tomada de decisão que se seguem a uma avaliação obser-vada no ambiente político delineado no Capítulo 1. A elaboração de políticas não é um processo linear simples por meio do qual se identifica um problema, consideram-se soluções possíveis e criam-se estratégias de implementação. Em vez disso, ela envolve atividades políticas complexas, incluindo negociação, acordos e respostas a pres-sões e lobbies de uma variedade de fontes que devem encaixar-se nos padrões de crenças e sistemas de valores preexistentes (ver Blalock, 1999). Ao chegar a uma decisão, um formulador de políticas pode considerar que os resultados de uma avaliação têm valor, mas tam-bém precisa levar em conta vários elementos de ordem política e de outros tipos nos níveis nacional e local. Entre essas considerações, temos opiniões políticas (posicionamentos ideológicos ou preocupa-ção com a resposta dos eleitores e elegibilidade), disponibilidade de recursos financeiros, opiniões e interesses de pessoas e grupos, visões tradicionais e tendências atuais.

A relação entre avaliação nacional e fatores políticos tem aspectos positivos. Por exemplo, forças políticas podem às vezes ser mobilizadas para apoiar a utilização das conclusões da avaliação. Destaca-se que o apoio para a elaboração de políticas e a tomada de decisões com base nas conclusões de uma avaliação será fortalecido se os principais inte-ressados tiverem mantido seu envolvimento na avaliação desde o estágio inicial do projeto. Certamente, em todos os estágios, os interessados de-vem manter-se informados sobre os aspectos relevantes da formulação de políticas e da tomada de decisão para garantir que compreendam a necessidade e as razões fundamentais para a reforma. A representação dos interesses de agentes relevantes em uma comissão de coordenação encarregada de supervisionar a implementação da avaliação nacional pode alcançar tal objetivo (ver Greaney e Kellaghan, 2008, Volume 1


desta série). Os formuladores de políticas, ao buscarem convocar apoio para promover reformas, também precisam invocar os princípios ampla-mente aceitos em toda a comunidade, como a oferta de oportunidades iguais para todos os alunos, a importância de assegurar que a qualidade do aprendizado dos alunos justifique os gastos envolvidos e a necessida-de de construir uma plataforma sólida para o desenvolvimento tanto dos alunos quanto da economia nacional.

A conexão próxima entre uma avaliação nacional e a arena política, embora invoque a perspectiva de aprimorar a formulação de políticas e tomada de decisões, não deixa de oferecer riscos. Se uma avaliação torna-se emaranhada no conflito político, é pouco provável que desem-penhe papel de destaque no aprimoramento do aprendizado dos alunos. Na Argentina, refletindo tensões entre as autoridades centrais e das pro-víncias quanto às suas esferas de influência, as informações provenientes das avaliações foram usadas primordialmente para legitimar as políticas e reformas nacionais e regulamentar as autoridades das províncias, em vez de, por exemplo, elaborar políticas compensatórias (Benveniste, 2002; Gvirtz e Larripa, 2004). Uma situação semelhante surgiu na República Árabe do Egito, onde os diretores de educação locais se recusaram a cooperar em uma avaliação projetada nacionalmente porque percebe-ram que ela refletia interesses ocultos para aumentar o controle por par-te do governo central (Carroll, 1996).

A situação no Uruguai foi diferente, mas também envolveu um con-flito entre interessados poderosos. Receosos de que os resultados da ava-liação nacional fossem usados para atribuir responsabilidade aos profes-sores, os sindicatos de professores se recusaram a cooperar até que fosse firmado um acordo no qual os relatórios sobre o desempenho da escola não seriam publicados, que a influência do contexto de origem do aluno sobre o aproveitamento receberia o devido reconhecimento e que os professores não seriam responsabilizados diretamente pelo desempenho dos alunos (Benveniste, 2002; Ravela, 2005). Esse conflito foi resolvido por meio de negociação. Os resultados não foram usados para atribuir responsabilidade aos professores, e o Uruguai apresenta um dos exem-plos mais interessantes de utilização das conclusões da avaliação nacio-nal para aprimorar o aprendizado escolar (ver Capítulo 6).


CONCLUSÃO

A descrição contida neste capítulo sobre a conversão das conclusões em políticas e ações após a realização de uma avaliação nacional identificou duas questões principais. A primeira relaciona-se com a complexidade da formulação de políticas e tomada de decisão, a capacidade institucio-nal de absorver e aplicar as informações e a necessidade de compreender uma infinidade de interesses individuais no processo. A segunda ques-tão importante relaciona-se com as evidências usadas para interpretar as conclusões de uma avaliação e chegar a um consenso sobre as maneiras mais apropriadas de agir em relação à elaboração de políticas ou inter-venções que visem solucionar os problemas identificados na avaliação, com o intuito de melhorar o aprendizado escolar.

É possível argumentar que a base para a tomada de decisão seria for-talecida se as estratégias para melhorar o aprendizado escolar sugeridas pelas conclusões de uma avaliação nacional fossem avaliadas em um es-tudo experimental ou quase experimental (ver Capítulo 8). Por vários motivos, entretanto, incluindo restrições de tempo, custo e disponibili-dade de pessoas com as habilidades técnicas necessárias, esse curso de ação é improvável. Na maioria dos casos, os formuladores de políticas e responsáveis pela decisão irão, na melhor das hipóteses, confiar na disseminação de conclusões para promover conceitualização e maior entendimento de assuntos, discussão de conclusões por interessados e consideração de pesquisas relevantes, embora as pesquisas talvez não tenham se originado no país no qual a avaliação foi realizada.

C A P Í T U L O

5 CONCLUSÕES DA

AVALIAÇÃO NACIONAL,

POLÍTICAS E GESTÃO

EDUCACIONAL

Os formuladores de políticas, uma categoria que inclui políticos, administradores edu-cacionais e gestores como altos funcioná-

rios do Ministério da Educação, são o público principal dos resultados da avaliação nacional. Mesmo quando os resultados têm implicação no trabalho de outros interessados (por exemplo, desenvolvedores de currículo, treinadores de professores ou professores de sala de aula), as autoridades do Ministério provavelmente terão um papel a desem-penhar na formulação de políticas, na emissão de informações ou di-retivas ou no fornecimento de recursos. Este capítulo apresenta aos formuladores de política e responsáveis pela decisão uma variedade de usos possíveis e atuais das conclusões nas deliberações sobre política e gestão educacional.

Quatro desses usos relacionam-se com o fornecimento de informa-ções sobre a situação da educação e, em especial, sobre o aproveita-mento dos alunos: (a) descrição do aproveitamento, (b) descrição dos recursos, (c) monitoramento do aproveitamento e (d) revisão do sistema educacional. Outros cinco usos relacionam-se com o emprego das infor-mações para sanar deficiências identificadas na avaliação: (e) formulação de políticas gerais e contribuição para a tomada de decisão em conjunto


com outras informações, (f) definição de padrões, (g) fornecimento de recursos adicionais para escolas (que abranjam todo o sistema ou sejam direcionados), (h) apoio para a revisão curricular e (i) revisão de livros didáticos.

DESCRIÇÃO DO APROVEITAMENTO

O objetivo básico de uma avaliação nacional é fornecer informações so-bre o aproveitamento dos alunos – principalmente em termos de suas deficiências –, o que consiste em pré-requisito para uma intervenção (Aguerrondo, 1992). Além disso, essas informações tendem a ser ex-clusivas porque não estarão disponíveis em outras fontes. Embora os ministérios da Educação coletem, com frequência, informações sobre os insumos do sistema educacional (por exemplo, números de alunos, instalações físicas, materiais curriculares, proporção de professores para alunos), uma avaliação nacional fornece informações sobre os produtos do investimento educacional representado pelos insumos. Os formula-dores de políticas que leram o relatório das conclusões de uma avalia-ção nacional, como a que foi citada no Capítulo 2, terão um panorama do aprendizado dos alunos que, mesmo que não esteja relacionado, de maneira explícita, com as expectativas, convidará ao julgamento sobre a adequação do aproveitamento desses alunos. Eles também provavel-mente obtêm informações sobre áreas específicas de aproveitamento com as quais os alunos têm dificuldades, além de dados sobre o aprovei-tamento de subgrupos da população.

Um relatório de avaliação nacional costuma conter informações sobre aproveitamento na forma de pontuações médias. As pontuações médias em si, entretanto, oferecem apenas informações limitadas para a tomada de decisão. Descrições mais significativas do aproveitamento, na forma de níveis de proficiência (o que os alunos sabem e conseguem fazer), como as apresentadas no Capítulo 2, constituem uma base bem funda-mentada para a tomada de decisões e ação.


Também é possível obter informações úteis quando a variância no aproveitamento é particionada nos componentes entre escolas e dentro da escola (ver Capítulo 2). Grandes diferenças entre escolas às vezes são interpretadas como um indicador de disparidade nas oportunidades de aprendizado no sistema educacional. No entanto, os formuladores de políticas devem tratar essa interpretação com certa cautela, porque ela não leva em conta as diferenças entre as escolas nos fatores sobre os quais a instituição acadêmica tenha pouco controle (as características dos alunos quando se matriculam e os efeitos continuados dessas carac-terísticas no trabalho da instituição).

As diferenças entre escolas em termos de aproveitamento podem ainda merecer a atenção dos formuladores de políticas porque po-dem oferecer orientações sobre a intervenção. Quando as diferenças entre escolas em uma região são relativamente reduzidas, e se os re-cursos financeiros são limitados, a intervenção em algumas e não em outras provavelmente não seria justificada. Em vez disso, direcionar a atenção para escolas de baixo desempenho talvez seja uma ação justificada em regiões que apresentam diferença significativa entre as instituições acadêmicas.

DESCRIÇÃO DE RECURSOS

Uma avaliação nacional com frequência coleta informações sobre os recursos disponíveis nas escolas. Por exemplo, a avaliação nacional da Índia, em 2000, revelou que mais de 90% das escolas tinham uma cam-painha escolar, um quadro-negro, giz e um apagador; quase três quartos tinham água potável, mas menos de 40% tinham banheiros exclusivos para as meninas (Singh et al., n.d.).

Várias avaliações nacionais na África fornecem evidências de falta de recursos. No Quênia, por exemplo, muitas escolas tinham um número inadequado de carteiras escolares e livros didáticos (Nzomo, Kariuki e Guantai, 2001). Além disso, os programas de rádio para as escolas não atingiam o mínimo de um terço dos alunos, que não tinham acesso a


rádios (Tabela 5.1). Em Zanzibar, uma avaliação destacou séria escassez de móveis de sala de aula (por exemplo, carteiras e quadros de giz) e suprimentos (por exemplo, livros didáticos e lápis) (Nassor e Moham-med, 1998). Na Nigéria, poucas escolas tinham mapas (13%), gráficos ou cartazes impressos (15%) ou equipamentos esportivos (5%). As res-postas dos professores aos itens do questionário também apontaram para a presença de altos índices de apreensão quanto à falta de materiais de ensino, bem como pouca consideração com os professores, condições precárias de atendimento e pagamento irregular dos salários (Ministério da Educação da Nigéria, 2000).

No Malawi, o acompanhamento das mudanças no fornecimento de recursos de sala de aula entre 1998 e 2002 revelou que houve progresso em relação a todos os materiais (Tabela 5.2). No Zimbábue, uma análise realizada em 1990 mostrou que as escolas em Matabeleland Sul tinham menos recursos do que aquelas situadas em outras regiões do país. Um estudo posterior, realizado em 1995, constatou que não houve melhora (Postlethwaite, 2004b).

TABELA 5.1

Percentuais de Escolas que Possuem Materiais Escolares Básicos: Quênia

Equipamento Percentual Erro-padrão

Computador 1,2 0,77

Mimeógrafo 19,9 3,11

Aparelho de fax 0,5 0,35

Projetor de fi lmes 0,4 0,27

Retroprojetor 0,3 0,30

Fotocopiadora 1,1 0,70

Rádio 66,4 4,31

Gravador 10,9 2,38

Televisão 3,2 1,74

Máquina de escrever 27,5 3,70

Aparelho de videocassete 1,3 0,77

Fonte: Baseado no trabalho de Nzomo, Kariuki e Guantai, 2001: Tabela 3.1.4.


TABELA 5.2

Percentuais de Escolas que Possuem Materiais Escolares, 1990-2002: Malawi

Equipamento SACMEQ I SACMEQ II

Giz 95,2 96,4

Biblioteca em sala de aula 13,3 20,4

Armário 17,8 51,2

Uma ou mais prateleiras 14,7 17,6

Cadeira do professor 42,3 50,5

Mesa do professor 40,7 47,7

Quadro para escrever em condições de uso

84,8 94,5

Cartaz de parede 56,6 58,2

Fonte: Postlethwaite 2004b. Reproduzido mediante permissão, EFA Global Monitoring, UNESCO.Observação: O Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação (SACMEQ) é uma organização internacional sem fi ns lucrativos que compreende 15 ministérios da educação na África Austral e Oriental. Eles trabalham em cooperação para compartilhar experiências e conhecimento no desenvolvimento das competências dos responsáveis pelo planejamento educacio-nal, a fi m de aplicar métodos científi cos para monitorar e avaliar as condições de ensino e qualidade da educação. O SACMEQ realizou dois grandes projetos de pesquisa em política educacional (SACMEQ I e SACMEQ II).

MONITORAMENTO DO APROVEITAMENTO

Se houver dados disponíveis das avaliações realizadas em épocas dife-rentes, é possível identificar as tendências no aproveitamento (se ele melhora, permanece o mesmo ou se deteriora) (ver Capítulo 2). Essas informações têm sido usadas em algumas ocasiões para monitorar os efeitos das mudanças no sistema educacional sobre o aproveitamento dos alunos (por exemplo, mudanças no idioma de instrução ou aumento do tamanho da turma). Nos Estados Unidos, os dados da avaliação na-cional (a Avaliação Nacional do Progresso em Educação, ou NAEP) têm sido usados para monitorar o grande projeto de reforma educacional, conhecido como “No Child Left Behind”. Além do monitoramento da NAEP, exige-se que cada estado monitore o progresso de todos os alu-nos da 3a à 8a séries, por intermédio de seus próprios testes de leitura, matemática e ciências. Muitos estados relataram melhorias significativas ao longo dos anos; contudo, os resultados da NAEP não refletiram essa melhoria. O avanço registrado de 2003 a 2005, principalmente na 8a sé-


rie, foi muito maior nas provas estaduais do que na prova da NAEP. Em Maryland, por exemplo, os alunos da 8a série que exibiram melhoria de 12 pontos percentuais em matemática na prova estadual não apresenta-ram melhora na prova do NAEP (de Vise, 2005). A diferença pareceu decorrer da importância atribuída às provas estaduais, que tinham san-ções vinculadas a elas. Consequentemente, os professores direcionavam seu ensino para o conteúdo da prova estadual, gerando aumento subse-quente nas pontuações das provas sem uma melhoria concomitante nas habilidades em que o teste originalmente fora desenhado para mensurar (ver Madaus e Kellaghan, 1992).

No Uruguai, foram registradas melhorias consideráveis no desempe-nho de alunos da 6a série entre 1996 e 2002 na avaliação nacional. Além disso, a melhoria foi bastante clara entre alunos em escolas “em grande desvantagem”, em que o percentual que chegou a um nível “aceitável” na prova aumentou de 37,1 para 54,8. Esse aumento é maior que aquele verificado no mesmo período nas escolas, nos contextos sociais descritos como “muito favoráveis”, que foi de 57,1 para 66,5% (Ravela, 2006).

Em alguns sistemas educacionais, realiza-se anualmente uma avalia-ção nacional na mesma área de currículo e com a mesma população. Se o objetivo é apenas monitorar os padrões, esse procedimento seria desnecessário, além de muito caro. A maioria dos países industrializa-dos que monitoram os níveis de aproveitamento o faz com frequência menor. Nos Estados Unidos, por exemplo, onde os recursos financeiros e técnicos têm menor probabilidade de representar um problema do que nos países em desenvolvimento, a NAEP de matemática e leitura é realizada a cada dois anos.

Uma consulta aos resultados das avaliações nacionais que vêm sendo realizadas há várias décadas indica que grandes mudanças nos aprovei-tamentos dos alunos em um sistema educacional não ocorrem em um curto período, mesmo quando foram feitos esforços para solucionar os problemas identificados em uma avaliação. Dada essa situação, um inter-valo de quatro a cinco anos parece sensato. De fato, se as avaliações na-cionais aplicadas durante um intervalo de tempo curto relatassem gran-des mudanças, a equivalência das provas e dos procedimentos adotados nas avaliações estaria sujeita a questionamento. Além disso, em muitos


países, a principal fonte de mudança no desempenho ao longo do tempo são as mudanças em quem está frequentando a escola. Taxas crescentes de participação criam problemas de comparabilidade que exigem análise criteriosa. Este e outros problemas ao se mensurar a mudança no desem-penho ao longo do tempo podem surgir devido a mudanças no currículo, no idioma e nas expectativas, bem como em questões técnicas, como quando os pressupostos dos modelos de métricas (principalmente, a mo-delagem na teoria de resposta ao item) não são atendidos ou quando as pontuações dos alunos regridem para a média (Goldstein, 1983).

REVISÃO DO SISTEMA EDUCACIONAL

Em muitos países, as conclusões de uma avaliação nacional (ou regional) têm sido mencionadas em revisões de política e provisão educacional ou têm sido usadas para apoiar iniciativas importantes de reforma (ver Tabela 5.3).

A República Dominicana oferece um bom exemplo da utilização dos resultados da avaliação nacional em uma revisão abrangente do sistema educacional, que foi seguida por uma série de estratégias ambiciosas para melhorar a qualidade da educação (Quadro 5.1). A revisão forneceu a principal contribuição para as reuniões das equipes regionais de autori-dades e membros das comunidades e redes de escolas que esmiuçavam as razões para o desempenho inexpressivo e propuseram estratégias para solucioná-las.

FORMULAÇÃO DE POLÍTICAS GERAIS E ACOMPANHAMENTO

NA TOMADA DE DECISÃO

Evidências objetivas válidas sobre a condição da educação, que podem ser fornecidas por uma avaliação nacional projetada e implementada com eficácia, devem servir para introduzir um componente objetivo nas decisões e ajudar a assegurar a conscientização sobre as evidências em-píricas, juntamente com predisposições pessoais, interesses indivi duais, evidências não científicas e outras formas de “sabedoria acumulada”


(ver Quadro 5.2). Além disso, as evidências concretas e convincentes de uma avaliação podem ajudar a destacar problemas no sistema educa-cional relacionados com acesso, qualidade, eficiência ou equidade que, de outra forma, não seriam percebidos – ou, de outra forma, não seriam atendidos. Apesar disso, as informações derivadas de uma avaliação na-cional não identificarão políticas ou caminhos prontos para o formu-lador de política ou outro usuário em potencial. Um motivo, como já

TABELA 5.3

Países que Usaram os Resultados da Avaliação Nacional na Revisão do Sistema Educacional

País Exemplos de alguns usos

Argentina Instituiu um programa de inspeção escolar

Bolívia Correlacionou os dados da avaliação com um programa de nutrição infantil

Burkina Faso Forneceu informações para análise do país

Cuba Fortaleceu os programas de apoio à pré-escola e primeira infância

Quênia Conduziu as referências para o fornecimento de instalações físicas

Kuwait Forneceu apoio para a política de introdução de bibliotecas nas salas de aula

Malawi Forneceu informações para o programa de reformas

República de Maurício

Utilizou os dados para apoiar um estudo nacional do setor

Namíbia Utilizado pela comunidade nacional

Nepal Apoiou o principal programa de reforma do governo

Nigéria Forneceu informações para análise nacional

Sri Lanka Forneceu informações para a estratégia nacional de educação

Uganda Utilizado para preparar um programa de reforma educacional

Uruguai Usado para apoiar uma política de expansão do programa de equidade para escolas em tempo integral

Vietnã Usado para estabelecer referenciais para o fornecimento de recursos (carteiras por aluno, livros por aluno)

Zanzibar (Tanzânia) Usado na revisão de políticas, padrões e referências educacionais

Zimbábue Usado na revisão feita pela comissão

Fontes: Compilação dos autores baseada em Arregui e McLauchlan, 2005; Bernard e Michaelowa, 2006; Ferrer, 2006; Ministério da Educação do Kuwait, 2008; Murimba, 2005; Nzomo e Makuwa, 2006; Ravela, 2002.


apontado, é que uma avaliação nacional fornece apenas informações a serem consideradas no contexto de uma variedade de outros fatores, incluindo a disponibilidade de recursos (humanos e materiais) e os inte-resses pessoais dos interessados.

QUADRO 5.1

Utilização dos Resultados da Avaliação para Promoção de Reformas: República Dominicana

Em março de 2005, autoridades da República Dominicana de cada uma das 17 regiões do país se reuniram para discutir os resultados dos alunos de sua área obtidos nas provas nacionais mais recentes realizadas no final do nível básico (8a série) e do nível secundário ou bachillerato (12a série), além dos resultados obtidos pelos alunos na conclusão da 4a série. As autoridades examinaram as médias nacionais nas várias disciplinas curriculares e temas ou áreas de estudo, além da diferença entre os resultados de sua região e de outras regiões, e de ambas com a média nacional. Elas analisaram as diferenças entre escolas particulares, públicas e financiadas pelo governo e administradas pela iniciativa privada. Embora não houvesse padrões para comparar o desempenho, algumas definições sobre quais competências ou habilidades ou que conteúdos foram avaliados foram oferecidas aos administradores regionais e diretores de escola.

Essa foi uma das principais contribuições de um processo recém-iniciado de planejamen-to estratégico do sistema, no qual 17 equipes regionais e 101 equipes distritais, forma-das por autoridades e membros de destaque da comunidade, revisaram, em conjunto, seus principais pontos fortes e pontos fracos visando gerenciar um processo de mudança voltado para melhoria da qualidade. Agora, as equipes estão elaborando planos de de-senvolvimento educacional em nível distrital e regional, tendo por principal objetivo a melhoria no aprendizado. Alguns distritos se mobilizaram em um curto período de tempo para estabelecer redes de escolas, cujos colaboradores reúnem-se periodicamente para analisar os resultados das provas nacionais de sua região e para refletir sobre as possíveis causas do desempenho insatisfatório. Embora não existam evidências irrefutáveis sobre o impacto de vários fatores determinantes, algumas decisões foram tomadas rapidamente em nível distrital, a partir do melhor conhecimento disponível baseado em experiência. Um desses exemplos é a decisão de compartilhar os poucos professores qualificados de ciências disponíveis entre várias escolas da rede. Outro é o estabelecimento de redes de professores para discutir desafios encontrados nos esforços para melhorar a capacida -de de compreensão do aprendizado.

Embora seja cedo para afirmar se esses planos de melhoria regionais e distritais baseados em informações geradas pelas avaliações terão impacto duradouro, está claro para as au-toridades que a organização dessas reuniões gerou uma mobilização muito maior do que a estratégia anterior de enviar relatórios às escolas e aos alunos em todo o país.

Fonte: Arregui e McLauchlan 2005: 32–33. Reproduzido mediante permissão.


Existe uma variação considerável nos relatórios de avaliação nacional quanto ao grau em que eles extraem implicações a partir dos dados da avaliação e fazem recomendações para ação ou deixam essas atividades a cargo dos usuários. Alguns relatórios vão muito além do que parece ser justificado pelas conclusões da avaliação em suas recomendações (por exemplo, ao especificar os detalhes de uma intervenção para alunos em escolas da área rural ou ao sugerir abordagens para o ensino de leitura ou matemática). Se essas recomendações fossem feitas, deveriam contar com o apoio de outras evidências fornecidas pela pesquisa.

É possível que os formuladores de políticas e altos funcionários do Ministério da Educação precisem de auxílio para interpretar as conclu-sões de uma avaliação nacional. Um dos principais objetivos do Con-sórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação foi, na verdade, promover o desenvolvimento de compe-tências ao ensinar aos responsáveis pelo planejamento educacional dos países-membros a habilidade técnica de monitorar e avaliar o ensino e a qualidade da educação. Um aspecto específico dessa abordagem foi o treinamento do “aprender fazendo”, dado aos responsáveis pelo plane-

QUADRO 5.2

Mitos sobre a Educação nos Estados Unidos

Uma avaliação nacional pode ajudar a desfazer mitos como os seguintes:

1. O aproveitamento em leitura nos Estados Unidos caiu nos últimos 25 anos.

2. Quarenta por cento das crianças americanas não conseguem ler em nível básico.

3. Vinte por cento das crianças americanas são disléxicas.

4. Crianças da geração pós-Segunda Guerra liam melhor do que os alunos de hoje.

5. Os alunos nos Estados Unidos estão entre os piores leitores do mundo.

6. O número de bons leitores vem caindo.

7. As pontuações de provas da Califórnia tiveram uma queda drástica por causa do método de ensino da linguagem total.

Fonte: McQuillan 1998.


jamento, que o consórcio tentou envolver diretamente na condução dos estudos (SACMEQ, 2007). O Instituto do Banco Mundial implementou um programa semelhante de desenvolvimento de competências na Áfri-ca e Sul da Ásia.

Embora várias evidências indiquem que as avaliações nacionais con-tribuíram para deliberações sobre a política e a reforma educacionais, as evidências objetivas independentes que revelam os resultados da avaliação afetaram a política na prática são limitadas. Uma exceção foi encontrada no Chile, onde os resultados da avaliação nacional foram fundamentais em 1997 para convencer o Congresso Nacional, diante da constatação de que 40% dos alunos não compreendiam o que liam, que eram necessárias mudanças profundas na educação (Schiefelbein e Schiefelbein, 2000). Posteriormente, as conclusões da avaliação nacio-nal desempenharam papel relevante em várias decisões sobre políticas, incluindo as seguintes (Meckes e Carrasco, 2006):

Direcionar apoio técnico e econômico do governo nacional para as ��populações em maior situação de desvantagem (conforme foram de-finidas em função dos resultados do aprendizado), a fim de fornecer um programa de nutrição na escola e outros tipos de assistência aos alunos pobres (um programa que corresponde a 5% do orçamento geral de educação pública)Definir os critérios para intervenções direcionadas, realizadas pelo ��Ministério da EducaçãoDesenvolver programas para melhorar a qualidade e a equidade edu-��cacionalDefinir incentivos e objetivos de melhoria��Avaliar políticas e programas específicos��Fornecer dados para fins de pesquisa educacional.��

DEFINIÇÃO DE PADRÕES

Em anos recentes, os formuladores de políticas educacionais e as auto-ridades curriculares em muitos países têm enfatizado cada vez mais a


definição de padrões e a especificação do que os alunos devem ser ca-pazes de fazer ao concluírem o número de estágios de sua escolaridade formal. Os resultados da avaliação nacional podem auxiliar na tarefa ao operacionalizarem padrões ou metas de aproveitamento nas principais áreas de conteúdo e ao fornecerem indicadores de base para monitorar o progresso ao longo do tempo. O governo da Romênia, por exemplo, estimulado, em parte, pelas conclusões insatisfatórias de sua avaliação nacional da 4a série, usou os resultados a fim de fornecer informações básicas para o monitoramento de níveis futuros de aproveitamento (Be-thell e Mihail, 2005). Também utilizou os resultados insatisfatórios dos alunos da área rural como justificativa para o desenvolvimento de seu Projeto de Educação Rural apoiado pelo Banco Mundial.

Os formuladores de políticas, agências doadoras e outros agentes devem abordar o estabelecimento de padrões com certa cautela e, em especial, definir metas realistas para as taxas desejadas de melhoria. No Peru, alguns formuladores de políticas sugeriram uma melhoria de 100% nas pontuações médias em um período de nove meses (Arregui e McLauchlan, 2005). É impossível alcançar esse objetivo, principalmente se estiver baseado em pontuações distribuídas em uma escala, que não costumam ter um ponto zero absoluto. A cidade de Bogotá, na Colôm-bia, definiu um ponto de corte para o desempenho “aceitável” que me-nos de 2% das escolas estavam alcançando na época (Arregui e McLau-chlan, 2005). A meta do programa americano “No Child Left Behind”, que definia 100% de “proficiência” nos testes estaduais até 2014, parece pertencer à categoria das metas não realistas. Em 2003, nenhum estado ou distrito de grande porte tinha algo próximo a 100% dos alunos ob-tendo resultados em torno do nível básico, muito menos ainda o nível de proficiência, fosse na 4a ou na 8a série em leitura ou matemática (Linn, 2005a).

A variação na definição dos termos como proficiência em leitura e pro-ficiência em matemática acarretou problemas na formulação de inferên-cias sobre o que as avaliações informam quanto ao aproveitamento dos alunos. Evidências dos Estados Unidos, por exemplo, revelam que o sig-nificado de proficiência na NAEP é diferente do significado em avaliações estaduais. Por exemplo, nos estados vizinhos de Maryland e Virginia, o


percentual de alunos avaliados como proficientes em leitura e matemá-tica nas provas da NAEP diferiu do percentual nas provas estaduais (de Vise, 2005). Os dados apresentados na Tabela 5.4 mostram que 85% dos alunos em Delaware foram considerados proficientes na prova esta-dual, mas apenas 34 foram assim considerados na prova da NAEP.

TABELA 5.4

Classificação dos Alunos da 4a Série Avaliados como Proficientes ou Acima nas Avaliações Estaduais e Nacionais em 2005: Estados Unidos

EstadoEstado

(%Profi ciente) (1)NAEP(% profi ciente)

a(2)Diferença

(1)−(2)

Delaware 85 34 (1,2) 51

Idaho 87 33 (1,4) 54

Carolina do Norte

83 29 (1,4) 54

Oregon 81 29 (1,5) 52

Dakota do Sul 87 33 (1,3) 54

Fonte: Adaptado de Stoneberg (2007), mediante permissão.a. Os erros-padrão da NAEP estão entre parênteses.

FORNECIMENTO DE RECURSOS PARA AS ESCOLAS

Uma reação possível às conclusões de uma avaliação nacional é aumen-tar os recursos nas escolas. O fornecimento de recursos pode ocorrer no nível do sistema, ou ser direcionado a escolas ou populações específicas. O fornecimento em nível de sistema foi o caminho escolhido por vários países após a realização de uma avaliação nacional. No Quênia, onde se constatou que muitas escolas careciam de recursos básicos (por exem-plo, carteiras escolares e livros didáticos), o governo decidiu introduzir critérios de referência para os recursos em sala de aula, o que gerou o comprometimento de assegurar que todas as escolas receberiam os re-cursos (Nzomo e Makuwa, 2006). No Zimbábue, foram direcionados fundos especiais para os recursos de sala de aula e gestão das bibliotecas escolares, e foram iniciados programas de treinamento (Madamombe, 1995). Na República Dominicana, como está indicado no Quadro 5.1,


os poucos professores de ciências disponíveis foram realocados entre as escolas (Arregui e McLauchlan, 2005).

A intervenção direcionada é implementada quando as conclusões de uma avaliação revelam uma relação entre os recursos da escola e o aproveitamento dos alunos. Portanto, se for constatado que o aprovei-tamento dos alunos em escolas pequenas da área rural é menor que a média nacional, é possível tomar a decisão de conceder recursos adicio-nais às escolas. Em Queensland, na Austrália, por exemplo, as escolas que tinham alunos com desempenho insatisfatório (15% inferior) em uma avaliação de letramento em linguagem e letramento em matemá-tica receberam fundos adicionais (Forster, 2001). No Kuwait, as con-clusões que mostraram que os alunos em salas de aula com bibliotecas ou “cantos de leitura” obtiveram pontuações mais altas em uma prova de letramento em linguagem (a prova do Estudo Internacional sobre o Progresso do Letramento em Leitura) do que os alunos em outras salas de aula foram usadas como evidência para respaldar a política do Minis-tério da Educação no sentido de equipar as salas de aula com bibliotecas (Ministério da Educação do Kuwait, 2008).

Embora uma avaliação baseada em amostra não forneça dados sobre todas as escolas, pode fornecer informações sobre categorias de escolas (por exemplo, escolas em localidades diferentes, escolas de tipos dife-rentes, escolas que atendem a populações de diversos níveis socioeco-nômicos), fornecendo, assim, uma base para a intervenção direcionada a categorias de escolas. A intervenção de acordo com esse critério seria justificada, mas, obviamente, é necessário ter cuidado com a identifica-ção das escolas beneficiárias. Na maioria dos sistemas, a prioridade seria para as escolas que atendem a alunos que provêm de um contexto em desvantagem (por exemplo, escolas em que o nível de educação dos pais é baixo). Em alguns países, o tipo ou a localização da escola pode ser um bom indicador de quem devem ser os beneficiários. Os dados do censo nacional, dados do sistema de informações sobre a gestão educacional e informações dos inspetores, supervisores e conselheiros escolares tam-bém podem contribuir para a identificação da escola.

Embora o sistema de avaliação nacional no Chile se baseie no censo, a provisão feita para o baixo aproveitamento pode ser relevante após


uma avaliação baseada em amostra se vigorar um sistema adequado de identificação das escolas. Recursos adicionais, incluindo livros didáticos, bibliotecas na sala de aula e materiais pedagógicos, foram alocados para as escolas chilenas em áreas com alta proporção de alunos provenientes de contextos sociais em desvantagem que haviam tido desempenho in-satisfatório na avaliação (González, Mizala e Romaguera, 2002; Wolff, 1998). Foram organizadas atividades após o horário das aulas, foram desenvolvidas relações entre a escola e a comunidade, e as escolas foram supervisionadas entre 8 e 16 vezes por ano por agentes da província e do governo central (Arregui e McLauchlan, 2005).

Quando os formuladores de políticas consideram fornecer recursos adicionais para as escolas após a realização de uma avaliação nacional, cabe a eles decidir se a alocação será em base permanente ou por tem-po limitado. Uma alocação por tempo limitado pode ser preferível por várias razões. Primeiro, considerando-se que os recursos gerais são li-mitados, definir um limite para a provisão de recursos para as escolas selecionadas pode ser mais palatável para outras escolas e interesses, que percebem o direcionamento de recursos adicionais como uma remoção de recursos que, de outra forma, estariam disponíveis para elas. Segun-do, a provisão em base temporária tende a resultar em uma intervenção mais intensiva, o que pode incluir, por exemplo, assistência no uso dos recursos. Terceiro, a assistência internacional dos doadores tem, tradi-cionalmente, favorecido as iniciativas que são claramente definidas e li-mitadas no horizonte de tempo (Chapman e Snyder, 2000).

APOIO À REVISÃO CURRICULAR

A revisão curricular está mais frequentemente associada às avaliações in-ternacionais do que às avaliações nacionais, provavelmente porque uma avaliação internacional pode fornecer informações sobre como os alunos em um sistema educacional se saem em um teste de aproveitamento em comparação com aqueles em outras localidades (o currículo alcançado). A avaliação também pode oferecer informações comparativas derivadas dos documentos curriculares (o currículo pretendido que opera no nível


do sistema educacional) e na quantidade de tempo ou ênfase dedicada às áreas de aproveitamento (o currículo implementado que opera no nível de sala de aula).

Uma avaliação nacional também pode fornecer informações relevan-tes para a implementação ou a reforma do currículo – em um exemplo mais específico, quando os aproveitamentos reais dos alunos são com-parados com os resultados pretendidos, de acordo com o que foi espe-cificado ou sugerido nos documentos curriculares, e são identificadas discrepâncias. Tal comparação pode esclarecer como o currículo está sendo ensinado, quais fatores estão associados à implementação eficaz e se as expectativas curriculares para o aproveitamento dos alunos são adequadas.

As conclusões de avaliações nacionais e algumas conclusões de ava-liações estaduais têm sido associadas a mudanças curriculares em vários países. No Brasil, as conclusões da avaliação estadual do Paraná sobre o desempenho dos alunos nas principais áreas curriculares e as dificulda-des exibidas pelos alunos foram utilizadas para oferecer orientações aos professores em suas estratégias de ensino (Ferrer, 2006). Na Tailândia, o desempenho insatisfatório dos alunos nas áreas de matemática e ciências levou à maior ênfase curricular no ensino de habilidades processuais e aplicação do conhecimento (Pravalpruk, 1996). Na Guiné, os resultados da avaliação nacional deram início ao desenvolvimento de um proje-to nacional de leitura para promover a instrução nas séries iniciais (R. Prouty, comunicação pessoal, Washington, D.C., 15 de maio de 2005). O Panamá apresenta um exemplo um pouco diferente de utilização das conclusões da avaliação no contexto da reforma curricular. Naquele país, um dos principais propósitos da avaliação nacional foi verificar o impacto de um novo currículo (Ferrer, 2006).

Um problema com a maioria das avaliações nacionais é que se pres-supõe a adequação do currículo pretendido, e as tarefas da avaliação são nele baseadas. A análise fica então restrita ao grau em que os alunos adquiriram o conhecimento e as habilidades especificados no currículo e, talvez, ao quão eficaz foi o ensino do currículo. Contudo, construir tal suposição significa ignorar o fato de que, em muitos países em de-senvolvimento, a provisão da educação é orientada para as elites, re-


sultando em descompasso entre o currículo e o aluno médio (Glewwe e Kremer, 2006).

Em vários países, a adequação do currículo foi questionada após as conclusões de uma avaliação nacional. Em um relatório no Butão, pre-parado após a avaliação nacional da 6a série de 2003, identificou-se que havia uma sobrecarga no currículo e recomendou-se uma revisão estra-tégica do plano de estudos de matemática, “a fim de colocar menos (ou nenhuma) ênfase em álgebra e geometria, ou pelo menos não no nível de sofisticação esperado atualmente dos alunos” (Câmara de Exames do Butão, 2004: viii; ver também Powdyel 2005). As opiniões dos inte-ressados ao interpretar os resultados da avaliação podem apontar para a necessidade de reforma curricular. Na Etiópia, por exemplo, os comen-tários de professores, alunos e pais foram usados, em conjunto com a análise do desempenho dos alunos nas provas da avaliação nacional, para chegar a decisões sobre mudança curricular (Z. Gebrekidan, comunica-ção pessoal, Addis Ababa, 30 de junho de 2008).

A equipe de avaliação nacional no Uruguai, em consulta aos profes-sores, foi além do que estava oficialmente descrito nos currículos em suas provas, o que fez surgir um debate sobre a validade e a relevância do que era ensinado nas escolas. Com o tempo, o modelo conceitual da prova (juntamente com os livros didáticos dos alunos e os guias dos professores) tornou-se uma referência alternativa ao currículo nacional oficial para os professores (Ferrer, 2006).

O valor de uma avaliação nacional para análise e revisão curricular ten-de a ser enriquecido se os responsáveis pela elaboração do currículo estive-rem envolvidos na identificação das habilidades exatas a serem avaliadas. Eles podem, por exemplo, contribuir para o processo de desenvolvimento das provas esclarecendo o significado de termos como leitura, que pode ser definido de várias maneiras, desde a habilidade de pronunciar palavras simples, passando pela habilidade de ler e compreender sentenças e pará-grafos simples, até a habilidade de construir significado a partir de forma-tos diferentes de texto, inclusive trechos literários mais extensos e textos informativos (como cardápios e tabelas de horários).

O uso das conclusões da avaliação nacional para revisão curricular também será facilitado se os responsáveis pela elaboração do currículo


estiverem envolvidos na definição dos níveis de proficiência e na espe-cificação do tipo de análise de dados que facilitaria sua tarefa (como no caso do letramento em matemática, qual é o grau de desempenho dos alunos em conjuntos de itens que avaliam cálculos simples com números inteiros ou compreensão conceitual de frações e decimais). Para con-cluir, a equipe de avaliação nacional deve redigir um relatório sucinto sobre as implicações das conclusões da avaliação para a reforma curricu-lar e discuti-lo com a autoridade curricular.

REVISÃO DE LIVROS DIDÁTICOS

De forma ideal, os livros didáticos devem refletir com exatidão os conteúdos presentes no currículo. Um estudo realizado pela Asso-ciação Americana para o Progresso da Ciência, contudo, constatou que o conteúdo dos livros didáticos mais populares de matemática e ciências para o ensino fundamental e ensino médio não estava ali-nhado com uma série de referenciais presentes na maioria dos pa-drões estaduais (Kulm, Roseman e Treistman, 1999), que também são utilizados para definir os padrões de avaliação. Os resultados das avaliações nacionais (e internacionais) abordam a questão ao identi-ficar aspectos do currículo que talvez mereçam maior cobertura ou atenção nas novas edições ou edições revisadas de livros didáticos dos alunos e manuais do professor.

Poucas evidências revelam que as avaliações nacionais levaram di-retamente à revisão de livros didáticos, o que, em geral, ocorre após mudanças profundas terem sido introduzidas no currículo oficial. Exis-tem vários casos na América Latina, contudo, em que as mudanças nos livros didáticos ocorreram paralelamente à atividade de avaliação. No Uruguai, por exemplo, as equipes técnicas encarregadas da avaliação na-cional e revisão de livros didáticos trabalharam a partir de perspectivas conceituais e pedagógicas similares, porém não idênticas (P. Arregui, comunicação pessoal, Lima, 22 de setembro de 2008). Na área de lin-guagem, novas teorias de instrução, que requerem a exposição a um am-plo espectro de gêneros literários, estiveram refletidas no conteúdo das


provas da avaliação nacional e estimularam a produção de uma grande variedade de materiais de leitura.

Uma proposta interessante quanto à provisão de livros didáticos acon-teceu após uma avaliação nacional no Vietnã (Banco Mundial, 2004). À luz da conclusão de que menos da metade dos alunos tinha o número determinado de livros didáticos recomendados e livros suplementares, a equipe de avaliação nacional propôs que um número menor e mais realista de livros fosse identificado pela autoridade curricular e, depois disso, todo o possível deveria ser feito para assegurar que todos os alunos recebessem todos os livros.

O uso das conclusões da avaliação nacional para a reforma de livros didáticos tende a aumentar nos seguintes contextos:

Se a avaliação envolve a participação ativa da autoridade curricular ��nacional no desenvolvimento das provasSe a unidade de avaliação nacional fornece resultados para a autori-��dade curricular em um formato adequado para revisar a qualidade da cobertura curricular nos livros didáticosSe entre os desenvolvedores dos padrões ou níveis de desempenho estão ��indivíduos com especialização no desenvolvimento de currículos, bem como responsáveis por mensuração ou avaliação educacional.

CONCLUSÃO

O uso que pode ser feito das conclusões de uma avaliação nacional de-pende, em primeiro lugar, das informações fornecidas pela avaliação. Portanto, os responsáveis pela política e gestão devem especificar as in-formações de que necessitam no estágio de planejamento da avaliação.

Todas as avaliações nacionais fornecem uma descrição do aproveita-mento dos alunos. Entretanto, os usos que podem ser feitos sobre as in-formações na decisão sobre uma intervenção, por exemplo, dependem, em certo grau, do nível de detalhes em que o aproveitamento é descrito (por exemplo, para áreas separadas ou áreas de conteúdo de matemá-tica) e nas pistas fornecidas pela avaliação sobre as razões para o baixo


aproveitamento. O fato de os dados obtidos em uma avaliação identifi-carem questões que podem ser solucionadas na revisão curricular ou de livros didáticos também será uma função do nível de detalhamento nas provas de aproveitamento.

Nem todas as avaliações nacionais coletam informações sobre recur-sos. Essas informações tendem a ser incluídas quando há preocupação com as provisões no sistema.

Os resultados da avaliação podem desempenhar papel relevante na definição de padrões para o aproveitamento dos alunos no sistema edu-cacional. É claro que o monitoramento das tendências só será possível se houver dados comparáveis disponíveis em intervalos diversos de tempo.

Em tese, os resultados da avaliação podem ser usados para a formula-ção de políticas, a revisão do sistema educacional e a tomada de decisões sobre o fornecimento de recursos adicionais para as escolas. O grau em que serão usados para esses propósitos, entretanto, dependerá de vários fatores. Os fatores incluem a disponibilidade de relatórios de tamanho apropriado em linguagem apropriada direcionados aos interesses e ne-cessidades dos formuladores de políticas e responsáveis pela decisão; da disponibilidade e do uso de canais adequados de comunicação; da dis-ponibilidade de recursos orçamentários; e do interesse, da habilidade e da disposição dos responsáveis pela decisão de absorver, interpretar e aplicar as conclusões da avaliação.

C A P Í T U L O

6 CONCLUSÕES DA

AVALIAÇÃO NACIONAL

E ENSINO

Embora o objetivo principal de uma avaliação nacional seja fornecer informações aos formu-ladores de políticas e gestores educacionais, o

aprendizado escolar tem poucas chances de melhorar, a não ser que as conclusões da avaliação nacional sejam aplicadas para desenvolver polí-ticas e estratégias destinadas a mudar as práticas da escola e da sala de aula. Após a realização de uma avaliação, uma abordagem consiste em apresentar intervenções nas escolas ou categorias de escolas que, sem sombra de dúvida, demandam apoio (por exemplo, o fornecimento de recursos físicos adicionais ou apoio para que os professores aprimorem seu conhecimento ou habilidades). Nesse caso, a autoridade central es-pecificará com clareza os termos da intervenção. Entretanto, interven-ções específicas normalmente não ocorrem após uma avaliação nacional. Com mais frequência, os resultados são publicados e cabe aos principais interessados, como professores, inspetores, conselheiros e supervisores, a tarefa de decidir – e adotar – as mudanças em sua prática que tendem a influenciar o aproveitamento dos alunos. A questão abordada por este capítulo é como as informações obtidas em uma avaliação nacional ba-seada em amostra podem ser transformadas em práticas eficazes para sanar deficiências em escolas e salas de aula.


Este capítulo considera duas abordagens para esta tarefa. A primeira examina o aprimoramento do desenvolvimento profissional dos profes-sores mediante cursos de qualificação antes de iniciarem sua atividade docente e cursos durante o trabalho. Na segunda abordagem, as escolas decidem qual é a relevância das conclusões da avaliação nacional para sua situação específica. Se as conclusões forem consideradas relevantes, cabe às escolas elaborar estratégias para lidar com os problemas identifi-cados. As duas abordagens nem sempre podem ser distinguidas imedia-tamente. Os cursos durante o trabalho (para aprimorar o conhecimento e as habilidades dos professores) podem ser realizados na escola, e algu-ma forma de treinamento ou workshops durante o trabalho auxiliaria, em tese, a resposta das escolas a uma avaliação nacional.

DESENVOLVIMENTO PROFISSIONAL DOS PROFESSORES

As conclusões da avaliação nacional representam uma fonte de dados valiosa para os ministérios da educação, entidades regionais e fornecedo-res de educação qualificadora antes e durante o trabalho dos professo-res. Esta seção descreve inicialmente quatro fontes desse tipo de dados, que podem ser usadas para orientar as atividades de desenvolvimento profissional dos professores. Em seguida, são fornecidos exemplos de procedimentos em outros países.

FONTES DE DADOS DE UMA AVALIAÇÃO NACIONAL

PARA ORIENTAR O DESENVOLVIMENTO PROFISSIONAL

DOS PROFESSORES

Existem quatro tipos de fontes de dados para orientar o desenvol-vimento profissional: (a) o modelo da avaliação e amostras de per-guntas, (b) o desempenho dos alunos na avaliação, (c) as respostas ao questionário e (d) o desempenho dos professores em um teste de aproveitamento (forma que algumas avaliações nacionais usam para obter informações).


Modelo da avaliação nacional e amostras de perguntas. A análise de uma área de currículo ou construto contido em um modelo de avaliação nacional, sem qualquer consideração das conclusões, pode, por si só, ser fonte relevante de novas perspectivas e conhecimento para os professores. Por exemplo, os professores que participam de cursos durante o trabalho podem ser convidados a reavaliar suas práticas à luz da análise do apro-veitamento em matemática contido no modelo. Eles devem perguntar: “Quando ensino, concentro-me excessivamente no conhecimento de pro-cedimentos (como multiplicação de numerais), com prejuízo da resolução de problemas em altos níveis cognitivos, ou presto atenção insuficiente a alguns aspectos do currículo, como o ensino de formas e noções espaciais?” Os cursos durante o trabalho também trazem aos professores a oportuni-dade de estudar amostras de perguntas, que, em geral, são divulgadas após uma avaliação nacional e podem servir como modelos para sua avaliação em sala de aula (Departamento de Educação da Geórgia, n.d.).

Desempenho dos alunos na avaliação. Os cursos de desenvolvimento profissional podem ser direcionados a aspectos do currículo e do de-senvolvimento escolar dos alunos que uma avaliação nacional conside-re problemáticos. Um exame mais atento dos resultados pode fornecer informações sobre áreas específicas de leitura (por exemplo, detectar o significado não revelado em um texto) ou matemática (por exemplo, resolução de problemas) em que os alunos – e, por inferência, os profes-sores – precisam de apoio (ver Capítulo 2).

Respostas ao questionário. Uma avaliação nacional fornece informações que podem ser usadas para projetar um curso não limitado às informações obtidas em testes sobre o aproveitamento dos alunos. As informações ob-tidas em questionários também são relevantes. Elas podem esclarecer uma variedade de fatores relevantes ao ensino: as condições sociais e econômicas em que as escolas funcionam; os problemas que os professores encontram ao ensinar; a avaliação dos professores sobre disponibilidade, qualidade e utilidade dos recursos (incluindo os livros didáticos e manuais de profes-sores); atitudes dos pais e alunos em relação à educação; e motivação dos alunos para aprender (ver Griffith e Medrich, 1992). Na avaliação nacio-


nal dos Estados Unidos, as informações obtidas dos alunos e dos profes-sores nos questionários – que análises posteriores revelaram ser correlatos importantes do aproveitamento dos alunos – estimularam a reflexão por parte dos professores. As informações no questionário dos alunos estavam relacionadas com o nível de educação dos pais e recursos educacionais no domicílio do aluno; o questionário dos professores continha informações detalhadas sobre como os professores ensinavam matemática (por exem-plo, como lidavam com problemas específicos e rotineiros, usavam livros didáticos e folhas de exercícios, faziam os alunos resolverem problemas reais e trabalharem com colegas) (ver Wenglinksy, 2002).

Um exemplo das Tendências no Estudo Internacional da Ciência e da Matemática (TIMSS) de 2003 mostra como uma pergunta sobre a pron-tidão dos professores para ensinar aspectos diferentes do currículo de ma-temática contribuiu para identificar deficiências no conhecimento dos professores que poderiam ser sanadas com algum treinamento durante o trabalho. Em um relatório sobre o estudo, foram apresentados dados sobre o percentual de alunos cujos professores achavam que eram competentes para ensinar assuntos específicos (Mullis et al., 2004). A Tabela 6.1 apre-senta um trecho do relatório para duas das cinco áreas de conteúdos em matemática (numerais e álgebra). Os dados sugerem que os cursos durante o trabalho (além de cursos normais de qualificação) na maioria dos países seriam eficazes se direcionassem a atenção para o ensino de habilidades específicas, como os atributos de um gráfico. Questões similares poderiam ser incluídas em uma avaliação nacional para ajudar a identificar áreas que precisam de atenção em cursos de formação de professores.

Um questionário direcionado aos professores também pode fornecer informações sobre a experiência dos professores com cursos durante o tra-balho e as necessidades que eles acreditam que o treinamento durante o trabalho possa atender. Na Índia e no Butão, os dados dos questionários revelaram que muitos professores tinham pouca ou nenhuma experiên-cia com cursos durante o trabalho (Câmara de Exames do Butão, 2004; Powdyel, 2005; Singh et al., n.d.). A necessidade de cursos que abordas-sem como ensinar a escrever foi revelada no Lesoto (M. C. Ramokoena, comunicação pessoal, Maseru, 6 de abril de 2009).

TAB

ELA

6.1

Per

cent

uais

de

Alu

nos

Cuj

os

Pro

fess

ore

s R

elat

aram

Est

ar P

ront

os

par

a E

nsin

ar M

atem

átic

a, D

ado

s d

o T

IMSS

, 8a

Séri

e

Paí

ses

sele

cio

nad

os

Per

cent

ual d

e al

uno

s cu

jos

pro

fess

ore

s re

lata

m s

enti

r-se

pro

nto

s p

ara

ensi

nar

tóp

ico

s d

e m

atem

átic

a

Num

erai

sÁ

lgeb

ra

Rep

rese

ntar

d

ecim

ais

e fr

açõ

es,

usan

do

p

alav

ras,

nú

mer

os

e lin

has

num

éric

as

Núm

ero

s in

teir

os,

incl

uind

o

pal

avra

s,

núm

ero

s, li

nhas

nu

mér

icas

, o

rden

ar n

úmer

os

inte

iro

s e

op

eraç

ões

(+

, −

, ×

e ÷

) co

m

núm

ero

s in

teir

os

Pad

rões

nu

mér

ico

s,

alg

ébri

cos

e g

eom

étri

cos

de

seq

uênc

ias

Eq

uaçõ

es

linea

res

sim

ple

s e

des

igua

ldad

es

e eq

uaçõ

es

sim

ultâ

neas

(co

m

dua

s va

riáv

eis)

Rep

rese

ntaç

ões

eq

uiva

lent

es d

e fu

nçõ

es c

om

o

par

es o

rden

ado

s,

tab

elas

, g

ráfi

cos,

p

alav

ras,

ou

equa

ções

Atr

ibut

os

de

um

grá

fi co

, co

mo

in

ters

eção

no

s ei

xos

e in

terv

alo

s

Ará

bia

Sau

dita

9610

086

9594

80

Bul

gár

ia

100

100

9910

010

010

0

Líb

ano

9810

093

9695

95

Irã, R

epúb

lica

Islâ

mic

a d

o98

9890

9894

87

Sérv

ia91

9093

9090

90

Tuní

sia

9998

8771

7471

Font

e: E

xtra

ído

de

Mul

lis e

t al

., 20

04: 2

56.


Embora esse tipo de informação possa oferecer orientações para os programas durante o trabalho, é preciso habilidade considerável para obtê-la a partir de um questionário. É preciso evitar, por exem-plo, problemas como os que foram encontrados na avaliação nacional escocesa (Programa de Avaliação do Aproveitamento), em que os dados obtidos dos questionários não foram suficientemente específi-cos para estabelecer relação entre o aproveitamento dos alunos e as práticas escolares (Robertson 2005).

Desempenho dos professores em um teste de aproveitamento. Embo-ra os cursos projetados para aprimorar as habilidades pedagógicas dos professores sejam mais comuns do que aqueles voltados para o conheci-mento sobre o assunto que ensinam, a necessidade de abordar o segundo pode ser mais urgente do que se costuma reconhecer. As poucas ava-liações nacionais que coletaram informações sobre o conhecimento dos professores sobre o assunto identificaram deficiências profundas. Após a realização da avaliação nacional da 5ª série no Vietnã, na qual os mes-mos itens da prova foram aplicados a professores e alunos, exibiu-se a distribuição das pontuações de compreensão de leitura para os alunos (a distribuição menos acentuada na Figura 6.1) e para os professores (a distribuição mais acentuada à direita). Os dados mostram que os 12% superiores dos alunos tiveram melhor desempenho do que os 30% infe-riores dos professores.

No Sistema Nacional de Avaliação Educacional do Paquistão, os itens aplicados aos alunos da 4ª série também foram aplicados aos professores. Como ocorreu no Vietnã, houve sobreposição na distribuição das pon-tuações. Aproximadamente 3% dos professores tiveram pontuação abaixo da média dos alunos. Pouquíssimos itens foram respondidos corretamente por 90% dos professores (A. Tayyab, comunicação pessoal, Oxford, Reino Unido, 24 de julho de 2008). Um exame mais atento dos dados dos pro-fessores revela que tiveram um desempenho insatisfatório nos itens que avaliaram geometria, valor de lugar e medidas. Por exemplo, apenas 42% responderam corretamente a um item similar ao apresentado no Quadro 6.1, que pedia que fosse estabelecida a correspondência entre um número de quatro dígitos e seu equivalente em palavras.


QUADRO 6.1

Questão para relacionar o item de valor de lugar: Paquistão

Qual alternativa representa o mesmo que 4.256?

A) Quatro mil, duzentos e cinquenta e seis

B) Quatro mil, quinhentos e vinte e seis

C) Quatro mil, duzentos e cinquenta

D) Quatrocentos e vinte e cinco mil e seis

Fonte: A. Tayyab, comunicação pessoal, Oxford, Reino Unido, 24 de julho de 2008.

FIGURA 6.1

Distribuições da Pontuação em Leitura de Alunos e Professores: Vietnã

Fonte: Banco Mundial 2004, Vol. I: Figura 2.Observação: As pontuações de leitura dos alunos são representadas pela curva menos acentuada, enquanto as pontuações dos professores, pela curva mais acentuada.

percentual de alunos e professores

nív

el d

e p

rofi

ciên

cia

em le

itu

ra

0

1

2

3

4

5

6

As avaliações nacionais na África têm demonstrado conclusões se-melhantes (Duthilleul e Allen, 2005). A Tabela 6.2 documenta o per-centual de professores em uma avaliação nacional em Moçambique que foram classificados dentro de oito níveis de proficiência em uma prova de matemática elaborada para alunos da 6ª série. A descrição dos níveis de proficiência identifica as habilidades e o conhecimento que os professores em cada nível haviam adquirido e, por consequência,

TAB

ELA

6.2

Per

cent

ual d

e P

rofe

sso

res

que

Po

ntua

m e

m c

ada

Nív

el d

e P

rofi

ciên

cia

em M

atem

átic

a: M

oça

mb

ique

Nív

elD

escr

ição

Per

cent

ual

Nív

el 1

: Pré

-letr

amen

to

em m

atem

átic

aRe

aliz

a op

eraç

ões

de

adiç

ão o

u su

btr

ação

de

um p

asso

. Rec

onhe

ce fo

rmas

sim

ple

s.

�Es

tab

elec

e a

corr

esp

ond

ênci

a en

tre

núm

eros

e fi

gur

as.

�

Con

ta e

m n

úmer

os in

teiro

s.

�

0,0

Nív

el 2

: Let

ram

ento

em

erg

ente

em

m

atem

átic

a

Real

iza

oper

açõe

s d

e ad

ição

ou

sub

traç

ão d

e d

ois

pas

sos,

env

olve

ndo

tran

spor

te, v

erifi

caçã

o (a

trav

és d

e

�es

timat

ivas

bás

icas

), ou

con

vers

ão d

e fi g

uras

par

a nú

mer

os.

Estim

a o

com

prim

ento

de

obje

tos

fam

iliar

es.

�

Reco

nhec

e fo

rmas

bid

imen

sion

ais

com

uns.

�

0,0

Nív

el 3

: Let

ram

ento

b

ásic

o em

mat

emát

ica

Tran

sfor

ma

as in

form

açõe

s ve

rbai

s ap

rese

ntad

as e

m u

ma

sent

ença

, grá

fi co

sim

ple

s ou

tab

ela

usan

do

uma

�

oper

ação

arit

mét

ica

em v

ário

s p

asso

s re

pet

idos

.Tr

ansf

orm

a in

form

açõe

s g

ráfi c

as e

m fr

açõe

s.

�In

terp

reta

o v

alor

de

lug

ar d

e nú

mer

os in

teiro

s at

é o

milh

ar.

�

Inte

rpre

ta u

nid

ades

de

med

idas

sim

ple

s e

com

uns

do

cotid

iano

.

�

0,3

Nív

el 4

: Let

ram

ento

in

icia

nte

em m

atem

átic

aTr

ansf

orm

a in

form

açõe

s ve

rbai

s ou

grá

fi cas

em

pro

ble

mas

arit

mét

icos

sim

ple

s.

�U

sa m

últip

las

oper

açõe

s ar

itmét

icas

dife

rent

es (n

a or

dem

cor

reta

) par

a nú

mer

os in

teiro

s, fr

açõe

s e

�

dec

imai

s.

2,9

Nív

el 5

: Let

ram

ento

co

mp

eten

te e

m

mat

emát

ica

Tran

sfor

ma

info

rmaç

ões

verb

ais,

grá

fi cas

ou

tab

ular

es e

m fo

rma

aritm

étic

a p

ara

solu

cion

ar d

eter

min

ado

�

pro

ble

ma.

Solu

cion

a p

rob

lem

as c

om m

últip

las

oper

açõe

s (u

sand

o a

ord

em c

orre

ta d

as o

per

açõe

s ar

itmét

icas

)

�en

volv

end

o as

uni

dad

es d

iária

s d

e m

edid

a e

núm

eros

inte

iros

e m

isto

s.C

onve

rte u

nida

des

básic

as d

e m

edid

as d

e um

nív

el p

ara

o ou

tro (p

or e

xem

plo,

met

ros

para

cen

tímet

ros)

. �

4,6

Nív

el 6

: Pro

fi cie

nte

em

mat

emát

ica

Solu

cion

a p

rob

lem

as c

om m

últip

las

oper

açõe

s (u

sand

o a

ord

em c

orre

ta d

as o

per

açõe

s ar

itmét

icas

)

�en

volv

end

o fr

açõe

s, r

azõe

s e

dec

imai

s.Tr

ansf

orm

a in

form

açõe

s em

rep

rese

ntaç

ão v

erb

al e

grá

fi ca

em fo

rma

sim

ból

ica,

alg

ébric

a e

de

equa

ção

�

par

a so

luci

onar

det

erm

inad

o p

rob

lem

a m

atem

átic

o.Ve

rifi c

a e

estim

a as

resp

osta

s us

ando

con

heci

men

to e

xter

no (q

ue n

ão fo

i for

neci

do d

entro

do

prob

lem

a).

�

16,3

Nív

el 7

: Res

oluç

ão d

e p

rob

lem

as c

oncr

etos

Extr

ai e

con

vert

e (p

or e

xem

plo,

no

que

tang

e a

unid

ades

de

med

idas

) inf

orm

açõe

s de

tabe

las,

grá

fi cos

e

�

apre

sent

açõe

s vi

suai

s e

sim

bólic

as p

ara

iden

tifi c

ar e

sol

ucio

nar p

robl

emas

com

vár

ios

pass

os.

44,3

Nív

el 8

: Res

oluç

ão d

e p

rob

lem

as a

bst

rato

sId

entifi

ca

a na

ture

za d

e um

pro

ble

ma

mat

emát

ico

não

enun

ciad

o d

entr

o d

e in

form

açõe

s ve

rbai

s ou

�g

ráfi c

as e

, ent

ão, t

rans

form

a-o

em fo

rma

sim

ból

ica,

alg

ébric

a ou

de

equa

ção

par

a so

luci

onar

o p

rob

lem

a.31

,7

Font

e: B

onne

t, 2

007.

Rep

rod

uzid

o m

edia

nte

per

mis

são.


aqueles que não possuíam. Por exemplo, todos os professores alcan-çaram os níveis de proficiência 1 e 2, mas praticamente um em cada quatro professores não respondeu corretamente aos itens de resolução de problemas (níveis 7 e 8).

Outros dados do Vietnã (Figura 6.2) mostram o grau de relaciona-mento entre o conhecimento sobre o assunto que o professor tem e o desempenho dos alunos em matemática. À medida que a pontuação média de aproveitamento dos professores (baseada na média para uma província) aumenta, a média para os alunos (também baseada na média para a província) também aumenta (Banco Mundial, 2004). As con-clusões geraram a recomendação de que os professores com domínio insatisfatório sobre o assunto fossem encorajados a participar de cursos durante o trabalho para aprimorar seu conhecimento, como forma de reduzir o número de alunos com baixo desempenho.

Exemplos de Atividades para Aprimorar o Desempenho Profissional dos Professores após uma Avaliação Nacional

Há relativamente poucas evidências de que os formuladores de po-líticas ou responsáveis pelo planejamento educacional tenham utili-zado as conclusões da avaliação nacional para determinar os tópicos a serem abordados nos programas de formação de professores, com exceção de alguns países latino-americanos (Argentina, Brasil, Chile, Cuba, República Dominicana, Equador, Guatemala, Honduras, Uru-guai e República Bolivariana da Venezuela) (Ferrer, 2006). Alguns países têm adotado os resultados como fundamento para eventos de treinamento de professores em massa na rede de televisão nacional (Cuba) e em revisões da avaliação nacional feitas por educadores, in-cluindo treinadores de professores (República Dominicana). O esta-do brasileiro de Minas Gerais oferece um bom exemplo de utilização dos dados da avaliação para aprimorar a formação dos professores (Quadro 6.2). Contudo, há poucas informações disponíveis sobre o efeito desses esforços na competência dos professores (Arregui e McLauchlan, 2005).


No Uruguai, onde as escolas são o principal público interessado nos resultados das provas, o foco primordial após uma avaliação está no in-vestimento feito na melhoria do conhecimento e habilidade para ensinar dos professores, com ênfase especial para o ensino de leitura e matemá-tica nas escolas que atendem a alunos provenientes de contextos sociais vulneráveis. A abordagem parece ter tido resultados bastante positivos, que se refletiram em melhoria ao longo do tempo no desempenho dos alunos nas avaliações (ver Capítulo 5). Entre algumas características sig-nificativas da abordagem, estão (Ravela, 2006):

Análise de item e de erro do desempenho dos alunos��Ausência de atribuição de responsabilidade com consequências sig-��nificativasFeedback dado às escolas com base nos resultados dos testes��Encontros de desenvolvimento profissional para promover a troca de ��ideias entre os professoresIdentificação das escolas em termos de pobreza, e não de aproveita-��mento.

FIGURA 6.2

Avaliação Nacional de Matemática da 5ª Série no Vietnã: Correlação entre as Pontuações Médias de Professores e Alunos da Província

Fonte: Banco Mundial 2004, Vol. I: Figura 5.

590

540

490

440

390

340400 420 440 460 480

pontuações médias dos alunos da província

po

ntu

açõ

es m

édia

s d

os

pro

fess

ore

s d

a p

roví

nci

a

500 520 540 560 580 600


O programa em grande escala de treinamento no trabalho atraiu aproximadamente 3 mil professores de 300 a 500 escolas pobres da área urbana a cada ano (Quadro 6.3). Ele apresentou alguns dos atributos dos programas de desenvolvimento profissional geralmente considera-dos programas que conduzem ao aprimoramento do conhecimento e das habilidades dos professores, incluindo o enfoque em conhecimento so-bre conteúdos, amplas oportunidades para aprendizado ativo, coerência com outras atividades, participação coletiva dos professores da mesma escola e tempo suficiente no programa para gerar impacto (ver Garet e outros, 2001).

Problemas de comunicação e problemas políticos podem afetar os esforços para influenciar o treinamento de professores, como ocorreu na Argentina, onde se registrou a falta de comunicação entre as agên-cias responsáveis pelo treinamento e avaliação de professores (Ferrer, 2006). Os problemas no Chile foram atribuídos ao fato de as instituições

QUADRO 6.2

Uso das Conclusões da Avaliação Nacional para Aprimorar a Formação de Professores: Minas Gerais, Brasil

O estado brasileiro de Minas Gerais adotou os seguintes passos no desenho e utiliza-ção das conclusões da avaliação nacional para aprimorar a formação de professores:

A avaliação se propôs a fornecer informações úteis para as instituições de forma- �ção de professores.

Houve a colaboração formal entre as 29 instituições educacionais de ensino su- �perior no desenho e na aplicação das provas, processamento dos resultados e entrega dos mesmos para as escolas.

Uma universidade assumiu a direção do projeto e contou com o apoio das outras. �

Os dados foram examinados para identificar os problemas de leitura dos alunos �revelados pela avaliação.

Os participantes de cursos de qualificação deveriam estudar os resultados da ava- �liação para se familiarizar com as questões educacionais.

Os resultados foram usados para desenvolver programas de treinamento de pro- �fessores.

Fonte: Ferrer, 2006.


para treinamento de professores serem, em geral, contrárias à avaliação nacional (Sistema de Medição da Qualidade da Educação, ou SIMCE) (Meckes e Carrasco, 2006).

Os cursos e programas durante o trabalho são geralmente ofereci-dos aos diretores em reconhecimento ao papel fundamental por eles desempenhado na vida da escola. No Uruguai, por exemplo, além dos workshops para professores e supervisores, após uma avaliação nacional, foram organizados workshops especificamente para abordar as questões enfrentadas pelos diretores (Benveniste, 2002). Espera-se que o treina-mento durante o trabalho para diretores cubra uma ampla variedade de

QUADRO 6.3

Principais Características de um Programa de Treinamento de Professores no Trabalho Baseado nos Resultados da Avaliação Nacional: Uruguai

No Uruguai, um programa de treinamento no trabalho de grande escala teve as se-guintes características:

Os cursos eram realizados aos sábados. �

Os professores eram remunerados pela participação (cerca de 25% do salário ini- �cial dos professores).

A participação era voluntária. �

A participação era baseada por escola – os professores podiam participar do pro- �grama de treinamento sob a condição de que pelo menos metade deles (incluindo o diretor) da escola concordasse em participar.

As sessões incluíam grupos de aproximadamente 60 professores. Equipes de 5 �a 10 escolas se reuniam, o que proporcionava a oportunidade de compartilhar experiências dentro das escolas e com outras escolas.

Os programas eram voltados para escolas em contextos vulneráveis, mas o apro- �veitamento dos alunos não era levado em consideração, de forma que tanto as escolas de bom desempenho quanto as de desempenho insatisfatório pudessem compartilhar experiências.

Um grupo de supervisores e professores das instituições de treinamento de pro- �fessores, selecionados e treinados para o programa, conduziu as sessões.

O programa foi dedicado às abordagens de ensino para matemática, linguagem �e ciências naturais e sociais.

Fonte: Ravela, 2005.


assuntos escolhidos para fornecer conhecimentos e desenvolver habili-dades que tendam a contribuir para a criação de um ambiente que apoie o aprendizado dos alunos. Os questionários aplicados em uma avaliação nacional podem ajudar a informar o conteúdo desse tipo de treinamento durante o trabalho, encorajando as autoridades educacionais a organizar cursos para abordar um ou mais dos itens a seguir (Murphy, Yff e Ship-man, 2000):

Habilidades dos diretores em gerenciar os recursos da escola para ��proporcionar um ambiente de aprendizado seguro, eficiente e eficazSuas habilidades de liderança para sustentar uma cultura escolar e um ��programa de instrução que apoie o aprendizado do alunoSua habilidade de orientar os professores no desenvolvimento de co-��nhecimento e habilidades dos professoresSua habilidade de analisar e lidar com problemas de disciplina, com-��parecimento na escola e motivação dos funcionáriosSua habilidade de desenvolver estratégias para colaborar com as famí-��lias e comunidades no trabalho da escola (principalmente se a comu-nidade tem percepções negativas da escola)Sua habilidade de compreender, reagir e influenciar o contexto polí-��tico, social, econômico, jurídico e cultural mais amplo.

ENFOQUE NAS ESCOLAS E ENSINO EM SALA DE AULA

É uma tarefa complexa e desafiadora assegurar que as conclusões da avaliação nacional influenciem a prática dos professores de sala de aula visando aprimorar o aprendizado dos alunos. Pouco se conhece sobre as estratégias mais eficazes a serem usadas, que tendem a variar de um sistema educacional para outro e de escola para escola.

Esta seção aborda a situação na qual as conclusões de uma avaliação nacional são disseminadas. Cabe às escolas interpretar a relevância das conclusões e desenvolver estratégias para solucionar os problemas que porventura sejam identificados. São descritos três passos que parecem essenciais caso se pretenda que as conclusões da avaliação nacional sejam


usadas com eficácia: (a) comunicação das conclusões para os professo-res, (b) interpretação das conclusões pelos professores e avaliação de sua relevância para a escola e (c) aplicação das conclusões a estratégias elaboradas para aprimorar o aprendizado dos alunos. Após esses passos serem considerados, são identificadas as decisões que devem ser feitas no planejamento de uma intervenção.

Comunicação das Conclusões

Após uma avaliação nacional baseada em amostra, é possível utilizar uma variedade de sistemas para informar os professores em todo o sis-tema educacional sobre as conclusões: materiais e relatórios impressos, seminários e workshops e visitas de inspetores, supervisores e orienta-dores. Em alguns países, os professores têm acesso aos relatórios da ava-liação nacional na internet. Um relatório pode conter comentários de natureza geral e aconselhamento ou informações detalhadas com base na análise do desempenho dos alunos. Uganda, onde os resultados de sua avaliação nacional se limitaram a mensagens de teor geral enviadas em formato de pôster aos professores em todas as escolas para serem exi-bidas na sala de aula, constitui um exemplo do primeiro caso (Quadro 6.4). Outros países preparam relatórios mais detalhados – em primeiro lugar, para os professores – que descrevem o aproveitamento dos alunos em termos das áreas curriculares que revelaram pontos fortes e pontos fracos específicos. A inclusão de sugestões práticas que possam ser ado-tadas por escolas e professores para enriquecer o aproveitamento dos alunos certamente aumenta o valor desses relatórios.

Um relatório destinado aos professores na Colúmbia Britânica, Cana-dá, apresenta o exemplo de uma descrição detalhada do desempenho dos alunos em uma avaliação. O relatório continha uma série de tabelas que indicavam o percentual de alunos em nível distrital que responderam corretamente a cada item na prova, bem como o percentual daqueles que selecionaram alternativas incorretas. O relatório também apresen-tou uma interpretação do que os alunos estavam fazendo quando sele-cionavam respostas incorretas. A Tabela 6.3 apresenta um exemplo para


QUADRO 6.4

Trecho de Pôster Publicado após uma Avaliação Nacional: Uganda

Em Uganda, um pôster com o texto a seguir foi distribuído aos professores para ser exibido nas salas de aula:

Conseguimos fazer o seguinte:

Ouvir instruções em inglês e reagir adequadamente �Ler um texto escrito curto em inglês �Fazer adição, subtração e multiplicação de números �Escrever algumas palavras e frases em inglês �

Ajude-nos a aprender a:

Desenvolver um vocabulário mais extenso �Ler com rapidez e fluência �Escrever com clareza e organização �Fazer operações de divisão de números corretamente �Usar o conhecimento já aprendido em novas situações da vida diária �

Fonte: Comissão Nacional de Exames de Uganda, n.d.

TABELA 6.3

Percentual de Alunos que Responderam Corretamente a Itens em uma Avaliação de Matemática: Colúmbia Britânica, Canadá

Número do item

Percentual correto Descrição do item

Comentários ou respostas incorretas

2 53 Um problema escrito envolvendo divisão e encontrar o resto (dividir um número de objetos em conjuntos de determinado tamanho e encontrar quantos sobram)

Mais de um quarto (28%) subtraiu ao invés de dividir; 13% dividiram corretamente, mas encontraram um resto incorreto.

21 55 Um problema escrito envolvendo multiplicação, subtração, divisão (encontrar o maior número de um item que pode ser comprado com o troco de uma compra anterior)

Os erros comuns foram cálculo incorreto (19%), ignorar parte das informações (10%), usar apenas parte das informações nos cálculos (10%).

Fonte: Extraído do Ministério da Educação da Colúmbia Britânica, 1999.


a prova de matemática (padrões e relações). De maneira semelhante, o Quadro 6.5 apresenta o exemplo de um item que pode ser utilizado em uma discussão em grupo para ajudar os professores a identificar os erros comuns dos alunos quando recebem um item simples de cálculo matemático envolvendo mais de um passo e um número elevado ao quadrado.

QUADRO 6.5

Questão de matemática

5² − 3(4 − 1) =

A) −4 (13%)

B) 10 (22%)

C) 14 (27%)

D) 16 (38%)

Fonte: Compilação dos autores.

Os números entre parênteses após cada alternativa representam o per-centual de alunos que selecionou a alternativa. A discussão dos profes-sores deve levar às seguintes conclusões:

A maioria de alunos respondeu de forma incorreta e não selecionou ��a alternativa D.Aqueles que selecionaram a alternativa A talvez não soubessem o ��significado do expoente 2.Os alunos que selecionaram a alternativa B talvez tenham mudado ��o sinal dentro dos parênteses por causa do sinal de menos fora dos parênteses.Aqueles que selecionaram a opção C talvez tenham multiplicado o nú-��mero 3 pelo 4 e, em seguida, subtraído 1, em vez de subtrair 1 de 4.

Embora os relatórios enviados para as escolas forneçam informações potencialmente valiosas para os professores, a mera distribuição dos ma-teriais para as escolas não costuma ser eficaz pelas seguintes razões:


Os professores, por receberem uma enorme variedade de documen-��tos curriculares, talvez não vejam os relatórios da avaliação nacional como algo que mereça sua atenção prioritária. Uma pesquisa reali-zada em uma cidade da Nova Zelândia constatou que os professo-res, em sua maioria, não tinham ciência dos relatórios da avaliação nacional ou de seu potencial para aprimorar a qualidade do trabalho dos professores. Embora exemplares dos relatórios tenham chegado às escolas, pouquíssimos professores tiveram conhecimento de sua existência ou os haviam lido (Lovett, 1999).Os relatórios, mesmo quando preparados especificamente para as es-��colas e os professores, talvez não sejam autoexplicativos o suficiente (Arregui e McLauchlan, 2005; OCDE, 2004).Os professores podem precisar de orientação para desenvolver en-��tendimento sobre uma proposta de reforma e sua relevância para as condições nas quais ensinam.Os professores provavelmente precisarão de orientação se tiverem ��de mudar seu jeito de ensinar para alcançar os objetivos sugeridos em uma reforma (por exemplo, mudar o enfoque da memorização e repetição em grupo para procedimentos que desenvolvam maior engajamento dos alunos e envolvimento mais ativo no aprendizado) (Chapman e Snyder, 2000; Grant, Peterson e Shojgreen-Downer, 1996; Ravela, 2005; Snyder et al., 1997).

Interpretação das Conclusões e Avaliação de sua Relevância

Mesmo sem uma avaliação nacional, as escolas – principalmente se aten-dem a alunos de um contexto em desvantagem econômica – geralmente ficarão cientes se um número significativo de seus alunos está enfren-tando dificuldades. Nessa situação, as conclusões da avaliação nacional talvez não sejam mais do que um impulso para a reflexão e a ação. As conclusões da avaliação, porém, além de reforçar as percepções dos professores (se, por exemplo, categorias específicas de escolas forem identificadas como problemáticas), podem oferecer indicadores da na-tureza das dificuldades dos alunos e pistas sobre os fatores que inibem


ou estimulam o aprendizado do aluno. Contudo, as escolas precisam conscientizar-se das condições atuais nas quais atuam, que podem variar consideravelmente de uma localidade para a outra.

Com relação a isso, vários fatores merecem ser considerados. As esco-las diferem quanto aos níveis de aproveitamento dos alunos e nas causas do baixo aproveitamento. Os professores diferem no grau de conheci-mento sobre o assunto que devem ensinar e em suas habilidades e atitu-des pedagógicas. As escolas diferem nos recursos disponíveis, no modo como usam tais recursos, nas restrições sob as quais funcionam (como, por exemplo, turmas muito numerosas) e em sua capacidade de mudar. Elas também diferem nas circunstâncias sociais e econômicas dentro das quais funcionam, na disposição que os alunos têm para aprender quando chegam à escola e no apoio que recebem de seus lares e comunidades. Os professores precisam refletir sobre esses temas, graduando a relevân-cia das conclusões da avaliação de acordo com sua situação. Em especial, precisam determinar o conhecimento ou as habilidades que represen-tam as maiores necessidades instrucionais e o tipo de mudança que teria maior possibilidade de sucesso.

Como uma avaliação baseada em amostra não fornece informações sobre os padrões de aproveitamento em escolas individuais, as esco-las precisam encontrar uma maneira de determinar como comparar o aproveitamento de seus alunos com o de outros alunos em outras escolas se a intenção é que as conclusões da avaliação nacional sejam relevantes. O Uruguai abordou essa questão ao tornar o instrumento de avaliação disponível às escolas que não participaram da avaliação nacional. Embora esse método permita que todas as escolas com-parem o aproveitamento de seus alunos com as normas nacionais, a desvantagem é que a capacidade de monitorar o aproveitamento no sistema educacional ao longo do tempo é comprometida porque itens que foram amplamente utilizados, em tese, não podem ser reutiliza-dos. Um método alternativo seria desenvolver e disponibilizar para todas as escolas um conjunto de provas padronizadas de aproveita-mento que os professores pudessem aplicar a seus próprios alunos, a fim de determinar sua classificação em relação às normas nacionais fornecidas pelas provas. O valor das provas padronizadas seria enri-


quecido significativamente se elas também fornecessem informações sobre o aproveitamento dos alunos, o que representaria uma platafor-ma para a ação corretiva.

Aplicação das Conclusões

Quando se estabelece a relevância das conclusões da avaliação nacio-nal para uma escola específica, a escola deve analisar cuidadosamente o aproveitamento de seus alunos (identificando lacunas e pontos fracos no aprendizado) e as circunstâncias que possam estar contribuindo para a situação. Em seguida, deve elaborar estratégias para solucionar os proble-mas identificados. Muitos professores consideram essa tarefa dificílima e que exige apoio considerável. O apoio pode assumir o formato de orienta-ções e exemplos de boas práticas provenientes do Ministério da Educação, workshops ministrados por diretores e especialistas no assunto, ou apoio de inspetores ou supervisores na própria escola. Todos esses formatos po-dem contribuir para deliberação nas reuniões com os funcionários.

Os professores podem precisar de orientação específica para (a) iden-tificar os aspectos de sua prática que precisam mudar, (b) descrever as práticas desejadas, (c) descrever as diferenças entre as práticas existentes e as desejadas e (d) especificar estágios nas práticas que indiquem mo-vimento em direção às práticas desejadas. Percorrer esses estágios será um processo incremental no qual se espera que os professores adaptem as práticas existentes para ir em direção a práticas que tenham maior probabilidade de gerar efeito positivo no aprendizado dos alunos.

Alguns relatórios de avaliação nacional incluem recomendações espe-cíficas para ação (ver Quadro 6.6). As recomendações são direcionadas a um país e currículo específico, e talvez não sejam relevantes em ou-tros contextos. O argumento, entretanto, é que, quando uma avaliação nacional traz recomendações, pode atuar como um estímulo ou lista de verificação para orientar uma série de discussões com os funcionários na medida em que o diretor e os professores analisam a prática em sua escola e como ela se alinha com – ou diverge da – a prática recomendada no relatório da avaliação nacional.


QUADRO 6.6

Recomendações após uma Avaliação Nacional em Matemática, 5a Série: Irlanda

As recomendações a seguir provêm de um guia publicado pelo Departamento de Educação e Ciência da Irlanda em resposta a uma avaliação nacional:

Os professores devem apoiar o desenvolvimento dos alunos na área de conteúdo �“Forma e Espaço”, envolvendo-os em tarefas que demandem raciocínio sobre forma e espaço.

Os professores devem estender o trabalho relacionado com coleta de dados, �análise de dados e construção e interpretação de gráficos para disciplinas como geografia e ciências. Devem-se buscar oportunidades de aplicar conhecimento sobre as áreas “Número”, “Medidas” e “Forma e Espaço” em outras áreas e em contextos reais.

Os professores devem conceder mais ênfase à área de “Medidas” ao oferecer �oportunidades para os alunos transferirem o conhecimento e as habilidades ad-quiridos em atividades práticas para solucionar problemas não rotineiros.

Os professores devem enfatizar mais o ensino de habilidades matemáticas de alto �nível, incluindo “Aplicação” e “Resolução de Problemas”.

As escolas e os professores devem dar apoio aos pais no desenvolvimento da �proficiência de seu filho em matemática, fornecendo informações sobre mudanças no currículo e métodos de ensino, orientações sobre como envolver as crianças em atividades relacionadas com a matemática em casa e orientação para usar o dever de casa (incluindo a quantidade de tempo a ser determinada para o dever de casa), a fim de favorecer o aprendizado.

As escolas e os professores devem estender o uso de calculadoras e tecnologias �de informação e comunicação para ensinar matemática. Calculadoras e tecnolo-gias de informação e comunicação devem ser usadas não apenas para desenvol-ver habilidades como a de realizar cálculos básicos, mas também enriquecer o raciocínio matemático e as habilidades de resolução de problemas.

Fonte: Adaptado de Surgenor et al., 2006; também disponível em http://www.erc.ie.

Com frequência, o relatório de avaliação nacional não traz recomen-dações específicas. Nesse caso, os professores devem confiar mais nos próprios recursos para elaborar estratégias que tratem das áreas de pon-tos fracos no aproveitamento dos alunos identificados em sua avaliação. Em Uganda, após a análise das conclusões da avaliação (por exemplo, desempenho insatisfatório na leitura de texto contínuo, na escrita e em


geometria), um grupo de diretores de várias escolas identificou maneiras específicas pelas quais acreditavam que podiam aprimorar o ambiente de aprendizado em suas escolas. Entre os métodos, estavam o aprimo-ramento do ritmo da instrução em resposta ao progresso dos alunos (ou falta dele), a verificação dos planos de trabalho e planejamento de aulas dos professores, o envolvimento dos alunos na confecção de materiais para o ensino e a realização de competições com tarefas de leitura e le-tramento em matemática entre os alunos (Acana, 2008).

A consideração das conclusões da pesquisa educacional pode con-tribuir para as discussões dos professores em reuniões de equipe e em outras ocasiões, como formas de lidar com os problemas identificados em uma avaliação nacional. Como é provável que os professores não estejam familiarizados com as conclusões da pesquisa, as páginas a seguir trazem um resumo das principais conclusões que podem contribuir para as discussões. As áreas relevantes para essas discussões são (a) pesquisas sobre a eficácia da escola (Quadro 6.7), (b) pesquisas sobre a eficácia dos professores (Quadro 6.8) e (c) pesquisas sobre o relacionamento entre o aprendizado dos alunos e fatores individuais relacionados com o aluno e sua família (Quadro 6.9).

QUADRO 6.7

Tópicos para Discussão: Resultados da Avaliação Nacional e Variáveis da Efi cácia da Escola

Em suas discussões, as escolas devem levar em conta os fatores a seguir, que foram qualificados pelas pesquisas como relacionados com a eficácia da escola:

Ambiente escolar organizado �Alta qualidade da liderança instrucional do diretor �“Cultura” ou “clima” escolar positivo (unidade de propósito, com enfoque no �aprendizado do aluno)Altas expectativas para o aproveitamento e comportamento dos alunos �Ambiente disciplinar forte �Motivação alta da equipe �Oportunidades para o desenvolvimento dos funcionários �Envolvimento dos pais �Coordenação e consistência da instrução entre as séries. �

Fontes: Lockheed e Verspoor, 1991; Reynolds e Teddlie, 2000.


QUADRO 6.8

Tópicos para Discussão: Resultados da Avaliação Nacional e Variáveis da Efi cácia do Professor

Em suas discussões, as escolas devem levar em conta os fatores a seguir, que foram classificados por pesquisas como relacionados com a eficácia do professor:

Conhecimento do assunto �Gestão e organização das salas de aula (por exemplo, para assegurar o mínimo �de interrupções)Práticas instrucionais (clareza do enfoque acadêmico, adequação do ritmo de ins- �trução ao nível do aluno, oportunidades para os alunos praticarem e aplicarem o que foi aprendido, cobertura adequada do currículo e oportunidades de aprendi-zado para os alunos)Capacidade de ensinar habilidades cognitivas de alto nível �Individualização da instrução �Aprendizado colaborativo que facilita o trabalho em grupo dos alunos �Altas expectativas de aproveitamento e comportamento comunicadas aos alunos �Disponibilidade e adequação dos recursos (livros didáticos e outros materiais ins- �trucionais)Monitoramento e avaliação do progresso dos alunos (uso e frequência de reforço �específico, perguntas que tenham nível de dificuldade adequado e que façam os alunos refletirem, organizarem e aplicarem o conhecimento, em vez de apenas recordar informações)Frequência e acompanhamento do dever de casa �Comparecimento �Tempo gasto na preparação da aula �

Crenças, percepções e pressupostos (incluindo � expectativas quanto ao aproveita-mento dos alunos).

Fontes: Brophy e Good, 1986; Fuller, 1987; Teddlie e Reynolds, 2000; Wang, Haertel e Wal-berg, 1993; Wenglinsky, 2002.

Os professores devem ter vários fatores em mente quando analisam a pesquisa. Primeiro, as conclusões são, em sua maioria, baseadas nos resul-tados de estudos realizados em países industrializados. O número menor de estudos realizados em países em desenvolvimento replica esses resul-tados em vários aspectos, com a exceção de que foi constatada uma cor-relação mais intensa entre o aproveitamento dos alunos e a qualidade dos professores e a disponibilidade de recursos (por exemplo, livros didáticos) (Reynolds, 2000). Segundo, os professores talvez sejam mais eficazes em algumas áreas do currículo do que em outras. Por exemplo, as habilidades


exigidas para ministrar aulas de arte ou ciências em laboratório podem ser diferentes das exigidas para ensinar linguagem e matemática (as áreas curriculares investigadas na maioria dos estudos de eficácia da escola). Terceiro, os professores talvez sejam mais eficazes com algumas categorias de alunos do que com outras (Campbell et al., 2004).

Eficácia da escola. Os fatores geralmente associados à eficácia no nível da escola (Quadro 6.7) destacam a importância do papel do diretor, além da importância de desenvolver uma cultura escolar que enfatize o aprendizado do aluno. Condições complementares, como a disciplina escolar e a condição psicológica, também figuram entre esses fatores. As discussões da equipe devem voltar-se para a relação entre as conclusões da avaliação nacional e os fatores da eficácia da escola que são mais rele-vantes para a situação da escola.

Eficácia do professor. Evidências empíricas disponíveis há mais de um século que citam o papel crucial que o contexto familiar dos alunos de-sempenha em sua habilidade para aprender podem, algumas vezes, ter levado pessoas a subestimar os efeitos das características da escola e, em particular, das práticas dos professores em sala de aula. Uma pesquisa

QUADRO 6.9

Tópicos para Discussão: Resultados da Avaliação Nacional e Fatores Individuais Relacionados com o Aluno e sua Família Associados ao Aprendizado do Aluno

Pesquisas indicam que características como as seguintes têm efeito significativo sobre o aproveitamento dos alunos:

Características dos alunos (motivação, engajamento com o aprendizado, condi- �ções de nutrição e doenças)Comparecimento �Nível educacional ou de renda dos pais �Apoio da família (ter altas expectativas para o aproveitamento escolar, envolver-se �no trabalho escolar, auxiliar no dever de casa, ler para as crianças ou pedir que elas leiam para membros da família e interagir com o professor)Exigências feitas ao aluno fora da escola (trabalho ou responsabilidade de cuidar �de outras crianças).



recente baseada em dados coletados na Avaliação Nacional do Progresso em Educação dos Estados Unidos usando análise estatística sofisticada questiona essa visão. As conclusões da pesquisa revelam que as práticas de sala de aula (por exemplo, o enfoque no ensino de habilidades cog-nitivas de alto nível, a aplicação de técnicas de resolução de problemas para problemas distintos e a individualização da instrução) afetaram o aproveitamento dos alunos em matemática na 8ª série pelo menos tão se-riamente quanto o contexto de origem dos alunos (Wenglinsky, 2002).

Os fatores identificados como tendo relação com a eficácia dos pro-fessores em suas salas de aula (Quadro 6.8) identificam o conhecimen-to dos professores sobre o assunto e suas habilidades pedagógicas. As condições instrucionais de importância especial incluem oportunidade para aprender, tempo gasto na execução da tarefa, ensino estruturado, avaliação e informações sobre o desempenho dos alunos, disponibilidade de recursos adequados e emprego de vários caminhos para a solução de problemas, a fim de acomodar a variação encontrada em qualquer sala de aula quanto ao conhecimento e à experiência dos alunos (Scheerens, 1998; Wenglinsky, 2002). A especificação de altas expectativas quanto ao aproveitamento dos alunos na sala de aula reforça a necessidade de al-tas expectativas no nível da escola (Quadro 6.7). A relação entre eficácia da escola e eficácia do professor também se expressa na necessidade de coordenar a instrução entre as séries. Portanto, as discussões da equipe escolar sobre a avaliação nacional devem considerar as implicações das conclusões para o ensino em todas as séries, em especial das séries abaixo daquela em que a avaliação foi realizada.

De maneira ideal, o mecanismo para alcançar mudanças nas práticas dos professores envolve revisões feitas pela equipe da escola para exa-minar e interpretar os dados do desempenho dos alunos e para desen-volver estratégias elaboradas que visam o aumento do aproveitamento dos alunos. O apoio dos inspetores, supervisores ou conselheiros será importante na medida em que os professores se esforcem para aplicar o que aprenderam em sala de aula. A mudança em sala de aula tem maior probabilidade de ocorrer e de ser mantida quando as seguintes condições específicas são atendidas (Elmore e Burney, 1999; Fullan, 2001; Reezigt e Creemers, 2005):


A natureza dos problemas (por exemplo, desempenho insatisfatório ��na divisão de decimais) e suas causas possíveis são esclarecidas.As necessidades de melhoria são identificadas e os objetivos específi-��cos são determinados (relacionados, por exemplo, ao aproveitamento em áreas específicas, atitudes, papel dos alunos no processo de apren-dizado, comparecimento às aulas).Um plano (com passos específicos) com áreas prioritárias para instru-��ção é desenvolvido para solucionar as deficiências identificadas.São definidas expectativas para o aproveitamento dos alunos.��São desenvolvidas estratégias com base nas discrepâncias identifica-��das entre a prática atual e a desejada.O progresso dos alunos é monitorado com regularidade.��O enfoque está na aplicação concreta de ideias gerais.��Os professores são expostos à prática real desejada, e não às descri-��ções da prática.São fornecidas oportunidades para que os professores interajam entre ��si e com os inspetores ou supervisores em uma cultura de trabalho colaborativa.Fazem-se uma avaliação e uma reflexão sobre o progresso na imple-��mentação do plano (por exemplo, para determinar se os objetivos foram alcançados).

É preciso observar os aspectos menos tangíveis de alguns dos itens especificados para a eficácia dos professores no Quadro 6.8. Se, como se afirmou, os sistemas de crenças subjacentes ao valor e propósito de um currículo e das expectativas e aspirações que os professores têm para seus alunos são mais importantes do que alterar detalhes de um currículo ou estratégias de ensino (Anderson, 2002; Robertson, 2005), então as estratégias para melhorar o aprendizado dos alunos precisam responder a um universo mais amplo de circunstâncias do que normal-mente é praticado.

Fatores do aluno, família e comunidade. Em suas discussões sobre as conclusões da avaliação nacional, os diretores e professores devem consi-derar as pesquisas sobre os fatores do aluno, da família e da comunidade


que afetam o aprendizado do aluno (ver Quadro 6.9). Se forem iden-tificados problemas relacionados com esses fatores, é possível indicar procedimentos elaborados para causar impacto indireto no desenvolvi-mento cognitivo dos alunos em outras áreas além do nível escolar ou de sala de aula. Entre as opções no nível do aluno, há o fornecimento de re-feições na escola ou suplementos para as deficiências nutricionais. Entre-tanto, tal provisão normalmente exigiria uma decisão em nível superior ou o envolvimento dos pais, porque uma escola sozinha provavelmente não tem a possibilidade de arcar com os custos envolvidos. Uma escola também não teria condições de fazer muito sobre os níveis de educação formal dos pais, porém pode aconselhar os pais sobre as características de um ambiente familiar que promova o aprendizado das crianças. Por exemplo, as conclusões da avaliação nacional do Vietnã (ver o Capítu-lo 2) sugeriram que os pais fossem aconselhados sobre a utilidade de providenciar um espaço reservado em casa para os alunos estudarem, bem como a necessidade de minimizar a ausência das crianças da escola (Banco Mundial, 2004).

Em sua análise das conclusões da avaliação nacional, os funcionários da escola também podem fazer uma reflexão sobre as maneiras de for-talecer a ligação entre a escola e a vida doméstica dos alunos. Escolas em muitos países têm laços formais com as famílias, embora, em alguns casos, eles existam apenas no nome. Os laços talvez precisem ser revi-gorados e desenvolvidos para desempenhar papel ativo no aumento do envolvimento das famílias em atividades que estimulem e promovam o aprendizado dos alunos. Há diversas estratégias existentes para esse fim. Entre elas, estão (a) o envolvimento dos pais na governança e apoio em nome da escola (por exemplo, em uma associação de pais e alunos ou no conselho de administração da escola); (b) a assistência dos pais nas atividades não instrucionais na escola; (c) a realização de workshops e palestras para discutir políticas escolares ou condições domésticas que promovam o aprendizado; e (d) a utilização de programas para envol-ver os pais (ou outros adultos) nas atividades de aprendizado em casa, incluindo aquelas direcionadas ao desenvolvimento de habilidades de resolução de problemas, pensamento crítico, conversação e supervisão de dever de casa (Kellaghan et al., 1993).


Fatores contextuais mais amplos, como as circunstâncias sociais e econômicas da comunidade atendida pela escola, também podem afetar o aprendizado dos alunos. Entretanto, esses fatores estão, em grande parte, fora do controle das escolas. Mesmo assim, é importante obter o apoio das figuras administrativas e políticas locais para o trabalho da escola, mesmo em comunidades com poucas condições econômicas. As comunidades talvez ajudem a cuidar das instalações da escola e a forne-cer recursos. É extremamente importante transmitir para a comunidade a mensagem de que as escolas oferecem oportunidade para o desenvolvi-mento e o avanço das crianças. As escolas devem refletir explicitamente essa crença nas atividades realizadas.

Planejamento de uma Intervenção

Quando o diretor e os professores chegam a um acordo sobre o caminho a ser seguido após uma discussão sobre as conclusões da avaliação nacio-nal, devem elaborar um plano para implementar várias estratégias des-tinadas a aprimorar o aprendizado dos alunos. O plano deve especificar o papel dos envolvidos e ser verificado com regularidade, para que seja feito o acompanhamento de sua implementação. O plano pode especifi-car, por exemplo, que o professor que tenha mais conhecimento sobre o ensino de redação compartilhe suas ideias com os colegas durante a reu-nião de equipe. O plano deve ser realista, levando em conta o tamanho da escola, a disponibilidade de recursos, as habilidades dos professores e a probabilidade de obter apoio das autoridades educacionais e membros da comunidade local. Em condições ideais, o plano deve especificar o seguinte (Reezigt e Creemers, 2005):

O tempo necessário para as atividades��As prioridades e ordem das atividades��As estratégias (por exemplo, workshops, coaching)��O envolvimento dos agentes externos e seus papéis e tarefas, se forem ��aplicáveisOs participantes da equipe que serão envolvidos e suas tarefas��


O papel e a autoridade dos membros da equipe que terão participa-��ção ativa (para evitar mal-entendidos posteriores)O papel idealizado para os alunos, pais e comunidade.��

CONCLUSÃO

O número e a complexidade dos fatores que afetam o aproveitamento dos alunos, representados em um gráfico preparado pela Comissão Na-cional de Exames de Uganda após uma série de avaliações nacionais (ver a Figura 6.3), destacam os desafios enfrentados por escolas e professores. Os cursos de desenvolvimento profissional certamente têm um papel a desempenhar na solução das deficiências que possam ser identificadas no conhecimento do assunto ou habilidades pedagógicas dos professo-res. Entretanto, é provável que seja necessário adotar outras iniciativas nas escolas caso se espere que elas assimilem as conclusões de uma ava-liação nacional e tomem providências com base nas conclusões. No caso das avaliações baseadas em amostra, o primeiro desafio é decidir qual é a relevância das conclusões da avaliação para cada escola. A seguir, caso se julgue que as conclusões são relevantes, ou se a escola foi identificada em uma avaliação baseada no censo, a escola tem a tarefa de elaborar estratégias que aprimorem o aproveitamento dos alunos – tarefa que, em geral, tem de ser realizada com recursos limitados. Este capítulo abordou as implicações das conclusões da avaliação nacional para o en-sino. Caso a avaliação nacional não identifique ações específicas a serem tomadas, a escola deve receber orientações para desenvolver estratégias mediante evidências fornecidas por pesquisas sobre eficácia da escola, eficácia do professor e papel das residências e comunidades no apoio ao aprendizado dos alunos.

Algumas conclusões da avaliação nacional podem apontar para mu-danças de abordagem que estão sob o controle das escolas e professores (por exemplo, mais tempo dedicado a assuntos específicos do currículo, mais atenção à análise do dever de casa dos alunos e maior ênfase nos co-mentários sobre o desempenho). Outras mudanças estão sob o controle dos pais (por exemplo, incentivar maior comparecimento à escola ou

FIG

UR

A 6

.3

Fato

res

que

Afe

tam

o A

pro

veit

amen

to: U

gan

da

Insp

etor

es e

agê

ncia

de p

adrõ

es d

eed

ucaç

ão m

onito

ram

o ap

rend

izad

ona

s es

cola

s

Idad

e d

os

alu

no

s

Alu

nos

entr

ampa

ra a

1ª

série

com

cer

cade

6 a

nos

Qu

alif

icaç

ãod

o p

rofe

sso

r

O p

rofe

ssor

tem

pelo

men

os d

iplo

ma

de g

rau

iii o

u gr

au v

ou

licen

ciat

ura

ou te

mdi

plom

a em

edu

caçã

o

Exp

eriê

nci

ad

o p

rofe

sso

r

Apó

s en

sina

r po

rce

rca

de c

inco

ano

s,o

prof

esso

r pa

rtic

ipa

de c

urso

s de

atua

lizaç

ãoco

m r

egul

arid

ade

Mét

od

os

de

ensi

no

Pro

fess

or p

erm

itequ

e al

unos

part

icip

emat

ivam

ente

das

ativ

idad

es e

msa

la d

e au

la

Gên

ero

do

sal

un

os

Men

inos

e m

enin

as

inte

rage

m e

m u

m

ambi

ente

aco

lhed

or

aos

gêne

ros

sem

est

ereó

tipos

Car

ga

ho

rári

a

Há

cert

aes

peci

aliz

ação

de

mat

éria

s em

nív

eles

cola

r pa

ra q

ue u

mpr

ofes

sor

não

leci

one

mai

s do

que

duas

mat

éria

s

Alm

oço

O a

luno

leva

alim

ento

s s

ólid

os,

além

de

min

gau

ou u

ma

bebi

dapa

ra o

alm

oço

nos

dias

de

aula

Prá

tica

de

aval

iaçã

o

O p

rofe

ssor

apl

ica

prov

as p

rogr

amad

as,

corr

ige-

as e

faz

com

entá

rios

sobr

eo

dese

mpe

nho

dos

alun

osem

seg

uida

Hab

ilid

ades

de

leit

ura

e e

scri

ta

Os

alun

os le

emliv

ros

didá

ticos

e ou

tros

livr

osco

mpl

emen

tare

s

Co

nd

içõ

es d

e m

ora

dia

do

pro

fess

or

O p

rofe

ssor

mor

ana

esc

ola

ou p

erto

dela

, em

um

a ca

saco

m p

elo

men

osdo

is c

ômod

os

Am

bie

nte

do

més

tico

Os

pais

prop

orci

onam

espa

ço e

tem

posu

ficie

ntes

à c

rianç

apa

ra o

dev

erde

cas

a

Ges

tão

do

tem

po

Dire

tor

enfa

tiza

a ge

stão

ade

quad

a do

tem

po p

or p

arte

do

s pr

ofes

sore

s e

alun

os

Par

tici

paç

ãod

os

pai

s

Os

pais

vis

itam

a es

cola

eac

ompa

nham

oco

mpa

reci

men

tona

s au

las

e o

trab

alho

em

sal

a

Mat

eria

is d

e en

sin

o

Os

pais

e o

Min

isté

rio d

aE

duca

ção

e do

sE

spor

tes

adqu

irem

mat

eria

is d

e en

sino

em q

uant

idad

esu

ficie

nte

Uso

de

mat

eria

isd

e en

sin

oD

ireto

rdi

spon

ibili

zam

ater

iais

eas

segu

ra q

uese

jam

util

izad

osco

m e

ficác

ia

Aco

mp

anh

amen

toe

sup

ervi

são

Font

e: A

cana

200

6. R

epro

duz

ido

med

iant

e p

erm

issã

o.


assegurar que o dever de casa seja feito). As autoridades do Ministério da Educação talvez precisem fornecer recursos humanos e financeiros (a) para determinar as implicações das conclusões de uma avaliação para a formação de professores e prática de sala de aula, (b) para comunicar as conclusões da avaliação para as escolas, (c) para auxiliar as escolas na interpretação das conclusões e sua relevância, (d) para orientar as escolas na implementação de estratégias, a fim de lidar com o aproveitamento insatisfatório dos alunos e (e) assegurar que apoio contínuo esteja à dis-posição das escolas na implementação das estratégias.

O resumo de atividades a seguir, se for implementado, pode servir para aumentar a influência de uma avaliação nacional na formação de professores e práticas de sala de aula:

Envolver os treinadores de professoras no desenho e implementação ��de uma avaliação nacional.Coletar informações relevantes sobre práticas de sala de aula nos ��questionários aplicados na avaliação nacional.Identificar e relatar as implicações das conclusões da avaliação na-��cional para os cursos normais de qualificação de professores e cursos durante o trabalho.Estimular o uso dos resultados pelos treinadores de professores e alu-��nos dos cursos de qualificação.Preparar relatórios não técnicos e fáceis de ler para os professores ��sobre os resultados da avaliação.Encorajar as escolas a analisarem a avaliação nacional e considerar ��suas implicações.Orientar os professores para considerarem os fatores relacionados ��com a escola e externos a ela como passíveis de influenciar o desem-penho dos alunos.Encorajar as escolas a aumentarem o envolvimento dos pais na edu-��cação de seus filhos.Encorajar as escolas e os professores a assumirem um número limi-��tado de mudanças factíveis na organização da instituição e em suas abordagens de ensino.Monitorar e avaliar os efeitos das mudanças que forem realizadas.��

C A P Í T U L O

7 CONCLUSÕES DA

AVALIAÇÃO NACIONAL

E CONSCIENTIZAÇÃO

PÚBLICA

Descrever o desempenho do sistema educa-cional pode ajudar a direcionar a atenção pública para as questões educacionais e es-

timular o debate nacional. Certamente, o público ficaria surpreso em saber, por exemplo, que o aproveitamento em leitura de uma grande proporção de alunos da 5a série é avaliado como inferior ao nível “pro-ficiente”. Embora os políticos possam às vezes acreditar que é de seu interesse controlar o fluxo desse tipo de informação, as vantagens de longo prazo de um sistema aberto de informações tendem a superar as desvantagens de curto prazo. Na melhor das hipóteses, as informações sobre o aproveitamento dos alunos pode contribuir para o debate so-bre educação, que, por sua vez, pode contribuir para um maior apoio público em relação às iniciativas de aperfeiçoar o sistema (Greaney e Kellaghan, 1996; Vegas e Petrow, 2008). Na verdade, a publicação dos resultados de uma avaliação nacional – mesmo de uma avaliação baseada em amostra – faz a operação ter consequências significativas, uma vez que atrai a atenção do público para informações sobre a qualidade das escolas, levantando, dessa forma, questões sobre a atribuição de respon-sabilidade (Chapman e Snyder, 2000).


A decisão de divulgar abertamente as conclusões da pesquisa (in-cluindo as avaliações nacionais) será determinada pelas considerações políticas e pelas práticas institucionais e cultura das elites responsáveis pela formulação de políticas (ver o Capítulo 1). Em algumas situações, as autoridades fornecem informações em níveis agregados nacionais (e regionais) de aproveitamento, mas não em nível de aproveitamento por escola ou aluno. Em outros casos, fornecem acesso aos dois tipos de informações. Entretanto, em outros casos ainda, as autoridades relutam em fornecer acesso a qualquer tipo de informação. Em alguns países, o acesso pode ser obtido mediante os procedimentos de liberdade de informação (ver Quadro 7.1). Na ausência de legislação sobre liberdade de informação, os governos talvez não considerem que o público tem o direito de conhecer os resultados das avaliações nacionais ou inter-nacionais. O governo Fujimori, do Peru, optou por não divulgar publi-camente os resultados de sua primeira avaliação nacional por questões políticas (Arregui e McLauchlan, 2005). Outros países que se recusaram a publicar ou atrasaram a publicação dos resultados em nível nacional de avaliações internacionais incluem o México (Ferrer e Arregui, 2003) e a Romênia (Gilmore, 2005). Várias razões foram apresentadas para justificar a não divulgação das informações, incluindo o receio de que as conclusões possam ser usadas para comparações entre as escolas no caso de avaliações baseadas no censo, que os pais não seriam capazes de compreender as informações da avaliação e que os resultados não seriam adequados do ponto de vista técnico (Ferrer, 2006).

A tradição e os acordos anteriores feitos com grupos, como sindica tos de professores, podem limitar o grau em que os resultados são divulga-dos publicamente. No Uruguai, por exemplo, os sindicatos de professo-

QUADRO 7.1

Leis sobre a Liberdade de Informação

Nem todos os países têm legislação que concede ao público o direito de acessar informações mantidas pelo governo. Apenas 68 de aproximadamente 195 países ti-nham leis de liberdade de informações em 2006.

Fonte: Banisar, 2006.


res, que, no início, se opunham ferrenhamente ao conceito de avaliação nacional, concordaram, após deliberações com o Ministério da Educa-ção, em implementar uma série de ações após uma avaliação baseada no censo (Quadro 7.2) que não promoveram ampla conscientização da população, mas que foram eficazes ao fornecer informações para o trei-namento de professores durante o trabalho.

Esforços especiais podem ser necessários para atrair a atenção pública no caso de uma avaliação nacional baseada em amostra. É claro que esse tipo de avaliação não atrai a mesma atenção da mídia do que um estudo internacional que comenta o desempenho de um país em relação ao de-sempenho de outros países, embutidos em manchetes como “Suécia tem Nível de Países em Desenvolvimento” (Husén, 1987) e “Alunos da Áfri-ca do Sul em Último lugar em Matemática e Ciências” (Monare, 2006). As avaliações nacionais baseadas no censo também tendem a atrair mais atenção da mídia do que as avaliações baseadas em amostra quando são publicadas informações (o que, em geral, acontece) sobre o desempenho de escolas individuais.

QUADRO 7.2

Acordos para a Divulgação dos Resultados da Avaliação Nacional: Uruguai

No Uruguai, os sindicatos de professores concordaram com os passos a seguir para permitir a divulgação dos resultados da avaliação nacional:

Os resultados da avaliação nacional serão divulgados em um workshop para ins- �petores da escola primária.A mídia tem permissão para participar do workshop e pode receber os resultados �em nível nacional.Os resultados individuais das escolas não serão divulgados e estarão disponíveis �apenas para os inspetores e diretores.Os pais de alunos podem solicitar os resultados da escola ao diretor. �Não será permitida a publicação de tabelas de classificação das escolas. �Os resultados serão devolvidos imediatamente às autoridades escolares (o padrão �é 40 dias após sua aplicação).Os professores de sala de aula não devem ser responsabilizados pelo aproveita- �mento de seus alunos.As pontuações devem ser interpretadas levando-se em conta os fatores sociocul- �turais pertinentes.

Fontes: Benveniste, 2000; Ravela, 2005.


EXEMPLOS DO USO DOS RESULTADOS DA AVALIAÇÃO

PARA INFORMAR O PÚBLICO

Os Ministérios da Educação reconhecem cada vez mais a importância da divulgação dos resultados das avaliações nacionais. Reconhecem que as conclusões de uma avaliação podem ter a função de “esclarecimento”, não apenas para os formuladores de políticas e responsáveis pela decisão (ver o Capítulo 5), mas também para o público, possibilitando a iden-tificação e a reflexão dos problemas na educação. Na América Latina, informar o público sobre os níveis de aproveitamento dos alunos passou a ser considerado uma consequência importante da avaliação nacional (Arregui e McLauchlan, 2005). Na Argentina, ao usar os resultados do aproveitamento dos alunos, o governo nacional empenhou-se em for-necer ao público evidências de que o sistema educacional estava em crise – uma crise que exigia reformas abrangentes contidas na lei federal (Benveniste, 2002).

No Chile, onde os resultados da avaliação nacional são usados para criar redes de apoio na sociedade civil, a publicação anual dos resul-tados tem contribuído para fazer da educação uma questão relevante nos interesses públicos (Benveniste, 2002). Ainda no Chile, a publici-dade sobre a relação entre a situação socioeconômica dos alunos e seu aproveitamento aumentou a exigência da sociedade por equidade. Em termos mais concretos, a ação compôs a base para políticas voltadas para abordar as inequidades no sistema educacional (Meckes e Carras-co, 2006).

Em outras partes do mundo, as equipes de avaliação nacional fazem esforços consideráveis para informar o público sobre a avaliação, às ve-zes com muitos detalhes. Tanto na Inglaterra quanto nos Estados Uni-dos, por exemplo, embora existam diferenças radicais nas estratégias de avaliação, há websites abrangentes sobre os programas de avaliação. Os governos dos dois países usam os sites para suplementar suas políticas de avaliação e para informar o público sobre a qualidade da educação. O site baseado em amostra para a Avaliação Nacional do Progresso em Educação dos Estados Unidos (http://nces. ed.gov/nationsreportcard) traz informações sobre as avaliações nacionais atuais e passadas, uma


seção destinada aos pais, detalhes sobre as matérias avaliadas, incluin-do os modelos estruturais das matérias, o cronograma de avaliação e as amostras dos itens (ver Quadro 3.6). O guia para os pais traz informa-ções sobre como os alunos são selecionados para a avaliação e quanto tempo o teste leva, além de noticiar quais dados individuais sobre alunos e escolas não são divulgados. O site para a avaliação baseada no censo na Inglaterra (http://www.direct.gov.uk/en/Parents/School slearningand-development/ExamsTestsAndTheCurriculum/) descreve as provas e as avaliações dos professores.

A implementação consistente das avaliações nacionais, em conjunto com a publicação regular dos resultados, tende a aumentar a conscienti-zação da população (Meckes e Carrasco, 2006). Os comentários de figu-ras relevantes sobre as conclusões da avaliação também tendem a elevar a conscientização da população. Nos Estados Unidos, após a divulgação dos resultados das Tendências Internacionais no Estudo de Matemática e Ciências da 8a série, o secretário de Educação dos Estados Unidos co-mentou: “Não podemos esperar sermos os líderes mundiais em matemá-tica e ciências se quem ensina os alunos de geometria são os professores de história e se quem ensina os alunos de química são os professores de educação física (Riley, 2000). Embora os comentários tenham sido fei-tos após uma avaliação internacional, têm fundamento em observações sobre o cenário nacional e podem facilmente ter sido encorajados pela avaliação nacional.

O PAPEL DA MÍDIA

A mídia é uma fonte expressiva de informações sobre as avaliações na-cionais para o público. Na Alemanha, os jornais tiveram um papel de destaque ao chamar a atenção pública e em nível de formulação de po-líticas após a análise do desempenho do país no Programa Internacional de Avaliação de Alunos (PISA). Transcorrido um mês da divulgação dos resultados do PISA de 2000, os jornais alemães haviam dedicado cerca de 687 páginas ao tema, um número muito mais elevado do que o registra-do em outros países (OCDE e Projeto INES, Network A, 2004). Apesar


de o estudo ter enfoque internacional, as conclusões foram usadas para identificar as principais diferenças inesperadas em aproveitamento entre os 16 estados (Länder) do país, encorajando o debate sobre o papel da educação fornecida nas escolas alemãs. Interpretou-se também que os resultados forneciam evidências de desigualdade social. A reação pública e política provocou reformas que incluíram a introdução de padrões e medidas comuns entre os 16 estados, a preparação de um relatório anual comum sobre educação no país e o aumento do número de horas de instrução escolar (Rubner, 2006).

Apesar de a mídia ter papel fundamental na divulgação das conclu-sões, é possível prever os problemas na maneira como a mídia as divul-ga. Alguns repórteres responsáveis pela cobertura das avaliações nacio-nais (e internacionais) parecem mais interessados em conclusões que venham a denegrir o sistema educacional do que naquelas que tenham reflexo positivo. Outros procuram causar sensacionalismo ou distorcer elementos das conclusões. Outro problema possível de ocorrer com a mídia é que estudos de qualidade medíocre podem atrair tanta aten-ção quanto estudos de boa qualidade. Logo, os estudos realizados por um número reduzido de escolas (ou mesmo em uma escola) podem ser tratados com a mesma seriedade daqueles baseados em amostras representativas de alunos.

Em alguns aspectos, a cobertura de tópicos da avaliação nacional na mídia foi sofisticando-se com o tempo. Em vez de pontuações percen-tuais, os resultados tendem a ser comunicados em função dos níveis de proficiência dos alunos (por exemplo, “adequado”, “proficiente”, “su-perior”). As tendências de aproveitamento são comunicadas quando é apropriado e os resultados podem ser categorizados por região, gênero e situação socioeconômica.

DESENVOLVIMENTO DE UMA ESTRATÉGIA DE COMUNICAÇÃO

Um procedimento para assegurar que as conclusões da avaliação nacio-nal tenham o máximo de influência exige uma estratégia de comunica-ção que compreende vários passos (ver o Quadro 7.3).


QUADRO 7.3

Procedimentos para Maximizar o Impacto das Conclusões da Avaliação Nacional

Seguir uma estratégia de comunicação, como a apresentada a seguir, pode ajudar a maximizar o impacto de uma avaliação nacional:

Chegar a um consenso sobre um número definido de mensagens-chave que serão �divulgadas com consistência por porta-vozes oficiais.Prever perguntas e redigir respostas-padrão. �Prever como os jornalistas e grupos de interesse podem tentar distorcer as men- �sagens-chave e elaborar estratégias para lidar com o problema.Desenvolver mecanismos para monitorar a cobertura pública e particular dos re- �sultados do estudo, a fim de ajustar a mensagem pretendida onde for adequado e reagir ao seu uso equivocado quando ocorrer.Desenvolver estratégias para lidar com as interpretações distorcidas das conclu- �sões.


Como os sistemas de avaliação nacional geram milhares de conclu-sões individuais, o primeiro passo para o desenvolvimento de uma es-tratégia de comunicação pode às vezes ser irregular: concentrar todas as conclusões em algumas mensagens-chave que possam ser comunicadas com consistência a todos os porta-vozes e que serão incluídas em todos os documentos resumidos, como comunicados de imprensa. Se for con-cebida e executada adequadamente, a estratégia de divulgação alertará o público-alvo para a disponibilidade das informações sobre a avaliação nacional e os encorajará a buscar mais detalhes. O objetivo da estraté-gia é a gestão criteriosa das primeiras impressões sobre os resultados da avaliação nacional.

Partindo-se da premissa de que o interesse foi despertado, o passo seguinte é assegurar que os públicos-alvo recebam respostas simples, e não técnicas para qualquer pergunta feita sobre o significado das conclu-sões principais e para as perguntas-padrão feitas pelos jornalistas: quem, o que, quando, onde, por que, como e quanto? As respostas devem ser preparadas, analisadas quanto à exatidão das informações técnicas, revi-sadas por pessoas sem formação técnica para verificar se estão claras e ensaiadas por todos os porta-vozes oficiais antes de sua divulgação.


As equipes nacionais de estudo também precisam prever como os jornalistas e grupos de interesse tentarão distorcer as mensagens-chave para servir aos seus interesses pessoais. Os jornalistas podem tentar in-duzir os porta-vozes a tirar conclusões não fundamentadas ou a fazer julgamentos de valor sobre as conclusões. A fim de se preparar para esta possibilidade, os porta-vozes oficiais devem passar por um treinamento para lidar com a mídia, se for praticável, e participar de simulações de entrevista com um colega que faça as vezes de jornalista “hostil”.

As mensagens-chave devem ser elaboradas de maneira que impeça os grupos de interesse e jornalistas de fazer afirmações que não possam ser respaldadas pelas conclusões. Caso uma equipe nacional de estudos seja solicitada a comentar as declarações feitas por terceiros, em uma tentativa de criar uma situação de conflito, a ação mais segura é evitar fazer comentários sobre a interpretação das conclusões por terceiros e aproveitar a oportunidade para reforçar as mensagens-chave. A única exceção é quando terceiros, sejam eles jornalistas ou grupos de interesse, cometem erros factuais. Nestes casos, a equipe nacional de estudos deve reagir o mais rápido possível.

A reação a interpretações incorretas pressupõe que há um mecanis-mo vigente por meio do qual é possível relacionar as respostas ao estudo. As equipes nacionais de estudos precisam organizar dois sistemas para-lelos: um para monitorar a cobertura pública do estudo e o outro para monitorar a cobertura privada.

A cobertura pública pode ser monitorada de várias maneiras. Em muitos países, é possível adquirir os serviços de uma agência de clipping que rastreia os principais canais de mídia em busca de menções e apre-senta um relatório detalhado. Uma alternativa de menor custo é pedir aos integrantes da equipe que monitorem os canais de mídia.

O monitoramento da cobertura particular é mais difícil, porém, com frequência, mais importante. Ele é realizado com mais eficácia por meio da comunicação pessoal com alguns usuários relevantes, por telefone ou pessoalmente, com o objetivo de coletar respostas sinceras. É útil fazer uma lista dos problemas que surgem. Estas listas devem ser verificadas e discutidas em intervalos regulares – com frequência, no período ime-diatamente posterior à divulgação dos principais produtos e com menor


frequência depois. O objetivo da revisão é decidir como as mensagens-chave precisam ser ajustadas e lidar com erros factuais com iniciativa e rapidez. Os gestores da avaliação nacional devem indicar um responsá-vel para gerenciar esta atividade.

CONCLUSÃO

As conclusões da avaliação nacional são geralmente reconhecidas como tendo o potencial de informar a opinião pública, elevar o nível de cons-cientização sobre os temas educacionais e fortalecer o apoio para os es-forços de melhoria do sistema educacional. Contudo, por várias razões, ainda há variações entre os países quanto à extensão de seus esforços para divulgar os resultados da avaliação ao público. Primeiro, a tradição de um país talvez favoreça uma abordagem fechada, ao invés de aberta, para a divulgação de informações obtidas por uma agência governamen-tal. Segundo, uma avaliação talvez seja projetada com o objetivo prin-cipal de fornecer informações para gestores educacionais e professores, e não para o público. E terceiro, a falta de divulgação pode refletir nada mais do que a falta de interesse, a falta de um plano de implementação ou a falha inicial de não ter sido feito um orçamento para divulgação.

Mesmo quando as conclusões da avaliação são divulgadas, elas podem não alcançar o propósito de informar a opinião pública porque os relató-rios têm teor excessivamente técnico, apresentam resultados estatísticos demais, ou não são compreendidos pelo público. Quando as conclusões da avaliação nacional são divulgadas para a mídia, os jornalistas e edito-res têm o papel relevante de determinar as questões e o conteúdo que serão publicados, e como o público e os formuladores de políticas inter-pretarão essas conclusões (Stack, 2006). Uma análise da cobertura jor-nalística da Avaliação Nacional do Progresso em Educação dos Estados Unidos, entre o período de 1990 a 1998, sugere que os jornais tendem a (a) confiar profundamente nas informações contidas no comunicado de imprensa, (b) concentrar-se profundamente em alguns pontos, em vez de apresentar uma cobertura mais generalizada, (c) apresentar as classificações estaduais, (d) usar gráficos e tabelas, (e) demonstrar pou-co interesse nas questões de validade da prova e (f) ter problemas para


compreender e comunicar os conceitos relacionados com os níveis de leitura e alguns termos estatísticos (por exemplo, significância estatísti-ca, percentis) (Hambleton e Meara, 2000).

QUADRO 7.4

Capa do Encarte da Avaliação Nacional: Etiópia

Fonte: Agência Educacional de Garantia da Qualidade e de Exames da Etiópia, 2007. Repro-duzido mediante permissão.

A Terceira Avaliação Nacional de Aprendizado da Etiópia foi realizada no ano acadêmico de 1999 pelo calendário etíope (2006/2007) e abrangeu alunos das 4ª e 8ª séries em todas as regiões do país. Mais de 500 escolas e cerca de 23 mil alunos e seus professores participaram do estudo. Este é um relato em perspectiva sobre o projeto, relacionado com seu propósito, desenho e principais conclusões.

O estudo atual usou procedimentos e instrumentos relativamente semelhantes aos da Segunda Avaliação Nacional de Aprendizado da Etiópia. Na 4ª série, uma amostra total de 11.373 alunos de 305 escolas em todas as regiões participou do estudo. Na 8ª série, uma amostra de 10.806 alunos de 280 escolas em todas as regiões foi envolvida no estudo. Com o objetivo de gerar dados sobre os fatores que determinam o aproveitamento escolar, foram incluídos 832 professores e 305 diretores de escola na 4ª série. Já na 8ª série, foram envolvidos 1.242 professores e 280 diretores de escola. No estudo qualitati-vo, 312 alunos, 311 professores e 286 pais de alunos participaram das discussões do grupo de foco.

O objetivo principal dos dois estudos foi fornecer informações sobre os aproveitamen-tos no aprendizado de alunos da 4ª e da 8ª séries e identificar os principais fatores que influenciam o aproveitamento acadêmico. As abordagens quantitativa e qualitativa de pesquisa foram empregadas para alcançar o objetivo.

Determinar o aproveitamento escolar dos alunos da 4ª série em inglês, matemática, ciências ambientais e leitura na lingual materna;

Determinar o aproveitamento escolar dos alunos da 8ª série em inglês, matemática, biologia, química e física;

Avaliar a atitude dos alunos em relação a alguns dos fatores afetivos do sistema educacional; e

Oferecer aos formuladores de políticas e demais interessados as conclusões e reco- mendações sobre os aproveitamentos escolares dos alunos da 4ª e da 8ª series nas disciplinas avaliadas.

VISÃO GERAL

Destaque na Terceira Avaliação Nacionalde Aprendizado da Etiópia

PROPÓSITO DO ESTUDO

1.

2.

3.

4.

Já que é importante fazer com que os responsáveis pela disseminação das conclusões da avaliação nacional prevejam os problemas com a mí-dia, devem ser preparados comunicados de imprensa direcionados; além disso, pessoas especializadas em avaliação devem estar disponíveis para conceder entrevistas. A fim de ajudar a evitar interpretações simplis-


tas, como as que atribuem o aproveitamento a uma única variável (por exemplo, tamanho da turma, frequentar uma escola particular, tempo gasto vendo televisão), a equipe de avaliação nacional deve destacar as limitações dos dados.

No futuro, o acesso público aos resultados da avaliação nacional ten-de a ser aprimorado por meio de notas informatizadas para a mídia, a utilização de outras formas de apresentações públicas e a produção de vídeos e websites exclusivos com esse fim. Há uma grande variedade de canais de mídia disponíveis para esse fim, incluindo os jornais de cir-culação nacional e local, debates parlamentares, artigos de revistas, en-cartes, programas de rádio e programas de televisão (ver, por exemplo, o Quadro 7.4). As publicações direcionadas aos professores, seminários e reuniões, além de newsletters, encartes, periódicos especializados e conferências podem atender aos interesses de grupos de interesses espe-cializados, como os professores.

C A P Í T U L O

8 A BUSCA PELA

OTIMIZAÇÃO DO USO E

VALOR DAS AVALIAÇÕES

NACIONAIS

A revisão feita por este livro sobre os usos das conclusões de uma avaliação nacional mos-tra que as avaliações em muitos países têm

oferecido evidências empíricas sobre o grau de sucesso dos sistemas edu-cacionais naquilo em que foram concebidos para fazer: promover o de-senvolvimento de todos os alunos e proporcionar o conhecimento e as habilidades básicas que necessitarão em suas carreiras educacionais futu-ras e posteriormente. Ao descrever como o aproveitamento está distri-buído no sistema educacional, as avaliações nacionais também levantam questões sobre o grau em que os princípios fundamentais relacionados com acesso, qualidade, eficiência e equidade governam o funcionamento do sistema. Chegou-se a esse questionamento por meio do fornecimento de evidências sobre o grau em que os níveis gerais de aproveitamento fi -cam abaixo das expectativas, sobre o insucesso de muitos alunos em ad-quirir competências básicas após vários anos de escolaridade e sobre as diferenças em termos de aproveitamento associadas ao gênero, local de residência e circunstâncias domésticas dos alunos. Além disso, a mudan-ça do enfoque de insumos para produtos quando se trata da qualidade da educação serve para chamar a atenção não apenas da comunidade educacional, mas também dos políticos e do público sobre a importância


de assegurar que os alunos aprendam como resultado de sua experiência educacional.

Após a consulta aos relatórios das avaliações nacionais em todo o mundo, é sensato concluir que o nível de aproveitamento revelado pe-las avaliações não é considerado satisfatório. Apesar disso, alguns países não realizam ações corretivas após a avaliação. Algumas ações foram executadas em outros países, incluindo a provisão de recursos e opor-tunidades de desenvolvimento profissional para os professores. Em um número reduzido de países, sanções foram vinculadas ao desempenho dos alunos, apesar das prováveis consequências indesejáveis e talvez não propositais associadas à prática. A elaboração de uma resposta adequada às conclusões da avaliação nacional ainda é um grande desafio para os formuladores de políticas e gestores educacionais em todo o mundo.

Dada a complexidade dos procedimentos (políticos e técnicos) exi-gidos, não causa surpresa a dificuldade de responder adequadamente às conclusões de uma avaliação nacional. É possível indicar ações em vários níveis do sistema educacional: formuladores de políticas governamen-tais, administrações centrais (regionais e locais), escolas e professores em sala de aula. É possível também identificar desafios mais específicos. Existem questões remanescentes em muitos países sobre a qualidade dos dados da avaliação nacional e, portanto, do nível de confiança que pode ser depositado nas conclusões.

Talvez falte a capacidade ou a vontade política – ou ambos – para usar as conclusões da avaliação. As conclusões da avaliação talvez não sejam comunicadas aos interessados, e mesmo quando o são, talvez não influenciem a política e a tomada de decisão em nível macro ou na prática de sala de aula em nível micro. Alguns desses problemas, se não todos, podem ser corretamente atribuídos ao não envolvimento dos principais formuladores de políticas no desenho da avaliação, à novidade das avaliações nacionais, à falta de habilidades técnicas necessárias para realizar uma avaliação (habilidades escassas em muitos países) e à falta de capacidade das escolas de responderem aos desafios apresentados pe-las conclusões da avaliação nacional.

Este capítulo apresenta uma lista de tarefas (que podem ser usadas como uma lista de verificação) que podem ser realizadas em uma ava-


liação nacional para otimizar o uso das conclusões. Aborda ainda nove maneiras de modificar ou expandir as atividades da avaliação nacional para descrever o aproveitamento dos alunos, que, por sua vez, devem proporcionar uma base mais segura para a formulação de políticas e a tomada de decisão.

OTIMIZAÇÃO DO USO DAS CONCLUSÕES

DA AVALIAÇÃO NACIONAL

A revisão deste livro para as experiências da avaliação nacional sugere que, para otimizar as conclusões, os formuladores de políticas e gestores do Ministério da Educação prestem atenção às seguintes tarefas:

Missão

Esclarecer, desde o início, qual é o propósito de uma avaliação nacional ��– que é obter informações sobre os produtos do sistema educacional representados pelo aproveitamento dos alunos visando:

Apresentar informações sobre as políticas e a prática.�−Aprimorar a qualidade do aprendizado dos alunos com enfo-�−que no desenvolvimento de habilidades cognitivas de alto nível (que envolvem raciocínio, capacidade de identificar e resolver problemas e capacidade de realizar tarefas não rotineiras), com-preendendo as necessidades de uma economia global competi-tiva baseada em informações.Identificar os problemas no atual sistema de educação e as ma-�−neiras de solucioná-los.

Contexto para Uso

Desenvolver capacidade institucional para assimilar e utilizar as in-��formações fornecidas por uma avaliação nacional.


Integrar as avaliações nacionais em estruturas, políticas e processos de ��tomada de decisão existentes e canais de distribuição de recursos.Promover a conscientização de que as avaliações nacionais trazem ��informações que podem ser usadas para aprimorar a qualidade do aprendizado dos alunos.

Realização de uma Avaliação Nacional

Envolver os formuladores de políticas e responsáveis pela decisão e ��outros interessados na elaboração de uma avaliação nacional, a fim de assegurar que ela contemple seus interesses.Assegurar que os responsáveis pelos aspectos técnicos de uma ava-��liação nacional tenham as competências necessárias relacionadas ao desenvolvimento de instrumento, amostragem, análise e elaboração do relatório.Assegurar que os responsáveis pela administração de uma avaliação ��nacional nas escolas sigam os procedimentos corretos.

Descrição das Conclusões

Descrever o aproveitamento dos alunos em grau de detalhamento ��suficiente para atender às necessidades dos usuários em potencial, visando o diagnóstico de problemas no sistema educacional.Identificar os fatores associados ao aproveitamento alto ou baixo.��

Comunicação das Conclusões

Fornecer informações sobre o aproveitamento dos alunos aos polí-��ticos, formuladores de políticas e gestores educacionais em tempo hábil e em formato inteligível, e motivá-los a incorporar as evidências obtidas na avaliação em sua formulação de políticas e tomada de de-cisão.


Fornecer relatórios específicos da avaliação nacional direcionados para ��as necessidades dos usuários em potencial (autoridades de desenvol-vimento curricular, supervisores, inspetores e orientadores, treinado-res de professores, autores de livros didáticos, escolas e professores).Fornecer informações sobre as conclusões de uma avaliação nacional ��para a mídia e o público.

Formulação de Política e Programas ou Intervenções

Envolver os interessados no estudo das conclusões da avaliação, na ��definição de prioridades para a formulação de políticas e de progra-mas direcionados para o aprendizado dos alunos, e na elaboração de estratégias que reflitam as políticas, levando em conta outras evidên-cias relevantes (por exemplo, as conclusões de pesquisas educacionais e as opiniões de inspetores, orientadores e supervisores escolares).Na formulação de políticas, levar em conta valores, pressões e res-��trições impostas por interesses particulares e utilizar as estruturas existentes no sistema educacional (por exemplo, um mecanismo para os gestores negociarem com os sindicatos), de forma a obter consenso ou um acordo na identificação de ações a serem em-preendidas.

Implementação de Políticas e Programas ou Intervenções

Desenvolver critérios a partir das conclusões da avaliação nacional ��para a seleção de escolas ou grupos populacionais que receberão apoio especial e trabalhar junto com as escolas e comunidades envol-vidas no desenvolvimento de programas e estratégias para aprimorar o aprendizado.Compreender o conceito de “melhor prática” na elaboração de in-��tervenções (por exemplo, melhor prática para oferecer treinamento durante o trabalho para professores).


Identificar agentes para implementar programas ou intervenções que ��forem elaboradas após uma avaliação nacional e descrever suas tarefas (por exemplo, inspetores, orientadores de cursos durante o trabalho, diretores de escola).Fornecer apoio contínuo para os envolvidos no desenvolvimento e ��na implementação de estratégias que visem solucionar os problemas identificados na avaliação.

Monitoramento dos Efeitos

Monitorar as mudanças nas políticas e intervenções, a fim de deter-��minar se afetaram o aprendizado dos alunos.

DESENVOLVIMENTO DE AVALIAÇÕES NACIONAIS

PARA AUMENTAR SEU VALOR

Esta seção descreve nove maneiras de modificar ou aprimorar as ativida-des de avaliação nacional para aumentar seu valor perante os usuários.

Informações Detalhadas sobre o Aproveitamento

Como já mencionado no Capítulo 1, um dos objetivos da avaliação na-cional é fornecer evidências de pontos fortes e pontos fracos no conheci-mento e habilidades dos alunos. Entretanto, o número de itens incluídos nas provas de muitas avaliações nacionais é reduzido demais para permi-tir a estimativa de desempenho ou áreas específicas de aproveitamento. A fim de aumentar o número de itens para os quais uma avaliação pode obter dados sem sobrecarregar os alunos, muitas avaliações nacionais (e internacionais) fazem uma alternância de projeto de livreto (Beaton, 1994). Há vários projetos disponíveis, mas suas características essenciais são (a) de que a prova feita pelos alunos inclua apenas uma parcela de todos os itens contidos na avaliação e (b) de que a inclusão de itens em


comum em vários livretos possibilite que o desempenho dos alunos em cada teste possa ser relacionado a uma escala comum.

Os administradores de avaliação nacional, principalmente nos pri-meiros anos de operação de uma avaliação, talvez prefiram que os alunos respondam ao mesmo livreto de provas e se mostrem relu-tantes em adotar uma alternância de projeto de livreto, por conta da complexidade envolvida na preparação e aplicação de instrumentos de avaliação e realização de análises. Entretanto, com o objetivo de fornecer informações mais detalhadas sobre o aproveitamento, reco-menda-se que eles procurem realizar essa alternância à medida que adquirem experiência.

Informações sobre as Características dos Alunos Relacionadas com o Aproveitamento

Algumas avaliações nacionais (e internacionais) têm coletado informa-ções sobre as características dos alunos associadas com o aproveitamento em áreas curriculares. Como exemplo, na avaliação nacional do Chile foram coletados dados sobre o autoconceito dos alunos, atitudes em re-lação à escola e ao aprendizado e relações com os colegas e em socieda-de. Entretanto, os dados não foram considerados de grande utilidade e a prática foi interrompida (Himmel, 1996).

O Capítulo 1 abordou a dificuldade de se obterem estimativas con-fiáveis sobre essas variáveis, bem como problemas no estabelecimento do sentido de casualidade entre eles e as métricas de aproveitamento escolar. Mesmo assim, estudos recentes têm tido sucesso em identificar as variáveis que avaliam as estratégias de aprendizado dos alunos (por exemplo, autorregulação, autoconfiança, engajamento e motivação) (ver Artelt et al., 2003; Postlethwaite, 2004a), que foram identificadas como relacionadas significativamente com o aproveitamento dos alunos nas áreas de ensino. Essas variáveis merecem maior consideração nas avaliações nacionais que buscam identificar correlatos importantes do aprendizado.


Informações sobre as Condições de Aprendizado nas Salas de Aula

A maioria das avaliações nacionais coleta dados sobre antecedentes e contextos sobre as experiências dentro e fora da escola dos alunos. Em alguns casos, são coletados dados de relevância questionável. Em ou-tros, a análise não os explora completamente. Na maioria dos casos, não é possível identificar os aspectos mais significativos da experiência dos alunos sobre seu aprendizado escolar.

O efeito de uma avaliação nacional seria enriquecido se houves-se maior cuidado na elaboração de questionários sobre antecedentes e contextos: por exemplo, se as necessidades de informações dos usuários potenciais foram identificadas e, em especial, se houve mais atenção à obtenção de informações sobre a prática em sala de aula (ver Anderson e Morgan, 2008, Volume 2 desta série). Até o momento, por exem-plo, medidas de cobertura do conteúdo no ensino (oportunidade para aprender), que contribuíram para explicar o aproveitamento dos alunos em estudos internacionais, não receberam muita atenção em avaliações nacionais.

Identificação de Escolas que Devem Passar por Intervenção após uma Avaliação Nacional

O problema de identificar escolas de desempenho insatisfatório a partir de uma avaliação nacional baseada em amostra levou formuladores de políticas em alguns países a cogitar a mudança para uma avaliação ba-seada no censo. A questão tem relevância especial em países nos quais a avaliação nacional foi introduzida para fornecer informações sobre o aprendizado após a extinção de um exame público ao término do ensino primário. A expansão de uma avaliação nacional para incluir todas as escolas e alunos (ou a maioria) acabaria por atribuir à avaliação algumas das funções de um exame público. Antes de enveredar por esse cami-nho, as autoridades do ministério devem analisar criteriosamente a com-plexidade e os custos adicionais envolvidos em uma avaliação ba seada


no censo e, em especial, os efeitos que podem ser previstos se forem vinculadas sanções ao desempenho da escola, dos professores ou dos alu-nos. As autoridades também devem considerar alternativas, incluindo o desenvolvimento das competências dos profissionais ligados à educação (principalmente inspetores, orientadores ou supervisores), para identi-ficar as escolas que necessitam de assistência. É possível que procedi-mentos mais formais do que aqueles adotados em muitos países sejam necessários, envolvendo, por exemplo, a aplicação de testes aos alunos (usando provas padronizadas se houver a possibilidade) pelos professo-res e o uso de escalas padronizadas de pontuação pelos supervisores.

Análises Secundárias

Haverá pouco tempo para preparar os relatórios iniciais de uma avalia-ção nacional. Além disso, para serem inteligíveis aos clientes, é possível que os modelos e métodos de análise sejam menos complexos do que os usados em pesquisas mais básicas. Por algum motivo, a riqueza de dados fornecida por uma avaliação nacional provavelmente não será explorada em sua totalidade. Nessa situação, fica claro que a disponibilização de dados para análises posteriores traz várias vantagens (ver o Capítulo 3). De forma ideal, as análises secundárias devem estar previstas no desenho de uma avaliação.

Uso de um Desenho de Coleta de Dados Longitudinais em uma Avaliação Nacional

Em muitas avaliações nacionais, os dados sobre antecedentes e contextos (por exemplo, sobre os alunos, suas escolas, residências e comunidades) são coletados ao mesmo tempo em que os dados sobre o aproveitamen-to dos alunos. Esse método apresenta duas desvantagens. Primeiro, é difícil fazer inferências sobre relações causais a partir de análises em que os dados sobre aproveitamento estão relacionados com os dados sobre antecedentes e contextos. Segundo, o impacto “líquido” das experiên-


cias educacionais dos alunos, que representa os produtos que podem ser diretamente atribuídos a essas experiências, não pode ser distinguido do impacto “bruto”, que reflete, além do impacto líquido, outras influências sobre o aproveitamento dos alunos (por exemplo, sua herança genética, o aproveitamento ao entrar na escola e o apoio e a assistência recebidos em casa e na comunidade). Esses problemas podem ser abordados (pelo menos até certo grau) se forem coletados dados sobre os alunos em mais de um momento (dados longitudinais). As características de cada aluno que foi avaliado em um momento anterior, incluindo seus aproveita-mentos anteriores e dados sobre seu contexto de origem, são levadas em conta para estimar o aproveitamento em um ponto futuro e determinar o “valor” que as experiências específicas dos alunos na escola “agrega-ram” ao seu progresso (Linn, 2005b).

Nas avaliações nacionais da África francofônica (Programa de Análise dos Sistemas de Educação de CONFEMEN, ou PASEC – Programme d'analyse des Systemes Éducatifs de la Confemen), os alunos foram ava-liados no início e no final do ano acadêmico, para que fosse obtida uma estimativa do aumento de seu aproveitamento. Em seguida, o aumento foi relacionado aos fatores que atuavam na escola (treinamento de pro-fessores, tamanho da turma, disponibilidade de livros didáticos) e fora dela (educação dos pais, distância que a criança tinha de percorrer até a escola, idioma falado em casa) (Kulpoo e Coustère, 1999; Michaelowa, 2001; ver também Greaney e Kellaghan, 2008: Apêndice C.2). Outra característica dos estudos do PASEC foi a identificação dos temas de interesse nacional (por exemplo, políticas de emprego dos professores) e uma tentativa de avaliar o efeito de arranjos alternativos, também uti-lizando dados longitudinais. Foram identificados alguns problemas com o uso de estudos de “valor agregado”, como dados incompletos sobre os alunos provenientes da desistência dos estudos, transferência para outras escolas, absenteísmo, regressão até a média em análise estatística e não confiabilidade das medições quando o número de alunos em uma escola é pequeno.


Estudos de Caso Posteriores

Alguns estudos posteriores examinaram os fatores associados ao apro-veitamento alto (ou baixo), em um esforço para fortalecer a base de for-mulação de inferências causais a partir dos dados da avaliação nacional. Nos Estados Unidos, por exemplo, o Painel Nacional de Objetivos Edu-cacionais realizou uma análise com um dos estados com pontuação mais alta (Connecticut), a fim de identificar políticas e práticas educacionais que possam ter contribuído para as pontuações altas em leitura. Três po-líticas foram creditadas ao desempenho do Estado: (a) fornecimento de informações detalhadas sobre o desempenho dos alunos a uma variedade de interessados (distritos, escolas, professores, pais); (b) monitoramento do aproveitamento dos alunos ao longo do tempo; e (c) fornecimento de recursos adicionais para os distritos mais necessitados (por exemplo, desenvolvimento profissional para os professores; apoio e avaliação dos professores iniciantes) (Baron, 1999).

Foram obtidas mais informações após uma avaliação nacional em mate-mática (que incluiu itens do Segundo Estudo Internacional de Matemática da Associação Internacional para Avaliação do Aproveitamento Escolar) de alunos de 13 e 17 anos, na República Dominicana, após grande preocupa-ção com o baixo desempenho dos alunos. Nesse caso, realizou-se um estudo envolvendo observações em sala de aula e entrevistas com professores no ensino de matemática em uma amostra de turmas de 8a série, que teve por objetivo identificar os procedimentos instrucionais e de aprendizado. Os problemas identificados foram resolvidos mediante (a) a criação de um cen-tro de desenvolvimento curricular para preparar materiais para suplementar o ensino de matemática e (b) o oferecimento de programas de treinamento durante o trabalho para os professores (Luna, 1992).

Recomenda-se cautela na interpretação do desempenho de unidades com altos níveis de aproveitamento dos alunos, principalmente quando a unidade é uma escola com um número pequeno de alunos. Como qualquer grupo pequeno tende a exibir grande oscilação nas pontuações de testes de um ano para o outro quanto à distribuição de diferenças entre escolas, qualquer “motivo” proposto por uma escola para justificar o desempenho superior pode muito bem ser ilegítimo (Kane e Staiger, 2002).


Estudo Experimental ou Quase-experimental de Acompanhamento

Os experimentos que envolvem manipulação e controle das variáveis fornecem a base mais sólida para a construção de inferências sobre re-lações de causa e efeito. Seu uso compreende o projeto de um estu-do para testar hipóteses sobre o aprimoramento dos alunos mediante a implementação de uma estratégia motivada pelas conclusões de uma avaliação nacional – por exemplo, fornecimento de recursos adicionais para as escolas – em várias escolas ou áreas (o grupo de tratamento). Após um período determinado, o efeito da estratégia é avaliado por meio da comparação do desempenho do grupo de tratamento em uma métrica de aproveitamento com o desempenho do grupo de controle (ou seja, um grupo de escolas ou áreas que não recebem recursos adicionais, mas que, de outra maneira, seriam semelhantes às escolas ou áreas no grupo de tratamento). A melhor forma de assegurar a comparabilidade entre um grupo de tratamento e um grupo de controle é atribuir participantes aleatoriamente aos grupos. Em razão das dificuldades de fazer isso na vida real, entretanto, costuma-se usar um projeto quase-experimental que não envolve atribuição aleatória. Nesse caso, escolhe-se um grupo de comparação que seja o mais semelhante possível ao grupo de tratamento (é preciso empreender esforços para reduzir a possibilidade de viés na seleção). As informações sobre as variáveis de interesse são obtidas antes e depois do tratamento; podem ser utilizadas análise de covariância ou análise de regressão para ajustar as métricas pós-tratamento, desde que as diferenças iniciais não sejam grandes.

Alguns estudos randomizados foram realizados em países em de-senvolvimento (Índia, Quênia, Nicarágua), porém não no contexto de uma avaliação nacional. Nesses estudos, implementou-se um tratamen-to (por exemplo, fornecimento de livros de exercício e instrução por rádio, livros didáticos ou um programa de reforço escolar) em escolas selecionadas aleatoriamente, e seus efeitos foram estimados na base de comparação dos aproveitamentos dos alunos nessas escolas com os apro-veitamentos de alunos em escolas similares que não receberam o trata-mento (Glewwe e Kremer, 2006).


Até onde os autores têm conhecimento, experimentos ou quase-ex-perimentos não têm sido adotados no contexto de uma avaliação nacio-nal. Sua ausência pode ser justificada, pelo menos em parte, pela dificul-dade de implementação e acompanhamento. Um problema mais sério do ponto de vista do formulador de políticas ou responsável pela decisão pode ser o custo e o tempo necessários para realizar um estudo. Pode-se argumentar, contudo, que os custos dos experimentos são pequenos quando comparados com os custos de políticas que não funcionam ou que poderiam ter se mostrado mais eficazes se as informações derivadas de um experimento ou quase-experimento estivessem disponíveis (ver Postlethwaite, 1975). Entretanto, o planejamento, a implementação e a análise exigidos de estudos experimentais ou quase-experimentais po-dem estar além da capacidade de muitas agências que executam a avalia-ção nacional. Neste caso, é melhor atribuir esses estudos a uma agência de pesquisa mais especializada.

Avaliação de Crianças Fora do Sistema Educacional

Como as avaliações nacionais se limitam às crianças no sistema educa-cional, não apresentam informações sobre as necessidades quantitativas não atendidas para acesso ao sistema, a não ser de maneira limitada (por exemplo, ao fornecer informações sobre a distância entre a escola e a residência dos alunos). Em muitos países em desenvolvimento, contudo, uma grande parcela de crianças em idade escolar não frequenta a escola, ou o faz por um curto período. Levando-se em conta o comprometi-mento desses países com a educação básica universal, seria importante saber mais sobre o aproveitamento dessas crianças, sobre as barreiras de acesso que enfrentam, a adoção de recursos alternativos (por exemplo, a educação não formal) e suas necessidades não atendidas. A obtenção de informações exigiria, é claro, métodos de amostragem e avaliação distin-tos dos já empregados pelas avaliações nacionais baseadas em escolas. A Índia apresenta um exemplo de estudo no qual alunos de 6 a 16 anos são avaliados (em leitura, matemática e inglês) em suas casas (http://www.asercentre.org). Outros modelos que fornecem dados sobre crianças que


não frequentam a escola existem em estudos ad hoc (ver, por exemplo, Greaney, Khandker e Alam, 1999) e no contexto de sondagens sobre domicílios.

CONCLUSÃO

À medida que a atividade de avaliação nacional estabelece-se com mais solidez nos sistemas educacionais, espera-se que o uso das conclusões seja expandido. Identificam-se dois conjuntos de condições que, se aten-didos, podem ajudar a promover a expansão. Primeiro, (a) o desenvolvi-mento de habilidades técnicas e estratégias de comunicação para os res-ponsáveis pelas avaliações nacionais, (b) o fortalecimento da capacidade dos formuladores de políticas e responsáveis pela decisão de interpretar as conclusões da avaliação e de elaborar estratégias para lidar com as de-ficiências que forem identificadas e (c) o envolvimento de vários interes-sados são estratégias que tendem a contribuir para o estabelecimento de um ambiente mais receptivo para a utilização das conclusões. Segundo, é preciso considerar se os tipos de informações fornecidas atualmente pelas avaliações nacionais atendem às necessidades dos usuários, se os procedimentos precisam ser modificados, ou se são necessários estudos suplementares para fornecer orientações aos formuladores de políticas e responsáveis pela decisão. O atendimento dessas condições pode exigir mais recursos financeiros e comprometimento. Entretanto, as despesas adicionais não seriam grandes no contexto do custo da realização de uma avaliação nacional e teriam a probabilidade de agregar valor considerável à iniciativa.

REFERÊNCIAS

Acana, S. 2006. “Reporting Results of National Assessment: Uganda Experience”. Texto apresentado na 32a Conferência Anual da Associação Internacional para Avaliação Educacional, Cingapura, 22 a 26 de maio.

———. 2008. “Using Assessment Results to Improve Learning: A Message to Head-teachers”. Texto apresentado na 34a Conferência Anual da Associação Interna-cional para Avaliação Educacional, Cambridge, Reino Unido, 7 a 12 de setem-bro.

Aguerrondo, I. 1992. “Educational Reform in Latin America: A Survey of Four Decades”. Prospects 22 (3): 353–65.

Ainley, J., J. Fraillon, and C. Freeman. 2007. National Assessment Program: ICT Literacy Years 6 and 10 Report, 2005. Carlton South, Victoria, Australia: Minis-terial Council on Education, Employment, Training and Youth Affairs. http://www.mceetya.edu.au/verve/_resources/NAP_ICTL_2005

_Years_6_and_10_Report.pdf.Altinok, N. 2008. “An International Perspective on Trends in the Quality of Learn-

ing Achievement (1965–2007)”. Artigo introdutório preparado para Overcom-ing Inequality: Why Governance Matters – EFA Global Monitoring Report 2009, United Nations Educational, Scientific, and Cultural Organization, Paris. http://unesdoc.unesco.org/images/0017/001780/178009e.pdf.

Amrein, A. L., and D. C. Berliner. 2002. “High-Stakes Testing, Uncertainty, and Student Learning”. Education Policy Analysis Archives 10 (18). http://epaa.asu.edu/epaa/v10n18/.


Anderson, P., and G. Morgan. 2008. Developing Tests and Questionnaires for a Na-tional Assessment of Achievement. Washington, DC: Banco Mundial.

Anderson, S. E. 2002. “The Double Mirrors of School Improvement: The Aga Khan Foundation in East Africa”. In Improving Schools through Teacher Development: Case Studies of the Aga Khan Foundation Projects in East Africa, S. E. Anderson (org.), 1–20. Lisse, Netherlands: Swets & Zetlinger.

Arregui, P., and C. McLauchlan. 2005. “Utilization of Large-Scale Assessment Re-sults in Latin America”. Relatório preparado para o Partnership for Educational Revitalization in the Americas e o Instituto do Banco Mundial, Washington, DC.

Artelt, C., J. Baumert, N. Julius-McElvany, and J. Peschar. 2003. Learners for Life: Student Approaches to Learning – Results from PISA 2000. Paris: Organização de Cooperação e de Desenvolvimento Econômicos.

Banisar, D. 2006. Freedom of Information around the World 2006: A Global Survey of Access to Government Records Laws. London: Privacy International. http://www.freedominfo.org/documents/global_survey2006.pdf.

Baron, J. B. 1999. “Exploring High and Improving Achievement in Connecticut”. Documento 1233, National Educational Goals Panel, Washington, DC. http://govinfo.library.unt.edu/negp/issues/publication/othpress/body.pdf.

Báthory, Z. 1992. “Hungarian Experiences in International Student Achievement Surveys”. Prospects 22 (4): 434–40.

Beaton, A. E. 1994. “Item Sampling in Testing.” In The International Encyclopedia of Education, 2nd ed., T. Husén and T. N. Postlethwaite (orgs.), 3055–61. Oxford, U.K.: Pergamon.

Beaton, A. E., and N. L. Allen. 1992. “Interpreting Scales through Scale Anchor-ing”. Journal of Educational Statistics 17 (2): 191–204.

Beaton, A. E., and E. G. Johnson. 1992. “Overview of the Scaling Methodology Used in the National Assessment”. Journal of Educational Measurement 29 (2): 163–75.

Benveniste, L. 2000. “Student Assessment as a Political Construction: The Case of Uruguay”. Education Policy Analysis Archives 8 (32). http://epaa.asu.edu/epaa/v8n32.html.

———. 2002. “The Political Structuration of Assessment: Negotiating State Power and Legitimacy”. Comparative Education Review 46 (1): 89–118.

Bernard, J. M., and K. Michaelowa. 2006. “How Can Countries Use Cross-National Research Results to Address ‘the Big Policy Issues’?” Em Cross-National Studies of the Quality of Education: Planning Their Design and Managing Their Impact, ed. K. N. Ross and I. J. Genevois, 229–40. Paris: International Institute for Educa-tional Planning.

Bethell, G., and R. Mihail. 2005. “Assessment and Examinations in Romania”. As-sessment in Education 12 (1): 77–96.


Câmara de Exames do Butão. 2004. National Educational Assessment in Bhutan: A Benchmark of Student Achievement in Literacy at Class 5, 2003. Thinphu: Minis-tério da Educação.

Binkley, M., and K. Rust (orgs.). 1994. Reading Literacy in the United States: Techni-cal Report of the U.S. Component of the IEA Reading Literacy Study. Washington, DC: Escritório de Pesquisa e Aprimoramento Educacional, Departamento de Educação dos Estados Unidos.

Blalock, A. B. 1999. “Evaluation Research and the Performance Management Move-ment.” Avaliação 5 (2): 117–49.

Bonnet, G. 2007. “What Do Recent Evaluations Tell Us about the State of Teachers in Sub-Saharan Africa”. Texto para Education for All: Will We Make It – EFA Global Monitoring Report 2008, Organização das Nações Uni-das para a Educação, a Ciência e a Cultura, Paris. http://unesdoc.unesco.org/images/0015/001555/155511e.pdf.

Braun, H. 2004. “Reconsidering the Impact of High-Stakes Testing”. Education Po-licy Analysis Archives 12 (1). http://epaa.asu.edu/epaa/v2n1/.

Braun, H., A. Kanjee, E. Bettinger, and M. Kremer. 2006. Improving Education through Assessment, Innovation, and Evaluation. Cambridge, MA: American Academy of Arts and Sciences.

British Columbia Ministério da Educação. 1999. Interpreting Your District’s Assess-ment Results, 1999. Victoria: Province of British Columbia.

Brophy, J. E., and T. L. Good. 1986. “Teacher Behavior and Student Achieve-ment”. In Third Handbook of Research on Teaching, ed. M. Wittrock, 328–75. New York: Macmillan.

Campbell, J., D. L. Kelly, I. V. S. Mullis, M. O. Martin, and M. Sainsbury. 2001. Framework and Specifications for PIRLS Assessment 2001. 2nd ed. Chestnut Hill, MA: Boston College.

Campbell, J., L. Kyriakides, D. Muijs, and W. Robinson. 2004. Assessing Tea -cher Effectiveness: Developing a Differentiated Model. London: Routledge Falmer.

Carroll, D. 1996. “The Grade 3 and 5 Assessment in Egypt”. In National Assess-ments: Testing the System, P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas (orgs.), 157–65. Washington, DC: Banco Mundial.

Chabbott, C., and E. J. Elliott (orgs.) 2003. Understanding Others, Educating Our-selves: Getting More from International Comparative Studies in Education. Wash-ington, DC: National Academies Press.

Chapman, D. W., and C. W. Snyder. 2000. “Can High Stakes National Testing Im-prove Instruction? Reexamining Conventional Wisdom”. International Journal of Educational Development 20 (6): 457–74.


Cheng, K., and H. Yip. 2006. Facing the Knowledge Society: Reforming Secondary Education in Hong Kong and Shanghai. Washington, DC: Banco Mundial.

Clegg, S. R., and T. F. Clarke. 2001. “Intelligence: Organizational”. In International Encyclopedia of the Social and Behavioral Sciences, vol. 11, N. J. Smelser and P. B. Baltes (orgs.), 7665–70. Amsterdam: Elsevier.

Clotfelter, C. T., and H. L. Ladd. 1996. “Recognizing and Rewarding Success in Public Schools”. In Holding Schools Accountable: Performance-Based Reform in Education, ed. H. F. Ladd, 23–63. Washington, DC: Brookings Institution.

DataAngel Policy Research. 2007. A Tool for Understanding Performance in Science Instruction in Qatar. Doha: Supreme Education Council.

Davies, I. C. 1999. “Evaluation and Performance Management in Government”. Evaluation 5 (2): 150–59.

de Vise, D. 2005. “State Gains Not Echoed in Federal Testing: Results Fuel Criti-cism of Md., Va. Education”. Washington Post, 24 de outubro, B01.

Duthilleul, Y., and R. Allen. 2005. “Which Teachers Make a Difference? Implica-tions for Policy Makers in SACMEQ Countries”. Texto apresentado na Educa-tional Policy Research Conference, International Institute for Educational Plan-ning, Paris, September 28–30.

Eivers, E., G. Shiel, R. Perkins, and J. Cosgrove. 2005a. Succeeding in Reading? Reading Standards in Irish Primary Schools. Dublin: Departamento de Educação e Ciências.

———. 2005b. The 2004 National Assessment of English Reading. Dublin: Educa-tional Research Centre.

Elley, W. B. 1992. How in the World Do Students Read? IEA Study of Reading Li-teracy. The Hague, Netherlands: International Association for the Evaluation of Educational Achievement.

Elmore, R., and D. Burney. 1999. “Investing in Teacher Training”. In Teaching as the Learning Profession, L. Darling-Hammond and G. Sykes (orgs.), 236–91. San Francisco, CA: Jossey-Bass.

Ethiopia Education Quality Assurance and Examinations Agency. 2007. Highlights of the Findings: Ethiopian Third National Learning Assessment. Addis Ababa: Ethiopia Education Quality Assurance and Examinations Agency.

Ferrer, G. 2006. Educational Assessment Systems in Latin America: Current Practice and Future Challenges. Washington, DC: Partnership for Educational Revitaliza-tion in the Americas.

Ferrer, G., and P. Arregui. 2003. “Las Pruebas Internacionales de Aprendizaje en América Latina y Su Impacto en la Calidad de la Educación: Criterio para Guiar Futuras Aplicaciones”. Documento de Trabajo 26, Partnership for Educational Revitalization in the Americas, Santiago.


Finn, J. D., and C. M. Achilles. 1990. “Tennessee’s Class Size Study: Findings,

Implications, Misconceptions”. Educational Evaluation and Policy Analysis 21

(2): 97–110.

Forster, M. 2001. A Policy Maker’s Guide to Systemwide Assessment Programs. Cam-

berwell, Victoria: ACER Press.

Frederiksen, J., and A. Collins. 1989. “A Systems Approach to Educational Test-

ing”. Educational Researcher 18 (9): 27–32.

Fullan, M. 2001. The New Meaning of Educational Change. New York: Teachers

College Press.

Fuller, B. 1987. “What School Factors Raise Achievement in the Third World?”

Review of Educational Research 57 (3): 255–92.

Garet, M. S., A. C. Porter, L. Desimone, B. F. Birman, and K. S. Yoon. 2001. “What

Makes Professional Development Effective? Results from a National Sample of

Teachers”. American Educational Research Journal 38 (4): 915–45.Gebrekidan, Z. 2006. “Ethiopian Second National Learning Assessment”. Texto

apresentado no National Assessment Capacity Building Workshop, Using Na-

tional Assessment Results, Kampala, 30 de janeiro-2 de fevereiro.

Georgia, Departamento de Educação. n.d. “Standards, Instruction, and Assess-

ment”. Georgia Department of Education, Atlanta. http://www.doe.k12.ga.us/

ci_testing.aspx? Page Req = C1_TESTING_NAEP.

Gilmore, A. 2005. “The Impact of PIRLS (2001) and TIMSS (2003) in Low and

Middle-Income Countries: An Evaluation of the Value of World Bank Support

for International Surveys of Reading Literacy (PIRLS) and Mathematics and

Science (TIMSS)”. International Association for the Evaluation of Educational

Achievement, Amsterdam. http://www.iea.nl/fi leadmin/user_upload/docs/

WB_report.pdf.

Glewwe, P., and M. Kremer. 2006. “Schools, Teachers, and Education Outcomes in

Developing Countries”. In Handbook of the Economics of Education, vol. 2, E. A.

Hanushek and F. Welch (orgs.), 945–1017. Amsterdã: Elsevier.

Goldstein, H. 1983. “Measuring Changes in Educational Attainment over Time:

Problems and Possibilities”. Journal of Educational Measurement 20 (4): 369–

77.

González, E. J. 2002. Evaluation Systems in Latin America. Brasília: Instituto Nacio-

nal de Estudos e Pesquisas Educacionais, Ministério da Educação.

González, P., A. Mizala, and P. Romaguera. 2002. “Recursos Diferenciados a la

Educación Subvencionada en Chile”. Serie Economía 150, Centro de Economía

Aplicada, Departamento de Ingeniería Industrial, Facultad de Ciencies Físicas y

Matemáticas, Universidade do Chile, Santiago.


Grant, S., P. Peterson, and A. Shojgreen-Downer. 1996. “Learning to Teach Ma-thematics in the Context of System Reform”. American Educational Research Journal 33 (2): 500–43.

Greaney, V., and T. Kellaghan. 1996. Monitoring the Learning Outcomes of Educa-tion Systems. Washington, DC: Banco Mundial.

———. 2008. Assessing National Achievement Levels in Education. Washington, DC: Banco Mundial.

Greaney, V., S. R. Khandker, and M. Alam. 1999. Bangladesh: Assessing Basic Lear-ning Skills. Dhaka: University Press.

Griffith, J. E., and E. A. Medrich. 1992. “What Does the United States Want to Learn from International Comparative Studies in Education?” Prospects 22 (4): 476–84.

Gucwa, B., and M. Mastie. 1989. “Pencils Down!” Michigan State Board of Edu-cation, Lansing. http://www.ncrel.org/sdrs/areas/issues/methods/assment/as6-penc2.htm.

Guilfoyle, C. 2006. “NCLB: Is There Life Beyond Testing?” Educational Leadership 64 (3): 8–13.

Gvirtz, S., and S. Larripa. 2004. “National Evaluation System in Argentina: Proble-matic Present and Uncertain Future”. Assessment in Education 11 (3): 349–64.

Haertel, E. H., and J. L. Herman. 2005. “A Historical Perspective on Validity Argu-ments for Accountability Testing”. In Uses and Misuses of Data for Educational Accountability and Improvement: The 104th Yearbook of the National Society for the Study of Education, Part 2, J. L. Herman and E. H. Haertel (orgs.), 1–34. Malden, MA: Blackwell.

Hambleton, R. K, and K. Meara. 2000. “Newspaper Coverage of NAEP Results, 1990 to 1998”. In Student Performance Standards on the National Assessment of Educational Progress: Affirmations and Improvements, M. L.

Bourque and S. Byrd (orgs.), 131–55. Washington, DC: National Assessment Go-verning Board.

Hambleton, R. K., and S. C. Slater. 1997. “Are NAEP Executive Summary Reports Understandable to Policy Makers and Stakeholders?” CSE Technical Report 430, Center for the Study of Evaluation, National Center for Research on Eva-luation, Standards, and Student Testing, Los Angeles, CA.

Himmel, E. 1996. “National Assessment in Chile”. In National Assessments: Tes-ting the System, P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas (orgs.), 111–28. Washington, DC: Banco Mundial.

Hopmann, S. T., and G. Brinek. 2007. “Introduction: PISA According to PISA—Does PISA Keep What It Promises?” In PISA Zufolge PISA: PISA According to PISA, ed. S. T. Hopmann, G. Brinek, and M. Retzl, 9–19. Viena: LIT.


Howie, S. 2002. “English Proficiencies and Contextual Factors Influencing Mathe-matics Achievements of Secondary School Pupils in South Africa”. PhD thesis, University of Twente, Enschede, Netherlands.

Howie, S., and T. Plomp. 2005. “International Comparative Studies of Education and Large-Scale Change”. No International Handbook of Education Policy, N. Bascia, A. Cumming, A. Datnow, K. Leithword, and D. Livingstone (orgs.), 75–99. Dordrecht, Netherlands: Springer.

Husén, T. 1984. “Issues and Their Background”. Em Educational Research and Po-licy: How Do They Relate? T. Husén and M. Kogan (orgs.), 1–36. Oxford, U.K.: Pergamon.

———. 1987. “Policy Impact of IEA Research”. Comparative Education Review 31 (1): 29–46.

Kane, T. J., and D. O. Staiger. 2002. “Volatility in School Test Scores: Im-plications for Test-Based Accountability Systems”. In Brookings Papers on Education Policy, 2002, ed. D. Ravitch, 235–83. Washington, DC: Brookings Institution Press.

Kellaghan, T., and V. Greaney. 1992. Using Examinations to Improve Education: A Study in Fourteen African Countries. Washington, DC: Banco Mundial.

———. 2001. Using Assessment to Improve the Quality of Education. Paris: Interna-tional Institute for Educational Planning.

———. 2004. Assessing Student Learning in Africa. Washington, DC: Banco Mun-dial.

Kellaghan, T., and G. F. Madaus. 2000. “Outcome Evaluation”. In Evaluation Mo-dels: Viewpoints on Educational and Human Services Evaluation, 2nd ed., D. L. Stufflebeam, G. F. Madaus, and T. Kellaghan (orgs.), 97–112. Boston: Kluwer Academic.

Kellaghan, T., K. Sloane, B. Alvarez, and B. S. Bloom. 1993. The Home Environment and School Learning. San Francisco, CA: Jossey-Bass.

Kirsch, I., J. De Jong, D. Lafontaine, J. McQueen, J. Mendelovits, and C. Mon-seur. 2002. Reading for Change: Performance and Engagement across Countries—Results from PISA 2000. Paris: Organisation for Economic Co-operation and Development.

Kulm, G., J. Roseman, and M. Treistman. 1999. “A Bench-Based Approach to Tex-tbook Evaluation”. Science Books and Films 35 (4): 147–53.

Kulpoo, D., and P. Coustère. 1999. “Developing National Capacities for Assess-ment and Monitoring through Effective Partnerships”. In Partnerships for Capa-city Building and Quality Improvements in Education: Papers from the

ADEA 1997 Biennial Meeting, Dakar. Paris: Association for the Development of Education in Africa.


Kupermintz, H., M. M. Ennis, L. S. Hamilton, J. E. Talbert, and R. E. Snow. 1995. “Enhancing the Validity and Usefulness of Large-Scale Educational Assessments: I. NELS: 88 Mathematics Achievement”. American Educational Research Journal 32 (3): 525–54.

Kuwait, Ministério da Educação. 2008. PIRLS 2006: Kuwait Technical Report. Kuwait City: Kuwait, Ministério da Educação.

Leimu, K. 1992. “Interests and Modes in Research Utilisation: The Finnish IEA Experience”. Prospects 22 (4): 425–33.

Linn, R. L. 2000. “Assessments and Accountability”. Educational Researcher 29 (2): 4–16.

———. 2005a. “Conflicting Demands of No Child Left Behind and State Systems: Mixed Messages about School Performance”. Education Policy Analysis Archives 13 (33). http://epaa.asu.edu/epaa/v13n33/.

———. 2005b. “Issues in the Design of Accountability Systems”. In Uses and Mi-suses of Data for Educational Accountability and Improvement: The 104th Year-book of the National Society for the Study of Education, Part 2. J. L. Herman and E. H. Haertel (orgs.), 78–98. Malden, MA: Blackwell.

Linn, R. L., and E. Baker. 1996. “Can Performance-Based Student Assessments Be Psychometrically Sound?” In Performance-Based Student Assessment: Challenges and Possibilities: 95th Yearbook of the National Society for the Study of Education, Part 1, J. N. Baron and D. P. Wolf (orgs.), 84–103.

Lockheed, M. E., and A. M. Verspoor. 1991. Improving Primary Education in Deve-loping Countries. Oxford, U.K.: Oxford University Press.

Lovett, S. 1999. “National Education Monitoring Project: Teachers Involvement and Development—Professional Development from NEMP”. Paper presented at New Zealand Association for Research in Education and Australian Associa-tion for Research in Education Conference, Melbourne, Australia, November 29–December 2.

Luna, E. 1992. “Dominican Republic: The Study on Teaching and Learning in Mathematics”. Prospects 22 (4): 448–54.

Madamombe, R. T. 1995. “A Comment on the Analysis of Educational Research Data for Policy Development: An Example from Zimbabwe”. International Jour-nal of Educational Research 23 (4): 397–402.

Madaus, G. F., and T. Kellaghan. 1992. “Curriculum Evaluation and Assessment”. In Handbook of Research on Curriculum, P. W. Jackson (org.), 119–54. New York: Macmillan.

Madaus, G. F., M. Russell, and J. Higgins. 2009. The Paradoxes of High Stakes Test-ing: How They Affect Students, Their Parents, Teachers, Principals, Schools, and Society. Charlotte, NC: Information Age Publishing.


Martin, M. O., I. V. S. Mullis, and S. J. Chrostowski. 2004. The Trends in Interna-tional Mathematics and Science Study 2003: Technical Report. Chestnut Hill, MA: International Study Center, Boston College.

Câmara de Exames de Maurício. 2003. Monitoring Learning Achievement: Joint UNESCO/UNICEF Project—A Survey of 9-Year-Old Children in the Republic of Mauritius. Reduit, Mauritius: Mauritius Examinations Syndicate.

McDonnell, L. M. 2005. “Assessment and Accountability from the Policy Maker’s Perspective”. In Uses and Misuses of Data for Educational Accountability and Im-provement: 104th Yearbook of the National Society for the Study of Education, Part 2, J. L. Herman and E. H. Haertel (orgs.), 35–54.

McQuillan, J. 1998. “Seven Myths about Literacy in the U.S.” Practical Assessment, Research, and Evaluation 6 (1). http://pareonline.net/getvn.asp?v=6&n=1.

Meckes, L., and R. Carrasco. 2006. “SIMCE: Lessons from the Chilean Experience in National Assessment Systems of Learning Outcomes”. Paper presented at the Conference on Lessons from Best Practices in Promoting Education for All: Latin America and the Caribbean, hosted by the World Bank and the Inter-American Development Bank, Cartagena de Indias, Colômbia, October 9–11.

Messick, S. 1989. “Validity”. In Educational Measurement, 3rd ed., R. Linn (org.), 13–103. New York: American Council on Education and Macmillan.

Michaelowa, K. 2001. “Primary Education Quality in Francophone Sub-Saharan Africa: Determinants of Learning Achievement and Efficiency Considerations”. World Development 29 (10): 1699–716.

Michaelowa, K., and A. Wechtler. 2006. The Cost-Effectiveness of Inputs in Primary Education: Insights from the Literature and Recent Student Surveys for Sub-Saharan Africa. Hamburg: Institute of International Economics.

Monare, M. 2006. “SA Pupils Rank Last in Maths, Science Study”. Star (Johannes-burg), December 6.

Moncada, G., R. Hernández Rodríguez, M. C. Aguilar, D. Orellana, M. Alas Solís, and B. Hernández. 2003. Uso e Impacto de la Información Empírica en la For-mulación y Ejecución de Política de Educación Básica em Honduras en el Período 1990–2002. Tegucigalpa: Dirección de Investigación, Universidad Pedagógica Nacional Francisco Morazán.

Mullis, I. V. S., A. M. Kennedy, M. O. Martin, and M. Sainsbury. 2006.PIRLS 2006: Assessment Framework and Specifi cations. Chestnut Hill, MA: Interna-

tional Study Center, Boston College.Mullis, I. V. S., M. O. Martin, E. J. González, and S. J. Chrostowski. 2004.Findings from IEA’s Trends in International Mathematics and Science Study at the

Fourth and Eighth Grades. Chestnut Hill, MA: International Study Center, Bos-ton College.


Murimba, M. 2005. “The Impact of the Southern and Eastern Africa Consortium for Monitoring Educational Quality (SACMEQ)”. Prospects 35 (1): 91–108.

Murphy, J., J. Yff, and N. Shipman. 2000. “Implementation of the Interstate School Leaders Licensure Consortium Standards”. International Journal of Leadership in Education 3 (1): 17–39.

Nassor, S., and K. A. Mohammed. 1998. The Quality of Education: Some Policy Sug-gestions Based on a Survey of Schools—Zanzibar. Paris: International Institute for Educational Planning.

Nepal Educational and Developmental Service Centre. 1999. National Assessment of Grade 5 Students. Kathmandu: Nepal Educational and Developmental Servi-ce Centre.

Nigéria, Ministério Federal da Educação. 2000. Education for All: The Year 2000 Assessment. Abuja: Ministério Federal da Educação da Nigéria.

Nzomo, J., M. Kariuki, and L. Guantai. 2001. “The Quality of Education: Some Policy Suggestions Based on a Survey of Schools”. Southern and Eastern Africa Consortium for Monitoring Educational Quality Policy Research Paper 6, Inter-national Institute for Educational Planning, Paris.

Nzomo, J., and D. Makuwa. 2006. “How Can Countries Move from Cross-Na-tional Research Results to Dissemination and Then to Policy Reform? Case Studies from Kenya and Namibia”. In Cross-National Studies of the Quality of Education: Planning Their Design and Managing Their Impact, K. N. Ross and I. J. Genevois (orgs.), 213–28. Paris: International Institute for Educational Planning.

OECD (Organização de Cooperação e de Desenvolvimento Econômicos). 2004. Chile: Reviews of National Policies for Education. Paris: OECD.

OECD (Organização de Cooperação e Desenvolvimento Econômicos) and INES (International Indicators of Education Systems) Project, Network A. 2004. “Attention Getting Results”. Review of Assessment Activities 16 (fevereiro–março): 2.

Ogle, L. T., A. Sen, E. Pahlke, D. Jocelyn, D. Kastberg, S. Roey, and T. Williams. 2003. “International Comparisons in Fourth Grade Reading Literacy: Findings from the Progress in International Reading Literacy Study (PIRLS) of 2001”. U.S. Department of Education, National Center for Education Statistics, Wash-ington, DC. http://nces.ed.gov/pubs2003/2003073.pdf.

Olivares, J. 1996. “Sistema de Medición de la Calidad de la Educación de Chile: SIMCE—Algunos Problemas de la Medición”. Revista Iberoamericana de Educa-ción 10: 117–96. http://www.rieoei.org/oeivirt/rie10a07.htm.

Pérez, B. A. 2006. “Success in Implementing Education Policy Dialogue in Peru”. United States Agency for International Development, Washington, DC.


Perie, M., W. Grigg, and G. Dion. 2005. “The Nation’s Report Card: Mathematics 2005”. National Center for Education Statistics, U.S. Department of Educa-tion, Washington, DC. http://nces.ed.gov/nationsreportcard/pdf/main2005/ 2006453.pdf.

Porter, A., and A. Gamoran. 2002. “Progress and Challenges for Large-Scale Stu-dies”. In Methodological Advances in Cross-National Surveys of Educational Achievement, ed. A. C. Porter and A. Gamoran, 3–23.

Washington, DC: National Academies Press. Postlethwaite, T. N. 1975. “The Sur-veys of the International Association for the Evaluation of Educational Achieve-ment (IEA)”. In Educational Policy and International Assessment: Implications of the IEA Surveys of Achievement, A. C. Purves and D. U. Levine (orgs.), 1–32. Berkeley, CA: McCutchan.

———. 1987. “Comparative Educational Achievement Research: Can It Be Im-proved?” Comparative Education Review 31 (1): 150–58.

———. 1995. “Calculation and Interpretation of Between-School and Within-School Variation in Achievement (rho)”. In Measuring What Students Learn, 83–94. Paris: Organização para Cooperação e Desenvolvimento Econômico.

———. 2004a. Monitoring Educational Achievements. Paris: International Institute for Educational Planning.

———. 2004b. “What Do International Assessment Studies Tell Us about the Qua-lity of School Systems?” Background paper for The Quality Imperative: EFA Global Monitoring Report 2005. United Nations Educational, Scientific, and Cultural Orga-nization, Paris. http://unesdoc.unesco.org/images/0014/001466/146692e.pdf.

Postlethwaite, T. N., and T. Kellaghan. 2008. National Assessments of Educational Achievement. Paris: International Institute for Educational Planning; Brussels: International Academy of Education.

Powdyel, T. S. 2005. “The Bhutanese Education Assessment Experience: Some Re-flections.” Prospects 35 (1): 45–57.

Pravalpruk, K. 1996. “National Assessment in Thailand”. In National Assessments: Testing the System, ed. P. Murphy, V. Greaney, M. E. Lockheed, and C. Rojas, 137–45. Washington, DC: Banco Mundial.

Ravela, P. 2002. “Cómo Presentan Sus Resultados los Sistemas Nacionales de Eva-luación Educativa en América Latina?” Partnership for Educational Revitaliza-tion in the Americas, Washington, DC.

———. 2005. “A Formative Approach to National Assessments: The Case of Uru-guay”. Prospects 35 (1): 21–43.

———. 2006. “Using National Assessments to Improve Teaching… and Learning: The Experience of UMRE in Uruguay”. Texto apresentado at the Conference on Lessons from Best Practices in Promoting Education for All: Latin America and


the Caribbean, hosted by the Banco Mundial and the Inter-American Develo-pment Bank, Cartagena de Indias, Colombia, October 9–11.

Reezigt, G. J., and B. P. M. Creemers. 2005. “A Comprehensive Framework for Effective School Improvement”. School Effectiveness and School Improvement 16 (4): 407–24.

Reimers, F. 2003. “The Social Context of Educational Evaluation in Latin Ameri-ca”. In International Handbook of Educational Evaluation, T. Kellaghan and D. L. Stufflebeam (orgs.), 441–63. Boston: Kluwer Academic.

Reynolds, D. 2000. “School Effectiveness: The International Dimension”. Em The International Handbook of School Effectiveness Research, C. Teddlie and D. Rey-nolds (orgs.), 232–56. London: Falmer.

Reynolds, D., and C. Teddlie. 2000. “The Processes of School Effectiveness”. Em The International Handbook of School Effectiveness Research, C. Teddlie and D. Reynolds (orgs.), 134–59. London: Falmer.

Riley, R. W. 2000. Remarks prepared for a TIMSS-R press conference, Washington, DC, December 5. http://www.ed.gov/Speeches/12-2000/120500.html.

Robertson, I. 2005. “Issues Relating to Curriculum, Policy, and Gender Raised by National and International Surveys of Achievement in Mathematics”. Assess-ment in Education 12 (3): 217–36.

Robitaille, D. F., A. E. Beaton, and T. Plomp (orgs.). 2000. The Impact of TIMSS on the Teaching and Learning of Mathematics and Science. Vancouver, BC: Pacific Educational Press.

Rojas, C. C., and J. M. Esquivel. 1998. “Los Sistemas de Medición Del Logro Académi-co en Latinoamérica”. Education Paper 25, Banco Mundial, Washington, DC.

Rubner, J. 2006. “How Can a Country Manage the Impact of ‘Poor’ Cross-National Research Results? A Case Study from Germany”. In Cross-National Studies of the Quality of Education: Planning Their Design and Managing Their Impact, K. N. Ross and I. J. Genevois (orgs.), 255–64. Paris: International Institute for Educa-tional Planning.

Rust, V. L. 1999. “Education Policy Studies and Comparative Education.” Em Learning from Comparing: New Directions in Comparative Education Research—Policy, Professionals, and Development, vol. 2, R. Alexander, P. Broadfoot, and D. Phillips (orgs.), 13–39. Oxford, U.K.: Symposium Books.

SACMEQ (Southern and Eastern Africa Consortium for Monitoring Educational Quality). 2007. SACMEQ Web site. http://www.sacmeq.org/.

Scheerens, J. 1998. “The School Effectiveness Knowledge Base as a Guide to School Im-provement”. In International Handbook of Educational Change, A. Hargreaves, A. Lie-berman, M. Fullan, and D. Hopkins (orgs.), 1096–115.Boston: Kluwer Academic.

Schiefelbein, E., and P. Schiefelbein. 2000. “Three Decentralization Strategies in Two Decades: Chile 1982–2000”. Journal of Educational Administration 38 (5): 412–25.


Schubert, J. 2005. “The Reality of Quality Improvement: Moving toward Cla rity”. In The Challenge of Learning: Improving the Quality of Basic Education in Sub-Saharan Africa, A. M. Verspoor (org.), 53–68. Paris: Association for the Devel-opment of Education in Africa.

Shiel, G., R. Perkins, S. Close, and E. Oldham. 2007. PISA Mathematics: A Teach-er’s Guide. Dublin: Department of Education and Science.

Singh, A., V. K. Jain, S. K. S. Guatam, and S. Jumjar. n.d. Learning Achievement of Students at the End of Class V. New Delhi: National Council for Educational Research and Training.

Snyder, C. W., B. Prince, G. Lohanson, C. Odaet, L. Jaji, and M. Beatty. 1997. Exam Fervor and Fever: Case Studies of the Influence of Primary Leaving Examina-tions on Uganda Classrooms, Teachers, and Pupils. Washington, DC: Academy for Educational Development.

Sri Lanka, National Education Research and Evaluation Centre. 2004. Achievement after Four Years of Schooling. Colombo: National Education Research and Eva-luation Centre.

Stack, M. 2006. “Testing, Testing, Read All about It: Canadian Press Coverage of the PISA Results”. Canadian Journal of Education 29 (1): 49–69.

Stoneberg, B. 2007. “Using NAEP to Confi rm State Test Results in the No Child Left Behind Act”. Practical Assessment Research and Evaluation 12 (5): 1–10.

Surgenor, P., G. Shiel, S. Close, and D. Millar. 2006. Counting on Success: Ma-thematics Achievement in Irish Primary Schools. Dublin: Department of Educa-tion and Science.

Teddlie, C., and D. Reynolds. 2000. “School Effectiveness Research and the Social and Behavioural Sciences”. In The International Handbook of School Effectiveness Research, C. Teddlie and D. Reynolds (orgs.), 301–21. London: Falmer.

Uganda, Conselho Nacional de Exames, n.d. National Assessment of Progress in Education. Poster, Uganda National Examinations Board, Kampala.

UNESCO (Organização das Nações Unidas para a Educação, a Ciência e a Cultu-ra). 1990. Declaração Mundial sobre Educação para Todos: Atendendo a Necessi-dades Básicas de Aprendizado. Adotado pela Conferência Mundial de Educação para Todos. Nova York: UNESCO.

———. 2000. The Dakar Framework for Action: Education for All—Meeting Our Col-lective Commitments. Paris: UNESCO.

UNICEF (Fundo das Nações Unidas para a Infância). 2000. “Definindo Qualidade na Educação”. Texto apresentado em reunião do Grupo de Trabalho Internacio-nal de Educação, Florença, Itália, Junho.

U.S. National Center for Education Statistics. 2005. National Assessment of Edu-cational Progress (NAEP), Selected Years, 1971–2004: Long-Term Trend Reading


Assessments. Washington, DC: U.S. National Center for Education Statistics.———. 2006a. “The NAEP Mathematics Achievement Levels by Grade”. U.S. Na-

tional Center for Education Statistics, Washington, DC. http://nces.ed.gov/na-tionsreportcard/mathematics/achieveall.asp.

———. 2006b. National Indian Education Study, Part 1: The Performance of Ameri-can Indian and Alaska Native Fourth- and Eighth-Grade Students on NAEP 2005 Reading and Mathematics Assessment—Statistical Analysis Report. Washing-ton, DC: U.S. National Center for Education Statistics. http://www.xmission.com/~amauta/pdf/ienationarep.pdf.

———. 2007. The Nation’s Report Card: Reading—2007 State Snapshot Report. Washington, DC: U.S. National Center for Education Statistics. http://nces.ed.gov/nationsreportcard/pubs/stt2007/200774978.asp.

———. 2008. “The Nation’s Report Card”. U.S. National Center for Education Statistics, Washington, DC. http://nces.ed.gov/nationsreportcard/sitemap.asp.

Vanneman, A. 1996. “Geography: What Do Students Know and What Can They Do?” NAEPfacts 2 (2). http://nces.ed.gov/pubs97/web/97579.asp.

Vegas, E., and J. Petrow. 2008. Raising Student Learning in Latin America: The Chal-lenge for the 21st Century. Washington, DC: Banco Mundial.

Wang, M. C., G. D. Haertel, and H. J. Walberg. 1993. “Toward a Knowledge Base for School Learning”. Review of Educational Research 63 (3): 249–94.

Watson, K. 1999. “Comparative Educational Research: The Need for Reconcep-tualisation and Fresh Insights”. Compare 29 (3): 233–48.

Weiss, C. H. 1979. “The Many Meanings of Research Utilization”. Public Adminis-tration Review 39 (5): 426–31.

Wenglinsky, H. 2002. “How Schools Matter: The Link between Teacher Classroom Practices and Student Academic Performance”. Education Policy Analysis Ar-chives 10 (12). http://epaa.asu.edu/epaa/v10n12/.

Willms, D. 2006. “Learning Divides: Ten Policy Questions about the Performance and Equity of Schools and Schooling Systems”. UIS Working Paper 5, UNESCO Institute for Statistics, Montreal.

Wolff, L. 1998. Educational Assessments in Latin America: Current Progress and Fu-ture Challenges. Washington, DC: Partnership for Educational Revitalization in the Americas.

Banco Mundial. 2004. Vietnam Reading and Mathematics Assessment Study. 3 vols. Washington, DC: Banco Mundial.

Zhang, Y. 2006. “Urban-Rural Literacy Gaps in Sub-Saharan Africa: The Roles of Socioeconomic Status and School Quality”. Comparative Education Review 50 (4): 581–602.

ÍNDICE

Caixas, fi guras e tabelas estão indicadas por c, f e t após o número da página.

Áfricaconstrução de competências na,

96–97falta de recursos na, 89–90, 100Mudança no aproveitamento ao

longo do tempo na, 47, 158Ver também África Setentrional e

África Oriental Consórcio para Monitoramento da Qualidade da Educação (SACMEQ);países específi cos

África do Sul, 41, 42tÁfrica Subsaariana, 24Alemanha, 141América Latina e Caribe

Conscientização da população sobre a avaliação nacional na, 140

qualidade da avaliação nacional na, 18

Relatórios de mídia na, 63revisão de livros didáticos na, 104treinamento de professores na 115Ver também países específi cos

análises secundárias, 70–72, 157aproveitamento dos alunos,

acompanhamento do, 33t, 90–93, 97, 124

características dos alunos e, 13, 15, 34, 57–58, 58t, 129, 155

contexto doméstico/familiar e, 12–15, 22, 34, 43–45, 45f, 49, 57–58, 58t, 70q, 81, 84, 123, 126q, 127, 128q, 129, 132–134, 135f, 149, 157–158

diferenças de gênero no, 32, 32t, 40, 40f, 54, 58t, 70, 75, 78, 135f, 142, 149

diferenças entre escolas no, 12, 36–40, 88–89, 159

expectativas para, 13, 18, 45, 102, 127, 128q, 129–131, 149

fatores socioeconômicos e, 12, 15, 140, 142

grupo étnico e, 40, 56, 62fgrupo racial e, 41, 42t, 56, 62f


Mudança ao longo do tempo no, 1, 10, 12–13, 19, 22, 31, 45–49, 46f, 47f, 48f, 57, 58t, 92, 93, 96q, 158

níveis de profi ciência do, 27, 32, 35–40, 37t, 39t, 55–56, 58–57, 58t, 66q, 77, 98–100, 99t, 104–105, 113, 114t, 142

padrões de, 10, 37t, 69, 97–100, 105políticas e recursos educacionais e,

4, 13, 14q, 33t, 34, 58, 58t, 100região e, 40, 41, 42t, 43, 43f, 54,

57–58, 58t, 73, 77, 88, 89, 137, 142

aproveitamento em ciências, 9, 18, 23q, 32t, 41–43, 56, 70, 92, 102, 139, 141

Aproveitamento em leitura, 9, 12, 19, 22, 23q, 34, 33t, 34, 36–43, 45f, 46, 46f, 54, 55q, 58–57, 57t, 62f, 66q, 67q, 70, 96q, 98–99, 103, 109, 112, 113f, 117q, 127, 135f, 137, 146, 158

aproveitamento em matemática, 9, 12, 18, 23q, 32t, 36, 37t, 40, 40f, 41, 42t, 43, 47, 47f, 48f, 56, 57q, 58, 65q, 69, 70q, 92, 98, 102, 105, 108–109, 113–115, 116f, 129

Argentina, 84, 94t, 115, 117, 140Associação Americana para o Progresso

da Ciência, 104Associação Internacional para a

Avaliação do Aproveitamento Escolar (IEA), 22, 23q

Austrália, 58, 100avaliação baseada em amostra, 18–20,

28, 29, 33t, 40, 57t, 56, 62f, 100–101, 107, 120, 124, 134, 137–140, 142

avaliação baseada no censo, 3, 19–20, 28–29, 101, 138–140, 156

avaliação internacional do aproveitamento dos alunos, 3, 19, 20–22, 23q, 29, 34, 38, 41, 42t, 49, 56–58, 63, 91t, 100, 102, 104, 138, 141, 155–156, 159

Avaliação Nacional do Progresso em Educação (NAEP, Estados Unidos)cobertura da mídia, 145–146comunicado de imprensa, 64, 65–66qdados raciais e étnicos, 56, 62fdivulgação pública dos resultados,

140Efi cácia, 92exames com consequências

signifi cativas e, 10frequência de aplicação, 92Monitoramento do No Child Left

Behindníveis de aproveitamento em leitura,

46, 46fníveis de aproveitamento em

matemática, 36, 37tníveis de profi ciência no

aproveitamento estadual, 98–100, 99t

relatório resumido, 54, 56, 55qrespostas ao questionário, 109website, 69, 70, 71q, 140

Banco Mundial, 97, 98Bolívia, 94tBrasil, 19, 102, 115, 117qBurkina Faso, 94tButão, 103, 112Canadá, 120, 121tcentro de desenvolvimento de

currículos,159Centro de Pesquisas Educacionais, 56,

57q, 73Centro Nacional de Estatísticas de

Educação, 56Chile

avaliação baseada no censo no, 19, 101

características não cognitivas do aluno no, 155

Corrupção no, 13efi cácia da avaliação nacional naformulação de políticas no, 97publicação dos resultados da

avaliação nacional no, 140


recursos para as escolas no, 101relatórios em websites no, 69responsabilidade no, 4treinamento de professores no, 117

Ciências, ensino de, 95q, 100, 125, 127coletivas de imprensa, 68Colômbia, 73, 98Colúmbia Britânica, Canadá, 120, 121tcomunicação das conclusões da

pesquisa, 51–73, 152coletivas de imprensa, 68comunicados de imprensa, 63–68,

65–66q, 146conscientização da população,

137–147, 152dados da avaliação, disponibilidade

dos, 29, 70–72estratégia para maximizar, 142–145,

143qfolha de especifi cações do produto,

52–53inadequação dos, 73Informar os ministros e funcionários

seniores de formulação de políticas, 53-56

mídia, papel da, 56–63, 141–142, 145, 147, 152

Notas informativas individuais, 69Outros instrumentos de

disseminação, 72, 147para uso em sala de aula, 120-123relatórios resumidos, 55–58relatórios técnicos, 58–56, 57–58trelatórios temáticos, 56websites, 69–70, 71q, 140

comunicados de imprensa, 63–68, 65–66q, 146

condições de aprendizado nas salas de aula, 156

CONFEMEN. Ver Programa de Análise dos Sistemas de Educação de CONFEMEN

Consórcio da África Austral e Oriental para Monitoramento da Qualidade da Educação (SACMEQ), 56, 96

construção de competências e treinamento para responsáveis pelo planejamento, 96–97

contexto político da avaliação nacional, 3–5, 27, 84

Correlação intraclasse (rho), 36, 40Ver também Aproveitamento dos

alunos, diferenças entre escolascrianças fora do sistema educacional,

avaliação de, 161–162Cuba, 94t, 115currículo

adequação do, 103adequação do, para os alunos, 14q,

18alcançado, 102, 103aproveitamentos dos alunos e, 18,

102áreas (dentro da matéria), 18, 32,

46, 102, 108–109, 120, 127áreas de estudo, 9, 11, 40f, 56, 92avaliações internacionais e, 21, 102Conteúdos, 104, 134currículo nacional (Inglaterra), 10currículo nacional (Uruguai), 103defi ciências no conhecimento dos

professores sobre, 109documentos, 18, 102, 122implementação, 102-103livros didáticos e, 104–105materiais, 88modelo de avaliação nacional e, 108níveis de aproveitamento e, 36, 104objetivos do, 1Pretendido, 102, 103revisão/reforma do, 16, 56, 72, 82,

87, 102–104sistema de crenças subjacente, 131Ver também testes, domínios

curriculares na autoridade curricular, 56, 57t, 76–77, 97, 105, 152

currículo de matemática, 21, 56, 103, 112

currículos de ciências, 21


Delaware, 98–100, 99tdesenvolvedores de currículo, 2, 14,

36, 51, 72, 75, 76desenvolvimento profi ssional dos

professores, 15, 20, 107, 108–119, 134, 136, 150, 158atividades para aprimorar o,

115–119, 117q, 117q, 134, 136desempenho dos alunos e, 109,

116fdesempenho dos professores no teste

de aproveitamento e, 112–115, 113q, 113f

modelo de avaliação nacional e, 108–109

respostas ao questionário e, 109–112, 119

Ver também treinamento durante o trabalho para professores; treinamento de qualifi cação para professores

Diretrizes de Ação de Dakar, 8, 16disseminação das conclusões. Ver

comunicação das conclusões da pesquisa

Educação para Todos (EFA), 40Egito, 84ensino em sala de aula, 119–133

comunicação das conclusões da pesquisa e, 120–123, 121q, 121t, 122c

condições de aprendizado nas salas de aula, 156

estratégias para solucionar os problemas identifi cados no, 124–133, 126c, 134

interpretação das conclusões e sua relevância, 123–124

Ver também pesquisa sobre a efi cácia dos professores

Equador, 115“esclarecimento” no processo de

formulação de políticas, 80–81, 139–140

Escócia, 112

Estados Unidosdivulgação pública dos resultados da

avaliação nacional nos, 140,141estudos de caso de acompanhamento

nos, 158mitos sobre educação nos, 96qMonitoramento do progresso dos

alunos da 3ª à 8ª série, 92sanções baseadas no desempenho

dos alunos, 10, 11sistemas de responsabilidade nos,

3, 5Ver também Avaliação Nacional do

Progresso em Educação (NAEP, EUA); No Child Left Behind

Estudo Internacional sobre o Progresso do Letramento em Leitura (PIRLS), 34, 36, 38f, 38

estudos de caso, 158–159estudos quase-experimentais, 85,

160–161estudos regionais, 41–43, 43fEtiópia, 41–43, 43f, 103, 146qexames com consequências

signifi cativas, 9–13, 11q, 15, 92, 137experimental e quase-experimental

estudos, 85, 160–161Fast Track Initiative, 40Fatores socioeconômicos,

aproveitamento e, 12, 15, 140, 142comunicação dos resultados da

avaliação e, 13, 15, 44, 101, 142Finlândia, 23qfolha de especifi cações do produto,

52–53formulação de políticas e tomada de

decisão, 75–85, 93–97, 152–154Capacidade institucional para

absorver e utilizar as informações, 76

Complexidade da, 83–84confi abilidade e relevância das

informações da avaliação, 77, 123-124

Discussão das conclusões, 78–80


“esclarecimento” do processo de formulação de políticas, 80–81, 139–140

identifi cação de escolas para intervenção, 156–157

identifi cação de políticas ou ações pós-avaliação, 77–82

intervenção em todo o sistema ou direcionada, 82

referência a outras conclusões de pesquisa, 81–82

resposta a problemas específi cos, 81formuladores de políticas

envolvimento dos, 105, 151–152uso dos resultados e , 2, 53–54, 81,

87, 152Fórum Mundial de Educação para

Todos, 8frequência da avaliação, 92, 93garantia da qualidade, 5Guatemala, 115Guiné, 102Honduras, 23, 24q, 115Hungria, 23qidentifi cação de escolas para

intervenção, 100–101, 154, 156–157Illinois, 55, 55qÍndia, 89, 112, 161, 162Inglaterra, 10, 19, 140intervalo de tempo entre as avaliações,

93intervenção direcionada, 82, 100–101,

154, 156–157Intervenção em todo o sistema, 82,

156–157Irlanda

comunicação das conclusões da avaliação nacional na, 73

mudança no aproveitamento ao longo do tempo na, 46–47, 47f, 48f

Recomendações após uma avaliação nacional na, 126c

Relatórios em websites na, 69, 70qrelatórios resumidos na, 55, 56, 57q

Kuwait, 40–41, 40f, 94t, 100Laboratório Latino-Americano

de Avaliação da Qualidade da Educação (LLECE), 63

leitura“engajamento na,” 56, 155ensino da, 96, 104, 115iniciativa nacional, 102programas de reforço, 82teste de, 16, 92, 162

Lesoto, 112Letramento em Leitura nos Estados

Unidos: Relatório Técnico do Componente Americano do Estudo de Letramento em Leitura do IEA, 58

livros didáticos de ciências, 104livros didáticos de matemática, 104livros didáticos, 2, 2c, 33t, 57q, 69, 72,

81, 87, 89, 100, 101, 103, 104–105, 109, 127, 128q, 161

Malawi, 47, 90, 91t, 94tMaryland, 92, 98matemática, ensino de, 96, 109, 111t,

115, 117q, 126c, 127, 141, 159México, 138mídia, 5, 10, 51–53, 56–63, 68, 73,

138–139, 139q, 141–142, 144–147, 152

ministérios de Educação (MEs)comunicação dos resultados, 25t, 49,

53–55, 63, 73envolvimento do, 25t, 105, 151–152políticas e ações após uma avaliação,

75–85, 87–106uso dos resultados da avaliação, 25t,

76, 81, 124, 134, 151–162Moçambique, 113–115, 114tmodelo para a avaliação nacional, 31,

34, 103, 108treinamento de professores e,

108–109Namíbia, 94tNepal, 41, 42t, 94tNicarágua, 161Nigéria, 90, 94t


No Child Left Behind, 11, 92, 98Nova Zelândia, 122Objetivos de Desenvolvimento do

Milênio (ODMs), 47objetivos para a avaliação nacional, 1,

34, 151opinião pública, 23, 24q, 80Painel Nacional de Objetivos

Educacionais (EUA), 158pais, 2, 4, 12, 14, 14q, 28, 45, 101,

103, 109, 126c, 128q, 132–140, 135f, 139q, 158, 159

Panamá, 102Paquistão, 112, 113qPASEC. Ver Programa de Análise

dos Sistemas de Educação de CONFEMEN

Peru, 63, 98, 138Pesquisa sobre a efi cácia da escola, 127,

127q, 129, 134pesquisa sobre a efi cácia dos professores,

127, 127–128q, 129–131, 134Ver também ensino em sala de aula

PISA. Ver Programa Internacional de Avaliação de Alunos

planejamento de uma intervenção, 133

população para a avaliação, 40–45Ver também avaliação baseada no

censo; avaliação baseada em amostra

procedimentos administrativos para a avaliação nacional, 35

professores, 9–18, 20, 25t, 27, 29, 33t, 53, 56, 57t, 67–69, 72–73, 76, 80–82, 84, 87, 90–92, 95q, 107–136, 139, 139q, 141, 145, 147, 150, 152–154, 157–159

Programa de Análise dos Sistemas Educacionais da CONFEMEN (PASEC), 56, 158

Programa Internacional de Avaliação de Alunos (PISA), 38, 56, 57q, 56, 141

projeto de coleta de dados longitudinais, 157-158

prova de matemática, 18, 92, 120, 122c, 162

provasalternância de projeto de livreto,

155Características que aumentam a

validade, 16–19, 27, 77domínios do currículo nas, 18,

46–49, 78, 88, 102, 105, 120, 121t, 131, 155

Informações diagnósticas fornecidas pelas, 56, 72, 75, 77, 78, 102, 105, 108, 120–122, 121t, 122c, 152

múltipla escolha, 9, 11, 57tpadronizado, 124, 157resposta fechada, 57t

publicação de relatórios técnicos, 58–56, 57–58t

público, 28, 51, 63, 66q, 67q, 69, 75, 81, 137–147, 152

Qatar, 56qualidade dos instrumentos de

avaliação, 16–19, 27–28Quênia, 89, 90t, 94t, 100, 161recomendações após uma avaliação

nacional, 124-127, 126crecursos, 5, 100–101, 105–106, 134

descrição, 88–89falta de, 89–90

referência a outras conclusões de pesquisa, 81–82

relatórios da avaliação nacional, 31–73Ver também comunicação das

conclusões da pesquisarelatórios resumidos, 55–58relatórios temáticos, 56relevância das informações da

avaliação, 77, 123–124República de Maurício, 36, 37t, 94tRepública Dominicana, 93, 95q, 100,

115, 159responsabilidade, 5–18

de indivíduos e instituições, 13–15, 14q, 84


Resultados cognitivos e, 8Sanções vinculadas ao desempenho

e, 9–11, 11q, 20, 92, 150, 156tabela de classifi cação, publicação

das, 11–13respostas ao questionário, 109–112,

119revisão do sistema educacional, 93, 94t,

95q, 106Romênia, 97–98, 138rotatividade dos representantes ofi ciais

e especialistas técnicos, 76SACMEQ. Ver Consórcio da

África Austral e Oriental para Monitoramento da Qualidade da Educação

sanções, 9–11, 11q, 92, 150seminários e workshops após a

avaliação nacional, 80seminários e workshops após a

avaliação nacional, 80Ver também treinamento durante o

trabalho para professoressindicatos de professores, 4, 53, 56, 84,

138, 139qsistema educacional fechado versus

aberto, 5sistema educacional fechado vs.

aberto, 5Sri Lanka, 40, 40f, 94tsubutilização das conclusões da

avaliação nacional, 22–27, 25tSul da Ásia, 97tabela de classifi cação, 11–13Tailândia, 102Tanzânia. Ver ZanzibarTendências no Estudo Internacional da

Ciência e da Matemática (TIMSS), 41, 58, 109–112, 111t, 141

Teoria de Resposta ao Item, 19, 58ttreinamento de qualifi cação para

professores, 72, 107–108, 112, 117q, 136

Ver também desenvolvimento profi ssional dos professores

treinamento durante o trabalho para professores, 81, 107–109, 112, 115, 116–117, 117q.Ver também desenvolvimento

profi ssional dos professoresUganda, 94t, 120, 121q, 127,

133–134, 135fUruguai

avaliação nacional usada para rever o sistema educacional no, 94t

confl ito sobre o uso de conclusões da avaliação nacional no, 84, 138

disponibilidade de instrumento de avaliação nacional no, 146

Divulgação pública das conclusões da avaliação nacional no, 138, 139q

monitoramento do aproveitamento no, 92

público para receber os dados sobre aproveitamento dos alunos no, 5

Reforma no treinamento de professores no, 115–117, 117q

responsabilidade no, 4revisão curricular no, 103revisão de livros didáticos no, 104

Venezuela, 115Vietnã

Fatores fora da escola e aproveitamento no, 43–44, 132

Níveis de leitura no, 36, 39tPontuações dos professores nos

testes de aproveitamento no, 112, 113f, 115, 116f

revisão de livros didáticos no, 104Revisão do sistema educacional no,

94tVirginia, 98website, 69–70, 71q, 140, 147Zanzibar, 89, 94tZimbábue, 90, 94t, 100

public disclosure authorized - · . cip-brasil. catalogação-na-fonte sindicato nacional dos...

Documents