a fronteira do tema avaliação: desafios e perspectivas futuras

86
A fronteira do tema Avaliação: desafios e perspectivas futuras João Pedro Azevedo Banco Mundial II Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto Porto Alegre, 28 e 29 de Setembro de 2009.

Upload: fundacao-de-economia-e-estatistica

Post on 26-Jun-2015

2.840 views

Category:

Education


2 download

DESCRIPTION

João Pedro Azevedo identifica as perguntas, os metodos e gargá-los enfrentados em suas experiências Latino Americanas.

TRANSCRIPT

Page 1: A fronteira do tema Avaliação: desafios e perspectivas futuras

A fronteira do tema Avaliação: desafios e perspectivas futuras

João Pedro AzevedoBanco Mundial

II Seminário de Avaliação de Políticas Públicas e Qualidade do GastoPorto Alegre, 28 e 29 de Setembro de 2009.

Page 2: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ciclo de Gestão de Políticas Públicas

Desenho

Orçamento

Execução

Monitoramento e Avaliação

Teoria

Page 3: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ciclo de Gestão de Políticas Públicas

Desenho

Orçamento

Execução

Monitoramento e

Avaliaçã

o

Prática

Page 4: A fronteira do tema Avaliação: desafios e perspectivas futuras

Algumas razões para a quebra do ciclo!

• Modelos causais frequentemente implicitos• Dificuldades na execução• Ciclo políticos• Incompatibilidade entre os diferentes

“tempos” deste processo– Politico, Técnico (programa), Técnico (avaliação), e

Financeiro

Page 5: A fronteira do tema Avaliação: desafios e perspectivas futuras

É importante reconhecer avanços...

• Gestores públicos e sociedade civil com foco crescente em resultados– Movimento Brasil Competitivo; disseminação de ferramentas de

gestão modernas (i.e. escritorio de projetos; balanced score cards; avaliações de impacto)

• Existência de instituições tecnicamente capazes– IBGE, IPEA, Fundações Estaduais, Universidades, TCU

• Construção de foruns nacionais para troca de experiência sobre o tema– Rede Brasileira de Monitoramento e Avaliação; Movimento Todos

pela Educação; Forum de Segurança; eventos como este!

Page 6: A fronteira do tema Avaliação: desafios e perspectivas futuras

..., alguns limites

• Não existe um único caminho para se construir um robusto sistema de avaliação e monitoramento– A experiência internacional ajuda (i.e. Mexico,

Colombia, Chile, India), contudo este processos são fruto de uma confluência de atores e interesses próprios que podem e devem ser respeitados.

Page 7: A fronteira do tema Avaliação: desafios e perspectivas futuras

... e oportunidades.

• Heterogeneidade entre setores e regiões

• Programas de ajuste fiscal

• Construção de Estratégias de Desenvolvimento

• Eleição de programas prioritários

• Crises economicas

Page 8: A fronteira do tema Avaliação: desafios e perspectivas futuras

Alguns desafios

• O que perguntar?

• Como responder?

• Quando responder?

• Como utilizar?

Page 9: A fronteira do tema Avaliação: desafios e perspectivas futuras

Formatando as perguntas...

• Existe um continuo de perguntas relevantes

• Para ser estratégico e poder priorizar é importante mapear as possibilidades.

Resultados

Mobilização

Efficiência

Participantes

Recursos

Servicos

Eficiência

Impacto

Page 10: A fronteira do tema Avaliação: desafios e perspectivas futuras

... Identificando as ferramentas...• Marco lógico• Avaliação ex-antes• Dinamica de sistema• Métodos Qualitativos

– Grupos focais– Entrevistas estruturados

• Métodos Quantitativos– Desenhos experimentais– Desenhos não-experimentais – Implementação– Análise de disposição a pagar– Análises de custo-benefício– Análises de custo-efetividade

• Análise de Desviante Positivo

• Benchmarking• Modelos de Equilibrio Geral

Computável• Avaliações nutricionais• Avaliações de proficiência

educacional• Ferramentas de BI• Outros...

Page 11: A fronteira do tema Avaliação: desafios e perspectivas futuras

..., viabilizando o plano de trabalho

• Dados– Registros administrativos– Dados secundários– Coleta primária de dados

• Instituições– Demandantes de informação– Geradores de informação

• Prazos

Page 12: A fronteira do tema Avaliação: desafios e perspectivas futuras

..., utilizando os resultados.

• Relevância• Representatividade• Viabilidade• Precisão

Page 13: A fronteira do tema Avaliação: desafios e perspectivas futuras

Estudos de caso

• Colombia

• México

• República Dominicana

• Minas Gerais

Page 14: A fronteira do tema Avaliação: desafios e perspectivas futuras

Objetivo

• Identificar as perguntas, métodos, e gargá-los enfrentados em algumas experiências Latino Americanas.

• Criar um documento único

Page 15: A fronteira do tema Avaliação: desafios e perspectivas futuras

Desafios

• Uso de modelos causais explicitos• Maior uso de avaliações ex-antes durante a fase de

planejamento do governo• Reconhecimento da importância da triangulação de métodos• Maior uso dos dados existentes• Melhoria da qualidade dos dados existentes• Geração de pesquisas domicíliares mais apropriadas para

avaliar programas• Desenhos aleatórios de programas alternativos• Avaliações dos determinantes de impacto

Page 16: A fronteira do tema Avaliação: desafios e perspectivas futuras

Perspectiva futura

• Geração e sistematização do conhecimento como um bem público

• Política de ESTADO

Page 18: A fronteira do tema Avaliação: desafios e perspectivas futuras

Primeiro: Será que as metas são factíveis?

• Benchmark comparando paises• Benchmark comparando estados dentro de um pais• Benchmark comparando municípios ou unidades decisórias (escola,

hospitais, pontos de saúde) dentro de um estado

• Pode-se analisar as distribuições não condicionada dos desempenhos• ….ou as condicionadas nas características iniciais.• Nossa contribuição. Ao invés de estimarmos a medida de desempenho e

condicionada as caracteristica iniciais na média (MQO), podemos estimar estas relações em todos os pontos da distribuição utilizado a técnica de regressões quantílicas.

Ferramentas

Page 19: A fronteira do tema Avaliação: desafios e perspectivas futuras

BenchmarkingInternational

National

Subnational

Motivação

Apre

ndiz

ado

Ferramentas

Page 20: A fronteira do tema Avaliação: desafios e perspectivas futuras

Benchmarking: Internacional, Nacional e Local

• Brasil esta em uma posição relativa baixa na nas comparação internacionais de leitura, ciências e matemática (PISA)

• Minas Gerais esta em uma posição alta da distribuição de performance dentro do Brasil, e apresenta um ritmo de crescimento relativametne alto

• Observa-se uma variação considerável entre o crescimento das notas dentro do Estado de Minas Gerais.

Ferramentas

Page 21: A fronteira do tema Avaliação: desafios e perspectivas futuras

Referencia

• Metas devem ser ambiciosas porem realistas

• As tendências históricas são um ponto de partida importante

Ferramentas

Page 22: A fronteira do tema Avaliação: desafios e perspectivas futuras

• Os eixos representam indicadores (H; CV; CVP) ou unidades de análise (RISPs)

• Três performances: – Desempenho histórico (2000-2007)– Desempenho recente (2004-2007)– Meta 2007-2009

Ferramentas

Page 23: A fronteira do tema Avaliação: desafios e perspectivas futuras

Exemplo 1

Ferramentas

Page 24: A fronteira do tema Avaliação: desafios e perspectivas futuras

Exemplo 2

Ferramentas

Page 25: A fronteira do tema Avaliação: desafios e perspectivas futuras

Exemplo 3

Ferramentas

Page 26: A fronteira do tema Avaliação: desafios e perspectivas futuras

Exemplo 4

Ferramentas

Page 27: A fronteira do tema Avaliação: desafios e perspectivas futuras

SEGURANÇA PÚBLICA

Ferramentas

Page 28: A fronteira do tema Avaliação: desafios e perspectivas futuras

Casos a serem explorados(com Gráfico de Radar)

sugestão

• Homicídio– Unaí vs Barbacena

• Nível semelhante (<70)• Variação histórica e recente proxima (< -2)• Porque metas tão diferentes?

– Pato de Minas e Divinópolis• Performance recente muito pior do que a histórica,

qual a estratégia para reverter o quadro?

– Belo Horizonte e Contagem• Caso de sucesso (o que foi feito)?

Ferramentas

Page 29: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 30: A fronteira do tema Avaliação: desafios e perspectivas futuras

Casos a serem explorados(com Gráfico de Radar)

sugestão

• Crimes Violentos contra o Patrimônio– Montes Claros e Uberaba

• Porque as metas são tão maiores do que o seu desempenho relativo histórico e recente?

– BH, Contagem, Teofilo Otoni, e Vespasiano• Porque as metas são tão menores do que seu

desempenho relativo recente?

– Unaí e Divinópolis• Porque a posição relativa das metas superior ao

desempenho recente?

Ferramentas

Page 31: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 32: A fronteira do tema Avaliação: desafios e perspectivas futuras

Comparando RISPs

• Barbacena– Metas um pouco superiores ao desepenho

relativo recente• Divinópolis

– Metas muito superiores ao desempenho relativo recente

• Belo Horizonte– Em alguns indicadores metas muito superiores em

outros muito abaixo

Ferramentas

Page 33: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 34: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 35: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 36: A fronteira do tema Avaliação: desafios e perspectivas futuras

EDUCAÇÃO

Ferramentas

Page 37: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 38: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 39: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 40: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 41: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 42: A fronteira do tema Avaliação: desafios e perspectivas futuras

Uma vez que acreditamos que as metas são viáveis….

• Qual será a estratégia para alcançar as metas?• Quanto vai custar?• Quanto tempo vai demorar para alcançar as metas?• Qual a previsão para monitorar e avaliar o progresso

e qual será o processo caso o sistema de monitoramento indicar que mudanças são necessárias?

• Tanto as áreas de finanças/planejamento quanto os ministérios setoriais tem interesse em responder estas perguntas

Ferramentas

Page 43: A fronteira do tema Avaliação: desafios e perspectivas futuras

Uma marco lógico é um instrumento que pode facilitar a comunicação entre a área de finanças/planejamento e os setores

Fonte: FAO, http://www.fao.org/Wairdocs/X5405E/x5405e0p.htm Ferramentas

Page 44: A fronteira do tema Avaliação: desafios e perspectivas futuras

Marco Logico, cont. -

• Em 80% dos casos, é possível que isto seja tudo que se necessita

• Em outros casos, pode não ser suficiente– Quando tempos processos de retroalimentação no sistema

(A – B – C, mas C afeta A)– Quando temos uma elemento dinamico no problema, – Quando programas múltiplos contribuem para um mesmo

objetivo estratégico– Quando temos que entender as diferenças de

desempenho entre implementações distintas

Ferramentas

Page 45: A fronteira do tema Avaliação: desafios e perspectivas futuras

Dinamica de Sistemas• A Dinamica de Sistemas é uma metodologia para estudar e gerenciar

sistemas complexos de retroalimentação, que podem ser encontrados em sistemas empresariais ou sociais

• A metodologia:– Identifica um problema, – Desenvolve uma hipotese dinamica que explica a causa do problema,– Constroi um modelo de simulação do comportamento do sistema,– Verifica a capacidade do modelo de reproduzir tendências que se

observam na realidade,– Identifica politicas alternativa que podem solucionar o problema y se

testa o potencial que cada alterantiva possui para solucionar o problema, e

– Identifica indicadores que o modelo deveria acompanhar através de um sistema de monitoramento e avaliação.

• Existem aplicações em diversos setores e principalmente no setor privado (GM, Boeing, Shell, preparação dos jogos Olimpicos em Atenas)

Ferramentas

Page 46: A fronteira do tema Avaliação: desafios e perspectivas futuras

Exemplo do Control de Malaria na Bolivia

Ferramentas

Page 47: A fronteira do tema Avaliação: desafios e perspectivas futuras

AvaliaçãoSensibilizar condições Correntes em relação as metas estabelecidas

EstratégiaAplicando o método para

desenvolver uma visão, estratégia, e metas

ImplementaçãoDesenvolvendo táticas

e ações

Impacts

Paradigmas &Modelos Mentais

Conjunto de hipótesessobre como o mundo

funciona e o queé importante

Nosso modelo metal esta implicito no processoA melhoria da estrategia e implementação requer a abertura da “caixa preta”

Para…1. Descrever precisamente o que esta

acontecendo e o que deve acontecer?2. Determinar rigorasametne as causas

subjacentes?3. Simular o que deve ser feito para melhorar

a situação?4. Conquistar adeptos para implementar as

mudanças5. Desenvolver um sistema de monitramento

capaz de alertar as necessidades de mudança

Ferramentas

Page 48: A fronteira do tema Avaliação: desafios e perspectivas futuras

Documento Único

• Marco Lógico• População em risco• Parâmetros

– Efetividade– Eficiência– Custo

• Metas

Fonte:LiteraturaM&EOrçamentoProjetoMetas

Ferramentas

Page 49: A fronteira do tema Avaliação: desafios e perspectivas futuras

Por que pensamos que estas duas ferramentas podem melhorar a qualidade das discussões e negociações

• Menos risco para se ter metas irrealistas• O processo de escolha de metas passa a ser baseado em

evidências empíricas• Com um marco lógico, ou quando se justifica, com um modelo

de dinamica de sistema, pode-se contruir um “documento único” que representa o entendimento entre os atores sobre o plano que se alcançar a meta

• Ao invés de controlar um grande número de indicadores, pode-se simplificar o processo ao pactuar através de uma plano crível, que pode ser revisto periodicamente, no qual as decisões finais poderão ser tomadas quando as ações não apresentam o efeito esperado.

Ferramentas

Page 50: A fronteira do tema Avaliação: desafios e perspectivas futuras

Análise de Desviantes Positivos

• Quando a tecnologia não é conhecida, muitas vezes pode-se explorar a heterogeneidade de performance do próprio sistema para gerar hipóteses.

• Exemplos:– Nutrição no Vietman– Saúde– Educação

Ferramentas

Page 51: A fronteira do tema Avaliação: desafios e perspectivas futuras

Avaliação

Como gerar conhecimento de maneira sistematica?

Objetivo

Tecnologia conhecida

Tecnologia desconhecida

Usamos dados para

identificar hipoteses

AçõesEscala

Resultado

Avaliação

Ações

Ferramentas

Page 52: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 53: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 54: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 55: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 56: A fronteira do tema Avaliação: desafios e perspectivas futuras

Alguns resultados interessantes a respeito dos mecanismos de feedback criados pelas SEE/MG...

– Segundo os diretores as escolas de melhor performance sabem que estão indo bem (q24a e q24b)

– Os diretores parecem conhecer a posição relativa da sua escola em suas respectivas de SREs (q27)

– Os diretores das escolas de melhor resultado atribuem seu rendimento no PROEB a um trabalho diferenciado com os alunos e a um esforço maior da escola (q25b)

– A matriz de avaliação do PROEB parece ser melhor conhecida nas escolas de melhor peformance (q69b)

Ferramentas

Page 57: A fronteira do tema Avaliação: desafios e perspectivas futuras

Em relação ao Acordo de resultado no contexto educacional de Minas Gerais a percepção encontrada foi que...

• Os diretores das escolas com melhor resultado parecem acreditar que o Acordo de Resultado contribuiu para melhorar o despenho dos alunos (q73c e q73e)…

• ...contudo, 10% dos diretores das escolas com melhor resultado indicaram que nas metas pactuadas nao foram nada desafiadoras (q78)

• Os diretores das escolas com pior resultado discordam do processo de implementação do Acordo de Resultado (q74a)

• Os diretores das escolas de melhor resultado acreditam que o PGDI contribui positivamente para um melhor conhecimento das equipes (q75c)

Ferramentas

Page 58: A fronteira do tema Avaliação: desafios e perspectivas futuras

Em relação aos professores...

• Os professores das escolas com melhor resultado estavam mais habilitados a lecionar (e não apenas autorizados).

• Os professores das escolas com melhor resultado avaliam que o ambiente de trabalho, disciplina dos alunos e funcionamento global da escola é bom ou muito bom (q33b, q33e, q33g)

• Os professores das escolas com melhor desempenho parecem ser melhor informados sobre as metas e objetivos da sua escola (q41a), e estão mais engajados em atividade de troca de experiência com outras escolas (q41f).

Ferramentas

Page 59: A fronteira do tema Avaliação: desafios e perspectivas futuras

Em relação aos mecanimos de feedback...

• Os professores das escolas de pior desepenho são entre 2 ou 3 vezes mais propensos a afirma que desconhecem o rendimento de sua escola entre 2006 e 2008, tanto no PROALFA quando PROEB.

• Os professores das escolas de melhor desempenho participaram mais ativamente da construção do seu PGDI

• 73% dos professores acreditam na manutenção do prêmio de produtividade em 2010 (resultado idêntido nos dois tipos de escolas visitadas)

Ferramentas

Page 60: A fronteira do tema Avaliação: desafios e perspectivas futuras

AVALIAÇÃO DE IMPLEMENTAÇÃO

Ferramentas

Page 61: A fronteira do tema Avaliação: desafios e perspectivas futuras

Divulgação e mobilização

3

Integraçãoe interaçãoDa equipe

2

Processos3

Apropriação do PEJ

2

Matriz de avaliação por escola

Envolvimento e participação dos alunos

(1)

Adoção de estratégias Permanentes de

Mobilização dos alunos(1)

Planos de trabalho elaborados e executados

pelo coordenador(0,5)

Planos de trabalho Elaborado e executados

Pelo estagiário de pedagogia

(0,5)

Planos de trabalho elaborado

e executado pelo tutor(0,5)

Participação nas reuniões de equipe

(0,5)

Estratégias de retorno para a comunidade

Escolar(0,5)

Conhecimento do PEJ pelos alunos

(0,5)

Entrega e Atualização dos dados

(1)

Capacidade de coordenar Aplicação de avaliações e ficha de beneficiário

(1)

Capacidade de planejar eCoordenar as atividades

Extras(1)

Capacidade de resolução de

situações que afetam o desenvolvimento do PEJ

(05)

Incentivo dado pela escola

ao aluno (0,5)Adoção de estratégias

de mobilização do Corpo docente

(0,5)

Estratégias de manutenção

do fluxo de comunicação(0,5)

Ferramentas

Page 62: A fronteira do tema Avaliação: desafios e perspectivas futuras

Níveis de classificação

Excelente 100%

ALTO 70%

BAIXO30%

INSATISFATÓRIO0%

MÉDIA50%

A contribuição à maioria dos fatores considerados é modesta. Os pontos favoráveis e as deficiências se equivalem. As deficiências são corrigíveis.

Excelente contribuição à maioria dos fatores considerados. Existem pontos muitofavoráveis e nenhuma deficiência de maior importância. Os pontos favoráveispredominam amplamente frente a eventuais deficiências.

Alta contribuição à maioria dos fatores considerados. Os pontos favoráveis suplantam as deficiências existentes. Todas as deficiências são facilmentecorrigíveis.

Pequena contribuição a vários dos fatores considerados. As deficiências suplantam quaisquer pontos favoráveis eventualmente existentes e são difíceis de corrigir.

Não existem pontos favoráveis a ressaltar além de existirem importantes deficiências. Essas deficiências são muito difíceis de corrigir.

Ferramentas

Page 63: A fronteira do tema Avaliação: desafios e perspectivas futuras

Indicador Itens Avaliação

Divulgação e mobilização

- Conhecimento dos objetivos do PEJ pelos alunos da escola

- Envolvimento e participação dos alunos no PEJ (frequência, participação nas atividades extras, etc)

- Adoção de estratégias permanentes de mobilização dos alunos

- Adoção de estratégias de mobilização do corpo docente

Integração e interação da equipe do PEJ na escola

- Planos de trabalho elaborados e sendo executados pelo coordenador

- Planos de trabalho elaborados e sendo executados pelo estagiário de pedagogia

- Planos de trabalho elaborados e sendo executados pelos tutores

- Adoção de estratégias para manter o fluxo de informação

Processos

- Entrega e atualização dos dados (frequência, notas, banco de alunos)

- Capacidade de coordenar a aplicação das avaliações e ficha de beneficiário

- Capacidade de planejar,coordenar e executar as atividades extras (passeio cultural e gincana)

Apropriação do PEJ

- Participação nas reuniões de equipe (supervisores/coordenação local)

- Capacidade de resolução de situações que afetam o desenvolvimento do PEJ (merenda, transporte, outros)

- Incentivo dado ao aluno pela escola

- Estratégias de retorno dos resultados do PEJ para a comunidade escolar (inscrição em curso oferecidos pelo IU, reunião com corpo docente e discente, etc)

Matriz de Avaliação por Escola

Local: ( )RJ ( ) JF ( ) ESEscola Estadual: _____________________________Data _____________________

5 = EXCELENTE

4 = ALTA

3 = MÉDIA

2 = ABAIXO DA MÉDIA

1 = INSATISFATÓRIA

Avaliação Níveis

Ferramentas

Page 64: A fronteira do tema Avaliação: desafios e perspectivas futuras

Escolas Nota Final

Escola 1 63.3 55.0 66.7 50 60.0

Escola 2 66.7 75.0 73.3 75 72.0

Escola 3 40.0 35.0 60.0 45 46.0

Escola 4 76.7 65.0 100.0 65 79.0

Escola 5 43.3 50.0 60.0 45 50.0

Escola 6 63.3 65.0 60.0 55 61.0

Escola 7 63.3 75.0 80.0 60 70.0

Escola 8 60.0 70.0 80.0 65 69.0

Escola 9 33.3 45.0 40.0 40 39.0

Escola 10 53.3 45.0 53.3 55 52.0

Escola 11 66.7 60.0 46.7 70 60.0

Escola 12 60.0 50.0 60.0 55 57.0

Escola 13 56.7 60.0 66.7 60 61.0

Escola 14 66.7 70.0 73.3 65 69.0

Escola 15 46.7 45.0 66.7 50 53.0

Escola 16 40.0 25.0 33.3 40 35.0

Escola 17 63.3 75.0 80.0 65 71.0

Escola 18 43.3 50.0 40.0 40 43.0

Escola 19 26.7 30.0 26.7 30 28.0

Divulgação e mobilização - 15

Integração e interação da equipe - 10

Processos - 15Apropriação do PEJ -

10

Ferramentas

Page 65: A fronteira do tema Avaliação: desafios e perspectivas futuras

AVALIAÇÃO DE IMPACTO

Ferramentas

Page 66: A fronteira do tema Avaliação: desafios e perspectivas futuras

Diferença em Diferenças

Sorteio * PréTeste

Pós Teste

Escolas de Controle

Escolas de Tratamento

BA

Impacto = B - A

Com este desenho podemos descobrir o efeito do programa nas escolas tratadas, levando em conta externalidades positivas e negativas geradas pela intervenção.

tempo

profi

ciên

cia

Nota: (*) ou pareamento Ferramentas

Page 67: A fronteira do tema Avaliação: desafios e perspectivas futuras

Desenho do Programa

• O programa EJ não foi desenhado para atender todos os alunos de uma mesma escola

• Alunos se inscrevem voluntariamente no programa

Ferramentas

Page 68: A fronteira do tema Avaliação: desafios e perspectivas futuras

Tripla Diferença

Sorteio* PréTeste

Pós Teste

Escolas de Controle

Escolas de TratamentoAlunos em grupos de tutoria

Com este desenho podemos descobrir o efeito do programa sobre os alunos participantes.

tempo

profi

ciên

cia

Nota: (*) ou pareamento Ferramentas

Page 69: A fronteira do tema Avaliação: desafios e perspectivas futuras

Desenho da Avaliação (cont.)

• Muitas vezes avaliações assumem que a intervenção possui um caráter dicotômico (recebem ou não recebem o programa).

• Esta premissa pode ser falsa. Participantes podem receber exposições diferenciadas ao programa.

• No caso do EJ 2008, este indicador é a taxas de freqüência. – Para isso a equipe de implementação do programa

monitorou cuidadosamente este aspecto do programa, e estes dados foram também utilizados na avaliação.

Ferramentas

Page 70: A fronteira do tema Avaliação: desafios e perspectivas futuras

Linha de Base

Dimensões Controle Intervenção Diferença Sig EstatVc gostaria de fazer um curso de reforço de português ou matemática (Sim) 60.2 59.8 -0.4 ns

Você fez um curso de reforço no ano passado (Não) 89.7 88.4 -1.3 ns

Vc teria tempo para fazer um curso de reforço (Sim) 53.7 55.8 2.1 ns

Seu pai sabe ler e escrever (Sim) 87.5 87.7 0.2 ns

Sua mae sabe ler e escrever (sim) 93.3 93.5 0.2 ns

Você mora com sua mãe (sim) 86.1 85.4 -0.7 ns

Você já foi reprovado (Não) 57.9 56.3 -1.6 ns

Trabalho fora de casa (Não) 72.7 74.2 1.5 ns

Leitura de jornal (sempre) 45.2 46.5 1.3 ns

Vc esta fazendo algum curso de reforço escolar (Sim) 4.5 16 11.5 1%

Ferramentas

Page 71: A fronteira do tema Avaliação: desafios e perspectivas futuras

Perguntas

• Qual o impacto do EJ 2008 nas escolas que participaram do programa em 2008?

• Qual o impacto do EJ 2008 nos alunos que participaram do programa em 2008?

• Qual o impacto da freqüência do programa EJ 2008?

• Em termos relativos, a magnitude do impacto é relevante?

Ferramentas

Page 72: A fronteira do tema Avaliação: desafios e perspectivas futuras

Quadro ResumoDimensões da avaliação de impacto

Impacto Português Matemática

Escola X X

Beneficiário X X

Freqüência X X

Ferramentas

Page 73: A fronteira do tema Avaliação: desafios e perspectivas futuras

Resultados• O número de alunos beneficiários do programa não foi suficiente para

gerar um impacto estatisticamente significativo ao nível da escola. • No entanto, os beneficiários das classes de reforço das escolas de

tratamento apresentaram um rendimento superior e estatisticamente significativo, quando comparado a alunos semelhantes das escolas de controle (1/4 desvio padrão).

• A evidência deste impacto é mais contundente em Vitória: 1/2 desvio padrão (desenho aleatório) .

• Os alunos que freqüentaram mais intensamente o programa apresentaram um rendimento superior aqueles que não freqüentaram o programa com a mesma intensidade (1/3 desvio padrão)

• Os impactos da freqüência são não lineares. Ganhos mais do que proporcionais com o passar do tempo em matemática.

Ferramentas

Page 74: A fronteira do tema Avaliação: desafios e perspectivas futuras

Resultados (Vitória)

Impacto Português Matemática

Escola 1.81 1.27

Beneficiário 24.15** 23.31**

Freqüência 14.03** 21.18**

Nota: significância estatística: + p<0.01, * p<0.05, ** p<0.01; Modelo: Diferença (dupla ou tripla); erro padrão clusterizado por aluno; painel desbalanceado; ponderado pelo erro padrão; desvio padrão nas escolas de tratamento no pré-teste: Português = 47.64 e Matemática = 46.71.Ferramentas

Page 75: A fronteira do tema Avaliação: desafios e perspectivas futuras

HETEROGENEIDADE DO IMPACTO

Ferramentas

Page 76: A fronteira do tema Avaliação: desafios e perspectivas futuras

Matemática (Vitória)

Ferramentas

Page 77: A fronteira do tema Avaliação: desafios e perspectivas futuras

Português (Vitória)

Ferramentas

Page 78: A fronteira do tema Avaliação: desafios e perspectivas futuras

AVALIAÇAO EX-ANTE

Ferramentas

Page 79: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 80: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 81: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 82: A fronteira do tema Avaliação: desafios e perspectivas futuras

DESENHO NÃO-EXPERIMENTAL

Ferramentas

Page 83: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 84: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 85: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas

Page 86: A fronteira do tema Avaliação: desafios e perspectivas futuras

Ferramentas