a fronteira do tema avaliação: desafios e perspectivas futuras
DESCRIPTION
João Pedro Azevedo identifica as perguntas, os metodos e gargá-los enfrentados em suas experiências Latino Americanas.TRANSCRIPT
A fronteira do tema Avaliação: desafios e perspectivas futuras
João Pedro AzevedoBanco Mundial
II Seminário de Avaliação de Políticas Públicas e Qualidade do GastoPorto Alegre, 28 e 29 de Setembro de 2009.
Ciclo de Gestão de Políticas Públicas
Desenho
Orçamento
Execução
Monitoramento e Avaliação
Teoria
Ciclo de Gestão de Políticas Públicas
Desenho
Orçamento
Execução
Monitoramento e
Avaliaçã
o
Prática
Algumas razões para a quebra do ciclo!
• Modelos causais frequentemente implicitos• Dificuldades na execução• Ciclo políticos• Incompatibilidade entre os diferentes
“tempos” deste processo– Politico, Técnico (programa), Técnico (avaliação), e
Financeiro
É importante reconhecer avanços...
• Gestores públicos e sociedade civil com foco crescente em resultados– Movimento Brasil Competitivo; disseminação de ferramentas de
gestão modernas (i.e. escritorio de projetos; balanced score cards; avaliações de impacto)
• Existência de instituições tecnicamente capazes– IBGE, IPEA, Fundações Estaduais, Universidades, TCU
• Construção de foruns nacionais para troca de experiência sobre o tema– Rede Brasileira de Monitoramento e Avaliação; Movimento Todos
pela Educação; Forum de Segurança; eventos como este!
..., alguns limites
• Não existe um único caminho para se construir um robusto sistema de avaliação e monitoramento– A experiência internacional ajuda (i.e. Mexico,
Colombia, Chile, India), contudo este processos são fruto de uma confluência de atores e interesses próprios que podem e devem ser respeitados.
... e oportunidades.
• Heterogeneidade entre setores e regiões
• Programas de ajuste fiscal
• Construção de Estratégias de Desenvolvimento
• Eleição de programas prioritários
• Crises economicas
Alguns desafios
• O que perguntar?
• Como responder?
• Quando responder?
• Como utilizar?
Formatando as perguntas...
• Existe um continuo de perguntas relevantes
• Para ser estratégico e poder priorizar é importante mapear as possibilidades.
Resultados
Mobilização
Efficiência
Participantes
Recursos
Servicos
Eficiência
Impacto
... Identificando as ferramentas...• Marco lógico• Avaliação ex-antes• Dinamica de sistema• Métodos Qualitativos
– Grupos focais– Entrevistas estruturados
• Métodos Quantitativos– Desenhos experimentais– Desenhos não-experimentais – Implementação– Análise de disposição a pagar– Análises de custo-benefício– Análises de custo-efetividade
• Análise de Desviante Positivo
• Benchmarking• Modelos de Equilibrio Geral
Computável• Avaliações nutricionais• Avaliações de proficiência
educacional• Ferramentas de BI• Outros...
..., viabilizando o plano de trabalho
• Dados– Registros administrativos– Dados secundários– Coleta primária de dados
• Instituições– Demandantes de informação– Geradores de informação
• Prazos
..., utilizando os resultados.
• Relevância• Representatividade• Viabilidade• Precisão
Estudos de caso
• Colombia
• México
• República Dominicana
• Minas Gerais
Objetivo
• Identificar as perguntas, métodos, e gargá-los enfrentados em algumas experiências Latino Americanas.
• Criar um documento único
Desafios
• Uso de modelos causais explicitos• Maior uso de avaliações ex-antes durante a fase de
planejamento do governo• Reconhecimento da importância da triangulação de métodos• Maior uso dos dados existentes• Melhoria da qualidade dos dados existentes• Geração de pesquisas domicíliares mais apropriadas para
avaliar programas• Desenhos aleatórios de programas alternativos• Avaliações dos determinantes de impacto
Perspectiva futura
• Geração e sistematização do conhecimento como um bem público
• Política de ESTADO
Primeiro: Será que as metas são factíveis?
• Benchmark comparando paises• Benchmark comparando estados dentro de um pais• Benchmark comparando municípios ou unidades decisórias (escola,
hospitais, pontos de saúde) dentro de um estado
• Pode-se analisar as distribuições não condicionada dos desempenhos• ….ou as condicionadas nas características iniciais.• Nossa contribuição. Ao invés de estimarmos a medida de desempenho e
condicionada as caracteristica iniciais na média (MQO), podemos estimar estas relações em todos os pontos da distribuição utilizado a técnica de regressões quantílicas.
Ferramentas
BenchmarkingInternational
National
Subnational
Motivação
Apre
ndiz
ado
Ferramentas
Benchmarking: Internacional, Nacional e Local
• Brasil esta em uma posição relativa baixa na nas comparação internacionais de leitura, ciências e matemática (PISA)
• Minas Gerais esta em uma posição alta da distribuição de performance dentro do Brasil, e apresenta um ritmo de crescimento relativametne alto
• Observa-se uma variação considerável entre o crescimento das notas dentro do Estado de Minas Gerais.
Ferramentas
Referencia
• Metas devem ser ambiciosas porem realistas
• As tendências históricas são um ponto de partida importante
Ferramentas
• Os eixos representam indicadores (H; CV; CVP) ou unidades de análise (RISPs)
• Três performances: – Desempenho histórico (2000-2007)– Desempenho recente (2004-2007)– Meta 2007-2009
Ferramentas
Exemplo 1
Ferramentas
Exemplo 2
Ferramentas
Exemplo 3
Ferramentas
Exemplo 4
Ferramentas
SEGURANÇA PÚBLICA
Ferramentas
Casos a serem explorados(com Gráfico de Radar)
sugestão
• Homicídio– Unaí vs Barbacena
• Nível semelhante (<70)• Variação histórica e recente proxima (< -2)• Porque metas tão diferentes?
– Pato de Minas e Divinópolis• Performance recente muito pior do que a histórica,
qual a estratégia para reverter o quadro?
– Belo Horizonte e Contagem• Caso de sucesso (o que foi feito)?
Ferramentas
Ferramentas
Casos a serem explorados(com Gráfico de Radar)
sugestão
• Crimes Violentos contra o Patrimônio– Montes Claros e Uberaba
• Porque as metas são tão maiores do que o seu desempenho relativo histórico e recente?
– BH, Contagem, Teofilo Otoni, e Vespasiano• Porque as metas são tão menores do que seu
desempenho relativo recente?
– Unaí e Divinópolis• Porque a posição relativa das metas superior ao
desempenho recente?
Ferramentas
Ferramentas
Comparando RISPs
• Barbacena– Metas um pouco superiores ao desepenho
relativo recente• Divinópolis
– Metas muito superiores ao desempenho relativo recente
• Belo Horizonte– Em alguns indicadores metas muito superiores em
outros muito abaixo
Ferramentas
Ferramentas
Ferramentas
Ferramentas
EDUCAÇÃO
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Uma vez que acreditamos que as metas são viáveis….
• Qual será a estratégia para alcançar as metas?• Quanto vai custar?• Quanto tempo vai demorar para alcançar as metas?• Qual a previsão para monitorar e avaliar o progresso
e qual será o processo caso o sistema de monitoramento indicar que mudanças são necessárias?
• Tanto as áreas de finanças/planejamento quanto os ministérios setoriais tem interesse em responder estas perguntas
Ferramentas
Uma marco lógico é um instrumento que pode facilitar a comunicação entre a área de finanças/planejamento e os setores
Fonte: FAO, http://www.fao.org/Wairdocs/X5405E/x5405e0p.htm Ferramentas
Marco Logico, cont. -
• Em 80% dos casos, é possível que isto seja tudo que se necessita
• Em outros casos, pode não ser suficiente– Quando tempos processos de retroalimentação no sistema
(A – B – C, mas C afeta A)– Quando temos uma elemento dinamico no problema, – Quando programas múltiplos contribuem para um mesmo
objetivo estratégico– Quando temos que entender as diferenças de
desempenho entre implementações distintas
Ferramentas
Dinamica de Sistemas• A Dinamica de Sistemas é uma metodologia para estudar e gerenciar
sistemas complexos de retroalimentação, que podem ser encontrados em sistemas empresariais ou sociais
• A metodologia:– Identifica um problema, – Desenvolve uma hipotese dinamica que explica a causa do problema,– Constroi um modelo de simulação do comportamento do sistema,– Verifica a capacidade do modelo de reproduzir tendências que se
observam na realidade,– Identifica politicas alternativa que podem solucionar o problema y se
testa o potencial que cada alterantiva possui para solucionar o problema, e
– Identifica indicadores que o modelo deveria acompanhar através de um sistema de monitoramento e avaliação.
• Existem aplicações em diversos setores e principalmente no setor privado (GM, Boeing, Shell, preparação dos jogos Olimpicos em Atenas)
Ferramentas
Exemplo do Control de Malaria na Bolivia
Ferramentas
AvaliaçãoSensibilizar condições Correntes em relação as metas estabelecidas
EstratégiaAplicando o método para
desenvolver uma visão, estratégia, e metas
ImplementaçãoDesenvolvendo táticas
e ações
Impacts
Paradigmas &Modelos Mentais
Conjunto de hipótesessobre como o mundo
funciona e o queé importante
Nosso modelo metal esta implicito no processoA melhoria da estrategia e implementação requer a abertura da “caixa preta”
Para…1. Descrever precisamente o que esta
acontecendo e o que deve acontecer?2. Determinar rigorasametne as causas
subjacentes?3. Simular o que deve ser feito para melhorar
a situação?4. Conquistar adeptos para implementar as
mudanças5. Desenvolver um sistema de monitramento
capaz de alertar as necessidades de mudança
Ferramentas
Documento Único
• Marco Lógico• População em risco• Parâmetros
– Efetividade– Eficiência– Custo
• Metas
Fonte:LiteraturaM&EOrçamentoProjetoMetas
Ferramentas
Por que pensamos que estas duas ferramentas podem melhorar a qualidade das discussões e negociações
• Menos risco para se ter metas irrealistas• O processo de escolha de metas passa a ser baseado em
evidências empíricas• Com um marco lógico, ou quando se justifica, com um modelo
de dinamica de sistema, pode-se contruir um “documento único” que representa o entendimento entre os atores sobre o plano que se alcançar a meta
• Ao invés de controlar um grande número de indicadores, pode-se simplificar o processo ao pactuar através de uma plano crível, que pode ser revisto periodicamente, no qual as decisões finais poderão ser tomadas quando as ações não apresentam o efeito esperado.
Ferramentas
Análise de Desviantes Positivos
• Quando a tecnologia não é conhecida, muitas vezes pode-se explorar a heterogeneidade de performance do próprio sistema para gerar hipóteses.
• Exemplos:– Nutrição no Vietman– Saúde– Educação
Ferramentas
Avaliação
Como gerar conhecimento de maneira sistematica?
Objetivo
Tecnologia conhecida
Tecnologia desconhecida
Usamos dados para
identificar hipoteses
AçõesEscala
Resultado
Avaliação
Ações
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Alguns resultados interessantes a respeito dos mecanismos de feedback criados pelas SEE/MG...
– Segundo os diretores as escolas de melhor performance sabem que estão indo bem (q24a e q24b)
– Os diretores parecem conhecer a posição relativa da sua escola em suas respectivas de SREs (q27)
– Os diretores das escolas de melhor resultado atribuem seu rendimento no PROEB a um trabalho diferenciado com os alunos e a um esforço maior da escola (q25b)
– A matriz de avaliação do PROEB parece ser melhor conhecida nas escolas de melhor peformance (q69b)
Ferramentas
Em relação ao Acordo de resultado no contexto educacional de Minas Gerais a percepção encontrada foi que...
• Os diretores das escolas com melhor resultado parecem acreditar que o Acordo de Resultado contribuiu para melhorar o despenho dos alunos (q73c e q73e)…
• ...contudo, 10% dos diretores das escolas com melhor resultado indicaram que nas metas pactuadas nao foram nada desafiadoras (q78)
• Os diretores das escolas com pior resultado discordam do processo de implementação do Acordo de Resultado (q74a)
• Os diretores das escolas de melhor resultado acreditam que o PGDI contribui positivamente para um melhor conhecimento das equipes (q75c)
Ferramentas
Em relação aos professores...
• Os professores das escolas com melhor resultado estavam mais habilitados a lecionar (e não apenas autorizados).
• Os professores das escolas com melhor resultado avaliam que o ambiente de trabalho, disciplina dos alunos e funcionamento global da escola é bom ou muito bom (q33b, q33e, q33g)
• Os professores das escolas com melhor desempenho parecem ser melhor informados sobre as metas e objetivos da sua escola (q41a), e estão mais engajados em atividade de troca de experiência com outras escolas (q41f).
Ferramentas
Em relação aos mecanimos de feedback...
• Os professores das escolas de pior desepenho são entre 2 ou 3 vezes mais propensos a afirma que desconhecem o rendimento de sua escola entre 2006 e 2008, tanto no PROALFA quando PROEB.
• Os professores das escolas de melhor desempenho participaram mais ativamente da construção do seu PGDI
• 73% dos professores acreditam na manutenção do prêmio de produtividade em 2010 (resultado idêntido nos dois tipos de escolas visitadas)
Ferramentas
AVALIAÇÃO DE IMPLEMENTAÇÃO
Ferramentas
Divulgação e mobilização
3
Integraçãoe interaçãoDa equipe
2
Processos3
Apropriação do PEJ
2
Matriz de avaliação por escola
Envolvimento e participação dos alunos
(1)
Adoção de estratégias Permanentes de
Mobilização dos alunos(1)
Planos de trabalho elaborados e executados
pelo coordenador(0,5)
Planos de trabalho Elaborado e executados
Pelo estagiário de pedagogia
(0,5)
Planos de trabalho elaborado
e executado pelo tutor(0,5)
Participação nas reuniões de equipe
(0,5)
Estratégias de retorno para a comunidade
Escolar(0,5)
Conhecimento do PEJ pelos alunos
(0,5)
Entrega e Atualização dos dados
(1)
Capacidade de coordenar Aplicação de avaliações e ficha de beneficiário
(1)
Capacidade de planejar eCoordenar as atividades
Extras(1)
Capacidade de resolução de
situações que afetam o desenvolvimento do PEJ
(05)
Incentivo dado pela escola
ao aluno (0,5)Adoção de estratégias
de mobilização do Corpo docente
(0,5)
Estratégias de manutenção
do fluxo de comunicação(0,5)
Ferramentas
Níveis de classificação
Excelente 100%
ALTO 70%
BAIXO30%
INSATISFATÓRIO0%
MÉDIA50%
A contribuição à maioria dos fatores considerados é modesta. Os pontos favoráveis e as deficiências se equivalem. As deficiências são corrigíveis.
Excelente contribuição à maioria dos fatores considerados. Existem pontos muitofavoráveis e nenhuma deficiência de maior importância. Os pontos favoráveispredominam amplamente frente a eventuais deficiências.
Alta contribuição à maioria dos fatores considerados. Os pontos favoráveis suplantam as deficiências existentes. Todas as deficiências são facilmentecorrigíveis.
Pequena contribuição a vários dos fatores considerados. As deficiências suplantam quaisquer pontos favoráveis eventualmente existentes e são difíceis de corrigir.
Não existem pontos favoráveis a ressaltar além de existirem importantes deficiências. Essas deficiências são muito difíceis de corrigir.
Ferramentas
Indicador Itens Avaliação
Divulgação e mobilização
- Conhecimento dos objetivos do PEJ pelos alunos da escola
- Envolvimento e participação dos alunos no PEJ (frequência, participação nas atividades extras, etc)
- Adoção de estratégias permanentes de mobilização dos alunos
- Adoção de estratégias de mobilização do corpo docente
Integração e interação da equipe do PEJ na escola
- Planos de trabalho elaborados e sendo executados pelo coordenador
- Planos de trabalho elaborados e sendo executados pelo estagiário de pedagogia
- Planos de trabalho elaborados e sendo executados pelos tutores
- Adoção de estratégias para manter o fluxo de informação
Processos
- Entrega e atualização dos dados (frequência, notas, banco de alunos)
- Capacidade de coordenar a aplicação das avaliações e ficha de beneficiário
- Capacidade de planejar,coordenar e executar as atividades extras (passeio cultural e gincana)
Apropriação do PEJ
- Participação nas reuniões de equipe (supervisores/coordenação local)
- Capacidade de resolução de situações que afetam o desenvolvimento do PEJ (merenda, transporte, outros)
- Incentivo dado ao aluno pela escola
- Estratégias de retorno dos resultados do PEJ para a comunidade escolar (inscrição em curso oferecidos pelo IU, reunião com corpo docente e discente, etc)
Matriz de Avaliação por Escola
Local: ( )RJ ( ) JF ( ) ESEscola Estadual: _____________________________Data _____________________
5 = EXCELENTE
4 = ALTA
3 = MÉDIA
2 = ABAIXO DA MÉDIA
1 = INSATISFATÓRIA
Avaliação Níveis
Ferramentas
Escolas Nota Final
Escola 1 63.3 55.0 66.7 50 60.0
Escola 2 66.7 75.0 73.3 75 72.0
Escola 3 40.0 35.0 60.0 45 46.0
Escola 4 76.7 65.0 100.0 65 79.0
Escola 5 43.3 50.0 60.0 45 50.0
Escola 6 63.3 65.0 60.0 55 61.0
Escola 7 63.3 75.0 80.0 60 70.0
Escola 8 60.0 70.0 80.0 65 69.0
Escola 9 33.3 45.0 40.0 40 39.0
Escola 10 53.3 45.0 53.3 55 52.0
Escola 11 66.7 60.0 46.7 70 60.0
Escola 12 60.0 50.0 60.0 55 57.0
Escola 13 56.7 60.0 66.7 60 61.0
Escola 14 66.7 70.0 73.3 65 69.0
Escola 15 46.7 45.0 66.7 50 53.0
Escola 16 40.0 25.0 33.3 40 35.0
Escola 17 63.3 75.0 80.0 65 71.0
Escola 18 43.3 50.0 40.0 40 43.0
Escola 19 26.7 30.0 26.7 30 28.0
Divulgação e mobilização - 15
Integração e interação da equipe - 10
Processos - 15Apropriação do PEJ -
10
Ferramentas
AVALIAÇÃO DE IMPACTO
Ferramentas
Diferença em Diferenças
Sorteio * PréTeste
Pós Teste
Escolas de Controle
Escolas de Tratamento
BA
Impacto = B - A
Com este desenho podemos descobrir o efeito do programa nas escolas tratadas, levando em conta externalidades positivas e negativas geradas pela intervenção.
tempo
profi
ciên
cia
Nota: (*) ou pareamento Ferramentas
Desenho do Programa
• O programa EJ não foi desenhado para atender todos os alunos de uma mesma escola
• Alunos se inscrevem voluntariamente no programa
Ferramentas
Tripla Diferença
Sorteio* PréTeste
Pós Teste
Escolas de Controle
Escolas de TratamentoAlunos em grupos de tutoria
Com este desenho podemos descobrir o efeito do programa sobre os alunos participantes.
tempo
profi
ciên
cia
Nota: (*) ou pareamento Ferramentas
Desenho da Avaliação (cont.)
• Muitas vezes avaliações assumem que a intervenção possui um caráter dicotômico (recebem ou não recebem o programa).
• Esta premissa pode ser falsa. Participantes podem receber exposições diferenciadas ao programa.
• No caso do EJ 2008, este indicador é a taxas de freqüência. – Para isso a equipe de implementação do programa
monitorou cuidadosamente este aspecto do programa, e estes dados foram também utilizados na avaliação.
Ferramentas
Linha de Base
Dimensões Controle Intervenção Diferença Sig EstatVc gostaria de fazer um curso de reforço de português ou matemática (Sim) 60.2 59.8 -0.4 ns
Você fez um curso de reforço no ano passado (Não) 89.7 88.4 -1.3 ns
Vc teria tempo para fazer um curso de reforço (Sim) 53.7 55.8 2.1 ns
Seu pai sabe ler e escrever (Sim) 87.5 87.7 0.2 ns
Sua mae sabe ler e escrever (sim) 93.3 93.5 0.2 ns
Você mora com sua mãe (sim) 86.1 85.4 -0.7 ns
Você já foi reprovado (Não) 57.9 56.3 -1.6 ns
Trabalho fora de casa (Não) 72.7 74.2 1.5 ns
Leitura de jornal (sempre) 45.2 46.5 1.3 ns
Vc esta fazendo algum curso de reforço escolar (Sim) 4.5 16 11.5 1%
Ferramentas
Perguntas
• Qual o impacto do EJ 2008 nas escolas que participaram do programa em 2008?
• Qual o impacto do EJ 2008 nos alunos que participaram do programa em 2008?
• Qual o impacto da freqüência do programa EJ 2008?
• Em termos relativos, a magnitude do impacto é relevante?
Ferramentas
Quadro ResumoDimensões da avaliação de impacto
Impacto Português Matemática
Escola X X
Beneficiário X X
Freqüência X X
Ferramentas
Resultados• O número de alunos beneficiários do programa não foi suficiente para
gerar um impacto estatisticamente significativo ao nível da escola. • No entanto, os beneficiários das classes de reforço das escolas de
tratamento apresentaram um rendimento superior e estatisticamente significativo, quando comparado a alunos semelhantes das escolas de controle (1/4 desvio padrão).
• A evidência deste impacto é mais contundente em Vitória: 1/2 desvio padrão (desenho aleatório) .
• Os alunos que freqüentaram mais intensamente o programa apresentaram um rendimento superior aqueles que não freqüentaram o programa com a mesma intensidade (1/3 desvio padrão)
• Os impactos da freqüência são não lineares. Ganhos mais do que proporcionais com o passar do tempo em matemática.
Ferramentas
Resultados (Vitória)
Impacto Português Matemática
Escola 1.81 1.27
Beneficiário 24.15** 23.31**
Freqüência 14.03** 21.18**
Nota: significância estatística: + p<0.01, * p<0.05, ** p<0.01; Modelo: Diferença (dupla ou tripla); erro padrão clusterizado por aluno; painel desbalanceado; ponderado pelo erro padrão; desvio padrão nas escolas de tratamento no pré-teste: Português = 47.64 e Matemática = 46.71.Ferramentas
HETEROGENEIDADE DO IMPACTO
Ferramentas
Matemática (Vitória)
Ferramentas
Português (Vitória)
Ferramentas
AVALIAÇAO EX-ANTE
Ferramentas
Ferramentas
Ferramentas
Ferramentas
DESENHO NÃO-EXPERIMENTAL
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas