povertyactionlab.org

Avaliação das políticas públicas de desenvolvimento e de

combate à pobreza

William Parienté- JPAL/PSE

ENA – Paris 18 de junho de 2009

Sumário

• Introdução : diferentes tipos de avaliação• Problema da avaliação de impacto• Por que o método é importante?• Interesse das avaliações para as políticas

de desenvolvimento e decombate à pobreza

• Exemplos:– Educação e Saúde : Progresa no México– Efeito do microcrédito na Índia– Políticas pró-emprego na França

Objetivo de uma avaliação

• Prestar contas- Foi efetuado o que devia ser feito?- Houve um efeito positivo sobre os beneficiários do programa ou

da política?

• Aprendizagem – Alguns programas funcionam ou não funcionam– Qual o meio mais eficaz de atingir certos resultados? – Há possibilidade de generalização? Diferenças/similitudes de

algumas estratégias em diferentes lugares

• Melhora do impacto no combate à pobreza graças a programas mais eficazes

Exemplo : fornecimento de livros escolares

Livros fornecidos

Livros utilizados

As notas são melhores

Nível fraco Poucos livros

As crianças os acham úteis

Não podem ser levados para a casa

ONG compra livros

Outros impactos

Crianças pobres do Quenia

Diferentes tipos de avaliação

Avaliação dasAvaliação das necessidadesnecessidades

AvaliaçãoAvaliaçãododo

impactoimpacto

Avaliação doprocedimento

Avaliação das necessidades• Qual a natureza do problema a ser resolvido?

– Ex: saúde, grau de instrução, etc..– Como o programa vai resolvê-lo?

• Qual a população-alvo?– Quem está inserido no programa? Aqueles que mais

necessitam dele?– Ex : as crianças mais pobres e menos saudáveis, as turmas em

que as notas são as mais baixas? Absenteísmo elevado?

• Em que contexto se insere o programa?- Há uma necessidade? Necessidades não satisfeitas por outros

meios.

Avaliação de Procedimento

• O programa é bem gerenciado?– Quais são os serviços/programas desenvolvidos para

responder às necessidades?– Há efetivo fornecimento?

• Ex : material escolar

• Alvo– Fornecimento às populações alvo?

• Ex : fornecimento àqueles que efetivamente são mais necessitados

• O programa é utilisado ?– Ex : livros utilisados

Avaliação de Impacto

• Questão primordial : Houve um impacto?

• Questões auxiliares:– Qual a natureza do benefício ?

• exemplo: houve melhora nas notas ?• Os alunos estão faltando menos?

– Alguns são mais beneficiados do que outros?

Análise Custo-Benefício

AnáliseAnáliseCusto-BenefícioCusto-Benefício

Avaliação doAvaliação doprocedimentoprocedimento

AvaliaçãoAvaliaçãode impactode impacto

AvaliaçãoAvaliação dada

necessidadenecessidade

Análise Custo-Benefício

• Por que os 3 elementos são necessários para a análise custo-benefício?

• A avaliação de impacto trata dos benefícios

• A avaliação do procedimento permite uma quantificação dos custos

• A avaliação da necessidade encontra o objetivo almejado

Nesta apresentação• Centrar-se-á na avaliação de impacto: Por quê?• Sabe-se supreendentemente pouco sobre o que

realmente funciona: – Multiplicação das intervenções públicas em diversos

campos– Escassez dos recursos disponíveis– Ampliação ou abandono de programas com base em

critérios subjetivos– Muitos programas dispendiosos e ineficazes

• Frequentemente, apreciação conflituosa sobre a eficácia do programa– É necessãrio trazer elementos de evidência

tempot = 0

2

3

t = 1

PROGRAMA

O programa trouxe uma mudança?

(Observado)

(Observado)

Sucesso escolar

= Impacto?3 - 2 = 1

tempot = 0 t = 1

X

O que aconteceria na ausência do programa?

(Observado)

Sucesso escolar

Impacto: 3 – X

3

2

(Não observável)

A dificuldade da avaliação de impacto

• Deve-se saber o que teria acontecido na ausência do programa (X, o “counterfactual”)

• Mas como saber o que teria ocorrido se o programa não tivesse acontecido?– Ou o programa é realizado, ou ele não é– Não se pode observar as duas situações ao mesmo

tempoO problema fundamental da avaliação de impacto é,

assim, um problema de ausência de dados• Uma avaliação de impacto só é correta se a

estimativa de X for correta• Toda a dificuldade da avaliação de impacto

consiste em reconstruir X corretamente

Como reconstruir X?

• Estratégia principal:– Utilisar os dados em um grupo de não

beneficiários (um grupo de controle)

• Questão central:– Como escolher um bom grupo de controle?

tempot = 0 t = 1

(beneficiários)

(não beneficiários)

Impacto: 3 – 2.4

Reconstruir X com a ajuda de um grupo de controle

Sucesso escolar

“Grupo tratado”

“Grupo de controle”

3

2

2.4

Como escolher o grupo de controle?

• É possível que os não beneficiários sejam bem diferentes dos beneficiários. Por que?

– Os programas visam frequentemente uma população de acordo com um ou vários critérios bem definidos (pobreza, escolarização, etc.)

– As pessoas decidem participar ou não (Aquelas que decidem participar são no geral mais motivadas?)

• Diferença sutil, difícil de ser observada (a motivação, o acesso à informação)

• Se os não beneficiários são diferentes, então eles não representam um bom counterfactual

• A comparação sofrerá um desvio em função da seleção dos beneficiários.

– “Desvio de seleção”

tempot = 0 t = 1

Graficamente: O desvio de seleção

Grupo de controle

Grupo tratado

Sucesso escolar

Como corrigir o desvio de seleção?

• Reconhecer que o grupo de controle era diferente (neste caso: melhor) no início

• Observar a trajetório do grupo de controle ao longo do tempo para prever a trajetória do grupo tratado

– Não comparar níveis absolutos, mas níveis relativos (relativos à performance inicial de cada grupo)

– É o que se denomina “difference-in-differences”

tempot = 0 t = 1

Difference-in-differences

Impacto

Sucesso escolar

Grupo de controle

Grupo tratado

X

3

2

Difference-in-differencesMétodo a seguir:1. Coletar dados iniciais relativos a cada grupo antes do

início do programa. 2. Coletar dados relativos a cada grupo depois da

realização do programa. 3. Calcular a diferença depois-antes para cada grupo4. Subtrair a diferença observada no grupo de controle

daquela observada no grupo tratado.

Grupo Antes Depois Diferença Depois-Antes

1. Grupo Tratado 2.0 3.0

2. Grupo de Controle 2.2 2.3

3. Impacto 1.0 - 0.1 = 0.9

1.0

0.1

Isso é suficiente?

• Este método se baseia em uma forte hipótese:

– Ele supõe que a trajetória do grupo tratado teria sido paralela à trajetória do grupo de controle na ausência do programa

tempot = 0 t = 1

Difference-in-Differences

Impacto

Sucesso escolar

Como ter certeza de que o grupo de controle é um bom counterfactual?

• Situação ideal: Escolha aleatória= Dividir aleatoriamente os indivíduos em dois grupos

• Identificar um conjunto de pessoas que satisfaçam todos os requisitos de seleção exigidos pelo novo programa

• Escolher aleatoriamente a metade das pessoas que participarão do programa («grupo tratado»);

• A outra metade («grupo de controle») participará do programa mais tarde e, enquanto isso, servirá de referencial para a comparação

• A escolha aleatória possibilita a obtenção de um grupo de controle realmente similar ao grupo tratado– Elimina todos os desvios de seleção– Por quê?

Método aleatório (“randomizado”)• Fundamenta-se na lei dos grandes números

– Pegue 1000 pessoas na rua, e as divida em dois grupos aleatoriamente

– Em média• Os indivíduos do grupo 1 terão a mesma altura que os indivíduos

do grupo• Eles terão o mesmo peso médio• Haverá o mesmo número de crianças em cada grupo, etc…

– Nota: isso seria verdadeiro se dividíssemos 20 pessoas em dois grupos?

• Certamente não• Mas é possível « ajudar » a sorte: estratificação

Representativa?

Comparáveis (Validade interna)

(Validade externa)

População Total

População Alvo

Amostra examinada

Escolha Aleatória

Grupo Tratado

Grupo deControle

Participantes Ausentes

Amostra aleatória

Avaliação randomizada controlada

Vantagens

• Em relação aos resultados não-experimentais, os resultados de uma avaliação randomizada são :– Transparentes

• Comparam-se médias: sem problemas metodológios, sem hipóteses duvidosas…

– Fáceis de explicar, de compartilhar com quem não domina as regras da estatística

– Têm mais chance de convencer os financiadores e os responsáveis pelas decisões políticas

Limites

• Validade interna:– Apesar da randomização, a comparação dos

grupos pode ser comprometida• Efeitos “Hawthorne”• Recusa em participar• Perda de contato com os indivíduos

• Validade externa: – Os problemas orçamentários limitam o tamanho

da amostra disponível para o estudo• Todavia, alguns desses problemas também

encontram-se presentes em estudos não-experimentais.

Em resumo• Toda a arte da avaliação de impacto consiste

em encontrar um bom grupo de controle– A seleção aleatória dos beneficiários do

programa entre indivíduos ou grupos elegíveis permite obter o melhor grupo de controle possível

– As avaliações controladas randomizadas são assim as mais confiáveis / válidas…

• Com a condição de haverem sido concebidas e efetuadas corretamente!

Em resumo

• Para decidir as políticas sociais a serem implementadas, é necessário compreender as relações de causa e efeito

• As relações de causa e efeito (e.g. o impacto de um programa) só podem ser corretamente avaliadas se o counterfactual for definido corretamente

• Caso contrário, haverá desvio de seleção• É muito importante verificar como o

counterfactual é calculado

Em resumo

• A outra vantagem das avaliações randomizadas reside em sua clareza– Fácil de explicar, de compreender

• Mas como toda análise, a análise randomizada também deve ser considerada em seu contexto– A validade externa é um desafio

– Por isso, é importante proceder a análises randomizadas em vários países e ao mesmo tempo

Exemplo 1 : Progresa (México)

• Programa : Benefício representando 1/3 do total dos rendimentos da unidade familiar.

• A concessão desse benefício é condicionada a:- A assiduidade das crianças na escola- A participação da família em palestras sobre

prevenção de doenças. • Dispositivo de avaliação :

– Amostra de 506 municípios rurais (186 controle e 320 tratados)

– Pesquisas junto a aproximadamente 24000 famílias antes e depois da intervenção

Exemplo 1 : Progresa (México)• Resultados :

– Efeito positivo sobre a frequentação escolar das crianças– Melhora do nível escolar– Aumento do número de atendimentos médicos– Diminuição de 12% na ocorrência de doenças em crianças

menores de 5 anos– Efeito positivo sobre o crescimento (peso e altura) das

crianças– Aumento do nível de consumo dos núcleos famíliares

• Implicações : – Programa mantido – Extensão do programa ao restante da população rural e

urbana– Reaplicação (com avaliação) em um número considerável

de países

Exemplo 2 : Microcrédito (Índia)

• Pouquíssimas provas empíricas rigorosas sobre o microcrédito, apesar de sua popularidade (Prêmio Nobel da Paz 2006 ao fundador da Grameen Bank)

• Útil avaliar o microcrédito pois missão social das Instituições de Microfinaciamento (IMF) e importantes subvenções

• Spandana na Índia• Avaliação aleatória em 104 bairros de Hyderabad • Outros estudos em curso

• Crianção de empresas

• Consumo

Exemplo 3 : Desempregados com risco de desemprego de longa duração (França)

• Dois programas – Cap Vers l’Entreprise (CVE) ANPE (órgão estatal) 40.000 postos– Operadores Privados de Postos (OPP) Unedic 40.000 postos

• 250.000 beneficiários potenciais• Seleção aleatória de três populações

– População 1 : percurso clássico ANPE– População 2 : proposta CVE : índice de inserção 45%– População 3 : proposta OPP : índice de inserção 50%

• Desenvolvimento de uma ferramente de afetação aleatória dos desempregados aos três grupos no momento da entrevista de inscrição (OCC)

• Medida do impacto sobre o índice de retorno ao trabalho• Résultats :

– Efeito positivo CVE (órgão estatal)– Sem efeito OPP (operadores privados)