impact evaluation 4 peace 24-27 março 2014, lisboa, portugal métodos experimentais caio piza...

Impact Evaluation 4 Peace24-27 Março 2014, Lisboa, Portugal

Métodos Experimentais

Caio PizaEconomista

DIME/Banco MundailLatin America and the Caribbean’s Citizen SecurityTeam

Provocações!

1. Você acha que o seu projeto é um sucesso ou vai se tornar quando sair do papel? Sim!

2. Se o governo quiser universalizar um programa que não possou por uma avaliação rigorosa, qual será o seu conselho?

2

Avaliação de Impacto: como identifico o impacto do programa?

3

Objetivos de uma AI

• Identificar o efeito causal da política

• O programa funciona? Para quem?

• Há alternativas?

• Implementar o que funciona melhor a um custo mais baixo

• O OBJETIVO NÃO É JULGAR O PROGRAMA E OS SEUS RESPONSÁVEIS, MAS TORNÁ-LO MAIS EFETIVO

4

Erros comuns… mas evitáveis!

• Correlação implica causalidade;

• Análise do tipo ‘antes e depois’ informa o impacto do programa;

• Qualquer grupo de controle é um bom/válido grupo de controle;

5

• ‘Refrigerante diet engorda porque apenas pessoas acima do peso bebem’

• Casamento é uma questão de saúde pública já que ‘homens que casam engordam’

• ‘Excesso de cafeina pode causar câncer’ • ‘O Bolsa Família reduziu a pobreza’• Um programa desenhado para controlar uma epidêmia deve

ser descontinuado já que o número de infectados aumentou

6

Correlação vs. causalidade

Erros comuns… mas evitáveis!

• Correlação implica causalidade;

• Análise do tipo ‘antes e depois’ informa o impacto do programa;

• Qualquer grupo de controle é um bom/válido grupo de controle;

7

2007 20090

2

4

6

8

10

12

14

Grupo de TratamentoTreatment Group

8

(+6) aumento nos lucros

2007 2009

Um programa de crédito foi oferecido em 2008.

Efeito positivo?

Grupo de tratamento

Antes e depois

0

2

4

6

8

10

12

14

Before After

Control Group

Treatment Group

9

(+) Impacto do programa

(+) Impacto de outros fatores (externos)

Antes Depois

Grupo de controleGrupo de tratamento

Antes e depois

Erros comuns… mas evitáveis!

• Correlação implica causalidade;

• Análise do tipo ‘antes e depois’ informa o impacto do programa;

• Qualquer grupo de controle é um bom grupo de controle;

10

11

VS.

Eike Batista Anônima – beneficiária do Bolsa Família

Qualquer grupo de controle é um bom grupo de controle?!

Qualquer grupo de controle é um bom grupo de controle? NÃO!!!

• O desafio é encontrar um bom grupo de controle– Os grupos devem ser parecidos em características

observáveis e não-observáveis– Como garantir isso?!

• Ideal: método experimental• Plano B: método não-experimental

12

Desenho Experimental

• Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de controle

• Intencionalmente, os grupos de tratamento e de controle têm as mesmas características (observadas e não observadas), na média– A única diferença é o tratamento

• Com grandes amostras, todas as características convergem para a média populacional

• Estimativas de impacto não enviesadas

13

14

Formas Alternativas de Aleatorização

• Sorteio – (apenas alguns entram no programa)

• Entrada gradual – (todos entram eventualmente)

• Variação no tratamento – (cobertura integral, diferentes opções)

• Desenho de incentivo (no caso de adesão parcial)– Todos podem entrar, alguns são encorajados a fazê-lo

Sorteio (apenas alguns entram no programa)

Sorteio para ter acesso a materiais esportivos doados por uma empresa esportiva (Nike, Adidas etc.)

Entrada gradual (entrada ao longo do tempo – phase in)Alguns crianças recebem transporte gratuito primeiro pois

não há micro-ônibus para atender todas as escolas e crianças

Variação no tratamento Algumas crianças recebem um aulas mais intensivas (mais

horas ou dias) por semana e os demais as aulas que são dadas regularmente

IncentivoUm grupo de crianças recebe transporte gratuito para se

deslocarem da escola as Vilas Olímpicas

1515

Exemplos

Loteria entre os elegíveis

Deve receber o programa

Inelegível para o programa

Aleatorizar quem recebe o programa

Oportunidades para a aleatorização (1)

• As limitações orçamentárias impedem a cobertura integral– A distribuição aleatória (sorteio) é justa e

transparente• Capacidade limitada de implementação– A introdução gradual oferece a todos a mesma

chance de serem os primeiros• Inexistência de evidências sobre qual a melhor

alternativa– Distribuição aleatória para alternativas com a mesma

chance ex ante de sucesso

17

Oportunidades para a aleatorização (2)

• Adesão ao programa existente não é completa– Fornecer informações ou incentivos para a adesão de

alguns

• Um novo programa piloto– Boa oportunidade de testar o desenho antes de

expandi-lo

• Mudanças operacionais em programas em andamento– Boa oportunidade de testar as mudanças antes de

expandi-las– Introduzir innovaçoes de manera aleatoria

18

19

Aleatorizaçãoem diferentes níveis

– Individual (crianças)– Modalidades (futebol, luta,

dança etc.)– Turmas

– Vilas Olímpicas– Comunidades– Distritos/Bairros

Aleatorização individualou em grupo?

• A aleatorização é feita no mesmo nível de intervenção

• Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados

Aleaorização individual Aleaorização de grupos

Unidade de Aleatorização

• A aleatorização em nível mais alto (e.g. escola ou VO) às vezes é necessária:– Limitações políticas a tratamentos diferenciados na

comunidade– Limitações práticas – confusão para implementar

diferentes versões– Os efeitos sobre unidades vizinhas podem demandar uma

aleatorização em nível mais alto

• Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

21

Elementos do desenho experimental

22

Validade Externa e Interna (1)

• Validade externa– A amostra é representativa da população total– Os resultados na amostra representam os resultados na

população– Podemos aplicar as lições a toda a população

• Validade interna– O efeito estimado da intervenção ou do programa sobre a

população avaliada reflete o impacto real naquela população

– Ou seja, os grupos de intervenção e de controle são comparáveis

23

Validade Externa e Interna(2)

• Uma avaliação pode ter validade interna sem validade externa

– Exemplo: extrapolar os resultados de uma avaliação randomizada de um incentivo às empresas informais na área urbana para se registarem para um programa semelhante nas áreas rurais

• Uma avaliação sem validade interna não pode ter validade externa

– Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar.

24

Validade externa & interna

25

Randomização

Randomização

População NacionalPopulação Nacional

Amostras da População Nacional

Amostras da População Nacional

Validade interna (APENAS?)

26

Estratificação

Randomização

PopulaçãoPopulação

Estrato do PopulaçãoEstrato do PopulaçãoAmostras do Estrato

da PopulaçãoAmostras do Estrato

da População

27

Representativo porém enviesado: inútil

População Nacional População Nacional

Distribuição EnviesadaINÚTIL!

Distribuição EnviesadaINÚTIL!

Randomização

Exemplo: programa para um público específico, validade interna

28

Distribuição Randômica

Amostra de crianças vulneráveis

Vantagens dos “experimentos”

• Impacto causal claro e confiável

• Em relação a outros métodos– Muito mais fácil de analisar– Mais barato (tamanhos menores de amostra)– Mais fácil de explicar– Mais convincente para os formuladores de política– Metodologicamente incontroverso

29

E se houver restrições sobre a aleatorização?

• Limitações orçamentárias: randomizar entre os mais necessitados

• Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado)

• Promover (propaganda mesmo!) o programa aleatoriamente para alguns, não para outros... (participantes fazem suas próprias escolhas sobre adoção)

30

Divulgação Aleatória (Desenho de Encorajamento)

• Quem recebe a divulgação tem maior chance de participar

• Como quem recebe foi escolhido aleatoriamente, não há relação com características observáveis não observáveis dos participantes– Compare os resultados médios dos dois grupos:

com / sem divulgação– Efeito da oferta do programa (Intenção de Tratar)– Efeito da intervenção (Tratamento Médio no Tratado)– ATT= efeito da oferta do programa / proporção dos

que aderiram

AleatorizaçãoAlocado para tratamento

Alocado para controle

Diferença Impacto: efeito médio do tratamento sobre os tratados

Não-tratados

Tratados

Proporção tratada

100% 0% 100%Impacto da alocação

100%

Resultado médio

103 80 23Estimativa da intenção de tratar

23/100%=23Tratamento médio sobre os tratados

Incentivo randômicoIncentivados

Não incentivados

Diferença Impacto: efeito médio do tratamento sobre os que aderiram

Não tratados (não aderiram)

Tratados (aderiram)

Proporção tratada

70% 30% 40%Impacto do incentivo

100%

Resultado 100 92 8Estimativa da intenção de tratar

8/40%=20Tratamento médio sobre os que aderiram

Cuidado com…

• Cálculo incorreto da amostra– Randomizar um distrito para tratamento e outro

para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas

• Coleta de dados diferentes no tratamento e no controle

• Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!!

34

2/1/10

Quando é que é realmente impossível?

O tratamento já foi alocado e anunciadoe não há possibilidade de expansão do

tratamento

O programa já acabou (retrospectiva)

Já há adesão universal*

O programa é nacional e não exclui ninguém*

A amostra é muito pequena para ser válida3535