caio piza - dime...

Métodos Não-ExperimentaisCaio Piza - DIME22/06/2015ieConnect Impact Evaluation WorkshopRio de Janeiro, BrazilJune 22-25, 2015

Tudo o que você gostaria de saber sobremétodos não-experimentais, mas tinhavergonha de perguntar…

Em 1 hora!

Motivação

3

Lição # 1:

4

Qual o Desafio de Qualquer AI?

• Obter um bom contrafactual para identificar o efeitocausal de uma intervenção comparando

5

O queaconteceu

O que teria ocorrido se o programa não

existisse?Com

Problema fundamental de inferência causal

6

Contrafactual: Intuição

Grupos de tratamento (T) e controle (C)

• Características observáveis e não-observáveisidênticas, na média.

• A diferença entre as variáveis (indicadores) de resultado dos grupos de T e C é exclusivamentedevida à intervenção (ou tratamento)

Ferramentas para obter o contrafactual

7

Não é umaboa

estratégia

• Antes– Depois

• Participantes – Não-Participantes

Boas estratégiasdesde que

algumashipóteses

sejamobservadas

• Diferença-em-diferenças

• Regressão descontínua

Efeito causal • Experimentos – Randomized Control Trials

Ferramentas para obter o contrafactual

8

Não é uma boa estratégia

• Antes– Depois

• Participantes – Não-Participantes

Boas estratégiasdesde que

algumashipóteses

sejamobservadas

• Diferença-em-diferenças

• Regressão descontínua

Efeito causal• Experimentos – Randomized

Control Trials

9

Análise do Contrafactual…

• Método experimental: Compara grupos que, namédia, são idênticos

• Métodos não-experimentais: Compara grupos, na média, similares

Estudo de caso:Subsídio para uso do transporte público (bilhete único)

• Problema: População de baixa renda e desempregadaque mora na área periférica do município do RJ

• Política pública: subsidiar o transporte público para taispessoas por tempo determinado para procurarememprego no centro da cidade

• Subsídio: 25% de desconto no bilhete

• Público-alvo: 1000 famílias

• Variável de resultado: taxa de emprego entre o público-alvo do programa

10

Como avaliar esse programa?Participantes – Não-Participantes

• As 1000 famílias são convidadas a participar de um evento promovido pela prefeitura no começo do mês• O bilhete subsidiado foi oferecido a todas as

1000 famílias desempregadas• No final do mês 403 usaram o bilhete único e

597 não usaram• Como medir o efeito da política?• Comparar a taxa de emprego entre os usuários

(403) do bilhete único e o não-usuários

11

Participantes – Não-Participantes

12

Método Tratamento Comparação Diferença Efeito em %

Participantes VS. Não-participantes 64% 55% 9 pp. 9/55 = 16.4%

Problema: Viés de Seleção. Por que apenas 403 usaram?- São as que tem melhores qualificações, maior mercado experiência no mercado de

trabalho etc. (essas características são observáveis)- Famílias mais motivadas, mais bem informadas etc. (essas características são não-

observáveis)

Lição # 2

13

VS.

Lição # 2

14

VS.

Avaliação de Impacto• Obtém a média da variável de resultado ao longo do

tempo para os grupos de T e comparação

• Compara• O que aconteceu com

• O que teria acontecido na ausência do programa(contractual)

• Identifica o efeito causal• Controlando por todos demais fatores que mudam no

tempo

15

Métodos Não-Experimentais

• 1. Pareamento

• 2. Diferença-em-diferenças (DD)

• 3. Regressão descontínua

16


• 1. Pareamento


• 3. Regressão descontínua

17

1. Pareamento (matching)

18

• Intuição do método de pareamento?1. O programa foca um grupo-alvo com certas características

observáveis ((e.g. famílias desempregadas que moram naperiferia)

2. O pesquisador CONHECE as características das famílias queas tornam elegíveis para entrar no programa

3. Famílias com características observáveis similares àquelasque decidem participar deveriam ser um bom grupo de comparação

4. Na prática gera-se um indicador (escore de propensão --propensity score) que sintetiza um conjunto de características num indicador e parea-se T e C com ‘mesmos’ valores do indicador

1. Pareamento

19

• Na maioria dos casos não há pares para todos!

• Exemplo

Indicador

Não-participantesParticipantes

Suportecomum

Participantes – Não-Participantes Pareados

20

Método Tratamento Comparação Diferença Efeito em %

Participantes VS. Não-participantes 62% 57% 5 pp. 5/57 = 8.8%

Problema: Viés de Seleção. Por que apenas 403 usaram?- São as que tem melhores qualificações, maior mercado experiência no mercado de

trabalho etc. (essas características são observáveis) – Isso eliminamos com o pareamento!

- Famílias mais motivadas, mais bem informadas etc. (essas características são não-observáveis)

2. Diferença-em-Diferenças

• Plano: combinar a dimensão temporal da análiseantes-e-depois com a decisão de participação(participantes vs. não-participantes)

• (Sob algumas hipótese) este método resolve:• Efeito do tempo: outras coisas podem ter ocorrido e

afetado o programa ao longo do tempo

• Viés de seleção: não sabemos porque alguns participarame outros não, mas essa decisão depende de característicasque não variam no tempo

21

2. Antes-e-Depois

22

MétodoTratados(depois)

Comparação(antes)

Diferença Efeito em %

Antes-e-Depois 64% 61% 3 pp. 3/61 =4.9%

Problema: Efeito do tempo. Outras coisas podem ter acontecidonesse período.- A economia pode ter crescido, outras programas de crédito subsidiado

foram criados etc.

Começodo mês

Final do mês

2007 2008

participants

Pdepois -Pantes= 3 pp.

61%

64%

23

Impacto = (Pdepois - Pantes) = 64 – 61 = + 3 pp.

Antes-e-Depois

%

2007 2008

participants

non-participants

Pdepois-Pantes= 3 pp.

24

NPdepois-NPantes= 1pp.

Impact = (Pdepois-Pantes) -(NPdepois-NPantes)

= 3pp – 1pp = + 2pp

Antes-e-Depois + Não-Participantes: Diferença-em-Diferenças

%

61%

64%

54%

55%

Você também pode usar uma tabela…

Taxa de lucro

Antes Depois Diferença(Antes-Depois)

Participantes (P) 61% 64% 3 pp

Não-participantes (NP) 54% 55% 1 pp

Diferença (P-NP) 7 pp 9 pp 2 pp

25


Taxa de lucro





26


Taxa de lucro





27

Hipótese de tendência comum (ou paralela)

2007 2008

participants

non-participants

Impacto = +2 pp

%

Conclusão

• O bilhete único ajudou algumas famílias desempregadas a encontrarem empregro.

• A hipótese de tendência comum é plausível?

Use dados históricos se possível… combine osmétodos de DD com pareamento!

2006 2007 2008

participants

non-participants

%

Observação: Na prática o paramento é um pouco maiscomplicado!

31

Source: Caliendro, 2008: 41.

Passos importantes para o pareamento…

32

Source: Caliendro, 2008: 33

Passos importantes para o pareamento…

33

Source: Caliendro, 2008: 33

Não se desespere! Há uma forma de se evitar tudoisso!



• 2. DD com pareamento

• 3. Regressão descontínua (RDD)

34

Como avaliar esse programa?Regressão Descontínua

Plano: subsídios oferecidos a famílias desempregadas com rendafamiliar per capita

• Todas as 1000 famílias demonstraram interesse em receber o bilhete único, mas apenas as com renda familiar per capita até 200 reais mês reberão o bilhete

• Público-alvo: famílias com renda < = 200

• Idéia: comparar taxa de emprego das famílias com rendafamiliar per capita pouco abaixo de 200 (elegíveis aoprograma de crédito subsidiado) com famílias com renda per capita pouco acima de 200 (não-elegíveis ao programa)

35

Não-elegíveis

Elegíveis

65%

60%

55%

50%

Taxa de Emprego – em %

200

RDD – Após a IntervençãoRDD identifica o efeito médio local para o grupo ao redor da linha de corte

Efeito do tratamento

65%

60%

55%

50%

Taxa de Emprego – em %

RDD

38

Método Tratamento Comparação Diferença

Regressão Descontínua 55% 57.5% 2.5 pp

Importante: O impacto é válido apenas para aqueles indivíduosque estão próximos à linha de corteEsse é um grupo interessante para o seu programa?

• Método poderoso se houver:• Uma variável ou indicador contínuo que define

eligibilidade• Uma linha de corte (cut-off) claramente definido e não

manipulável• Quanto maior a adesão melhor!

Resumo dos efeitos obtidos com diferentesmétodos

39

Método Tratamento Comparação DiferençaEfeito em

%

Participantes - Não-participantes

64% 55% 9 pp 16.4%

Pareamento 62% 57% 5 pp 8.8%

Diferença-em-diferenças 64% 62% 2 pp 3.7%

Regressão Descontínua 57.5% 55% 2.5 pp 4.5%

Preciso de um drink!

Quão fácil (ou difícil) é tudo isso?!

Amanhã vocês verão umamaneira muito mais fácil, simples e confiável de se medir o impacto

de um programa!

caio piza - dime...

Documents