Caio PizaMaio 12, 2015

Istanbul, May 11-14, 2015

Métodos Não-Experimentais

2

Motivação

3

Lição # 1:

4

Qual o Desafio de Qualquer AI?• Obter um bom contrafactual para

identificar o efeito causal de uma intervenção comparando

O que aconteceu

O que teria ocorrido se o programa não

existisse?Com

Problema fundamental de inferência causal

5

Contrafactual: IntuiçãoGrupos de tratamento (T) e controle

(C)• Características observáveis e não-

observáveis idênticas, na média. • A diferença entre as variáveis de

resultado dos grupos de T e C é exclusivamente devida à intervenção (ou tratamento)

6

Ferramentas para obter o contrafactual

Não é uma boa estratégia

• Antes– Depois• Participantes – Não-Participantes

Boas estratégias desde que algumas

hipóteses sejam observadas

• Diferença-em-diferenças• Regressão descontínua

Efeito causal • Experimentos – Randomized Control Trials

7

Ferramentas para obter o contrafactual

Não é uma boa estratégia

• Antes– Depois• Participantes – Não-Participantes

Boas estratégias desde que

algumas hipóteses sejam

observadas

• Diferença-em-diferenças• Regressão descontínua

Efeito causal • Experimentos – Randomized Control Trials

8

Análise do Contrafactual…• Método experimental: Compara

grupos que, na média, são idênticos

• Métodos não-experimentais: Compara grupos similares

9

Estudo de caso:Retorno do capital nas pequenas

empresas• Problema: Pequenas empresas lidam com

alguma restrição para acessar crédito• Intervenção: injeção de capital – R$300 e R$

600 (dois tratamentos!) • Variável de resultado: taxa de lucro• Alguns números:– 800 empresas na linha de base (2007)– Mais de 50% dessas empresas investem menos

do que R$ 600

10

Como avaliar esse programa?Participantes – Não-Participantes

Case: O subsídio is oferecido às pequenas empresas• O crédito subsidiado foi oferecido para todas as

pequenas empresas com >= 6 meses de atividade

• 300 empresas aplicaram e receberam financiamento

• Plano: comparar a taxa de lucro das empresas que aplicaram com as que não aplicaram

11

Participantes – Não-Participantes

Método Tratamento Comparação Diferença

Participantes VS. Não-participantes 2.1% 0.7% 1.4 pp.

Problema: Viés de Seleção. Por que apenas 300 aplicaram?- São as que tem melhor organizadas, mais tempo no mercado etc.

(observáveis)- Empreendedores mais motivados, informados etc. (não-observável)

Parts of this presentation build on material from Impact Evaluation in Practice www.worldbank.org/ieinpractice

12

• Plano: comparar a taxa de lucro das empresas tratadas antes e depois do subsídio

Como avaliar esse programa?Antes – Depois

13

Antes-Depois

Método Tratados (depois) Comparação(antes) Diferença

Antes-Depois 2.1% 1.5% 0.6 pp.

Problema: Efeito do tempo. Outras coisas podem ter acontecido nesse período.- A economia pode ter crescido, outras programas de crédito subsidiado

foram criados etc.

2007 2008

Antes – DepoisComparação: Mesmas empresas antes e depois da intervenção.

Problema: Outras coisas podem ter ocorrido.

Participantes – Não-Participantes

Comparação: Participantes e não-participantes

Problema: Viés de seleção. Não sabemos porque algumas participaram e outras não.

Esses 2 métodos não são válidos para AI

Ambos os métodos conduzem a estimativas viesadas do efeito do programa

Antes-Depois e Monitoramento

• Monitoring tracks indicators over time – Among participants

• It is descriptive before-after analysis • It tells us whether things are moving in

the right direction

• It does not tell us why things happen or how to make more happen

Legovini

16

Lição # 2

VS.

17

Lição # 2

VS.• Qualquer grupo de comparação NÃO

É um bom grupo de comparação!

Avaliação de Impacto • Obtém a média da variável de resultado

ao longo do tempo para os grupos de T e comparação

• Compara – O que aconteceu com – O que teria acontecido na ausência do

programa (contractual)

• Identifica o efeito causal– Controlando por todos demais fatores que

mudam no tempo18

19

Métodos Não-Experimentais• 1. Diferença-em-diferenças (DD)• 2. DD com pareamento • 3. Regressão descontínua

20

Métodos Não-Experimentais• 1. Diferença-em-diferenças (DD)• 2. DD com pareamento • 3. Regressão descontínua

21

Como avaliar esse programa?Diferença-em-Diferenças

• Plano: combinar a dimensão temporal do antes-depois com a decisão de participação (participantes vs. não-participantes)

• (Sob algumas hipótese) este método resolve:– Efeito do tempo: outras coisas podem ter

ocorrido e afetado o programa ao longo do tempo

– Viés de seleção: não sabemos porque alguns participaram e outros não, mas essa decisão depende de características que não variam no tempo

2007 20080

0.5

1

1.5

2

2.5

participants

P08-P07=0.6

22

Impacto = (P2008-P2007) = 2.1 – 1.5 = + 0.6

Antes-Depois

%

2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

P08-P07=0.6

23

NP08-NP07=0.2

Impact = (P2008-P2007) -(NP2008-NP2007)= 0.6 – 0.2 = + 0.4

Antes-Depois + Não-Participantes: Diferença-em-Diferenças

%

Você também pode usar uma tabela…

Taxa de lucro

2007 2008 Diferença (2007-2008)

Participantes (P) 1.5% 2.1% 0.6 pp

Não-participantes (NP) 0.5% 0.7% 0.2 pp

Diferença (P-NP) 1.0 pp 1.4 pp 0.4 pp

24

Hipótese de tendência comum (ou paralela)

2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

Impacto = +0.4 pp

%

Conclusão• O programa de crédito subsidiado

funcionou.

• A hipótese de tendência comum é plausível?

Use dados históricos se possível…

2006 2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

%

Diff-in-diff combina Participantes-Não-participantes com Antes-Depois.

Diferença-em-Diferenças

O método contorna os problemas encontrados nos

métodos anteriores sob

Possível de verificar se houver dados históricos

É possível refinar a análise se este método for combinado com o

método de pareamento (propensity score matching) na

linha de base

… a hipótese de tendência comum entre os grupos de T e C

na ausência do programa

Contorna o problema de viés de seleção se a decisão de

participação depender de não-observáveis fixas no tempo

29

Diff-in-Diff com pareamento (matching)

• Intuição do método de pareamento?1. O programa foca um grupo-alvo (e.g. firms) com certas

características observáveis2. O pesquisador CONHECE as características das firmas

que as tornam elegíveis para entrar no programa3. Empresas com características observáveis similares

àquelas que decidem participar deveriam ser um bom grupo de comparação

4. Na prática gera-se um indicador (escore de propensão -- propensity score) que sintetiza um conjunto de características num indicador e parea-se T e C com ‘mesmos’ valores do indicador

30

Pareamento…• Na maioria dos casos não há pares para todos!• Exemplo

Indicador

Não-participantesParticipantes

Suporte comum

31

Na prática é um pouco mais complicado!

Source: Caliendro, 2008: 41.

32

Passos importantes para o pareamento…

Source: Caliendro, 2008: 33

33

Passos importantes para o pareamento…

Source: Caliendro, 2008: 33

Não se desespere! Há uma forma de se evitar tudo isso!

34

Resumo dos efeitos obtidos com diferentes métodos

Método Tratamento Comparação Diferença

Participantes - Não-participantes 2.1 0.7 1.4 pp

Antes - Depois 2.1 1.5 0.6 pp

Diff-in-diff 0.6 0.2 0.4 pp

• Se o método for fraco ele conduzirá a respostas erradas! Exemplos: Participantes vs. Não-Participantes e Antes-Depois NÃO SÃO bons métodos para AI

• Diff-in-diff é válido sob algumas hipóteses

35

Métodos Não-Experimentais• 1. Diferença-em-diferenças (DD)• 2. DD com pareamento • 3. Regressão descontínua (RDD)

36

Como avaliar esse programa?Regressão Descontínua

Plano: subsídios oferecidos a empresas com base num escore de crédito • Todas as empresas que aplicam para o programa têm um

indicador (escore) gerado com base em algumas características da firma como idade, lucratividade, faturamento, número de empregados etc. O escore varia de 0 a 100 onde 0 significa muita restrição ao crédito e 100 baixa restrição ao crédito

• O programa foca nas empresas com maior restrição: score < = 50

• Idéia: comparar taxa de lucro de empresas com escore pouco abaixo de 50 (elegíveis ao programa de crédito subsidiado) com empresas com escore pouco acima de 50 (não-elegíveis ao programa)

Fonte: WB – Human Development Network.

Taxa de lucro

Não-elegíveisElegíveis

3%

2.5%

2%

1.5%

RDD – Após a Intervenção

Fonte: WB – Human Development Network.

RDD identifica o efeito local

Efeito do tratamento

Taxa de lucro3%

2.5%

2.0%

1.5%

39

RDD

Método Tratamento Comparação Diferença

Regressão Descontínua 2.35% 2.1% 0.25 pp

Importante: O impacto é válido apenas para aqueles indivíduos que estão próximos à linha de corteEsse é um grupo interessante para o seu programa?

• Método poderoso se houver:– Uma variável ou indicador contínuo que define

eligibilidade– Uma linha de corte (cut-off) claramente

definido e não manipulável

40

Resumo dos efeitos obtidos com diferentes métodos

Método Tratamento Comparação Diferença

Participantes - Não-participantes 2.1 0.7 1.4 pp

Antes - Depois 2.1 1.5 0.6 pp

Diff-in-diff 0.6 0.2 0.4 pp

Regressão Descontínua 2.35 2.1 0.25 pp

• Métodos fracos => resultados equivocados!• RDD efeito causal local => efeito bem menor! • Resultados confiáveis são obtidos apenas com métodos

rigorosos

41

Quão fácil (ou complicado) é tudo isso?!

Thank you! facebook.com/ieKnow

#impacteval

blogs.worldbank.org/impactevaluations

microdata.worldbank.org/index.php/catalog/impact_evaluation

http://dime.worldbank.orgWEB