Aula 5 – Diferenças em

Diferenças

Material Elaborado por

Betânia Peixoto

Diferenças em Diferenças

Método de avaliação de impacto não experimental quando as informações de ANTES e de DEPOIS do projeto são disponíveis.

Plano de Aula

Revisão das metodologias de estimação de impacto;

Método não experimental: diferenças em diferenças;

Resumo das metodologias de avaliação de impacto;

Validade interna e externa da avaliação.

Revisão das metodologias de estimação de impacto

Na aula anterior Método experimental: aleatorização/sorteio Obtém um grupo controle que é o contrafactual

perfeito dos tratados, pois a forma de seleção garante, estatisticamente, grupos semelhantes em variáveis que se observa e que não se observa.

Método não experimental: regressão linear múltipla

Quando não se realizou o sorteio dos tratados, o grupo controle não é estatisticamente semelhante ao tratado. Para corrigir as implicações das diferenças do indicador de impacto antes do projeto entre os grupos, estima-se o impacto controlando pelas variáveis que se observa.

Note que esse método controla/corrige o impacto ao

considerar variáveis que se observa, mas ainda resta os problemas

causados por variáveis não observadas.

Nessa aula

Método não experimental: diferenças em diferenças

Quando não se realizou o sorteio dos tratados e existem informações do indicador de impacto antes e após o projeto, para o tratado e o controle, é possível controlar/corrigir o impacto dos problemas advindos das variáveis que se observa e que não se observa.

Esse método também utiliza a regressão linear múltipla para estimar o impacto, porém com a base de dados organizados de maneira diversa ao visto na aula anterior.

Método não experimental: diferenças em diferenças

Diferenças em diferenças

Quando existem informações sobre os grupos tratado e controle em dois momentos no tempo – no período anterior ao projeto social e no período após ao projeto social;

Corrige o impacto estimado pelas variáveis observadas e não observadas. Como os dados de antes do projeto estão disponíveis, sabe-se quais são as diferenças existentes entre os grupos tratado e controle antes do projeto.

Como considera-se a o indicador de impacto inicial

(antes do projeto), controla-se pelas condições iniciais observadas e não observadas. Assim, resolve-se o problema das diferenças

existentes entre os grupos antes do tratamento.

Problema

Se o método de diferenças em diferenças controla o impacto estimado pelas diferenças iniciais observadas e não observadas, então ele é um método que substitui perfeitamente o sorteio?

A resposta é Não. Como os grupos não são similares e as diferenças

são controladas, pode ocorrer algum fato exógeno ao projeto que afete somente o indicador de impacto de um dos grupos (tratado ou controle). Se isso ocorrer, o método não consegue estimar o impacto perfeito. Ou seja, controlar as diferenças iniciais não é a mesma coisa de selecionar pessoas similares, pois algo pode afetar o indicador de impacto de apenas um grupo.

.

Exemplo:

Projeto: “Melhoria”.Objetivo: aumentar a renda dos participantes.Ações: curso de formação para jovens.Indicador de impacto: renda.Seleção dos participantes: primeiros inscritos.Controle: demais inscritos.Banco de dados: informações coletadas antes e um ano

após o projeto.

ID Projetorenda antes

renda após

ID Projetorenda antes

renda após

1 1 60 200 11 0 500 5002 1 80 150 12 0 300 4003 1 50 90 13 0 400 4004 1 60 100 14 0 50 605 1 50 90 15 0 20 306 1 40 70 16 0 30 407 1 50 80 17 0 150 1708 1 50 90 18 0 100 1209 1 70 110 19 0 90 120

10 1 50 90 20 0 40 50

Intuitivamente:

Variáveis Grupo tratado Grupo Controle

Renda Média Antes 56 168

Renda Média Depois 107 189

Diferença de renda 51 21

Impacto

(51 - 21) = 30 impacto positivo!Os tratados, em média, tiveram um aumento na renda 30 reais superior ao aumento dos controles.

Cuidado!!!Assim como no teste de diferença de média a interpretação do resultado não pode ser direta. Aqui também obtêm-se médias. A variância dos dados interfere no resultado.

Intuitivamente:

Como fazer?O Excel faz todos os cálculos desde que se forneça os dados corretamente organizados.

Passos:1) Monte o banco de dados com as variáveis dos

tratados e os controles;2) Crie uma variável “projeto”, com valores “1” para

os tratados e “0” para os controles;3) Crie uma variável “data”, com valores “1” para

tratados e controles após o projeto e “0” para tratados e controles antes do projeto;

4) Crie uma variável “projeto*data”, por meio da multiplicação da variável “projeto” pela variável “data”;

5) Obtenha o valor do indicador de impacto para os tratados e controles antes e após o projeto;

Passos (continuação):

6) Obtenha valores das variáveis que afetam o indicador de impacto e que podem variar de forma diferente entre os entre os tratados e controles;

7) Estime a regressão linear múltipla: “dados > análise de dados > regressão”;

8) Interprete o resultado: a coluna "coeficiente" fornece o coeficiente que indica qual a variação no indicador de impacto resultante da variação de uma unidade na variável analisada. Antes de interpretá-lo, verifica-se as colunas do intervalo de confiança. Se o zero estiver no intervalo de confiança não se rejeita a hipótese de que ele seja nulo.

O coeficiente que interessa para ver o impacto é o relacionado à variável “projeto*data”.

RESUMO DOS RESULTADOS

Estatística de regressãoR múltiplo 0,404745531R-Quadrado 0,163818945R-quadrado ajustado 0,09413719Erro padrão 124,4878397Observações 40

ANOVA

gl SQ MQ FF de

significação

Regressão 3 109300 36433,33333 2,350958953 0,08857

Resíduo 36 557900 15497,22222Total 39 667200

Coeficiente

s Erro padrão Stat t valor-P IC - 95%Interseção 168 39,367 4,268 0,000 88,161 247,839projeto -112 55,673 -2,012 0,052 -224,909 0,909depois 21 55,673 0,377 0,708 -91,909 133,909projeto*depois 30 78,733 0,381 0,705 -129,678 189,678

Exemplo: projeto “Melhoria”.

Resumo dos métodos de avaliação de impacto

Os grupos tratado e controle são escolhidos por sorteio. Propriedades estatísticas garantem que os dois grupos, na média, serão muito semelhantes.

Vantagem: É o método mais simples de operacionalizar.

É o método de resultado mais confiável.

Limitações: Tem que ser pensado no início do projeto.

1. Metodologia experimental ou de Seleção Aleatória

Indicador de impacto após a implementação da política

Importante: para concluir acerca do impacto faz-se o teste de diferença de médias!!!!

2. Método não experimental: regressão.

Observa-se os tratados e os controles depois do programa. A seleção não foi por sorteio. Portanto, os grupos devem ser estatisticamente diferentes.

É usado quando temos dados depois do projeto e a

seleção não foi aleatória.

Vantagem: resolve o problema de diferenças observadas entre os participantes.

Limitações: o resultado não é confiável se algo ocorreu de forma isolada em apenas um grupo.

Grupo Indicador Sexo Estado Civil1024 1 3865 0 2726 1 2550 0 1630 0 1880 1 2

Tratado

Controle

Base de dados após a implementação da política

Importante: para concluir acerca do impacto faz-se a regressão!!!!

3. Método não experimental: diferenças em diferenças Os tratados e os controles são observados e

comparados antes e depois do programa. Quando fazemos isso o que estamos comparando é a variação do crescimento do indicador de impacto.

É usado quando temos dados antes e depois do projeto.

Vantagem: resolve o problema de diferenças observadas e não observadas antes do programa.

Limitações: o resultado não é confiável se algo ocorrer entre antes e depois do programa de forma isolada em apenas um grupo.

Temos que ter os dados em dois momentos no tempo.

Importante: para concluir acerca do impacto faz-se a regressão de diferenças em diferenças !!!!!

Validade Interna e Externa da Avaliação

Validade Interna

Garante que o desenho da avaliação identifica corretamente o efeito causal do projeto. A avaliação conseguem isolar o verdadeiro impacto do projeto.

Se a avaliação possui validade interna significa que os resultados valem para aquele contexto de avaliação – aqueles tratados, naquele momento do tempo.

Ou seja, apenas para os beneficiários que participaram daquela edição do programa, com seu formato específico, etc.

Nada garante que a repetição do programa com o mesmo formato em outro momento no tempo e para outras pessoas terá o mesmo impacto do que o encontrado com a avaliação.

Como assegurar a validade interna

O experimento aleatório bem sucedido!!!!

Porque?

O sorteio dos tratados entre os indivíduos elegíveis garante a semelhança entre os grupos tratado e controle nas características observáveis e não observáveis. Isso decorre do fato de todos os elegíveis terem a mesma probabilidade de serem sorteados para participar do projeto.

O grupo controle é totalmente similar ao contrafactual.

E se não é possível o sorteio?

Garante-se a validade interna dos métodos não experimentais por meio de três fatores:

1. Tamanho da amostra2. Variáveis não observadas3. Grupos muito diferentes – Suporte comum

1. Validade Interna: Tamanho da amostra Como o método de regressão é uma análise

estatística, quanto maior o número de indivíduos analisados (tratados e controles) maior a confiança nos resultados. Lembrem-se a validade da estatística se relaciona diretamente com o tamanho da amostra.

Quanto maior for a amostra em relação ao tamanho da população, mais precisas serão as estimativas.

Quanto menor a amostra, maior é a probabilidade de se calcular um resultado estatisticamente não significativo, mesmo que o projeto tenha impacto.

2. Validade Interna: variáveis não observadas

Quando acredita-se na existência de muitas variáveis não observadas relacionadas ao indicador de impacto, deve-se empregar o método de diferenças em diferenças. O método de regressão linear múltipla apenas com dados de depois não tem validade interna, nesse caso específico.

2. Validade Interna: variáveis não observadas

Exemplo: projeto Melhoria Objetivo: aumentar a renda dos participantes. Indicador de impacto: renda do indivíduo

Os jovens se diferem em diversos atributos: anos de estudo, motivação, interesse etc.

Anos de estudo: avaliador observa.Motivação, interesse: avaliador não observa

3. Validade Interna: suporte comum

O método de diferenças em diferenças controla a estimação do indicador de impacto por variáveis não observadas. Entretanto, não é capaz de controlar para alterações exógenas que afetem o indicador de impacto de apenas um grupo. Portanto, quanto mais diferentes forem tratados dos controles maior a probabilidade de algo ocorrer em apenas um grupo.

Para manter a validade interna de uma avaliação é importante que tratados e controles sejam o mais parecidos possível.

Suporte Comum: os grupos tratado e controle diferem, mas dentro de um limite.

Se forem muito diferentes estarão fora do suporte comum e a avaliação não terá validade interna.

Validade Externa

Garante a generalização do resultado da avaliação para outros beneficiários do público alvo e em outros momentos do tempo.

Se a avaliação tem validade externa significa que se pode replicar o projeto com outros grupos do público alvo e obter impactos semelhantes.

Como assegurar a validade externa

A amostra de tratados e controles é representativa do público alvo!!!!

Porque?

Como a amostra de indivíduos que participaram da avaliação é representativa da população de elegíveis, pode-se considerar que qualquer resultado obtidos com base nela seria o mesmo para toda a população.

Validade Interna e Externa - Conclusão

Para que a avaliação tenha:

validade interna o grupo controle deve representar os tratados.

validade externa os indivíduos da avaliação (tratados e controles) devem representar a população.

Quando não há garantia da validade interna e da validade externa, deve-se questionar os resultados da avaliação de impacto.

Comentários Finais

Nessa aula: discutiu-se como fazer a avaliação quando está disponível os dados antes e após o projeto. Além disso, analisou-se a validade interna e externa da avaliação de impacto.

Próxima aula: introdução à avaliação de retorno

econômico.