non-experimental methods. objetivo: isolar o efeito das nossas intervenções sobre os resultados de...

Non-Experimental Methods

Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse

Utilizar métodos de avaliação rigorosos para responder às nossas questões inicialmente propostas

Randomização (seleção aleatória) dos participantes no tratamento é o método “padrão de ouro” (simples, preciso, barato)

E se não pudermos mesmo utilizar este método?

➤ Quando faça sentido, utilizar métodos não-experimentais

Conseguimos encontrar um contrafatual plausível? Experiência natural?

Métodos não-experimentais estão associados a um conjunto de premissas Quanto maior o número de premissas, menos

válida será a medida do efeito de causalidade É importante questionar as nossas premissas

▪ Utilize o senso-comum!

Objetivo Principal▪ Aumentar a produtividade e vendas da

empresa Intervenção

▪ Distribuição de subsídios▪ Seleção de participantes não-aleatória

Grupo alvo▪ PMEs entre 1 e 10 empregados

Principal indicador▪ Vendas

4

5

(+) Impacto do programa

(+) Impacto de fatores externos

6

(+) Medida ENVIESADA do impacto do programa

“Antes-e-Depois” não gera resultadosem que possamos acreditar!

7

Diferençafinal (« depois ») entreparticipantes e não participantes

Diferençainicial (« antes ») entreparticipantes e não participantes

>> Qual é o impacto da nossa intervenção?

Contrafatual:

2 opções que significam o mesmo

1. Vendas de não participantes depois da intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos)

2. Vendas dos participantes antes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos)

1 e 2 são equivalentes

8

Premissa subjacente:Sem o programa, as vendas dos

participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência)

>> Gráfico intuitivo a caminho....

10

11

12

NP2008-NP2007=0.8

NP2008-NP2007=0.8

Impacto = (P2008-P2007) -(NP2008-NP2007)

= 0.6 – 0.8 = -0.2

Impacto = (P2008-P2007) -(NP2008-NP2007)

= 0.6 – 0.8 = -0.2

P2008-P2007=0.6

P2008-P2007=0.6

13

P-NP2008=0.5P-NP2008=0.5

Impacto = (P-NP)2008-(P-NP)2007

= 0.5 - 0.7 = -0.2Impacto = (P-NP)2008-(P-NP)2007

= 0.5 - 0.7 = -0.2

P-NP2007=0.7P-NP2007=0.7

Impacto=-0.2Impacto=-0.2

Impacto negativo: Muito contra-intuitivo: O aumento do

financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta!

Presumir a mesma tendência é muito forte Os 2 grupos estavam em 2007 a produzir a

níveis muito diferentes Questione a presunção de mesma tendência!

Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores

Rejeitamos a presunção contrafatual de mesma tendência!

17

18

NP08-NP07=0.2NP08-NP07=0.2

Impact0 = (P2008-P2007) -(NP2008-NP2007)

= 0.6 – 0.2 = + 0.4

Impact0 = (P2008-P2007) -(NP2008-NP2007)

= 0.6 – 0.2 = + 0.4

Impacto = +0.4Impacto = +0.4

Impacto Positivo: Mais intuitivo

Sera que presumir a mesma tendência é razoável? ➤Ainda precisamos de questionar a

presunção contrafatual de mesma tendência!➤Utilizemos dados de anos anteriores

Parece razoável aceitar a presunção contrafatual de mesma tendência!

Assumir a mesma tendência é normalmente problemático Quando não existem dados para testar a

mesma tendência histórica E mesmo se as tendências forem

semelhantes no ano anterior…▪ Foram as tendências sempre semelhantes (ou

tivemos sorte)?▪ Mais importante, serão essas tendências

sempre semelhantes?▪ Exemplo: Outro projeto intervem nas nossas

empresas não participantes…

Que fazemos então? >> Temos de ser descritivos! Verificar as semelhanças em características

observáveis▪ Se não são semelhantes ao nível das

características observáveis, é provavel que as tendências sejam diferentes de uma forma imprevisível

>> No entanto, não conseguimos verificar o que não conseguimos ver…E as características não observáveis podem ser mais importantes que as observáveis (capacidade, motivação, paciência, etc)

24

Premissas subjacentes

Não há diferenças entre os participantes e não participantes em termos de características não observáveis

E/OU

Características não observáveis não afetam a selecção para o tratamento nem o resultado de interesse

Criar um grupo de controle através da identificação de sub-grupos (de um ou mais) com características observáveis semelhantes aos participantes Temos de escolher com cuidado as

variáveis para agrupar os participantes com o grupo de controle

De forma a que fiquemos apenas com▪ Grupo de tratamento: Participantes que

conseguiram obter um par▪ Grupo de controle: não-participantes parecidos

com os participantes >> Em resultado deste processo, eliminamos uma

parte do nosso grupo de tratamento!

Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes

Precisamos de perceber quem fica de fora

Exemplo

Pontuação

não-participantesParticipantes

Partecombinada

Riqueza

Parte do grupode tratamento excluída

Vantagens do metodo de combinação: Não precisa de randomização

28

Desvantagens: A premissa subjacente ao contrafatual não é

plausível em todos os contextos, dificil de testar▪ Utilize o senso comum

Necessita dados de muita qualidade▪ Necessário controlar todos os fatores que influenciam o

a alocação ao programa / resultado em análise Necessita amostras de tamanho

suficientemente grande para gerar o grupo de comparação

não se consegue sempre encontrar pares para todos...

29

A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!)

Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas Mais intensivo em termos de dados Nem sempre testavel

Seja criativo: Misture-e-combine os métodos! Responda as perguntas relevantes com os métodos

apropriados30