Aula 5 - Método experimental ou de

seleção aleatória

Material Elaborado por Betânia Peixoto

Modificado por Guilherme Irffi e Francis

Petterini

Plano de Aula

Definição de seleção aleatória

Avaliação de impacto com seleção aleatório- instrumental teste de diferença de médias

Aleatorização

O "padrão ouro" na avaliação dos efeitos das intervenções

Permite-nos para formar um "tratamento" e "controle“ grupos características idênticas diferem apenas pela intervenção.

Melhor aproximação contrafactual

Atribuição aleatória

Cada unidade elegíveis tem a mesma chance de receber a intervenção.

Nos permite comparar o "tratamento" e "grupo de controle"

Atribuição aleatória vs Amostra Aleatória Atribuição aleatória

• São os resultados observados devido à intervenção, em vez de outros fatores de predisposição. (validade interna)

Amostra aleatória

• Que os resultados encontrados na amostra se aplicam à população em geral, ou seja, são generalizáveis. (validade externa)

Exemplo de Aleatorização Qual é o impacto de fornecer livros gratuitos

aos alunos sobre os resultados dos testes?

Aleatoriamente atribuir um grupo de crianças da escola para qualquer um:- Grupo de Tratamento - recebe livros gratuitos- Grupo de controle - não receber livros gratuitos)

Como você Aleatoriza? Em que nível?

• Individual • Grupo • Escola • Comunidade • Distrito

Quando você usaria Aleatorização?

Universo de indivíduos elegíveis geralmente maiores que os recursos disponíveis em um único ponto no tempo.

Forma justa e transparente para atribuir benefíciosDá uma chance igual a todos na amostra.

Bons momentos para randomize:•Programas-piloto •Programas com orçamento / capacidade•Fase em programas

Realizar a avaliação de impacto quando a seleção entre tratados e não-tratados foi aleatória.

Relembrando: Impacto = ATT = E[Yp, P=1] - E[Ysp, P=1] Não observamos Ysp quando P=1.

Se E[Ysp, P=1] ≠ E[Yc, P=0]Erro: ε= E[Ysp, P=1] - E[Yc, P=0] (1)

O ATT é dado por:ATT = E[Yp, P=1] - E[Yc, P=0] + ε (2)Substituindo (1) em (2)ATT = E[Yp, P=1] - E[Yc, P=0] + {E[Ysp, P=1] - E[Yc,

P=0] }

Problema da avaliação

Viés ou erro

No método experimental, a avaliação de impacto já é desenhada antes da implementação do programa.

Tendo em mãos um conjunto de pessoas desejosas de participar do programa e com as características esperadas do público-alvo, dividimos aleatoriamente esse conjunto de pessoas em dois grupos: tratamento e controle.

Método experimental ou de seleção aleatória

Conseqüência do sorteio

Se temos um número grande de participantes, quando fazemos o sorteio esperamos que a única diferença entre os grupos seja a participação no programa.

Tratamento: participam do programa.

Controle: não participam do programa.

Sob seleção aleatória

Quando um grupo controle é selecionado de forma aleatória, podemos considerar que, em média, o grupo tratado e o grupo controle são semelhantes – por causa da propriedade probabilística. Assim:

E[Ysp, P=1] = E[Yc, P=0] ↔ E[Ysp, P=1] - E[Yc,

P=0]=0

ATT = E[Yp, P=1] - E[Yc, P=0] + {E[Ysp, P=1] - E[Yc, P=0] }

o ATT é dado por:ATT = E[Yp, P=1] - E[Yc, P=0]

Viés ou erro = 0

ATT = E[Yp, P=1] - E[Yc, P=0]

Basta comparar a média do grupo de tratamento e o de controle.

No entanto, não basta comparar os valores das médias das duas amostras (tratado e controle) para saber se houve impacto.

Para sabermos se, de fato, o programa teve impacto, é preciso saber se as médias populacionais são diferentes.

Neste caso...

Como comparar duas médias populacionais com base nas amostras?

Resposta: A partir de um “teste de diferença de médias”.

Teste de diferença de médias

Suponha agora que estamos interessados em comparar a média de uma variável aleatório com base em duas amostras diferentes.

Para isto podemos fazer o teste de diferenças entre médias

Como as médias são calculadas a partir de uma amostra da população, a diferença matemática observada entre elas pode ser apenas devido a um erro amostral.

Portanto, uma diferença entre duas médias amostrais não representa uma verdadeira diferença entre as médias populacionais.

Teste de diferenças entre médiasHipótese Nula: Não há diferença entre as Médias

Populacionais

H0: μ 1= μ 2

μ 1= média na população 1

μ 2= média na população 2

Hipótese experimental: há diferença entre as Médias Populacionais

H1: μ 1≠ μ 2

Para testarmos esta hipótese com uma probabilidade conhecida de acerto, precisamos calcular os chamados escores Z, supondo que a distribuição da variável é normal.

2

22

1

21

21

N

s

N

s

XXZ

dif

dif

Onde: é a média amostral é a diferença do erro padrão de cada média s é a variancia da amostra N é o tamanho da amostra

difX

Z de teste

Uma vez encontrado o Z de teste calculado pela fórmula do slide anterior, utilizamos uma tabela de Porcentagem da Área sob a Curva Normal - Z, para obtermos a probabilidade de não rejeitarmos H0.

Fazendo 100- 2 vezes a probabilidade calculada na tabela, temos a estatística conhecida como P-valor, que nos fornece a probabilidade de erro ao rejeitarmos H0.

Z de teste- ExemploEx: Considere o teste de diferença de média entre

duas amostras com o Z=0,68. Olhando na tabela encontramos a probabilidade

25,17, multiplicando por 2 temos 50,34% de acerto.

O P-valor é de 49,66% (100-50,34) Isto significa que se rejeitarmos H0 estariamos

errando a uma probabilidade de 49,66%. Assim, não rejeitamos H0 e dizemos que a diferença entre as médias amostrais não é significativa.

Obs: estas médias podem ser matematicamente diferentes, mas esta diferença é devida a erro amostral.

Passos para o teste de diferença de médias

1o passo: Obter as médias amostrais2o passo: achar o desvio padrão de cada amostra3o passo: Calcular o erro padrão de cada média4o passo:Achar a diferença do erro padrão das

médias5o passo: Achar a estatística Z6o passo: Usando a tabela obter a probabilidade de

acerto 7o passo: subtrair de 100% a probabilidade de

acerto para achar o P-valor.

Aula de hoje: aprendemos a realizar a avaliação de impacto quando a seleção entre tratados e não-tratados foi aleatória.

Próxima aula: iremos aprender a fazer a avaliação de impacto quando a seleção entre tratados e não-tratados não foi aleatória.

Comentários Finais