aula 3 – introdução à avaliação de impacto. avaliação de impacto identifica se o projeto...

Aula 3 – Introdução à Avaliação

de Impacto

Avaliação de Impacto

Identifica se o projeto social afetou um ou mais indicadores de impacto

Plano de Aula

Conceito de Mensuração e Causalidade;

Conceito de Contrafactual e Grupo Controle;

Formas de seleção: autoseleção e viés de seleção;

Instrumento de coleta de informações e como transformá-las em banco de dados.

Conceito de Mensuração e Causalidade

Avaliação de Impacto

Objetivo: determinar se o projeto causou mudança no bem-estar dos indivíduos que pode ser atribuída a um determinado projeto.

Mensuração: não apenas saber se houve mudança, mas também medir essa mudança.

Causalidade: garantir que o projeto causou essa a mudança.

Mede o quanto o indicador de impacto variou devido ao projeto.

O indicador tem que ser numérico, pois mede-se a sua variação.

Usa-se indicadores de impacto – relação direta com os objetivos.

Mensuração

Causalidade

É o principal “problema” da avaliação de impacto.

Como assegurar que outros fatores não provocaram o impacto observado?

O que aconteceria com os beneficiários se não tivessem participado do projeto?

Resposta: o contrafactual

Conceito de Contrafactual e Grupo Controle

Ideal: comparar o indicador de impacto dos tratados com e sem o projeto no mesmo momento do tempo.

Essa é a única maneira de ter certeza de que a variação no indicador de impacto resultou da participação no projeto.

Infelizmente, é impossível observar alguém em duas situações ao mesmo tempo. O contrafactual não existe na prática.

O contrafactual

Solução: procura-se alguém que represente o contrafactual –Grupo Controle

Grupo Controle

O grupo controle representa como o tratado estaria se não fosse beneficiário do projeto.

Idéia: formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados).

Encontram-se pessoas que não participaram do projeto e que tenham as mesmas características daqueles que participaram.

Em resumo

Em geral, os projetos não conseguem atender todo público alvo.

Definição:

Grupo Tratado: pessoas do público alvo que o projeto beneficia.

Grupo Controle: pessoas do público alvo com características similares aos beneficiários, mas que o projeto não atende.

Não pode-se avaliar o antes e o depois do grupo tratado sem usar o controle?

A resposta é NÃO.

A evolução no tempo apenas dos indicadores do grupo tratado NÃO garante a causalidade.

Proporção de crianças que participaram do programa e que exercem trabalho infantil

Proporção de crianças que exercem trabalho infantil

Projeto de transporte escolar

Forma de seleção: autoseleção e viés de seleção

Formas de Seleção

Nem sempre é fácil encontrar um “bom” grupo controle devido às formas de seleção dos tratados. Autoseleção : as pessoas que participam do projeto escolhem participar.

Exemplo: projeto de oficinas em contraturno escolar para jovens. Os jovens que se inscrevem em oficinas no contraturno escolar devem diferir dos que não se inscrevem. Suas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).

Formas de seleção

Viés de seleção: o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o projeto ter um público-alvo específico.

Exemplo: projetos sociais universais utilizam a renda per capita como critério de elegibilidade – Bolsa Família, Minha Casa Minha Vida. Só podem participar do projeto indivíduos que tenham “renda familiar per capita” menor ou igual a um valor de corte.

Nesse caso, os tratados, em média, têm menos renda que os não-tratados e isso caracteriza o viés de seleção.

A autoseleção e o viés de seleção fazem com que o grupo tratado se diferencie da média da sociedade.

As diferenças entre as características dos grupos tratado e controle antes do projeto dificulta a determinação da causalidade.

Hora de praticar

Forma de obter informações para avaliação e como transformá-las em

banco de dados.

Cadastro do projeto;

Pesquisa de campo;

Fontes externas de dados.

Fontes

Cadastro do projeto

O cadastro do projeto é uma das fontes de informação mais importantes para a avaliação de impacto.

De acordo com o desenho da avaliação, inclui-se no cadastro inicial informações do grupo tratado e controle.

Quais informações devem constar do cadastro inicial? Não existe uma única resposta a essa pergunta. As informações relevantes para um cadastro dependem

do objetivo de cada projeto.

Exemplo 1: Projeto de Contraturno Escolar.

Cadastro Nome do estudante Idade Gênero Cor ou raça Série em que estuda Escolaridade da mãe Renda familiar Número de componentes da família Indicação se o aluno trabalha

Caso os beneficiários estudem em escolas diferentes, incluir questões sobre a escola

Escola que freqüenta Nº de horas-aula da escola Nível educacional do corpo docente da escola Número de alunos por sala Instalações da escola: computadores, acesso à

internet, laboratórios, bibliotecas, quadras, etc.

Exemplo 2: Projeto para Nutrição Infantil Identificação da mãe e da criança

Idade da mãe e da criança Tempo de amamentação Número de filhos Se a mãe trabalha Rendimentos da mãe (da família) Número de horas trabalhadas Criança na creche

Cadastro ATENÇÃO: Precisa constar no cadastro a informação

referente aos indicadores de impacto.

Exemplo 1. Projeto de contraturno escolar Idade da criança e a série que frequenta – Indicador

idade/série. Freqüência escolar – Indicador percentual de

frequência. Nota da prova de matemática – Indicador proficiência

em Matemática.

2. Projeto para nutrição infantil Peso e altura da criança – Indicador peso/altura.

Hora de praticar

Questionário

O cadastro do projeto nada mais é do que um questionário com informações que os beneficiários preenchem quando fazem sua inscrição no projeto.

Caso o desenho de avaliação defina o grupo de controle como aqueles que se inscreveram e não foram beneficiados, pode-se já no cadastro inicial ter informação sobre os tratados e os controles. Basta que a ficha de inscrição (preenchida por todos os inscritos) contenha as informações constantes no cadastro do projeto.

Para a avaliação de impacto é necessário obter as informações sobre o indicador de impacto dos tratados e dos controles após o projeto.

Muitas vezes, precisa-se ir a campo para obter essas informações diretamente com os indivíduos

Pesquisa de campo

Formulação das questões

Cada questão da pesquisa precisa ter uma “razão de ser” – deve estar vinculada à análise de impacto que se deseja fazer.

Exemplos de perguntas relevantes: Sobre os indicadores de impacto; Relacionadas à participação no projeto e ao indicador de

impacto; Várias formas para localização posterior – endereço,

endereço de um parente, telefone, celular, email, rede social, etc..

Formulação das questões

Existe uma tendência de coletar mais e mais dados. Entretanto, mais dados implicam em custos – de tempo e de recursos. Elimine questões do tipo “é bom saber” porque não são essenciais. Elimine questões ambíguas.

Siga os passos abaixo para guiar a formulação das questões:

1. Pense em quais informações são necessárias.

2. Formule questões para obtê-las.

3. Teste se as respostas a essas questões realmente fornecem as informações necessárias – pré-teste do questionário.

Dicas de como escrever as questões

Use palavras simples – não complique. Seja breve – não seja redundante. Seja específico – não seja vago. Não conduza o respondente. Não use abreviações ou jargões científicos. Não use questões subjetivas. Prefira opções de resposta fechadas. Digitar e codificar

respostas como textos pode tomar muito tempo. Cuidado com questões retroativas - elas devem contar com a

memória dos entrevistados. Assim sendo, temos que formulá-las de modo a facilitar o processo retrospectivo).

Evite fazer hipóteses sobre o perfil/tipo do entrevistado.

Exemplo: Qual sua remuneração em seu trabalho principal? Nessa pergunta, você assumiu que o entrevistado trabalha.

Prefira:1. “Você trabalha?"

a. Sim b. Não (pule para pergunta 3)

2. “Qual sua remuneração no emprego?”


Muitas vezes os respondentes não querem ou não sabem responder uma questão. Inclua como uma das opções de resposta NR/NS (não respondeu/não sabe)

Inclua também a opção NA (não se aplica). Precisa-se diferenciar as pessoas para as quais a pergunta não se aplica daquelas que não quiseram ou não sabiam responder.

Exemplo: 1. Qual sua faixa de renda?a. 0;b. Até 1 salário mínimo;c. De 1 a 3 salários mínimos;d. Mais de 3 salários mínimos;e. NS/NR.f. NA


IMPORTANTE!!Antes de aplicar o questionário no seu grupo de tratamento ou controle, faça um aplicação teste (pre-teste) em um grupo de pessoas parecidas com o seu público alvo.

Testar o questionário pode ser muito útil para corrigir questões ambíguas, mal formuladas ou mesmo incluir questões faltantes.


Problemas comuns com questionários:Questionários muito longosFaltaram perguntas importantesFaltam opções de respostaProblemas de fluxo (pulos ou perguntas incoerentes)Diferença de interpretação das perguntas entre entrevistado e entrevistadorDiferença de interpretação das perguntas entre entrevistadores – treine todos os entrevistadores juntos antes da aplicação


Do Papel para a Base de Dados.

Para avaliar utiliza-se bancos de dados numéricos. As informações precisam estar em formato numérico. Veja um exemplo:

nome identificador idade nota (%) sexo escol. Mãe projetoJoão 1 16 50 0 1 0Maria 2 17 100 1 4 0Julia 3 16 80 1 2 0Rafael 4 18 70 0 3 1Antonio 5 19 55 0 5 1Marina 6 17 70 1 1 1


Cada indivíduo corresponde a uma linha

Cada informação (indicador) corresponde a uma coluna

Todas as informações precisam estar em formato numérico

Crie um código único para cada indivíduo. Lembre-se que duas pessoas podem ter o mesmo nome, pode haver erro de digitação, diferentes grafias para o mesmo nome, ou seja, identificar pessoas pelo nome pode ser muito complexo!

É preciso ter informação sobre os participantes e não participantes. Não esqueça de identificar quem participou do projeto.


Para serem usadas as informações precisam estar em formato de banco de dados. Formulários em papel precisam ser digitados, o que pode ser muito custoso!

Logo, procure coletar as informações em forma digital ou de forma que possam ser digitadas facilmente.

Hora de praticar

Fontes externas de dados

São dados de pesquisas e avaliações realizadas usualmente por órgãos governamentais.

Essas informações podem ser úteis para a formação de grupo controle. Compara-se as características do público alvo do projeto com as de um conjunto de indivíduos de alguma fonte externa de dados.

Alguns Exemplos

Pesquisa Nacional por Amostra de Domicílios – PNAD;Censo Demográfico;Pesquisa de Orçamento Familiar – POF;Sistema Nacional de Avaliação da Educação Básica – SAEB;Exame Nacional do Ensino Médio – ENEM;Banco de dados do Sistema Único de Saúde – DATASUS;Pesquisa mensal de emprego e desemprego – PME;IPEADATA.

Nessa aula: discutiu-se os conceitos de mensuração e causalidade, a importância do grupo controle para a avaliação de impacto, os problemas de seleção. Além disso, vocês aprenderam o processo de coleta de informação e sua transformação em base de dados.

Próxima aula: metodologias de avaliação de impacto

Comentários Finais

Tópicos das diretrizes do trabalho individual:

II. A avaliaçãob. Grupos de tratamento e controleii. Quem será?ii. Como foram escolhidos os controles?iii. Quantos serão?III. Dadosa. Instrumentos de coletab. Informações coletadasi. Como os dados serão coletados?i. Quais variáveis serão coletadas?ii. Porque essas variáveis foram escolhidas?

Comentários Finais

Apoio aos exercícios

Questionário:1. Qual o seu nome?_______________________________________

2. Qual a data de nascimento?2.1. Dia:2.2. Mês:2.3. Ano: 3.Quantos anos você tem?__________________________________

Avaliação econômica do projeto Valorização Profissional

4. Você freqüentou a escola?1. Sim 2. Não (pular para questão 6) 5. Qual a última série que você concluiu? 6. Você exerce alguma função remunerada?1. Sim 2. Não (encerrar)

7. Qual a sua renda mensal?

Encerrar o questionário agradecendo.

Questionário (continuação):

No exemplo a base de dados utilizada foi secundária. Não foi necessário questionário. Entretanto, se não fosse possível acessar essa base vocês poderiam visitar escolas e criar questionário.

Atente para o fato de que nesse caso o tratado é a escola e não os alunos. Portanto, as informações têm que ser referentes às escolas.

Avaliação econômica do projeto Raízes e Asas

Nesse caso não tem entrevista. Um técnico vai ao local e preenche as questões

1.Número de identificação da área__________________________

2. A área é tratada?1. Sim2. Não 3. Contar o número de árvore na área________________________________

Avaliação econômica do projeto Verde Novo

4. A área é cercada?1. Sim2. Não

5. A área possui agricultura?1. Sim2. Não

6. A área pegou fogo a menos do que um ano?1. Sim2. Não


7. A área possui capim branquearia?1. Sim2. Não

8. Qual o número de animais de pasto na área?_____________________________9. Qual a distância (em quilômetros) do centro urbano mais próximo? (Medir a quilometragem quando for de carro para a área)._____________________________ 10. Qual a renda per capita média da região em que a área se situa? _____________________________(preencher com informação proveniente do Censo Demográfico 2010).


aula 3 – introdução à avaliação de impacto. avaliação de impacto identifica se o projeto...

Documents