Avaliação Econômica de Projetos Sociais

Miguel FoguelIPEA e PUC/RJ

Estrutura da Apresentação

1) Introdução: principais questões e usos da Avaliação Econômica

2) Panorama da área de Avaliação Econômica: Avaliação de Impacto Avaliação de Custo-Benefício

3) Exemplos: Jovenes en Acción – Colômbia Programa Mais Galpão Aplauso

4) Sumário

1. Introdução

IntroduçãoQuestões importantes podem ser

respondidas com a Avaliação Econômica (AE):

1) Avaliação de Impacto: O projeto teve o impacto almejado? Qual a magnitude do impacto?

2) Custo-Benefício: Qual o retorno econômico do projeto?

Recursos Privados e Públicos:Físicos, Humanos, Financeiros

Programa 1

Programa N...

Resultados

Resultados

Resultados

Benefícios Benefícios Benefícios

Impactos

Custos

Avaliação de Impacto

Avaliação Custo-Benefício

Introdução Usos da AE:

Gestão: auxiliar no redesenho e melhora na gestão do próprio programa (juntamente com monitoramento)

“Accountability”: ajudar na prestação de contas, sustentação do programa e obtenção de fundos para novos projetos

Eficiência: melhorar a alocação dos recursos disponíveis

2.Avaliação Econômica

Avaliação Econômica1) Avaliação de Impacto: O que faz: Mede em termos quantitativos os

impactos dos programas. Desafio: Assegurar que os resultados isolam o

efeito do programa dos efeitos causados por outros fatores.

Exemplo: como isolar o impacto de um programa voluntário de treinamento num ambiente complexo e mutável?

Avaliação Econômica Estratégia: encontrar um contrafactual para o

grupo que recebeu o programa (tratamento), ou seja, um grupo (de controle) que represente o que teria ocorrido com os tratados caso eles não tivessem participado do programa.

Dimensões: características observáveis e não observáveis (habilidades, motivações, preferências etc.) pelo analista

Não se recomenda: Comparar o grupo tratado com outro grupo

que seja muito distinto dele; Comparar a situação do grupo tratado antes e

depois do programa.

O programa teve efeito? Controles inadequados

Programa

1 2 3 4 538%

39%

40%

41%

42%

43%

44%

45%

46%

47%

48%

Indicador de resultado

Tratados Comparação

anos

O programa teve efeito? Controles inadequados

1 2 3 4 538%

39%

40%

41%

42%

43%

44%

45%

46%

47%

48%

Indicador de resultado

Tratados Comparação Controles

anos

Programa

Programa

O programa teve efeito? Antes e Depois

Programa

O programa teve efeito? Antes e Depois

Avaliação Econômica Métodos para construção do

contrafactual:1) Método experimental (aleatorização):

Seleciona-se de forma aleatória os grupos de tratados e controles e compara médias dos resultados dos grupos

2) Método não experimental: Necessita de bases de dados com informações

sobre beneficiários e não beneficiários Aplicam-se técnicas econométricas para

encontrar grupo de controle

Avaliação Econômica

2) Avaliação Custo-Benefício: Transforma os impactos em benefícios

monetários para comparar com os custos do projeto (contábeis e de oportunidade)

Simula os fluxos de benefícios e custos ao longo do tempo

Calcula o retorno econômico/social: Indicadores: Taxa Interna de Retorno (TIR) e

Valor Presente Líquido (VPL)

Limites da Avaliação Dados: é preciso dispor de informações de qualidade

e amostras de tamanho razoável. Validade interna: o efeito do programa foi

corretamente isolado? Método experimental:▪ Processo de aleatorização;▪ Atrito: perda de observações dos indivíduos;▪ Substituição: controles acabam participando do programa

ou similar. Métodos não experimentais: ▪ Grupo de controle adequado;▪ Modelo econométrico empregado.

Validade externa: resultados da avaliação podem ser levados para outras localidades, grupos de pessoas ou períodos do tempo?

3. Exemplos

3.1 – Jóvenes en Acción – Colômbia

3.2 – Programa Mais

3.3 – Projeto Galpão Aplauso

3.1 – Jóvenes en Acción(Attanasio, Kugler & Meghir,

2009)

JÓVENES EN ACCIÓN: Descrição do programa

Objetivo: Programa governamental de treinamento para melhorar a inserção de jovens no MT em 7 cidades da Colômbia. Entre 2001 e 2008 teve 80 mil participantes.

Público-alvo: jovens desempregados de baixa renda com idade entre 18 e 25 anos

Conteúdo: Oferece de treinamento em sala de aula (3 meses) e

nas empresas (3 meses). Cursos para várias ocupações: eletricista, bombeiro,

cabeleireiro, assistente administrativo, caixa, informática, etc.

Treinamento nas empresas por algumas horas por dia (média=2h)

Participantes receberam ajuda de custo durante o programa

JÓVENES EN ACCIÓN: Método

Método experimental: Houve excesso de demanda para as

vagas e a avaliação foi realizada com a aleatorização dos candidatos no nível da instituição de treinamento (análise para a coorte de candidatos de 2005)

Amostra: inicial=2859; final=2269, com cerca de metade no grupo de tratamento.

Indivíduos em ambos os grupos foram entrevistados antes e depois do começo do programa (entre 19 e 21 meses após)

JÓVENES EN ACCIÓN: Comparando os grupos

Attanasio et al. (2009)

Diferenças entre tratados e controles antes do treinamento Em 2004Emprego em geral 0.001

(0.021)Emprego pago 0.018

(0.020)Emprego formal 0.006

(0.011)Salário -6,806

(6,000)Rendimento conta-própria -3,002

(5,460)Experiência em empresas 0.768*

(0.440)Dias trabalhados por mês -0.312

(0.535)Dias trabalhados por semana -1.436

(1.190)Mulher 0.262

(0.174)Escolaridade 0.280***

(0.072)Idade -0.090

(0.085)Casado -0.015

(0.020)

Número de observações 2,269

JÓVENES EN ACCIÓN: Impactos estimados

Attanasio et al. (2009)

Efeito estimado Total Mulheres HomensEmprego em geral 0.018

(0.018)Emprego pago 0.041** 0.050* 0.010

(0.020) (0.029) (0.032)Emprego formal 0.053*** 0.051** 0.037

(0.019) (0.025) (0.034)Salário 25,475*** 30,010*** 4,155

(8,555) (11,256) (14,841)Rendimento conta-própria -2,283

(3,660)Experiência na empresa -1.211***

(0.462)Dias trabalhados por mês 0.609

(0.49882)Horas trabalhadas por semana 0.738

(1.170)    

JÓVENES EN ACCIÓN: Retorno econômico Benefícios:

Ganhos salariais de P$306 mil por pessoa/ano considerando todos e P$360 mil por pessoa/ano considerando somente as mulheres.

Ganhos persistem por 40 anos: VP = US$2344 por pessoa e VP = US$2750 por mulher

Custos diretos: Pagamento das bolsas: US$ 2,5 por dia VP = US$750 por pessoa

Benefício Líquido: VPL = US$1595 (TIR=17,5%) por pessoa e VPL = US$2000 (TIR=20,5%) por mulher

3.2 – Programa Mais(CIEE Rio, 2014)

Programa Mais: Descrição do Programa

Objetivo: programa para promover o acesso e permanência de jovens no Ensino Superior que foi iniciado em 2004 no Rio de Janeiro pelo CIEE

Público-alvo: jovens de classes populares entre 16 e 24 anos que concluíram o ensino médio na rede pública

Conteúdo: Modulo I: encontros no CIEE e aulas de pré-vestibular. Oferece orientação

profissional, capacitação de comunicação e expressão e preparação para o vestibular. Somente este módulo será avaliado.

Modulo II: acompanhamento/orientação acadêmica após a realização do vestibular

Programa Mais: Método

Método não experimental: Compara os participantes com 3 grupos de controle:

GC 1: selecionados mas que desistiram logo após o início

GC2: alunos que só fizeram o curso pré-vestibular do Programa Mais

GC3: alunos que só fizeram o curso pré-vestibular de outro programa semelhante (Ser Cidadão)

Faz uso da metodologia regressão na qual insere variáveis para controlar diferenças observáveis entre os indivíduos (p.e., sexo, cor, estado civil, escolaridade do responsável, etc.)

Programa Mais: Comparando os grupos

Média das veriáveis por grupo

  Grupos de Controle

Grupo de CIEE - Desistiram CIEE - Só pré- Ser Cidadão - Só

  Tratados Início (I) vestibular (II) Pré-vistibular (III)

Homem 20,0% 22,6% 29,4% 32,0%

Branco 20,0% 16,1% 41,2%* 30,6%

Idade 22,1 23,2* 21,1 20,9*

Solteiro 94,6% 71,0%* 100% 90,0%

Escolaridade responsável:

Fund. Incompleto 29,1% 35,5% 29,4% 18,0%

Fund. Completo 21,8% 16,1% 23,5% 16,0%

Médio Incompleto 5,5% 3,2% 11,8% 4,0%

Médio Completo 23,6% 25,8% 29,4% 42,0%*

Superior 13,2% 10,0% 5,9% 14,0%

Renda dom. per capita R$ 536 R$ 586 R$ 550 R$ 577

Observações 55  31  17  50 

Programa Mais: Impactos estimados

  Desempenho no vestibular Inserção no mercado de

trabalho

Sucesso em Sucesso em Fez Frequenta SalárioEm relação ao grupo de tratamento:

Univ. em geral Univ. Pública Matrícula ou concluiu Trabalha Horário

CIEE - Desistiram no início (I) -0,0709 -0,1940*** -0,2408*** -0,2105** -0,0155 0,7998

(0,1252) (0,1019) (0,1105) (0,0974) (0,1284) (1,3690)

CIEE - Só pré-vestibular (II) 0,1359 -0,0729 0,2407 0,0479 -0,0693 1,9666

(0,1593) (0,1371) (0,1576) (0,1442) (0,1673) (2,2212)Ser Cidadão - Só pré-vestibular (III) 0,1106 0,0218 0,0336 0,1398 -0,0996 0,1993

  (0,1439) (0,1293) (0,1387) (0,1269)   (0,1518) (1,0823)

3.2 – Projeto Galpão Aplauso

(Calero et al., 2014)

Galpão Aplauso: Descrição do programa

Objetivo: programa para melhorar a situação socioeconômica e empregabilidade dos jovens em algumas comunidades carentes do Rio de Janeiro

Público-alvo: jovens com menos de 29 anos oriundos de famílias pobres nas favelas da cidade do RJ;

Conteúdo: oferece treinamento de habilidades vocacionais (p.e., marcenaria, soldagem), acadêmicas (p.e., matemática e português) e competências de vida (p.e., ética, educação ambiental) com base em métodos pedagógicos que também utilizam arte e dança;

Galpão Aplauso: Método

Método experimental:▪ Pré-seleção: realizada em etapas: anúncio, candidatos respondem

questionário, faz-se triagem com base na idade e renda declarada (menor de 2SM), ocorre entrevista e provas básicas de português e matemática;

▪ Excesso de demanda: houve número maior de pré-selecionados do que vagas => seleção aleatória dos participantes (tratamento) e não participantes (controles);

▪ Reserva de vagas: para pequeno grupo (até 10%) que apresentou condições especiais: p.e., irmãos, desempenho excepcional e muito pobre.

▪ Amostra: ao final: 451 candidatos: 194 tratamentos, 230 controles e 27 reserva de vagas.

Galpão Aplauso: Comparando os grupos

  (1) (2) (3) (4)

  Tratados ControleDiferença das

médias (Tratados – Controle)

Valor de t

Idade 22,78 23,20 -0,42 -0,94Fração de mulheres 12,90 14,60 -1,70 -0,44Fração de solteiros 78,20 69,10 9,10 1,85Fração que mora com o pai 36,70 31,50 5,20 1,00Fração que mora com a mãe 41,50 37,10 4,40 0,81

Tamanho da família 3,98 3,57 0,41 2,24Renda familiar 1719,50 1560,30 159,20 1,17Fração que já trabalhou 93,20 94,90 -1,70 -0,67Idade do primeiro emprego 16,36 15,59 0,77 2,24Fração Empregada 60,50 69,10 -8,60 -1,61Fração Desempregada 17,70 16,30 1,40 0,33Renda mensal do trabalho 744,00 760,50 -16,50 -0,34Horas semanais trabalhadas 41,97 42,75 -0,78 -0,39Fração com Ensino Secundário 84,80 87,10 -2,30 -0,53

Galpão Aplauso: Impactos estimados

Estimativas do Impacto: escola, trabalho e despesaAmostra Total

1 a 2 meses após o programa (coorte 1)

2 a 3 meses após o programa (coorte 3)

4 a 5 meses após o programa (coorte 2)

ResultadoEfeito do

Tratamento

valor de t

Efeito do Tratamento

valor de t

Efeito do Tratamento valor de t

Efeito do Tratamen

tovalor de t

Frequenta a escola -0,039 -0,9 -0,003 -0,05 0,021 0,17 -0,144 -1,46Trabalho na última semana 0,051 0,8 -0,057 -0,65 -0,006 -0,04 0,213 2,11

Trabalho assalariado na última semana

0,078 1,22 -0,036 -0,4 -0,006 -0,04 0,266 2,6

Renda mensal do trabalho 30,264 0,57 -102,407 -1,51 252,864 1.6 176,95 1.95

Contrato Formal -0,017 -0,2 -0,106 -0,87 0.036 0,15 0,070 0,49Contrato por prazo indeterminado -0,053 -0,81 -0,129 -1,41 -0,028 -0,19 0,080 0,59

Horas trabalhadas 0,346 0,15 2,812 0,84 -7,986 -1,24 1,129 0,32Principal despesa: Estudo 0,019 0,85 0,024 0,81 -0,037 -0,97 0,066 1,14Principal “despesa”: poupança

0,020 0,46 -0,046 -0,76 0,016 0,15 0,160 1,98

Principal despesa: Balada 0,056 1,07 0,134 1,84 -0,160 -1,22 0,045 0,44Principal despesa: Roupas 0,063 1.1 0,041 0,49 0,027 0,22 0,001 0,01

Galpão Aplauso: Impactos estimados

Estimativas do Impacto: competências de vida e consumo cigarros/álcool

Amostra Total1 a 2 meses após o

programa (coorte 1)

2 a 3 meses após o programa (coorte 3)

4 a 5 meses após o programa (coorte 2)

Desdobramentos ((Xi-Xc)/σc)

Efeito do Tratame

ntovalor de t

Efeito do Tratament

ovalor de t

Efeito do Tratament

ovalor de t

Efeito do Tratament

ovalor de t

CPS Total -0,100 -1,36 -0,084 -0,88 -0,046 -0,23 -0,026 -0,2Escala de Grit Total (perseverança)

-0,045 -0,38 -0,070 -0,44 0,192 0,62 -0,261 -1,32

Escala de Grit Total - Duckworth -0,065 -0,53 -0,156 -0,91 0,067 0.2 -0,056 -0,28

Amostra Total1 a 2 meses após o

programa (coorte 1)

2 a 3 meses após o programa (coorte 3)

4 a 5 meses após o programa (coorte 2)

ResultadoEfeito do Tratamen

tovalor de T

Efeito do Tratamen

tovalor de T

Efeito do Tratamen

tovalor de T

Efeito do Tratamen

tovalor de T

Já fumou 0,029 0,65 0,012 0,22 0,120 0,92 0,052 0,52Número de cigarros na última semana -0,026 -0,1 -0,041 -0,1 0,179 0,18 -0,110 -0,22Consumiu álcool na semana passada -0,025 -0,47 0,017 0,25 -0,262 -1,86 0,038 0,31Quantas bebidas na última semana 0,064 0,48 -0,063 -0,36 0,230 0,77 0,444 1,7

4.Sumário Avaliação Econômica de Programas Sociais é um

instrumento importante para verificar se programas estão atingindo seus objetivos.

Calcular impacto e retorno social: ajuda a aprimorar os programas, aumenta a transparência e permite alocar melhor os recursos disponíveis.

Importante pensar a avaliação desde o início do programa: definição da amostra, método, grupos de controle, coleta de informação, etc.

ÓTIMO CURSO!