universidade cÂndido mendes · 2011-02-03 · mensurar o impacto de um projeto social e o retorno...
TRANSCRIPT
UNIVERSIDADE CÂNDIDO MENDES Instituto “A Vez do Mestre”
Finanças e Gestão Corporativa
Patrícia Gomes de Mattos
AVALIAÇÃO ECONÔMICA DE PROJETOS SOCIAIS
Orientadora: Ana Carolina Morryssi
Rio de Janeiro, 2010
2
UNIVERSIDADE CÂNDIDO MENDES Instituto “A Vez do Mestre”
Finanças e Gestão Corporativa
Patrícia Gomes de Mattos
AVALIAÇÃO ECONÔMICA DE PROJETOS SOCIAIS
Apresentação de monografia à Universidade
Candido Mendes como requisito parcial para
obtenção do grau de especialista em
Finanças e Gestão Corporativa
Por: Patrícia Gomes de Mattos
3
SUMÁRIO
1. Introdução ......................................................................................... 7
2. Informações necessárias para Avaliação Econômica ................................. 10
2.1. Público Alvo ........................................................................................ 10
2.1.1. Critério de elegibilidade ........................................................................ 11
2.2. Objetivo .................................................................................................... 11
2.3. Indicadores ............................................................................................... 12
2.4. Fontes de informações ............................................................................. 13
2.4.1. Cadastro ........................................................................................ 13
2.4.2. Fontes externas de dados .................................................................... 14
2.5. Custos ...................................................................................................... 15
3. Introdução à Avaliação Econômica ....................................................... 15
3.1. A Avaliação de Impacto .......................................................................... 16
3.1.1. Avaliação ex-ante e ex-post .............................................................. 17
3.2. Avaliação de retorno econômico ............................................................. 17
4. Análise de Impacto ..................................................................................... 18
4.1. Introdução ............................................................................................... 18
4.2. Conceitos estatísticos ............................................................................. 19
4.2.1. Variável aleatória .................................................................................. 19
4.2.2. Amostra Vs. População ........................................................................ 19
4.2.3. Distribuição de probabilidade ............................................................... 19
4.2.4. Média ............................................................................................... 20
4.2.5. Variância / Desvio Padrão ................................................................... 20
4
4.2.6. Distribuição normal ........................................................................ 21
4.2.7. Intervalo de confiança ......................................................................... 22
4.3. Avaliação de Impacto .............................................................................. 24
4.3.1. Método experimental (ou de seleção aleatória) .................................. 24
4.3.2. Método não experimental (ou de seleção não aleatória) ..................... 26
5. Método de diferenças em diferenças .................................................... 30
6. Limites da análise estatística ............................................................. 32
7. Retorno Financeiro ............................................................................... 33
7.1. Introdução ................................................................................................ 33
7.2 Transformando impacto em valor monetário ........................................ 33
8. Conceitos de Matemática Financeira .......................................................... 34
9. Estudo de Caso ........................................................................................... 35
10. Conclusão ............................................................................................ 39
11. Bibliografia ........................................................................................... 40
5
AGRADECIMENTOS
... ao meu filho Bruno pela paciência e a
compreensão das horas que não pudemos
brincar.
6
DEDICATÓRIA
... dedico este trabalho a Deus, pois sem Ele
nada é possível e aos meus avós que me
deram toda a estrutura moral e intelectual do
que sou hoje.
7
1. Introdução
Gestores de projetos sociais e de políticas públicas estão, cada vez mais,
preocupados com o aprimoramento das ações e investimentos promovidos na área
social.
Neste contexto, a Avaliação Econômica é mais uma ferramenta disponível
para ajudar na complexa tarefa de avaliar um projeto.
Existem atualmente muitas iniciativas na área social, mas poucas tem se
preocupado em medir seus resultados.
Muitas vezes os gestores não fazem uma avaliação adequada do impacto de
suas iniciativas. Por meio da Avaliação Econômica é possível identificar o impacto
gerado, assim como calcular o retorno econômico.
O presente trabalho visa apresentar os principais conceitos e técnicas
associados à avaliação econômica de projetos sociais.
Demonstrar passo a passo, por meio de exemplos e estudo de caso, como se
faz uma avaliação econômica.
8
RESUMO
“Apesar de bilhões de dólares serem gastos todos os anos com projetos
sociais, muito pouco se sabe do seu impacto sobre beneficiários e sua viabilidades
econômica.” (Banco Mundial)
A avaliação de trabalho desenvolvido no campo social sempre foi uma
questão muito debatida e pouco praticada. Muitas organizações intuem o sucesso
dos seus processos pontualmente quando analisam o desempenho de suas ações
apenas com relatos subjetivos. Mas quando aprofundam a análise de seus
resultados, na maioria das vezes não há vínculo com o objetivo proposto e
raramente apresentará resultados que produzem impacto diante da causa. Neste,
caso a perda do foco contribui com uma frustração.
Poucas organizações conseguem identificar, esclarecer e aplicar critérios
passíveis de serem defendidos publicamente para determinar o valor (mérito e
relevância), qualidade, utilidade, efetividade, importância e eficiência dessas ações.
O Instituto Brasileiro de Geografia e Estatística (IBGE) divulgou neste ano novas
informações sobre assistência social nos municípios brasileiro. Uma parte dessa
pesquisa mostra avanços nos serviços sociais, mas também alerta: faltam técnicas
de monitoramento no desenvolvimento de projetos e programas e avaliação de seus
resultados e impactos.
A avaliação é entendida como um processo que apoia a gestão e a tomada
de decisão e ajuda a corrigir rumos, identificar erros e acertos, verificar a realização
de objetos, identificar os resultados no público do projeto e gerar credibilidade para
futuros investimentos. (Revista Filantropia, pág 18)
Neste cenário, a avaliação de projetos sociais e políticas públicas ganham
destaque e importância na busca de aprimoramento de ações e investimentos
9
sociais. Há várias técnicas para avaliação de projetos sociais, neste trabalho será
abordado a relevância da avaliação econômica, como instrumento importante para
subsidiar a gestão e aprimoramento dos projetos, otimizar a alocação dos recursos e
propiciar a prestação de contas a financiadores, participantes e sociedade em geral.
A Avaliação Econômica é uma ferramenta de gestão que permite identificar e
mensurar o impacto de um projeto social e o retorno econômico.
O impacto do Projeto são todas as mudanças que aconteceram na vida dos
beneficiários do projeto, mas que aconteceram por causa do projeto.
Transformando o impacto do projeto em valor monetário e comparando esse
valor aos custos do projeto, chegamos ao Retorno Econômico.
A introdução da prática da avaliação econômica traz diversos benefícios para
os gestores:
- facilita a administração eficiente dos recursos escassos.
- ajuda na tomada de decisões com relação à operacionalização dos projetos.
- orienta os gestores quanto à eficiência de seus programas, comparando
custos e benefícios.
A Avaliação vai nos mostrar se o projeto funcionou da maneira esperada, se
trouxe benefícios reais e qual é a relação custo benefício desse projeto.
A coleta sistemática de informações relevantes e o estabelecimento de
parâmetros de comparação dos resultados são fundamentais para que se tenha uma
Avaliação do Impacto e Retorno Econômico do projeto que reflita a sua realidade.
A avaliação de impacto permite conhecer os resultados de uma ação em
relação ao público-alvo e busca responder se o projeto atinge seus objetivos. Se as
mudanças na vida dos beneficiários são resultantes do projeto ou de fatores
10
externos. Qual a relação custo-benefício para o projeto, pelo retorno calculado, é
melhor que as alternativas de projetos similares.
2. Informações necessárias para Avaliação Econômica
A avaliação econômica conjuga dois tipos de avaliação que se
complementam: a avaliação de impacto e o cálculo de seu retorno econômico. A
avaliação de impacto tem por principal objetivo inferir causalidade entre o projeto ou
programa e os resultados obtidos, ou seja, pretende responder à pergunta: o que
teria ocorrido aos beneficiários, caso eles não tivessem participado do projeto? Já o
retorno econômico compara o investimento no projeto com os benefícios gerados ao
longo da vida de seus participantes. Trata-se, portanto, do retorno social do projeto,
uma medida econômica relevante para a própria gestão do projeto, e também para a
comparação de resultados entre projetos sociais (site Fundação Itaú Social). Para
realizar esta análise, algumas informações são imprescindíveis.
2.1. Público Alvo
Para utilizar esta ferramenta a estruturação do projeto deve estar preparada
para a futura avaliação econômica, para tal deve se atentar para delimitação do
público-alvo.
A definição do público-alvo ocorre antes ou depois da definição dos
problemas que serão enfrentados. Há projetos que são criados para atender uma
comunidade específica e o passo seguinte é determinar os problemas desta
comunidade, assim como o problema pode ser determinado antes do público-alvo.
11
2.1.1. Critério de elegibilidade
Em geral, para identificação do público-alvo utiliza-se o critério de
elegibilidade, como por exemplo: o Programa Bolsa Família que atende todas as
famílias que tenham renda familiar abaixo do nível de pobreza (R$ 120 em 2008).
Definido o público, é possível posteriormente avaliar a focalização do
programa.
O esforço da focalização deve atuar no sentido de minimizar dois tipos de
erros:
i. Excluir do projeto pessoas pertencentes ao público-alvo (ineficiência no
alcance ou na cobertura do programa);
ii. Incluir no projeto pessoas não pertencentes ao público-alvo (vazamento do
programa).
Ou seja, quando um programa beneficia pessoas que não deveriam ser
contempladas e/ou quando deixa de fora pessoas que pertencem ao público-
alvo, dizemos que o programa incorreu nos chamados erro de focalização.
2.2. Objetivo
Para realizar a avaliação econômica do projeto social tão importante quanto a
definição do público-alvo é a definição dos objetivos de impacto do projeto. O
objetivo deve dizer para que servirá o projeto, ou seja, o que pretende alcançar ao
final do programa.
Ainda que seja possível ter objetivos amplos, que mostram um escopo maior
do projeto são os objetivos claros, bem definidos e mensuráveis que permitem sua
avaliação econômica. O objetivo é a base para a escolha dos indicadores do projeto.
12
2.3. Indicadores
Para se definir os indicadores de impacto é necessário que os objetivos sejam
mensuráveis.
É por meio da variação de alguns indicadores, que se pode quantificar de
forma adequada os impactos de um projeto, para isso esses indicadores devem
estar intimamente vinculados ao objetivo proposto. Desta forma podemos mensurar
o resultado alcançado pelo projeto.
Dada a importância dos indicadores para o conhecimento da situação antes e
depois do projeto, é importante que estes apresentem algumas características, tais
como:
• Relevantes;
• Fácil entendimento;
• Facilidade de construção e baixo custo;
• Confiabilidade;
• Consistência com os dados disponíveis;
• Relação direta com as ações efetuadas.
Os indicadores quantitativos fornecem respostas numéricas objetivas. Elas
são obtidas por meio de um padrão predefinido pelos avaliadores do projeto.
Os indicadores qualitativos fornecem respostas abertas, subjetivas e
expressam valores pessoais, o que exige do avaliador uma habilidade maior para
interpretá-las, pois há uma dificuldade maior para tabular. Mas, há a possibilidade de
transformar algumas informações qualitativas em quantitativas, como por exemplo o
grau de satisfação com um projeto, onde a resposta pode ser apresentada da
seguinte forma:
13
• Totalmente satisfeito: 5
• Muito satisfeito: 4
• Satisfeito: 3
• Insatisfeito: 2
• Muito insatisfeito: 1
• Totalmente insatisfeito: 0
Os indicadores qualitativos fornecem informações importantes para
enriquecer a avaliação do projeto que permite uma análise mais ampla, pois os
dados quantitativos podem mostrar o que está acontecendo (o impacto do projeto),
enquanto os dados qualitativos podem fornecer uma indicação das razões pelas
quais o projeto está tento determinado resultado.
2.4. Fontes de informações
2.4.1. Cadastro
Para que a avaliação econômica possa ser realizada é imprescindível que
existam informações. Para isso, os gestores do projeto deverão realizar um cadastro
dos participantes com as informações relevantes, adequadamente planejadas e bem
construídas. Esta etapa costuma ser negligenciada ou o cadastro por construir um
cadastro inadequado, por julgarem que demanda muito tempo, esforço e recurso, e
a não realização desta gera re-trabalho, no momento da avaliação ou até mesmo
inviabilizando-a.
Não existe um modelo padrão de cadastramento de participantes, as
informações irão variar de acordo com o objetivo do projeto social proposto.
14
È recomendado que o gestor do projeto utilize o Método Experimental que
pressupõe a seleção aleatória entre participantes e não participantes do programa.
Desta forma, evita-se o problema de seleção que ocorre quando o grupo de
participantes tem alguma característica que o distingue, mesmo antes do tratamento,
do grupo de controle.
Quando a seleção é aleatória, é esperado que existam pessoas com
características semelhantes nos dois grupos. Assim, na média de suas
características, esses grupos são iguais
Em geral, para se obter grupos selecionados aleatoriamente, deve-se pensar
nisso antes do início do programa. Por exemplo, realizar a seleção de participantes
por meio de um sorteio entre os interessados.
Desta forma, a única diferença entre os dois grupos será o próprio tratamento,
ou seja, a participação no programa.
2.4.2. Fontes externas de dados
Algumas vezes pode ser necessário recorrer a “fontes externas de dados”.
Esses dados são encontrados em pesquisas e avaliações feitas usualmente por
órgãos governamentais, tais como:
• Pesquisa realizada pelo IBGE:
o CENSO;
o PNAD – Pesquisa Nacional por Amostra de Domicílios;
o POF – Pesquisa de Orçamento Familiar.
• Pesquisa realizada pelo INEP:
o SAEB – Sistema Nacional de Avaliação da Educação Básica;
15
o ENEM – Exame Nacional do Ensino Médio;
o CENSO Escolar.
Por meio dessas fontes, é possível conhecer de forma detalhada de consumo
e características socioeconômicas, de alguma população específica. Essas
informações podem ser úteis na avaliação ex-ante (avaliação realizada antes da
execução do projeto). Além disso, tais dados podem ser usados para se realizar
fonte externa de dados.
2.5. Custos
Trata-se de um elemento essencial para a avaliação econômica,
especificamente para o cálculo de retorno econômico do projeto.
Custos econômicos englobam os custos contábeis incorrido na execução do
projeto e o custo de oportunidade daqueles que participam do programa. Entende-se
custo de oportunidade como sendo o rendimento que se deixa de obter quando se
realiza determinada escolha.
Por exemplo, um jovem ao freqüentar um determinado projeto, ele pode ter
que deixar de trabalhar diminuindo a renda familiar. O “salário perdido” é
considerado o custo de oportunidade dessa família.
Para se levantar o custo econômico, deve-se levar em consideração os
custos de oportunidade também.
3. Introdução à Avaliação Econômica
A avaliação econômica de um projeto pode ser dividida em duas partes: a
avaliação de impacto e a avaliação de retorno econômico, que estão
16
intrinsecamente relacionadas, sendo a segunda relacionada com base nos
resultados da primeira etapa. Cada uma dessas avaliações pode ser realizada antes
da implementação do projeto (ex-ante) e após sua implementação (ex-post).
A coleta sistemática de informações relevantes e o estabelecimento de
parâmetros de comparação dos resultados são fundamentais para que se tenha uma
Avaliação do Impacto e do Retorno Econômico do projeto que reflita a sua realidade.
3.1. A Avaliação de Impacto
A avaliação de impacto está relacionada ao impacto que o programa tem
sobre um determinado público-alvo. Para isso, alguns pontos devem ser
investigados:
• Atingiu seus objetivos, ou seja, afetou os beneficiados?
• As melhoras observadas são um resultado direto do projeto ou teriam
acontecido de qualquer forma?
• Há diferença de impacto entre regiões ou ao longo do tempo.
• O projeto está causando algum impacto não planejado inicialmente?
A avaliação de impacto permite estabelecer e quantificar as relações causais
entre as ações efetuadas no projeto e as alterações verificadas nos indicadores de
interesse. Entende-se por relações causais, relação de causa e efeito.
Os resultados obtidos podem ser utilizados para tomada de decisões quanto à
continuidade ou não das ações efetuadas, para a implementação de projetos
futuros ou mesmo para a formulação de políticas sociais. Exemplo: Um projeto que
tenha por objetivo melhorar a qualidade do ensino, através da capacitação dos
professores, tendo como indicador o desempenho escolar. Se a avaliação de
17
impacto mostra os resultados obtidos são positivos, pode-se implementar o
programa em outras escolas semelhantes.
3.1.1. Avaliação ex-ante e ex-post
Na avaliação ex-ante poderá estimar seus possíveis impactos antes da
implementação do projeto. Desta forma, se torna um importante instrumento para
os gestores realizarem os ajustes e melhorias necessárias a um custo mais baixo.
A avaliação ex-post é realizada após o projeto ter acontecido, onde
estabelece as relações causais entre as ações efetuadas e as alterações
verificadas no bem-estar dos indivíduos, quantificando assim os efeitos dos
projetos, em comparação com o grupo de controle, desta forma pode-se avaliar o
que teria acontecido com os participantes do projeto, caso eles não tivessem
participado do programa.
3.2. Avaliação de retorno econômico
A avaliação de retorno econômico analisa as seguintes questões:
• Se os custos são razoáveis;
• Qual a efetividade do projeto, comparativamente com outras propostas de
projeto;
Apesar de alguns projetos terem bons resultados, não são o suficiente diante
os custos incorridos em sua implementação, desta forma pode-se analisar se outros
projetos poderão alcançar resultados semelhantes com um custo menor.
18
4. Análise de Impacto
4.1. Introdução
A avaliação de impacto tem como objetivo determinar quais foram as
mudanças no bem-estar dos indivíduos que podem ser atribuídas a um projeto
específico. Na definição da avaliação de impacto estão implícitos dois pontos que
devem ser ressaltados: mensuração e causalidade.
A mensuração é realizada através da mudança no bem-estar dos
participantes é realizada através dos indicadores associados aos objetivos dos
projetos. Uma vez identificada à melhora nos indicadores, deve-se determinar a
causalidade, isto é saber se foi de fato a participação no projeto que fez com que os
indicadores de resultados atingidos.
O próximo passo da avaliação é buscar o contra factual, ou seja, ter a
possibilidade de avaliar o que teria acontecido caso os beneficiados se não tivessem
participado do projeto. Ao tomar, por exemplo, um projeto para melhora da qualidade
do ensino médio, através da oferta de oficinas (de arte, músicas, de leitura, etc.)
após o horário das aulas, buscando motivar esses jovens a permanecer na escola.
O indicador seria um índice de freqüência escolar para comparar os jovens que
participam das oficinas com os mesmos jovens caso eles não participassem deste
projeto. Essa seria a única maneira de ter certeza de que o aumento na freqüência
escolar foi resultado exclusivo da participação nas oficinas, no entanto este tipo de
análise não é possível, desta forma, a solução passa ser a construção do grupo de
controle, que trata-se dos não tratados, ou seja, formar grupos de não participantes
que tenham as mesmas características dos participantes (mesma idade, nível sócio-
econômico, etc.). Desta forma, a possibilidade para análise de impacto é a de
comparar a variação na freqüência escolar antes e depois dos jovens que
19
participaram das oficinas com a variação na freqüência observada neste mesmo
período para os jovens que não participaram das oficinas. Esse é o método
diferenças em diferenças, mas para utilizá-lo é preciso garantir de que aconteceu de
diferente com os grupos a não ser a participação das oficinas.
4.2. Conceitos estatísticos
4.2.1. Variável aleatória
É a variável cujo valor é desconhecido até a observação. Seu valor é o
resultado de um experimento e não pode ser previsto com exatidão, apesar de
conhecermos os resultados possíveis.
Por exemplo, podemos dizer e encontrar o primeiro emprego é uma variável
aleatória. Com certeza, quanto mais preparado o jovem, maior a probabilidade de
ele conseguir um emprego.
4.2.2. Amostra Vs. População
Amostra é uma parte da população que temos para analisar. Nosso
conhecimento a respeito da população geralmente é baseado no nosso
conhecimento da amostra com a qual trabalhamos. Por isso, devemos nos certificar
de a amostra que temos seja representativa.
4.2.3. Distribuição de probabilidade
Não se conhecem os valores de variáveis aleatórias até um experimento ser
realizado e, nem sempre, os valores associados às variáveis aleatórias são
igualmente prováveis. Sendo assim listamos os valores possíveis de uma variável
aleatória com suas possibilidades de ocorrência, onde o resultado é uma função de
20
probabilidade. Por exemplo, no lançamento de 2 dados ter como resultado a soma
dos valores ser 11.
4.2.4. Média
É o “valor esperado” de uma variável aleatória. Considerando que temos
disponível um certo número de observações “n” de uma variável aleatória ”x”. Para
obtermos a média de x, basta calcularmos a razão entre a soma dos valores
observados dessa variável aleatória nessa amostra e o número de observações
dessa amostra, isto é:
n
∑ xi x = i=1 . n
Onde:
Xi= é a nota do i-ésimo aluno
n é o número de observações
4.2.5. Variância / Desvio Padrão
Para toda variável aleatória há diferença entre o valor esperado (isto é, a
média) e o valor observado.
A variância mede a dispersão dos valores observados da variável aleatória
em torno de seu valor esperado.
Quanto maior a variância, mais dispersos são os valores observados da
variável em relação à sua média. Neste sentido, a variância pode ser interpretada
como uma medida de precisão de um valor a ser observado pela sua média, sendo
21
assim não é uma previsão muito precisa. Quanto menor a variância, maior é a
confiança de que o valor a ser observado será próximo da média.
A partir da variância pode-se obter o desvio-padrão que é a raiz quadrada da
variância. Esta será uma medida bastante importante na construção dos intervalos
de confiança.
Variância Desvio-padrão
n
∑ [(xi - ẋ)]2 S2 = i=1 .
n
n
∑ [(xi - ẋ)]2 s = i=1 = √s2
(n – 1)
4.2.6. Distribuição normal
É uma das mais importantes distribuições de probabilidade.
Em geral, trabalhamos com variáveis aleatórias para as quais não
conhecemos sua distribuição.
Comumente, assumimos que nossas variáveis têm distribuição de
probabilidade que se comporta como uma normal.
√
22
4.2.7. Intervalo de confiança
É o intervalo de valores que, com uma certa probabilidade de acerto, contém
o valor médio de uma variável de interesse referente a uma determinada população.
Exemplo: Suponhamos que conhecemos a distribuição de probabilidade da
altura dos homens brasileiros. Podemos fazer a inferência a respeito da
nacionalidade de um homem qualquer. A pergunta a nos fazer é: se tal home mede
1,97 m, qual a probabilidade de ele ser brasileiro?
Para tanto devemos construir um intervalo de confiança para a variável
aleatória altura dos homens brasileiros. Um intervalo de confiança vão nos dizer, por
exemplo, qual o intervalo de altura em que estão 50% dos homens brasileiros. Se
1,97 m estiver dentro desse intervalo, podemos dizer que, com 50% de
probabilidade, esse homem é brasileiro.
Para a avaliação de impacto, estamos interessados na variável aleatória que
é a média amostral que tem distribuição normal. Isso é importante para nossos
propósitos, já que para a avaliação de impacto, nossa variável aleatória de interesse
é a média amostral do indicador de impacto escolhido e não cada observação
f (x)
0,4 0,3 0,2 0,1 0,0
23
individual de xi. Para construir um intervalo de confiança para ẋ, admitindo que esta
tenha distribuição normal, também precisamos da sua média e de seu desvio
padrão. É possível mostrar que:
• A média amostral de x é igual a média amostral de xi;
• O desvio-padrão de x é igual ao desvio-padrão de xi dividindo pela raiz
quadrada do número de observações(n).
Portanto, o intervalo de confiança para a variável aleatória ẋ é dada por:
[ x-1,96*(s/√n); x + 1,96 * (s/√n)]
Graficamente poder ser representado da seguinte forma:
47,5%
47,5%
x + 1,96 x - 1,96
95%
2,5% 2,5%
24
4.3. Avaliação de Impacto
Há duas maneiras de medir o impacto de um programa, sendo que a escolha
do método a ser utilizado dependerá do tipo de dados que temos disponível, isto é,
dependerá de como foi selecionado o grupo de tratamento. Existe o método
experimental (ou de seleção aleatória) e por contrapartida, o método não
experimental (ou de seleção não aleatória).
4.3.1. Método experimental (ou de seleção aleatória)
Como já colocado, o problema central na avaliação de qualquer programa é
que os indivíduos não podem ser observados simultaneamente na situação de terem
sido tratados e na situação de não terem sido tratados. Desta forma, a avaliação
econômica de qualquer programa envolve a construção ou definição dos chamados
grupo de controle.
No método experimental ou de seleção aleatória, a avaliação de impacto é
desenhada antes mesmo da implementação do programa. O método consiste em
dividir em dois grupos o conjunto de pessoas que desejam participar e tem as
características esperadas para o público-alvo. O primeiro engloba aqueles que
efetivamente vão participar (grupo de tratamento) e o outro, aqueles que não
participarão do programa (grupo de controle). Ou seja, o grupo de tratamento é
constituído de forma aleatória. Dado um grupo de pessoas parecidas (desejosas de
participar e dentro das condições exigidas). Os grupos são selecionados de forma
que a única diferença entre os grupos seja o tratamento, isto é, a participação no
programa.
25
Quando a escolha dos participantes é aleatória, o impacto do programa é
diretamente calculável a partir da comparação da média do indicador que
escolhemos como medida de avaliação da mudança de bem-estar proporcionada
pelo programa para ambos os grupos, o de tratamento e o de controle.
Entretanto as médias que calculamos para os dois grupos são médias
amostrais e, portanto, são elas também variáveis aleatórias. Assim, não basta
comparar o valor das duas médias. É necessário saber se elas são estatisticamente
diferentes, para isso recorremos a abordagem de intervalo de confiança.
Na prática, é necessário ter observações do indicador referente a todos os
membros dos grupos tanto do grupo de tratamento como o de controle para
calcularmos a média do indicador para cada um dos grupos. Em seguida,
precisamos testar se essas duas médias são estatisticamente diferentes. Para isso,
criamos um intervalo de confiança para uma delas, por exemplo, para o grupo de
tratamento. Assim, devemos ter informações sobre a distribuição de probabilidade
dessa variável. Como não temos essa informação, geralmente supomos que as
média tem distribuição normal, cujas características descrevemos anteriormente. Os
procedimentos para a construção do intervalo de confiança de 95%, supondo
distribuição normal, foram apresentados na seção anterior.
Uma vez construído o intervalo de confiança para a média do grupo de
tratamento, basta verificar se a média calculada para o grupo de controle está dentro
desse intervalo ou não. Se estiver, significa que as duas médias são iguais e, então,
que o programa não teve impacto. Se não estiver, significa que as médias são
diferentes e, portanto, que houve impacto.
26
4.3.2. Método não experimental (ou de seleção não aleatória)
Na maioria dos projetos sociais, a seleção dos participantes do programa não
é feita de maneira aleatória. Isso acontece porque em alguns casos todas as
pessoas ou instituições que são elegíveis para participar do programa são a
princípio participantes do programa. Ou porque dentre os elegíveis outros critérios
são utilizados para definir os participantes – por exemplo, os mais necessitados são
atendidos primeiramente – tornando o grupo de participantes diferentes dos demais
indivíduos.
O problema é que a base para a avaliação de um programa social é o contra
factual. Ou seja, queremos saber o que aconteceria com os participantes do
programa caso não tivessem participado. Como essa resposta não existe, temos
que definir ou construir um grupo de controle. No caso da seleção aleatória,
automaticamente tínhamos um grupo de controle: aqueles que não foram sorteados
e que gostariam e poderiam participar do programa, mas que não participam.
Quando a seleção não é aleatória, não temos grupo de controle automático.
Em alguns casos, há grande dificuldade de construir o grupo de controle,
considerando o programa de distribuição de cesta básica, não podemos comparar o
índice nutricional das pessoas que participaram do programa como avaliação de
impacto, pois inúmeros fatores podem contribuir para esta melhora. Desta forma,
quando temos um grupo de controle com características diferentes do grupo de
tratamento utilizamos um instrumento estatístico que permite realizar a análise de
impacto – é a chamada ‘regressão linear’. O intuito é isolar as características que
acreditamos tornar os grupos diferentes e que afetam o indicador de interesse,
tornando os grupos comparáveis. Podemos listar algumas características, tais como:
27
educação dos pais, renda familiar, região onde mora, saneamento básico e se
participa de outro programa social.
Uma vez decididas quais características afetam o índice nutricional das
pessoas em geral e que são diferentes entre os grupos, o próximo passo é “limpar” o
índice nutricional do efeito dessas outras características, para restar apenas a
participação do programa como explicação para as diferenças nutricionais.
Para “limpar” o índice nutricional significa encontrar uma maneira de tornar as
pessoas iguais em características observáveis. Isso significa fazer todas as pessoas
terem pais com o mesmo nível educacional, a mesma renda, o mesmo acesso à
saúde, ao saneamento básico e morarem no mesmo lugar, ou seja, tudo o que
importa na determinação do índice nutricional que não a participação no programa.
Na prática, segue abaixo a equação que explica o índice nutricional:
Índice nutricional = α + β * ‘programa’ + Φ * ‘educação dos pais’ + δ ‘renda
familiar’ + y * ‘saneamento’ + Ψ ‘outras variáveis que acreditamos explicar esse
índice’ + x
A participação no programa assume valor 1 (um) e 0 (zero) quando não
participa do programa. Assim, o β indica o impacto que a participação no programa
de cestas básicas tem sobre o índice nutricional livre do efeito das outras variáveis
incluídas. Se o programa tem impacto sobre o índice nutricional, então o β, da
equação acima, será diferente de zero. Isso quer dizer que participar do programa
ajuda a explicar os diferentes índices nutricionais da população.
O termo α identifica o índice nutricional do indivíduo que recebe valor zero em
todas as variáveis da equação acima. Insto é, o índice nutricional do indivíduo que
não participa do programa, cujos pais tem escolaridade igual a zero ano de estudo,
cuja renda familiar é igual a zero e assim por diante. As outras letras que multiplica,
28
as demais variáveis na equação acima (Φ, y, Ψ e δ) medem a relação ou
associação existente entre cada uma delas e o índice nutricional, controladas as
demais características. O termo ε é o erro que existe por não conseguirmos
determinar sempre perfeitamente o índice nutricional.
O instrumento de regressão é usado justamente para nos dar uma medida de
(e dos demais coeficientes associados às demais variáveis). Vários programas
estatísticos, incluindo o MS-excel, calculam estimativas de (α, β Φ, y, Ψ e δ). O
Box ‘Análise de Regressão Linear Simples’ explica como os coeficientes são
obtidos, utilizando um modelo com uma variável explicativa.
Análise de Regressão Linear Simples
Imagine duas variáveis Y e X que tenham uma relação entre si, como por
exemplo, salários (Y) e anos de estudo (X). Suponha que Y é que seja afetado por
X, mas não o contrário. Nesse sentido, Y é a variável dependente e X a variável
independente ou explicativa. O objetivo é encontrar como estas duas variáveis estão
relacionadas. Uma possibilidade é assumir que estas variáveis sejam relacionadas
através de uma função linear, ou seja, por meio de uma reta. Isto é, cada Y pode ser
escrito como função linear, ou seja, por meio de uma reta, isto é, cada Y pode ser
escrito como uma função de X da seguinte forma:
Yi = α + βXi + ε
O termo ε expressa o erro aleatório que tem que ser incluído porque em geral
o valor Y previsto pela equação será diferente do valor de Y observado.
29
Na figura abaixo temos um gráfico das duas variáveis; também traçamos uma
reta que poderia ser usada para expressar a relação X e Y.
Os valores sobre a reta são previstos pela regressão. Os pontos próximos à
reta são os valores observados. A distância entre eles é chamada de erro da
previsão.
O processo de egressão tem por objetivo encontrar os valores de α e β; o
método faz isso de forma a minimizar o Y previsto e Y observado a menor possível.
O primeiro passo para a análise de regressão é construir adequadamente o
banco de dados com informações de Y (variável a ser explicada) e X (variáveis
explicativas) para o grupo de pessoas que estamos analisando.
No caso do exemplo do programa de distribuição de cestas básicas, seria
necessário ter uma amostra das pessoas que participaram do programa e uma das
30
pessoas que não participaram. O nome fica na primeira coluna, na segunda os
indicadores nutricionais de cada uma delas e na terceira a variável ‘programa’, isto é
a identificação de quem participou e de quem não participou (sendo 1 para o
primeiro e 0 para o segundo). Nas demais colunas, estão as informações sobre as
outras variáveis que explicam a nutrição – educação dos pais, renda familiar, etc. O
interesse é saber se o coeficiente associado à variável de participação β é
estatisticamente diferente de zero para concluirmos que o programa teve um
impacto positivo sobre o índice nutricional da população participante.
5. Método de diferenças em diferenças
Quando a separação entre os grupos de tratamento e controle não foi
aleatória e quando temos grupos de tratamento e controle muitos diferentes,
principalmente com relação a características que não são observáveis, o ideal para
a análise de impacto seria que o avaliador tivesse informações sobre os grupos de
tratamento e controle em dois períodos de tempo, ou seja, no período anterior e no
período posterior ao programa social.
Suponhamos que estamos avaliando o impacto de um programa de
qualificação profissional e que a renda seja o indicador de interesse. A ideia básica é
comparar ‘a diferença entre a renda depois e a renda antes’ do grupo de tratamento
com a do grupo de controle.
31
Termos das diferenças
Médias por grupo Antes Depois Variação
Tratamento TA TD TD - TA
Controle CA CD CD – CA
Variação das variações (TD TA) – (CD – CA) = dif em dif = (β2 + β3 - β2) = β3
TRATADOS
Rendaest = α + β1 * ‘programa’ + β2 * ‘depois’ + β3 * ‘programa * depois’
TA = α + β1 * ‘1’ + β2 * ‘0’ + β3 * ‘0’
TA = α + β1
TD = α + β1 * ‘1’ + β2 * ‘1’ + β3 * ‘1’
TD = α + β1 + β2 + β3
TD - TA = β2 + β3
CONTROLE
Rendaest = α + β1 * ‘programa’ + β2 * ‘depois’ + β3 * ‘programa * depois’
CA = α + β1 * ‘0’ + β2 * ‘0’ + β3 * ‘0’
CA = α
CD = α + β1 * ‘0’ + β2 * ‘1’ + β3 * ‘0’
CD = α + β2
CD - CA = β2
32
DIFERENÇA
Rendaest = α + β1 * ‘programa’ + β2 * ‘depois’ + β3 * ‘programa * depois’
(TD – TA) = β2 + β3
(CD – CA) = β2
(TD – TA) - (CD – CA) = dif em dif = (β2 + β3 - β2) = β3
6. Limites da análise estatística
Um ponto importante a ser ressaltado sobre a análise de regressão é que,
assim como no caso das comparações de média, estamos tratando de uma análise
estatística. Para isso precisamos de dados confiáveis e de uma amostra de tamanho
razoável. O tamanho adequado da amostra depende do tamanho da população e
essa relação não é linear. Um outro aspecto é o problema de variáveis não
observadas. Tomemos o exemplo do programa de oficinas que tem por objetivo
melhorar o desempenho escolar das crianças. As crianças diferem em diversos
atributos: número de irmãos, renda familiar, motivação, interesse, etc. Note que as
duas primeiras características são variáveis que o avaliador pode observar. Sendo
assim, usando o método de regressão ele conseguiria ‘limpar’ o desempenho
escolar dessas duas características. Provavelmente, uma criança com maior
motivação e/ou interesse estará mais disposta a participar das oficinas e deve ter um
desempenho melhor na escola, independente de participar da oficina. Neste caso, o
coeficiente associado à variável ‘programa’ está, em parte, captando o efeito dessas
características observadas. Existem métodos estatísticos que buscam resolver este
tipo de problema.
33
Em suma, se uma avaliação parece ter variáveis não observadas importantes
e/ou há poucas pessoas com as mesmas características nos grupos de tratamento e
controle, deve- se olhar os resultados de regressão linear simples com cautela.
7. Retorno Financeiro
7.1. Introdução
Como se trata de projeto social o objetivo não gerar lucro econômico, mas
melhorar a qualidade de vida da população participante. Desta forma, o cálculo de
retorno econômico é utilizado para avaliar a eficiência de um projeto ou mesmo para
escolher entre dois projetos alternativos, sendo assim pode auxiliar na decisão de
implementar determinada ação social.Cada projeto tem um custo de implementação
e também os benefícios. Compará-los pode ser uma ferramenta disponível para a
tomada de decisão.
7.2 Transformando impacto em valor monetário
O calculo dos benefícios gerados pelo projeto é feito a partir da análise de
impacto.
A forma de transformar impacto em valor monetário nem sempre é direta. Se
o impacto do projeto se dá sobre a renda familiar dos participantes, então há uma
relação direta entre impacto e seu valor monetário. Entretanto, nem sempre isso
acontece, o que não quer dizer que não seja possível associar um valor monetário
ao impacto sobre um indicador não monetário.
Por exemplo, se um programa de treinamento tem como objetivo ensinar a
usar o computador, uma forma de transformar o impacto em valor monetário é por
meio do diferencial de salário proporcionado pelo aprendizado. Um ponto importante
34
é que o ganho salarial vai ser apropriado pelo trabalhador não somente no período
de duração do projeto, mas durante todo o tempo em que ele continuar no mercado
de trabalho. Para o cálculo de retorno econômico iremos considerar o fluxo de
benefícios ao longo da vida das pessoas beneficiadas. Nesse sentido, temos que
fazer hipóteses sobre esta trajetória.
Em suma, a transformação do impacto do programa em termos monetários
depende de hipóteses. Boas hipóteses dependendo do grau de conhecimento do
analista em relação ao público-alvo do programa e também devem se basear em
evidências empíricas de situações semelhantes. Por exemplo, a relação entre renda
e escolaridade é uma evidência empírica bem estabelecida na literatura e, neste
sentido, a sua utilização é algo bastante razoável.
8. Conceitos de Matemática Financeira
Para realizamos a análise de retorno econômico é necessário utilizar algumas
ferramentas da matemática financeira, que não serão detalhados neste trabalho, tais
como: Taxa de juros, Juros compostos, Fluxo de caixa, Cálculo de retorno
financeiro, Valor presente líquido e Taxa interna de retorno.
35
9. Estudo de Caso
Projeto: EDUCAÇÃO PARA UM GRANDE COMEÇO
OBJETIVO
Promover a ascensão de adolescentes e jovens moradores do Complexo de
Manguinhos e suas 11 sub comunidades em situação de vulnerabilidade social
decorrente da pobreza, privação e/ou fragilização de vínculos afetivos – relacionais e
de pertencimento social, com qualificação e oportunidades dignas de trabalho e
geração de renda por meio do desenvolvimento de potencialidades.
INDICADORES
• Com 4 turmas de 50 alunos, num total de 200 alunos inscritos com índice
de frequência de 64%.
• 60 alunos capacitado e inseridos no mercado de trabalho.
PÚBLICO ALVO
Faixa Etária Quantidade Nº de Turma Total
14 a 16 100 2 100
17 a 22 100 2 100
Total: 200
AVALIAÇÃO DE IMPACTO
Para que?
Identificar se as alterações ocorridas nos indicadores de interesse se deram em
função do projeto
36
Como funciona?
Comparando os indicadores de dois grupos:
Grupo de Tratamento: pessoas do público alvo que serão atendidas pelo projeto ou
participarão da intervenção
Grupo de Controle: pessoas com características similares que não serão atendidas
pelo projeto ou participarão da intervenção
Indicador de interesse
Empregabilidade após a realização do projeto
Método
Regressão linear com dados colhidos após o tratamento
Características dos grupos
Grupo de tratamento: 25 indivíduos entre 16 e 20 anos de idade contemplados pelo
projeto
Grupo de controle: 25 indivíduos entre 14 e 20 anos de idade, inscritos na lista de
espera do projeto
Outros indicadores incluídos na regressão
• Participação no programa (tratado ou controle?)
• Escolaridade do pai
• Escolaridade da mãe
• Local de moradia
• Idade
• Último ano escolar concluído
37
• Sexo
• Etnia
Conclusões
• A participação no projeto tem efeito estatisticamente positivo na
empregabilidade dos tratados, em comparação com os indivíduos do
grupo de controle
38
Conclusões
• Os contemplados pelo projeto tem cerca de 36,71% de chances a mais
para conseguir emprego
Para que?
Avaliar a viabilidade do projeto em função dos benefícios gerados, em comparação
com os custos financeiros e financeiramente mensurados associados à sua
realização
Como funciona?
Cálculo da Taxa interna de retorno (TIR)
Assumindo que:
• O impacto do projeto sobre a vida dos beneficiários dura potencialmente
cerca de 3 anos
• Salário dos que conseguiram emprego = salário mínimo
• A taxa de juros é de 6% ao ano
Custos do projeto para 25 beneficiários
39
Fluxo de caixa do projeto
Estimando o impacto efetivo
Valor presente líquido e Taxa interna de retorno do projeto
10. Conclusão
A Avaliação Econômica de Projetos Sociais é uma ferramenta que
apresenta limitações, considerando os indicadores não observáveis, que são
trabalhadas estatisticamente, no entanto há outros indicadores que dependem de
demais técnicas de análise como desenvolvimento psico-social, o engajamento, a
transformação emocional e autoconfiança, mas diante do trabalho apresentado
podemos verificar que a Avaliação Econômica de Projetos Sociais é um importante
processo que apoia a gestão e a tomada de decisão e ajuda a corrigir rumos,
identificar erros e acertos, verificar a realização de objetos, identificar os resultados
40
no público do projeto e gerar credibilidade para futuros investimentos, pois se trata
de uma ferramenta de gestão que permite identificar e mensurar o impacto de um
projeto social, o retorno econômico e a melhor alocação dos recursos financeiros.
11. Bibliografia
RODRIGUES, Maria Cecília P. (2010) Projetos sociais corporativos: como avaliar e tornar essa estratégia eficaz. São Paulo: Atlas. CONTADOR, Claudio Roberto (2000) Projetos Sociais Avaliação e Prática. São Paulo: Atlas, 4ª Edição. BUARQUE, Cristovam (2009) Avaliação Econômica de Projetos. São Paulo: Campus, 12ª Edição.
SCHOR, AFONSO, Adriana e Luís Eduardo (2005) Apostila Avaliação Econômica de Projetos Sociais.
DALBEM, BRANDÃO, MACEDO-SOARES, Marta Corrêa, Luiz, e T. Diana L.
van Aduard de (2010) “Avaliação econômica de projetos de transporte: melhores práticas e recomendações para o BrasilEconomic appraisal of transportation projects: best practices and recommendations for Brazil”. Revista Administração Pública vol.44 no.1 Rio de Janeiro Jan./Feb. 2010.
Revista Filantropia – Brasil – Edição 47 – Jul./Ago – 2010 – Tecnologia de Monitoramento e avaliação de programas sociais – Carol Zanoti