Avaliação de Impacto do Projeto de Combate à Pobreza Rural

(PCPR)

Claudia Romano

Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa, Naércio Menezes, Elaine Pazello

Sumário da Apresentação• O que é o PCPR• Desenho do Estudo• Principais desafios e Métodos utilizados

para lidar com estes desafios• Principais Resultados• Capital Social• Implicações para Políticas Públicas

O que é o PCPR• Programa opera na zona rural do Nordeste

desde 1993; baseado na demanda comunitária.

• Financia pequenos projetos comunitários, de infraestrutura, produtivos e sociais.

• Exemplos: pequenos sistemas de abastecimento de água; eletrificação; casa de farinha; beneficiamento mel; centro comunitário

O Programa opera em grande escala:(1993 a 2005)

Qual a pergunta? Como responder?

• Definição do que o estudo deve responder

• Compreensão do funcionamento do Projeto

Desenho do Estudo: Aspectos gerais

Pergunta: impacto do programa sobre acesso a serviços de infra-estrutura, ativos, saúde, e capital social ?

Note: diferente de perguntar se processo CDD é melhor do que benefícios distribuídos aleatoriamente

Desenho do Estudo:Aspectos gerais

• Amostra: 864 domicílios entrevistados em 2005; em 54 comunidades tratamento e 54 controle; 8 domicílios por comunidade

• Abrangência: Ceará, Piauí e Rio Grande do Norte

• Análise sobre impacto entre 2002 e 2005

Principais Desafios do Estudo

(1) Viés de Seleção(2) Falta de Perfil de Entrada

(3) Qualidade dos Dados

Principais desafios para desenho do estudo: (1) Viés de seleção

• O PCPR estimula comunidades a se auto-selecionarem, portanto: – Comunidades que obtém subprojetos são

mais capacitadas, têm melhor capital social, possivelmente maior renda e riqueza do que as comunidades não-beneficiadas

– Portanto, temos um viés de seleção positivo

Método: Reduzindo o viés de seleção- 3 métodos em 4 etapas

1) Método “amostragem pipeline” (lista de espera):

o tratamento selecionado entre beneficiários de 2002 (primeiro subprojeto)

o controle selecionado entre solicitantes já aprovados mas ainda não contemplados pelo programa em 2005Esta forma de seleção garante que controle seja mais similar a tratamento

o mas ainda há possibilidade de viés pois há 3 anos de diferença na obtenção do projeto

Reduzindo o viés de seleção

2) Método Propensity-Score matching - PSM (pareamento por índice de probabilidade).

– Diminui as diferenças devidas a características observadas

– PSM em dois estágios:o Primeiro estágio: nível comunitário para

seleção amostraloSegundo estágio: na análise, níveis

domiciliar e comunitário

PS antes e depois do pareamento

Reduzindo o viés de seleção

3) Análise de painel ou “diferenças-em-diferenças”:

- diminui as diferenças entre controle e tratamento devidas a características de efeitos aditivos em variáveis não-observáveis e observáveis não medidas

– As únicas características não passíveis de controle são as não-observáveis de efeito variável

Resultados indicaram que a combinação destas 4 etapas teve efeito na redução do

viés

Principais desafios: (2) falta de perfil de entrada

• Faltavam dados domiciliares da situação no período anterior à implementação dos subprojetos

• Perfil de entrada realizado pela Fecamp era muito recente (2004) para retorno e estudo de impacto de médio-prazo.

Método: Como lidamos com falta de um perfil de entrada

• Coleta de dados com “recall” • Capital físico (ativos), capital social e

alguns indicadores sobre saúde. • Momento importante: última vez que Brasil

ganhou a Copa do Mundo (julho de 2002)• Situação antes da formação da

associação

Principais Desafios: (3) Qualidade dos Dados

• Testes de campo e treinamento entrevistadores: – Questionários testados no campo duas vezes

• Dados:– Taxa de resposta a questionários foi alta– Análise dos dados revelou pequena proporção de

outliers• Exceção foram dados sobre valor da terra e

tamanho da propriedade. Decidiu-se por não utilizar estes dados na análise

PRINCIPAIS RESULTADOS

Impactos positivos sobre acesso a água e eletricidade

• Todos modelos estimados demonstraram impacto positivo e significativo do programa sobre acesso à água e à rede elétrica

Efeitos sobre acesso a águaTabela 3.12: Impacto do PCPR sobre o acesso a rede de água

água Amostra resultante do matching Modelo 1 Modelo 2 Modelo 3

0,095* Tratamento (0,034)

0,242* Trat*Abast (0,044) -0,029 Trat*Eletrif (0,028) -0,009 Trat*Prod (0,036) 0,290* Trat*Ce*Abast (0,049) 0,033 Trat*Rn*Abast (0,051) 0,010 Trat*Rn*Prod (0,050) -0,029 Trat*Pi*Eletr (0,028) -0,029 Trat*Pi*Prod (0,028)

0,029 0,029 0,029 constante (0,028) (0,028) (0,028)

nº de observ. 573 573 573 F (k, n-1) 7,93 . . Prob > F 0,0050 . . R-quadrado 0,0189 0,0851 0,1033

*Entre parênteses desvios-padrões robustos à heterocedasticidade. * Estatisticamente Significante a 5%

Efeito sobre eletrificaçãoTabela 3.13: Impacto do PCPR sobre o acesso a rede de luz

luz Amostra resultante do matching Modelo 1 Modelo 2 Modelo 3

0,088* Tratamento (0,020)

0,042 Trat*Abast (0,024) 0,400* Trat*Eletrif (0,080) 0,066* Trat*Prod (0,023) 0,054* Trat*Ce*Abast (0,026) -0,010 Trat*Rn*Aabast (0,046) 0,029 Trat*Rn*Prod (0,023) 0,400* Trat*Pi*Eletr (0,080) 0,106* Trat*Pi*Prod (0,035)

0,010 0,010 0,010 Constante (0,013) (0,013) (0,013)

nº de observ. 573 573 573 F (k, n-1) 18,92 10,43 6,87 Prob > F 0,0000 0,0000 0,0000 R-quadrado 0,0285 0,1051 0,1122

Impactos sobre ativos domiciliares

• Impacto positivo sobre ativos, em todos os modelos, inclusive sobre cada tipo de ativo e de projetos analisados separadamente (por volta de 30 coeficientes estimados)

• Nenhum dos coeficientes de impacto no valor total de ativos é estatisticamente significativo; somente alguns dos impactos em tipos específicos de ativos são estatisticamente significativos

Efeito sobre ativos per capita

Amostra resultante do matching ativos totais domiciliares per capita Modelo 1 Modelo 2 Modelo 3

523,789 Tratamento (442,423)

505,380 Trat*abast (446,599) 430,351 Trat*eletrif (448,319) 558,453 Trat*prod (458,631) 602,750 Trat*Ce*abast (447,093) 76,347 Trat*Rn*abast (532,012) 749,101 Trat*Rn*prod (506,935) 430,351 Trat*Pi*eletr (449,109) 353,757 Trat*Pi*prod (448,862)

-480,328 -480,328 -480,328 Constante (434,952) (435,716) (436,483)

nº de observ. 573 573 573 F (k, n-1) 1,400 0,600 1,450 Prob > F 0,237 0,615 0,205 R-quadrado 0,015 0,015 0,019

PCPR reduz incidência de doenças

• Análise das doenças mais comuns: diarréia, verminoses, dengue, hepatite, asma e doença de chagas

• PCPR diminui a incidência do conjunto das doenças e, em especial, sobre ‘hepatite’, ‘asma’ e ‘doença de chagas’

• Resultados indicam pequeno efeito positivo também sobre mortalidade infantil

Efeito sobre incidência de doenças

doenças Diarréia Verminoses Dengue Hepatite Asma Chagas Doenças Tratamento 0,350 0,467 0,022 1,040* 1,229* 1,219* 0,704 (0,592) (0,548) (0,550) (0,534) (0,538) (0,643) (0,512) Nº de obs. 72 72 72 72 71 66 66 Chi2(k) 0,350 0,730 0,000 3,800 5,210 3,600 1,890 P > chi2 0,554 0,394 0,969 0,051 0,023 0,058 0,169 Pseudo R2 0,004 0,007 0,000 0,037 0,048 0,045 0,009

O que o estudo não respondeu

• Este estudo usou o capital físico (ativos) como um indicador da renda. – Comunidades pobres podem consumir grande parte de

aumento na renda, o que não se reflete em aumento de capital.

• Resultados indicam que há probabilidade do impacto na renda ser positivo, mas não são conclusivos. – Para medir impacto na renda é necessário usar dados

de perfil de entrada coletados na época de implementação dos projetos

Capital Social - KS• Objetivo: medir impacto do PCPR na

organização da vida social e instituições locais e as relações entre as comunidades e o Estado

• Medir impacto quantitativamente

• Construção de índices a partir de questões concretas e simples

Como medimos Capital Social• Indices de Capital Social (KS)

– “CONDICIONANTES”– Cognitivo: grau de confiança, solidariedade e

ajuda mútua– Estrutural: formação e engajamento em

associações

– “RESULTANTES”– Participação comunitária: solução conjunta de

assuntos locais– Participação civil: representação e influência

em decisões governamentais

Impactos no Capital Social são maiores na relação entre comunidade e governo local: induz maior transparência pública

e redução de riscos de corrupção.

Conclusões Principais KS– Impacto positivo em capital social em geral,

mas maior em indicadores de envolvimento da comunidade na política pública local

– O PCPR se baseia no capital social existente, transformando o capital social comunitário em ação de controle e participação na esfera de políticas públicas locais

– Assim induz maior controle sobre interferência política e corrupção

Implicações para Políticas Públicas

• Alcance com relação aos serviços de infra-estrutura é alto e abrangente, enquanto impacto na renda ainda baixo

• Alguns Governos Estaduais estão assumindo atender a infra-estrutura básica com recursos do Tesouro (Estadual e/ou Federal)

• Nova Fase – Projetos Desenvolvimento Local : Integração rural-urbana – maioria dos municípios de pequeno porte

• Ênfase em projetos produtivos com alcance de mercado – arranjos produtivos locais como base para os investimentos

Implicações para Políticas Públicas

• Fortalecimento da Integração das políticas nos 3 níveis de governo, utilizando no âmbito local os mecanismos participativos do PCPR: Conselhos Municipais e Territoriais

• Integração Regional através do tratamento das questões ambientais, gerenciamento dos recursos naturais, ampliação da escala , ampliação do acesso aos mercados

• Competitividade, Inovação, Tecnologia – aplicação estratégica

Sugestões para Futuros Estudos

• Um estudo metodologicamente apropriado não é necessariamente difícil de ser implementado e tem um alto poder de produzir resultados úteis e confiáveis;

• Os termos de referência dos estudos de avaliação de impacto devem ser claramente definidos no período de preparação do Projeto, devendo ser anexados ao PAD;

• O perfil de entrada deve ser realizado em até seis meses após a declaração de efetividade do empréstimo; a contratação do perfil deve fazer parte de um pacote de todas as atividades/produtos esperados no estudo de avaliação de impacto;

• Selecionar indicadores de avaliação com clara relação (causa-efeito) com as atividades intencionais do Projeto; evitar a tentação de grande número de indicadores

• MIS deve conter registro das informações associadas com atividades e indicadores, incluindo o perfil das comunidades no momento de entrada no Projeto

Conclusão• Elabore a pergunta certa para o estudo

(olhando em perspectiva o que deseja obter)

• Forneça todas as informações sobre o funcionamento real do programa

• Defina claramente os indicadores que, por experiência dos gestores, são provavelmente afetados pelo programa

• Os resultados serão muito úteis!