avaliação de impacto do programa bolsa...
TRANSCRIPT
Avaliação de Impacto do Programa Bolsa Família: uma proposta preliminar
Trabalho Final do Grupo I Carla Márcia de Lacerda Alves
Dillian Adelaide da Silva Goulart Guilherme Coelho Rabelo
Márcia Regina Gonçalves Muchagata Mônica Vasconcelos Ribeiro
Raimundo Rainero Xavier Sônia Christina Brant Woff
Dezembro de 2005
1
ÍNDICE 1-INTRODUÇÃO ............................................................................................................ 3 2 -METODOLOGIA ........................................................................................................ 9 3- DIAGNÓSTICO ........................................................................................................ 11
3.1 - IDENTIFICAÇÃO DO PROBLEMA CENTRAL............................................ 11 3.2 -IDENTIFICAÇÃO DOS ATORES RELEVANTES E ANÁLISE DE ENVOLVIMENTO .................................................................................................... 18 3.3 -ANÁLISE DAS ALTERNATIVAS PARA A IMPLEMENTAÇÃO DO PROGRAMA ............................................................................................................. 21 3.4 -ANÁLISE DE CONTEXTO E PRESSUPOSTOS - MARCO LÓGICO DO PROGRAMA ............................................................................................................. 22 3.5 -MATRIZ DE PLANEJAMENTO DO PROGRAMA ........................................ 24
4 -O DESENHO DA AVALIAÇÃO.............................................................................. 24 4.1- A IDENTIFICAÇÃO DOS USUÁRIOS ............................................................ 24 4.2- OBJETIVOS E PERIODICIDADE .................................................................... 24 4.3- CRITÉRIOS DE AVALIAÇAO ......................................................................... 25 4.4- INDICADORES E SUAS LINHAS DE BASE.................................................. 25 4.5- MÉTODOS E TÉCNICAS DE AVALIAÇAO .................................................. 25 4.6 - IDENTIFICAÇÃO DOS DADOS QUALITATIVOS NECESSÁRIOS E MEIOS DE VERIFICAÇÃO ..................................................................................... 25 4.7-IDENTIFICAÇAO DOS DADOS QUANTITATIVOS NECESSÁRIOS, SUAS FONTES E MEIOS DE VERIFICAÇÃO, DEFINIÇÃO DE MÉTODOS E PERÍODO DE COLETA DE DADOS, DEFINIÇÇAO DOS MÉTODOS E TÉCNICAS DE ANÁLISE DE DADOS ................................................................... 26 4.8 - DESCRIÇÃO DOS LIMITES E RESTRIÇÕES DA PESQUISA AVALIATIVA ........................................................................................................... 31 4.9- EQUIPES NECESSÁRIAS E ORÇAMENTO................................................... 32
5-DISCUSSÃO E CONCLUSÃO.................................................................................. 34 6-REFERÊNCIAS.......................................................................................................... 37 7 - LEGISLAÇÃO.......................................................................................................... 37
2
1-INTRODUÇÃO
O objetivo da realização do exercício
Este trabalho teve como objetivo simular o processo de formulação, planejamento e
avaliação de uma política social, no âmbito de um processo de formação de gestores
públicos para avaliação de políticas sociais. Construído ao longo do curso, este trabalho
descreve os métodos e resultados do exercício de elaboração de uma avaliação de
impacto do Programa Bolsa Família.
O Programa Bolsa Família foi escolhido por duas razões básicas: é um programa social
prioritário do governo federal, com grande abrangência e enfoque integrado, que dispõe
de uma base de dados importante e que, portanto, apresentas as condições necessárias
para a realização de uma simulação completa. Por outro lado, o PBF é um programa
com o qual alguns membros do grupo têm bom nível de conhecimento e facilidade de
acesso aos documentos e bancos de dados do programa, o que tenderia a facilitar e
contribuir para a qualidade do exercício.
Não se incorporou neste exercício o debate de questões éticas e outras relativas ao
programa Bolsa Família, porque o grupo realizou esta tarefa relacionada a outro
programa, tendo iniciado a avaliação Bolsa Família em momento posterior do curso,
tendo isso ficado acordado com a coordenação do curso.
A avaliação de um programa social
Conforme colocado por Sanders (2003), a avaliação é um processo sistemático de fazer
perguntas sobre o mérito e a relevância de um objeto. A avaliação de programas sociais
é importante para o contínuo processo de planejamento e aperfeiçoamento de políticas,
sendo essencial em um quadro de escassez de recursos e necessidades incrementadas. A
avaliação de um programa social tem a pretensão de comparar um padrão almejado (a
direção para qual se orienta a ação) com a realidade, isto é, o que realmente aconteceu
em decorrência da ação desenvolvida (Cohen e Franco, 1993).
3
Existem diferentes tipos de avaliação, organizadas em função dos objetivos de quem
avalia ou demanda a avaliação, tais como a avaliação de processos, de produtos ou de
qualidade. No caso específico deste exercício optou-se pela realização de uma avaliação
de impacto.
Inicialmente, o grupo pensou em realizar avaliação de resultados do programa, relativa
ao cumprimento das condicionalidades de saúde, tomando como indicador a vacinação,
pela facilidade de obtenção de dados e pela possibilidade de inferir que as crianças que
têm a vacinação em dia poderiam ter também outros aspectos de sua saúde monitorados
pelas equipes de saúde. Contudo, por orientação da professora, Maria das Graças Rua,
que ponderou com o grupo que uma avaliação de impacto seria mais abrangente e mais
viável pelo tempo de implementação do programa. O indicador pesoXidade, registrado
no “Cartão da Criança” e no Sistema de Vigilância Alimentar e Nutricional - SISVAN
poderia oferecer condições de se avaliar o impacto do Bolsa Família na saúde,
considerando que o Bolsa Família não só transfere renda, mas tem duas
condicionalidades agregadas que visam ampliar o acesso dessas famílias à saúde e à
educação. Além disso, tanto o programa Bolsa Família, quanto o anterior Bolsa
Alimentação partem da premissa que as famílias pobres não investem o suficiente em
capital humano e que por meio da transferência monetária passariam a investir mais em
saúde e em educação, a exemplo de programas de outros países como Honduras,
México, Colômbia e Nicarágua. Por todo o exposto, optou-se avaliar o impacto do
Bolsa Família na saúde.
A avaliação de impacto
A avaliação de impacto é provavelmente a mais importante, mas também um dos mais
difíceis tipos de avaliação, já que uma completa avaliação só é possível anos após a
conclusão dos programas/políticas, ainda que vários impactos possam ser mensurados
ao longo da vida do projeto/programa. Outra dificuldade importante é a existência de
várias externalidades que podem interferir no alcance dos objetivos primários visados.
Segundo Cohen e Franco (1993), a avaliação de impacto requer a aplicação de modelos
experimentais ou quasi-experimentais, considerando dois momentos (antes e depois) e
requer também controlar os efeitos não atribuíveis ao projeto. Ela pressupõe que se
4
aceita existência de uma tecnologia de transformação social que seja ótima, isto é, que
existe um modo melhor que outros de produzir as mudanças necessárias.
Neste trabalho procuramos integrar um desenho de avaliação com método quasi-
experimental à adoção de métodos qualitativos.
.
O Programa Bolsa Família
O Bolsa Família é um programa de transferência de renda destinado às famílias em
situação de pobreza, com renda per capita de até R$ 100,00 (cem reias) mensais, que
associa à transferência do benefício financeiro o acesso aos direitos sociais básicos –
saúde, alimentação, educação e assistência social.
O programa foi criado para atender duas finalidades básicas: enfrentar o maior desafio
da sociedade brasileira, que é o de combater a miséria e a exclusão social, e também
promover a emancipação das famílias mais pobres.
O Programa Bolsa Família unificou os programas de transferência de renda
anteriormente existentes – Bolsa Escola, Bolsa Alimentação, Auxílio-Gás e Cartão
Alimentação. A medida proporcionou mais agilidade na liberação do dinheiro a quem
precisa, reduziu burocracias e criou mais facilidade no controle dos recursos, dando
assim mais transparência ao programa.
O recebimento do benefício é vinculado ao cumprimento de compromissos por parte
dos beneficiários nas áreas de saúde, alimentação e educação. Esses compromissos são
também denominados condicionalidades.
A desigualdade social é tema que está em pleno debate na sociedade brasileira e se
caracteriza por não ser um assunto novo. A desigualdade na distribuição e renda é
tendência das últimas décadas, conforme aponta Barros, Henriques e Mendonça (2000).
O Brasil é um dos países com maior nível de desigualdade no mundo, apresentando uma
enorme estabilidade nestes níveis internamente ao país. Ali vemos que desde 1977 até
1999 cerca dos 10% mais ricos apropriam cerca de 50% da renda. Percebe-se, pois, que
este é um problema de difícil equacionamento e solução.
5
O Programa Bolsa Família contribui para reduzir as desigualdades regionais do país.
Em cada dez famílias atendidas pelo Programa no final do ano de 2004, seis estão nas
regiões norte e nordeste. Ao todo, 3,9 milhões de famílias nessas áreas recebem o
benefício. O valor repassado de R$ 346,2 milhões é equivalente a 30,5% do Fundo de
Participação dos Municípios (FPM) no Nordeste e 18,4% no Norte. O impacto
redistributivo das transferências de renda não se limita ao nível das famílias. Nos
municípios de pequeno porte e com parcela significativa de população em situação de
pobreza, o volume de recursos injetados na economia local é extremamente
significativo, sendo em muitos casos superior às transferências do Fundo de
Participação dos Municípios e aos repasses efetuados no âmbito do SUS
Transferências Constitucionais para os Municípios e Transferência de Renda do MDS
TRANSFERÊNCIAS CONSTITUCIONAIS PARA OS MUNICÍPIOS – DEZ/2004
REGIÃO
FPM
(a)
Total das Transf. Constitucionais
(b)
Total dos Progr. de Transferências de Renda (c)
PTR / FPM (c / a)
PTR / Transf. Const.
(c / b)
CENTRO-OESTE 124.278.431,92 207.163.899,50 25.099.760,00 20,2 12,1
NORDESTE 605.995.291,62 973.308.109,54 296.458.859,00 48,9 30,5
NORTE 152.043.102,58 269.699.148,03 49.743.777,00 32,7 18,4
SUDESTE 536.807.479,71 1.135.571.095,03 133.488.626,00 24,9 11,8
SUL 298.219.646,17 496.129.880,93 54.080.779,00 18,1 10,9
Total Geral 1.717.343.952,00 3.081.872.133,03 558.871.801,00 32,5 18,1 Fonte: Ministério do Desenvolvimento Social e Combate à Fome – Dez/2004
Além da visão de que a Desigualdade Social se expressa pela desigualdade de renda, o
programa Bolsa Família entende que a desigualdade social no Brasil também se
expressa pela desigualdade na situação educacional e de saúde em relação a pobres e
ricos. As ditas condicionalidades, que são impostas1 às famílias para que tenham direito
ao benefício, em tese, diminuem as distâncias na qualidade de vida das famílias pobres 1 - As condicionalidades servem para o monitoramento contínuo da população alvo para que, caso seja necessário, haja algum tipo de intervenção no programa ou diretamente na população que não estiver em dia com tais preceitos.
6
na educação e saúde, em relação às famílias mais abastadas. Em Macedo (2000) está
colocado que os Programas de Renda Mínima (uma outra forma de caracterizar o
Programa Bolsa Família com foco na população pobre) “se destacam como eficientes
instrumentos de redistribuição de renda, embora incapazes de combater o estado de
pobreza da população se não estiverem associados a outras iniciativas”.
Assim, em resumo, o Programa Bolsa Família percebe a desigualdade social de forma
coerente com outros programas redistributivos de renda e os ataca basicamente através
de três flancos: a desigualdade de renda, de educação e de saúde, distribuindo renda e
colocando a necessidade de que as famílias atendam a um conjunto de
condicionalidades na educação e na saúde.
Os conselhos de controle social do Programa Bolsa Família são órgãos colegiados de
caráter permanente, com funções de acompanhar, avaliar e fiscalizar a execução da
política de transferência de renda e inclusão social. Sua composição deve ser ampla de
modo a assegurar às suas deliberações a máxima representatividade e legitimidade,
compostos por integrantes das áreas da assistência social, da saúde, da educação, da
segurança alimentar e da criança e do adolescente, quando existentes, sem prejuízo de
outras áreas que o Município julgar conveniente. O número de vagas para as entidades
ou organizações representantes da sociedade e dos beneficiários deve ter representação
de pelo menos a metade do total de participantes dos conselhos. De acordo com o
decreto que regulamenta o Bolsa Família, o conselho pode ser constituído
especificamente para o Programa ou suas funções podem ser desempenhadas por outros
conselhos formalmente constituídos, desde que atendidos os princípios de
intersetorialidade e de composição paritária entre governo e sociedade.
Os beneficiários
Os beneficiários do PBF são famílias com renda familiar mensal per capta de até R$
100,00 (cem reais), distribuídos em dois grupos: extremamente pobres, renda de até R$
50,00 (cinqüenta reais) e pobres, renda de R$ 50,01 a R$ 100,00 (cem reais) per capta.
As famílias extremamente pobres têm direito a um benefício básico cujo valor é de R$
50,00 (cinqüenta reais) e a um benefício variável (R$ 15,00 a R$ 45,00), dependendo do
número de crianças e adolescentes na família ou gestante. Assim, o beneficio a que cada
família tem direito é de no mínimo R$ 15,00 e no máximo R$ 95,00.
7
A maioria dessas famílias é chefiada por mulheres, com baixa escolaridade. Os demais
dados sobre o perfil dos usuários serão melhor detalhados durante a pesquisa com
levantamento no Cadastro Único.
Desenvolvimento e organização do trabalho
Na simulação de formulação do programa, através do desenvolvimento de uma árvore
de problemas e de objetivos de PBF, o grupo resolveu restringir o foco do trabalho à
avaliação de aspectos relacionados ao desenvolvimento nutricional de crianças de 0 a 6
anos. Dados o escopo, abrangência e enfoque integrado do programa, seria por demais
complexo elaborar uma avaliação do seu conjunto.
Este trabalho apresenta então as diversas etapas de formulação e planejamento da
política, com a identificação do problema central e o design das árvores de problemas e
de objetivos do PBF, elenca os atores relevantes, faz uma análise das alternativas
disponíveis, o que culmina com a elaboração do marco lógico do programa. A seguir, é
apresentado o desenho da avaliação com seus objetivos, critérios de avaliação,
indicadores adotados e os métodos quantitativos e qualitativos a serem utilizados.
Aponta também, limites do trabalho proposto e apresenta o orçamento para a proposta
de avaliação. Ao final, é apresentada a discussão e as conclusões gerais deste processo
de elaboração/simulação de planejamento para avaliação deste importante Programa
Social.
8
2 -METODOLOGIA
A metodologia aplicada correspondeu à realização de um diagnóstico do Programa
Bolsa Família seguindo um roteiro previamente planejado, que ao final permitisse
conhecimento acerca do programa e geração de um desenho de avaliação do programa.
O roteiro de diagnóstico e de criação do plano de avaliação foi baseado em Rua (2005).
É importante ressaltar que diversas etapas da realização do diagnóstico envolvem
procedimentos pertinentes com a implementação de um programa, e que,
eventualmente, possam já ter sido desenvolvidos no âmbito do programa em questão. A
realização desses procedimentos teve como objetivo a construção do desenho de
avaliação.
Roteiro para a realização do Diagnóstico
• Identificação do problema central
• Criação de uma Árvore de Problemas
• Criação de uma Árvore de Objetivos
• Identificação dos atores relevantes e Análise de envolvimento
• Análise das Alternativas para a implementação do programa
• Análise de contexto e pressupostos, também denominado de Marco Lógico do
programa
• Criação da Matriz de Planejamento do Programa
• Definição dos indicadores e linha de base
Roteiro para o desenho da avaliação
• Identificação dos usuários
• Definição dos Objetivos e Periodicidade
• Definição dos Critérios de avaliação
• Definição dos Indicadores e suas linhas de base
• Definição dos Métodos e técnicas para a avaliação
9
• Identificação dos Dados Qualitativos necessários, suas fontes e meios de
verificação
• Identificação dos Dados Quantitativos necessários, suas fontes e meios de
verificação
• Definição dos Métodos e período de coleta de dados
• Definição dos Métodos e técnicas de análise de dados
• Descrição dos Limites e restrições da pesquisa avaliativa
• Descrição das equipes necessárias e orçamento
10
3- DIAGNÓSTICO
3.1 - IDENTIFICAÇÃO DO PROBLEMA CENTRAL
Após a realização de reuniões técnicas e análise documental, definiu-se/identificou-se
que o problema central abordado pelo Programa Bolsa Família era o elevado número de
famílias no Brasil excluídas do produto social2, conforme está explicitado na árvore de
problemas apresentada nas Figuras 1, 2 e 3. Foram identificados três problemas
possíveis causadores dessa exclusão, que são o baixo acesso aos serviços de saúde, a
descontinuidade da escolarização (ou abandono escolar) e a baixa renda. O
programa Bolsa Família atua principalmente na questão da renda, transferindo renda
monetária para os beneficiários, e atua de forma complementar em outros aspectos, com
as ações de condicionalidade na educação e na saúde. As figuras 1, 2 e 3 trazem a
árvore de problemas e as figuras 4, 5 e 6 trazem as árvores de objetivos. A título de
esclarecimento, as árvores são construídas segundo a hipótese de que os componentes
de baixo são causadores dos componentes mais acima, até o limite do problema
principal. A partir do problema principal para cima, temos os ramos da árvore, que são
os impactos resultados dos problemas ou dos objetivos. Em alguns casos temos
componentes circulares, que se afetam simultaneamente. Na árvore porém, supõe-se
uma relação causal uni-direcional.
2 Produto Social – geração de produtos para a sociedade com percepção de remuneração por esta atividade.
11
Figura 1 – Arvore de problemas (Parte 1)
12
Figura 2 – Arvore de problemas (Parte 2)
13
Figura 3 – Arvore de problemas (Parte 3)
14
Figura 4 – Arvore de objetivos (Parte 1)
15
Figura 5 – Arvore de objetivos (Parte 2)
16
Figura 6 – Arvore de objetivos (Parte 3)
17
3.2 -IDENTIFICAÇÃO DOS ATORES RELEVANTES E ANÁLISE DE ENVOLVIMENTO O Programa Bolsa Família é gerido por um Conselho Gestor – CGPBF, composto pelos
seguintes órgãos: Ministério do Desenvolvimento Social e Combate à Fome; Ministério
da Educação; Ministério da Saúde; Ministério do Planejamento, Orçamento e Gestão;
Minstério da Fazenda; Casa Civil da Presidência da República e Caixa Econômica
Federal.
O Ministério do Desenvolvimento Social e Combate à Fome é o coordenador do Comitê
Executivo do CGPBF, e a Secretaria Executiva do PBF é a Secretaria Nacional de
Renda de Cidadania – SENARC, responsável pela coordenação e execução geral do
programa.
Os ministérios da Saúde e da Educação são responsáveis respectivamente pelo
acompanhamento do cumprimento das condicionalidades de saúde e educação do PBF.
O PBF adota um modelo descentralizado de gestão onde há responsabilidades
compartilhadas entre a União, estados e municípios. O governo federal é responsável
pelo pagamento dos benefícios, por buscar suprir as deficiências na oferta de serviços
sociais aos entes federados, pelo acompanhamento das condicionalidades, e
monitoramento e avaliação do programa. Os estados promovem principalmente
articulações para assegurar o caráter interinstitucional do PBF e apoio aos municípios,
que são os principais gestores do programa junto às famílias. Suas principais atribuições
são cadastrar e selecionar as famílias beneficiárias, articular as instituições afetas ao
programa; assegurar a oferta de serviços essenciais de saúde, educação,
acompanhamento alimentar e nutricional para viabilizar o cumprimento de
condicionalidades e atender os beneficiários.
Há ainda outros atores que têm envolvimento importante com o programa por
participarem de seu financiamento, fiscalização, controle social ou por serem seus
usuários, principais interessados. A planilha a seguir explicita a análise de envolvimento
dos principais atores do PBF.
18
Análise de Envolvimento (Parte I)
Principais atores do PBF ENTIDADE FUNÇÃO/ATIVIDADE POTENCIAIS
Ministério do Desenvolvimento Social e Combate à Fome - MDS
Gestor do PBF Decisão Política
Secretaria Nacional de Renda de Cidadania – SENARC/MDS
Coordenação da execução do Programa – operacionalização e articulação política
Boa articulação com Estados, Municípios e Ministérios
Secretaria de Planejamento Orçamento e Administração – SPOA/MDS
Liberação dos recursos disponibilizados ao PBF Tempestividade na liberação dos
recursos Consultoria Jurídica –CONJUR/MDS
Avaliação e aprovação da regulação dos atos normativos do PBF
Boa articulação com a SENARC e comprometimento com o PBF
Secretaria de Avaliação e Gestão da Informação - SAGI/MDS
Avaliação e monitoramento da gestão do PBF Apoio na definição dos rumos do PBF
Ministério da Saúde - MS Controle e Monitoramento do cumprimento das condicionalidades de saúde
Existência prévia de sistemas de acompanhamento das condicionalidades
Ministério da Educação Controle e Monitoramento do cumprimento das condicionalidades
Existência prévia de sistemas de acompanhamento das condicionalidades
Agente operador Caixa Econômica Federal - CAIXA
Responsável pelo sistema de cadastro único e pela folha de pagamento dos beneficiários Experiência em programas sociais
Estados
Apoio técnico-institucional aos municípios do respectivo Estado; Promoção de ações de sensibilização e articulação com os gestores municipais do Estado. Maior articulação com os municípios
Municípios
Gestão local do programa (cadastro e operacionalização), oferta dos serviços de saúde e educação e controle das condicionalidades
Contato mais próximo com os beneficiários
Casa Civil Define prioridades da ação governamental e realiza as articulações interministeriais
Ministério da Fazenda Controle da liberação de recursos
Ministério do Planejamento Definição do montante dos recursos e monitoramento e avaliação do Programa
Tribunal de Contas da União Monitoramento e avaliação do programa
Organismos Internacionais liberação de empréstimos e avaliação e monitoramento do programa
Instâncias de Controle Social Controle social do PBF Entidades de representação das áreas de saúde, educação e assistência social
Participa da definição de diretrizes e apóia a implementação do PBF
Beneficiários Cumprimento das condicionalidades; atualização cadastral e participação dos programas complementares.
19
Análise de Envolvimento (Parte II)
Principais atores do PBF (Parte II)
ENTIDADE INTERESSES TEMORES
Ministério do Desenvolvimento Social e Combate à Fome - MDS Promoção da inclusão social das
famílias beneficiárias do PBF
Acontecimentos internacionais que afetem a economia e inviabilizem sua continuidade
Secretaria Nacional de Renda de Cidadania – SENARC/MDS Alcance da meta do programa Descontinuidade do Programa Secretaria de Planejamento Orçamento e Administração – SPOA/MDS
Execução dos recursos destinados ao PBF
Consultoria Jurídica –CONJUR/MDS Secretaria de Avaliação e Gestão da Informação - SAGI/MDS
Acompanhar e avaliar a gestão do PBF
Ministério da Saúde - MS Ampliar a cobertura de acompanhamento nutricional da população (crianças de 0 a 6 anos)
Sáude é direito, não deveria ser tratada como condicionalidade do PBF
Ministério da Educação Utilização dos dados da freqüência escolar para outras ações
Do foco ficar na quantidade de crianças e adolescentes na escola e não na qualidade do ensino
Caixa Econômica Federal - CAIXA
Maior visibilidade nacional a partir da parceria com um dos principais programas do governo federal Maior projeção política no cenário nacional Estados Desenvolvimento socioeconômico dos municípios Descontinuidade do Programa
Municípios Projeção política; melhoria do desenvolvimento local. Descontinuidade do Programa
Casa Civil Desenvolvimento socioeconômico do país e projeção política do atual governo
Ministério da Fazenda Ministério do Planejamento
Tribunal de Contas da União
Garantir a sociedade a correta e regular aplicação dos recursos públicos, segundo os princípios da legalidade, impessoalidade, moralidade, publicidade e eficiência
Organismos Internacionais Redução de problemas sociais no mundo
Instâncias de Controle Social Entidades de representação das áreas de saúde, educação e assistência social
Melhoria da capacitação dos profissionais, da qualidade da oferta dos serviços.
Beneficiários Melhoria da qualidade de vida
Extinção ou sua exclusão do programa sem ter conseguido sua emancipação
20
3.3 -ANÁLISE DAS ALTERNATIVAS PARA A IMPLEMENTAÇÃO DO PROGRAMA
Na análise das alternativas para a implementação do programa, segundo os problemas e
objetivos levantados na metodologia da construção das árvores de problemas e
objetivos, as alternativas de ação são pontuadas segundo um critério ordenado (1=Baixa
viabilidade, 2=Média viabilidade e 3=Alta viabilidade).
Este estudo simulou uma análise de alternativas, caso o programa ainda necessitasse
desta definição e, ao final, a alternativa de implementação do programa culminou na
alternativa da atuação na renda das famílias. Porém para efeito da avaliação de impacto
optou-se pela questão saúde, por já ter sido constatado por outros programas de
transferência de renda que o investimento no capital humano por parte das famílias
relaciona-se à renda, conforme abordado na introdução desta proposta. O Quadro 1 traz
a Análise das alternativas.
Quadro 1 – Análise das alternativas
Alternativa/Critério Renda Saúde Escolarização Enfoque Integrado
Viabilidade Financeira 3 2 2 1
Impacto Político 3 2 2 3
Horizonte Temporal 3 1 1 1
Complementariedade com outros projetos 1 2 3 3
Pontos 10 7 8 8
Classificação 1º 3º 2º 2º Notas (1) Escala de valores: 1=Baixa viabilidade, 2=Média Viabilidade, 3=Alta viabilidade (2) Horizonte temporal de 1 (um) ano
21
3.4 -ANÁLISE DE CONTEXTO E PRESSUPOSTOS - MARCO LÓGICO DO PROGRAMA
Quadro 2
INDICADORES NÍVEL DE INTERVENÇÃO
ESTRATÉGIA
METAS MEDIDAS
MEIOS DE VERIFICAÇÃO
PRESSUPOSTOS
OBJETIVO SUPERIOR / FINALIDADE ÚLTIMA
Melhoria do estado nutricional de crianças (0 a 6 anos)
100 % das crianças de 0 a 6
anos beneficiárias do PBF
Peso/idade
Sistema de Vigilância Alimentar e Nutricional (SISVAN)
Acompanhamento regular do
crescimento e desenvolvimento
infantil com anotação no cartão
da criança
OBJETIVO DO PROJETO
Famílias com renda adequada para subsistência
11,2 milhões de famílias até dez/2006
Número de famílias
recebendo o benefício
Folha de pagamento do Programa em comparação com o Cadastro Único e estimativa de famílias pobres - PNAD
Manutenção do pacto político
Distribuir renda através do Programa Bolsa Família - definição do PBF como prioridade Política
Programa definido como prioridade no PPA
Dados do PPA Relatórios de Gestão
Não – contingenciamento de recursos do Programa
Dotação orçamentária
Programa definido como prioridade no PPA
Dados do PPA Prestação anual de contas
Estabilidade econômica do país
Pactuação do Programa com entes federados e áreas de governo envolvidas
Termos de adesão assinados com metas / portarias interministeriais assinadas
Mecanismos de acompanhamento implementados e gerando dados
Termos e planos de metas / relatórios de acompanhamento dos sistemas e bases de dados
Manutenção dos pactos com entes federados e com áreas de governo envolvidas
RESULTADOS
Estabelecimento do plano operacional do Programa
Portarias assinadas e sistemas de gestão implementados (cadastro, folha de pagamento, sistemas de monitoramento de condicionalidades
Sistemas de gestão implementados e gerando dados
Relatórios de auditoria dos sistemas e bases de dados
Manutenção de contratos com terceirizados
22
Quadro 3
RESULTADOS Distribuir renda através do Programa Bolsa Família - definição do PBF como prioridade Política
Dotação orçamentária
Pactuação do Programa com entes federados e áreas de governo envolvidas
Estabelecimento do plano operacional do Programa
23
3.5 - PLANEJAMENTO DO PROGRAMA
Em articulação com três esferas de governo envolvidas, congresso e sociedade civil definir os marcos legais para operacionalização do programa, definir fontes orçamentárias, critérios para inclusão de beneficiários, procedimentos para acesso ao programa, parâmetros para o estabelecimentos dos valores do benefício, estabelecer condicionalidades a serem acompanhas, mecanismos de controle interno e social; Elaborar e implementar o Cadastro Único; Organizar de ações de capacitação para operacionalização do programa em nível
municipal para gestores municipais, diretores de escola e unidades de saúde; Estabelecer mecanismos para a geração de folhas de pagamento e pagamento de
benefícios; Elaborar e implementar mecanismos e indicadores para o controle de
condicionalidades nas áreas de saúde e educação; Regulamentar mecanismos de controle social; Instalar/adequar os conselhos de controle social do Programa Bolsa Família; Capacitar agentes envolvidos com o controle social; Implementar sistema de monitoramento do programa; Implementar mecanismos de fiscalização e apuração de denúncias,
estabelecendo métodos, critérios e padrões técnicos. Estabelecer regras de sanção em caso do não cumprimento das
condicionalidades; Implementar campanhas de utilidade pública para divulgação do programa, dos
critérios para inclusão de beneficiários e das formas de acesso ao mesmo.
4 -O DESENHO DA AVALIAÇÃO
4.1- A IDENTIFICAÇÃO DOS USUÁRIOS Os usuários são os gestores do programa Bolsa Família. Os gestores participam da
definição de diretrizes e dos processos de implementação desde o cadastramento das
famílias até a oferta dos serviços de saúde, no caso dos gestores municipais. Já os
gestores federais são os grandes responsáveis pela definição de diretrizes.
A avaliação servirá de base para verificar o quanto o programa está contribuindo para a
melhoria das condições de saúde das famílias beneficiárias, podendo fornecer indícios
de necessidade de mudança de estratégias, caso o impacto não seja positivo.
4.2- OBJETIVOS E PERIODICIDADE A avaliação tem como objetivo averiguar as necessidades de intervenção e identificar
quais os ajustes para melhorar a obtenção dos resultados esperados pelos gestores do
Programa Bolsa Família. A avaliação será semestral e tem como proposta avaliar o
24
impacto do programa Bolsa Família na Saúde, mais especificamente com relação às
crianças de 0 a 6 anos de idade.
4.3- CRITÉRIOS DE AVALIAÇAO
O critério de avaliação será o da efetividade, que permite avaliar os resultados
permanentes produzidos pelas ações do programa e os seus efeitos colaterais e
externalidades negativas. Na avaliação proposta, pretende-se avaliar a contribuição do
Programa Bolsa Família para a melhoria das condições de saúde das crianças de 0 a 6
anos atendidas pelo programa, verificando os registros no SISVAN e a percepção das
famílias quanto a esse resultado.
4.4- INDICADORES E SUAS LINHAS DE BASE
Pesquisa quantitativa
Indicadores para medir o impacto - Peso versus idade de crianças de 0 a 6 anos,
verificados no Sistema de Vigilância Alimentar e Nutricional – SISVAN.
Linha de base -Indicadores medidos no último ano de vigência do Programa Bolsa
Alimentação (dados disponíveis na internet (SISVAN) em textos analíticos e planilhas
com resultados).
4.5- MÉTODOS E TÉCNICAS DE AVALIAÇAO
A proposta é avaliar o impacto do programa Bolsa Família na Saúde, mais
especificamente com relação às crianças de 0 a 6 anos de idade. A pesquisa quantitativa
será feita por meio da verificação da relação peso X idade, registrado no Sistema de
Vigilância Alimentar e Nutricional - SISVAN; e a pesquisa qualitativa, com aplicação
de questionários e entrevistas com vinte grupos focais, nas cinco regiões geográficas do
país, área urbana e rural.
Pesquisas quantitativa e qualitativa, sendo a quantitativa uma avaliação de impacto, com
delineamento quase-experimental, com a comparação das medidas em dois tempos de
coleta. A pesquisa qualitativa será do tipo Grupo Focal.
4.6 - IDENTIFICAÇÃO DOS DADOS QUALITATIVOS NECESSÁRIOS E MEIOS DE VERIFICAÇÃO
Aplicação de questionários e entrevistas com vinte grupos focais, nas cinco regiões
geográficas do país, área urbana e rural.
25
4.7-IDENTIFICAÇAO DOS DADOS QUANTITATIVOS NECESSÁRIOS, SUAS FONTES E MEIOS DE VERIFICAÇÃO, DEFINIÇÃO DE MÉTODOS E PERÍODO DE COLETA DE DADOS, DEFINIÇÇAO DOS MÉTODOS E TÉCNICAS DE ANÁLISE DE DADOS Comentários iniciais Para a definição dos métodos e técnicas de avaliação, métodos e período de coleta de
dados e métodos e técnicas de análise de dados que devem ser aplicados, foi necessária
a realização de um diagnóstico do funcionamento do programa, tal qual foi descrito
anteriormente.
Um importante aspecto do diagnóstico realizado emergiu da construção das árvores de
problemas e de soluções, decidindo-se avaliar o impacto do programa no
desenvolvimento das crianças até os seis anos de idade, mais especificamente, o
impacto no desenvolvimento do peso para a idade das crianças em famílias que
participam do programa. A partir da tabela de decisão, optou-se também por utilizar o
critério da renda como alvo de ação do programa perante o público beneficiário, caso
estivessem participando do programa desde a implementação. Esta foi também a
estratégia adotada pelo Governo Federal e deve estar sempre permeando todo o
processo de avaliação.
Os métodos e técnicas de avaliação são variados e estão descritos, dentre outros autores,
por Cohen & Franco (1993) e Rua (2005), incluindo suas tipologias. As tipologias das
avaliações diferem, inclusive, em função dos organismos que empregam a avaliação
rotineiramente. Neste estudo, as tipologias serão baseadas nos dois autores citados e de
acordo com a conveniência.
A avaliação de impacto
A avaliação de impacto, foco do presente estudo, “procura determinar em que medida o
projeto alcança seus objetivos e quais são seus efeitos secundários (previstos e não
previstos)” (Cohen & Franco; 1993). Apesar de se tratar de uma avaliação de impacto, o
interesse primordial é verificar os efeitos mais diretamente relacionados com os
objetivos do programa. Optou-se por verificar se as crianças de 0 a 6 anos de idade
pertencentes às famílias que participam do programa estão auferindo mais saúde do que
as que não participam.
26
Para a realização de avaliação, optou-se pelas abordagens quantitativa e qualitativa, esta
segunda atuando de forma complementar. A abordagem quantitativa será utilizada para
verificar os efeitos mensuráveis diretamente a partir de variáveis coletadas e disponíveis
sobre a saúde das crianças. A técnica é quantitativa, pois irá se basear em uma variável
resposta 3 (peso versus idade) bem como se valerá da seleção de amostras aleatórias de
indivíduos, tanto daqueles que participam do programa quanto daqueles que não
participam. Seu objetivo, pois, será testar a hipótese estatística da inexistência de
diferenças na saúde das crianças dos dois grupos (esta hipótese é tecnicamente
denominada de hipótese nula). Havendo evidências da diferença, será possível dizer que
o programa produz impacto nos beneficiários.
A técnica qualitativa por sua vez será aplicada com a intenção de aprofundar a análise
dos resultados da pesquisa quantitativa bem como outros aspectos não captados pela
primeira. A técnica irá se valer da METODOLOGIA dos grupos focais, procurando
aprofundar o entendimento dos resultados, negativos ou positivos, após o resultado da
análise quantitativa. Dentre outros resultados, pretende-se captar a percepção do
beneficiário sobre a melhoria na saúde das crianças atribuída ao Programa Bolsa
Família, por meio da aplicação de questionários e realização de entrevistas em vinte
grupos focais, distribuídos nas cinco regiões geográficas do Brasil. Cada grupo focal
será constituído por 12 famílias.
A pesquisa quantitativa prevê uma amostragem de cem municípios representativos das
cinco regiões geográficas do país, selecionados de acordo o quantitativo de famílias
pobres e beneficias pelo PBF, dividas em quatro grupos: região metropolitana; cidade
de porte médio; cidade de pequeno porte; e área rural.
Para tanto, serão necessários um coordenador geral e um coordenador para a pesquisa
quantitativa e outro para a qualitativa. Além disso, este trabalho irá requerer a
contratação de oito técnicos e quatro estagiários, sendo cinco para a pesquisa qualitativa
e três para a quantitativa. O tempo estimado para conclusão das duas pesquisas é de seis
meses.
3 Variável resposta é a variável observada nos indivíduos e que pode estar sendo afetada ou causada pelas ações do programa, sendo também denominada de variável independente.
27
Os efeitos ao longo do tempo
A percepção para o grupo é que a participação no programa Bolsa Família, caso
produza efeitos, não é possível percebê-los em um curto espaço de tempo. Assim optou-
se por realizar duas medidas, com o intervalo de 1 (um) ano entre elas.
A coleta dos dados
Para a realização do estudo, foram avaliadas duas possibilidades. Uma delas foi a
realização de uma pesquisa de campo, para coletar as medidas de interesse na população
alvo. Uma pesquisa que exige este tipo de coleta de dados está sendo levada a efeito
pelo Ministério do Desenvolvimento Social e Combate à Fome, e envolve uma
complexidade elevada e alto custo de execução. Uma outra opção, mais simples, mas
que também pode revelar resultados interessantes, é a utilização de bases de dados
existentes para realizar a coleta as informações. A base de dados do Ministério da
Saúde, o SISVAN, possui dados antropométricos de todas as crianças de famílias de
baixa renda no país e que freqüentam os postos de saúde. Essas crianças são
potencialmente o público alvo do programa Bolsa Família. Espera-se pois, descobrir
nesta base de dados os dois grupos de interesse (grupo de controle e grupo de
tratamento), com o interessante fato do sistema SISVAN ter registros de 1 (um) ano
atrás da população de crianças. Assim, a partir da união da base de dados do SISVAN
com a base de dados do Programa Bolsa Família, será possível obter duas medidas para
os grupos controle e tratamento e assim verificar o impacto do programa, ao longo de
um ano, sem a necessidade de realizar uma pesquisa de campo. Apesar de
aparentemente simples, a complexidade também está presente em todas as etapas da
opção escolhida e que precisam ser detalhadas.
O estudo quasi-experimental
Na análise de impacto, o objetivo é tentar identificar efeitos na população de
beneficiários que possam ser atribuídos à aplicação do programa. Em estudos de
laboratório, são usados os ditos experimentos controlados, onde dois grupos com
características semelhantes (as que são possíveis de controlar) participam do
experimento, um grupo de controle e um grupo experimental. Existem muitas formas de
definir os grupos de controle e experimental (ou tratamento), como por exemplo, a
28
aleatorização no momento de definir quem receberá o tratamento. Na área da pesquisa
social, médica e outras, questões éticas impedem a aplicação de técnicas experimentais
puras. Assim, opta-se pela metodologia quasi-experimental. Na metodologia quasi-
experimental, também são definidos dois grupos, um de controle e um de tratamento. A
diferença é que a divisão dos grupos não é artificial. São, pois, escolhidos dentre a
população alvo, pessoa/famílias que se encaixem em um dos dois grupos. É
extremamente importante que seja analisada a viabilidade de se obterem os dois grupos.
No caso do programa Bolsa Família, se sabe que existem pessoas que atendem aos
critérios de entrada no programa (estão cadastradas no Cadastro Único do Governo
Federal) e que não estão sendo beneficiadas pelo programa, por diversas razões. Assim
espera-se uma alta possibilidade de conseguir obter os dois grupos para a realização do
estudo.
O plano amostral
O plano amostral descreve todas as etapas que dizem respeito à seleção da amostra. O
desenho proposto, qual seja, uma avaliação quasi-experimental com dois grupos,
controle e tratamento, exige um método específico para o cálculo do tamanho da
amostra. Este método irá procurar garantir com certo grau de probabilidade que caso
hajam diferenças nos resultados entre os dois grupos, estas sejam identificadas ao final
do estudo.
Em relação a estratificação da amostra, não se quer investigar o funcionamento
diferente do programa entre estados e regiões. Assim, a amostra será nacional e
produzirá resultados para análise também em nível nacional.
A população de referência é composta pelos beneficiários do Programa Bolsa Família,
acrescido do grupo de controle, que são os potenciais beneficiários que não estão
recebendo o benefício. Mais especificamente, a população alvo do estudo são os
beneficiários e não beneficiários do programa que possuíam registro na base de dados
SISVAN do Ministério da Saúde à um ano atrás. Espera-se que hoje ume certa
quantidade de indivíduos tenham saído deste cadastro, por uma série de razões e tais
“perdas” devem ser previstas no estudo.
29
Os grupos controle e tratamento
Um aspecto chave é a identificação dos grupos de controle e de tratamento. Espera-se
ser possível encontrar estes dois grupos na base de dados do SISVAN, pois se sabe que
existem potenciais beneficiários do programa que ainda não estão sendo atendidos. O
método consiste em realizar um pareamento entre a base de dados do SISVAN de um
ano atrás até a última atualização disponível com a base da folha de pagamentos do
Programa Bolsa Família, mês a mês. Os indivíduos que até a presente data não estejam
no programa Bolsa Família formarão o grupo controle. Os indivíduos da base SISVAN
que em algum momento passaram a participar do programa, comporão o grupo de
tratamento. È importante definir o “tempo de exposição” desejado. Para o presente
estudo define-se um tempo de exposição de no mínimo seis meses. Deve também ser
previsto a possibilidade de pessoas do grupo controle “migrarem” do grupo controle
para tratamento ao longo do processo.
Um importante aspecto é garantir que os grupos controle e tratamento sejam
estatisticamente equivalentes, o que significa que a exceção da participação no
programa, eles possuam a mesma distribuição internamente ao grupo em relação a
qualquer outra variável. Este aspecto é delicado, pois como não houve um processo de
aleatorização, deve ser utilizado algum procedimento que tente garantir o máximo
possível de semelhança entre os grupos. Uma opção para isto é buscar um grupo de
pessoas que tenham ingressado no SISVAN em uma mesma janela de tempo, em todo o
Brasil, e que possuam um certa quantidade comum de características que já estejam
mensuradas neste sistema, como sexo, idade, nível de escolaridade, renda, etc.
Definidos estes grupos, as amostras aleatórias podem ser selecionadas.
A viabilidade da análise quantitativa
Será essencial incorporar no estudo uma fase de prospecção das bases de dados do
SISVAN e da Folha de Pagamentos do Programa Bolsa Família, para avaliar a
viabilidade de utilização das bases. Em ultima instância poderá ser necessário planejar
uma pesquisa de campo para obter os grupos.
30
4.8 - DESCRIÇÃO DOS LIMITES E RESTRIÇÕES DA PESQUISA AVALIATIVA O desenho proposto para esta avaliação apresenta alguns limites. Em primeiro lugar
deve-se considerar que o enfoque integrado do Bolsa Família busca justamente criar
condições para que haja uma sinergia entre as ações de transferência de renda, saúde,
alimentação e educação. Ao avaliarmos os impactos do programa na melhoria das
condições nutricionais das crianças utilizando dados e indicadores oriundos do SISVAN
estamos, de certa forma, descartando o impacto de outras ações do programa (educação
e saúde, por exemplo) na geração destes resultados.
O trabalho de avaliação de impacto será bastante facilitado pela existência de dados das
famílias e suas crianças no SISVAN, fazendo com que não seja necessário o oneroso
trabalho de ida a campo, o que será feito apenas para a realização de grupos focais. No
entanto, deve-se ressaltar que um dos limites para o trabalho residirá justamente na
confiabilidade dos dados armazenados no sistema.
Poderia-se argumentar que uma das limitações do trabalho proposto é o tempo ainda
curto de implementação do PBF, que tem menos de dois anos de criação. Neste caso a
hipótese seria que, em função deste curto período de implementação, seus impactos não
seriam ainda perceptíveis.
Diversos impactos são esperados do Programa Bolsa Família, que dizem respeito
principalmente a questões de nutrição, saúde e educação, mas pode-se supor também a
ocorrência de outros de impactos indiretos como, por exemplo, na economia local de
regiões pobres. Com mais recursos para a compra de alimentos a população carente
poderia dinamizar os comércios locais, gerando renda e novas ocupações. Cada tipo de
impacto esperado tem um tempo de maturação e a mensuração de cada um deles requer
distintas ações de monitoramento e avaliação, cada qual com periodicidade e época de
medição de indicadores diferenciados. Os indicadores relativos à nutrição estão entre os
primeiros esperados, já que a melhoria na quantidade e qualidade da alimentação terão
reflexo quase que imediato no ganho de peso de crianças de 0 a 6 anos, principalmente
naquelas que encontram-se desnutridas. É claro que, à medida que o tempo de
implementação do programa avança as medidas vão sendo refinadas, e a confirmação
(ou não) dos impactos esperados vai sendo consolidada.
31
4.9- EQUIPES NECESSÁRIAS E ORÇAMENTO
A equipe de elaboração da pesquisa será constituída de 1 coordenador geral, com título
de doutorado; dois coordenadores para as pesquisas qualitativa e quantitativa; oito
técnicos, distribuídos em dois grupos, um com cinco pessoas para a pesquisa qualitativa
e outro com três para a pesquisa quantitativa; além de quatro estagiários que auxiliarão
em todo o trabalho e uma pessoa de nível médio para secretariar o grupo.
Para a realização da pesquisa qualitativa e solução de algumas questões que porventura
surgirão com relação à pesquisa quantitativa, foram orçados, também, passagens, diárias
e combustível. Para deslocamento das capitais para as cidades do interior será utilizado
o carro da Conab sem custo adicional, sendo necessário apenas combustível. Verificou-
se o custo de material de consumo, informática e outros, conforme planilha
orçamentária abaixo.
32
Planejamento Orçamentário CUSTOS
OUTROS CUSTEIOS Unidade Qtde. Unitário TOTAL VIAGENS diarias 10x21 diasxR$123,00/ 10 x 4 x 123 diária 250 123 30.750Passagens aéreas: Trecho: Brasilia - Recife - Brasilia Passagem 2 1.472 2.944 Trecho: Brasilia - Rio - Brasilia Passagem 2 843 1.686 Trecho: Brasilia - Belem - Brasilia Passagem 2 1.634 3.268 Trecho: Brasilia Curitiba - Brasilia Passagem 2 1.240 2.480Consultoria Nacional Consultor 1 8.161 8.161
MATERIAL DE CONSUMO Combustível (1143l de gasolina) – 8000 Km/ veículo Combustivel 1.143 2,45 2.800,35Combustível (2000l de diesel) – 16000 Km/ veículo Combustivel 2.000 1,55 3.100,00Pilhas recarregáveis tamanho C Pilhas 24 45 1.080
Material de escritório e de Informática Cartucho para impressora (2 impressoras) Cartucho 12 140 1.680CD-R W para backup 25/unid 5 50 250DVD-R para backup 25/unid 5 150 750DVD-R W para backup 25/unid 2 375 750Papel de plotter (1m x 1.40m) para confecção de mapas (11 regiões) Rolo 1 1.870 1.870Papel Gloss Paper A4 Caixa 3 100 300Papel Grosso (Capa) A4 Caixa 2 15 30Resma de Papel Sulfito A3 Resma 3 27,4 82,2Resma de Papel Sulfito A4 Resma 9 13,46 121,14
ST – PESSOA FÍSICA Coordenador Geral / Doutorado (6 meses) Salário 1 13.042 78.250Coordenador Qualitativo / Mestrado (6 meses) Salário 1 7.364,80 44.188,80Coordenador Quantitativo / Mestrado (6 meses) Salário 1 7.364,80 44.188,80Técnicos / Nível Superior (6 meses) Salário 8 3.057,60 146.764,80Auxiliar Administrativo / Nível médio (6 meses) Salário 1 1.100 6.600Estagiários (4 estagiários a R$ 480.00/ mês, durante 6 meses) Bolsa 4 2.880 11.520
ST – PESSOA JURÍDICA Aluguel de mesas – cadeiras para os estagiários (R$ 65/ mês) Mesas 4 390 1.560Aluguel de Computadores (R$ 500/ mês) Desk Top 2 3.000 6.000Aluguel de impressora Jato de Tinta A3 (R$ 180/ mês) Impressora 2 1.080 2.160Aquisição de Placas Gráficas Placa 2 378 756Manutenção de Base de Dados em GIS Mes 6 1.687,50 10.125Manutenção de Computadores de Mesa Computador 6 671 4.026Reposição de HD de 120 GB Disco 2 590 1.180Reposição de Mboard P4 5800 ASUS Placa 2 980 1.960Reposição de Processadores P4 (+) refrigeração Processador 2 1.257,90 2.515,80Serviço de Correio (Envio de Formulários) Caixa 33 50 1.650Serviços telefônicos mensais a serviço, durante seis meses Mesas 6 375 2.250Serviços de apoio técnico-administrativos Mes 6 3.306,81 19.840,86
TOTAL GERAL 447.647,75
33
5-DISCUSSÃO E CONCLUSÃO Com este trabalho o grupo vivenciou diversas das experiências e dificuldades
encontradas na elaboração, planejamento e avaliação de uma política social e nesse
sentido os objetivos do trabalho e logo do curso de aperfeiçoamento em avaliação de
programas sociais podem ser considerados alcançados.
O programa escolhido tem uma racionalidade clara e seus documentos expressam muito
bem seus objetivos e metas. Existe ainda uma clara preocupação com o monitoramento
e avaliação do mesmo, tanto por parte do MDS quanto dos seus parceiros na esfera
federal, e a existência de bancos de dados sobre o programa facilita sobremaneira as
tarefas. No entanto, por ser um programa integrado, envolvendo não só a transferência
de renda, mas também as condicionalidades nas áreas de nutrição, saúde e educação,
gerido de maneira descentralizada por várias agências de entes federados de todas as
esferas, o PBF é um programa difícil de ser caracterizado. Sua complexidade se
apresenta tanto no que se relaciona à identificação do problema central tratado pela
política quanto no que refere ao planejamento e implementação.
A reflexão em torno de como realizar uma avaliação do PBF revela, portanto uma
plêiade de necessidades e possibilidades. Os debates do grupo demonstram a
dificuldade de concertação entre diferentes atores, com distintas competências e visões
sobre o que deve ser prioritário na execução do programa. Presentes no grupo
gestores/técnicos de diversos ministérios e técnicos da área de monitoramento e
avaliação percebe-se claramente o que é apontado por Weiss (1997) como conflito de
papéis, comumente existente entre avaliadores e practitioners, que interpretam
diferentemente o programa e o que merece mais ou menos atenção.
Se o desenho de uma avaliação que aborde todos os aspectos de um programa, por mais
simples que seja, é na realidade quase impossível, a avaliação do Bolsa Família só pode
ser feita por meio de meta-análise, isto é, a sistematização de diferentes tipos de
avaliação de um mesmo programa para se identificar o grau de alcance do conjunto de
objetivos (um tanto quanto audaciosos) do programa. Assim foi o trabalho de avaliação
realizado, a pedido do Ministério da Saúde (apresentado em Ministério da Saúde, 2003),
para o Bolsa Alimentação, programa que tinha escopo menos amplo que o Bolsa
Família.
34
Ainda que o grupo tenha sido um tanto quanto naïve ao se propor a realizar uma
avaliação de impacto de um programa com a envergadura do Programa Bolsa Família,
sua singela contribuição não pode ser desprezada. Ao analisar o impacto do programa
sobre a nutrição de crianças, a avaliação dá tratamento a uma das questões prioritárias
ao atual governo, que é a erradicar a fome no país. A proposta faz isto de uma maneira
simples e barata, cujo nível de confiabilidade só pode ser realmente medido através de
uma consulta mais detalhada ao SISVAN, o que obrigatoriamente deveria ser feito caso
se resolva levar a cabo esta proposta.
Acreditando-se que o programa tenha resultados positivos nesta área, a avaliação de
impactos na nutrição permitirá não apenas contribuir para o aperfeiçoamento do
programa, que deve ser sempre o objetivo primário de qualquer avaliação, mas se presta
também a cobrir a necessidade constante que os governos têm de comprovar os
resultados de suas políticas. Este aspecto, muito presente nas preocupações de gestores
de programas, foi pouco abordado no curso e tem muita influência sobre a agenda de
avaliação de diversos ministérios: frequentemente avalia-se prioritariamente o que vai
apresentar resultados positivos e gerar dividendos políticos.
Neste sentido foi bastante ilustrativo o trabalho feito para análise de alternativas, onde a
alternativa transferência de renda mostrou-se uma com elevado impacto político e que
requer um volume menor de recursos. Isto sem o ônus que um processo integrado
acarreta, de maior complexidade gerencial. Respostas aos problemas de saúde e
educação são de maturação mais longa, demoram a mostrar resultados, mas também
apresentam soluções mais sustentáveis que a transferência de renda, claramente
percebida como uma solução apenas para o curto prazo. A opção pelo programa
integrado revela um projeto mais ousado e consistente, o que nos leva a questionar a
própria metodologia de análise de alternativas.
O trabalho de avaliação, da forma como foi proposto pela coordenação, não aborda
dois aspectos fundamentais do processo de avaliação: a disseminação dos resultados e o
processo de tomada de decisão para incorporação dos resultados de avaliação ao
programa. No caso do PBF seria importante que os resultados da avaliação pudessem
ser discutidos pela sociedade, em particular pelos agentes que implementam o projeto e
representantes dos beneficiários. É do debate sobre o que se quer, o que funciona e o
35
que não funciona, que atores políticos podem interferir na formatação do programa.
Indicadores a serem utilizados, linhas de base, métodos de coleta, etc. são ainda
discussões restritas a técnicos especializados. É necessário ultrapassar as barreiras do
jargão e das complexidades estatísticas para tornar o processo avaliativo algo que
mereça maior atenção, não apenas dos governantes, mas da sociedade civil em geral.
36
6-REFERÊNCIAS Barbetta, P. A 2005 . Estatística Aplicada às Ciências Sociais. 5ª edição – Editora da UFSC Barros, Henriques e Mendonça 2000.. Cohen. E. & Franco. Avaliação de Projetos Sociais. 6ª edição. Editora Vozes. R. (1993) Januzzi, P. C. 2004. Indicadores Sociais n Brasil. 3ª edição – Campinas, SP: Editora Alínea Ministério da Saúde.2004. Avaliação do Bolsa Alimentação. Primeira Fase. Brasília: Secretaria de Atenção, Ministério da Saúde. Ministério da Saúde.2005. Avaliação do Bolsa Alimentação. Segunda Fase. Brasília: Secretaria de Atenção, Ministério da Saúde. Rua, M. G. 2003. Avaliação de Políticas, Programas e Projetos: Notas Introdutórias. MIMEO. Rua, M. G. 2004. A Avaliação no Ciclo da Gestão Pública.MIMEO. Rua, M. G. 2005. A Aplicação Prática do Marco Lógico. Sanders, J. 2003. Introdução à Avaliação de Programas Sociais- Coletânea de Textos. São Paulo: Instituto Fonte para o Desenvolvimento Social Weiss, C. 1997. Evaluation. Methods for Studying Programmes and Policies. New Jersey: Prentice Hall TCU. Avaliação de Programas de Governo: Programa Bolsa Família. 2004
7 - LEGISLAÇÃO 1. Lei nº 10.836, de 09 de janeiro de 2004. cria o Programa Bolsa Família. 2. Decreto nº 5.209, de 17 de setembro de 2004. Regulamenta a Lei nº 10.836/2004.
37