conceito, tipos, ciclo e avaliação de políticas...
TRANSCRIPT
0
CURSO DE ESPECIALIZAÇÃO EM POLÍTICA DE ASSISTÊNCIA SOCIAL E
GESTÃO DO SUAS
M1 D4 - GUIA DE ESTUDO DE POLÍTICAS PÚBLICAS II
PI – CICLO DAS POLÍTICAS PÚBLICAS; PII - AVALIAÇÃO DE POLÍTICAS PÚBLICAS
PROFESSORA AUTORA: GERALDA LUIZA DE MIRANDA
PROFESSORA TELEPRESENCIAL: GERALDA LUIZA DE MIRANDA
COORDENADOR DE CONTEÚDO: MARCELO GARCIA
DIRETORA PEDAGÓGICA: MARIA UMBELINA C. SALGADO
JUNHO 2013
1
APRESENTAÇÃO DA DISCIPLINA: POLÍTICAS PÚBLICAS II
Cara aluna, caro aluno,
Vamos iniciar a disciplina de Políticas Públicas II, dando sequência ao que já
vimos sobre o tema. Este texto tem a finalidade de apresentar-lhe e discutir com você
as abordagens mais importantes ao ciclo das políticas públicas e os principais
conceitos, tipos, objetivos e modelos de avaliação.
Na Parte I, denominada “Ciclo das Políticas Públicas”, retomaremos o modelo
processual de análise, visto na parte final da disciplina “Políticas Públicas I”.
Focalizaremos alguns argumentos que justificam a superação da visão do
processamento das políticas públicas como uma série de etapas que se desdobram
de forma separada, independente e seqüencial. Discutiremos também duas noções
que denotam desenvolvimentos importantes na área de políticas públicas nos últimos
anos: a noção de “formulação em processo”, de Rua (1997), e a de “policy cycle como
aprendizado”, de Silva e Melo (2000).
Além de percebermos que as diversas etapas das políticas públicas não se
distinguem claramente no mundo real, iremos compreender, com a ajuda dessas
noções, como essas etapas se inter-relacionam e se sobrepõem. Pode-se dizer que
essas noções nos aproximam tanto da complexidade das relações entre uma
multiplicidade de atores que se envolvem na formulação e implementação de políticas
quanto das tensões e conflitos que os motivam. Nesse sentido, entender a
implementação das políticas como “formulação em processo” ou o ciclo das políticas
“como aprendizado” é uma estratégia decisiva também para sua avaliação.
Na Parte II, denominada “Elementos para a Avaliação de Políticas Públicas”,
iremos recuperar elementos clássicos do instigante e importante mundo da avaliação.
Vamos iniciar com a apresentação de alguns conceitos de avaliação de políticas
públicas, os principais objetivos e as classificações mais importantes das avaliações.
Sagi/MD. Analisaremos, também, algumas pré-condições organizacionais e técnicas
necessárias para uma boa avaliação e, por fim, discutiremos os principais modelos de
estudos avaliativos.
Como você verá, o formato e o objetivo das avaliações são bem variados. Nas
últimas décadas, eles se tornaram bastante sofisticados, em virtude de um grande
esforço de governos, gestores e estudiosos. Na América Latina, em geral, e no Brasil,
em particular, especialmente a partir da década de 1980, a avaliação tornou-se parte
2
integrante da agenda de Reforma do Estado. Formou-se um significativo consenso
em torno do que ficou conhecido como “gestão por resultados”. Nessa perspectiva, a
ausência de controles e de metodologias de avaliação das ações que formam as
políticas públicas é vista como conducente a um gasto social ineficiente e,
consequentemente, ao desperdício de recursos públicos.
Para além da busca da eficiência na utilização de recursos públicos, outro
objetivo de suma importância – o da busca de eficácia das intervenções estatais –
tem orientado os esforços de avaliação das políticas desde, no mínimo, a década de
1960. Essa perspectiva, também plenamente incorporada pela agenda de Reforma do
Estado, é de importância crucial para a avaliação da efetividade e dos resultados das
políticas públicas na solução ou prevenção dos mais diversos problemas da
sociedade em geral ou de segmentos sociais específicos.
No âmbito da Política de Assistência Social, a avaliação das políticas,
programas e projetos tornou-se meta de extrema importância, especialmente a partir
da formação do Ministério de Desenvolvimento Social e Combate à Fome (MDS), em
2004. Essa meta tem sido operacionalizada pela Secretaria de Avaliação e Gestão da
Informação (Sagi), cujas atribuições são a formulação e a implementação de uma
política nacional de avaliação e monitoramento. As bases das ações da Sagi/MDS
apresentam-se no quadro abaixo.
Esperamos que, ao término deste curso, você possa compreender o ciclo das
políticas em toda a sua complexidade e esteja completamente familiarizado(a) com os
conceitos, estratégias e modelos que possibilitam a avaliação. A compreensão desses
elementos é o primeiro passo para uma utilização consciente e produtiva dos
instrumentos colocados à disposição dos gestores e trabalhadores da Assistência
Social pela Sagi e, assim, para efetivamente fazer uma “diferença na vida de cada um
e da coletividade”, como diz Patrus Ananias.
Nas Palavras do Autor...
[S]omente com o fortalecimento de uma cultura de transparência e prestação de contas na administração pública e com a utilização dos resultados da avaliação e monitoramento para melhorar o desempenho das políticas será possível tornar mais eficiente e eficaz a aplicação dos recursos públicos. Se, por princípio, o trato do dinheiro público exige completo zelo, tanto mais imperioso se torna esse zelo quando se trata do dinheiro direcionado para os mais necessitados. Devemos empreender todos os esforços para garantir que o investimento esteja, efetivamente, chegando aos que precisam e, principalmente, fazendo diferença na vida de cada um e da coletividade. (Patrus Ananias. In: VAITSMAN, et. al., 2006, p. 8).
3
Como nas disciplinas anteriores, a leitura cuidadosa do Guia de Estudo é
fundamental para sua aprendizagem, assim como o estudo dos textos
complementares de leitura obrigatória indicados para o Estudo Individual Orientado
(EIO).
AULAS TELEPRESENCIAIS
A proposta da metodologia telepresencial é que você acompanhe as aulas por
meio dos slides que, posteriormente são disponibilizados no Espaço do aluno. É
importante que você participe das aulas e apresente suas dúvidas para que o
professor possa ajudá-lo a situar-se melhor e a desenvolver a etapa de Estudo
Individual Orientado.
ESTUDO INDIVIDUAL ORIENTADO
O Guia de Estudo
Como você sabe, o Guia de Estudo orienta seu trabalho individual a distância,
apresentando uma síntese da aula telepresencial, de modo a permitir-lhe refletir, com
mais tranquilidade, sobre os temas tratados e apropriar-se deles para sua prática.
Nosso compromisso com você é de postá-lo até a manhã do dia em que ocorre a
primeira aula de cada disciplina.
Textos Complementares de Leitura Obrigatória
Os textos complementares de leitura obrigatória, como também já dissemos,
visam ao enriquecimento ou à exemplificação/contextualização do tema tratado em
cada aula. Para cada parte do Guia de Estudo você tem a indicação de um texto
complementar, cuja leitura é indispensável e deve preceder a resposta da Lista de
Exercícios correspondente.
Listas de Exercícios
As Listas de Exercícios constituem um elemento de avaliação formativa, isto é,
ao mesmo tempo em que permitem caracterizar seu desempenho na disciplina,
oferecem grande oportunidade de estudo e de apropriação da temática de cada aula.
É importante resolver os exercícios com atenção e não deixá-los para a última
hora. Você terá sempre 15 dias para completar cada lista. Caso haja algum imprevisto
que resulte em atraso na postagem de uma lista, a data de entrega será prorrogada
por tempo igual. Essa condição, se acontecer, virá registrada em vermelho, na página
inicial da lista.
4
O calendário de EIO da disciplina que se inicia está reproduzido no quadro a
seguir.
Guia de Estudo
Texto Complementar de Leitura Obrigatória
Parte I
SILVA, Pedro Luiz Barros e MELO, Marcus André Barreto. O processo de implementação de políticas públicas no Brasil: características e determinantes da avaliação de programas e projetos. NEPP/UNICAMP, Caderno n° 48, 2000. Disponível em: http://www.nepp.unicamp.br/.
Parte II
COTTA, Tereza C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e de impacto. Revista do Serviço Público, ano 49, n. 2, pp. 103-123, 1998. Disponível em: <http://www.enap.gov.br/index.php?option=com_docman&task=cat_view&gid=821&Itemid=129>
FÓRUM
O Fórum constitui um espaço de interação e debate. Ao longo de cada Módulo
serão postados ao menos quatro tópicos e você deve escrever um comentário para
cada um deles. Portanto, serão necessários quatro comentários para que você
obtenha a pontuação mínima de 70% do total dos 40 pontos correspondentes ao
Fórum, em cada módulo. Esses 40 pontos são distribuídos igualmente pelas quatro
disciplinas, ou seja, 10 pontos para cada uma.
OBJETIVOS DA APRENDIZAGEM
Os objetivos específicos norteiam o resultado desejado, indicando os aspectos
que os coordenadores do curso e o professor da disciplina consideram mais
relevantes para sua formação como Especialista em Gestão do Suas. Leia cada um
deles atentamente e verifique, ao longo das aulas e do EIO, se você está
apresentando o desempenho esperado. Desse modo, você poderá monitorar seu
próprio progresso nos estudos.
Ao concluir o estudo desta disciplina, esperamos que você demonstre
capacidade para:
1. Identificar os pressupostos da visão do ciclo de política como um processo
simples e linear e as críticas a esses pressupostos apresentadas em
concepções mais recentes (Silva e Melo, e Rua).
5
2. Identificar os aspectos comuns entre as concepções de implementação
como “formulação em processo” e ciclo de política como “aprendizado”.
3. Relacionar as fases da formulação e da implementação de políticas na
perspectiva da “implementação como formulação em processo” e do “ciclo
de política como aprendizado”.
4. Conceituar stakeholders.
5. Conceituar nós e elos críticos.
6. Inter-relacionar as noções de governança e de redes complexas.
7. Definir avaliação de políticas públicas.
8. Identificar os objetivos da avaliação de políticas públicas.
9. Identificar as questões de base que orientam a escolha da metodologia de
avaliação das políticas públicas.
10. Classificar a avaliação das políticas públicas segundo o momento da
avaliação; a procedência dos executores; os aspectos do programa
avaliados; os tipos de dados utilizados; número e posição das unidades de
análise no tempo.
11. Conceituar eficiência, eficácia, resultados e impactos de políticas.
12. Descrever os pressupostos da avaliação de políticas, considerando modelo
analítico que oriente a intervenção; diagnóstico da situação-problema;
indicadores sociais; sistema de informação.
13. Identificar os aplicativos que compõem atualmente a Rede Suas.
14. Descrever a classificação de indicadores sociais de Januzzi, considerando
os critérios de: área temática; tipo dos dados utilizados na construção; grau
de complexidade e aspectos que interessam à gestão das políticas
públicas.
15. Caracterizar e exemplificar os Indicadores de Monitoramento.
16. Identificar os principais modelos de avaliação de políticas públicas.
CONTEÚDO
A ementa desta disciplina é a seguinte:
Parte I - O ciclo das políticas públicas: visão clássica; visão do policy cycle
como um processo simples e linear; a implementação como “formulação em
6
processo”; o policy cycle como aprendizado: stakeholders, nós críticos e redes
complexas.
Parte II - Conceito de avaliação de políticas públicas. Objetivos. Classificação
quanto a: momento da realização; procedência dos executores; aspectos do
programa; tipos de dados; posicionamento e número das unidades de análise. Os
pressupostos da avaliação: modelos analíticos, diagnósticos, indicadores e sistemas
de informação. Modelos de avaliação.
7
PARTE I – O CICLO DAS POLÍTICAS PÚBLICAS
1. INTRODUÇÃO
Nesta primeira parte da disciplina “Políticas Públicas II – O Ciclo das Políticas
Públicas”, vamos retomar o último modelo de análise de políticas públicas – o modelo
processual -, visto na disciplina “Políticas Públicas I”, tendo em vista marcar sua
relação com a perspectiva “clássica” do ciclo de política e com a visão desse ciclo
como um “processo linear e simples”, assim como ressaltar sua diferença em relação
a visões mais recentes, e muito mais ricas, do ciclo das políticas públicas.
Essas noções, que denotam desenvolvimentos importantes na área de políticas
públicas, são a de “formulação em processo”, de Maria das Graças Rua (1997), e a
de ciclo de política “como aprendizado”, de Pedro Silva e Marcus Melo (2000). Além
de percebermos que as diversas etapas das políticas públicas não se distinguem
claramente no mundo real, iremos compreender, com a ajuda dessas noções, como
essas etapas se inter-relacionam e se sobrepõem. Pode-se dizer que essas noções
nos aproximam da complexidade das relações entre uma multiplicidade de atores que
se envolvem na formulação e implementação políticas e das tensões e conflitos que
os motivam. Nesse sentido, entender a implementação das políticas como
“formulação em processo” ou o ciclo das políticas “como aprendizado” é uma
estratégia decisiva também para sua avaliação, que é o tema da segunda parte deste
texto.
2. O MODELO PROCESSUAL E SUAS LIMITAÇÕES
Estudos recentes sobre o ciclo das políticas públicas buscam superar a visão
do processamento das políticas como um desdobramento mecânico e linear de
etapas estanques e independentes. Vimos que as etapas possuem a seguinte
sequência:
Os problemas sociais são identificados;
As propostas para sua solução (as políticas públicas) são formuladas;
A aprovação legislativa das propostas é efetivada;
As leis (que traduzem as políticas) são implementadas;
As ações implementadas são avaliadas;
Os estudos preocupados com o “problema da implementação” não se limitam a
descrever as diversas etapas das políticas e distinguir, em cada uma delas, atores,
objetivos e resultados. Cada etapa é vista como um “jogo” entre atores que possuem
8
interesses diferenciados e traçam estratégias para influenciar os resultados da
política. Mas o “jogo” que é jogado em uma etapa teve início nas etapas anteriores e
continua nas etapas seguintes. Isto ocorre porque os atores que se envolvem nas
políticas possuem interesses específicos e, muitas vezes, conflitantes entre si, e as
decisões tomadas em uma etapa afetam e interagem com as decisões e ações
tomadas ou desenvolvidas em outras etapas. Nessa perspectiva, a etapa de
implementação ocupa o centro das atenções, na medida em que é para ela que
convergem os principais problemas. Isso fica vem claro na definição de Rua, a seguir.
Para iniciar a discussão, vejamos quais seriam as condições ideais para que
não houvesse problemas na implementação das políticas. Rua (1997) seleciona 10
pré-condições.
Nas Palavras da Autora...
[O] conjunto de ações realizadas por grupos ou indivíduos de natureza pública ou privada, as quais são direcionadas para a consecução de objetivos estabelecidos mediante decisões anteriores quanto a políticas. Em outras palavras, trata-se das ações para fazer uma política sair do papel e funcionar efetivamente (RUA, 1997, p. 13).
Nas Palavras da Autora...
1. As circunstâncias externas à agência implementadora não devem impor restrições que a desvirtuem.
2. O programa deve dispor de tempo e recursos suficientes.
3. Não apenas não deve haver restrições em termos de recursos globais, mas também, em cada estágio da implementação, a combinação necessária de recursos deve estar efetivamente disponível.
4. A política a ser implementada deve ser baseada numa teoria adequada sobre a relação entre a causa (de um problema) e o efeito (de uma solução que está sendo proposta).
5. Esta relação entre causa e efeito deve ser direta e, se houver fatores intervenientes, estes devem ser mínimos.
6. Deve haver uma só agência implementadora, que não depende de outras agências para ter sucesso; se outras agências estiverem envolvidas, a relação de dependência deverá ser mínima em número e em importância.
7. Deve haver completa compreensão e consenso quanto aos objetivos a serem atingidos e esta condição deve permanecer durante todo o processo de implementação.
8. Ao avançar em direção aos objetivos acordados, deve ser possível especificar, com detalhes completos e em sequência perfeita, as tarefas a serem realizadas por cada participante.
9. É necessário que haja perfeita comunicação e coordenação entre os vários elementos envolvidos no programa.
10. Os atores que exercem posições de comando devem ser capazes de obter efetiva
obediência dos seus comandados. (p. 14).
9
Como observa Rua (1997), no entanto, essas pré-condições dificilmente podem
ser atendidas. Na verdade, elas se sustentam em noções do ciclo de política muito
distantes da realidade.
3. A VISÃO CLÁSSICA DE CICLO DE POLÍTICA
As pré-condições listadas por Rua (1997) estão baseadas em uma separação
nítida e linear entre as etapas de formulação e implementação das políticas. Essa
visão é denominada “clássica” por Silva e Melo (2000).
Vejamos, na Figura 1, como esses analistas a retratam.
Figura 1: Visão clássica do ciclo de política pública
Formulação de
políticas
Implementação
de políticas
Fonte: Silva; Melo (2000)
A visão clássica é a mais rudimentar das visões do ciclo de política. Como
chamam a atenção Silva e Melo (2000), nessa perspectiva, a implementação é vista
como um jogo de uma só rodada, isto é, a ação governamental é implementada de
cima para baixo. Nem mesmo os efeitos de retroalimentação dos aspectos da
implementação sobre a formulação, possibilitados pelo monitoramento e pela
avaliação, são considerados.
Na visão do ciclo das políticas públicas como um processo linear e simples, de
acordo com esses analistas, essa retroalimentação é considerada. Veja a Figura 2, a
seguir.
4. A VISÃO DO POLICY CYCLE COMO UM PROCESSO SIMPLES E LINEAR
Na visão do ciclo de política como um processo linear e simples, de acordo
com Silva e Melo (2000), a noção de retroalimentação, possibilitada pelo
monitoramento e pela avaliação das ações, torna-se central.
Figura 2: A visão do ciclo de política como um processo simples e linear
Formulação de
políticas
Implementação
de políticas
Retroalimentação/ Monitoramento Fonte: Silva e Melo (2000)
10
Nessa segunda visão do ciclo de política, na qual aspectos da implementação
“retroalimentam” a formulação, o monitoramento e a avaliação das ações passam a
ser entendidos como instrumentos de correção de rota.
No entanto, os problemas, obstáculos e vicissitudes da implementação são
compreendidos como resultantes da capacidade institucional dos agentes
implementadores ou de problemas de natureza política ou, ainda, como efeitos da
resistência ou boicote dos grupos que são afetados negativamente por ela. Assim,
essa visão ainda é muito simplista e linear, pois seu ponto de partida é o
entendimento de que a formulação é uma etapa isenta de problemas.
Silva e Melo identificam três pressupostos desse modelo.
No entanto, os mesmos Silva e Melo criticam esses pressupostos, afirmando
que nenhum deles se sustenta na realidade, pois
a. os tomadores de decisão (os formuladores de política), assim como
estudiosos, não compreendem os fenômenos sociais completamente; no
caso dos formuladores, a falta de conhecimento tem origem, em grande
parte, nos limites de tempo e de recursos em que se veem envolvidos;
b. os tomadores de decisão não controlam, não conhecem e, por isso, não têm
condições de prever todas as condições que envolvem o contexto de
implementação das políticas;
c. os planos ou programas delimitam apenas parte dos cursos de ação e das
decisões que os implementadores devem tomar; esses documentos, no
entendimento dos autores, sempre deixam um amplo espaço para decisões
discricionárias que pode ser usado para a inovação, a criatividade e a
adaptação das políticas;
d. os tomadores de decisão expressam suas preferências nos projetos e
programas, entendendo que, com isso, a política está dotada de uma
“racionalidade técnica”; quando as preferências de outros interferem nessa
“racionalidade”, durante a implementação, eles entendem que os objetivos e
metas foram desviados.
Nas Palavras dos Autores...
O diagnóstico que informa a formulação de políticas está essencialmente correto.
O formulador dispõe de todas as informações necessárias ao desenho das políticas programadas.
O formulador dispõe de um modelo causal válido. (SILVA e MELO, 2000)
11
5. A IMPLEMENTAÇÃO COMO “FORMULAÇÃO EM PROCESSO”.
Rua (1997) também lista alguns pressupostos da visão do ciclo de políticas
como um processo linear e simples. São eles: (i) a responsabilidade pela política é
atribuição dos atores situados no topo do processo político; (ii) na implementação,
não há ambiguidades quanto à natureza da política: os elos da estrutura são mínimos
e não há interferências externas; (iii) é possível manter controle sobre os agentes
envolvidos.
No entendimento de Rua (1997), esses pressupostos são equivocados, pois:
cada tipo de política e de arena de política abrange diferentes atores,
distribuídos em diferentes organizações, graus variados de conflito e,
portanto, de interferências externas;
nem sempre todos os atores envolvidos possuem um entendimento claro
acerca das metas da política e de sua natureza;
não há separação clara entre as etapas de formulação e implementação;
no caso de políticas implementadas por diversas ações, algumas delas
podem interagir e entrar em conflito com as ações de outras políticas; essa
interação e esse conflito ocorrem porque as políticas públicas se sustentam,
muitas vezes, em relações de causalidade complexas e, especialmente no
caso das redistributivas, envolvem uma diversidade de atores com
interesses conflitantes.
A partir dessa crítica, Rua (1997) argumenta que a implementação deve ser
compreendida como uma “formulação em processo”.
Vejamos, agora, a visão do ciclo de políticas públicas “como aprendizado”, de
Silva e Melo (2000).
6. O CICLO DE POLÍTICAS “COMO APRENDIZADO”: STAKEHOLDERS, NÓS CRÍTICOS E REDES
COMPLEXAS
Silva e Melo (2000) avançam na teorização do ciclo de política. Em primeiro
lugar, eles afirmam que a implementação, relativamente à formulação, consiste em:
Nas Palavras da Autora...
[N]a realidade o que existe não é um processo acabado, mas sim um contínuo movimento de interação entre uma política em mudança, uma estrutura de relações de grande complexidade e um mundo exterior não apenas complexo mas, também, dotado de uma dinâmica cada vez mais acelerada (p. 18)
12
uma etapa de aprendizagem, evolução, adaptação e também de
decisões políticas necessárias para resolver conflitos não previstos,
brechas e ambiguidades legais, omissões de normas operacionais etc.;
uma etapa que requer uma visão estratégica dos problemas, a
incorporação de questões críticas, como a viabilidade da política e os
problemas de coordenação interorganizacional.
Dadas essas características e exigências, e afirmando, como Rua (1997), que
a implementação “cria novas políticas”, Silva e Melo (2000) ressaltam que não cabe a
noção de avaliação (da implementação) como instrumento de “correção de rota”,
suposta na visão do ciclo de política como um processo simples e linear (retratado na
Figura 2). A implementação é etapa de aprendizagem, de teste dos modelos causais.
Ela exige uma visão estratégica dos problemas; uma visão que permita a constante
reformulação da política.
Com esse entendimento, os autores ressaltam ainda que a implementação
envolve uma “rede de implementadores” (de agentes públicos, não-públicos e
privados), que possuem interesses próprios, diferentes daqueles que orientaram a
formulação, e conflitantes entre si.
Assim, Silva e Melo (2000) transformam o ciclo de política em um “campo
estratégico” que incorpora formuladores, implementadores e também a população
meta da política. Como os implementadores, essa população, ao “consumir” os
produtos da política, também a transforma, criando, nessa transformação, novas
políticas.
Na visão do ciclo de política como um “campo estratégico”, adquirem
importância os conceitos de “stakeholders” e de nós ou elos críticos. Vejamos o que
significam:
a. Stakeholders ou apoiadores
são os “grupos envolvidos
pelas políticas e nela
interessados”. Para Silva e
Melo (2000), esses grupos
devem ser incorporados às
etapas de formulação e
implementação das políticas,
na medida em que são eles
que fornecem a elas
legitimidade e sustentação.
b. Nós críticos ou elos críticos
são momentos no tempo em que as questões referidas ao processo de
sustentação política dos programas, de coordenação interinstitucional e
de capacidade de mobilização de recursos institucionais se conjugam.
Saiba Mais!
Uma definição mais ampla de stakeholders é apresentada Posavac e Carey: stakeholders “são aqueles que estão pessoalmente envolvidos no pro-grama e que derivam dele parte ou toda sua renda; seu status ou carreira futura deve ser afetada pela qualidade do programa; são destinatários ou poten-ciais destinatários dos serviços do pro-grama” (Citado por COTTA, 1998, p. 106).
13
Nesses momentos, há uma espécie de “crise”, concretizada na tomada
de uma decisão por um ator estratégico. Assim, a crise é momento de
aprendizagem, que resulta em uma decisão que, por sua vez, leva o
programa para uma direção nova.
A partir desses argumentos e conceitos, Silva e Melo (2000) salientam que o
ciclo de política não é simples nem linear (não vai da formulação à implementação e
da implementação à avaliação). Não há um ponto de partida. O ciclo de política é
constituído por redes complexas de formuladores,
implementadores, stakeholders e beneficiários que
dão sustentação à política; e por “nós” críticos” (p.
14), que permitem continuamente o aprendizado.
Essa formulação é retratada na Figura 3.
Figura 3: O policy cycle como aprendizado
A implementação
como um jogo
Nós críticos
Rede de implementadores,
formuladores, stakeholders
e beneficiários
Fonte: Silva e Melo (2000, p. 14).
Assim, na visão do ciclo de política como aprendizado, a implementação se
transforma em um jogo que envolve uma rede de atores (implementadores,
formuladores, stakeholders e beneficiários). Não se pressupõem relações
Saiba Mais!
Esse entendimento de que a política é constantemente reformulada, na fase de im-plementação, pela interação contínua e estratégica dos atores envolvidos é também salientado por Molina (2002).
14
hierárquicas e de controle. Nessa etapa, assim como na formulação, asseguram Silva
e Melo (2000), há (ou deve haver) negociação, barganha e troca.
Silva e Melo (2000) ressaltam ainda que essa visão do ciclo de políticas é mais
coerente com a noção de “governança” democrática. O conceito de governança diz
respeito às regras e aos arranjos institucionais que regulam as “redes complexas”.
Redes complexas são as interações entre agentes públicos (representantes e
burocracias), não públicos e privados que estimulam e sustentam a cooperação, a
coordenação e a negociação, e não o controle hierárquico. Nesse quadro, como
salienta Molina (2002), adquirem importância as regras participativas, democráticas,
em todas as etapas das políticas públicas.
Na Parte II, as discussões anteriores servirão de base para o tratamento da
temática da avaliação de políticas públicas.
Não se Preocupe!
Essa discussão será ampliada e operacionalizada na disciplina “Gestão Pública”.
15
PARTE II - ELEMENTOS PARA A AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Atualmente, há amplo consenso sobre a importância da avaliação das políticas
públicas, especialmente as sociais, tanto entre gestores públicos quanto entre
políticos e estudiosos. Na Assistência Social, não tem sido diferente.
Nesta parte, vamos apresentar e discutir os diversos conceitos de avaliação, os
objetivos e os principais tipos ou classificações de avaliação; os instrumentos
necessários para a realização de boas avaliações -- que são o marco lógico, os
diagnósticos, os indicadores e sistemas de informação -- e, por fim, os modelos mais
importantes de pesquisas de avaliação. Entre os instrumentos necessários para a
realização das avaliações, trataremos mais detalhadamente de indicadores e de
diagnósticos e, no que se refere aos sistemas de informações, apresentaremos a
estrutura geral da Rede Suas, que é o sistema de informações do Ministério do
Desenvolvimento Social e Combate à Fome (MDS). Ao longo das discussões,
buscaremos também fornecer uma visão geral da dinâmica do monitoramento e
avaliação, desenvolvida na Secretaria de Avaliação e Gestão da Informação (Sagi),
assim como incluir, nas discussões sobre conceitos e classificações, aqueles que têm
sido publicizados por essa secretaria.
Lembramos que esta é uma disciplina introdutória sobre avaliação de políticas
públicas. As habilidades necessárias para que um analista ou gestor público possa
fazer, pessoalmente, os tipos mais sofisticados de avaliação requerem mais de uma
disciplina para serem formadas. Um bom curso de estatística é normalmente
indispensável nesse empreendimento. Mas os conceitos e classificações
apresentados e as discussões desenvolvidas nesta disciplina são importantes para a
realização de estudos avaliativos de rotina, utilizando, inclusive, os instrumentos e
dados disponibilizados pela Sagi. São também relevantes para a contratação e a
compreensão mais competente de qualquer pesquisa de avaliação dos programas,
políticas e projetos desenvolvidos na área de Assistência Social.
Saiba Mais!
Os textos de Ala-Harja e Helgason (2000), Faria (2005) e Trevisan e Bellen (2008), listados nas referências da bibliografia complementar tratam com detalhes a trajetória histórica das pesquisas de avaliação e seus objetivos em diferentes países, inclusive na America Latina.
16
1. CONCEITO DE AVALIAÇÃO
Uma definição abrangente de avaliação das ações que constituem uma política
pública é a de Aguilar e Ander-Egg.
Considerando que a avaliação é um instrumento de tomada de decisão, ela
pode e deve ser feita, de acordo com Cotta (1998), em todas as fases da política e
não apenas em seu término. Em cada uma das fases, há diferentes formatos de
avaliação e diversos objetivos. Vejamos os objetivos.
2. OBJETIVOS DA AVALIAÇÃO
Ala-Harja e Helgason (2000) ressaltam que o objetivo da avaliação não é
buscar a verdade absoluta, mas sim oferecer subsídios para um “entendimento e uma
visão justificada dos programas de implementação de políticas”. Nenhum processo
avaliativo “substitui o processo de tomada de decisão política”, dizem os autores, mas
ele deve permitir que as decisões sejam tomadas de maneira mais consciente, mais
fundamentada (p. 10).
De acordo com Vaitsman, et. al. (2006), que sintetizam a posição da Sagi/MDS,
o objetivo da avaliação “é melhorar as atividades em andamento e dar subsídios para
o planejamento, a programação e a tomada de decisões futuras”. Dependendo dos
objetivos e do objeto da avaliação, “os estudos podem utilizar diferentes metodologias
e se referir a distintos campos do conhecimento”. Uma “boa prática” seriam os
estudos “interdisciplinares e que combinem metodologias quantitativas e qualitativas,
para que se possa correlacionar diferentes dimensões de um programa ou política” (p.
23). Mas, como ressaltam esses analistas, avaliações muito abrangentes ficam muito
caras e são demoradas. Por isso, os gestores precisam ponderar, ao escolher a
metodologia a ser utilizada em um estudo de avaliação, pelo menos quatro questões
inter-relacionadas.
Nas Palavras dos Autores...
A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar, de maneira válida e confiável, dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação ou execução), ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos. Visam comprovar a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para uma tomada de decisões racionais e inteligentes entre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados (Citado por COTTA, 1998, p. 106).
17
Assim, contratar, realizar ou compreender um estudo de avaliação de uma
política não é uma tarefa simples. Vamos tratar da questão por partes. Para facilitar a
compreensão, vejamos, antes, as principais classificações das avaliações.
3. CLASSIFICAÇÃO DE AVALIAÇÕES
As avaliações podem ser classificadas de acordo com diferentes critérios. Os
principais, de acordo com Cotta (1998) são: o momento em que são realizadas; a
procedência dos avaliadores; os aspectos da intervenção que são priorizados; a
natureza das questões a serem respondidas. Além desses critérios, as avaliações
também podem ser classificadas quanto ao tipo de dados utilizados e quanto ao
posicionamento e número das unidades de análise no tempo.
3.1. Momento da Avaliação
Quanto ao momento de realização, a avaliação pode ser:
Ex-ante: realizada antes do início do programa ou projeto. Visa a
subsidiar o processo decisório, apontando a conveniência ou não de se
implementar a ação. De acordo com Thoenig (2000), esse tipo de
avaliação está mais próximo de uma “quase-avaliação” ou de uma
“avaliação informal”. Embora tenha entrado na agenda das discussões
sobre avaliação, a avaliação ex-ante ainda permanece como uma fonte
secundária de orientações para gestão pública.
Ex-post ou somativa: realizada após a conclusão do programa. Auxilia
na decisão pela manutenção e ou reformulação do desenho original.
Intermediária, formativa ou monitoramento: realizada no período de
vigência do programa. O objetivo desse tipo de avaliação, de acordo
com Ala-Harja e Helgason (2000), é dar suporte e melhorar a gestão, a
Nas Palavras dos Autores...
1. Os objetivos da pesquisa ou o que se quer saber sobre o programa;
2. Os recursos financeiros disponíveis;
3. As fontes de dados disponíveis;
4. O tempo em que se quer obter resultados.
A escolha do desenho e, conseqüentemente, dos métodos vai depender das perguntas que se quer responder, dos recursos e das fontes de dados disponíveis e do tempo em que se quer obter resultados. Quanto maior a abrangência, a representatividade, a combinação de métodos, o número de estratos de uma amostra, mais demorada e cara será uma pesquisa. (VAITSMAN,et.al., 2006, p. 23)
18
implementação e o desenvolvimento do programa. A ênfase é dada à
aplicabilidade direta dos resultados.
A concepção de monitoramento da Sagi/MDS, apresentada por Vaistsman, et.
al. é mais ampla.
Para a Sagi/MDS, o monitoramento comporta dois processos distintos e
interligados. O primeiro é o acompanhamento dos programas – uma atividade interna
-, que é feito a distância; o segundo, diz respeito a checagens locais.
3.2. Procedência dos Executores
Quanto à procedência dos executores, a avaliação pode ser classificada, de
acordo com Cotta (1998), em:
Interna: quando profissionais da própria unidade gestora realizam a
investigação. Nesse tipo de avaliação, o nível de conflito é minimizado e
a quantidade de informação relevante disponível é aumentada. Em
contrapartida, a objetividade da avaliação pode ficar muito prejudicada.
Externa: quando se recorre a profissionais não vinculados à instituição
executora do programa para a realização da pesquisa. Nesse tipo de
avaliação, há um ganho em termos de isenção, mas o acesso aos dados
necessários à pesquisa é mais difícil.
Mista e participativa: quando se reúnem, em uma mesma investigação,
profissionais da unidade gestora, profissionais externos e beneficiários
Nas Palavras dos Autores...
Monitoramento consiste no acompanhamento contínuo, cotidiano, por parte de gestores e gerentes, do desenvolvimento dos programas e políticas em relação a seus objetivos e metas. É uma função inerente à gestão dos programas, devendo ser capaz de prover informações sobre o programa para seus gestores, permitindo a adoção de medidas corretivas para melhorar sua operacionalização. É realizado por meio de indicadores produzidos regularmente com base em diferentes fontes de dados, que dão aos gestores informações sobre o desempenho de programas, permitindo medir se objetivos e metas estão sendo alcançados. (VAITSMAN, et. al. 2006, p. 21).
Nas Palavras dos Autores...
Checagens locais [...] acabam constituindo um tipo de pesquisa rápida, qualitativa, por meio da qual gestores, pesquisadores e outros agentes podem verificar como a implementação está sendo realizada e se está atingindo seus objetivos, além de verificar que problemas estão interferindo nas ações, processos e consecução dos objetivos previstos (VAITSMAN, et. al., 2006, p. 21-22).
19
do programa. Esse tipo de avaliação possibilita uma investigação mais
abrangente, mas ela é mais cara e trabalhosa.
3.3. Aspectos do Programa
Quanto aos aspectos do programa, há quatro tipos de avaliação, também de
acordo com Cotta (1998). São eles:
Avaliação do plano e conceitualização da intervenção: investiga a
pertinência formal e conceitual do programa ou projeto, apontando
falhas no diagnóstico ou no próprio desenho, tendo-se por referência o
que ocorre em sua implementação.
Avaliação do processo da intervenção: corresponde ao
acompanhamento da execução. Diz respeito à dimensão da gestão e
tem por finalidade julgar se a intervenção está sendo implementada
como foi planejada; se a população-alvo está sendo atingida; se o
cronograma está sendo cumprido; ou, ainda, se os recursos estão sendo
usados com eficiência. É também um tipo de avaliação intermediária,
formativa ou monitoramento, tratado anteriormente.
Avaliação de eficiência: busca avaliar a relação entre os custos das políticas
(em termos monetários) e seus resultados (o alcance das metas e dos
objetivos propostos) ou se os custos operacionais do projeto são menores que
seus benefícios líquidos. Esse tipo de avaliação permite comparar
intervenções alternativas, auxiliando a tomada de decisão em torno da
implementação ou da continuidade ou não dos programas. Embora a questão
Saiba Mais!
A pesquisa realizada pela UFPE, contratada pela SAGI, que está publicada com o título “Avaliação Qualitativa do PAA-Leite”, é um exemplo de desenho de pesquisa que incorpora elementos tanto do tipo “Avaliação do plano e conceituação da intervenção” quanto do tipo “Avaliação do processo de intervenção”. A pesquisa avaliou as divergências entre o desenho do Programa de Aquisição de Alimentos-Leite e a opinião de pessoas (beneficiários e não-beneficiários), de cinco dos dez estados que compõem a área coberta pelo programa. As opiniões, coletadas em grupos focais, foram sobre os objetivos do programa, vantagens e desvantagens oferecidas pelo programa para a venda do leite, dadas as condições e interesses dos produtores de cada região etc. A partir dos achados da pesquisa, os pesquisadores fizeram diversas sugestões para melhorar o desenho do programa. Você encontra a publicação dessa pesquisa no livro “Avaliação de Políticas e Programas do MDS – Resultados – Segurança Alimentar e Nutricional - Volume 1”, 2006, disponível no site do MDS. O endereço dessa publicação, assim como das outras referidas neste texto, encontra-se nas referências bibliográficas.
20
dos custos seja apenas um dos aspectos a ser considerado quando se decide
pela continuidade ou não de um programa na área social, esse tipo de
avaliação pode ser um instrumento importante quando há um leque maior de
escolhas. Nesse tipo de investigação, busca-se basicamente, de acordo com
Cotta (1998), responder às seguintes questões:
o Os recursos estão sendo dirigidos aos fins visados?
o O programa ou projeto funciona a um custo razoável?
o Os resultados atingidos podem ser mensurados em termos
monetários?
o O programa é tão bem-sucedido quanto outros de custo igual
ou menor?
AvaliAvaliação de eficácia (ou de efeito): investiga se houve alterações
na situação-problema após a intervenção. Em caso afirmativo, deve-se
estabelecer uma relação de causalidade entre tais alterações e certos
atributos do programa. Essa é a tarefa mais importante da avaliação, e
também a mais difícil de ser realizada, na medida em que exige, sempre,
dados difíceis de serem coletados e análises estatísticas mais sofisticadas.
A avaliação de eficácia divide-se em dois subtipos:
Avaliação de resultados: investiga os efeitos da intervenção sobre a
população-alvo. Busca-se responder, de acordo com Cotta (1998), às
seguintes questões: O programa ou projeto surtiu algum efeito sobre a
população-alvo? Em caso afirmativo, como classificar tais efeitos?
Avaliação de impacto (ou de efetividade): investiga os efeitos da
intervenção sobre a população total, ou seja, busca avaliar seus reflexos no
contexto social mais amplo. A dificuldade maior, nesse tipo de avaliação,
assim como na avaliação de resultados, é distinguir quais alterações são
efeitos da intervenção e quais resultam de outros fatores. Daí a importância
das técnicas de pesquisas escolhidas para se fazer a avaliação, por
exemplo, grupos de controle, análises estatísticas.
Importante! Eficiência refere-se à utilização competente dos recursos alocados para a realização dos objetivos e metas previstos para a política ou o programa. Uma política é tão mais eficiente quanto mais racionalmente são utilizados os recursos para o alcance dos objetivos e metas.
21
Saiba Mais!
A pesquisa, contratada pelo MDS, publicada com o título “Segurança Alimentar e Nutricional entre os Beneficiários do Programa Bolsa Família”, é um exemplo de avaliação de resultados. A pesquisa foi realizada pela UFF e UFBA, em 2006. O objetivo foi avaliar o impacto do Programa Bolsa Família nas condições de vida das famílias beneficiárias, especialmente sobre seus padrões alimentares. Foram realizadas 4.000 entrevistas (questionários fechados), em municípios de diferentes tamanhos de todo o Brasil, com famílias com diferentes períodos de inserção no programa. Os achados da pesquisa indicam impacto positivo do Bolsa Família nos padrões alimentares das famílias beneficiárias. Você encontra essa publicação no livro “Avaliação de Políticas e Programas do MDS – Resultados. Volume 2 – Bolsa Família e Assistência Social”.
Saiba Mais!
I - Um exemplo de pesquisa de avaliação de impacto é a publicada com o título
“Primeiros Resultados da Análise da Linha de Base da Pesquisa de Avaliação de Impacto do Programa Bolsa Família”. Foi realizada pela UFMG, em 2005. O objetivo da pesquisa foi avaliar o impacto do programa sobre o estado de saúde das crianças de 0 a 6 anos e das mulheres grávidas. Foram entrevistadas (questionários fechados) 14.022 famílias, distribuídas em três grupos: famílias beneficiárias; famílias cadastradas no CadÚnico, mas ainda não beneficiárias; e famílias não cadastradas e não beneficiárias. Os achados da pesquisa também apontam impacto positivo do Bolsa Família sobre as condições de saúde dos dois grupos. Você encontra essa publicação no livro “Avaliação de Políticas e Programas
do MDS – Resultados. Volume 2 – Bolsa Família e Assistência Social”.
Importante!
Eficácia refere-se ao alcance dos objetivos e metas, estabelecidos no desenho
da política ou do programa, a serem cumpridos em um prazo definido. Uma política é tão mais eficaz quanto mais ela alcança os “resultados” ou os “efeitos” planejados.
Efeito, de acordo com Cohen e Franco, “é todo comportamento ou
acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto do programa ou projeto”. Há diversos tipos de efeitos: “os efeitos procurados e os efeitos não-procurados, que se subdividem em previstos, positivos e relevantes, e os efeitos não-previstos. Os primeiros correspondem aos objetivos que a intervenção pretendia atingir, sendo, por definição, previstos e positivos; os dois últimos equivalem a efeitos indiretos, que podem ser negativos ou positivos, e efeitos inesperados, associados a falhas na elaboração do programa ou projeto e/ou a limitações do conhecimento disponível sobre uma determinada área ou assunto” (Citado por COTTA, 1998, p. 111-2)
22
3.4. Tipo de Dados Utilizados
Quanto ao tipo de dados utilizados, a avaliação pode ser:
Qualitativa: quando são utilizados apenas dados não-numéricos,
normalmente coletados por meio de entrevistas, questionários, grupos
focais, observações etc. Exemplos: opinião dos beneficiários sobre o
programa Bolsa Família; problemas encontrados na implementação dos
Creas ou dos Cras.
Quantitativa: avaliação que utiliza apenas dados numéricos. Exemplos:
número de famílias beneficiadas pelo programa Bolsa Família, gastos
financeiros com o Benefício de Prestação Continuada.
3.5. Número e Posição das Unidades de Análise no Tempo
Quanto ao número e posição das unidades de análise no tempo, a
avaliação pode ser:
Estudo de caso: quando se avalia uma única política em um
determinado período (um ponto no tempo) ou sua evolução ao longo do
tempo.
Comparativa transversal: quando se avalia uma mesma política em
contextos diferentes ou diferentes políticas em um mesmo contexto ou
em contextos diferentes. Os dados utilizados para avaliar a política, ou
as políticas, estão situados em um mesmo ponto do tempo.
Comparativa longitudinal: quando se avalia uma mesma política ou
diferentes políticas ao longo do tempo (em períodos específicos).
Também conhecida como “análise de série temporal”.
Importante!
Como ressaltam Vaitsman et. al. (2006), normalmente, uma boa avaliação
combina dados qualitativos e quantitativos, coletados em fontes primárias (por
exemplo, entrevistas com beneficiários) e fontes secundárias (estatísticas
divulgadas por órgãos públicos, publicações de estudos anteriores etc.).
23
4. OS PRESSUPOSTOS DA AVALIAÇÃO
Você já deve ter percebido que a avaliação de políticas públicas, programas e
projetos não é mesmo coisa fácil de fazer. Processos avaliativos de qualidade, que
permitem avaliar o desenho, a gestão, a eficácia e a eficiência das intervenções,
demandam esforço e investimento em recursos materiais, informacionais e humanos.
Esses esforços e investimentos devem ser traduzidos, especialmente na elaboração
de e utilização de: (a) modelo analítico que oriente a intervenção; (b) diagnóstico da
situação-problema (c) indicadores sociais; (d) sistema de informação.
4.1.Modelo analítico da intervenção
O modelo analítico da intervenção diz respeito a um conhecimento das
relações de causa e efeito, isto é, do relacionamento entre o problema social que se
pretende prevenir ou solucionar e os instrumentos e tecnologias que compõem a
política. Esses instrumentos e tecnologias devem estar orientados para a solução do
problema; devem ter efeito sobre ele. No entanto, dizer que toda política pública
pressupõe um modelo de causa e efeito - um modelo analítico -, não significa que
este foi construído de forma rigorosa e sistemática e nem mesmo que haja consenso
entre os tomadores de decisão e os implementadores sobre ele. Muitas vezes, no afã
de resolver os problemas sociais, de atender grupos de pressão, de responder às
exigências da legislação, ou mesmo por incapacidade administrativa, o Estado faz
intervenções que se sustentam em relações de causa e efeito equivocadas. Em
Saiba Mais!
I - A pesquisa realizada pela FUBRA, em 2006, publicada com o título “Programa de Aquisição de Alimentos nas Regiões Sul e Nordeste”, contratada pela SAGI/MDS, é um exemplo de pesquisa transversal comparativa. O objetivo foi
avaliar a implementação, a sustentabilidade e os efeitos do programa em estados do Nordeste e do Sul. Os pesquisadores trabalharam com dados qualitativos, gerados em entrevistas com gestores do programa; beneficiários diretos (produtores e membros das organizações que recebem os alimentos); beneficiários indiretos (comerciantes, creches, hospitais) etc., e com dados quantitativos, coletados em órgãos públicos, inclusive os de implementação do programa (número de beneficiários, número de municípios etc.). Os achados da pesquisa mostram avaliação positiva do programa e apontam os pontos em que sua implementação deve ser melhorada. Você encontra a publicação dessa pesquisa no livro “Avaliação de Políticas e Programas do MDS – Resultados – Segurança Alimentar e Nutricional - Volume 1”.
II - Os diagnósticos dos Cras, que têm sido frequentemente realizados pelo MDS, permitem avaliações longitudinais consistentes desse serviço nos diferentes tipos de municípios. À frente, trataremos mais desse processo.
24
muitos casos, essas relações não são nem mesmo explicitadas ou o são a partir do
senso comum, e não de um conhecimento sistematizado. Isto é o que salienta
Carneiro (2004):
O “marco lógico”, de acordo com Carneiro (2004), é um recurso metodológico
importante para auxiliar o desenho, o monitoramento e avaliação de projetos. A
metodologia estimula uma melhor definição do problema; a investigação de suas
causas, características e consequências; o planejamento dos recursos e atividades a
serem desenvolvidas na implementação do programa; o estabelecimento de metas e
objetivos a serem cumpridos etc.
4.2. Diagnóstico da Situação-Problema
A elaboração do marco lógico depende de um
diagnóstico do problema social: sua trajetória no tempo
e no espaço, sua incidência, magnitude etc.. Sem um
diagnóstico adequado, não é possível a elaboração de
um marco lógico consistente.
Sobre o diagnóstico, Carneiro (2004) diz o seguinte:
Nas Palavras da Autora...
Todo projeto tem implícito um modelo causal, uma hipótese, ou melhor, um conjunto de hipóteses vinculadas que orientam a intervenção. Uma certa concepção sobre um problema, suas causas e consequências justificam a escolha de determinadas estratégias de intervenção. Geralmente, os critérios de escolha e os pressupostos “teóricos” não são explicitados, o que fragiliza o planejamento das ações e compromete os resultados: se não há clareza suficiente sobre o problema, suas causas e consequências, ou sobre os meios a serem viabilizados para sua superação, os projetos encontram-se em uma situação de grande incerteza e risco, o que compromete a eficácia nos resultados e a eficiência no uso dos recursos. No final das contas, não contribuem para reverter a situação que deu origem a eles (p.70).
Não se Preocupe!
O marco lógico será tema de uma
disciplina específica deste curso. Os outros temas que tratamos nesta seção serão abordados também em outras disciplinas
Nas Palavras da Autora
A elaboração de um diagnóstico implica a coleta e análise de dados e informações, de natureza quantitativa e qualitativa. Para construir um bom diagnóstico, é necessário revisar a bibliografia sobre o tema, consultar documentos, buscar e analisar dados secundários e agregados, realizar entrevistas com os agentes envolvidos, visitas a campo e consultar fontes diversas. Não é uma tarefa simples, mas também não é impossível. Dada a sua centralidade para o êxito da intervenção, inexistem justificativas para que não se empreenda esforço considerável para se realizar um bom diagnóstico. A partir do diagnóstico, temos uma visão mais adequada e realista do problema, o que maximiza as chances de sucesso na intervenção (p. 74).
25
4.3. Indicadores sociais
Bons modelos analíticos e diagnósticos dependem do uso de bons indicadores,
que, por sua vez, dependem da construção de sistemas de informação. Vejamos
primeiro o conceito e as principais classificações de indicadores.
Discutindo sobre a importância dos indicadores para o planejamento e a
avaliação de políticas e programas sociais, Januzzi (2005) diz: “Os indicadores
apontam, indicam, aproximam, traduzem em termos operacionais as dimensões
sociais de interesse definidas a partir de escolhas teóricas ou políticas realizadas
anteriormente” (p. 138).
Exemplos de indicadores sociais, fornecidos por Januzzi, são: taxas de
analfabetismo, rendimento médio do trabalho, taxas de mortalidade infantil, taxas de
desemprego, índice de Gini e proporção de crianças matriculadas em escolas.
De acordo com Januzzi (2005), os indicadores podem ser classificados por:
1. Área temática à qual se referem: indicadores de saúde, de assistência
social etc.
2. Tipo dos dados utilizados em sua construção:
o indicadores objetivos ou quantitativos, construídos a partir de
ocorrências concretas ou empíricas; por exemplo, taxa de
desemprego, famílias atendidas pelo programa Bolsa Família;
Saiba Mais!
Vaitsman et. al. (2006) citam três estudos que cumpriram, para a SAGI, a função de diagnósticos. O primeiro foi realizado pela própria SAGI: refere-se ao “levantamento sobre os beneficiários do Programa de Erradicação do Trabalho Infantil (PETI). Como a secretaria responsável pelo programa, a SNAS, só possuía dados relativos aos recursos repassados aos municípios, sem qualquer informação sobre o público-alvo, foi realizado um levantamento junto aos municípios, que então forneceram dados que serviram de base para se fazer um perfil dos beneficiários e subsidiar a gestão do programa”. Os outros dois estudos foram realizados pelo IBGE e tiveram como foco “a rede da assistência social no Brasil, com o intuito de subsidiar o investimento e o planejamento da implementação e gestão do Sistema Único de Assistência Social (Suas)”: o primeiro “identificou toda a estrutura pública de organização da política (associações, conselhos, instituições) e de prestação de serviços nos municípios brasileiros”; o segundo, “a rede de assistência do setor privado, com informações sobre equipamentos assistenciais, tipos de serviços prestados, recursos humanos”. (p. 24). Estudos denominados “linhas de base” são
estudos diagnósticos.
26
o Indicadores subjetivos ou qualitativos, construídos a partir de
avaliações feitas por indivíduos; por exemplo, percepção dos
beneficiários de um programa.
3. Grau de complexidade:
o Indicadores simples ou analíticos, construídos a partir de um tipo
de dado apenas; por exemplo, taxa de escolaridade, número de
famílias atendidas;
o Indicadores complexos ou sintéticos que reúnem diferentes
dimensões da realidade empírica ou social; por exemplo, o Índice
de Desenvolvimento Humano (IDH), que sintetiza dados de
escolaridade, renda, esperança de vida; o Índice Sintético de
Desenvolvimento dos Cras, que será visto mais à frente.
4. Aspectos que interessam à gestão das políticas públicas (p. 144):
o Indicadores-insumo que medem a “disponibilidade de recursos
humanos, financeiros ou de equipamentos alocados para um
processo ou programa que afeta uma das dimensões da
realidade social”;
o Indicadores-resultado que se relacionam com os “objetivos finais
dos programas públicos, que permitem avaliar a eficácia do
cumprimento das metas especificadas”;
o Indicadores-impacto “referem-se aos efeitos e desdobramentos
mais gerais, antecipados ou não, positivos ou não, que decorrem
da implantação dos programas”;
o Indicadores-processo ou fluxo que traduzem, em medidas
quantitativas, o esforço operacional de alocação de recursos
humanos, físicos ou financeiros, fornecidos pelos indicadores-
insumo, destinados à obtenção de melhorias efetivas no bem-
estar da população-meta, que, por sua vez, são avaliadas por
meio dos indicadores-resultado e indicadores-impacto.
Para exemplificar o uso desses indicadores, Januzzi (2005) apresenta seu
encadeamento na avaliação de programas de transferência de renda.
27
Figura 1: Indicadores de acompanhamento de programas de transferência de renda.
Insumo Processo Resultado Impacto
Gasto público em programas
de transferência
de renda
% de famílias
cadastradas
% de famílias
atendidas
Proporção de
indigentes
Taxa de evasão
Redução da
desnutrição infantil
Fonte: Januzzi (2005, p. 145).
Cabe ressaltar que a concepção da Sagi de indicadores está em consonância
com a de Januzzi (2005), como pode ser visto nos livros organizados por Cunha
(MDS, 2007b) e VAITSMAN, et. al. (2006).
Sintetizando as concepções da Sagi, Cunha, em Catálogo de Indicadores dos
Programas do MDS, acrescenta a concepção de “indicadores de monitoramento”, que
são construídos a partir dos objetivos e da lógica de cada programa desenvolvido pelo
MDS.
4.4. Indicadores de monitoramento
Indicadores de monitoramento, diz
Cunha, “podem ser entendidos
fundamentalmente como indicadores sociais de
interesse programático” (p. 19) e dividem-se em
quatro tipos:
o Indicadores de estrutura: “medem
a quantidade de recursos, de distintas naturezas, que são aportados aos
programas/ações para viabilizar sua implementação”. Exemplo:
“quantidade de recursos financeiros ou humanos alocados em
determinado programa ou ação”. Esses indicadores foram denominados
por Januzzi “indicadores-insumo”.
o Indicadores de processo: “refletem informações a respeito da gestão
ou o uso efetivo dos recursos descritos pelos indicadores de estrutura”.
Exemplo: taxa cobertura atingida por um determinado programa
tomando-se como base sua população-alvo.
Saiba Mais!
Se você tiver oportunidade não deixe de ler o ótimo texto de Januzzi. O que está apresentado aqui é apenas uma síntese. O texto está disponível na internet e o endereço está nas referências bibliográficas.
28
o Indicadores de resultado: “medem o grau em que os objetivos finais de
um determinado programa são atingidos, consistindo em medidas das
mudanças efetivas proporcionadas pelo programa”. Exemplo: percentual
de famílias beneficiárias do Programa Bolsa Família que ultrapassaram
as linhas de pobreza ou extrema pobreza após o recebimento do
benefício.
o Indicadores de perfil: “referem-se às características sociodemográficas
da população alvo de um determinado programa, em um momento
específico do tempo, tendo em vista distintos aspectos da realidade
social de interesse dos gestores públicos, ainda que não se constituam
em metas do programa”. Exemplo: tamanho médio das famílias
beneficiárias do Programa Bolsa Família. (p, 21-2).
Quaisquer que sejam os indicadores, eles devem possuir certos atributos.
Diferentes analistas fazem referência a diferentes atributos. Os que são considerados
importantes para a Sagi, de acordo com Cunha (2007b) são:
Nas Palavras da Autora...
a. validade: o indicador deve ser capaz de medir o fenômeno em observação;
b. confiabilidade: os dados que serviram de base para o cálculo do indicador devem ser confiáveis;
c. sensibilidade: o indicador deve ser capaz de refletir variações significativas em relação às mudanças nas condições do fenômeno que descreve;
d. possibilidade de agregação: o indicador deve permitir a agregação para distintos níveis territoriais. Mudanças geográficas que porventura ocorram devem ser refletidas na metodologia empregada para elaboração do indicador;
e. periodicidade: o indicador deve ser passível de atualização regular. Isso depende, por sua vez, da freqüência de atualização do dado bruto; da necessidade de monitoramento do indicador, já que pode haver casos em que o dado bruto é registrado na base de dados com maior regularidade do que a
necessidade de cálculo do indicador.” (p. 19).
29
4.5. Sistemas de informação.
Sistemas de informação bem construídos e atualizados são outra pré-condição
para se avaliar os programas e políticas sociais. Os sistemas de informação fornecem
os dados para a construção de indicadores que são essenciais, como vimos
anteriormente, para qualquer tipo de avaliação. Cada órgão gestor da Assistência
Social deve construir seus próprios sistemas de informação para avaliar seus
programas e políticas específicos.
O MDS tem realizado um grande esforço, nos últimos anos, para construir um
sistema de informações que permita tanto a gestão dos programas e políticas quanto
seu monitoramento e avaliação. Esse sistema é denominado “Sistema Nacional de
Informação do Sistema Único de Assistência Social” – conhecido como “Rede Suas”.
Saiba Mais!
Bons exemplos de indicadores de monitoramento, simples e sintéticos, são aqueles desenvolvidos no processo de monitoramento dos Cras. Esse processo é bem descrito em publicação do MDS
O nome do livro é: “Linha de Base do Monitoramento dos Cras”, publicado pelo MDS/Sagi, em 2008. O livro traz os resultados da primeira etapa do processo de monitoramento dos Cras, que envolve a SAGI, SNAS, estados e municípios.
Os estados e municípios preencheram o formulário eletrônico, via Internet, disponibilizado pela SAGI. Além de dados cadastrais, eles informaram dados sobre a infra-estrutura dos Cras (disponibilidade de mobiliário e compartimentalização); recursos humanos (cadastro do corpo técnico e da coordenação: características de formação educacional, vínculo empregatício e carga horária de trabalho; serviços (detalhamento das atividades e dos serviços de proteção social básica oferecidos no equipamento); financiamento (levantamento das origens de financiamento do equipamento quanto ao aporte de recursos dos três entes federados); atendimento (coleta dos dados quanto ao público atendido pelos Cras, volume de atendimento e qual a relação dessas famílias com algum programa social).
Atualmente, há também o Censo Creas que, como o Censo Cras, conta com questionários eletrônicos de coleta de dados, preenchidos pelos estados e municípios.
Os dados coletados para os Cras permitiram a elaboração, entre outras coisas, dos indicadores de desenvolvimento dos Cras, que são dois: (i) Indicadores Dimensionais, que trazem quatro graus de desenvolvimento sobre as atividades realizadas, o funcionamento, os recursos humanos e a estrutura física; (ii) Indicador Sintético, constituído pela combinação dos graus de desenvolvimento dimensionais, fornecendo quatro níveis de desenvolvimento do Cras: insuficiente, regular, suficiente e superior.
30
A Rede Suas, de acordo com
informação do próprio MDS (site), é
“composta por ferramentas que realizam
registro e divulgação de dados sobre
recursos repassados; acompanhamento
e processamento de informações sobre
programas, serviços e benefícios sócio-
assistenciais; gerenciamento de convê-
nios; suporte à gestão orçamentária;
entre outras ações relacionadas à gestão da informação do Suas”. O sistema possui
um ambiente interno (intranet) e um externo (internet) e é constituído por diversos
aplicativos. De tempos em tempos, alguns aplicativos são retirados e outros incluídos
na rede. Atualmente, há nove aplicativos: CadSuas, Suasweb, BPCnaEscola,
GeoSuas, InfoSuas, Sistemas de Gestão Financeira, SISJovem, SISCON2006,
SISCON2007-2008, além de um link que serve para as empresas de transporte
verificarem a autenticidade da Carteira de Idoso.
O CadSuas integra e mantém dados corporativos de prefeituras, órgãos
gestores, conselhos e fundos, assim como entidades que, de alguma
maneira, se relacionam com a Rede Suas e/ou com o Conselho Nacional de
Assistência Social (CNAS). As prefeituras, os governos estaduais, a
Secretaria Nacional de Assistência Social (SNAS) e o próprio CNAS podem,
por meio do CadSuas, interagir com a base corporativa e incluir, alterar e
consultar cadastros das entidades. O aplicativo possibilita também que as
próprias entidades realizem o seu cadastro e solicitem o registro e
certificação no CNAS.
O Suasweb agiliza a transferência regular e automática de recursos
financeiros do Fundo Nacional de Assistência Social (FNAS) para os fundos
estaduais, municipais e do Distrito Federal. É constituído pelo Plano de Ação
Anual; Demonstrativo Sintético Físico Financeiro; informações essenciais
para gestores como saldos, contas correntes etc. O sistema é aberto para o
preenchimento por parte dos gestores e para a aprovação do Plano e
Demonstrativo pelo Conselho de Assistência.
O aplicativo BPCnaEscola conta com um programa de acompanhamento e
monitoramento do acesso à escola dos beneficiários do Benefício de
Prestação Continuada (BPC), preferencialmente aqueles entre zero e 18
anos.
Saiba Mais!
O livro Rede Suas: Gestão e sistema de informação para o Sistema Único de Assistência Social, publicado pelo MDS (2007c), traz um relato detalhado, embora desatualizado, da Rede Suas. A síntese aqui apresentada é feita a partir desse livro e de consulta ao site do MDS.
31
O GeoSuas é o sistema de georreferenciamento e geoprocessamento.
Fornece informações que subsidiam a tomada de decisões no processo de
gestão da Política Nacional de Assistência Social. Esse aplicativo resulta da
integração de dados e mapas, servindo de base para a construção de
indicadores.
O InfoSuas é um aplicativo aberto à população (internet). Disponibiliza
informações sobre os repasses financeiros do Fundo Nacional de
Assistência Social para os Fundos de Assistência Social dos Estados e
Municípios, classificando os repasses pelos serviços da Proteção Social
Básica e Especial (de alta e média complexidade) por regiões, estados e
municípios. Fornece acesso à base de dados dos pagamentos realizados
em anos anteriores, hierarquizados pelos tipos de intervenção e organizados
por período.
Os Sistemas de Gestão Financeira são o Sistema de Repasse Fundo a
Fundo (Sisfaf), o Sistema de Gestão de Convênios (Siscon) e o Sistema de
Acompanhamento Orçamentário do Suas (Siaorc). O Sisfaf tem por objetivo
agilizar e modernizar os procedimentos de repasses de recursos do FNAS
para os fundos municipais, estaduais; funciona de forma integrada com o
Sistema Integrado de Administração Financeira do Governo Federal (Siafi) e
com o InfoSuas, disponibilizando, neste, a base de dados de pagamentos. O
Siaorc permite o acompanhamento da gestão orçamentária do recurso
gerido pelo FNAS e também interage com o Sisfaf e o Siafi. Por fim, o
Siscon permite o gerenciamento dos convênios, desde o preenchimento dos
planos de trabalho até a prestação de contas.
O SisJovem permite o acompanhamento e gestão do programa ProJovem
Adolescente, fornecendo informações sobre sua execução.
O SISCON2006 e SISCON2007-2008 são aplicativos que proporcionam a
tramitação e análise de processos e a comunicação imediata entre os entes
federativos (União, estados, DF, municípios). O objetivo é agilizar a
tramitação de processos de cofinanciamento de convênios.
Além desses aplicativos, cabe lembrar o CadÚnico,que é um cadastro que
reúne dados das famílias com renda mensal de até meio salário mínimo em todo o
território nacional. Esse cadastro é coordenado pelo MDS, alimentado e gerenciado
pelos municípios e estados. Sua importância para a realização de diagnósticos para
implementação de políticas sociais é bem conhecida.
Por fim, cabe ressaltar que as informações coletadas por meio desses
aplicativos são tratadas e disponibilizadas pela Sagi e secretarias finalísticas do MDS
32
para a sociedade, gestores e trabalhadores da área na forma de indicadores. Uma
das formas de acesso a esses indicadores é a Matriz de Informação Social (MI
Social), que fornece dados municipais ou estaduais dos diferentes programas, desde
2004, em diferentes formatos e períodos.
O conhecimento detalhado da Rede Suas é indispensável a todo trabalhador
da Assistência Social. Esse conhecimento é propiciado, sobretudo, pelo acesso
rotineiro. O acesso a algumas bases, como a maioria de vocês já sabe, depende de
senha, que é disponibilizada pelo MDS aos gestores e trabalhadores da área.
O modelo analítico da intervenção e o diagnóstico, os indicadores e os
sistemas de informação são, portanto, instrumentos e recursos que permitem a
realização de boas pesquisas avaliativas. Mas uma boa avaliação depende também
da própria metodologia escolhida para o seu desenvolvimento. A metodologia a ser
utilizada é denominada por Cotta (1998) “modelo de avaliação”. Vejamos quais são os
tipos mais comuns.
5. MODELOS DE AVALIAÇÃO
Cotta (1998) aponta quatro modelos de avaliação. São eles:
a. Modelo de Pesquisa em Ciência Social: Esse desenho propicia
avaliações mais rigorosas e menos tendenciosas que o habitual, em
virtude do recurso a abordagens experimentais de investigação. É o
único modelo que realmente permite que se atribua à intervenção o
mérito pelas mudanças observadas na situação-problema, ou seja, é o
modelo que possibilita a avaliação da eficiência e da eficácia da
intervenção. No entanto, as conclusões extraídas por seu intermédio
devem ser analisadas criteriosamente e não tomadas como juízos
definitivos sobre o sucesso ou fracasso da intervenção. São orientações
e não determinações para a gestão.
b. Modelo Baseado em Objetivos: É um desenho de avaliação mais
sensível às especificidades dos projetos e programas e requer a
participação ativa da equipe por ele responsável na definição das
questões a serem investigadas. Esse modelo apresenta o inconveniente
de direcionar excessivamente a pesquisa para objetivos pré-
estabelecidos, o que pode obscurecer ou ocultar aspectos importantes.
c. Modelo Tipo “Caixa Preta”: É um desenho de pesquisa que se
restringe ao exame dos produtos. Não questiona os objetivos ou o
funcionamento do projeto ou programa e não busca a melhoria,
alteração ou término da intervenção.
33
d. Modelo Naturalista ou Qualitativo: Esse modelo, ao contrário do
modelo “caixa preta”, coloca o foco na compreensão do significado da
intervenção, desconsiderando a mensuração de seus resultados.
Sustenta-se no contato direto do avaliador com as instituições e atores
relevantes, apresentando um caráter essencialmente descritivo.
Como ocorre com os modelos de análise de política pública, é importante
lembrar que não há, em princípio, um modelo de avaliação melhor ou pior. A escolha
de um ou outro deve estar orientada, como chamam a atenção Vaitsman et. al (2006),
para:
Assim, a escolha de um desenho de pesquisa de avaliação, e, portanto, da
metodologia a ser utilizada depende das perguntas que se quer responder e da
disponibilidade de dados, tempo e recursos.
34
REFERÊNCIAS
ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de
avaliação. Revista do Serviço Público, ano 51, n. 4, 2000, p. 5-60. Disponível em:
<http://www.enap.gov.br/index.php?option=com_docman&task=cat_view&gid=831&dir
=DESC&order=name&limit=5&limitstart=5> Acesso em: julho de 2011.
CARNEIRO, Carla B. L. Intervenção com foco nos resultados: elementos para o
desenho e avaliação de projetos sociais. In: CARNEIRO, C. B.; COSTA, Bruno. L. D.
(Org.). In: Gestão Social: O que há de novo? Belo Horizonte: Fundação João Pinheiro,
2004, p. 69-49. Disponível em:
<http://www.eg.fjp.mg.gov.br//index.php?option=com_content&task=view&id=116&Ite
mid=174 > Acesso em julho de 2011.
COTTA, Tereza C. Metodologias de avaliação de programas e projetos sociais:
análise de resultados e de impacto. Revista do Serviço Público, ano 49, n. 2, pp. 103-
123, 1998. Disponível em:
<http://www.enap.gov.br/index.php?option=com_docman&task=cat_view&gid=821&Ite
mid=129> Acesso em: julho de 2011.
FARIA, Carlos A. P. A política da avaliação de políticas públicas. RBCS, v. 20, n. 59,
2005 Disponível em: <http://www.scielo.br/pdf/rbcsoc/v20n59/a07v2059.pdf> Acesso
em: julho de 2011.
JANUZZI, Paulo de M. Indicadores para diagnóstico, monitoramento e avaliação de
programas sociais no Brasil. Revista do Serviço Público, ano 56, n. 2, p. 137-160,
2005. Disponível em:
<http://www.enap.gov.br/index.php?option=com_docman&task=cat_view&gid=848&dir
=DESC&order=name&limit=5&limitstart=5> Acesso em: julho de 2011.
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME. Avaliação
de políticas e programas do MDS: resultados: Segurança Alimentar e Nutricional.
Volume 1. Jeni Vaitsman e Rômulo Paes-Sousa (Orgs.). Brasília, DF: 2007.
Disponível em: <http://www.mds.gov.br/gestaodainformacao/biblioteca/secretaria-de-
avaliacao-e-gestao-de-informacao-sagi/livros/avaliacao-de-politicas-e-programas-do-
mds-2013-resultados-volume-1-2013-seguranca-alimentar-e-nutricional/avali1.pdf >
Acesso em: junho de 2011.
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME. Avaliação
de políticas e programas do MDS: resultados: Bolsa Família e Assistência Social.
Volume 2. Jeni Vaitsman e Rômulo Paes-Sousa (Orgs.). Brasília, DF: 2007a.
Disponível em: <http://www.mds.gov.br/gestaodainformacao/biblioteca/secretaria-de-
avaliacao-e-gestao-de-informacao-sagi/livros/avaliacao-de-politicas-e-programas-do-
35
mds-2013-resultados-volume-2-2013-bolsa-familia-e-assistencia-social/avaliacao-de-
politicas-e-programas-do-mds-2013-resultados-volume-2-2013-bolsa-familia-e-
assistencia-social> Acesso em: julho de 2011.
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME. Catálogo de
Indicadores de Monitoramento dos Programas do MDS. Júnia Valéria Quiroga da
Cunha (Org.). Brasília, DF: 2007b. Disponível em:
<http://www.mds.gov.br/gestaodainformacao/biblioteca/secretaria-de-avaliacao-e- gestao-de-informacao-sagi/livros/catalogo-de-indicadores-de-monitoramento-dos-progrmas-do-mds> Acesso em: julho de 2011.
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME/SNAS. Rede
Suas: Gestão e sistema de informação para o Sistema Único de Assistência Social.
Luziele Tapajós e Roberto Wagner da Silva Rodrigues (Orgs.) Brasília, DF: 2007c.
Disponível em: <http://www.mds.gov.br/gestaodainformacao/biblioteca/secretaria-
nacional-de-assistencia-social-snas/livros/rede-suas-gestao-e-sistemas-de-
informacao-do-sistema-unico-de-assistencia-social/rede-suas-gestao-e-sistema-de-
informacao-para-o-sistema-unico-de-assistencia-social> Acesso em: julho de 2011.
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME/UNESCO.
Concepção e gestão da proteção social não contributiva no Brasil. Brasília, DF: 2009.
Disponível em: <http://unesdoc.unesco.org/images/0018/001830/183075por.pdf>
Acesso em: julho de 2011.
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME/ Sagi. Linha
de base do monitoramento dos Cras - Edição revisada. Brasília, DF: 2008.
MOLINA, Carlos G. Modelo de formacion de politicas e programas sociales. IDES-
INDE, 2002. Disponível em:
<http://economia.unmsm.edu.pe/Docentes/JNavarroL/CursosJNL/EPS_2007-
I/02%20Modelo%20de%20Formaci%C3%B3n%20de%20politicas%20y%20programa
s%20sociales.pdf> Acesso: 30.07.2009.
RUA, Maria das G.. Análise de políticas públicas: Conceitos Básicos. Washington,
Indes/BID, 1997, mimeo. Disponível em:
http://www.ufba.br/~paulopen/AnalisedePoliticasPublicas.doc Acesso em: 30.07.2009.
SILVA, Pedro Luiz Barros e MELO, Marcus André Barreto. O processo de
implementação de políticas públicas no Brasil: características e determinantes da
avaliação de programas e projetos. NEPP/UNICAMP, Caderno n° 48, 2000.
Disponível em: http://www.nepp.unicamp.br/
THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de
gestão pública. Revista do Serviço Público, ano 51, n. 2, 2000. Disponível em:
36
http://www.enap.gov.br/index.php?option=com_docman&task=cat_view&gid=829&Ite
mid=129 Acesso em: julho de 2011.
VAITSMAN, Jeni; RODRIGUES, Roberto W. S.; PAES-SOUSA, Rômulo. O Sistema
de Avaliação e Monitoramento das Políticas e Programas Sociais: a experiência do
Ministério do Desenvolvimento Social e Combate à Fome do Brasil. Brasília, DF:
UNESCO, Policy Papers /17, 2006. Disponível em:
<http://unesdoc.unesco.org/images/0014/001485/148514por.pdf> Acesso em: julho de 2011.