A experiência de Minas Gerais em avaliações de impacto entre 2007 e 2010 – a visão dos

stakeholders envolvidos

Cinthia Helena de Oliveira Bechelaine1

Ivan Beck Ckagnazaroff2

RESUMO

No âmbito do processo de mudança da administração pública gerencial, um número

considerável de governos trabalha para aprimorar sua atuação, via criação de sistemas para

medir e compreender seu desempenho. A presente pesquisa teve como objetivo reconstruir, a

partir da visão dos stakeholders envolvidos no processo, a experiência brasileira do governo

do Estado de Minas Gerais na implantação de um sistema de avaliações entre os anos de 2007

e 2010. Procurou-se examinar como o sistema avaliativo foi construído, quais seus objetivos,

características, dificuldades e se, de fato, as avaliações empreendidas favoreceram a utilização

de seus resultados. Como observações do estudo, nota-se que a incapacidade de acomodar o

pluralismo de atores envolvidos nas avaliações, a desconsideração do contexto e fatores

políticos que envolvem a implantação de avaliações foram alguns dos desafios encontrados.

Palavras-chave: políticas públicas; sistemas de monitoramento e avaliação; avaliação de

políticas públicas; avaliações de impacto; utilização de avaliações.

1 Doutoranda em Administração Pública e Governo pela Fundação Getúlio Vargas, atualmente trabalha no Planejamento do Banco de Desenvolvimento de Minas Gerais (BDMG). <cinthia.bechelaine@gmail.com>2 Professor Titular do Departamento de Ciências administrativas da Faculdade de Ciências Econômicas da Universidade Federal de Minas Gerais. Área de interesse: governança pública, modernização administrativa, participação cidadã. <ivanbeck00@gmail.com>

2

INTRODUÇÃO

As avaliações de políticas públicas carregam em si um receituário de boas intenções. As

promessas vão desde a contribuição para aumentar a racionalidade na tomada de decisões,

identificando problemas e seleção de alternativas de solução até o processo de aprendizagem

organizacional. O campo das avaliações não diz respeito somente aos pesquisadores da área,

mas a um amplo público que se divide em políticos, administradores, beneficiários de

programas governamentais, legisladores e cidadãos entre outros atores. É, antes de tudo, uma

atividade complexa que envolve também decisões políticas e administrativas, além daquelas

estritamente relacionadas a avaliação.

No Brasil, a pesquisa de avaliação de políticas sociais expande-se nos anos 1990 com o

processo de reforma da administração pública gerencial (Calmon e Gusso, 2002), seguindo

mais as pressões de organismos internacionais do que, diretamente, políticas voltadas para a

melhoria da qualidade da provisão de serviços públicos e políticas mais efetivas (Ribeiro,

2009). No caso brasileiro, o protagonismo de governos estaduais quanto às práticas de

avaliação se iniciou seguindo as reformas gerenciais que se instalaram nos diferentes entes da

federação. Entre as experiências, destaca-se a do governo de Minas Gerais que, a partir de

2003, adotou práticas de monitoramento e avaliação de suas políticas (Ferreira, Lopes e

Campos, 2010).

Como problema de pesquisa deste trabalho procurou-se responder a seguinte questão:

como ocorreu o processo de construção de um sistema de avaliações no governo de Minas

Gerais, entre 2007 e 2010, na visão de stakeholders envolvidos? Mais especificamente,

procurou-se examinar, a partir do estudo de caso da experiência mineira, como os sistemas

avaliativos governamentais foram construídos, quais os objetivos das avaliações, suas

características, dificuldades e, principalmente, se, de fato, as avaliações empreendidas

favoreceram a utilização de seus resultados.

3

O trabalho está organizado em cinco seções, além desta introdução. A primeira seção

objetiva discutir o conceito de avaliação na visão de diferentes autores, com um enfoque

especial nas avaliações de impacto. Na seção dois apresenta-se o desenvolvimento do tema

avaliação no Brasil e seus antecedentes no contexto mineiro. Com vistas a ilustrar e

problematizar a elaboração teórica, após a explicação da metodologia de pesquisa utilizada, a

seção quatro apresenta a parte empírica desta pesquisa, qual seja, o estudo de caso das

avaliações empreendidas pelo estado de Minas Gerais na visão de seus stakeholders. Por fim,

são apresentadas as considerações finais deste trabalho, seguida pelas referências utilizadas.

AVALIAÇÕES COMO INSTRUMENTO DE MUDANÇA

A avaliação formal é um fato ainda recente, fortalecido na década de 1960, em

decorrência da criação de programas para a resolução de problemas sociais, ao aumento do

orçamento destinado a esses programas e, concomitantemente, à incapacidade de governos em

auferir seus resultados e impactos (Weiss, 1998). Buscava-se, com isso, encontrar

metodologias que permitissem avaliar a efetividade das intervenções estatais na área social,

por meio da construção de métodos pautados em critérios técnicos que visavam respaldar as

ações de governo e indicar alternativas com maior benefício social, corrigindo os rumos dos

programas.

Segundo Ala-Harja e Helgason (2000: 10) um significado comum a todas as avaliações

seria: a constituição de “[...] análises sistemáticas e de aspectos importantes de um programa e

de seu valor, de modo a fornecer conclusões confiáveis e utilizáveis”. Para Rossi e Freeman

(1993), avaliação é a aplicação de procedimentos sistemáticos de pesquisa social científica,

com o objetivo de investigar a efetividade de programas de intervenção social para ajudá-los a

aprimorar aspectos importantes como eficiência, desenho e implementação entre outros. Para

Guba e Lincoln (1989), os objetivos de uma avaliação devem ir além dos objetivos da medida,

4

da descrição e dos juízos, e adotar uma posição construtivista que toma em conta as

interpretações e as significações que os atores elaboram da situação a avaliar. Alkin (2004)

define avaliação como a atividade sistemática de obtenção de informações que podem ser

utilizadas para mudanças de atitudes ou para a introdução de julgamentos que podem ser

utilizados para o aprimoramento de projetos.

De acordo com Weiss (1998: 4), cinco elementos podem ser percebidos em um conceito

avaliação de programas: “[...] avaliação consiste na análise sistemática dos processos ou dos

resultados de um programa, em comparação com um conjunto de padrões explícitos ou

implícitos, com o objetivo de contribuir para o aprimoramento do mesmo”. O primeiro

elemento (análise sistemática) enfatiza a metodologia da avaliação que, seja qualitativa, seja

quantitativa, deve ser conduzida com rigor e formalismo. Os segundo e terceiro elementos da

definição (processos ou resultados) concentram-se no foco de investigação das avaliações,

que podem ser vários: momento em que se avalia, quem as realiza, a natureza que têm, o

objeto avaliado, entre outros. O quarto elemento da definição de Weiss (1998) diz respeito ao

julgamento, à atribuição de valor, ou seja, a comparação das evidências coletadas com o

conjunto inicial de expectativas. Para Arretche (1998), qualquer forma de avaliação envolve,

necessariamente, uma forma de julgamento, uma medida de aprovação ou desaprovação. Por

fim, o quinto e último elemento aponta para a finalidade das avaliações de programas ou

políticas: contribuir para o aprimoramento da política ou programa em questão.

Com base no último elemento apresentado por Weiss (1998), e a partir da visão de

vários outros autores (Mokate, 2002; Costa e Castanhar, 2003; Pisco, 2006), a avaliação é um

instrumento de mudança que não deve apenas demonstrar os problemas ou propor soluções

para os problemas detectados, mas produzir mudanças apropriadas que conduzam ao

cumprimento de padrões de qualidade em diferentes serviços. Para Worthen, Sanders e

Fitzpatrick (2004: 594), a avaliação, deve levar “[...] a melhorias diretas e incontestáveis de

5

sistemas, programas e práticas – melhorias que não teriam ocorrido de nenhuma outra forma”.

Patton (2008) argumenta que as avaliações devem ser focadas na utilização (utilization-

focused evaluation) e disseminação dos resultados desde o início, do contrário, elas mesmas

nem devem ser iniciadas.

Autores mais ousados, como Henry (2000), ultrapassam a questão da utilização e

sugerem como objetivo final das avaliações o social betterment, ou seja, a mudança social nas

condições de vida da população. Para Henry (2000), a visão de que uma avaliação tem como

objetivo a utilização de suas informações é reducionista e pode obscurecer seu verdadeiro

propósito, qual seja, o de modificar a realidade social. O próprio autor, contudo, reconhece

que alcançar o propósito de social betterment não é trivial. Indiretamente, as melhorias nas

condições de vida da população não podem ser evidenciadas sem antes os formuladores de

políticas, políticos e os próprios cidadãos se apropriarem das informações geradas pelas

avaliações.

De acordo com Worthen, Sanders e Fitzpatrick (2004), diferenciadas concepções de

modelos de avaliações foram criadas desde o crescimento dos estudos avaliatórios no boom

das políticas sociais advindas dos regimes de welfare state (Weiss, 1998). De acordo com

Aguilar e Ander-Egg (1995), quatro tipos de avaliações têm maior interesse prático: 1)

segundo o momento em que se avalia – ex-ante, intermediárias ou ex-post; 2) segundo o papel

ou função da avaliação – somativas ou formativas3; 3) segundo a procedência dos avaliadores

– externa, interna, mista ou autoavaliação; 4) segundo os aspectos do programa que são objeto

da avaliação – eficácia, eficiência ou efetividade. Em relação ao último item, Aguilar e

Ander-Egg (1995: 46) comentam que “[...] uma das classificações mais úteis é a que se faz

atendendo aos aspectos ou componentes do programa que são objeto de avaliação” uma vez

3 Avaliações somativas são conduzidas quando o programa já está implementado e utilizadas para subsidiar decisões como, por exemplo, alocação de orçamento, continuidade de um projeto ou expansão entre outros. Avaliações formativas são orientadas ao aperfeiçoamento das políticas uma vez que são adotadas durante a implementação de um programa como meio de adquirir mais conhecimento sobre a gestão, desenvolvimento e resultado que se deseja melhorar. Ver Patton (2008).

6

que as diferentes tipologias de avaliação têm implicações metodológicas e técnicas específicas

para os avaliadores e demais envolvidos na avaliação.

As avaliações de efetividade (ou impacto) são um tipo específico de avaliação focadas

em torno do efeito causal de um programa, isto é, as implicações do mesmo sobre

determinado grupo de beneficiários (Khandker, Koolwal e Samad, 2010). O foco na

causalidade, marca das avaliações de impacto, determina as metodologias que podem ser

utilizadas, uma vez que para estimar o efeito causal de um programa sobre seu público-alvo, o

método escolhido deve simular o que aconteceria com os beneficiários caso o programa não

tivesse ocorrido, com o objetivo de descobrir quais mudanças nos beneficiários são

diretamente atribuíveis ao programa em questão. Assim, para auferir o impacto de uma

intervenção, utilizam-se diferentes métodos capazes de comparar os efeitos esperados do

programa em um grupo de tratamento (grupos de indivíduos que participaram do programa) e

outro grupo de controle (grupo de indivíduos com características semelhantes ao grupo

tratamento, mas que não participaram do programa) em relação aos resultados/mudanças ao

longo do tempo observados.

As avaliações de impacto também podem ser aplicadas a diferentes contextos, como

afirmado por Gertler at al. (2011) e abrangem problemas complexos, inerentes à natureza dos

próprios programas sociais. Por exemplo, as avaliações podem ser direcionadas a programas

de educação: qual o impacto das bolsas de estudo sobre o desempenho acadêmico? Ou

programas de saúde: qual o impacto das campanhas de incentivo ao pré-natal sobre a redução

da taxa de mortalidade infantil? Assim, dada a natureza dos próprios programas avaliados e a

complexidade das metodologias utilizadas nas avaliações de impacto, as mesmas enfrentam

dificuldades como a complexidade de se isolar o impacto de uma política social – uma vez

que se trata de contextos dinâmicos e interativos, tempo de execução prolongado e custo

(Arretche, 1998).

7

Neste trabalho, utiliza-se o conceito de avaliação como o processo sistemático de coleta

e análise de dados para determinar se os objetivos de um programa têm sido ou estão sendo

alcançados e em que grau, com a finalidade de auxiliar na tomada de decisões. Nesse sentido,

as avaliações existem para contribuir para o aperfeiçoamento de programas e políticas por

intermédio da disponibilização de informações. Como expresso no problema de pesquisa, o

foco se dará em avaliações de impacto realizadas por avaliadores externos.

ANTECEDENTES DO SISTEMA DE MONITORAMENTO E AVALIAÇÃO NO

ESTADO DE MINAS GERAIS

A pesquisa de avaliações começa a entrar em pauta no setor público brasileiro na década

de 1980, no contexto da transição política para o restabelecimento da democracia e da

necessidade de instituir programas sociais mais equânimes (Castro, 1989). Mas como coloca

Calmon e Gusso (2002: 7), somente “em meados da década de 1990, ganhou destaque o

reconhecimento da necessidade de o governo dispor de processos de monitoramento e

avaliação”. Ribeiro (2009) cita como motivos do fortalecimento da avaliação no Brasil, a crise

de financiamento do setor público e as iniciativas de organismos internacionais de

financiamento, como o Banco Mundial, que pretendiam instrumentalizar países em

desenvolvimento para gestão pública mais eficiente e efetiva. Nesse sentido, a preocupação

com a efetividade das políticas sociais estaria mais relacionada à reforma do setor público e

aos pressupostos da gestão eficiente do que, de fato, A um sistema consolidado de proteção

social e a necessidade de desenvolver políticas que atendessem às necessidades da população.

A reforma administrativa realizada a partir de 1995 no Brasil estabeleceu o marco para a

promoção de reformas administrativas nos demais entes da federação, e um protagonismo

estadual em torno de princípios da administração gerencial e da cultura de resultados começa

a surgir. Em Minas Gerais, um dos casos exemplares no Brasil, o planejamento estratégico e a

8

gestão pública por resultados tornaram-se aspectos marcantes do processo de modernização

administrativa, com a consequente avaliação de resultados (Corrêa, 2007).

A partir de 2003, segundo o discurso do governo, o estado de Minas Gerais atravessava

um contexto de agravamento do quadro fiscal e graves problemas de desempenho da

administração pública (Vilhena, 2006). Em resposta à crise fiscal e administrativa, buscou-se

modernizar o aparato institucional do Estado a partir de um conjunto de medidas implantadas

entre 2004 e 2007 intituladas “Choque de Gestão” (Anastasia, 2006). Um ponto de partida

para a implantação do sistema de monitoramento e avaliação mineiro foi o fortalecimento das

ferramentas de planejamento já existentes, de modo que pudessem constituir uma plataforma

para integrar a orientação por resultados no governo (Busjeet, 2010). Dentre as ferramentas de

planejamento citam-se: o Plano Mineiro de Desenvolvimento Integrado (PMDI), elaborado

em 2003 para ser o plano estratégico do governo (Guimarães e Campos, 2008); a

determinação de um portfólio de projetos estruturadores que continham o detalhamento das

ações prioritárias que era gerenciado pela Superintendência Central de Gestão Estratégica de

Recursos e Ações do Estado (GERAES); e a adoção da contratualização de resultados,

instituída pelo Acordo de Resultados. De acordo com Duarte at al. (2006), o Acordo é um

instrumento de pactuação de resultados que celebra um contrato (negociado entre as partes)

que regula as relações entre o núcleo estratégico (formulador de políticas) e as entidades

descentralizadas (executoras), ou seja, que coordena a pactuação de resultados, visando a

melhoria do desempenho operacional das organizações partícipes.

Em 2007, o PMDI foi reestruturado para o horizonte 2007-2023, trazendo em seu

conteúdo áreas de resultado – que seria alvo da intervenção de um grupo de projetos

estruturadores e indicadores finalísticos. Para Guimarães e Campos (2008), a essa nova versão

do PMDI, ao discutir os objetivos e resultados que o Estado almejava alcançar, fortaleceu o

foco no resultado. Além disso, outra questão fundamental foi a tradução de objetivos em

9

metas de médio e longo prazos que, por sua vez, seriam mensuradas por meio dos indicadores

finalísticos.

Outra mudança instituída foi a criação do Programa Estado para Resultados (EpR), uma

das unidades protagonistas da agenda de avaliações de políticas públicas do governo. De

acordo com Busjeet (2010), o EpR, caracterizado pela autora como “guardião do PMDI”, foi

criado em 2007 tendo como pressuposto que, complementarmente à estrutura formal da

secretaria de planejamento, necessitava-se de um novo tipo de instituição, reduzida e

temporária, com atuação em vários setores do governo e guiada pelo PMDI. Coube ao EpR4,

por meio de uma Unidade de Indicadores, estruturar um modelo de gestão por resultados no

governo por meio do acompanhamento dos indicadores finalísticos e do desenvolvimento de

frentes de pesquisa e avaliação, dotando o governo de informações acerca de seus resultados.

Somente a partir do ano de 2007 foi possível observar um claro direcionamento do

governo mineiro para contratação e desenvolvimento na área de avaliações (Ferreira, Lopes e

Campos, 2010). Embora existissem iniciativas anteriores, como a avaliação anual do PPAG,

assim como iniciativas isoladas de alguns programas, foi a partir de 2007 que se notou maior

interesse pelas avaliações, principalmente por aquelas relacionadas à efetividade (avaliações

de impacto) dos programas. Nesse período, o esforço desenvolvido na frente de avaliações de

políticas públicas foi liderado pelo EpR e Fundação João Pinheiro (FJP)5, contando com o

contínuo apoio da SEPLAG e com a rede de especialistas do Banco Mundial.

Ou seja, a adoção de tais instrumentos propiciou condições para adoção de avaliação.

Tais instrumentos fizeram uso de metas e indicadores, cujas informações seriam utilizadas

como referências para avaliações de impacto de projetos estruturadores posteriormente.

4 Para entender mais sobre o EpR e suas subdivisões ver Bechelaine, 2009.5 A FJP constitui uma agência estadual criada em 1969 para munir o governo do estado de estudos econômicos, sociais e lançamento e análise de estatísticas oficiais, além das funções de treinamento de servidores públicos.

10

Após analisados o desenvolvimento das avaliações de políticas públicas no Brasil e o

contexto inicial em que foram introduzidas em Minas Gerais, a seção seguinte aborda a

metodologia de estudo utilizada na parte empírica do trabalho.

METODOLOGIA

Como técnica de pesquisa utilizou-se o estudo de caso que, de acordo com Yin (2003),

constitui uma investigação empírica que analisa um fenômeno contemporâneo e real com

múltiplas variáveis de interesse. Assim, a unidade de análise escolhida corresponde ao

“sistema de avaliações de projetos estruturadores realizadas pelo Governo do Estado de Minas

Gerais entre os anos de 2007 e 2010”.

Tendo em vista que a natureza do objeto de pesquisa demanda uma análise de caráter

interpretativo dos dados coletados, utilizou-se a estratégia qualitativa. As evidências deste

estudo correspondem a fontes distintas, quais sejam: 1) observação direta a partir de visitas às

secretarias de Estado que participaram das avaliações e às instituições contratadas para aplicar

as avaliações; 2) análise documental, como os contratos e termos de referência elaborados

para a contratação das instituições responsáveis pela avaliação, projetos de avaliação,

relatórios finais e intermediários das avaliações, assim como demais documentos relacionados

ao tema e ao processo de avaliação; 3) entrevistas com os principais stakeholders envolvidos

nas avaliações e sua implementação.

No que se refere aos stakeholders, foram realizadas vinte e cinco entrevistas, sendo:

quatro entrevistas com gerentes dos projetos submetidos às avaliações das áreas de educação,

saúde, desenvolvimento social e segurança pública; cinco entrevistas com membros das

equipes desses projetos; dez entrevistas com avaliadores da FJP e do Centro de

Desenvolvimento e Planejamento Regional de Minas Gerais (CEDEPLAR) responsáveis por

realizar as avaliações; seis entrevistas com sponsors das avaliações, ou seja, pessoas

11

envolvidas nos processos de financiamento e contratação – como coordenadores do EpR e da

FJP, e equipes técnicas do EpR.

Para lidar com as dimensões de análise – processos, propósitos, abordagens,

dificuldades e desfecho das avaliações do governo de Minas Gerais, as entrevistas realizadas

ao longo do segundo semestre de 2012, contaram com roteiro semelhante aplicado em

diferentes atores com a finalidade de comparar as visões dos stakeholders sobre as avaliações

realizadas. O roteiro de entrevistas abarcou questões ligadas à construção do modelo de

avaliações, ao funcionamento e processo no governo, principais características e instrumentos

utilizados, relacionamento com as equipes, além dos benefícios e dificuldades identificadas.

Formadas essencialmente por perguntas abertas, obtiveram-se, aproximadamente, quarenta e

uma horas de gravação de entrevistas, com uma média de tempo, portanto, de uma hora e

quarenta e dois minutos por entrevistado, de acordo com registros próprios.

Assim, a próxima seção apresenta a parte empírica deste trabalho e detalha, na visão dos

stakeholders, o processo inicial de conduções das avaliações no governo – atores envolvidos,

seleção dos projetos avaliados e objetivos iniciais – assim como elementos da execução e

desfecho das avaliações.

O PROCESSO DE AVALIAÇÕES NO GOVERNO DE MINAS GERAIS NA VISÃO

DOS STAKEHOLDERS

Embora muitas ferramentas de gestão houvessem sido criadas no Estado de Minas

Gerais após 2003 – como o monitoramento de projetos, a contratualização de resultados e o

acompanhamento de indicadores de desempenho; Ferreira, Lopes e Campos (2010) afirmam

que não havia cultura de avaliações de políticas públicas antes de 2007. Os estudos

avaliatórios que ocorreram em governos anteriores constituíram iniciativas isoladas e, muitas

vezes, influenciada por organismos internacionais, como o Banco Mundial. Um dos

12

avaliadores entrevistados comenta que “[...] por mais que a FJP sempre tivesse em suas

funções o cerne da avaliação de políticas, nem sempre tal movimento foi constante”, o que

diferencia as avaliações esporádicas já realizadas pela instituição, do surgimento de uma

agenda de avaliações que se iniciava no período de 2007. Na percepção do entrevistado do

EpR, a execução de um conjunto de avaliações de impacto foi uma iniciativa inovadora e,

dada a sua natureza pioneira, seria também natural que o processo apresentasse dificuldades:

O governo não tem maturidade e não tem histórico de avaliação. A avaliação sempre aparece em termos de disciplina e de conteúdo de maneira esporádicas, esforços individuais ou bem pontuais ao longo do tempo de maneira diferente. [...] isso é uma coisa que nunca teve uma cultura específica no Governo. (EPR1)6

Foi bastante ousado fazer as avaliações na época, mesmo sabendo que provavelmente haveria problemas com o cumprimento de prazo, obtenção de dados necessários, envolvimento dos atores; e ainda sim optou-se por fazer algo que não era feito antes: avaliações de impacto com as metodologias recomendadas pela literatura, com participação de avaliadores externos e participação de agentes internos ao governo. (EPR3)

A articulação dos diferentes papéis e responsabilidades estabelecidos pelo modelo de

gestão por resultados mineiro foi conduzida por três entes estaduais distintos, além de

inúmeros stakeholders envolvidos. Os condutores do processo seriam a Secretaria de Estado

de Planejamento e Gestão (SEPLAG), onde funcionavam as equipes responsáveis pelo

monitoramento dos projetos estruturadores, gestão dos acordos de resultados e processo

orçamentário; o Programa EpR, responsável pelo modelo de gestão por resultados no

governo; e a FJP, como instituição de pesquisa e ensino. O Banco Mundial tem um papel-

chave como instituição externa fomentadora do processo, por meio de financiamento e

expertise. Para o entrevistado do EpR, a “criação da capacidade de avaliar” se deu pela soma

fatores excepcionais combinados: lideranças do EpR e FJP, presença do Banco Mundial e

“diálogo” entre o grupo que estava sendo criado para discussão do tema de avaliações no

6 Nesta e nas demais transcrições de entrevistas não se levará em conta a correção linguística e gramatical. O objetivo é preservar a espontaneidade das falas dos entrevistados.

13

governo. Na visão de um dos projetos avaliados, “os protagonistas” da demanda de avaliação

seriam o Banco Mundial e EpR, como demonstrado no segundo trecho abaixo:

Juntou a liderança do Governo [SEPLAG e EpR], o espaço do Banco Mundial e a liderança da Fundação João Pinheiro que via a importância de se ter essa questão [avaliação] – tem muito a ver com a liderança das pessoas também isso. Havia diálogo e pessoas que sabiam do que se tratava a avaliação e conseguiram dialogar sobre o assunto para fazer o assunto render. (EPR1)

Eu receio que [a avaliação] não tenha sido exatamente assim, uma demanda Saúde [...]. Acho que o Banco tem talvez o papel mais de protagonista mesmo nesse processo e era também uma proposta do Estado para Resultados ter lá um setor, um lócus de avaliação de políticas. (GERENTE PROJETO SAÚDE)

O primeiro esforço para a implementação das avaliações, em 2008, foi o início de um

programa de treinamento, financiado pelo Banco Mundial, para técnicos da FJP e do EpR. O

treinamento consistiu em cursos com especialistas internacionais na área de avaliação e

contratação de força de trabalho qualificada para a realização das avaliações, além do

primeiro Seminário da Rede Brasileira de M&A7, recém-criada no período. De acordo com o

entrevistado da coordenação da FJP, toda a estratégia de treinamento, contratação de

especialistas e geração de expertise fazia parte de um “[...] planejamento maior de criar o

aprendizado quanto ao tema avaliação e criar certa internacionalização da tecnologia de

avaliações no governo”.

O programa de treinamentos culminaria na identificação dos projetos que poderiam ter

uma avaliação de impacto realizada. Quando interrogados pelos critérios de seleção dos

projetos que passariam pelas avaliações de impacto, os entrevistados colocaram que não teve

“uma forma matemática” mas uma análise que combinava a importância do projeto para a

estratégia do governo na época – “os mais queridinhos dos olhos”, e uma seleção técnica com

requisitos mínimos para auferir o impacto como, por exemplo, uma relação causal bem

definida. O entrevistado EpR3 não descarta a questão política no momento de se selecionar os

projetos para a avaliação: aponta que os projetos selecionados contavam com orçamentos

7 A Rede Brasileira de M&A foi fundada em novembro de 2008, com o apoio da Fundação João Pinheiro (FJP), do Banco Interamericano de Desenvolvimento e do Banco Mundial. Para mais informações acessar: http://redebrasileirademea.ning.com/.

14

vultuosos e havia certa expectativa que a relação entre causa e efeito desses projetos era

positiva, ou seja, esperava-se que os projetos gerassem resultados concretos para a sociedade.

Nesse sentido, uma das percepções aponta que a escolha dos projetos tenha sido feita com o

intuito de “justificar as escolhas que o Governo estava fazendo na época”.

Não tem uma fórmula específica assim, que é matemática, mas basicamente você seguiu a ideia: é estratégico, e do estratégico, partiu do pressuposto é projeto estruturador, e está em áreas com um destaque maior. [...] você tinha uma sensibilidade de que algumas áreas como educação, saúde e segurança são mais importantes do que outras áreas. [...] Alguns projetos você queria avaliar, mas não tinha capacidade de avaliar, então você abortava, deixava, não escolhia ele para escolher um outro. (EPR1)

Ao todo, oito projetos foram selecionados para a realização das avaliações de impacto:

quatro projetos da área educacional, dois da Secretaria de Saúde, um de segurança pública e

um de desenvolvimento social. Como os projetos eram gerenciados em diferentes secretarias

governamentais e por gestores também distintos, os mesmos apresentavam muitas diferenças

quanto ao seu planejamento inicial, quanto a cultura organizacional das secretarias de Estado

em que eram desenvolvidos, quanto aos dados disponíveis, entre outras características, ou

seja, o contexto organizacional onde as avaliações seriam conduzidas constitui uma dimensão

que poderia afetá-las.

No que se refere aos objetivos da avaliação, um dos argumentos para a introdução de

um conjunto de avaliações à época era a ausência de informações quanto às ações que

estavam sendo realizadas pelo governo e seus resultados. De acordo com um dos

entrevistados do EpR, o governo mineiro já possuía o “M” de monitoramento – por meio de

ações de como a implantação do GERAES e do acompanhamento de indicadores, no entanto,

o “A” de avaliação, ainda constituía uma falha no sistema mineiro de M&A. Ferreira, Lopes e

Campos (2010) compartilham da ideia de que constituir um conjunto de avaliações,

principalmente avaliações de impacto, remete ao fato da necessidade de ter, ao final de um

15

ciclo governamental, um conjunto confiável de informações derivadas das avaliações de

impacto, acerca da efetividade das principais políticas públicas no Estado.

Além da função de gerar informações confiáveis, havia a expectativa de se utilizar as

avaliações para a tomada de decisões ou para a solução de problemas dos programas, que, de

acordo com Leviton e Hughes (1981), remete ao uso instrumental das avaliações – quando as

informações geradas pelas avaliações servem para modificar o objeto da avaliação. De acordo

com os entrevistados EPR1 e EPR3, a grande “promessa” seria poder desenhar e formatar

políticas de forma mais técnica, de forma mais segura e mais acertada utilizando as

informações contidas nas avaliações realizadas.

O ideal era de que você criasse uma base de que todas as políticas fossem avaliadas, que tivessem esse registro e que você pudesse a cada ciclo de gestão poder ir aprimorando e tendo a ampliação dessa base servindo não só para você como para outros governos, municipais, outros estados e tudo o mais. (EPR1)

A grande expectativa era de que gerasse informação para ajudar os gerentes ou os secretários a tomar decisões em relação aos projetos e também que justificasse a manutenção deles ao aumento da quantidade de recursos aplicados. Então, é isso, era uma tentativa [...] de trabalhar em cima de evidências do que estava dando resultado e do que não estava. (EPR3)

O entrevistado EPR1 também menciona a esperança de que os resultados das avaliações

servissem para outros governos e municípios. Ele alude a um uso que vai além do

instrumental, o enlightenment ou uso para o esclarecimento. O uso do tipo enlightenment, de

acordo com Weiss (1998), ocorre quando a avaliação é utilizada para influenciar outras

instituições ou eventos que vão além do escopo de determinado programa avaliado. Tal

dimensão de uso se justifica uma vez que as conclusões de uma avaliação podem ultrapassar

seus limites originais e pautar, não somente os coordenadores de programas avaliados, mas

comunidades acadêmicas e coalizões políticas interessadas nos resultados de um programa.

De acordo com o entrevistado EPR2, o objetivo mais ambicioso das avaliações seria

orientar a alocação de recursos no governo que se relaciona ao uso persuasivo das avaliações

– quando os resultados da avaliação dão suporte às decisões específicas sobre financiamento e

16

escolhas políticas (Patton, 2008). Para Arretche (1998), avaliações podem permitir um uso

mais consciente dos recursos na medida em que as informações dos estudos são utilizadas

para evitar o desperdício de recursos públicos. No entanto, como o próprio entrevistado

completa, “essa é uma expectativa muito alta e muito difícil” de se conseguir dada a estrutura

orçamentária brasileira.

Observa-se também o uso processual que, segundo Patton (2008), ocorre quando

pessoas envolvidas nas avaliações, com exceção dos avaliadores, demonstram alterações

comportamentais e cognitivas, como resultado da participação no processo de avaliação. As

mudanças pretendidas pelo uso processual são reflexo, portanto, da aprendizagem

organizacional adquirida ao longo da realização de uma avaliação e da convivência com

avaliadores mais experientes, apreendendo seus valores e forma de raciocínio. Para o

entrevistado da FJP, uma ideia ambiciosa (que não aconteceu) seria tornar a instituição, ou

seja, a FJP, um centro de referências quanto à avaliação de políticas, de forma que o

conhecimento adquirido nas avaliações fosse absorvido não só pelos avaliadores do processo,

mas transmitido ao governo estadual.

A ideia era ambiciosa. Na verdade, na cabeça da gente era de que você teria a equipe técnica da Fundação João Pinheiro cada vez mais experiente na condução nesse tipo de projeto [...] e depois isso funcionaria como mecanismo de difusão da cultura de avaliação de monitoramento no governo estadual. [...] Nada disso aconteceu, mas era essa a ideia. (FJP1)

Dessa forma, observa-se que, na percepção dos entrevistados, as avaliações que estavam

sendo contratadas naquele momento geraram visões ousadas e com diferentes propósitos. É

possível verificar a expectativa de que as avaliações, a partir de seus resultados, interferissem

na tomada de decisões (uso instrumental) e em outros usos secundários, como a utilização do

tipo enlightenment, que vai além da alçada do projeto avaliado, da dimensão persuasiva e do

uso processual. Em resumo, na visão de um dos projetos avaliados, a avaliação seria como

“uma bússola de orientação”:

17

[...] A gente via aquilo [avaliação] como uma bússola de orientação. Todo mundo ansiava. Se você falasse assim: “Eu quero uma pesquisa semestral, anual”. “Eu quero!”. Porque, assim, a gente estava lidando com uma realidade assim, construindo, você está construindo uma coisa que você não tem certeza do que está funcionando, o que não está, dos problemas. Então todo mundo ficava era assim: “Nó, pesquisa!”. (GERENTE PROJETO DEFESA SOCIAL)

Quanto à participação das equipes dos projetos avaliados no planejamento e

implementação, entrevistados abordam a dificuldades de coordenação entre os atores

envolvidos. De acordo com Bamberger, Rugh e Mabry (2011), o que distingue um estudo

avaliatório útil de um inútil é a extensão de envolvimento dos usuários ao longo do processo,

o que não ocorreu nas avaliações contratadas. Apesar da literatura afirmar que os

coordenadores dos programas avaliados devem estar cientes sobre os propósitos, aplicação e

possíveis consequências da avaliação, os gestores dos projetos só participaram das avaliações

mineiras quando foram “informados” pelo EpR no início do processo e depois ao final, já na

entrega dos resultados da avaliação. Na fala do entrevistado da FJP: “[...] não houve essa

interação contínua, intensa, nas equipes dos projetos. Então, se apareceu lá no começo da

coisa, se voltou dois anos depois com o relatório” (FJP1).

A falta de interação entre os contratantes da avaliação, avaliadores e os gestores dos

projetos avaliados gerou a percepção de que “o cliente” das avaliações seria o EpR, ao

contrário dos gestores dos projetos avaliados, o que, na visão do entrevistado EPR1, seria uma

anomalia da avaliação, como afirmado no trecho abaixo. Para o entrevistado, como o cliente

original (o gestor) nem sempre entendia o processo da avaliação, não tinha tempo para

dedicar-se ao assunto e nem proatividade, o EpR assumiu a responsabilidade de entregar o

conjunto de avaliações para o Banco Mundial. Na visão da equipe do projeto Educação,

“quem sempre coordenou a avaliação foi o EpR”, como demonstrado nos trechos abaixo:

O cliente da avaliação era o Estado para Resultados. Então você tinha um intermediador nesse processo que não é o ideal. O ideal é que o cliente fosse o gestor [do projeto]. Como o cliente [gestor] muitas vezes não entendia o processo, como o cliente muitas vezes não tinha tempo para se dedicar ao processo, como o cliente muitas vezes não tinha proatividade para tocar o processo, essa figura

18

intermediaria assumiu mais do que talvez deveria para garantir uma entrega, afinal de contas você tinha que entregar porque isso valia o Banco Mundial. (EPR1)

O que chegou para a gente: “Olha, vai ter três avaliações de impacto e eu quero que vocês façam essa intermediação”, mas sempre quem coordenou foi o Estado para Resultados, a gente nunca coordenou essa avaliação. (EQUIPE EDUCAÇÃO)

O diálogo com os gestores dos projetos que seriam avaliadas, de acordo com o

entrevistado EPR1, era “tenso”. A partir do momento em que um grupo reduzido de pessoas

seleciona os projetos que passariam por avaliações, seria necessário que, em algum momento

as partes avaliadas fossem minimamente envolvidas no processo. No entanto, como afirma o

entrevistado EPR1, como existia certa resistência das áreas setoriais com instrumentos de

controle – dada a experiência de monitoramento dos projetos – a presença de outras

instituições realizando as avaliações acirrava a resistência. Para o entrevistado EPR2, uma

unidade de avaliação central de governo diretamente ligada à SEPLAG sempre seria vista

como uma instituição de controle, por parte das áreas setoriais, como demonstra o relato

abaixo.

Isso talvez tenha sido uma deficiência nossa. [...] Porque normalmente se a unidade de avaliação está numa unidade central ou mesmo numa unidade independente, ela é vista como uma unidade controle. Ela sempre vai ser vista como unidade controle. Ao invés de ser vista como uma unidade que está gerando informações de qualidade para tomadas de decisões dos executivos, ela é vista como uma unidade de controle. (EPR2)

Shulha e Cousins (1997) destacam a importância da estrutura e dos processos

organizacionais em que as avaliações são inseridas e que podem influenciar diretamente, em

menor ou maior grau, a transmissão dos resultados das avaliações. No caso de Minas Gerais,

nota-se que a estrutura centralizada da realização das avaliações – com órgãos centrais de

planejamento coordenando o processo, criou certo distanciamento entre os gestores dos

projetos avaliados e o processo de avaliação em si. Apesar de possuírem expectativas de

melhoria dos projetos a partir das avaliações, percebe-se que O EpR e a FJP perderam a

oportunidade de envolver as equipes dos projetos avaliados, não gerando identificação por

19

parte desses com o processo de avaliação. Nesse sentido, observa-se que a desconsideração da

percepção dos gestores dos projetos e do contexto específico que se apresentava em que cada

um desses projetos contribui para fragilizar o desenvolvimento das avaliações.

Além de questões contextuais, muitos entrevistados abordaram dificuldades técnicas

inerentes às avaliações de impacto, que vão desde as aparentemente mais simples – como a

obtenção de informações sobre os projetos, até as metodologicamente mais complexas como a

demonstração da relação de causa e efeito da política. Lobo (1998) reforça a importância da

informação desde o início de qualquer programa ou projeto governamental que possibilitem

estratégias de avaliação mais condizentes com seus objetivos. A dificuldade de obtenção dos

dados foi, na visão de diferentes stakeholders, a comprovação de que alguns projetos não

estavam preparados para a avaliação. Como ressalta o gestor de um dos projetos avaliados, os

gestores dos programas governamentais deveriam priorizar as avaliações no momento em que

são desenhados, já delineando as suas necessidades de organização de dados, ou seja, não

havia informação suficiente para subsidiar as avaliações iniciadas.

E aí eu vejo nitidamente que a gente não tem essa preocupação de gerar uma linha de base para fazer uma avaliação. Então, assim, nasce a política, depois você tem uma ideia de avaliação e você tem que correr atrás. Olha só como que as coisas são meio atropeladas! (GERENTE PROJETO SAÚDE)

Sobre o desfecho do processo de condução das avaliações de impacto e seus resultados,

não foi possível encontrar evidências claras sobre a utilização das avaliações em melhorias

nos projetos, ou seja, se de fato as recomendações incluídas nas avaliações repercutiram em

mudanças no projeto. O avaliador 2 comenta no trecho abaixo como o uso da avaliação ficou

perdido após a conclusão do relatório de avaliação e não ocorreu um acompanhamento das

implementações realizadas, arriscando dizer que “o uso foi precário”.

A gente não sabe como se deu o uso. Entregamos, aí comunicamos e agora o resultado é de vocês e... ficou por isso, entendeu? Tipo, havia uma intenção de fazerem novas rodadas de avaliação, mas, como começa a coisa, a equipe se dissipou, a coisa foi mudando e lá [na Secretaria] também eles tiveram várias dificuldades, não teve acompanhamento posterior e nem finalização de

20

acompanhamento posterior, né? [...] A coisa perdeu um pouco o ânimo. Então eu acho que o uso da avaliação é um ponto que foi precário. (AVALIADOR2)

Observa-se na percepção dos entrevistados, que a mobilização que incentivava a

realização das avaliações no governo mineiro, experimentada no início de 2007, “se perdeu” a

partir das entregas dos resultados das avaliações dos projetos que ocorreram em momentos

distintos entre os anos 2007 e 2010. Um dos motivos para a “desmobilização” diz respeito à

mudança de foco do governo que ocorreu em 2011. Os incentivos criados à época, somados à

presença do Banco Mundial, além das várias avaliações de impacto espalhadas em diferentes

governos no mundo, não estariam mais na pauta de prioridades do governo, de acordo com

entrevistados. A impressão do avaliador 5 é de que a preocupação com o tema de avaliações

não passaria de uma tendência, altamente mutável, como “a moda”. Nota-se, assim, um

sentimento de frustração quanto ao aproveitamento e utilização das avaliações empreendidas,

na percepção do avaliador:

Desmontando no sentido de desmobilizado. Você tinha uma mobilização no início para a avaliação técnica, todo mundo interessado, o Banco Mundial junto incentivando. Aquilo que eu te falei; tinha uma mobilização e aí se perdeu. Claro também que a potência internacional era esse, tinham muitos programas sendo avaliado no mundo, o Progressa8 no México e tal. Foi uma expansão. Agora essa coisa passou um pouco, essa é a minha sensação. É uma certa moda, com certeza. A minha sensação é que havia mais, muito interesse nas avaliações. (AVALIADOR5)

Os motivos para a falta de evidências sobre a utilização das avaliações em melhorias

nos projetos, assim como a desmobilização comentada pelo entrevistado, têm também relação

com o contexto político em que se encontrava o governo. Em 2011 ocorreu a troca do governo

mineiro e, apesar do mesmo partido político continuar no poder, ocorreram mudanças de

ordem estratégica – como modificação de prioridades e trocas de lideranças; e técnicas –

como ajustes orçamentários, que impactaram os projetos avaliados. Além disso, como

comentado pelo entrevistado FJP1, “a equipe de avaliadores da FJP se dissipou após a

conclusão das avaliações”, assim como vários atores que participaram do momento inicial do 8 O Progressa constitui um dos programas sociais do governo federal do México que foi avaliado de acordo com os padrões de avaliação de impacto aleatório e que, portanto, apresentou os resultados mais contundentes.

21

“projeto de avaliações do governo”. Outro desmotivador, comentada pelo Avaliador 2, foi “a

saída dos técnicos do Banco Mundial”, cuja presença foi essencial no momento de desenho

das avaliações.

A mudança de interesses e de prioridades do governo quanto às avaliações, marcada

pela diferença de mobilização existente no início das discussões (2007) e no período de

conclusão das avaliações (2011) é cunhada pelos autores Leviton e Hughes (1981) como

advocacy, aqui entendido como o apoio alcançado frente ao contexto político em que as

avaliações são conduzidas. O apoio político e compromisso de um ou mais indivíduos-chave

com a avaliação seriam fundamentais para a utilização dos seus resultados (Leviton e Hughes,

1981). Nesse veio, a tomada de decisões, alinhada às recomendações de uma avaliação, não

dependeria somente do apoio e decisão de um único ator, mas de outros grupos de interesse e

circunstâncias do próprio setor público.

CONSIDERAÇÕES FINAIS

A introdução de um sistema de monitoramento e avaliação em Minas Gerais foi fruto de

uma convergência de fatores que se destacaram a partir de 2007: os antecedentes de

modernização da administração pública, a influência do conhecimento internacional no tema.

e a presença de instituições multilaterais como o Banco Mundial e o papel de lideranças do

governo como o EpR e a FJP. De fato, notava-se uma preocupação clara de criar capacidade

de avaliação no governo e uma vontade de estabelecer um processo de deliberação mais

motivado por informações, que culminaram na execução do conjunto de avaliações de

impacto.

Uma das principais questões a serem ressaltadas a partir dessa experiência, se refere às

várias faces de uma avaliação. Embora representem estudos técnicos que têm como finalidade

22

identificar obstáculos, propor medidas de correção e alteração de políticas e programas a

partir de evidências, as avaliações não constituem atividades destituídas de valores, como se

fossem instrumentos imparciais ou impessoais. Nesse sentido, não se pode entender a

avaliação como uma ferramenta meramente técnica, ao contrário, é uma atividade que, por

sua própria natureza, condições e métodos, constitui uma ação conflitiva que consolida

valores, afirma interesses, provoca mudanças e transforma pensamentos.

Observou-se, a partir das evidências geradas com a realização das entrevistas, que as

decisões relativas à implementação de melhorias no âmbito dos programas, tanto no âmbito

gerencial, quanto na esfera política, pouco foram influenciadas pelos resultados das

avaliações. Uma das possíveis características. que podem ter comprometido o uso está

relacionada ao desenho top-down das avaliações que também repercute no grau de

envolvimento does gestores e equipes dos projetos avaliados. A constituição do EpR e da FJP

como sponsors das avaliações, responsabilizando-se pelos processos de contratação e

definição dos projetos avaliados, causou uma anomalia quanto à definição de quais seriam os

clientes principais dos resultados dos estudos: os órgãos contratuais ou os gerentes dos

projetos avaliados? Tal distorção quanto à consideração de quais seriam os usuários primários

da avaliação pode ter gerado avaliações não alinhadas com as necessidades de informação dos

stakeholders diretamente envolvidos na gestão dos projetos, que pode ser ilustrada pelas

participações reduzidas dos gestores e equipe dos projetos nos processos de implementação e

execução das avaliações.

Em relação às questões metodológicas relacionadas à natureza das avaliações

(avaliações de impacto), observou-se, dentre outras dificuldades, a ausência de dados e

informações consolidados sobre os projetos avaliados. A falta de dados consolidados e

confiáveis remete ao fato de que as políticas são implementadas sem que incorporem as

necessidades de informação do projeto, seja para uma futura avaliação seja para controle

23

interno, no momento em que são formuladas. Percebeu-se, assim, uma necessidade clara de

fortalecer e aprimorar os sistemas de informações gerenciais a fim de conduzir com proveito o

monitoramento dos projetos, criar indicadores de desempenho e desenvolver possíveis estudos

de avaliação, que, por sua vez, já devem ser planejados concomitantemente à fase de desenho

dos projetos.

Por fim, a constatação de que as avaliações de impacto contemplam ciclos de

desenvolvimento longos o que nem sempre é compatível com o tempo político de governos.

Enfatiza-se, assim, a importância de submeter os resultados de uma avaliação em tempo de se

tomar as decisões necessárias, principalmente para o uso instrumental. A tempestividade das

avaliações – aqui entendida como a relação entre a ocasião na qual os resultados foram

entregues e a utilização das avaliações, e a interferência da fase do ciclo político em que as

avaliações são recebidas, são fatores que influenciaram negativamente o uso das avaliações

mineiras e contribuíram para a “desmobilização” do processo. No caso das avaliações

conduzidas a partir de 2007 pelo governo mineiro, fica evidente um descasamento entre o

momento de contratação das avaliações – que ocorrerem devido a circunstâncias únicas do

período, e a conjuntura (diferente) em que ocorreu a conclusão do processo avaliatório em

2011. Assim, observa-se um contexto diferente do momento em que as avaliações foram

“recebidas” daquele em que foram contratadas: os grupos de interesse envolvidos em 2007

não eram os mesmos, o Banco Mundial não possuía a mesma atuação inicial e a estrutura de

governo (após as eleições) havia mudado.

A premissa de que os resultados das avaliações serão, direta e automaticamente,

utilizados para promover as melhorias necessárias foi aqui questionada. Percebeu-se que a

existência de avaliações por si só não garante o melhoramento da gestão pública e que o uso

apropriado dos resultados das avaliações não constitui tarefa trivial, já que a utilização das

avaliações representa um fenômeno caracterizado por fatores como relevância da avaliação,

24

envolvimento com os usuários, comunicação, atendimento às necessidades de informação,

percepção da avaliação como instrumento de melhoria e, principalmente, características do

contexto político e institucional.

REFERÊNCIAS

Aguilar, José Maria e Ander-egg, Ezequiel, 1995. Avaliação de serviços e programas sociais. Rio de Janeiro: Vozes.

Ala-Harja, Marjukka; Helgason, Sigurdur, 2000. “Em direção às melhores práticas de avaliação”, Revista do Serviço Público, 51:5-59.

Anastasia, Antônio Augusto J., 2006. “Apresentação”, em Caio Marini et. al., ed., O choque de gestão em Minas Gerais: políticas da gestão pública para o desenvolvimento. Belo Horizonte: UFMG.

Arretche, Marta. T. S., 1998. “Tendências no estudo sobre avaliação”, em RICO, E. M. (Org). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez.

Bamberger, J. Michael, RUGH, Jim e MABRY, Linda S., 2011. Real world evaluation: working under budget, time, data, and political constraints. Thousand Oaks: Sage.

Bechelaine, Cinthia Helena de O. 2009. A gestão pública por resultados no estado de Minas Gerais: um estudo de caso sobre o Programa Estado para Resultados. Monografia (Graduação em Administração Pública) – Fundação João Pinheiro, Escola de Governo de Minas Gerais. Belo Horizonte.

Busjeet, Gita D. B., 2010. “Transformando o setor público: a introdução do M&A em Minas Gerais”, em Tadeu B. Guimarães, Iran A. Pordeus, e Eder S. A. Campos, ed., Estado para Resultados: avanços no monitoramento e avaliação da gestão pública em Minas Gerais. Belo Horizonte: UFMG.

Calmon, Katya Maria N. e GUSSO, Divonzir Arthur , 2002. “A experiência de avaliação do Plano Plurianual (PPA) do Governo Federal no Brasil”, Planejamento e Políticas Públicas, 25.

Corrêa, Izabela M., 2007. “Planejamento estratégico e gestão pública por resultados no processo de reforma administrativa do Estado de Minas Gerais”, Revista de Administração Pública, 3:487-504.

Costa, Frederico L. da, e CASTANHAR, José Cezar, 2003. “Avaliação de programas públicos: desafios conceituais e metodológicos”, Revista de Administração Pública, 37:969-92.

25

Duarte, Kênya, LEMOS, Carolina; MARINI, Caio; MARTINS, e Humberto F. “Acordo de resultados”, em Caio Marini et. al., ed., O choque de gestão em Minas Gerais: políticas da gestão pública para o desenvolvimento. Belo Horizonte: UFMG.

Ferreira, Afonso H. B.; Lopes, Helger M.; Campos, Eder S. A., 2010. “Avaliação de políticas públicas: o caminho percorrido por Minas Gerais”, em Tadeu B. Guimarães, Iran A. Pordeus, e Eder S. A. Campos, ed., Estado para Resultados: avanços no monitoramento e avaliação da gestão pública em Minas Gerais. Belo Horizonte: UFMG.

Gertler, Paul J. et al., 2011. Impact evaluation in practice. Washington: The World Bank.

GUBA, Egon G., e LINCOLN, Yvonna S., 1989. Fourth generation evaluation. Newbury Park: Sage.

Guimarães, Tadeu Barreto, e Campos, Eder S. A., 2008. “Gestão da estratégia no governo do estado de Minas Gerais: em busca da harmonia entre a ação e os resultados”, artigo apresentado no IX congresso internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Buenos Aires: CLAD.

Henry, Gary T. 2000. “Why not use?”, New Directions for Evaluation, 2000: 85-98

Khandker, Shahidur R., Koolwal, Gayatri B., e Samad, Hussain A., 2010. Handbook on impact evaluation: quantitative methods and practices. Washington: The World Bank.

Leviton, Laura C., e Hughes, Edward F. X., 1981. “Research on the utilization of evaluations: A review and synthesis”, Evaluation Review, 5:525-48.

Lobo, Thereza, 1998. “A avaliação de processos e impactos em programas sociais: algumas questões para reflexão”, em Elizabeth Melo Rico, ed., Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez.

Mokate, Karen Marie, 2002. “Convirtiendo el “monstruo” en aliado: la evaluación como herramienta de la gerencia social”, Revista do Serviço Público, 8:91-136.

Patton, Michael Quinn, 2008. Utilization-focused evaluation. Thousand Oaks: Sage.

Pisco, Luis Augusto, 2006. “A avaliação como instrumento de mudança”, Ciência & Saúde Coletiva, Rio de Janeiro,11:564-76.

Ribeiro, Sheila Maria R., 2009. “Avaliação no Brasil: questões de teoria e de prática”, artigo apresentado no X congresso internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Salvador: CLAD.

Rossi, Peter H., e Freeman, H., 1993. Evaluation: a systematic approach. Newbury Park: Sage.

Shulha, Lyn M., e Cousins, J. Bradley, 1997. “Evaluation use: theory, research, and practice since 1986”, Evaluation Practice, 18:195-209.

26

Vilhena, Renata, 2006. “Rumo à segunda geração do choque de gestão”, em Caio Marini et. al., ed., O choque de gestão em Minas Gerais: políticas da gestão pública para o desenvolvimento. Belo Horizonte: UFMG.

Worthen, Blaine R., Sanders James R., e Fitzpatrick, Jody L., 2004. Avaliação de programas: concepções e práticas. São Paulo: Gente.

Weiss, Carol Hirshon, 1998. Evaluation. Upper Saddle River: Prentice-Hall.

Yin, Robert K., 2003. Case study research. Design and methods. Thousand Oaks: Sage.