avaliação de programas públicos: um percurso na fundação … · os textos são destinados a um...

SEADE

AvAliAção de progrAmAs públicos:

um percurso nA FundAção seAde

no 23 Fevereiro 2015

Autores deste númeroLilia Belluzzo, chefe da Divisão de Avaliação da Fundação SeadeRafael Camelo, assessor da Diretoria Executiva da Fundação SeadeCoordenação e ediçãoHaroldo da Gama TorresEdney Cielici Dias

ISSN 2317-9953

Diretora ExecutivaMaria Helena Guimarães de Castro

Diretora Adjunta Administrativa e FinanceiraSilvia Anette KneipDiretor Adjunto de Análise e Disseminação de InformaçõesEdney Cielici DiasDiretora Adjunta de Metodologia e Produção de DadosMargareth Izumi Watanabe

Corpo editorial

Maria Helena Guimarães de Castro;

Silvia Anette Kneip;

Haroldo da Gama Torres;

Margareth Izumi Watanabe;

Edney Cielici Dias e

Osvaldo Guizzardi Filho

SEADEFundação Sistema Estadual de Análise de Dados

Av. Cásper Líbero 464 CEP 01033-000 São Paulo SPFone (11) 3324.7200 Fax (11) 3324.7324

www.seade.gov.br / [email protected] / [email protected]

apresentação

pesquisAs inseridAs no debAte públicoO Seade é uma instituição que remonta ao século 19, com o surgi-

mento da Repartição da Estatística e do Arquivo do Estado, em 1892. Ao longo de mais de um século, tem contribuído para o conhecimento do Es-tado por meio de estatísticas, com um conjunto amplo de pesquisas sobre diversos aspectos da sociedade e do território de São Paulo. Levar parte importante desse volume de informação e suas interconexões ao público é,

por sua vez, uma tarefa tão relevante quanto desafiadora.O Projeto Primeira Análise visa divulgar parte do universo de conheci-

mento da instituição, ao dialogar com temas de interesse social. Os artigos que compõem o projeto procuram sinalizar de forma concisa tendências e apresentar uma análise preliminar do tema tratado. Trata-se de texto au-toral, de caráter analítico e científico, com aval de qualidade do Seade.

Os textos são destinados a um público formado por gestores públi-cos, ao oferecer informação qualificada e de fácil compreensão; ao meio acadêmico e de pesquisa aplicada, por meio de abordagem analítica pre-liminar de temas de interesse científico; e para a mídia em geral, ao suscitar pautas sobre questões relevantes para a sociedade.

Os artigos do projeto têm periodicidade mensal e estão disponíveis na página do Seade na Internet. Os temas englobam aspectos econômicos, sociais e de interesse geral, abordados em perspectiva de auxiliar na formu-lação de políticas públicas.

Desta forma, o Seade mais uma vez se reafirma como uma instituição ímpar no fornecimento de informações de importância para o conhecimen-to do Estado de São Paulo e para a formulação de suas políticas públicas.

Maria Helena Guimarães de Castro

1a Análise Seade, no 23, fevereiro 2015 4

resumo: A avaliação de políticas e programas públicos é relativa-

mente recente no Brasil, refletindo o avanço das políticas sociais

implementadas e os compromissos decorrentes das conquistas de-

mocráticas, que demandam maior e melhor controle sobre os gas-

tos públicos. Tal atividade destina-se à produção de conhecimentos

capazes de orientar melhorias e ajustes das intervenções públicas

em diferentes dimensões, além de constituir uma prática de inves-

tigação e análise, embasada em recursos técnicos orientados pelo

diálogo qualificado entre os gestores públicos e de programas e os

especialistas avaliadores. A prática da avaliação enfrenta múltiplos

desafios, sobretudo como instância promotora do diálogo entre

agentes e gestores públicos e como geradora de informações de in-

teresse público. A partir desse cenário, o presente artigo enfoca os

recentes aprendizados e experiências da Fundação Seade em ava-

liações de programas sociais do governo do Estado de São Paulo.

SUMÁRIO EXECUTIVO

• A avaliação de políticas e programas públicos é relativamente re-cente no Brasil, mas cresce de forma acelerada, refletindo o avan-ço das políticas sociais implementadas desde a Constituição de 1988 e seus desafios.

• A área de avaliação de políticas públicas constitui um campo de conhecimento plural, orientado por referenciais conceituais nem sempre coincidentes. Isso acontece e é desejável porque os progra-mas públicos são processos complexos, que envolvem diferentes dimensões relativas a formulação, desenho, implementação, ges-tão e acompanhamento dos impactos.

AvAliAção de progrAmAs públicos: um percurso nA FundAção seAde


• A avaliação envolve um conjunto de práticas investigativas e ana-líticas, embasadas cientificamente e orientadas a partir do diálogo qualificado entre avaliadores e gestores. Tal atividade destina-se à produção de conhecimentos condizentes às necessidades e ao sentido expresso pelo programa em curso, podendo vir a contri-buir para diferentes processos decisórios.

• Apesar das diferentes abordagens e opções metodológicas, toda avaliação de políticas públicas justifica-se por dois argumentos relevantes: a necessidade de realizar o acompanhamento siste-mático das políticas e programas de governo; e a utilização des-ses resultados para a promoção de melhorias na gestão e atua-ção públicas.

• O diálogo com os gestores fundamenta as escolhas quanto ao foco da avaliação, selecionando aspectos do programa, com o propó-sito de acrescentar-lhe conhecimentos consistentes e apropriados à promoção de mudanças ou melhorias em diferentes dimensões.

• As avaliações realizadas pela Fundação Seade contemplaram as dimensões da produção técnica e da prática política, essa última representada pelo campo do diálogo qualificado entre gestores do alto escalão, gestores dos programas e técnicos avaliadores. Resul-taram desse processo a produção de conhecimentos e a definição de instância promotora do diálogo técnico qualificado, entre es-pecialistas e gestores da política pública, tendo por base a análise criteriosa dos resultados produzidos e do conhecimento reunido.

• Com isso, a Fundação Seade reconhece a necessidade de que todo processo de avaliação seja colaborativo, configurando fórum qua-lificado para o reconhecimento das ideias e convicções expressas pelos gestores dos programas e a construção de entendimen-tos comuns acerca do papel da avaliação, aumentando, assim, as oportunidades de utilização dos resultados e conhecimentos produzidos.

INTRODUÇÃO

Desde do início da década passada, a Fundação Seade tem sido chamada

a contribuir, com diferentes estudos, para avaliação e monitoramento de

políticas públicas. Dessa trajetória resultou a demanda, em 2012, da Se-

cretaria de Planejamento e Gestão do Estado de São Paulo, para prestação

de serviços técnicos de avaliação de cinco programas do governo paulista.


Este artigo apresenta uma primeira reflexão a respeito dessa experiência,

situando-a num plano geral de aprendizados.1

O tema da avaliação de políticas públicas tem origens, por um lado,

em análises voltadas à verificação das ações governamentais, visando apri-

morar seu planejamento e execução, presentes nos Estados Unidos, desde

os anos 1930. Essas análises se intensificaram e se expandiram, a partir

da década de 1960, inicialmente na área de saúde, mas se desdobrando

rapidamente para outros campos das políticas públicas.2 Por outro lado,

esse tema foi também tratado em estudos e debates realizados na Europa,

acerca do papel do Estado e de suas instituições no âmbito da promoção

de políticas para a sociedade. Esses debates impulsionaram, por exemplo,

diferentes investigações sobre os processos decisórios na produção das po-

líticas públicas.3

A avaliação de políticas e programas públicos, embora relativamente

recente no Brasil, cresce de forma acelerada, refletindo, em grande medida,

o avanço das políticas sociais implementadas após a Constituição de 1988 e

seus desafios à gestão pública. Influenciam, ainda, esse avanço as exigências

trazidas por agências financiadoras multilaterais – tais como Banco Mundial,

BID, entre outras –, que atrelam aos financiamentos concedidos às políticas

a apuração periódica ou sistemática de seus resultados e desempenho.

Abordado por diferentes áreas do conhecimento, o tema da avaliação

de políticas produziu pelo menos dois consensos relevantes: o compromis-

so de que as democracias contemporâneas realizem o acompanhamento

sistemático das políticas e programas de governo; e a utilização desses re-

sultados para a promoção de melhorias na gestão e atuação pública. Esses

consensos, no entanto, são mais limitados quando se discutem os aspectos

referentes ao objeto da avaliação, às possibilidades da utilização de seus re-

sultados e às opções metodológicas da avaliação. De fato, questões acerca

de o que avaliar, como avaliar e a quem dirigir os resultados das avaliações

serão sempre delicadas, pois dizem respeito à articulação entre os estudos

realizados e a gestão operacional da política pública em questão.

Esse dissenso decorre, também, da configuração da área de avaliação

como um campo de conhecimento plural, constituído por especialistas de

formação diversa e, consequentemente, orientados por referenciais episte-

1. Em razão disso, evitou-se especificar casos, uma vez que tal escolha implicaria o alonga-mento deste trabalho para dar conta de contextos específicos que não podem ser reportados sumariamente, sem a necessária contextualização.

2. Sobre isso, ver Souza (2006); Faria (2005) e Boullosa (2013).

3. Sobre isso, ver Souza (2006) e Faria (2005).


mológicos e conceituais nem sempre coincidentes.4 Em parte, isso deve-se à

característica do objeto da avaliação. Afinal, programas públicos são proces-

sos complexos, que envolvem diferentes dimensões relativas a formulação,

desenho, implementação, gestão, desempenho e avaliação de impacto,5 as-

pectos usualmente aprofundados por distintas tradições disciplinares.

Essas dimensões também correspondem a processos decisórios

variados, com participação e influência de diferentes gestores e agentes pú-

blicos, o que igualmente leva à diversificação de expectativas em relação aos

significados de uma avaliação. Afinal, alguns desses gestores estão focados

na execução das ações, outros nas esferas do planejamento e do financia-

mento e outros, ainda, preocupados com a disseminação de informações

sobre o programa avaliado.

Em outras palavras, esses variados processos de decisão colocam di-

ferentes questões para a avaliação, sugerindo que existem várias possibi-

lidades legítimas de emprego desse tipo de instrumento analítico. Nesse

contexto, as escolhas sobre o que avaliar não são neutras. Não raro, estudos

desse tipo acarretam ônus ou dividendos a diferentes instâncias de governo,

com potencial conflitivo. Até por conta desse risco, as avaliações podem (ou

devem) ser também pensadas como parte do processo de qualificação do

diálogo entre os diferentes atores governamentais engajados na formulação

e execução de um dado programa.

Afinal, a política pública é um processo relativamente aberto, que res-

ponde a uma trajetória percorrida e que incorpora recorrentemente alguma

margem de mudança ou ajuste.6 É essa condição que faz da avaliação parte

legítima do processo da política pública. E, em razão dessa diversidade de

perspectivas, a avaliação não resulta produtora de uma verdade absoluta,

mas de conhecimentos relevantes, ainda que parciais, para a realidade da

política e para seus gestores.

Em suma, entende-se aqui a avaliação como um conjunto de práticas

investigativas e analíticas, embasadas cientificamente e orientadas a partir

do diálogo qualificado entre avaliadores e gestores. Esse diálogo seleciona

4. Atuam na área, principalmente, economistas, cientistas sociais, administradores públicos e estatísticos, bem como diferentes tipos de instituições: agências de governo; universidades; organizações do terceiro setor, além de consultorias especializadas.

5. Sobre isso, ver: Ala-Harja e Helgason (2000).

6. A noção de política pública que orienta este texto considera a existência de uma “autono-mia relativa do Estado”, o que lhe confere um espaço próprio de atuação e decisão, embora permeável a influências e demandas externas e internas. Essa autonomia gera capacidades, conhecimentos e recursos que viabilizam a implementação de programas e ações de governo. Sobre isso, ver Souza (2006).


determinados aspectos de um programa, visando acrescentar-lhe conheci-

mentos consistentes e apropriados a seu contexto, podendo contribuir para

a proposição de diferentes noções e orientações.7

Com base nas noções e conceitos apresentados anteriormente, este

trabalho objetiva refletir acerca das experiências empreendidas na Funda-

ção Seade, entre 2012 e 2014, no âmbito das avaliações de programas do

governo estadual demandadas pela Secretaria de Planejamento e Desenvol-

vimento Regional – SPDR, atual Secretaria de Planejamento e Gestão.

DESAFIOS E APRENDIZADOS

Ao demandar a Fundação Seade para realizar avaliações, a Secretaria de

Planejamento visava obter, ao longo de dois anos de contrato, evidências e

resultados técnicos capazes de orientar decisões relativas à aplicação do or-

çamento do governo estadual. Nessa direção, as expectativas identificavam-

-se, prioritariamente, com as oportunidades do uso da avaliação para fins

relevantes, mas relativamente limitados, uma vez que não se considerava

inicialmente oferecer aos gestores dos programas elementos para seu apri-

moramento. O projeto de avaliação configurava, assim, perspectiva relati-

vamente restrita, expressa pela utilização instrumental dos resultados sem

necessariamente produzir um diálogo mais fecundo com os gestores dos

programas em questão.

Independentemente dos méritos dessa proposta inicial, a equipe da

Fundação Seade engajada no projeto tinha a preocupação de que essa con-

cepção e prática pudessem ser percebidas pelos atores responsáveis pela

execução dos programas como excessivamente top-down.8 Afinal, o papel

dessa secretaria na gestão do orçamento público envolve sempre aspectos

delicados na interação com outras agências públicas, o que poderia, em

tese, induzir questionamentos sobre a natureza do processo de seleção dos

programas a serem avaliados e a respeito das dimensões dos programas a

serem avaliadas, minando em alguma medida o alcance do projeto. Tratava-

-se de reconhecer que as oportunidades de um processo de avaliação são,

7. O objetivo da avaliação não é buscar a verdade absoluta, mas sim oferecer entendimento e uma visão analítica dos programas públicos. A avaliação não substitui o processo de tomada de decisão política, mas permite que as decisões sejam tomadas de maneira mais embasada (ALA-HARJA; HELGASON, 2000, p. 10).

8. O termo refere-se a um perfil de atuação que promove a seleção de informações, conhe-cimentos e decisões, segundo expectativas e convicções oriundas dos níveis superiores da hierarquia, para sua posterior disseminação aos demais níveis da administração.


de fato, mais amplas e, sobretudo, promissoras à gestão e implementação

dos programas.

Compartilhando esse entendimento, ao longo das discussões a equipe

engajada convergiu para a proposta de apresentar o conceito da avaliação

como uma iniciativa mais ampla, que buscasse, antes de mais nada, contri-

buir para disseminação de uma cultura de avaliação dentro do Estado. Nesse

sentido, fazia-se necessário considerar tanto a perspectiva da Secretaria de

Planejamento quanto a dos gestores dos programas a serem avaliados, fa-

zendo dessa prática parte constitutiva do projeto de avaliação.

Assim, essa preocupação foi expressa e reiterada em distintos fóruns

de encontros e debates técnicos.9 Além disso, diversas reuniões e dinâmicas

de trabalho foram realizadas, de modo a assegurar que os grupos técnicos

responsáveis pela execução do programa pudessem colaborar com o pro-

jeto, interferir na sua concepção e desenho e se beneficiar de seus resul-

tados. Tais atividades configuraram-se em um empenho na promoção de

práticas avaliativas que, para além da produção de resultados que dessem

respostas pragmáticas ao processo orçamentário, também aumentassem a

compreensão acerca das oportunidades de melhoria dos programas avalia-

dos, que eventualmente tivessem sido observadas ao longo da dinâmica de

avaliação.10

Em outras palavras, os responsáveis pelo projeto assumiram a existên-

cia de distintas oportunidades de utilização da avaliação, reconhecendo a

necessidade de um processo de avaliação colaborativo, com suas premissas,

desafios e oportunidades. Tiveram, então, lugar nesse processo o reconhe-

cimento das ideias e convicções expressas pelos gestores e gerentes dos

programas e a construção de entendimentos comuns acerca do papel da

avaliação, em suas exigências e oportunidades.11

9. Três momentos do projeto constituíram exemplo público desse compromisso: o workshop de abertura, que aconteceu em março de 2013; os debates e decisões metodológicas que envolveram as equipes da Secretaria de Planejamento, Fundação Seade e instituições gestoras dos programas; e, posteriormente, a Oficina de encerramento das avaliações, com participa-ções de distintas áreas do governo do Estado de São Paulo, em novembro de 2014.

10. Conforme aponta a literatura especializada, há diferentes usos para os resultados da ava-liação, que podem ser classificados como instrumental, conceitual, de persuasão e para escla-recimento. Sobre isso, ver Faria (2005).

11. Dito de outro modo, assumiu-se que: “As políticas e os programas também têm [...] corpo e alma. São decididas e elaboradas por pessoas, são dirigidas às pessoas ou ao seu habitat, são gerenciadas e implementadas por pessoas e, quando isso ocorre, são avaliadas também por pessoas. Ora, as pessoas ou os grupos de pessoas que animam as políticas, fazem-no segundo seus valores, seus interesses, suas opções, suas perspectivas, que nem sempre con-sensuais, nem muito menos são unânimes, como sabemos.” (DRAIBE, 2001, p. 26).


Com o propósito de tornar essa experiência ampla e diversificada, a pré-seleção dos programas contratados para avaliação contemplava dife-rentes áreas de atuação de governo, quais sejam: desenvolvimento econô-mico; serviços sociais básicos; e gestão na prestação de serviços ao cidadão. Além disso, era priorizada a produção de avaliações para os programas de relativa magnitude e abrangência, contemplando, ainda, aqueles em mo-mento de extrema relevância para a atuação pública e, finalmente, aqueles em que se supunha a necessidade de mudanças ou melhorias. Assim, os programas demandados para avaliação, além de distintos em suas próprias especificidades e conjuntura – objetivos, desenho, público-alvo, momento da implementação, desempenho –, representavam diferentes dimensões da atuação governamental.

Em termos de processo de trabalho, a atividade era iniciada a partir de orientações e procedimentos comuns, destinados à abordagem específica de cada um dos programas pré-selecionados e, sobretudo, de seus gestores e gerentes implementadores. Esse processo inicial permitiu:

• proceder ao levantamento de informações básicas acerca de cada um dos programas por meio de sites oficiais, decretos, planos de ação, manuais operativos, notícias e informações divulgadas;

• realizar entrevistas e diálogos com os gestores implementadores e gerentes de cada um dos programas indicados, visando:

• apresentar a proposta de avaliação colaborativa e sensibilizar gestores e gerentes acerca das possibilidades representadas por esse processo;

• aumentar a compreensão sobre o programa quanto à sua história e trajetória percorrida, destacando ainda seus objeti-vos, público-alvo, critérios de seleção da demanda, cobertura e eventual focalização, metas, compromissos e abrangência, entre outras dimensões;

• identificar e criar consenso acerca dos aspectos do programa que, na percepção dos gestores implementadores, seriam rele-vantes para a avaliação;

• compartilhar percepções a respeito das possibilidades e impli-cações decorrentes da avaliação para a gestão do programa;

• viabilizar o acesso a informações e registros/bases de dados atualizadas sobre o processo de implementação do programa (desenho, agentes executores e formas de execução), benefi-ciários, desempenho e resultados alcançados.

• conhecer os resultados de outras avaliações eventualmente realizadas.


Essa etapa inicial permitiu o entendimento acerca da trajetória e do

contexto de cada um dos programas, identificando as questões de interesse

para a avaliação e, sobretudo, distinguindo esses programas quanto aos

diferentes momentos de implementação. Dessa análise resultava a sinaliza-

ção de diferentes condições técnicas e políticas para a avaliação. Enquanto

alguns programas mostravam-se, a princípio, adequados aos propósitos e

aos critérios das avaliações de mensuração do impacto, outros sinalizavam a

necessidade de avaliações de natureza distinta. Identificam-se, assim, como

fruto dessa etapa, dois grupos de programas para avaliação, abordados se-

paradamente ao longo deste relato.

O primeiro grupo de programas reunia oportunidades para avaliações

de impacto, indicadas pelas seguintes características: • condições de implementação asseguradas, com sistemas ou roti-

nas e procedimentos de execução em curso;

• evidências sistemáticas da realização dos objetivos e propósitos do programa, alinhados à sua formulação ou marco institucional;

• evidências de significativo grau de abrangência no Estado;

• existência de informações cadastrais e registros organizados e sis-tematicamente atualizados.

Essas condições mostravam-se bastante propícias à realização dos ob-

jetivos da avaliação de impacto, ou seja, estabelecer relação de causalidade

(empiricamente demonstrada) entre as intervenções produzidas pelo pro-

grama e as mudanças observadas na situação de seus participantes.12 Além

das informações objetivas sobre cada programa, as percepções e os enten-

dimentos expressos por seus gestores foram decisivos para a construção

dessas evidências.

Vale notar que a escolha de programas consolidados, como os des-

critos anteriormente, para realizar avaliações de impacto contraria em

parte procedimentos internacionais consagrados nessa área, conforme

proposto, por exemplo, pelo Development Impact Evaluation Initiative –

12. Vale destacar que, conceitualmente, avaliações de impacto visam identificar mudanças atribuídas exclusivamente às iniciativas propiciadas pelo programa, respondendo a questões tais como: os participantes tiveram sua condição melhorada pelo programa? Para tanto, distin-guem-se e comparam-se, de um lado, o público que participou de um programa e, de outro, o público que demanda o programa, mas não é beneficiário do mesmo. Ambos os grupos devem ter perfis socioeconômico e demográfico similares, ou comparáveis, diferindo somente por sua condição em relação ao programa, ou seja, atendidos contra não atendidos, deno-minando-os respectivamente: grupo tratamento e grupo contrafactual, ou controle, cujas seleções para investigação devem ser aleatórias. Além disso, espera-se mais de uma coleta primária ao longo do tempo, correspondendo a dois momentos distintos: o antes e o depois da implementação do programa.


Dime/Banco Mundial. Isso porque imagina-se que, quando uma avalia-

ção desse tipo é realizada na fase piloto de um programa, existiriam mais

chances de: efetivamente observar se aquele programa tem o impacto que

ele pretendia ter no momento de sua formulação; e gerar inteligência que

permita a correção de rumos em um estágio precoce da implementação,

economizando recursos públicos escassos.

Apesar da racionalidade desse argumento, observamos na prática

que programas em estágio inicial de implementação tendem a ter uma

trajetória relativamente tumultuada em nosso contexto institucional. Em

geral, as equipes técnicas envolvidas ainda não estão plenamente cons-

tituídas. Os marcos legais, instrumentos de financiamento e sistemas

de informação ainda estão em construção ou operam de forma precá-

ria. Nesse caso, a avaliação tende a se tornar um ônus adicional para o

gestor do programa, que, além de assoberbado pelas dificuldades de im-

plementação em contexto de escassez de meios, tem que se preocupar

também com uma avaliação cujos propósitos nem sempre são totalmente

compreendidos.

Por outro lado, foi identificado um segundo grupo de programas com

características que pareciam desfavoráveis à realização de avaliações de im-

pacto. Orientavam esse diagnóstico, de forma destacada, as condições ou o

momento de implementação dos programas e a necessidade de aumentar a

compreensão a respeito de suas características reais e da natureza das ações

efetivamente em curso.

Caberiam, nesses casos, investigações destinadas menos ao enten-

dimento dos impactos do programa e mais à compreensão dos distintos

processos envolvidos em sua implementação, bem como a verificação da

ocorrência e da qualidade dos serviços oferecidos, com base na apuração de

atividades realizadas ao longo do seu processo de implementação. Tratava-

-se, em outras palavras, da necessidade de ampliar o conhecimento acerca

das condições de realização efetiva do programa em face de seu desenho e

concepção originalmente previstos. Metodologicamente, essas abordagens

são denominadas avaliações de processo.

Entre as características desse segundo grupo de programas, destaca-

ram-se duas combinações bastante diversas:

• programa focalizado, em fase inicial de implementação. Os es-tudos nesse caso visavam contribuir para a eventual revisão dos propósitos do programa, sugerindo alterações na composição da oferta de serviços ao público-alvo, além de um caminho de ajustes em suas formas e desenho de implementação;


• programa focalizado, de implementação longa e heterogênea e

que não contava com avaliações recentes. Os estudos nesse caso

visavam identificar as principais distorções e pontos de estrangula-

mento do programa, oferecendo propostas pragmáticas de aper-

feiçoamentos em diferentes dimensões: sistema de informações

para monitoramento e avaliação; critérios de elegibilidade (acesso)

aos benefícios gerados; capacitação dos implementadores; siste-

mas logísticos; etc.

Em síntese, parecia tratar-se de programas com dificuldades ou distor-

ções na realização de seus objetivos e propósitos, por diferentes motivos: de

um lado, razões associadas à fragilidade de suas práticas e intervenções; e,

de outro, e de forma inteiramente contrária, em função da recorrência de

práticas e meios de execução arraigados, sem acompanhamento periódico

e revisões adequadas. Assim, esse grupo de programas demandava inves-

tigações de outra natureza que não as avaliações de impacto, sendo, por

essa razão, pertinente a opção por avaliações de processo com ênfase na

investigação da implementação.13

IMPACTO E PROCESSO

As distintas condições e necessidades reveladas pelos dois grupos de pro-

gramas sinalizavam opções e modelos de avaliação diversos. Assim, para

o primeiro grupo de programas, considerado propício às avaliações de

impacto, foram realizadas discussões com seus gestores e técnicos para

identificação dos aspectos a serem avaliados e dos possíveis modelos de

avaliação.

13. De forma sintética, as avaliações de processo ocupam-se do desenho, das formas e meios pelos quais o programa se organiza e se realiza, buscando identificar e compreender os as-pectos que, ao longo da implementação, contribuem ou criam restrições para a realização dos objetivos e propósitos do programa. Sobre avaliações de processo, ver Draibe (2001). Ou, dito de outra forma: “As políticas e os programas têm vida. Nascem, crescem, transformam--se, reformam-se. [...] Percorrem, então, um ciclo vital, um processo de desenvolvimento, de maturação e, alguns deles, de envelhecimento ou decrepitude. É este ciclo (ou alguns de seus momentos) que constitui o objeto das avaliações de processo.” (DRAIBE, 2001, p. 26).


Nessa direção, duas iniciativas foram organizadas: um workshop e um

conjunto de oficinas de trabalho. O workshop,14 concentrado em três dias

de atividades, promoveu o debate técnico destinado, inicialmente, à equa-

lização dos conceitos relativos à avaliação de impacto e à discussão de suas

técnicas, avançando para a proposição de desenhos avaliativos15 e métodos

investigativos, tendo em conta as informações levantadas para cada um

dos programas. Compuseram esse rol de informações, sobretudo, relatos e

considerações dos gestores e equipes.

As características e possibilidades de avaliação de cada um dos pro-

gramas foram discutidas em grupos de trabalho específicos, sendo na se-

quência apresentadas e debatidas em fórum com todos os participantes do

evento, daí resultando as primeiras decisões e consensos acerca de cada

uma das propostas de avaliação. Esses conteúdos referiram-se à formulação

da pergunta de avaliação vis-à-vis os objetivos do programa, ao desenho das

opções de avaliação, com identificação dos prováveis grupos de tratamento

e de controle, à especificação das fontes de dados, à definição dos meios

de investigação e, finalmente, aos temas de pesquisa. A sistematização e o

reconhecimento das decisões e formulações propostas para cada um dos

programas marcaram o fechamento do evento realizado.

A partir de então, fazia-se necessário o aprimoramento das decisões

formuladas no âmbito do workshop à luz de informações detalhadas, en-

tão disponibilizadas pelos gestores dos programas. Oficinas de trabalho,16

14. O workshop, realizado em março de 2013, destinado ao grupo de programas propícios à avaliação de impacto, envolveu a intensa participação de seus gestores e técnicos, das equipes técnicas da SPDR e Fundação Seade e consultores externos – Banco Mundial (Dime) e FGV-SP. Os trabalhos foram organizados de modo a propiciar debates para cada um dos programas, compartilhando seus resultados e decisões coletivamente ao término de cada sessão. Já o segundo grupo de programas não foi abordado nessa oportunidade, mas em discussões téc-nicas com a participação de seus gestores e gerentes.

15. Vale destacar que as questões para as avaliações, formuladas durante as oficinas, além de aderentes aos objetivos de cada programa, trouxeram duas orientações diversas: a primeira re-ferida à oportunidade da avaliação retrospectiva do programa, verificando seus resultados com base no que fora, de fato, realizado até então; e a segunda destinada às avaliações prospectivas voltadas diretamente à implementação das ações, já que supõem intervenções planejadas no programa e concomitante investigação avaliativa. Resulta dessa abordagem a oportunidade de fundamentar decisões, por meio da investigação dos ajustes parciais empreendidos sem alte-ração do conjunto do programa, constituindo um conceito de avaliação integrado ao processo da política/programa. No entanto, os desafios e as decisões envolvidos nesse tipo de proposta foram considerados pouco aderentes aos propósitos do projeto de avaliação contratado, fican-do essa contribuição no âmbito do conhecimento técnico-metodológico.

16. As oficinas de trabalho destinadas aos programas selecionados para avaliações de impacto ocorreram em momentos distintos, envolvendo a participação dos gestores e gerentes de cada um deles, equipes técnicos da SPDR e Fundação Seade e, eventualmente, consultores externos.


destinadas a cada um dos programas, abrigaram novo processo de discus-

sões técnicas, exercícios a partir das bases de dados e registros dos progra-

mas, permitindo ajustes ou detalhamentos dos desenhos metodológicos e

investigativos e, sobretudo, formulando os consensos necessários à matura-

ção do processo de avaliação.

Entre os conteúdos abordados nas oficinas, vale destacar que a formu-

lação das perguntas norteadoras das avaliações, evidentemente, orientou-

-se pelos objetivos e propósitos de cada um dos programas, trazendo alguns

desafios. Como se sabe, a pergunta da avaliação tem que ser traduzida em

uma dimensão mensurável empiricamente, o que nem sempre é simples.

Essa operacionalização implica limites, decorrentes da necessária represen-

tação empírica dos objetivos do programa, na forma de evidências parciais

identificadas na realidade, por meio de coletas primárias ou secundárias

de dados. Dessa forma, as perguntas da avaliação deveriam refletir os pro-

pósitos do programa, bem como serem passíveis de investigação e análise

compatíveis com os critérios e exigências técnicas do modelo de avaliação.

Assim, de forma básica, os desenhos das avaliações destinadas a esse grupo

de programas orientaram-se pelas formulações apresentadas a seguir.

• Pergunta da avaliação: qual o impacto do programa nas condições

sociais dos indivíduos, que decorrem efetivamente de sua partici-

pação nesse programa?

• Metodologia da avaliação: comparação entre os egressos do pro-

grama (grupo tratamento), de um lado, e os candidatos/público

demandante (grupo controle), de outro, selecionados tendo por

base, por exemplo, os registros do programa.17

• Orientações à constituição dos grupos: seleção de amostras alea-

tórias dos indivíduos (em cada um dos grupos) para a investigação;

modelagem por pareamento dos perfis socioeconômicos, tornan-

do os grupos comparáveis (ou similares) para procedimentos de

análise de impacto.

• Tipos de coletas: pesquisas a partir de questionários com perguntas

pré-codificadas, enviados por e-mail aos indivíduos dos grupos de

tratamento e de controle, em um dos casos com base em formulá-

rios aplicados via telefone a ambos os grupos selecionados. O fo co

das coletas correspondeu aos participantes no programa em de-

terminado período do tempo e aos demandantes em igual período,

17. Trata-se das informações das bases de dados dos programas, distinguindo o público de-mandante e suas características do público que participou do programa.


tendo sido selecionados ambos os grupos de forma aleatória, com-pondo duas amostras de pesquisa.

• Temas pesquisados: perfil socioeconômico dos indivíduos dos gru-pos de tratamento e de controle e temas relativos aos objetivos e escopo dos programas.

Merece destaque, ainda, pela experiência proporcionada, uma situa-

ção específica em que as características de um dos programas selecionados,

dadas pelo avanço de sua implementação, demonstraram a inviabilidade da

realização de avaliação de impacto. Tratava-se, nesse caso, da ausência de

situações que permitissem a identificação de um grupo controle, uma vez

que o programa se universalizou muito rapidamente, antes que uma análise

desse tipo pudesse ter sido planejada.

Optou-se, nesse caso, por uma avaliação dos resultados da implemen-

tação, com base na percepção de melhorias expressas pelos usuários do

programa, captadas por pesquisa de campo realizada em dois momentos

distintos no tempo, acompanhando sua evolução. Essa comparação se fez a

partir de estatísticas descritivas e foi complementada por informações cole-

tadas, nos mesmos dois períodos, com outro grupo de cidadãos atendidos

em unidades do serviço avaliado, mas que não haviam passado pelas melho-

rias decorrentes da implementação do programa.

Quanto às formas de coleta, essas foram presenciais, por meio da

aplicação de formulário de perguntas pré-codificadas em amostras sele-

cionadas aleatoriamente em unidades destinadas à prestação dos serviços

investigados.

Em síntese, a existência de bases de dados e registros organizados e,

sobretudo, o estágio de implementação avançado ou consolidado dos pro-

gramas foram decisivos nas escolhas realizadas relacionadas ao modelo de

avaliação adotado. Mas a execução desses estudos e o acesso a tais dados

e informações só foram possíveis em razão do interesse e da disponibilidade

dos gestores e gerentes dos programas envolvidos no processo.

Para o segundo grupo de programas, que foram submetidos à avalia-

ção de processo, com ênfase na implementação, optou-se pela contratação

de consultoria especializada, cujo trabalho foi sistematicamente acompa-

nhado pela equipe técnica da Fundação Seade. O objetivo dessas avaliações

foi identificar, a partir do processo de implementação dos programas, fato-

res de sucesso e de impedimentos ou de dificuldades à sua realização.

A ênfase na implementação deveu-se ao fato de ser essa a dimensão

em que o programa se realiza, na qual decisões são tomadas e, eventual-


mente, reformuladas segundo necessidades conjunturais. São, em muitos

casos, decisões que não constam da formulação original do programa,

expressando percepções ou preferências constituídas por seus diferentes

agentes ao longo do processo. Se as decisões tomadas durante a formula-

ção dos programas sinalizam seu sentido e objetivos propostos, as contínuas

e necessárias decisões de processo levam a eventuais ajustes de percurso

colocados pelos diferentes gestores que se responsabilizam pelo programa

ao longo do tempo, ou por imposições operacionais identificadas durante

sua realização. Ou, dito de outro modo, “Seu processo de implementação

também repousa em orientações e preferências, envolvendo cálculos es-

tratégicos, escolhas e decisões por parte dos agentes que o conduzem e o

implementam ou dele se beneficiam.” (DRAIBE, 2001, p. 27).

De forma resumida, as avaliações de processo, com ênfase na imple-

mentação, visam aumentar o conhecimento sobre as características e con-

dições em que se desenvolve o programa, no que se refere: à sua estrutura

organizacional e decisória; aos recursos a ele alocados; aos meios de co-

municação interna e com seus beneficiários; aos meios de seleção e capa-

citação de seus agentes e/ou parceiros; aos meios de seleção da demanda,

fluxos na execução de suas ações; e aos registros de acompanhamento e

monitoramento de resultados. Essas dimensões resumem parte das condi-

ções institucionais que dão suporte ao programa, podendo merecer inves-

tigações detalhadas, seja pela contribuição que delas resultam, seja pelos

impedimentos que possam exercer sobre o desempenho do programa.

Quanto aos métodos de investigação das avaliações acima destacadas,

esses foram de natureza qualitativa, utilizando-se diferentes fontes de infor-

mações: documentais; registros quantitativos e bases de dados; e entrevis-

tas e diálogos com gestores dos programas. Além disso, foram realizados

estudos de caso, baseados em entrevistas com agentes implementadores

e público atendido, permitindo o destaque e detalhamento de elos fun-

damentais para a execução do programa e de problemas a ela associados,

aprofundando sua compreensão.

As informações obtidas foram sistematizadas e analisadas em relató-

rios, que combinaram descrição e interpretação dos resultados coletados, à

luz das perguntas formuladas pela avaliação. Essas perguntas, evidentemen-

te, correspondem, de um lado, aos procedimentos propostos e aos métodos

de avaliação de processo, e de outro, aos propósitos do programa tomados

em relação às condições institucionais sinalizadas pela sua implementação.

Desse modo, o conhecimento produzido por essas avaliações pretendeu in-


formar revisões e ajustes em diferentes dimensões dos programas avaliados,

com maior ênfase em sua implementação.

De forma resumida, o projeto desenvolvido identificou oportunidades

distintas de avaliação, algumas voltadas ao processo de implementação dos

programas, outras à apuração de seus resultados, impactos ou efeitos so-

ciais. Cada uma delas exigiu decisões quanto à formulação de seus objetivos

e perguntas, o tipo modelo de avaliação, além dos métodos de investigação

e formas de coleta, enfim, detalhamentos metodológicos, integrando o que

na literatura se pode denominar estratégia de avaliação. De forma sintética,

o quadro apresentado a seguir resume as possibilidades e as abordagens

constituídas pelas avaliações destinadas a cada um dos grupos de progra-

mas contratados.

Segundo a Secretaria de Planejamento e Gestão e os gestores e equipes

dos programas avaliados, as estratégias de avaliação constituídas para am-

bos os grupos trouxeram resultados consistentes, agregando conhecimen-

tos aos programas. Contribuíram para essa condição não apenas o esforço

Grupos de programas

Estágio de implementação

Pergunta da avaliação

Natureza da avaliação

Formas de investigação

Formas de apresentação dos resultados

Primeiro grupo

Consolidado A participação no programa evidenciou mudança de condição social?

Impacto Coleta primária (via web) Reuniões

técnicas para apresentação e interpretação dos resultados; relatórios de análise

Consolidado Impacto Coleta primária (telefone)

Consolidado

Usuário reconhece melhorias no padrão de atendimento?

Percepção de resultados

Coleta primária (presencial)

Segundo grupo

Em revisão

Qualidade e focalização – benefício ofertado; adequação das condições dos agentes implementadores

Processo com ênfase na implementação

Estudo de caso: campo

Inicial

O desenho e a execução da implementação funcionam?

Processo com ênfase na implementação

Estudo de caso: campo


e a acuidade técnica das equipes, mas também a capacidade de constituir

diálogo qualificado com gestores e gerentes dos programas. Esse diálogo

permitiu a reconstituição da trajetória de cada programa, compreendida a

partir tanto das decisões que foram implementadas quanto daquelas alme-

jadas, mas ausentes. Trata-se da prática da avalição viabilizando o que, na

literatura, costuma-se chamar de “sentido ou lógica do programa” como

elemento indispensável à interpretação dos resultados da investigação.

Em suma, o processo de avaliação, da forma como foi realizado, corro-

borou a relevância dos conhecimentos produzidos, bem como demonstrou

possibilidades distintas de utilização dos resultados observados, sugerindo,

em alguns casos, oportunidade de uso instrumental deles, orientando de

forma bastante direta possibilidades de ajustes ao programa ou às decisões

relativas ao orçamento público; em outros casos, indicando ganhos con-

ceituais aos gestores, pela apropriação de novos conhecimentos sobre o

programa, ou, ainda, a afirmação de noções e percepções sugeridas.

Essas possibilidades, atribuídas ao uso dos resultados, variaram segun-

do a audiência à qual as apresentações sobre os resultados das avaliações

foram dirigidas, quais sejam: de um lado, a alta gestão do Estado; e, de

outro, as equipes técnicas do planejamento e os gestores/gerentes dos pro-

gramas. Mas, de todo modo, os resultados ofereceram oportunidades de

reflexão com o potencial de orientar melhorias nos programas estudados

em suas diferentes dimensões, reforçando e elucidando, por um lado, o

papel da prática da avaliação e, por outro, o contexto da política pública

como um continuum, em que as ideias, convicções e necessidades orientam

decisões e formas de atuação.

CONSIDERAÇÕES FINAIS

Um conjunto de desafios marcou a realização do processo de avaliação pela

Fundação Seade. Entre os desafios analíticos e metodológicos, mereceram

destaque a busca por modelos avaliativos condizentes ao momento de im-

plementação dos programas e a formulação de representações empíricas

criteriosas e passíveis de operacionalização, ou seja, representações que re-

sultassem condizentes à trajetória dos programas, expressando sua direção

e sentido.

Tratou-se de desafios que, uma vez enfrentados, ampliaram as opor-

tunidades de interpretação dos resultados da avaliação e, eventualmente,

de suas formas de utilização, seja orientando as oportunidades de melho-

rias no programa, seja ampliando seu conhecimento conceitual, ou, ainda,


podendo embasar decisões orçamentárias. A experiência demonstrou que

decisões cabíveis à avaliação – suas perguntas, modelos de investigação –

correspondem às oportunidades e necessidades trazidas por um programa,

devendo demarcar com clareza e em situação de consenso o que se deseja

avaliar, os métodos para isso mobilizados e os limites e oportunidades suge-

ridos em seus resultados.

De fato, a avaliação, ainda que necessariamente técnica, não expressa

o caráter amplo e dinâmico em que os programas se desenvolvem e produ-

zem seus resultados. Por essa razão, o reconhecimento desse contexto, de

suas inflexões e necessidades constitui oportunidade à prática da avaliação –

com o reconhecimento de seus limites – como recurso à geração de conhe-

cimentos. Mas, sobretudo, tal reconhecimento sugere que essa prática pode

se constituir num importante fórum para geração de consensos e eventuais

orientações pactuadas entre as diferentes e relevantes instâncias da política/

programa público.

Conceitualmente, as avaliações realizadas foram capazes de remeter

às dimensões da produção técnica e da prática política, essa última expressa

pela constituição de um campo de diálogo qualificado entre gestores do

alto escalão, gestores dos programas e técnicos avaliadores. Houve, portan-

to, ao longo do esforço realizado, o caráter de produção de conhecimentos,

mas também o de instância promotora do diálogo técnico qualificado entre

especialistas e gestores da política pública a partir da análise criteriosa dos

resultados produzidos e do conhecimento reunido.

É com base nessa perspectiva que a Fundação Seade, no cumprimento

de sua missão de produtora de informações primárias e estatísticas públi-

cas, vem atuando em avaliações de programas do governo do Estado de

São Paulo. Reconhecidamente, este é um lugar de reiterados desafios, mas,

igualmente, de oportunidades promissoras à atuação pública e, consequen-

temente, à sociedade.


REFERÊNCIAS

ALA-HARJA, M.; HELGASON, S. Em direção às melhores práticas de avaliação. Revis-ta do Serviço Público, v. 51, n. 4, p. 5-60, 2000.

ARRETCHE, M. Dossiê agenda de pesquisas em políticas públicas. Revista Brasileira deCiênciasSociais–RBCS, v. 18, n. 51, fev. 2003.

BOULLOSA, R. F. Por uma mirada ao revés nas políticas públicas: apresentação de um percurso de pesquisa. In: VII ENCONTRO NACIONAL DE PESQUISADORES EM GESTÃO PÚBLICA. Anais... Belém, 2013.

CARVALHO, S. N. de. Avaliação de programas sociais: balanço das experiências e contribuições para o debate. São Paulo em Perspectiva. São Paulo, FSeade, n.17(3-4), p.185-197. 2003.

DRAIBE, S. M. Avaliação de implementação: um esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA, M. C. R. N; CARVALHO, M. do C. B. de. (Org.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC, 2001, p. 15-42.

DI MARO, V. Impact mechanisms for better results. (Apresentação). Workshop de Avaliação de impacto de políticas públicas. São Paulo: Fundação Seade; Dimi/BM, maio 2013.

DIME/BANCO MUNDIAL. Dime-Fundação Seade workshop: relatório e notas de con-ceitos. Relatório Final. (Apresentação). Workshop Avaliação de impacto de políticas públicas. São Paulo: Fundação Seade; Dime-BM, maio 2013.

FARIA, C. A. P. Ideias, conhecimentos e políticas públicas – um inventário sucinto das principais vertentes analíticas recentes. RevistaBrasileiradeCiênciasSociais–RBCS, v. 18, n. 51, fev. 2003.

_________. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais–RBCS, v. 20, n. 59, out. 2005.

HALL, P. A.; TAYLOR, R. C. R. As três versões do neo-institucionalismo. Lua Nova, n. 58, p. 193-224, 2003.

SAASA, O. A formulação da política pública nos países em desenvolvimento: a utili-dade dos modelos contemporâneos de tomada de decisão. In: SARAVIA, E.; FERRA-REZI, E. (Orgs.). Políticas públicas; coletânea. Brasília: Enap, 2006, v. 2, p. 219-238.

SARAVIA, E. Introdução à teoria da política pública. In: SARAVIA, E.; FERRAREZI, E. (Orgs.). Políticas públicas; coletânea. Brasília: Enap, 2006, v. 2, p. 21-61.

SOUZA, C. Políticas Públicas – uma revisão da literatura. Revista Sociologias, ano 8, n. 16, p. 20-45, jul./dez. 2006.

THERET, B. As instituições entre as estruturas e as ações. Lua Nova, n. 58, 2003.

TORRES, H. G. O erro na avaliação de programas sociais no setor público. Como aprender com os erros nos processos de avaliação. São Paulo: Instituto Fonte; Ação Educativa. São Paulo, 05/12/2014. Disponível em: <http://www.institutofonte.org.br/node/1249>. Acesso em: 18 mar. 2015.


NOTA AOS COLABORADORES

Os artigos publicados pelo Primeira Análise devem ser relacionados

a pesquisas da Fundação Seade. As colaborações podem ser tanto

de integrantes da Fundação como de analistas externos.

A publicação não remunera os autores por trabalhos publicados.

A remessa dos originais para apreciação implica autorização para

publicação pela revista, embora não haja obrigação de publicação.

A editoria do boletim poderá contatar o autor para eventuais dúvidas

e/ou alterações nos originais, visando manter a homogeneidade e

a qualidade da publicação, bem como adequar o texto original ao

formato dos artigos do Primeira Análise – e para isso podem ser

realizadas reuniões de ajuste de conteúdo editorial com os autores.

É permitida sua reprodução total ou parcial, desde que seja citada

a fonte.

E-mail de contato: [email protected]

NORMAS EDITORIAIS

O artigo deverá ser digitado em Word (fonte TIMES NEW ROMAN,

corpo 12), contendo no mínimo 15 e no máximo 30 páginas, em

espaço duplo.

avaliação de programas públicos: um percurso na fundação … · os textos são destinados a um...

Documents