avaliação de políticas sociais

239

Trabalho, Educao e Sade, 2(1): 239-265, 2004

ARTIGO ARTICLE

Resumo Discutem-se alguns elementos da ava-liao de polticas sociais. O argumento central que, a par do fortalecimento da rea de avalia-o em anos recentes, ainda predomina a con-cepo voltada para os objetivos especficos deprogramas e projetos, e no para a avaliao dapoltica. Essa diferenciao tem especial impor-tncia quando se trata de polticas sociais, j queestas tm uma localizao especfica no conjun-to das polticas pblicas principalmente no ca-so brasileiro, onde uma potente estrutura deproteo social convive com nveis astronmicosde desigualdade e excluso. Em primeiro lugar,apontam-se algumas caractersticas da avaliaoreferentes ao argumento do trabalho. Em segui-da, so discutidas as possibilidades da avaliaopara alm de programas e projetos. Ao final,apresentam-se, preliminarmente, alguns desa-fios atuais da avaliao de polticas sociais.Palavras-chave polticas sociais; avaliao.

AVALIAO DE POLTICAS SOCIAIS:

NOTAS SOBRE ALGUNS LIMITES E POSSVEIS DESAFIOS

EVALUATION OF SOCIAL POLICIES:

NOTES ON SOME LIMITS AND CHALLENGES

Lenaura de Vasconcelos Costa Lobato 1

Abstract Some elements in the evaluation of so-cial policies are discussed. The central argumentis that, despite the improvements in evaluationmethods in recent years, the conception that thespecific objectives of programmes and projectsshould be assessed rather than the actual poli-cies still prevails. This differentiation has spe-cial relevance when dealing with social policies,since they occupy a specific place in the set ofpublic policies. This is particularly so in theBrazilian case, where a powerful social securitystructure coexists with astronomical levels ofinequality and exclusion. First we indicate someof the characteristics of the type of evaluationwe refer to in the paper. Then we discuss thepossibility of evaluations that will go beyondprogrammes and projects. Finally, we present apreliminary and brief survey of the presentchallenges found in the evaluation of socialpolicies.Key words social policies; evaluation.

06_artigo_lenaura 11/2/04 16:14 Page 239

Lenaura de Vasconcelos Costa Lobato240


Introduo

A rea de avaliao de polticas sociais vem se fortalecendo nos anos recen-tes. Apesar disso, ainda predomina uma concepo voltada para os objeti-vos especficos de programas e projetos, e no para a poltica. Isso faz comque a avaliao, um poderoso instrumento de melhoria das condies deexerccio da coisa pblica, perca a principal dimenso da poltica que ade um mecanismo privilegiado nas relaes entre Estado e sociedade , li-mitando-se a um conjunto de medidas de aferio de objetivos com baixareferncia social ou poltica. Essa diferenciao tem especial importnciaquando se trata de polticas sociais, j que estas tm uma localizao espe-cfica no conjunto das polticas pblicas principalmente no caso brasi-leiro, onde uma potente estrutura de proteo social convive com nveis as-tronmicos de desigualdade e excluso.

As avaliaes so capazes de identificar os limites dos programas e pro-jetos, mas a explicao para esses limites, em geral, est relacionada a ele-mentos do sistema poltico e/ou de nossa estrutura institucional, como es-trutura burocrtica, apropriao patrimonialista ou clientelista dos progra-mas e dificuldade de pactuao entre nveis de governo. Embora os avalia-dores reconheam esses elementos, a incluso destes nas estruturas de ava-liao ainda restrita, pois h um descompasso entre os resultados da ava-liao e a capacidade explicativa desses resultados, o que reduz a possibili-dade de serem usados como orientadores de mudanas. E, principalmente, ainda baixo o alcance da identificao das alteraes que a poltica de fa-to gera na proteo social e no bem-estar dos indivduos, caracterstica ine-rente poltica social.

Para discutir esses elementos apontam-se, em primeiro lugar, algumascaractersticas da avaliao referentes ao argumento do trabalho. Em segui-da, discutem-se as possibilidades da avaliao para alm de programas eprojetos. No final, apresentam-se, preliminarmente, alguns desafios atuaisda avaliao de polticas sociais.

Algumas caractersticas atuais da avaliao de polticas

Em artigo j clssico na rea de avaliao no Brasil, Figueiredo e Figueiredo(1986, p. 108) chamavam a ateno para a necessidade da avaliao polticada poltica, ou seja, a incluso, pela avaliao, do contedo substantivo dapoltica, seus princpios orientadores, explcitos ou no. Nas palavras dosautores: por avaliao poltica entendemos a anlise e elucidao do crit-rio ou critrios que fundamentam determinada poltica: as razes que a tor-nam prefervel a qualquer outra. E acrescentam, citando Barry, que estas




razes tm que ser relevantes, ou seja, devem estar referidas a princpios cu-ja realizao ir, presumivelmente, contribuir para uma desejvel quantida-de e distribuio de bem-estar. Os autores distinguiam este tipo de avalia-o da avaliao de polticas stricto sensu, voltada para os processos ou im-pactos da poltica. A reflexo dos autores relevante, considerando-se ocontexto em que o trabalho foi realizado o perodo da chamada Nova Re-pblica ps-regime ditatorial , no qual o resgate da chamada dvida so-cial era a questo em pauta para as polticas sociais. Analisando o perfil ealcance das pesquisas de avaliao de polticas sociais no pas, detectaram,entre outros aspectos, a pequena quantidade de pesquisas voltadas para aefetividade substantiva, onde estariam situados os estudos que examinas-sem parmetros externos ao programa, como justia social, igualdade, eqi-dade e mesmo desenvolvimento econmico (Figueiredo e Figueiredo, op.cit., p. 120).

A distino entre avaliao poltica e avaliao de polticas aponta, emprimeiro lugar, a restritividade das avaliaes denominadas polticas, masque so, na verdade, avaliaes de metas e objetivos de programas e proje-tos; em segundo, indica a necessidade de considerar o carter normativo dapoltica pblica, em especial da poltica social, que abordaremos mais frente. Assim, trata-se do redirecionamento que j vinha sendo apontadopela literatura e experincias internacionais h alguns anos e indicava oadensamento da rea de avaliao de polticas por meio da interlocuo coma rea tradicional de anlise de polticas pblicas, na qual at ento a ava-liao era secundria. Isso levou a um avano significativo da rea de ava-liao de polticas, com a introduo de critrios prprios da cincia polti-ca, incorporando uma srie de variveis que interferem na poltica pblica,o que fez com que as avaliaes pudessem expressar muito melhor a din-mica real dessa poltica. Contudo, essa interlocuo no pde ainda dar con-ta de fazer a avaliao ultrapassar o plano dos programas e projetos; os ele-mentos da poltica acabam sendo avaliados no limite desses programas eprojetos, deixando de lado a identificao do contedo inerente poltica,que o de interferir e eventualmente transformar para o bem ou para omal as relaes sociais prevalentes.

Essa limitao bastante compreensvel e de difcil soluo. Supe-seque um dos ns esteja na dificuldade de superar as rgidas estruturas decorpos tericos e metodolgicos bastante distintos, como no caso da polti-ca e da avaliao. A rea de avaliao stricto sensu tem como domnio prin-cipal na rea social as avaliaes de servios em especial de sade e edu-cao e, no campo das polticas pblicas, as tradicionais avaliaes vol-tadas para o acompanhamento e controle dos processos. No primeiro caso, apredominncia de um arsenal bastante refinado de metodologias predomi-nantemente quantitativas, que tm como premissa a delimitao muito cla-




ra do objeto e a explicitao minuciosa dos critrios de avaliao e suas me-didas correspondentes. Isso implica avaliaes setoriais, de pequeno escopoe/ou com um nmero limitado de variveis. o respeito a esse domnio oque, de alguma forma, identifica e mesmo autoriza uma avaliao. No se-gundo caso, as avaliaes no plano governamental eram de carter adminis-trativo ou de auditagem, restritas ao cumprimento dos processos predeter-minados pelos programas ou projetos, ao uso probo dos recursos e entre-ga do produto.

A entrada dos elementos da cincia poltica se faz principalmente a par-tir das referncias do policy making. Este, como se sabe, privilegiava a din-mica de como as decises so tomadas, com interesse especial na forma pelaqual a poltica formulada (Lindblon, 1981). A implementao era entendi-da como uma etapa dada, sob a responsabilidade da burocracia, e como umproblema gerencial. A distncia entre as polticas tal qual formuladas e suaimplementao tornou esta fase objeto de especial ateno dos cientistas po-lticos (Pressman e Wildavsky, 1973; Hogwood e Gunn, 1984), e hoje con-siderada uma etapa autnoma no policy making (Viana, 1995) sendo, inclu-sive, objeto especfico de avaliao, que desperta cada vez mais ateno einteresse de especialistas (Draibe, 2001; Silva e Costa, 2002; Arretche, 2001).

Atualmente, so fundamentais, na avaliao de polticas pblicas, ele-mentos como o papel dos participantes e interessados na poltica (stakehol-ders, reconhecidos ou no como atores), a estrutura e dinmica de decisodos agentes, as especificidades de cada um e as relaes entre os nveis degoverno. Esses elementos so de difcil aplicao nas avaliaes governa-mentais oficiais, que demandam estruturas de avaliao bem mais comple-xas. Entretanto, os especialistas vm considerando cada vez mais sua rele-vncia, sustentando que deveriam ser agregadas funo precpua dos go-vernos no campo da aplicao eficiente e eficaz dos recursos pblicos.

A avaliao era entendida como uma etapa externa poltica, encami-nhada por auditores ou avaliadores externos. Tinha um carter fiscalizador,sempre realizada a posteriori e, portanto, auxiliava muito pouco a gesto e atomada de deciso (Mokate, 2000). Hoje, ao contrrio, ela avana como reade interesse no campo das polticas pblicas. Contriburam para isso a maiorcomplexidade dos aparatos estatais, a maior interao entre os setores p-blico e privado, e a democratizao e maior transparncia das aes pbli-cas, que exigiram maior prontido (responsiveness) e responsabilizao (ac-countability) dos governos pelo resultado das polticas.

Em muitos pases, esses elementos foram conseqncia das iniciativasde reforma do Estado levadas a cabo nas ltimas trs dcadas. Com base napremissa da ineficincia dos aparatos estatais e na necessidade de reduzirseu tamanho, foram introduzidos mecanismos de competio e gesto volta-dos a resultados. Em linhas gerais, esses mecanismos visavam dar ao Estado




e administrao pblica a eficincia necessria para lidar com as novas de-mandas da economia globalizada, que exigiria uma velocidade de gesto in-compatvel com as estruturas arcaicas e burocratizadas2. A forma mais aca-bada dessa concepo a chamada New Public Management, que inspiroureformas da gesto pblica em diversos pases. Esta concepo sofreu vriascrticas, dentre elas a de que, embora tenha como premissa central a idiade gesto voltada para resultados, h poucas provas de que tenha dado re-sultados, j que ela no foi avaliada na maioria dos pases onde foi imple-mentada (Pollitt e Bouckaert, 2002). Mais importante seria o fato de que agesto voltada para a eficincia e a prestao de contas resulta numa com-petio por rendimentos individuais e em estratgias de adaptao, mais doque em responsabilidades polticas coletivas; ou seja, a ganncia por efeti-vidade e eficincia comprometeria a responsabilidade poltica dos agentespblicos (Christensen e Laegreid, 2001).

Parte importante das estratgias de reforma da gesto pblica foi a idiada administrao voltada para o cliente (OECD, 1987), depois expandida pa-ra o conceito de cidado (OECD, 1996), embora mantendo a noo de cida-do como consumidor. Essa concepo inspirou iniciativas em diversos pa-ses, que criaram mecanismos de aferio da prestao de servios pela ad-ministrao pblica, como as cartas de servios ou cartas de cidados (Cou-tinho, 2000). Apesar da importncia dada preocupao com o resultadodos servios prestados, essa concepo tambm sofreu crticas, em razo dadificuldade de se equiparar o cidado a um consumidor, j que consumidor aquele que escolhe, e o cidado tanto no escolhe a administrao pblicacomo no pode mud-la (Falco, 2000, p. 8).

Gilbert et al. (2000) concluem que as agncias governamentais que aten-dem consumidores com possibilidade de escolha so mais bem avaliadas. Es-tudando o caso americano, demonstram como os consumidores cativos aqueles que no podem optar por outros servios tm uma avaliao ne-gativa dos servios. J os usurios consumidores que podem optar poroutra alternativa quela ofertada pelo servio pblico tm opinio posi-tiva do servio pblico prestado. curioso, porque, no caso brasileiro, osresultados so totalmente inversos, ao menos no caso do Sistema nico deSade (SUS). Aqui, as pesquisas demonstram que os cidados cativos doSUS tendem a consider-lo positivamente, enquanto os que tm planos desade julgam o sistema pblico negativamente (Lobato, 2000; Instituto Gal-lup, 1996; Conass, 1998). Mais do que uma diferena entre brasileiros e ame-ricanos, isso poderia demonstrar uma diferena substantiva entre o que seavalia e a metodologia aplicada (que , de fato, o caso dos estudos citados).Mais importante, contudo, ressaltar que se deve tomar com cuidado aidia da satisfao do usurio como um mecanismo de avaliao de polticas.A satisfao do usurio um importante instrumento de avaliao, mas seu




alcance restrito quando o mbito a poltica. temerrio perguntar a umcidado de uma pequena cidade de qualquer estado do pas sobre um pro-jeto ou programa que ele identifica (claro, porque pouco provvel quepossamos perguntar sua opinio ou percepo sobre, por exemplo, a polti-ca nacional de combate fome) e esperar que estas respostas possam tradu-zir uma percepo sobre um conjunto de atividades, mecanismos e princ-pios que uma poltica envolve. A satisfao do usurio pode e deve ser iden-tificada para avaliar servios e benefcios. J a relao entre governo e so-ciedade expressa na poltica envolve uma noo de coletivo mais do que aposio de indivduos isolados. O cidado no o receptor de coisas que ogoverno faz, o proprietrio da coisa pblica (Hirschmann apud Coutinho,2000, pp. 44-45), ao menos do ponto de vista normativo. Assim, as avalia-es que privilegiam a satisfao do usurio como mecanismo de qualifica-o da poltica podem estar adotando uma concepo que, ao fim e ao cabo,v o cidado como consumidor/cliente.

Possibilidades de avaliao da poltica

para alm de programas e projetos

A interlocuo entre o domnio da avaliao cientfica, a renovao em-preendida nos sistemas tradicionais de avaliao e as estratgias de reformada gesto pblica lana novos desafios para os estudos de avaliao de pol-ticas. Um deles seria superar a noo de causalidade. Como se sabe, ela in-forma grande parte das pesquisas de avaliao e de anlises de polticas; area de avaliao de polticas tomou esse critrio como modo de aferir umdos preceitos bsicos da avaliao, que a necessidade de poder identificarclaramente os resultados com o percurso da poltica. Em outras palavras, preciso poder atestar que os resultados no seriam alcanados se no fossea interveno daquela poltica. Contudo, argumenta-se se possvel estabe-lecer relaes claras de causalidade quando se reconhece que a realidade daformulao e implementao de polticas um territrio onde prevalecem oconflito e a ambigidade. Na avaliao de servios, programas ou projetos, possvel, e talvez mesmo necessrio, aplicar a relao causal, consideradapassvel de comprovao numa situao observada como ela o nas cin-cias sociais. Ou seja, pode-se a delimitar mais claramente a relao entre in-sumos gerais do projeto, programa ou servio e o efeito sobre, por exemplo,a populao, um grupo de profissionais ou a organizao de um servio.

Um programa , por definio, um conjunto articulado e restrito de ati-vidades, dirigido a situaes-problema s quais busca responder (OECDapud Silva e Costa, 2002). No caso da poltica, a situao observada incluielementos nem sempre passveis de submisso a relaes causais. Por exem-




plo, pode-se estabelecer uma relao causal entre programas de reduo damortalidade infantil, como o da Pastoral da Criana, e a reduo efetiva damortalidade naqueles grupos especficos. A relao causal entre, de um la-do, medidas de alimentao e nutrio e, de outro lado, a reduo da mor-talidade infantil est estabelecida mundialmente (mesmo que no como con-dies necessrias e suficientes), graas a estudos empricos em situaesobservveis que comprovaram esta relao. J se quisermos relacionar omesmo efeito como resultado da poltica de incentivo sade comunitriaatualmente em implementao pelo Ministrio da Sade, ser bem maiscomplexo. Mesmo se fosse possvel estabelecer empiricamente esta relaode causalidade, e os outros elementos da poltica? E se essa poltica tiver al-canado esse efeito final previsto e desejado, mas custa da reduo daateno em outros setores, ou pela imposio s mes de tratamentos com osquais elas no concordavam, embora fossem princpios da poltica o respei-to populao atendida e a ateno integral sade? A avaliao poderiaapontar esses aspectos, mas como indicar o que da poltica foi razoavelmen-te atingido para que ela pudesse ser replicada, aproveitada ou recusada? Se-ria a utilizao de mtodos rejeitados pelas mulheres a melhor forma de atin-gir os efeitos? Seria a reduo da mortalidade incompatvel com a atenointegral, indicando, por exemplo, a focalizao das aes do Ministrio emum segmento em prejuzo do outro? No toa, a dificuldade maior na con-feco de modelos de causalidade no estabelecer as relaes, mas os valo-res de cada elemento no conjunto das relaes.

A questo se complica se considerarmos a profuso de variveis e indi-cadores que corretamente so hoje considerados necessrios avaliao. Emrecente e extensivo estudo sobre a funo avaliao em pases da Amricado Sul, Toledo (2002) apresenta essa diversidade a partir da experincia devrios pases. A complexidade talvez explique o fato de que se produzammuito mais modelos de avaliao do que avaliaes propriamente. O autoraponta, entre outras, como prioridades comuns entre os sistemas estudados,a necessidade de aprofundar estudos e pesquisas sobre mtodos voltados aresgatar o nexo entre indicadores de desempenho no mbito dos programase objetivos finais das polticas pblicas em que se inserem (Toledo, 2002,p. 280).

Ao indicar critrios para uma metaavaliao (avaliao da avaliao), omesmo autor estabelece um conjunto de 11 critrios, cada um com distintassituaes dispostas numa escala de cinco pontos, da mais positiva mais ne-gativa (Toledo, 2002, pp. 66-73). Os critrios cobrem quase todas as reasrelacionadas ao desempenho dos sistemas de avaliao, mas dizem poucorespeito aos problemas poltico-institucionais ou aos efeitos ou impactos so-ciais que os sistemas de avaliao deveriam considerar para avaliar polti-cas, exceo de um deles, que seria a incluso de parmetros de eqidade




social. Isso parece evidenciar ao menos a especificidade dos sistemas oficiaisde avaliao em relao avaliao de polticas e, possivelmente, a impossi-bilidade de que esses sistemas oficiais introduzam critrios to complexoscomo os que requerem a avaliao substantiva da poltica. Um caminho ra-zovel talvez fosse os sistemas oficiais nacionais assumirem as limitaes deum sistema de avaliao, enfocando mesmo nos critrios de desempenho deprogramas e projetos, e se empenharem no desenvolvimento de sistemas re-finados de informao, estimulando avaliaes locais ou regionais, e incen-tivando as universidades e os centros de pesquisas para as avaliaes de ca-rter mais substantivo sobre os resultados das polticas. Isto ao menos redi-recionaria recursos em consultorias na tentativa de montar metodologiascomplexas que atendam tanto s necessidades de avaliao das aes gover-namentais quanto avaliao substantiva de resultados, que ao cabo so dedifcil aplicao.

Desafios para a avaliao de polticas sociais

Embora as caractersticas do processo de formulao e implementao daspolticas pblicas sejam similares, a poltica social apresenta especificidadesque devem ser consideradas no processo de avaliao, em especial na atua-lidade e no caso brasileiro. A poltica social tem sido, na trajetria do capi-talismo, o lugar, por excelncia, de conflitos inerentes a todas as formas dedesigualdade e excluso. Nesse sentido, ela se distingue de um conjunto deoutras polticas pblicas, por revelar esses conflitos cotidianamente. Mes-mo que qualquer poltica pblica interfira direta ou indiretamente nas con-dies de bem-estar da populao, para a poltica social que confluem osatores, as demandas e os conflitos referentes a essas condies. Mesmo umapoltica social que no gere nenhum bem-estar ainda uma poltica social.Contudo, sob o ponto de vista da avaliao, cujo objetivo atribuir valor,valorar, h que se adotar o critrio preliminar do bem-estar para se avaliaruma poltica social. Uma avaliao poltica da poltica social deve necessa-riamente considerar essa premissa.

Por outro lado, a poltica social, ao gerar bem-estar, altera condiesexistentes de distribuio da riqueza social. Entretanto, no altera necessa-riamente as relaes sociais que sustentam as regras dessa distribuio, daas polticas distribudas como privilgios, por critrios clientelistas ou as-sistencialistas. Elas podem gerar bem-estar, mas no so capazes de assegu-r-lo, seja pela instabilidade da oferta, seja pela relao de dependncia aelas associada. Assim, uma segunda premissa que deveria orientar critriospara uma avaliao poltica da poltica social seria o impacto dessa polticana gerao de bem-estar permanente.




A alterao das relaes sociais no sentido de um bem-estar permanen-te no possvel sem a mudana da correlao de foras prevalecente. Issoimplica que, tambm para avaliar a possibilidade de uma poltica social ge-rar bem-estar permanente, necessrio identificar possveis mudanas nacorrelao de foras a favor de arranjos polticos e/ou mecanismos institu-cionais que indiquem projetos, estratgias ou mesmo inovaes gerenciaisque favoream uma nova distribuio de poder.

Um ltimo elemento a ser considerado na avaliao poltica diz respeitoaos impactos finais (Cohen e Franco, 1993). tema relevante e recorrente naliteratura, que enfatiza a importncia de identificar, mais do que a eficciana distribuio de produtos sociais, seus efeitos sobre a qualidade de vida,em especial sobre a cidadania da populao (Rico et al., 2001). Contudo, asavaliaes so ainda limitadas no que diz respeito capacidade de apreen-der a complexidade dessas dimenses. Da decorre que a aferio do impac-to social das polticas se restringe a identificar a satisfao dos beneficiriosdos programas e projetos. hoje um desafio para a rea de avaliao incluirelementos que dem conta de avaliar os indivduos como sujeitos e no so-mente como beneficirios de programas ou usurios de servios. H autoresque se debruam sobre a atualidade da noo de cidadania, buscando reveras dimenses que ela comportaria para alm da relao formal cidados-Estado baseada em um corpo de direitos homogneos , para incluir acomplexidade dada pela diversidade, a subjetividade e a autonomia e suarelao com a poltica (Fleury, 2003b; Kymlicka e Norman, 1997; Young,1990; ). Essa atualizao merece ser confrontada com os conceitos mais re-centes de capital social (Abu-El-Haj, 1999) e fortalecimento social ou empo-deramento (empowerment) (Oakley e Clayton, 2003), j que permite a asso-ciao necessria entre a sociabilidade e a autonomia social, sem perda dadimenso central do Estado na construo e manuteno da coletividade(Evans, 1996).

A rea de sade no Brasil oferece uma boa oportunidade para os estu-dos de avaliao de polticas nesse sentido, pois apresenta hoje uma estru-tura de distribuio de poder totalmente diversa daquela que prevalecia ata institucionalizao da reforma sanitria com o Sistema nico de Sade. Es-sa nova estrutura se manifesta em diversos mecanismos institucionais e degesto, como as instncias de pactuao e negociao, e aquelas de controlesocial, assim como incluem um novo papel e dinmica de vocalizao de de-mandas pelos distintos atores, em especial o setor privado e a sociedade ci-vil organizada. A persistncia de inmeros problemas hoje no sistema podeser explicada pela complexidade do processo no qual a poltica formuladano contava com os mecanismos polticos para sua implementao. Sua ins-titucionalizao permanente no aparato estatal irradiou e consolidou umanova correlao de foras que, no sentido oposto, apoiou a consolidao de




espaos no exclusivamente estatais. Essa dinmica garantiu que hoje a po-ltica da reforma sanitria seja no mais uma poltica de governos, mas umapoltica de Estado (Fleury, 2003a).

Sem dvida, patente a universalizao alcanada, que, baseada no di-reito, garante a ateno sade para a maioria da populao, antes semacesso. Contudo, no se pode ainda atestar que a poltica de sade esteja ga-rantindo as condies para um bem-estar permanente em sade, o que re-quer avaliaes que dem conta de associar, dos pontos de vista terico emetodolgico, a dinmica poltico-institucional com os resultados relativosa esse bem-estar.

Consideraes finais

Diante da grave situao social do Brasil hoje, a rea de avaliao tem umacontribuio particular. A desigualdade reconhecidamente o principalproblema nacional, atestada por uma profuso de dados, indicadores e me-didas de pobreza e excluso; e no h indcios de sua reduo expressiva emcurto prazo. Por outro lado, as polticas sociais tm passado por transforma-es importantes, como a pluralizao e democratizao das arenas decis-rias, a descentralizao, o fortalecimento do poder e das aes locais. Entre-tanto, pouco se sabe sobre os resultados substantivos das polticas implan-tadas ou em implementao. Costuma-se dizer que a avaliao cara, j queexige pesquisas empricas extensivas e com amostras que dem representa-tividade s concluses. De fato, apesar das muitas propostas de metodolo-gias, pouco se avalia de concreto. Outros fatores corretamente levantadosso a baixa tradio de avaliao no pas, a falta de continuidade das polti-cas, o uso poltico das avaliaes ou as avaliaes de carter poltico.

Talvez caiba aos especialistas, que pouco podem interferir nessas carac-tersticas, a confeco de avaliaes parcimoniosas nos custos, mas efetivasna indicao dos entraves da poltica social e das possveis solues. Um ca-minho simplificar as metodologias utilizadas, para se aprofundar em con-tedo e identificao efetiva dos resultados, o que demandaria explorarmais as tcnicas qualitativas e reduzir os universos de investigao. Asgrandes avaliaes recentes da poltica social, que no so muitas, pouco im-pacto tiveram na direo da poltica. necessrio chegar mais perto dos in-divduos que esto na ponta da linha; conhecer suas estratgias, seus mo-dos de vida, suas expectativas e como interagem com as polticas. E isso no privilegiar um tipo de avaliao (a avaliao de impacto). A avaliao dapoltica social deve necessariamente associar processo e impacto. Isoladas,as avaliaes de processo e impacto so ou avaliaes de polticas pblicasou avaliaes de programas e projetos sociais, mas no de poltica social.




Notas

1 Professora da Escola de Servio Social da Universidade Federal Fluminense. Soci-loga, Doutora em Cincias Sade Pblica e Mestre em Administrao Pblica. .

2 Como se sabe, as reformas na gesto pblica so apenas um dos componentes daschamadas reformas de Estado. Como o tema j foi exaustivamente explorado pela literatu-ra, no cabe e nem interesse aqui explor-lo. Vale apenas lembrar que a expanso da ava-liao faz parte desse processo, como estratgia recomendada pelas agncia internacionaispara favorecer a eficincia macro e micro-econmica dos Estados nacionais.

Referncias bibliogrficas

ABU-EL-HAJ, Jawdat. 1999. O debate emtorno do capital social: uma reviso cr-tica. BIB, 47:65-79.

ARRETCHE, Maria Teresa da Silva. 2001.Uma contribuio para fazermos avalia-es menos ingnuas. In: Tendncias eperspectivas na avaliao de polticas eprogramas sociais (Barreira, Maria Cec-lia Roxo Nobre. C. e Carvalho, Maria doCarmo Brandt, orgs.), pp. 43-56, SoPaulo: IEE/PUC-SP.

CHRISTENSEN, Tom e LAEGREID, Per.2001. La nueva administracin pblica:el equilibrio entre la governanza polti-ca y la autonoma administrativa. Revis-ta do Servio Pblico, 52(2):69-110, abr-jun.

COHEN, Ernesto e FRANCO, Rolando. 1993.Avaliao de projetos sociais. Petrpolis,RJ: Vozes.

CONASS (Conselho Nacional de Secretriosde Sade). 1998. A sade na opinio dosbrasileiros. Cadernos Conass. Braslia:Conass.

COUTINHO, Marcelo Vasconcelos. 2000.Administrao pblica voltada para ocidado: quadro terico-conceitual. Re-vista do Servio Pblico, 51(3):41-74.

DRAIBE, Snia Maria. 2001. Avaliao daimplementao: esboo de uma metodo-logia de trabalho em polticas pblicas.In: Tendncias e perspectivas na avalia-

o de polticas e programas sociais (Bar-reira, Maria Ceclia Roxo Nobre e Carva-lho, Maria do Carmo Brandt, orgs.), pp.13-42, So Paulo: IEE/PUC-SP.

EVANS, Peter. 1996. Government action, so-cial capital and development: reviewingthe evidence on sinergy. World Develop-ment, 24(6):1119-1132.

FALCO, Salvatore Esposito de. 2000. Instru-mentos de voice giving na relao entreos cidados e a administrao pblica: acarta dos servios. Revista do ServioPblico, 51(3):5-25.

FIGUEIREDO, Marcos Faria e FIGUEIREDO,Argelina. 1986. Avaliao poltica e ava-liao de polticas: um quadro de refe-rncia terica. Anlise e Conjuntura,1(3):107-127.

FLEURY, Snia. 2003a. Poltica de Estado,no de governo. Observatrio da Im-prensa. Jornal de Debates. 16 set 2003.Disponvel em:



pblico. Revista do Servio Pblico, 51(3):26-40.

HOGWOOD, Brian W. e GUNN, Lewis A.1984. Policy analysis for the real world.Oxford, New York: Oxford UniversityPress.

INSTITUTO GALLUP. 1996. Avaliao dosservios pblicos de atendimento sade.Rio de Janeiro: Instituto Gallup.

KYMLICKA, Will e NORMAN, Wayne. 1997.El retorno del ciudadano. una revisinde la produccin reciente en teora de laciudadana. Agora, 7:5-42.

LINDBLOM, Charles E. 1981. O processo dedeciso poltica. Braslia: Ed. da Univer-sidade de Braslia.

LOBATO, Lenaura. 2000. Reforma sanitriae reorganizao do sistema de servios desade: efeitos sobre a cobertura e a utili-zao de servios. Tese de doutorado.Rio de Janeiro: Escola Nacional de Sa-de Pblica, Fundao Oswaldo Cruz.

___ et al. 2002. Intersetorialidade, partici-pao e sustentabilidade: desafios da ges-to social para a integrao um estudode caso do Programa Favela-Bairro. Riode Janeiro. (Mimeo.)

MOKATE, Karen. 2000. Convertiendo elmonstruo en aliado: la evaluacin co-mo herramienta de la gerencia social.Washington: INDES/BID.

OAKLEY, Peter e CLAYTON, Andrew. 2003.Monitoramento e avaliao do empodera-mento. So Paulo: Instituto Plis.

OECD (Organization for Economic Co-ope-ration and Development). 1987. Admin-istration as service: the public as client.Paris: OECD.

___ . 1996. Putting citizens first: Portugueseexperienece in public management reform.Paris: OECD.

POLLITT, Christoffer e BOUCKAERT, Geert.2002. Avaliando reformas na gesto p-blica: uma perspectiva internacional.Revista do Servio Pblico, 53(3):5-29.

PRESSMAN, Jeffrey e WILDAVSKY, Aaron.1973. Implementation. Berkeley: Uni-versity of California Press.

RICO, Elizabeth et al. 2001. Avaliao de po-lticas sociais: uma questo em debate. 3aed. So Paulo: Cortez/Instituto de Estu-dos Especiais.

SILVA, Pedro Luiz Barros e COSTA, Nlsondo Rosrio. 2002. A avaliao de progra-mas pblicos: reflexes sobre a experin-cia brasileira. Relatrio Tcnico/Coope-rao tcnica BID-Ipea. Braslia: Ipea/BID.

TOLEDO, Ricardo. 2002. Eficincia e eficciada ao governamental: uma anlise com-parativa de sistemas de avaliao. Rela-trio Tcnico. Braslia: Ipea.

VIANA, Ana Luiza. 1995. Abordagens me-todolgicas em polticas pblicas. Re-vista de Administrao Pblica, 30(2):5-43.

YOUNG, Iris Marion. 1990. Polity andgroup difference: a critique of the idealof universal citizenship. Ethics, 99:250-274.


avaliação de políticas sociais

Documents