Avaliao das polticas pblicas

na Frana

Nicoletta Stame Meldolesi

1. Introduo

Em 1990, a Frana colocou em funcionamento um sistema inter- ministerial de avaliao das polticas pblicas.

Esta deciso foi resuitado de uma discusso de dez anos sobre a reforma do Estado e, ao mesmo tempo, o encaminhamento de uma experincia, que, embora ainda reduzida, parece destinada a criar razes. Vem, assim, da Frana um pas que nos culturalmente semelhante, mas cujas instituies vm sempre sendo observadas com uma reverncia que esconde com dificuldade o pouco caso, para no dizer bloqueio mental um exemplo encorajador para todos os pases do Welfare State: um exemplo que quisemos explorar pela sua racionalidade e capacidade de responder s exigncias mais profundas.

O que impressiona nesta experincia o modo pelo qual, convencidos da importncia da avaliao e tendo examinado os vrios aspectos, um determinado grupo de pessoas de diversos meios polticos e de vrias origens institucionais conseguiu, com esprito pluralista, dar vida a uma realidade bi-partisan, que modifica significativamente o sistema legislativo, tanto no processo de deciso quanto no de implementao. Essas pessoas conseguiram apresentar sua proposta em ambientes especializados ou no, utilizando uma srie de revistas (como Le Dbat, Commentaire, Revue franaise de Science politique, Projet, Problmes politiques et sociaux, Revue franaise d'' administration publique) interferindo nas mais diversas ocasies, de forma a tornar palpvel uma prtica que aperfeioe as condies nas quais se desenvolve a ao coletiva e comprometa funcionrios pblicos e usurios a assumirem a responsabilidade de

liSTB

Revista doServioPblico

Ano 47 Volume 120 Nmero I Jan-Abr 1996

Nicoletta Stame Meldolesi Professora de Cincia Poltica da Universidade de Mcssina, Itlia

83

fazer o Estado funcionar. A isso acrescenta-se o papei desempenhado pelas altas autoridades da Repblica, que souberam colher frutos do debate e dar impulso reforma, permitindo o desenvolvimento da experincia prtica.

Naturalmente, ainda cedo para falar de um aparato de avaliao slida e estabelecido; mas o mecanismo muito simples e barato, que foi provado, j permitiu a vrios atores de polticas pblicas fazer as primeiras experincias importantes, que souberam levar adiante, nos mais diversos setores da administrao, descobrindo novas potencialidades. E significativo que conseguissem transmitir suas experincias, e que destes exemplos extrassem uma surpreendente vitalidade.

Nas pginas que seguem, reconstituiremos, portanto, em primeiro lugar, as diversas posies que alimentaram o debate e o modo pelo qual interferiram nas propostas de reforma e nas novas realidades institucionais. Em seguida, esclareceremos como o mecanismo em funcionamento pode favorecer, por sua vez, um novo dilogo, e possibilitar, assim, um melhor funcionamento do sistema democrtico.

2. A crise de uma boa administrao

A Frana do ps-guerra caracterizou-se por uma poltica dirigida e solidria, que pde se apoiar em uma Administrao Pblica eficiente, com capacidade tradicionalmente reconhecida de agregar os interesses particulares (M inelli, 1989). A interveno pblica na economia adquiriu consistncia em diversos graus de programao.

Nos anos 50 e 60, foi imposto um acordo entre o plano estatal e as empresas. Era o momento da reconstruo e da ateno para com as quantidades; mas, mesmo assim, no faltaram crticas, a pretexto de controlar tudo, e apelos a um maior reconhecimento da diversidade (C ro- ZIER, 1967).

Nos anos 70, comeou-se a falar mais da racionalidade nas escolhas de programaes do que de plano, e os mtodos americanos de anlise foram estudados ex ante (o Planning Programming Budgeting System), procurando, porm, manter a especificidade francesa de um maior direcionamento pblico (que deveria ser refletido no mtodo da Rationnalit des choix budgetaires, Rcb, cfr. M u ller , 1990, p. 114). Na realidade, simplesmente, foram colocados em funcionamento os mecanismos de anlise custo-benefcio para a escolha dos investimentos. Paralelamente, foram elaborados mtodos de anlise prprios ex ante dos projetos de desenvolvimento na cooperao internacional (o mtodo dos efeitos), que por seu centralismo mais acentuado e coordenao teriam que se diferenciar daqueles mais difundidos pelas agncias internacionais, divulgados

nos manuais de L ittle & M irlees e de O nudi (cfr. Ministre de Ia coopration, 1976).

Com todos esses desenvolvimentos, era sempre mantida a tradio administrativa francesa, caracterizada por uma forte centralizao, elevado profissionalismo nos nveis superiores (graas formao dos dirigentes nas Grandes coles e, em particular, na ENA, Ecote Nationale d Administration, de onde vem a denominao enarcas), presena de instituies de controle administrativo (a Cour des comptes) e financeiro (a Inspection des Jinances) particularmente eficazes nas suas inspees e, enfim, um corpo de funcionrios de nvel inferior educado no esprito do servio pblico. No nos surpreende que se pudesse, tranqilamente, afirmar que o Estado era o depositrio do interesse pblico.

Vista retrospectivamente, esta parece a poca da simplicidade e da homogeneidade, na qual se pensa ser possvel conhecer as necessidades da sociedade e prever as solues que funcionaro. Em outras palavras, governar a sociedade atravs da realizao do plano e da legitimidade dos decretos. E , tambm, a oportunidade de ampliara interveno do Estado at a cobertura, cada vez mais ampla, do risco social: os franceses traduziram o Welfare State, basicamente, como tat providence.

O brusco despertar que, no fim dos anos 70, a crise fiscal do Welfare State provoca em todos os pases industrializados, obrigando a cortar os oramentos pblicos que crescem desmedidamente, embora oferecendo servios de pior qualidade, recebe na Frana um contragolpe diferente. A maior parte das sociedades do Bem-Estar, atingidas por uma crise do modelo do conhecimento (no podemos identificar nem prever o desenvolvimento de uma sociedade complexa e diversificada, na qual tudo interdependente), provocaram uma reao contra o Estado, nos seus dois instrumentos: o plano que no poderia alocar os recursos de modo racional (ineficincia); e a Administrao Pblica, que no teria condies de exercer a administrao de modo justo e imparcial (crise de legitimidade). E so as sociedades com caractersticas estatistas mais frgeis que vem surgir as ideologias do Estado Mnimo e os debates sobre Estado-mercado e mais ou menos Estado.

Tambm atingida por esta crise, a Frana reage apoiando-se na sua tradio estatizante. Os cortes no oramento ocorrem de modo gradual e silencioso e, sobretudo, nunca esto estreitamente ligados s profundas inovaes que afetam diretamente o Estado.1

Aqui nunca seriamente all'odg o problema do Estado Mnimo; mesmo que no se tenha dado conta da crise do tat providence (Rosan- v a l l o n , 1981), a situao foi sentida como ocasio para um grande trabalho de modernizao do Estado. O primeiro-ministro Rocard sintetizou esta poltica, cunhando a frmula da procura do mieux d'tat uma frmula que devolve a confiana Administrao Pblica em vez de san-

liETJ

86

cion-la. Esta deve procurar reconquistar uma legitimidade, no insistindo na tradio monarquista e estatiste, mas, principalmente, renovando a sua atitude e capacidade de realizar melhor que a iniciativa privada a misso que lhe foi confiada.

Durante os anos 80, esta tendncia toma dois caminhos principais. O primeiro do qual no nos ocuparemos nestas notas ataca a rigidez dos rgos da Administrao Pblica e promove a descentralizao (que aumenta os poderes das coletividades locais e do Legislativo, em prejuzo da administrao central e do Executivo) e a desconcentrao (que reorganiza, a nvel local, os escritrios estatais), duas reformas aprovadas por uma lei de 1982.2

O segundo que o objeto da nossa anlise diz respeito rigidez dos instrumentos de interveno do Estado: em vez de criar planos e decretos, comea-se a considerar que um Estado moderno deva governar atravs de polticas pblicas e programas a realizar, uma vez que a sua avaliao tenha evidenciado discrepncias entre objetivos e resultados, atravs de um processo incrementador que diz respeito tanto atuao como deciso.

Sendo assim, se o tema remediar a crise do Estado, a nfase dada primeiro avaliao e depois s polticas pblicas a serem avaliadas, uma peculiar e frutfera inverso de seqncia. No sistema americano de Common Law, foi uma cultura jurdica baseada na flexibilidade e na adaptao que favoreceu o aparecimento de programas sociais, sobretudo a partir da War on Poverty, que se ocupava dos problemas que esta- vam no centro do movimento pelos direitos civis. Os programas sociais so projetos de reforma que seguindo uma particular hiptese de mudana se comprometem a obter determinados objetivos em um determinado lapso de tempo, com os meios fornecidos por uma determinada dotao no oramento: seja para confrontar os resultados obtidos com os objetivos prefixados, seja para decidir o que fazer no fim do perodo (prosseguir ou abandonar o programa; melhorar as suas prticas e procedimentos; acrescentar ou abandonar tcnicas e estratgias; instituir programas similares em outros lugares; distribuir os recursos entre programas concorrentes; aceitar ou recusar a aproximao de um programa e de suas hipteses como lembra Wi-iss, Carol, 1992, p. 16), desenvolveram vrios mtodos de avaliao, que diferem quanto ao objetivo, modelo e destinatrios.

No sistema francs, para o ato administrativo, no qual a norma vista como soluo estvel e justa para problemas recorrentes, foi preciso rever os resultados no satisfatrios (sempre indicados erroneamente com a frmula dos efeitos perversos)3 e encontrar novos caminhos, atravs da avaliao para fazer com que o instrumento legislativo tomasse a forma mais gil e pragmtica dos programas e das politicas pblicas.

Naturalmente, surgiram diversos pontos de vista. Alguns sustentam que somente as polticas que se baseiam em programa precisos, fundos para administrar e metas especficas a seguir, e que s estas podem ser avaliadas: assim, insistem para que a legislao evolua para a formulao de programas inovadores. Outros propem uma inverso de seqncia: avaliar pode ajudar a encontrar uma maior coerncia (e dignidade das polticas pblicas), mesmo com aes legislativas concebidas como aes desligadas e setoriais, que, porm, contribuem para enfrentar problemas complexos: o tpico caso da poltica urbana.4 Assim, em um dos primeiros encargos de avaliao que lhe confiado intitulado As polticas sociais transversais: uma metodologia dos seus efeitos locais o Comissariat gnral duplan ( 1986) pede a um grupo de trabalho misto (de internos e externos) para contribuir para a definio de um dispositivo de avaliao das polticas sociais locais e define como poltica pblica o conjunto destes programas de desenvolvimento social dos bairros perifricos, cujos efeitos se fazem sentir sobre aspectos como o cumprimento da obrigatoriedade escolar, a desocupao juvenil, etc.

Em 1989, M en y , Yves e T h o e n ig , Jean Claude, em seu influente manual, deram uma definio pragmtica, mas ainda fora do contexto das polticas pblicas e da avaliao: Se a poltica pblica uma srie de hipteses ou uma teoria, afirmada e sustentada por um rgo governamental, avaliar consiste em descobrir as surpresas que a ao gera em relao quela teoria (p. 307). Poucos anos depois, D u r a n , Patrice e M onnif.r , Eric (1992, p. 245-246), graas familiaridade com um modelo de avaliao pluralista, que vai se impor no incio da dcada de 90 (e que, como veremos, envolve polticos, funcionrios, avaliadores e pblico interessado em um confronto com a poltica avaliada), qualificam o aspecto cognitivo das polticas pblicas como o fruto de um processo coletivo de conhecimento: atravs do acordo iterativo e interativo entre os atores decorrente da avaliao, a incerteza pode ser compreendida como componente que no pode ser eliminado da ao, na definio de problemas e solues que se colocam sempre de uma maneira nova. A avaliao no mais vista somente como um simples momento de desenvolvimento de uma poltica pblica, da qual , de alguma maneira, parte integrante (D uran & M onnif.r , 1992, p. 246). Toda a matria encontrar sua sistematizao em um nmero da Revue franaise de science politi- c/ue, intitulada Politiques publiques en France, na qual a passagem dos anos 80 descrita como o abandono da especificidade francesa, que mantinha o Estado protegido de uma anlise cientfica, por uma evoluo para o estudo do Estado em ao, que opera atravs de polticas pblicas, ou modos de governar das sociedades complexas (COHEN & M u l l e r , 1992).5

Agora, porm, esta definio, que reflete to bem o significado do

passado, talvez no faa justia especificidade francesa do presente que a meu ver consiste em procurar dar aquele passo junto Administrao Pblica. Esta ltima, pelo menos em alguns de seus setores importantes, compreendeu a necessidade de se interrogar sobre a atividade desenvolvida para poder se reconciliar com a prpria histria. No quero dizer com isto que a avaliao tenha agido de forma indolor sobre o corpo social do Estado, mas que as resistncias naturais manifestadas inicialmente se mostraram menos graves que o previsto.

A questo, porm, persistiu por muito tempo e manteve os protagonistas em suspenso em relao aos seus possveis xitos. Teria sido a Administrao Pblica to forte a ponto de boicotar a avaliao? Nesse caso, seria preciso engan-la, como por exemplo avaliando polticas nas quais no estava interessada (as polticas redistributivas em relao s normativas). Ou, ento, teria sido capaz de se auto reformar e aceitar a avaliao? Ento, seria preciso convenc-la.

Foi recolhido, em 1991, um interessante testemunho do Prof. Jean Leca.6 A Administrao Pblica disse ele tinha que aceitar a idia de no ser mais aquela ordem monstica (Ltat prtre, de Marx) que se ocupa da desgraa alheia, aquele instrumento eficaz que resolve os problemas colocados pela sociedade, mas ser, ela prpria, um problema. E dever-se-ia poder analisar o comportamento da administrao e obje- tiv-lo para qualquer grupo social.

Leca via, ento, dois tipos de resistncia colocados ao avano da idia da avaliao por parte dos enarcas franceses. O primeiro decorre do modelo do conhecimento, que faz deles ignorantes: de fato, eles demonstram ser uma tribo, que conhece e entende somente a linguagem dos indgenas, alheios ao mundo externo. Assim, pensam que se se deve fazer avaliao, existem alguns modos j conhecidos (ou, em outras palavras, a avaliao, ns j a fazemos). Porm, quais seriam esses modos? O controle e as comisses parlamentares de inqurito so outra coisa. O controle de legitimidade (verifica-se se foram cumpridos os atos previstos na norma estabelecida) e financeiro (verifica-se como foi gasto o dinheiro, no pressuposto de que o dinheiro bem usado aquele que no foi gasto). Ao contrrio, a avaliao serve exatamente para ir alm desses limites: serve para sabermos quais atos foram cumpridos alm da previso, quais foram as conseqncias inesperadas; se as despesas previstas obtiveram resultados positivos. Quanto s investigaes parlamentares, no so outra coisa seno indagaes espera de solues propostas pelas vrias faces polticas, e no alcanam nunca a dignidade de uma nova sugesto baseada na experincia sobre a qual tenha havido consenso.

Essa posio conservadora acrescenta Leca vem de um outro desvio profissional dos altos funcionrios: eles so administradores

que consideram a avaliao simplesmente uma sociologia, ou seja, uma pseudo-conscincia qual se recorre quando preciso entender o que o povo pensa (e no tm idia alguma dos problemas terico-metodol- gicos que este tipo de pesquisa envolve). No entanto, eles tm o segundo tipo de resistncia de carter mais prtico: tm medo de que a avaliao esteja ligada a uma sano, ou seja, se as coisas correram mal que sejam eles a pagar, enquanto se tudo der certo, o mrito v para o legislador.

Como veremos, pouco a pouco, as coisas vo se desenvolvendo graas tambm a uma acertada poltica governativa que apresentou a avaliao como procura de colaborao e consenso tais objees deram lugar a um envolvimento um pouco incerto e, depois, a uma conscincia de responsabilidade mais precisa, pelo menos por parte de algumas administraes, que souberam dar um significado positivo s suas aes.

3. O debate sobre a avaliao

A importncia da avaliao nesta fase da crise do Estado bem sintetizada por CROZIER, Michel em tat modeste, tat moderne (1 9 8 7 ), um trabalho que assinala uma reviravolta no panorama intelectual francs.

O Estado moderno segundo esse autor evoluiu de um grupo restrito de funcionrios, que se ocupavam exclusivamente da ordem pblica e da defesa, para o Estado do Bem-Estar, que fornece servios pblicos aos cidados de modo igual e massificado. Porm, o Estado moderno se encontra diante de uma sociedade complexa, que apresenta necessidades diversificadas e de qualidade, que no podem ser absolvidas pelas polticas estatais. Assim, se ele se detivesse no velho modelo de satisfao das necessidades, no poderia seno ser autoritrio e arrogante, alm de irracional na maneira de alocar os prprios recursos. Da, segundo Crozier, a exigncia de que o Estado aprenda a ser modesto. O que significa: escolher bem os setores nos quais dever intervir, valorizar os recursos humanos presentes entre os funcionrios e os colocar a servio dos usurios, alm de solicitar a participao dos usurios e a responsabilizao dos empregados com o objetivo de usar o dinheiro pblico sem desperdcios. Porm, um Estado que se proponha estes objetivos deve estar em condies de conhecer e comparar os resultados de diversas polticas e a prtica constante da avaliao seu requisito fundamental.

Uma vez aberto o campo dos estudos franceses exigncia da avaliao, desenrola-se um debate que tende a definir os contornos entre funcionrios pblicos, polticos de centro (em volta de Mehaignerie), de centro-esquerda (Barre), de esquerda moderada (Rocard) e pesquisadores acadmicos ou dos escritrios de estudo dos ministrios. 89

Uma primeira abordagem a de estudar as experincias de outros pases e os resultados obtidos com a avaliao. Entre os anos de 1983 e 1988, houve uma sucesso de seminrios e encontros de estudos nos quais se confrontaram os sistemas europeus (Sucia, Inglaterra e Alemanha), americanos e japoneses.7 O que interessava principalmente nessa poca era o aspecto institucional (que estruturas existem nestes pases? qual o papel do avaliador?) e o metodolgico (como se faz a avaliao?), tudo sintetizado na resposta s famosas cinco perguntas que cada avaliao devia fazer: quando?, onde?, por qu?, para quem? e o qu?. E as publicaes eram cheias de tipologias e de discusses sobre as opes metodolgicas.8

A situ ao que d esp e rto u m a io r in te resse foi a d o s E sta d o s U n i

d os, o n d e a e x p e rin c ia d e ava liao p lu rid ecen a l d as p o lt ica s p b lic as (G u b a & L in c o ln , 1989, fa lam de q u a tro g e ra es de a v a lia o )9 f i r m o u -se g ra a s trad io p rag m tic a e em p rica da cu ltu ra am e ric a n a e ao p res tg io qu e o o rg an ism o do C o n g resso so u b e c o n q u is ta r no qu e se re fe re a e s ta funo: o General Accouting Office (G ao ) e a Program Eva- luation Methodology Division, d ir ig id a p o r E le an o r C h e lim sk y . 10 E m p articu la r, fo ram a ten ta m e n te es tu d ad a s nes te p e ro d o as o rig en s d a e x

p eri n c ia so c ia l (C a m p b e ll , 1969): d isc u tiram -se p ro je to s p a rticu la re s , co m o o da im p o s io n ega tiva de N ew Je rsey ou do Great Housing Ex- periment (M o n n if .r , 1987, p. 39 e 65) e o d eb a te so b re a implementation ( P re s s m a n & W ild a v s k y , 1973; B a r d a c h , 1977).

Inicialmente, prevalece uma opinio mais gerencial,11 que procura remdios para a ineficincia do Estado (visto como fornecedor dos bens pblicos) na comparao entre o modo como Estado e empresas fornecem os respectivos servios ao pblico. O argumento que vem sendo usado o da diferena dos controles entre empresas e Estado: enquanto as empresas so sujeitas ao controle de qualidade imposto pela concorrncia, sob pena de desaparecer do mercado, o Estado poderia se perpetuar na ineficincia, pela falta de um controle equivalente. Mas o remdio este o ponto teria sido inventado, e o da avaliao, que permite ao Estado comparar os efeitos obtidos com os objetivos prefixados e corrigir as eventuais alteraes. Conforme este paralelo, leva-se adiante a idia de que tudo depende da avaliao das polticas (equiparada clareza dos objetivos e sua traduo em indicadores que possam fornecer a base para um confronto experimental).

Pode-se dizer que o esprito deste perodo esteja bem representado pelo relatrio do Commissariat Gr.ral du Plan de Deleau (1986), que dizia, entre outras coisas, que avaliar uma poltica significa reconhecer e medir seus efeitos. uma colocao que favorece as temticas da eficincia das polticas pblicas e um melhor uso do oramento, que se encontra impedido na complexidade da situao observada.

Esta formulao trouxe consigo a proposta do modelo experimental considerado modelo cientfico por excelncia que se baseia na mensurabilidade e validade externa dos resultados (repro- dutibilidade), e que recorre, sobretudo, ao trabalho de consultores externos, que devem ser experts nas tcnicas de avaliao (sondagens, os quase-experimentos, etc.) e objetivos (ou seja, independentes).

Desse modo, embora a idia da avaliao se tornasse conhecida como uma maneira de enfrentar a crise do Estado, ela envolvia apenas dois tipos de atores: os polticos enquanto (e na medida em que) aceitassem a exigncia de uma forma diferente de atuao (fazer programas em lugar das leis de princpio) e os avaliadores, especialistas externos cuja caracterstica principal seria a de serem detentores de uma metodologia. Deixava-se, ao invs, sombra, a contribuio da funo pblica; isto por uma espcie de subavaliao de seu valor (menor do que o dos que decidem e o dos especialistas) e da pouca considerao por sua capacidade de reforma.

Esta atitude encontra espetacular correspondncia na posio de recusa da avaliao por parte dos enarcas, descrita por Leca. Eles podem perfeitamente dizer que a avaliao intil, porque no traz resultados concretos, e baseia-se em uma expertise pouco rigorosa (a sociologia, como cincia pouco exata, em contraposio ao direito administrativo e econmico, doutrinas mais duras j em uso junto administrao). Porm, pode-se tambm encontrar a aquiescncia de alguns funcionrios que, no podendo se opor avaliao, acham, porm, que ela deva ser confiada a especialistas e no querem ser condicionados.

A posio da administrao rapidamente contraposta a uma posio diferente, baseada em uma caracterstica da avaliao, que a de ser um instrumento de qualidade democrtica (V iv er et , 1989 e 1991) e que vincula a avaliao soluo dos problemas polticos nacionais. O tema foi abordado pela primeira vez pelo Observatoire de Ia decisior, publique (uma associao dos cidados organizada por Patrick Viveret) na Conveno La dmocratie dans la socit complexe organizada pelo Nouvel Observateur, em 1986. O problema ao qual se refere o de superar a ausncia do pluralismo de uma situao, na qual prevalece o monoplio da expertise caracterstica das grandes corporaes. Isso significa, antes de ftido, garantir a publicidade e a transparncia das avaliaes, para favorecer um esclarecimento do debate pblico sobre as grandes opes da ao governativa (a este propsito so freqentemente lembrados os dois Artigos da Declarao dos Direitos Humanos, precursores, poder-se-ia dizer, da avaliao ex-ante concomitante ex-post, o Art. 14, que estipula que os cidados possam constatar a necessidade da sua contribuio fiscal e controlar [suivre] o seu uso; Art. 15, segundo o qual a sociedade tem direito de pedir explicaes sobre como foi em

pregado o dinheiro pblico). Em segundo lugar, favorecer a colaborao entre os rgos que fazem a avaliao: evitar que existam feudos, criar um mercado de avaliao, um confronto cooperativo.

Deste modo, sustenta V iv eret (1989, p. 58), seria possvel fazer um bom uso do atraso francs. Enquanto latecomer, a Frana poderia aprender com as experincias positivas dos outros pases e superar os prprios limites. Viveret d alguns exemplos: a importncia do papel do Parlamento em promover a avaliao, tanto nos Estados Unidos quanto na RFT (Repblica Federal Alem), diante do escasso envolvimento do Parlamento francs; o favorecimento dos usurios nas inspees japonesas, em comparao com a indiferena francesa no assunto; a diferena entre avaliao e controle administrativo que ocorre em todos os pases, enquanto na Frana tende-se ainda a os identificar; a falncia das abordagens positivistas e tecnocrticas dos pases h mais tempo envolvidos nestas prticas, enquanto na Frana eles tm o exemplo recente do favorecimento do relatrio Deleau.

Para V iv eret , a avaliao serve sobretudo para alimentar o debate democrtico e reforar os contra-poderes. Ele faz, de fato, uma distino entre a funo de avaliar, que a funo poltica de atribuir um valor s aes desenvolvidas, e a funo tcnica dos especialistas, que a de facilitar a atribuio de valor. Assim, ele critica tanto as abordagens experimentais da avaliao quanto as polticas de racionalizao (como a Rcb) por serem portadoras de uma viso exclusivamente metodolgica, que esquece a dimenso poltica (1989, p. 46). Esta ltima, ao contrrio, viria ajudada pela dimenso do pluralismo, seja no sentido de envolver mais pessoas e mais instituies, seja em colocar prova os diversos mtodos dos pesquisadores.

Esta posio suscita dois tipos diferentes de reao nas figuras institucionais que estamos observando. Insistindo na dimenso poltica da avaliao, no se consegue realmente uma abertura nas foras da Administrao Pblica. Apelando cooperao e ao confronto pluralista entre as diversas abordagens, obtm-se a simpatia dos especialistas, mas no se entra plenamente no seu debate.

Contemporaneamente, porm, assiste-se a um movimento diferente entre estes ltimos (reunidos em centros de pesquisa privados ou universitrios, ou em cabinets d audit privados),12 que, nesse meio-tempo, responderam em grande nmero os appels d oJfre de avaliao das vrias entidades pblicas. A slida tradio de estudos organizativos que se tem sobre os ombros (com as diferentes abordagens estratgicas, sistemticas, etc.), assim como os primeiros estudos de avaliao realizados e as experincias estrangeiras estudadas, levam a uma rpida discusso do modelo experimental e elaborao de outras abordagens.

Nesta situao, exerce uma grande influncia a posio de Eric

Monnier, diretor do Ceops (Conception d'valuation pour les organisa- lions et les politiques publiques junto Ecole Nationale des Travaux Publics) e autor de um livro que o nico manual sobre esta matria produzido na Frana ( M o n n ie r , 1987). Monnier critica o paradigma experimental, porque nele os avaliadores so levados a ser cientistas tout court que perseguem critrios da reprodutibilidade e de validade externa, deixando aos polticos a anlise das conseqncias da sua avaliao, contra- pondo-lhes o paradigma endossistmico, que se baseia em pressupostos alternativos e se inspira na corrente da avaliao qualitativa de autores como Patton Scriven, Cronbach, etc. (cfr. tambm, D u r a n & M o n n ie r , 1992, p. 245). Seguindo esse paradigma, dada a complexidade das mquinas vivas, cada informao deve ser relacionada complexidade irredutvel do sistema e no pode ser reduzida a um conjunto de observaes separadas que tenham validade externa (M o n n ie r , 1990, p. 135). A avaliao ser, portanto, endoformativa quanto s suas metas e pluralista quanto aos sujeitos: ter de envolver os vrios atores de uma poltica, dos que decidem aos funcionrios, aos interessados ou beneficirios, e exigir um especial savoir-faire dos encarregados da avaliao (termo preferido ao de avaliadores) que tero de agir, alm de como metodologistas, tambm como mediadores, sempre prximos das partes em causa, para facilitar as relaes recprocas. De fato segundo M o n n ie r ( 1987, p. 156) a avaliao serve para clarificar as situaes novas, lutar contra a entropia social, que pode paralisar a vontade mais determinada, e, tambm, para evitar que os processos iniciados se interrompam bruscamente ou sejam bloqueados por conflitos sem soluo. E, prestando ateno mudana de contexto e s relaes que se estabelecem entre os atores no prprio decorrer da ao, esta tende a focalizar um processo de aprendizagem coletiva (M o n n ie r , 1992, p. 6).

A posio pluralista de Monnier e a democrtica de Viveret coincidem quando ambos rejeitam a idia de confiar a avaliao a organismos externos de especialistas, e propem que a avaliao seja confiada a um grupo ad hoc para quem foi criada a expresso instncia da avaliao composto de internos e externos (polticos, usurios e encarregados da avaliao). A primeira referncia instncia da avaliao est presente no Relatrio de Viveret (1989, p. 29), do qual trataremos no prximo pargrafo; mas Monnier j havia falado de avaliaes pluralistas na segunda parte do seu manual. Uma conceituao mais ampla s vai ser feita em 1990, na declarao que M o n n ier (1990, p. 124 e seg.) far em um seminrio sobre avaliao organizado pelo Commis- sariat Gnral du Plan e pela ENA. Como veremos, receber uma sano oficial no I Relatrio do Conseil scientijique de 1valuation. Com isto, porm, estamos em uma outra fase da nossa reconstruo.

USB

94

4. Do dizer ao fazer: fases de um processo de deciso

O problema sofre uma acelerao decisiva em direo a uma fase operacional com o Governo Rocard que, assumindo no incio de 1988, indica entre os prprios objetivos um dever de avaliao das polticas pblicas. Rocard, entre outros, provm da Inspection des Finances e pretende valorizar as capacidades do Commissariat General du Plan.13 O seu governo , assim, caracterizado pela tentativa de associar setores importantes da Administrao Pblica poltica de modernizao do Estado e, nesse sentido, ele associa a avaliao ao conceito chave da responsabilidade,14 que deve inspirar o comportamento de toda a funo pblica. (A circular de 23/2/1989, que fixa os critrios desta ao, diz: no pode existir autonomia sem responsabilidade, nem responsabilidade sem avaliao).

So duas as novidades importantes desta fase, na introduo da avaliao, como prtica generalizada do Estado. A primeira a instituio cada vez mais freqente das comisses de avaliao setoriais, que dizem respeito ao funcionamento de organismos (como a universidade, a pesquisa, a sade) ou atuao de polticas (como a formao profissional ou a cidade) ou a leis que tenham incorporado um mecanismo de avaliao.

Este ltimo aspecto particularmente importante. Comea-se, de fato, a aprovar um novo tipo de instrumento legislativo, que se aproxima dos programas americanos. A primeira lei deste tipo a do revenu mini- mum d insertion,15 que estabelece que os seus dispositivos de aplicao sejam avaliados aps quatro anos. Mecanismos de avaliao semelhantes so previstos tambm em outras leis, como a sobre o aborto, a lei sobre crdito-educao (n 679, de 1990) ou a Loi d'orientation sur la ville (1.91/1991).

A segunda novidade refere-se criao de um sistema de avaliao central que visa amplificar as iniciativas tomadas e generaliz-las a nvel interministerial: diz respeito ao conjunto das polticas governativas e pretende evidenciar as suas inter-relaes. Este desenvolvimento precedido pelo pedido feito por Rocard a Viveret de preparar, no ms de maio de 1989, algumas propostas para colocar em andamento procedimentos e dispositivos de avaliao das polticas pblicas.

Nesta carta de nomeao (22/7/1988), Rocard aponta os motivos que o inspiraram: integrar a dimenso do meio-termo tanto na ao do Estado quanto no debate e na interveno da sociedade poltica e civil (isto significa ter em conta o conhecimento dos processos de implemen- tation e das estratgias dos atores); modernizar os instrumentos da inteligncia poltica da Frana ( o seu modo de definir a reforma do Estado). Ele sugere, assim, a Viveret trabalhar junto aos responsveis pela administrao, que refletiram sobre o tema da avaliao, assim como

junto aos laboratrios de pesquisa e aos atores da sociedade civil e poltica, em particular o Parlamento, cuja participao indispensvel ao sucesso deste projeto (o apelo ao Parlamento tem o sentido da constatao de escasso envolvimento e de um augrio mas, como veremos em seguida, no ser entendido no sentido taxativo).

Daqui nasce o Relatrio Viveret (1989), que centrado em dois temas-objetivo da democracia (transparncia e pluralismo) e na eficcia. Ele contm uma sntese das experincias de avaliao, sobretudo as dos Estados Unidos e dos primeiros passos franceses; retornando oposio entre interesse metodolgico e interesse poltico. Faz, depois, o resumo da situao institucional existente e prope, enfim, um conjunto articulado de organismos.

Em particular, o Relatrio prev a realizao de um mercado de avaliao. A organizao pluralista da demanda deveria compreender tanto um plo governativo (Conseil interministeriel de Vvaluation) quanto um plo pblico independente (Conseil national de Vvaluation, que seria chefiado pelo Parlamento e outros rgos como a Coar des comptes), que teriam a possibilidade de utilizar o auxlio de dois organismos comuns (o Conseil scientijique de l valuation, composto por especialistas, e o Fond national de Vvaluation, para a gesto financeira). Quanto oferta pluralista de avaliao, esta deveria provir da administrao, dos rgos de jurisdio administrativa, do Parlamento, e do prprio Cse, alm de outras entidades pblicas independentes e, naturalmente, dos centros de pesquisa acadmicos e privados.

Poucos meses depois, em 22/1/1990, publicado um decreto sobre a avaliao (n 90/82), que contempla grande parte dos instrumentos previstos no Relatrio Viveret, com a excluso significativa do plo independente da demanda. Depois de ter definido o objetivo da avaliao de uma poltica pblica, de um modo ainda um pouco nebuloso (Pesquisar se os meios jurdicos, administrativos ou financeiros colocados em funcionamento permitem produzir os efeitos esperados por esta poltica e atingir os objetivos para os quais so destinados, Art. 1), e depois de ter limitado o alcance da publicidade da avaliao, estabelecendo que podem lhe ser submetidos todos os campos da atividade administrativa, salvo os de carter secreto (Art. 2), o decreto individualiza os organismos submetidos avaliao e os seus objetivos especficos.

So, assim, institudos trs novos organismos: O Comit interministeriel de Vvaluation (Cime), que formado

pelos representantes dos seis ministrios mais envolvidos (finanas, oramento, reformas administrativas, etc.). Ele encarregado de desenvolver e coordenar as iniciativas governamentais em matria de avaliao das polticas pblicas, tendo em conta que tais iniciativas podem vir de um ou mais ministrios, ou ainda, de outros organismos como o Conseil 95

rasa

96

d 'tat, o Cour des comptes e o Mdiateur de Ia Republique (e no, note- se, do Parlamento um problema que voltaremos a discutir), e que as iniciativas devero ser apresentadas sob forma de projetos de avaliao, que indiquem a modalidade de atuao e a escolha dos operadores pblicos ou privados encarregados de proceder avaliao (Art. 2, c. 4);

O Fond national de Vvaluation (Fnde), cujos crditos so inscritos no oramento do Primeiro-Ministro e geridos pelo Commissariat General du Plan\ e

O Conseil scientifique de Vvaluation (Cse), que o rgo de carter cientfico encarregado de favorecer o desenvolvimento dos mtodos de avaliao, de definir uma deontologia na matria e de assegurar a qualidade e a objetividade dos trabalhos que usufruem dos fundos do Fnde (Art. 8, c.l). Ao Cse tambm atribudo um objetivo, no muito preciso, de formao de especialistas e de desenvolvimento (Art. 9).

O acordo que o Governo encontrou, do qual o Presidente Mitte- rand foi o mediador, baseia-se nos seguintes pontos. Em primeiro lugar, sendo o Cime o principal constituinte das avaliaes, insistiu-se no tema da avaliao como instrumento para uma coordenao das atividades dos diversos ministrios. De fato, freqentemente, os efeitos no previstos de uma medida ministerial so sempre aqueles que so tambm da competncia de outros ministrios e necessrio abolir estas barreiras de competncia e conhecimento. O presidente do Commissariat Gnral du Plan, De F o u c a u ld (1992, p. 20), disse, a propsito, que procura-se levar em considerao as polticas cujas colocaes so de carter humano, social e financeiro ao mesmo tempo.

Em segundo lugar, atribudo um papel importante ao Commissariat Gnral du Plan. Ele desenvolve uma atividade de elaborao e de coligao, como secretrio do Cime, e assegura a comunicao entre o Cime e o Cse (este ltimo, sobre o qual falaremos depois, funciona no mesmo local). Entretanto, o Commissariat administra o Fnde e a quota de financiamento das avaliaes a cargo do Cime (trata-se de 50% do custo: os outros 50% ficam a cargo dos ministrios ou dos rgos que pediram a avaliao).

Em terceiro lugar, constituindo s o Cime, e no o Cne, o Executivo no teve a preocupao de garantir-se, sozinho, as condies da avaliao da prpria execuo como insinua em tom de brincadeira o Cse (1992, p. 19). Trata-se de um velho problema levantado vrias vezes durante os debates que precederam as escolhas governativas: temia-se, de fato, que o Executivo, sob a aparncia de avaliar e de se fazer avaliar, [desempenhasse] todos os papis (F r a isse , 1988, p. 61). Esta particularidade, bem francesa, no deve porm ser julgada a priori. Se pode ser verdade como escreveu o Conseil conomique et social

(1991 )16 que assim se expresse uma dvida sobre a capacidade do movimento de avaliao de se afastar efetivamente de uma certa tutela por parte do Executivo, ainda mais verdadeiro que um impulso do alto como o vindo da Presidncia da Repblica e do Primeiro-Ministro, tenha condies de envolver outros organismos ainda hesitantes (alm de construir uma extraordinria medida de auto-reforma).

O problema diz respeito sobretudo ao relacionamento com o Parlamento. Este no havia dado sinais positivos na matria. Existia, desde 1984, um organismo de avaliao ex ante (Oects, Officeparlamentaire d 'valuation des choix technologiques et scientifiques), que, porm, no era muito ativo.17 No haviam sido apresentadas iniciativas parlamentares de avaliao ex post (uma estatstica apresentada no Relatrio Viveret mostrava que o Parlamento tinha comissionado 0,5%!). O substancial desinteresse dos deputados levou idia de que eles tambm em virtude da reforma da descentralizao dessem mais ouvidos aos polticos locais do que aos polticos nacionais, e que, no relacionamento com o seu pblico, fossem penalizados por se preocuparem com o oramento e outros negcios gerais.

Todavia, depois do decreto de 22/01/90, as coisas mudaram tambm devido ao impulso dado pelo presidente da Assemblia Nacional, Laurent Fabius. A Assemblia tomou duas iniciativas, que indicam a sua boa vontade em dar instrumentos de controle da atuao das leis por ela lanadas (Conseil conomique et social, 1991, p. 38). A primeira trata do controle dos regulamentos de aplicao das leis, para evitar as deformaes do esprito das leis nessa fase legislativa ulterior. A segunda trata da criao de misses de informao temporneas sob condies de aplicao de uma legislao. Estas misses podem ser comuns a mais comisses permanentes. Est previsto que a cada ano sejam postas em ao duas ou trs e que durem seis meses. Em 1990, foram criadas misses sobre a legislao urbanista e sobre moradia e biotica.

Em concluso, com o decreto de 1990, no se quis criar um sistema importante para reorganizar toda a administrao como estava potencialmente previsto no Relatrio Viveret.18 Todavia, as mudanas previstas so bastante grandes para influenciar o comportamento de muitos rgos. Em pouco tempo todos (muitos, segundo uma opinio que circula em ambientes oficiais) concordaro com a avaliao. Quem era favorvel, comeou rapidamente a trabalhar, como a Inspection des fmances, que fez da avaliao um instrumento da prpria modernizao. Quem tinha dvidas, como a Cour des comptes, comeou a rever alguns dos prprios comportamentos em matria, por exemplo, de publicidade. E os rgos aos quais foi oferecida a possibilidade de utilizar os servios do Cse, como o Mdiateur ou o Conseil conomique et social, no deixaram escapar a oportunidade.

98

5. O aparelho institucional em ao: o mecanismo Cime-Cse

Com dois anos de distncia, dispomos de dois relatrios do Cse que, alm de prestar contas da prpria atividade, difundem como estava preestabelecido as experincias existentes e fornecem elementos sobre a qualidade da avaliao.

O Cse diz o Art. 1 do decreto 90/470 de 7/6/1990 composto de onze personalidades nomeadas por decreto pelo Presidente da Repblica e escolhidas em virtude da competncia em matria de avaliao ou no campo das cincias econmicas, sociais e administrativas. 19 O oramento do Cse prev somente quatro postos de trabalho: dois dirigentes (rapporteur gnral, rapporteur gnral adjoint) e duas secretrias. As atividades do Cse podem estar entre as que incidem diretamente sobre as avaliaes singulares propostas pelo Cime e financiadas pelo Fnde (para as quais so previstos os pareceres iniciais e finais), e aquelas que sustentam a atividade da avaliao em geral: documentao sobre sistemas de avaliao estrangeiras, pesquisa e formao. No que diz respeito formao, o Cse somente pode participar das iniciativas em comum acordo com outras administraes e introduzir a avaliao nos cursos das universidades e nas Grandes coles.20

O I Relatrio (Cse, 1992) tem um ttulo que parece dizer mais respeito ao encerramento da fase preparatria do que aos novos desenvolvimentos: A avaliao: da especialidade responsabilidade. Ele se refere ao primeiro ano de atividade no qual, tardando a vir o impulso dos projetos de avaliao do Cime, o Cse dedicou-se a recolher dados do que existia em todas as administraes e lanar as bases para um trabalho futuro. O II Relatrio (Cse, 1993) tem por ttulo A avaliao em desenvolvimento e testemunha, outrossim, o avano impetuoso que veio logo em seguida queles primeiros passos, seja como atividade do Cse, seja como influncia do seu trabalho (isso se refere tanto s polticas submetidas avaliao quanto ao envolvimento de novas administraes descentralizadas, sobretudo as regionais cfr. Cse, 1993, pp. 91-120 e 87- 90). So documentos de trabalho, cheios de informaes e de reflexes in progress, que introduzem um novo estilo na literatura da Administrao Pblica francesa. A leitura conjunta dos dois relatrios permite reflexes interessantes sobre o modo pelo qual o trabalho de avaliao pode funcionar como instrumento de reforma do Estado.

O que mais nos surpreende no I Relatrio sobretudo se temos em mente a histria contada at aqui o imponente inventrio das instituies e servios competentes em matria de avaliao: cerca de vinte e quatro, das mais gerais, como a Assemblia Nacional, s mais setoriais, como a pesquisa, as universidades, a formao profissional e as de Minis

tros (indstria, agricultura), e de programas individuais (o Rmi). A impresso que se tem, entretanto, que h uma difuso generalizada da avaliao, o que , na realidade, mais uma ampliao das misses de inspeo e controle existentes em cada um desses organismos do que uma nova viso capaz de sugerir uma efetiva reorientao.

Vejamos, ento, como funciona o mecanismo interministerial de demanda de avaliao. Ele acionado pela escolha, por parte do Cime, dos temas apresentados pelas vrias administraes e pela sucessiva apresentao de projetos de avaliao por parte do Commissariat General du Plan, que age como secretariado do Cime (Cse, 1992, p. 69). O projeto de avaliao indica qual a poltica a ser avaliada e qual a finalidade a que se prope, em vista de que possveis reformas. Esta uma passagem bastante delicada. De fato, o Cime e o Commissariat General du Plan tiveram em todo o processo um grande peso (que se discute pouco) e que deriva do modo pelo qual vem formulada a demanda de avaliao: a construo do objeto de anlise. S Monnier acena diretamente ao insuficiente profissionalismo (...) dos envolvidos que, na maioria das vezes, so incapazes de formular um pedido de avaliao claro que explicite a lgica de ao e a problemtica de avaliao (1992, pp. 161-62). Monnier lamenta, sobretudo, a discrepncia entre um mecanismo de avaliao, inspirado no pluralismo (institucional e metodolgico), e o fato de que a maior parte dos projetos adotados pelo Cime so redutveis, sem dvida, ao paradigma gerencial (1992, p. 160), e atribui esta preferncia a uma maior afinidade e percepo dos funcionrios das administraes envolvidas. Agora, mesmo que isso no seja sempre verdade,21 poderamos propor que o Cse intervisse tambm nesta fase, apesar de ser mais poltica e menos metodolgica.

Os primeiros projetos de avaliao lanados com esses procedimentos, em 1990, foram os cinco seguintes: 1) sobre poltica de insero dos adolescentes em dificuldades: prope acompanhar os adolescentes por vris anos, e ter, portanto, uma certa durao (diz respeito aos Ministrios da Justia e dos Assuntos Sociais); 2) sobre a reabilitao de casas populares, particularmente as construes j existentes, para verificar se melhor reform-las, demoli-las, etc. (a cargo dos Ministrios da Habitao, Finanas e da coletividade local); 3) sobre um programa de reorganizao do currculo escolar (a cargo dos Ministrios da Cultura, Juventude e Esportes, Educao e da coletividade local); 4) sobre o acesso da populao mais carente aos servios pblicos; 5) sobre o impacto da informtica na administrao.

Em 1991, os projetos de avaliao foram sete. Trs propostos pelo Cime: sobre a poltica da luta contra as drogas e a toxicodependncia; sobre a administrao das zonas midas; sobre segurana nas estradas. Quatro foram propostos pelo Conseil conomique et social: sobre poli-

tica de ajuda na localizao das atividades nas zonas de converso; sobre eficcia econmica e social de ajuda aos aluguis; sobre poltica de luta contra a misria; e sobre intervenes do Estado a favor dos assalariados com mais de 55 anos (Cse, 1993, pp. 20-23).

Como observa o relator geral do Cse, P er r e t , Bernard (1993, p. 74), por mais importantes que sejam os argumentos objeto destas demandas de avaliao, eles no so prioritrios sobretudo do ponto de vista do oramento estatal. Outros fatores desempenham, portanto, um papel na deciso de pedir uma avaliao. Perret faz uma lista significativa: em primeiro lugar, esto os problemas de identidade e de legitimidade de administraes frgeis, que querem redefinir os termos da sua colaborao com outros mais fortes ( o caso dos adolescentes em dificuldades, da toxicodependncia e da segurana nas estradas).

Em segundo lugar o que vai no sentido da inverso da ordem da qual falamos no inicio pede-se uma avaliao para reformular os objetivos considerados pouco claros, como no caso do recebimento das pessoas prejudicadas nos servios pblicos (uma poltica que no existia como tal antes que se decidisse avali-la) ou nos da luta contra a pobreza; ou, ento, para dar importncia a projetos que no gozam de uma forte sustentao, como no caso da informtica na administrao, que, mesmo sendo objeto de velhas diretrizes, no constitua uma prioridade do o- verno. Trata-se, portanto, de administraes que souberam entender um novo desafio representado pela avaliao e decidiram ser responsveis e participar.

Por ltimo diz Perret vm os casos nos quais canonicamente existe a preocupao com a eficcia de uma poltica ( o caso da poltica de reabilitao das casas populares).

Estes fatores constituem motivaes que o Cse deve ter em conta no desenvolvimento do prprio trabalho. Como vimos, o decreto atribui a ele a tarefa de desenvolver os mtodos de avaliao e definir uma deontologia na matria (Art. 8). O Cse no faz auto-avaliaes22 e nem mesmo elabora as prprias metodologias. Ele, alis, diz que cada caso particular requer mtodos e anlises diferentes.

Encontramo-nos frente a uma interpretao do prprio papel do Cse, depois de ter sido feito um cuidadoso balano da situao da avaliao na Frana. A sua primeira constatao foi que, apesar de na Frana existirem tantos centros de pesquisa e instituies,23 no existia ao contrrio dos pases nos quais a avaliao nasceu e tem uma slida tradio uma profisso de avaliao identificada por mtodos, paradigmas de conhecimento e associaes profissionais. Mas teria sido fantasia querer fazer nascer de imediato uma tal corporao (cautela tambm quanto aos objetivos de formao) e impor do exterior e do alto os critrios de uniformidade. Entretanto, esperava-se que aquele pluralismo fos

se uma vantagem da situao francesa que no podia ser desprezada: A incluso de prticas diferenciadas e heterogneas escreveu Monnier (1992, p. 161), que nessa altura se transformou em membro do Cse fazem dela um sistema aberto e suscetvel de evoluo e adaptao. Por todas estas razes, era muito mais sbio limitar-se a procurar criar sinergia entre as diversas realidades, individualizando algumas simples orientaes que pudessem permitir um acmulo de experincia e uma troca entre todos os que se empenharam no campo da avaliao.

Mais ainda , o mesmo modelo institucional seguido da instncia de avaliao que, veremos mais frente, associa internos e externos e prope modificaes na atividade do Governo comporta a colaborao de pessoas de diferentes provenincias institucionais, diferentes competncias e diferentes interesses. Trata-se, portanto, de encontrar um modus operandi que favorea um processo interativo de conhecimento coletivo e que sirva para melhorar a poltica.

Isto o que o Cse chama qualidade da avaliao. Depois de ter escrito na abertura do II Relatrio (Cse, 1993, pp. 6-11) que a escolha das cinco famosas perguntas fosse deixada a cargo de quem far a avaliao alm de depender do carter da poltica que avaliada e das indicaes do projeto de avaliao , o Cse mantm o seu objetivo de indicar trs diretrizes que dizem respeito aos mtodos de anlise, deontologia e utilidade da avaliao. Para cada uma delas procura a possibilidade do encontro entre o pluralismo dos sujeitos e mtodos, de um lado, e a universalidade das aplicaes e dos destinatrios, de outro (Cse, 1993, pp. 122-129).

Observando mais de perto, comearemos pelos mtodos. Aqui vm individualizados vrios critrios. Se as abordagens so as mais variadas, convm que elas sejam explicitadas (transparncia dos mtodos). Devem ser escolhidas amostras representativas de uma populao ou casos que se prestem a comparaes com outras situaes e outros contextos (possibilidade de generalizao, seja com mtodos estatsticos ou comparativo-analgicos). As teorias devem ser levadas a uma lgica casual (que, note-se, pode ir da anlise das correlaes entre o que possvel medir interpretao de processos e aes e explicitao dos sistemas) (Cse, 1993, p. 11) e devem excluir os sistemas de recolhimento de dados viciados em pressupostos metodolgicos (confiabilidade). Os resultados no devem ser influenciados pelas preferncias ou pelas posies institucionais dos responsveis pela avaliao (objetividade). So princpios evidentes, algumas vezes expressos com uma terminologia um pouco cientfica, outras vezes com grande viso. Nenhum mtodo deve ser excludo por princpio, todos devem justificar ou pelo menos, tornar explicitas as prprias escolhas, atravs dos resultados do prprio trabalho.24

liTHJ

102

Por outro lado, se pensamos que na instncia no existem apenas as metodologias mas tambm como veremos pessoas interessadas, por vrias razes, na poltica de avaliao, estas sugestes servem tambm para facilitar o relacionamento entre os pesquisadores e outros membros da instncia, evitando que os primeiros usem de modo arrogante a sua competncia em relao aos outros.

No que diz respeito deontologia, no nos referimos a um princpio abstrato de separao entre polticos, administradores e tcnicos (ou entre os que decidem, implementadores e avaliadores), se bem que, no caso concreto de um rgo composto, que pelo fato de ter como objetivo um melhoramento da poltica, no se deve esquecer de se estar sempre desenvolvendo uma atividade de carter cognoscitivo, enquanto se espera que outros dem andamento s propostas que paream mais convincentes (Cse, 1993, p. 7).

A terceira diretriz deste programa a da utilizao. As avaliaes diz-se devem ser pertinentes, devem ser cumpridas em um perodo breve que permita ter em considerao o processo de deciso em curso (na informtica levou dois anos e meio, o que foi considerado muito tempo). Por outro lado, devem fornecer informaes compreensveis e teis: no segundo parecer sobre a informtica, por exemplo, lamenta-se que a avaliao seja muito tmida nas propostas, como pouco prospec- tiva, sobretudo, em relao s vantagens financeiras e, em geral, sobre como a informtica poderia ajudar nas decises.

O ltimo ponto, note-se, no se refere somente aos que decidem, mas abrange tambm o pblico e vem de encontro quela exigncia de transparncia que segundo V iv eret (1989) era uma caracterstica que a avaliao poderia trazer democracia. As reflexes produzidas pela avaliao diz o II Relatrio (Cse, 1993, p. 127) podem (...) contribuir na formao do julgamento da opinio pblica sobre a poltica avaliada e a sua informao sobre problemas sociais ligados poltica.

baseado nesses critrios que o Cse d um primeiro parecer sobre o projeto de avaliao e um segundo sobre o realizado na instncia de avaliao que trabalhou com base naquelas indicaes. No se trata de meta-avaliaes (a avaliao das avaliaes), mas somente de uma contribuio ao aprimoramento da qualidade da avaliao, que significa profundidade no conhecimento dos fenmenos e capacidade de proposta de reforma.

6. A instncia da avaliao

Para cada avaliao forma-se uma instncia de avaliao composta de dez a quinze pessoas cujo nmero e identidade depende da avaliao

a fazer interessadas nas polticas objeto da avaliao. L a m a r q u e , Da- nile (1993, p. 80) identifica vrias categorias internas administrao ou externas (como polticos, usurios, associaes) , com base nos conhecimentos que trazem. Para alguns, essa coligao bvia, como nos casos dos representantes dos setores avaliados, dos membros das instituies de coligao entre administrao e usurios, e dos especialistas das disciplinas interessadas. Menos bvio para os membros dos corpos de inspeo, chamados pelo seu conhecimento dos modos de funcionamento e das tcnicas de anlise do setor administrativo, e para os responsveis pelo setor privado que atuem em campos comparveis queles que so objeto de avaliao, que vm inseridos pela sua capacidade de relativizar as observaes feitas a propsito das polticas pblicas (temos, aqui, um modo prtico de fazer a comparao entre anlises de qualidade no setor privado ou pblico, que deu origem ao debate sobre a avaliao).

evidente que a instncia de avaliao no deve ter uma exigncia de representatividade total, coisa que dada complexidade e trans- versabilidade das polticas em questo seria impraticvel. A preocupao, ao contrrio, de que ela seja eficaz e possa trabalhar bem (sobre este aspecto da questo, o Cse tambm pode se expressar).

A clara opo pela participao dos internos que devero vir de mais de um ministrio justifica-se pela necessidade de utilizar sua competncia, sem porm serem condicionados pelo modo de colocar as questes da administrao. De outro lado, este novo organismo, do qual tambm os internos fazem parte, autnomo nas respectivas administraes e deve se comportar com imparcialidade e objetividade.

Quanto presena dos externos, ao contrrio, deve envolver todos os pontos de vista legtimos, ou seja, aqueles dos usurios, polticos, associaes e pessoas interessadas naquela poltica, mas que no so representantes de um pblico genrico, ou de um no melhor definido interesse geral.

Em particular, a questo da participao dos usurios foi muito debatida.25 difcil que eles participem diretamente, e o tipo de representao que se pode obter atravs das associaes de consumidores, o Mdiateur de la Republique, ou os polticos eleitos por eles, raramente satisfatrio. So as administraes com mais contato com os usurios, como os correios ou a polcia segundo Sylvie Trosa, rapporteur ad- jo in t do Cse26 aquelas que mais sentiram a necessidade da avaliao e dela fizeram melhor uso.

Uma vez constitudo e recebido o projeto de avaliao, a instncia determina a metodologia que vir a seguir, os meios de utilizao, estabelece as tarefas e escolhe os encarregados da avaliao, entre eles os que fizeram a prpria oferta (o Cse pode ainda dar um parecer sobre

quem mais apto para conduzir estas anlises). Enfim, a instncia de avaliao dirige e coordena os trabalhos das vrias equipes de pesquisa e formula as recomendaes feitas pelo Cime.

A instncia da avaliao mantm-se o maitre d'ouvrage, em todos os aspectos da avaliao, at mesmo naqueles de qualidade e metodologias, mesmo se nem todos os seus membros sejam metodolgicos. Isto significa que no h um conhecimento privilegiado (aquele de um pressuposto avaliador), mas um trabalho coletivo, no qual convergem os mais diversos conhecimentos. Por sua vez, isso permite redefinir o papel dos encarregados da avaliao que, alm das prprias competncias, tero de compreender a complexidade dos jogos dos atores, e agir como facilitadores, animadores do debate, etc. (Cse, 1993, p. 76).

A instncia de avaliao transforma-se, assim, em uma instncia de pluralismo enquanto local de debate e procura de consenso. Trata-se de um processo de conhecimento, no qual a vivncia coletiva de um grupo cujos membros so constantemente levados a enriquecer os seus conhecimentos e colocar em causa os fundamentos (L a m a r q u e , 1993, p. 81), possvel recriar novas snteses entre competncia e independncia. E, depois, associando encarregados da avaliao, funcionrios e pblico, pode-se criar um ambiente mais favorvel a aceitar e fazer aceitar os resultados da avaliao.

Existe, em concluso, uma diferena exata de funes e papis. O Cse d um parecer inicial e final sobre os mtodos seguidos; a instncia de avaliao desenvolve a avaliao e formula as recomendaes. Sobre este relatrio de avaliao, o Cse d o seu segundo parecer, que enviado alm da prpria instncia ao Commissariat Gnral du Plan, para que o mesmo chegue ao Cime, de modo que o Governo possa tomar decises para as modificaes que colocar em prtica.

Uma ltima questo importante diz respeito publicao dos relatrios. O problema no a sua divulgao, que assegurada pela Docu- mentation franaise, mas a pouca divulgao que eles tm nos jornais e, por conseqncia, na opinio pblica (V iv eret , 1992): nada comparvel ao canal de televiso especializado, que existe nos Estados Unidos, e influncia da avaliao do Gao (General Accounting OJfice) sobre o debate poltico naquele pas. Mais uma vez, estamos diante de um problema cultural da avaliao, que s pode ser enfrentado a partir das experincias concretas que se fazem e da capacidade em falar a um pblico mais amplo.

7. Existe um modelo francs de avaliao?

talvez legtimo, nesta altura, dar uma resposta a um ponto que

pode ter surgido na mente de algum leitor: isso de que falamos deve ser considerado como modelo francs de avaliao?

Antes de responder a esta pergunta, devemos fazer duas consideraes. A primeira uma nota de cautela: apresentamos verdade um mecanismo que permite a vrios atores aprender a arte do ajustamento e da reformulao de uma poltica, mas no estamos em condies de dar um parecer sobre a ajuda que a avaliao tenha, efetivamente, dado deciso (no existe ainda um acompanhamento administrativo ou legislativo s primeiras avaliaes). Talvez seja melhor no esperar tanto. De F o u c a u ld (1992, p. 19) diz que o mrito principal do mecanismo o de existir, e que no garantido que o grande interesse pela avaliao seria o mesmo, se as autoridades que o quiseram tirassem as conseqncias que lhe dizem respeito do seu desejo de fazer com que desempenhem um papel importante para modernizar o Estado e ativar o debate democrtico.

A segunda considerao, ao contrrio, acrescenta uma nota de otimismo. A avaliao mostrou a sua capacidade de ser uma medida bi- partisan, que favorece o dilogo: foi promovida na poca da primeira coabitao, foi instituda por um governo socialista e sobreviveu mudana de governo, com as eleies de maro de 1993.

Se quisermos responder pergunta sobre a existncia de um modelo francs, podemos seguir Perret que procura oferecer uma resposta atravs de uma anlise comparada dos sistemas de avaliao. Segundo Perret, no se pode falar de um verdadeiro modelo francs, contraposto ao modelo dominante a nvel internacional, de origens anglo-saxnicas (P e r r e t , 1993, p. 61), sobretudo por causa da diversidade dos mtodos e estruturas que vimos caracterizar o panorama da avaliao na Frana. Existem, porm, as tendncias prprias situao francesa, seja nos procedimentos (o mecanismo Cime-Cse e a instncia da avaliao), seja na utilizao social que vem sendo feita da avaliao. Aqui, a divergncia brutal, sobretudo em comparao com o mais conhecido modelo europeu de avaliao, que o ingls.

Isso nos leva ao tema dos remdios para a crise do Estado da qual partimos. No sistema ingls, a avaliao de competncia do Ministrio do Oramento e a Administrao Pblica organizada com base em um princpio de responsabilidade individual nos termos de uma capacidade de prestar contas {accoimtability) do dirigente do servio em relao ao poder poltico. A avaliao vem assim entendida como um modo de estabilizar o rendimento da despesa: valuefor money, com base em uma anlise da relao entre objetivos (quantificveis e monetari- zveis) e meios (financeiros). De outra parte, no existem instituies que se dediquem avaliao, nem tampouco a avaliao consiste em uma pesquisa feita por externos e financiada por um percentual do oramento do programa em questo.

Na Frana, ao contrrio, a responsabilidade da administrao concebida em termos mais amplos. Em primeiro lugar, como j vimos, o objetivo o envolvimento do conjunto dos funcionrios (e no somente dos dirigentes, os diretores pblicos), e os que so considerados como atores a pari entire da evoluo que o Estado deve experimentar, para responder melhor s necessidades da sociedade (diz P er r e t , 1993, p. 73). Temos, ainda, como ponto de referncia, a sociedade na sua complexidade, as estratgias dos atores e as diversas lgicas de ao que se colocam em movimento com os programas sociais. Segundo P erret (1993, p. 67), pode-se dizer que na Frana a dupla ator/problema tem um papel mais decisivo no processo de reforma e reformulao das polticas do que a dupla objetivos/meios.

Esta contraposio no significa, porm, que com a avaliao se procure s a democracia deixando de lado a eficincia das intervenes do Estado ambos so objetivos indicados no decreto governativo, que todo o sistema leva em conta nos seus pareceres. verdade que o equilbrio entre os dois aspectos vem sendo perseguido atravs dos mtodos pluralistas. Nos conselhos do Cse e no funcionamento da instncia, vimos em ao uma forma de fazer emergir solues a problemas reais e sentidos, atravs de um debate que permite aos vrios atores se compreenderem reciprocamente e encontrar pontos de encontro. E uma ajuda na reforma do Estado e um avano democrtico.27 Isso tudo de se esperar no deveria permanecer um atributo to-somente da situao francesa.

Notas

1 Isto incidir, veremos depois, sobre a institucionalizao da avaliao, que no ligadaao oramento como na Gr-Bretanha, mas, em geral, na obra do Governo (cfr. il par. conclusivo).

2 Ver M a z e y (1991). Para uma avaliao dos resultados do primeiro decnio de descentralizao, ver G r m i o n (1992).

3 A produo de efeitos opostos queles desejados (e por isso perversos) uma crticafreqente aos programas de Welfare State, e influenciou muitos pesquisadores dos programas da War on Poverty americana. Na Frana, o argumento foi usado particularmente por B o u d o n , Raymond ( 1977) na sua anlise da escola de massa. Entretanto ( S t a m e , 1990), sustentou que tais teses no permitem avaliao desempenhar o seu papel no processo decisivo c explorou as oportunidades oferecidas por outras abordagens de carter interativo. Toda a problemtica recebeu recentemente um novo impulso com o trabalho de H i r s c i i m a n , Albert (1991) sobre as Retricas da Intransigncia, um texto que suscitou o desapontamento de B o u d o n (1992) e uma resposta de H i r s c h - m a n (1992).

4 Para coordenar a poltica urbana nos diversos ministrios, foi instituda a Dlgationinterministerielle de ia ville (Div) cm cujo interior foi constitudo o Comit d valua- iion de Ia politique de Ia ville.

5 Para esta evoluo foi reconhecido o papel de precursor do Centre de sociologie desorganizations, fundado por Michel Crozier nos anos 60. Poderamos recordar tambm um texto de ttulo explcito, L eta t au concret de Pa d i o l e a u , Jean G. (1982).

6 Este colquio aconteceu em Paris, em maro dc 1991.7 Ver N i o c h e & P o i n s a r d (1985), que contm as atas da conveno Lvaluation des

politiques publiques tendo em 1983 a cargo do Ministre de I economie e de algumas Grandes coles; Fondation dufutur , 1988, que contm as atas da conveno Comment reformer I etat?, realizada na Assemble nationale cm 1988; Commissariat Gnral du Plan (1990), que contm as atas dc um seminrio organizado junto ENA em 1991. Muitos dados contidos depois em D e l e a u (1986) e sobretudo C r o z ie r (1989): este ltimo um amplo relatrio sobre os Estados Unidos, Japo e Sucia, fornecido a Crozier pelo ministro da Fonction publique et du plan, Hcrv dc Charette. Uma gil documentao contida em M o n n i e r (1989).

8 Quando? distingue entre retrospectiva, concomitante ou prospcctiva; onde? distingue o nvel no qual se desenvolve, se local ou central; por qu? especifica o objetivo, se aumentar a eficincia, estabelecer indicadores de qualidade ou facilitar a integrao; para quem? especifica os sujeitos a quem se refere, se so protagonistas dos programas ou o pblico; o qu? especifica sc aquilo que aconteceu foi de acordo com os resultados esperados, se o procedimento colocado cm ao produziu o que verdadeiramente se esperava ou quais so todos os resultados possveis de uma ao (cfr. Cse, 1993, pp. 6-11). Tendo presente estas perguntas, B o n e t t i et al. ( 1987) distinguem entre comparativa, analtica e dinmica (com relao s funes); enquanto Monnier retoma a distino dc Scrivcn entre endoformativa e rccapitulativa (com relao aos destinatrios). M o n n ie r (1987, p. 135) retoma o esquema de Patton sobre as opes metodolgicas, que cruzam as caractersticas no contexto dc avaliao com os possveis mtodos de anlise.

9 G u b a e L in c o l n i d e n t i f i c a r a m q u a t r o g e r a e s d e a v a l i a o q u e s e s u c e d e r a m n o s

Estados Unidos: tcnica, nos anos do New Deal, descritiva, dos anos da guerra at a metade dos anos 60; que d julgamentos (judgement), entre 1967 c a metade dos anos 70, ou seja, no auge dos programas da Grcat Socicty; "reativa (response), nos anos

do rcaganismo (Reagan, presidente dos Estados Unidos.) Cada gerao se caracteriza por um objetivo especfico de avaliao, modelo cientifico c o papel do avaliador.

10 Eleanor Chclimsky participou diretamente de algumas convenes: cfr. C h e l i m s k y , 1988 e 1992. A General Accounling Office nasceu como Tribunal de Contas e depois desenvolveu uma seo de avaliao, o Program Evaluation Melliociology Division. Esta composta por pesquisadores internos e se vale tambm de pesquisadores especialistas externos: desenvolve avaliaes para qualquer grupo de deputados. O governo tem um rgo prprio de avaliao, o Office o f Management and Budget (OMB).

11 Esta definio dada por M o n n i e r (1992) e por D u r a n & M o n n ie r (1992).12 Entre tantos centros de pesquisas que desenvolveram anlises de avaliao, podemos

citar o Centre de sociologie des organisalions, o Groupe pour I 'analyse des politi- ques, o Centre de sociologie de iinnovation , o Centre d'tudes de 1emploi.

' O Commissariat Gnral du Plan um Departamento da Presidncia do Conselho. Depois de ter desempenhado um papel importante nos anos de planejamento, tem uma particular competncia para a anlise de mdio termo. Ele desempenhou um papel de protagonista no campo da avaliao, tendo realizado os primeiros trabalhos de avaliao, como sobre politicas sociais transversais, sobre o desenvolvimento social nos bairros, sobre dispositivos de insero. O seu presidente, De F o u c a u l d , Jcan Baptiste disse rcccntcmcntc (1992, p. 23) que: O Plano no c mais um instrumento do Estado; c um lugar onde se reflete sobre o Estado, c ns nos desejamos, nesta perspectiva, que a avaliao se desenvolva tanto no plano quantitativo quanto no plano qualitativo, porque as duas coisas devem ser ligadas ( ...) (a avaliao) se transformou cm um ponto de fora da nossa ao no quadro de renovao que entendemos induzir na renovao da planificao. Nesse sentido, podemos ver no seminrio intitulado Modernisation de 1'tat, no qual vem sendo regularmente apresentadas experincias de reforma no servio pblico e de avaliao, que so discutidas luz da relao entre eficincia e justia social. O Commissariat organizou duas convenes, uma em 1991 e a outra no ano seguinte, sobre os temas da justia social e da desigualdade, das quais participaram estudiosos de vrios pases.

14 O X Plano, no qual o relatiio foi escrito por Franois de Closets em 1989, e se intitula Le pari de la responsabilit.

15 A lei sobre Revenu minimum d insertion (Rmi: o salrio mnimo n 1088 de 1/12/1988) instituiu uma Comission nationale d valuation, presidida por Pierre Van- lerenberghe, que foi empossado em 1989. Ela se ocupou inicialmente do monitoramento da lei, e fez pesquisas sobre a pobreza c sobre as condies de insero no trabalho de utilidade social e nas empresas (cfr. V iv e r e t , 1989). Em 1992, publicou um relatrio de avaliao Rmi Le pari de 1insertion, que contem sugestes cm matria de insero e acompanhamento social , e prope que o Cime faa uma nova avaliao depois de trs anos.O Conseil conomique et social um rgo consultor composto de representantes dos partidos, sindicatos, empresrios, entidades profissionais, etc., anlogo ao Cnel italiano. Ele se empenhou muito na avaliao, como testemunha o relatrio aqui citado e a organizao da Premire confrence nationale de 1'valuation juntamente ao Obser- vatoire de la dcision publique (Ces e Odp, 1992).

17 O Occts realizou cinco estudos sobre: chuvas cidas, lies sobre o incidente em Chcr- nobyl, Aids, semicondutores e TV de alta definio.

18 Em termos de publicidade, que foi considerada excessiva, sentiu-se a necessidade de subtrair avaliao aquilo que deve ficar em segredo, ou seja, a ao do Ministrio da Defesa. Isso, entretanto, no impediu o Primeiro-Ministro Rocard de pedir uma auditoria externa sobre os programas militares. Verifica-se que, nos EUA, ocorreram as primeiras avaliaes dos estudos militares. E na Itlia, tambm, registra-se a experincia recente do Comit de avaliao da despesa militar junto ao Ministrio da Defesa.

19 Este Artigo estabelece que o Presidente da Repblica nomeie, tambm, o Presidente do Cse. Isto modifica, assim, o Artigo 10 do decreto dc janeiro, que atribui tais deve- res ao Primeiro-Ministro. Nota-se que o Relatrio de Viveret indica de quais rgos de pesquisa deveriam participar os especialistas: eram os rgos j atuantes no campo da avaliao, como o Centre scientifique et technique du batiment, o Comit nalional d'valuation de Ia recherche, o Comit scientifique de iq ffice parlemontaire des clioix technologiques et scientifiques, o Cnrs, o Centre deprospective et d valuation. Alm disso, previa que o presidente fosse eleito pelos seus membros ( V iv e r e t , 1989, p. 75). Os primeiros onze componentes cujo elenco encontra-se no Cse (1993, p. 57) so trs professores universitrios, quatro diretores dos centros de pesquisa, trs conselheiros de Estado, um presidente de uma entidade dc crcdito privado. Foi nomeado o prof. Leca, que uma prestigiosa figura independente do Institui de scien- ces politiques (em junho de 1993, ele rcccbcu a Lgion d'honneur).

20 No que diz respeito formao dos especialistas, que depois sero os encarregados da avaliao , parccc no ser necessrio criar um doutorado cm avaliao (doutorado nos Estados Unidos na PolicyAnalysis); sobretudo, se se considerar que as Grandes co- les, como Hautes tudes commerciales. a licole nationale d 'administration, deveriam acrescentar cursos de avaliao aos j existentes. Isso permitiria criar novos avaliadores que teriam tambm outras especialidades e que no fossem avaliadores tout court. No que se refere formao contnua dos funcionrios pblicos, pode-se dizer que o Cse com a sua atividade desenvolva j atualmente esta tarefa.

21 Para certas avaliaes isso pode no constituir um grave problema. No partilho dos temores de D u r a n e M o n n i e r (1992), que falam a este propsito de premissas tericas instveis e prticas hesitantes. Creio que a peculiaridade do modelo pluralista deveria ser a dc reunir todas as posies, gerencial inclusive.

22 O seu esforo em manter-se informado sobre o desenvolvimento da avaliao na administrao francesa e dc participar diretamente atravs dc seus membros relatores da avaliao feita por outros (Cse, 1993, p. 19).

23 No II Relatrio do Cse, P e r r e t (1993, p. 76) observa que a origem da avaliao na Frana no unitria mas pode ser reconduzida a quatro plos principais de competncia: os centros dc pesquisas sociais, os escritrios de estudo dos ministrios e de outras empresas e corpos de inspeo e controle, o grupo dos especialistas.

24 Ao observar o primeiro parecer sobre a avaliao da informtica na administrao, veremos que o principal conselho o de reduzir as ambies tericas c procurar tornar mais concreta a abordagem, por exemplo no pretendendo fazer uma avaliao abrangente de todos os instrumentos legislativos que introduziram a informtica, mas fazendo uma profunda anlise, em alguns casos, que possam servir tambm para outros de um modo analgico e objetivando encontrar medidas dc contribuio que a informtica possa dar qualidade do servio c, cm particular, simplicidade dos procedimentos.

25 Esta problemtica foi debatida na conveno Service public et usagers: vers quelles relationsl, organizada em Paris, cm janeiro dc 1993, pelo Ministrio da Funo Pblica e pelo Observatoire de Ia dcision publique.

26 De uma entrevista com Sylvie Trosa, rapporteur adjoint do Cse, feita em maio dc 1991.

27 Sobre esta inteno democrtica da avaliao v-se a ressonncia que tiveram as idias dc Albert Hirschman nos ambientes do Commissariat General du Plan. No encontro, organizado por Hirschman em novembro de 1992, o mesmo desenvolveu as idias contidas no sexto captulo de seu Retricas da intransigncia, que se referem a uma retrica progressista e props uma idia dc democracia capaz de favorecer o debate e a negociao. Interferindo na discusso, Dc Foucauld comentou: Tudo aquilo que disse Hirschman fecundo c pode ser utilizado na avaliao das polticas pblicas, que sempre confrontada a casos concretos c deve servir de apoio s decises.

1331

109

Referncias bibliogrficas

B a r d a c h , E. The implementalion game: what happens afier a bill comes a law. Cam- brdgc: Mit Press, 1977.

B o n f .t t i , M., F r a i s s e , J., d e G a u l e j a c , V. L'valuation dynamique des organisations publiques. Paris: Editions dOrganisations, 1987.

B o u d o n , R. Effets pervers et ordre social. Paris: Puf, 1977.B o u d o n , R. La rhtorique est-elle ractionnaire?. Le dbat, 6 9 , 1 9 9 2 .C a m p b e l l , D. Rcforms as Experiments. American Psycologist, vol. 24, April, 1 9 6 9 . C h e l i m s k y , E . Le cas amrcain. Paris: Fondation du Futur, 1 9 8 8 .C h e l i m s k y , E . I n t e r v e n o c m Ces c Odp, 1 9 9 2 .C o h e n , E., M u l l e r , P. Prscntation. Revue franaise de Science politique, 2, 1992. Commissariat General du Plan. Outils, pratiques, institutions pour valuer les politiques

publiques. Paris: La Documentation franaise, 1990.Commission nationale d valuation du revenu minimum d'inscrtion. Rmi. Le pari de

1insertion. Paris: La Documentation franaise, 1992.Ces (Conseil conomique et social). Lvaluation des politiques publiques. Journal

officiel de Ia Republique franaise: avis et rapports du Conseil economique et social, 2, Paris, 1991.

Ces (Conseil conomique et social), Odp (Observatoirc de Ia dcision publique). Premi- re confrence nationale de I 'valuation des politiques publiques, Mimeo, Paris, 1992.

Ces (Conseil seientifique de 1valuation). Cvaluation de 1expertise Ia responsabilit.Paris: La Documentation franaise, 1992.

Ces (Conseil seientifique dc 1valuation. L'valuation en dveloppement. Paris: La Documentation franaise, 1993.

C r o z i e r , M. Analyse sociologiquc de la planification franaise, Pa l m a d e , G. (org.)Uconomie et les sciences humaines. Paris: Dunod, 1967.

C r o z i e r , M. tat modeste, tat moderne. Paris: Fayard, 1987. Roma: Edizioni Lavoro,1988.

C r o z i e r , M . Comment rjormer 1Etat? Trois pays, trois stratgies: Sude. Japon, Etats Unis. Paris: La Documentation franaise, 1989.

D f.I.EAU, M. (org.). Evaluer les politiques publiques: mthode, dontologie, organisation. Rapport pour le Commissariat Gnral du Plan. Paris: La Documentation franaise,1989.

D e F o u c a u i . d , J. B . Interveno in Ces e Odp, 1 9 9 2 .D u r a n , P., M o n n i e r , E. "Le dveloppement dc 1cvaluation en France. Ncessits tech-

niques et exigences politiques. Revue franaise de Science politique, 2, 1992. Fondation du Futur. Comment rformer l'tat. Paris: Cahicrs de la Fondation du futur,

1 9 8 8 .

G r m i o n , C. Qucllcs mthodes pour valuer la dcentralisation? Actualit Juridique Droit Administratif 1992.

G u b a , E . , L in c o l n , Y . Fourtli Generation Evaluations. Newbury Park: Sage Publications,1989.

L a m a r q u e , D. Le rle des instances d valuation. Conseil seientifique de 1valuation, Paris, 1993.

H i r s c h m a n , A. O. Retricas da intransigncia. Bologna: II Mulino, 1991.H i r s c i i m a n , A. O. Largument intransigeant comme ide rcue. Le dbat, 69.M a z e y , S. Riforma politico-amministrativa c Stato francese: dallaffermazionc al com-

promesso. Rivista trimestrale di scienza deli 'amministrazione, 4, 19 9 1.M e n y , Y., T h o e n i g , J. C . Politiques publiques. Paris: Puf, 1989.M i n e l l i , A. R. Scienza deH'amministrazione e metodo comparato. F r e d d i , G. (org.).

Scienza deli 'anwiinistrazione e politiche pubbliche. Fircnzc: Nuova Italia, 1989.

Ministerc de la cooperation. Analyses critiques des mthodes d valuation des projets. Paris: Mimeo, 1976.

M o n n i e r , E . valuation de I'action des pouvoirs publics. Paris: Economica, 1 9 8 7 .M o n n i e r , E. valuation des politiques publiques. Mthodes et pratiques, dossier de

Problemes politiques et sociaux, 599. Paris: La Documentation franaise, 1989.M o n n i e r , E. Lvaluation pluralistc: un usage nouveau d outils classiqucs. Paris:

Commissariat Gnral du Plan, 1990.M o n n i e r , E. Valutazione delle politiche pubbliche in Francia: applicazioni e paradigmi

a c o n f r o n to Azienda pubblica, 1, 1992.M u l l e r , P. Les politiques publiques. Paris: Puf, 1990.N i o c h e , J .P , P o i n s a r d , R. /.valuation des politiques publiques. Paris: Economica, 1985.Pa d i o l e a u , J. G. L'tat au concret. Paris: Puf, 1982.P e r r e t , B. Lc contexte franais dc 1valuation. Paris: Conseil conomique et social,

1993.P r e s s m a n , J. L, W i l d a v s k y , A. Implementalion. Berkeley: University o f Califrnia

Press, 1973.R o s a n v a l l o n , P. La crise de l'tat providence. Paris: Scuil, 1981.St a m e , N. Valutazione expost c conseguenzc inattese. Sociologia e ricerca sociale, 31,

1990.V i v e r e t , P. Uvaluation des politiques et des actions publiques et Propositions en vue de

1valuation du revenu minimum d insertion. Paris: La Documentation franaise,1989.

V iv e r e t , P. Le citoycn ct les deux boites noires. Ledbat, 71, 1992.W e i s s , C. valuation Research: Methods o f Assessing Program Effectiveness. Prcnticc-

Hall, N. J.: Englewood Cliffs, 1972.

HETJ ResumoResmenA bstract

Avaliao das polticas pblicas na FranaNicoletta Stame Meldolesi

Aps um longo perodo dc discusso sobre a reforma do Estado, a Frana, em 1990, implementou um sistema interdepartamental para a avaliao das polticas pblicas.

O aspecto interessante nesta reforma c o meio pelo qual um pequeno grupo de pessoas, de diferentes instituies e com experincias polticas distintas, convenceu-se da importncia da avaliao das polticas pblicas e se conscientizou dos diversos problemas relativos a esta questo. Finalmente, com uma atitude bipartidria, este grupo foi capaz de criar uma realidade que modifica profundamente o sistema legislativo, tanto no que se refere ao processo decisrio quanto ao sistema de implementao das polticas.

Neste trabalho, o autor descreve os passos do debate e os recursos das diferentes propostas que acabaram por se transformar no projeto dc reforma e na sua implementao.

Evaluacin de Ias polticas pblicas en FranciaNicoletta Stame Meldolesi

Tras un largo periodo de discusin sobre Ia reforma dei Estado, se implanto en Francia, en 1990, un sistema interdepartamental para Ia evaluacin dc polticas pblicas. El aspecto relevante de esa reforma cs cl hccho de que un pequeno grupo de personas, de diversas instituciones y de matices polticos distintos, se haya convencido de la impor- tancia de la evaluacin dc Ias polticas pblicas u sc haya buscado tener conciencia de los diversos problemas relacionados a esta cuestin. En definitiva, este grupo, con una acti- tud bipartidaria, ha sido capaz de crear una rcalidad que modifica produndamente el sistema legislativo, tanto en Io que se reficrc al proceso desisorio como al sistema de ejccu- cin dc Ias polticas pblicas. En este trabajo, el autor descrive los pasos dei debate y los recursos de Ias diferentes propuestas que acabaron por transformarse en cl projecto dc reforma y cn su puesta en marcha.

Evaluation of the public policies in FranceNicoletta Stame Meldolesi

Following a dccadc-long discussion on thc State reform, in 1990, Francc implcmcnted an interdepartmental system for thc assessment o f public policies.

Thc interesting element on this reform is the way through which a small group o f per- sons, coming from diffcrent institutional and political cxperiences, convinccd him self o f the importance o f policy and made them aware of thc diffcrent problems involved and was finally able, with a bipartisan attitude, to crate a reality which dccply modifies the legislativo system, both in thc dccision-making and in thc implcmcntation system.

112