avaliaçao de políticas públicas na américa do...

V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000

Avaliação de políticas públicas na América do Sul.1 A avaliação de programas públicos: uma estratégia de análise

Pedro Luiz Barros Silva2

Nilson do Rosário Costa3 Outubro de 2 000

CAPÍTULO 1: UMA REVISÃO DOS ESTUDOS NACIONAIS SOBRE O FORTALECIMENTO DA FUNÇÃO AVALIAÇÃO NA AMÉRICA DO SUL

1. INTRODUÇÃO Este capítulo analisa os documentos sobre a situação da função de avaliação em três países da América do Sul: Brasil, Argentina e Chile. Os trabalhos foram elaborados respectivamente pelo Ministério do Planejamento e Orçamento/Instituto de Pesquisa Econômica Aplicada “A Experiência Brasileira e o Caso do Brasil em Ação”, Brasília, Março de 1999; Ministério de Planificación y Cooperación/República de Chile “Instrumentos de Evaluación de la Gestión Pública y los Programas Públicos del Estado Chileno”, Santiago, Dezembro de 1998; Clarisa Hardy “Sistema de Información, Evaluación y Monitoreo de Programas Sociales – SIEMPRO – de Argentina, Buenos Aires, Setembro de 1998

Os documentos de consultores trazem contribuições diferenciadas sobre o estado da arte da avaliação nos contextos nacionais do Brasil, Chile de Argentina.

Os relatórios sobre Brasil e Chile a) situam o desenvolvimento da avaliação no contexto macro-econômico e demonstram que esses países tem definido nos anos recentes orientações estratégicas compreensivas para avaliação do das políticas públicas nacionais. O relatório sobre a Argentina b) descreve a centralização institucional das atividades de produção de informações sociais e o desenvolvimento da avaliação de programas sociais focalizados. O trabalho sobre o caso brasileiro oferece um quadro referencial sobre os conceitos e opções metodológicas para a avaliação. Esse quadro de referência é compreensivo em razão dos conceitos operacionais e os problemas metodológicos apresentados estarem implicitamente presentes nos relatórios dos casos analisados de Argentina e Chile.

O relatório brasileiro aponta a definição de avaliação da OECD (Organization for Economic Cooperation and Development): avaliação é uma estimativa das características e efeitos de uma política ou de um programa ou projeto, concluído ou em fase de execução, da sua concepção, implementação e resultados. Ela visa determinar a relevância e realização dos seus objetivos e sua eficiência, eficácia, impactos e sustentabilidade do ponto de vista do desenvolvimento. Uma avaliação deve suprir informações críveis e úteis e permitir a absorções dos resultados pelo processo decisório e pelos beneficiários das políticas e programas. Os relatórios tratam da avaliação de políticas públicas em diferentes níveis de abrangência. Descrevem os esforços institucionais para a implementação de avaliações nacionais ou global, como as dedicadas às avaliações da política econômica ou social, e o desenvolvimento da avaliação no nível setorial (política de educacional, por exemplo), no nível multisetorial, territorial e a análise do desempenho de projetos específicos.

1 Trabalho apresentado no painel “Estado Democrático e Governança no Século XXI: reformando a reforma” do V Congresso Internacional do CLAD sobre Reforma do Estado e Administração Pública. 2Administrador Público, Doutor em Ciência Política e Coordenador do Núcleo de Estudos de Políticas Públicas – NEPP da Universidade Estadual de Campinas – UNICAMP. 3 Sociólogo, Doutor em Planejamento Urbano, Coordenador de Pesquisa da ENSP/FIOCRUZ.


2

Os relatórios assinalam que os objetivos da função de avaliação se diferenciam das atividades de auditagem ou monitoramento dos processos formais associados à administração pública. As atividades consideradas nos estudos como de função de avaliação foram aquelas que buscaram caracterizar a validade, utilidade, eficiência e efetividade de programas e políticas, em termos dos seus resultados, impactos e repercussões econômicas e sociais. Portanto, que tiveram como meta a geração de resultados ou recomendações para a melhoria da eficiência e da efetividade da ação do governo. As funções de avaliação analisadas foram as que responderam a objetivos finais e objetivos instrumentais de melhoria da performance governamental. Melhorar a eficiência do gasto público e a eficácia da ação de governo tem sido o objetivo final de muitas atividades de avaliação assim como as avaliações tem servido para objetivos instrumentais ao contribuírem para a melhoria da qualidade da gestão pública por um processo de realimentação ou “feedback”. As avaliações analisadas nos relatório também estiveram orientadas por exigências de clientes institucionais ou usuários financiadores que condicionaram a natureza, o formato, a profundidade e a forma de divulgação dos resultados do processo avaliativo.

O desenvolvimento da capacidade institucional de avaliação descrito pelos relatórios nacionais indica sobretudo o crescimento da exigência de legitimação dos programas e políticas implementadas pelo Executivo face as demandas por accountability (responsabilização) feitas pelos Poderes Legislativo e Judiciário e das pressões intra-governamentais por transparência e maior visibilidade do processo decisório, advindas, principalmente, dos Tribunais de Conta. Além da crescente difusão na administração pública das demandas por qualidade de governo que afetam organizações e programas públicos.

Um aspecto importante desse processo é o interesse da sociedade como um todo e, em particular, dos segmentos da comunidade que podem se caracterizados como “stakeholders” de determinados programas governamentais. É exigido dos programas sociais, por exemplo, a definição de mecanismos de acompanhamento e avaliação que facilitem a comunicação do governo com os beneficiários e atendam aos requisitos de responsabilização perante a sociedade.

2. SÍNTESE DAS SITUAÇÕES NACIONAIS ESTUDADAS Apresenta-se, a seguir, as principais características da função avaliação nos países estudados.

2.1 Brasil O relatório assinala que o país tem experimentado uma grande variedade de conceitos e abordagens em relação a função de avaliação, especialmente no contexto da experiência de planejamento, gestão governamental e em desenvolvimento de programas sociais no nível federal.

A experiência brasileira nesse setor é ampla e diversificada, mas considerada insuficiente e insatisfatória. As avaliações de programas de governo se caracterizam, salvo alguns programas na área social, pela dispersão e descontinuidade e as evidências e resultados são raramente documentadas e sistematizadas. Isso deve-se as duas características dominantes do planejamento governamental do país:

a) a ênfase ao processo de formulação de planos e elaboração de programas e projetos; b) alta negligência as etapas de acompanhamento e avaliação dos processos, resultados e

impactos

O relatório apresenta mapeamento detalhado das iniciativas descontínuas e difusas de acompanhamento e avaliação em cinco níveis de planejamento:

• Planos nacionais;


3

• Planos e programas regionais; • Programas setoriais; • Projetos financiados por bancos de fomento; • Planejamento estadual.

O mapeamento evidencia o amplo universo de experiências de acompanhamento e avaliação nos níveis federal e estadual cujos os resultados estão dispersos e não foram adequadamente analisados, justificando-se pesquisas adicionais com o objetivo de gerar subsídios para o aperfeiçoamento dos processos de planejamento e gestão na administração pública. Em resumo, o processo de implementação de programas e projetos têm apresentado como características centrais:

• gerenciamento difuso • descontinuidade • implementação à margem ou em paralelo à estrutura da burocracia formal.

2.1.1. A Experiência do Sistema de Acompanhamento do Programa de Ações Prioritárias do

Governo Federal no Nordeste Em meados da década de 1990 a criação do Sistema de Acompanhamento do Programa de Ações Prioritárias do Governo Federal no Nordeste procurou ampliar as condições de eficácia na implementação do programa pela introdução da perspectiva da avaliação aos processos de formulação e implementação. Tratava-se de um programa de grande envergadura orçamentária e com financiamento externos e de bancos oficiais federais direcionado para setores considerados estratégicos para o desenvolvimento do Nordeste.

Quando da montagem do Sistema de Acompanhamento no ano de 1996, solicitou-se as seguintes providências:

• levantamento de todas as informações disponíveis sobre essas Ações; • elaboração e promulgação de marco institucional normativo; • definição de esquema de trabalho conjunto dos vários Ministérios envolvidos; • planejamento e organização de sistema metodologia de trabalho; • definição de responsabilidades individuais pelos diferentes segmentos do trabalho.

A idéia central fora definir um projeto piloto de sistema de acompanhamento e avaliação que orientasse as avaliações de todos os programas regionais do governo. Para tanto sugeriu-se as seguintes iniciativas:

• definição prévia dos objetivos da avaliação • levantamento prévio das informações e relatórios já disponíveis dos programas e projetos • definição relações formais com os implementadores para acessar as informações,

evitando a multiplicidade de interlocutores; • concepção de indicadores sintéticos e operacionais; • caracterização de formato básico dos relatórios de avaliação para garantir agilidade,

uniformidade e coerência. Foram apresentados à Câmara de Políticas Regionais relatórios de acompanhamento especificando, em relação a cada programa ou projetos, as seguintes variáveis:

• objetivos gerais; • objetivos específicos; • metas quantitativas; • aspectos qualitativos; • indicadores sintéticos para avaliar o grau de execução das metas; • problemas financeiros; • problemas operacionais; • problemas gerenciais e institucionais;


4

• sugestões e recomendações de medidas corretivas.

Esse roteiro gerou relatórios sintéticos – de no máximo 10 páginas – e objetivos com um conjunto de indicadores selecionados orientados para a avaliação dos projetos em termos de dificuldades e deficiências encontradas e sugestões para a eliminação dos problemas identificados. Esses relatórios permitiram a introdução de mudanças substantivas no processo de implementação, demonstrando a as grandes potencialidades do sistema de avaliação como um instrumento de monitoramento e correção da ação do governo.

2.1.2. A Primeira Etapa do Plano Plurianual (PPA) A política do Plano Plurianual (PPA) para o período 1996/1999 definida pelo governo federal foi a tentativa mais abrangente de ação de política pública para a viabilização de objetivos estratégicos de modernização do estado; redução de desequilíbrios espaciais e sociais e inserção competitiva do país. A lei que aprovou o PPA estabeleceu a exigência de um relatório de acompanhamento do Plano, detalhando uma exigência geral já estabelecida pela Constituição de 1988.

A metodologia utilizada compreendeu basicamente:

• Levantamento final do dados relacionados do PPA disponibilizados nos sistemas informatizados de planejamento e execução orçamentária do governo federal;

• Repasse dos dados para os órgãos setoriais para identificação dos que são de utilidade para acompanhamento dos projetos e atividades do PPA;

• Confronto do valor programado com o valor executado; • Levantamento junto aos órgãos setoriais dos dados relacionados com programação e

execução física, para cada meta do PPA; • Preparação da distribuição de freqüência, relacionando metas e o grau de execução

física.

A analise do relatório do ano de 1997 revela um documento mais descritivo do que analítico, que apresenta uma visão geral da ação do governo em cada área. A despeito da grande massa de informação coletada, não uma análise que consolide os dados em indicadores sintéticos de desempenho.

O relatório sobre o caso brasileiro assinala as dificuldades também de natureza operacional para a formulação de indicadores de avaliação sintética do PPA:

• Formas de apresentação divergentes entre o PPA e o Orçamento Geral da União (os sistemas informatizados do PPA e de acompanhamento orçamentário do governo – SIAFI, SIDOR e SIEST não são compatíveis);

• Projetos e atividades cujos recursos tem destinação múltipla, exigindo ajustes para identificar os valores programados;

• Projetos cujo financiamento é complementado com recursos extra-orçamentários; • Dependência total dos órgãos executores para o levantamento da execução física das

metas do PPA; • Ausência de informações e parâmetros de permitam obter uma avaliação de desempenho

do governo em termos de execução física de suas metas 2.1.3. O novo modelo de planejamento para o Brasil em Ação

Diante dessas dificuldades operacionais, a Secretaria de Investimentos Estratégicos do Ministério do Planejamento e Orçamento detalhou um novo modelo de planejamento com definições e orientações


5

básicas. O processo de planejamento tem início:

• pelos estudos preparatórios para a formulação da Base Estratégica do Plano; • pelo inventário das ações do governo federal em andamento; • recadastramento dos programas e projetos em execução.

Em processo modificou a classificação funcional-programática do governo federal da lei 4.320 de 17/03/1964, especificando 28 funções do governo, desdobradas em múltiplas sub-funções pela Portaria No. 17 de 12 de Novembro de 1998.

Alguns conceitos básicos foram também explicitados em função das ações e intervenções do governo que foram resumidas em quatro categorias:

• Programa • Projeto • Atividade • Operações Especiais

Na definição das programação governamental faz-se uma distinção entre atividade finalística e instrumental. A primeira agrupam Programas ou conjuntos articulados de projetos, atividades e outras ações orientadas à solução de problemas da população. A segunda está organizada em Programas de Gestão Administrativa, voltada para às atividades de capacidade de governo (planejamento, administração financeira, controle, administração de pessoal, comunicação etc.)

Em todas as etapas do processo de planejamento do novo PPA buscar-se-á o apoio de um sistema de informações gerenciais, em modo eletrônico. O sistema disponibilizará as seguintes informações sobre cada programa:

• Objetivo • Indicador • Público-Alvo • Unidade Responsável • Gerente • Metas e Valores Regionalizados • Outras Ações (sem expressão financeira) • Parcerias • Cronograma Físico e Financeiro • Dados Situacionais

Na etapa de avaliação serão levantadas as seguintes informações:

• Evolução do indicador selecionado para o programa; • Resultado realizado das metas do programa; • Grau de satisfação da sociedade quanto bens e serviços permanentes e continuamente

ofertados pelo poder público; • Realização das metas de qualidade e produtividade; • Síntese da avaliação do programa.

Em função dessa nova estratégia foram selecionados 42 projetos do PPA para integrara o Programa Brasil em Ação. Forma submetidos a um regime especial de acompanhamento e gerenciamento com os objetivos:

• Orientar o processo orçamentário, sinalizando claramente as prioridades de investimento do governo;

• Detectar, de forma tempestiva, os problemas de implementação e induzir medidas


6

corretivas de execução; • Criar base de dados e informação para atrair investidores nacionais estrangeiros e facilitar

a formação de parcerias entre o governo e o setor privado. O Brasil em Ação apresenta algumas características inovadoras de planejamento governamental, apresentadas a seguir.

A primeira é que as ações e intervenções se caracterizam como projetos por identificar: objetivos e metas (físicas e financeiras); localização; agentes executores (inclusive parceiros privados); necessidades de investimento e fontes de financiamento; e cronogramas de execução etc.

Em segundo lugar, o gerenciamento especial define para cada projeto um gerente com autoridade e meios para interagir com todos os órgãos e pessoas envolvidas na implementação das ações planejadas e com condições de acompanhar, monitorar e avaliar a execução dos empreendimentos.

Em terceiro lugar, a disponibilidade de um sistema informatizado de informações que tornam possível aos gerentes e executores:

• Acompanhar e avaliar a execução dos projetos; • Atualizar o planejamento inicial; • Elaborar relatórios atualizados sobre o andamento do projeto; • Disseminar informações e interagir com órgãos, instituições e pessoas que tenham

responsabilidades específicas em relação ao projeto; • Identificar caminhos críticos, pontos de estrangulamento e marcos importantes

(milestones) no processo de execução do projeto; • Antecipar problemas e dificuldades e adotar ou propor medidas preventivas ou corretivas

para a sua superação. A combinação do processo de avaliação às etapas de formulação e implementação pelo Brasil em Ação abrem uma perspectiva de superação das falhas do planejamento governamental originadas, por um lado, pela exclusiva ênfase ao momento de formulação de planos e elaboração de programas e projetos; e, por outro, pouca importância dada às etapas de acompanhamento e avaliação dos processos, resultados e impactos.

Essa possibilidade é favorecida pela estratégia compreensiva que tiveram relativo êxito em outros contextos de avaliação ao adotar:

• Um enfoque global de avaliação, que não se limita a setores, atividades ou região por combinar a função de avaliação de programas e projetos à estratégia macroeconômica, ampliação da infra-estrutura e verificação de performance social;

• A articulação entre os vários níveis decisórios da gestão pública para superar a perspectiva da avaliação como função de especialistas insulados em organismos técnicos especializados;

• A difusão na gestão dos projetos de tecnologias da informação que permite uso ágil de banco de dados e geração de informação em curto prazo;

• A geração de consenso sobre os conceitos operacionais de planejamento e avaliação a serem utilizados.

2.2. O Caso da Argentina O estudo descreve a nova institucionalidade da função de avaliação pela criação em 1994 do SIEMPRO (Sistema de Informação, Avaliação e Monitoramento de Programas Sociais), que conta com financiamento do Banco Mundial.

O SIEMPRO visa acompanhar o crescimento crescente do gasto nacional na área social e gerar diagnósticos sobre a capacidade e qualidade de destinação de recursos públicos dos governos nacional e sub-nacionais.

Os estudos sobre financiamento público constatam um gasto nacional relativamente alto na área social Essa despesa não tem produzido resultados correspondentes nas condições de vida da


7

população, o que permite a conclusão sobre a baixa eficiência e eficácia dos programas sociais ao que se atribui:

• Fragmentação e superposição de instituições e programas, que implicam em duplicação, omissão, dissipação de recursos e esforços;

• Inexistência de Instrumentos explícitos e comuns de focalização para orientar a destinação de gasto e a implementação especializada de programas;

• Carência de informação idônea sobre as dinâmicas sociais em curso, as mudanças e as novas necessidades da população;

• Inadequação programática pela inércia e falta de objetivos • Falta de participação dos beneficiários para definição de necessidades e controle de

performance; • Ausência de instrumentos de monitoramento e avaliação de resultados e falta de

transparência no uso dos recursos públicos; • Baixa capacidade técnica dos recursos humanos responsáveis pelos programas sociais

nos níveis de execução subnacionais. Diante desse diagnóstico, o SIEMPRO tem como objetivo geral dotar a Secretaria de Desenvolvimento Social do governo central da Argentina de recursos e instrumentos necessários para a operação de um sistema de informação social, monitoramento, avaliação e capacitação em gestão social.

Como objetivos específicos, propõe:

• Melhorar o gestão de programas sociais; • Gerar uma base de dados útil sobre condições de vida e oferta de programas sociais para os

responsáveis pela execução de políticas e programas sociais; • Produzir informação social para o desenho e focalização dos programas sociais; • Promover a incorporação e institucionalização de um sistema de gestão integral de programas

sociais por resultados; • Oferecer assistência técnica e capacitação aos organismos da área social nos níveis nacionais e

estaduais; • Difundir na opinião pública nacional informação sobre condições de vida das populações, sobre

políticas sociais e o papel do estado; • Gerar análises e estratégias de intervenção na área social.

A partir desses objetivos específicos e geral que visam introduzir correções na política social e não diminuir ou suprimir os gastos sociais no contexto do ajuste macro-econômico, o SIEMPRO reconhece a centralidade, a autonomia e a especificidade da avaliação social em comparação às habituais avaliações de investimentos físicos por critérios estritamente econômicos. Esse reconhecimento significa o superar as concepções tradicionais de avaliação originadas em metodologias de custo/benefício. Igualmente não se restringe a avaliação dos programas sociais, mas também de políticas sociais e de cenários prospectivos do impacto social de políticas econômicas e outros investimentos públicos e privados.

Desde a sua criação o SIEMPRO busca a integração dos sistemas de informação social com os processos de avaliação dos programas sociais destinados a superação da pobreza e da extrema vulnerabilidade social.

A dinâmica integradora de ambas as funções permite a transformação a função de avaliação em instrumento de democratização da informação a serviço da cidadania.

Como parte do seu desenvolvimento institucional e a geração de produtos, o elaborou em 1997, em cooperação com o Instituto Nacional de Estadística, sua própria base de dados sobre a situação social por meio da Encuesta de Desarrollo Social y Acceso a Programas y Servicios Sociales (EDS) com informações sócio-econômicas dos domicílios, com dados de cobertura e utilização dos


8

programas sociais.

Outra importante atividade do SIEMPRO foi a identificação dos programas sociais nacionais dirigidos a população em situação de pobreza e vulnerabilidade social. Este cadastro permitiu a criação de uma Base de Dados de Programas Sociais atualizada relativa a programas sociais focalizados de natureza nacional.

Um outro produto importante é o conjunto de indicadores sociais de monitoramento e gestão dos programas sociais cujo seguimento é realizado pelos próprios implementadores.

O resultado direto dessa atividade é o Sistema Integrado de Monitoreo (SIM) que acompanha o desempenho de programas sociais focalizados da Secretaria de Desenvolvimento Social por meio de relatórios periódicos (trimestrais e anuais).

Por último o SIEMPRO desenhou e opera um sistema de identificação e registro de famílias beneficiárias dos programas e serviços sociais (SISFAM) que permite a identificação e das famílias mais pobres e vulneráveis para facilitar o seu acolhimento pelas intervenções sociais numa abordagem integral, familiar e territorial.

Na perspectiva específica da avaliação Encuesta de Desarrollo Social y Acceso a Programas y Servicios Sociales (EDS) com informações sócio-econômicas dos domicílios, com dados de cobertura e utilização dos programas sociais, não é somente um instrumento de informação social privilegiado mas um instrumento de avaliação que permite verificar resultados e impactos de programas sociais e seus efeitos distributivos.

A aplicação do EDS permite avaliar os programas sociais desde a perspectiva da demanda em relação a focalização, conhecer quem acessa aos serviços, o tipo de serviço recebe e com que periodicidade. Permite estimar a transferência de renda aos domicílios e o impacto distributivo que tem a despesa social.

2.3. O caso do Chile O desenvolvimento da função de avaliação tem como referência no Chile a criação do Comitê Intersetorial de Modernização da Gestão Pública com a missão de impulsionar e coordenar os esforços de modernização das instituições pública. Esse comitê é constituído por representantes dos Ministérios do Interior, da Fazenda e da Secretaria Geral da Presidência. A Secretaria Técnica está situada no Ministério Secretaria Geral da Presidência.

Como princípios orientadores da modernização da gestão pública o Comitê definiu:

• Aumentar a eficácia dos serviços públicos; • Promover lideranças capazes de animar o processo de modernização da cultura organizacional

do setor público; • Adaptar e aplicar novas tecnologias organizacionais e de gestão; • Promover a gestão estatal e governamental orientada por resultados; • Centrar a gestão em função das demandas e das necessidades dos usuários; • Orientar o processo de gestão pelo princípio da transparência; • Otimizar o usos dos recursos públicos; • Melhorar qualitativamente os recursos humanos do setor público e dignificar a sua função A adaptação de novas tecnologias de gerência e administração, a orientação ao cidadão, a flexibilização e a modernização da gestão estão entre os objetivos estratégicos dos programas e iniciativas que impulsiona o governo no âmbito da gestão pública.

Nesse processo estão situados os processos de avaliação geral da gestão pública no qual se distinguem as estratégias de (i) avaliação ex ante; (ii) de processo: monitoramento ou seguimento; (iii) avaliação ex post: de resultados ou de impacto.


9

O informe apresenta os componentes dos sistema geral de avaliação da gestão pública chileno, conforme resumido a seguir, através da descrição dos instrumentos, instituições, utilização e produtos e articulação institucional.

2.3.1. Instrumento de Avaliação 2.3.1.1: Sistema Nacional de Investimento Público. Instituição: Ministério do Planejamento (Mideplan)

Objetivo: melhorar o processo de investimento público.

Utilização e Produtos: seguimento dos investimentos públicos; programação orçamentária de projetos e programas.

Relação com outros instrumentos: exigência de de avaliação para a programação orçamentária do Ministério da Fazenda

2.3.1.2 Programa de Monitoramento da Política Social Instituição: Ministério do Planejamento (Mideplan)

Objetivo: colaborar na tomada de decisão relativa ao desenho, execução, gestão e investimento no âmbito das política sociais.

Utilização e Produtos: gerar informação para melhor gestão pela avaliação de processo; estudos focalizados, validação da intervenção social e avaliação de impacto.

Relação com outros instrumentos: avaliação considerada na destinação de orçamento para os programas

2.3.1.3 Indicadores de Gestão Instituição: Direção de Orçamento do Ministério da Fazenda

Objetivo: geração de informação sobre o desempenho das organizações públicas e geração de base de dados para a tomada de decisão das organizações e serviços.

Utilização e produtos: utilizado no processo de orçamentação

Relação com outros instrumentos: incorporado ao Programa de Melhoramento da Gestão dos Serviços Públicos

2.3.1.4 Programa de Avaliação de Projetos Governamentais

Instituição: Direção de Orçamento

Objetivo: geração de informação sobre os resultados dos programas avaliados

Utilização e produtos: avaliação e programas governamentais; informação ao Congresso na discussão de orçamento

Relação com outros Instrumentos: informação que se entrega aos Congresso.

2.3.1.5 Programa de Melhoramento da Gestão (PMG)

Instituição: Direção de Orçamento

Objetivo do Instrumento: apoiar a Modernização da Gestão Pública, as metas ministeriais para o setor, os recursos disponíveis. Instrumento para definir o incremento de desempenho organizacional fixado por lei.


10

Utilização e produtos: Identificação das metas mais relevantes dos Ministérios e serviços a cada ano; avaliação geral de desempenho; insumo para a discussão orçamentária.

Relação com outros instrumentos: fixação de metas ministeriais e regionais.

2.3.1.6 Metas Ministeriais

Instituição: Ministério da Fazenda, Secretaria Geral da Presidência e Ministério do Planejamento.

Objetivo do Instrumento: identificar as iniciativas, planos e programas mais relevantes para o conjunto do setor público em relação a missão e objetivos de gestão.

Utilização e produtos: Identificação de metas mais relevantes dos Ministérios e serviços anualmente; avaliação geral de desempenho; insumo para a discussão orçamentária.

Relação com outros instrumentos: fixação de metas ministeriais e regionais.

2.3.1.7 Projeto de Modernização

Instituição: Comitê Interministerial de Modernização da Gestão Pública

Objetivo: melhorar a efetividade, eficiência e qualidade dos processos e resultados da gestão

Utilização e Produtos: sistematizar e desenvolver as iniciativas de modernização dos Ministérios e serviços.

Relação com outros instrumentos: é considerado na elaboração do PMG. CONSIDERAÇÕES FINAIS A função avaliação nos países analisados mostra diferenças no grau de institucionalidade e de objetivos na gestão pública.

O caso brasileiro revela que a função de avaliação é incorporada em meados da década de 1990 a um conjunto articulado de Programas inovadores que definem um modelo de planejamento plurianual para a gestão pública. O processo de planejamento tem início pelos estudos preparatórios para a formulação da base estratégica; pelo inventário das ações do governo federal em andamento; recadastramento dos programas e projetos em execução.

Em processo modificou a classificação funcional-programática do governo federal e resumiu ações e intervenções do governo em quatro categorias operacionais:

• Programa: instrumento de organização da ação governamental, visando a concretização dos objetivos pretendidos, sendo mensurado por metas estabelecidas no plano plurianual

• Projeto: instrumento de programação para alcançar o objetivo de um programa, envolvendo um conjunto de operações limitadas no tempo, das quais resulta um produto que concorre com a expansão e o aperfeiçoamento da ação do governo.

• Atividade: instrumento de programação para alcançar o objetivo de um programa, envolvendo um conjunto de operações que realizam um modo contínuo e permanente , das quais resulta um produto necessário `manutenção da ação do governo.

• Operações Especiais: são despesas que não contribuem para a manutenção da ação do governo, das quais não resulta um produto e não geram contraprestação sob a forma de bem ou serviços, representando, basicamente, o detalhamento da função Encargos Espaciais. Os encargos especiais, por sua vez, são definidos como aqueles correspondentes a dívidas, transferências, ressarcimentos, indenizações e outros afins, representando, portanto, uma agregação neutra.

A combinação do processo de avaliação às etapas de formulação e implementação pelo Brasil em Ação abrem uma perspectiva de superação das falhas do planejamento governamental originadas,


11

por um lado, pela exclusiva ênfase ao momento de formulação de planos e elaboração de programas e projetos; e, por outro, pouca importância dada às etapas de acompanhamento e avaliação dos processos, resultados e impactos.

Essa possibilidade é favorecida pela estratégia compreensiva que teve relativo êxito em outros contextos de avaliação ao adotar:

• Um enfoque global de avaliação, que não se limita a setores, atividades ou região por combinar a função de avaliação de programas e projetos à estratégia macroeconômica, ampliação da infra-estrutura e verificação de performance social;

• A articulação entre os vários níveis decisórios da gestão pública para superar a perspectiva da avaliação como função de especialistas insulados em organismos técnicos especializados;

• A difusão na gestão dos projetos de tecnologias da informação que permite uso ágil de banco de dados e geração de informação em curto prazo;

• A difusão de conceitos operacionais de planejamento e avaliação de programa, projeto, atividade que oferecem as condições iniciais para o desenho da função de avaliação.

O caso da Argentina mostra o desenvolvimento da função de avaliação nos programas sociais focalizados desenvolvidos pelo governo nacional. Portanto, a institucionalidade da avaliação é limitada, não interagindo com o processo de planejamento macroeconômico das ações de governo. Oferece instrumentos muito importantes para monitoramento de resultados e impactos pela ênfase dada ao desenho de metodologias de avaliação dos processos formativos e de construção de bancos de dados sobre os programas dedicados os pobres e grupos vulneráveis.

O caso do Chile é um exemplo de difusão em larga escala das orientações da nova administração pública no nível nacional de governo, afetando de modo abrangente o monitoramento e a implementação das políticas públicas. A função de avaliação intragovernamental, com forte ênfase nos aspectos orçamentários, é a principal caraterística da experiência chilena, embora também apresente aspectos muito inovadores da definição de instrumentos, como o Programa de Monitoramento da Política Social, criado em 1992, e o Programa de Melhoramento da Gestão de 1998. O caso do Chile é aquele que aponta uma orientação normativa explicita para a inserção dos instrumentos de responsabilização e desempenho no conjunto da administração pública. No entanto, os objetivos da função de avaliação ficam difusos porque não é precisa a instância operacional da gestão pública que é o objeto da avaliação. Os casos brasileiros e argentinos são mais precisos ao elegerem, na década de 1990, a categoria programa como a categoria analítica inicial para a função de avaliação.

Face a tais conclusões iniciais, parece interessante explorar mais as tendências recentes da literatura e da experiência internacional e brasileira acerca da avaliação de programas. Mais do que isso se defende um enfoque que privilegie, através de uma determinada combinação dos instrumentos, técnicas e desenhos de avaliação, o processo de implementação dos programas públicos. As razões teóricas e metodológicas que sustentam essa escolha são apresentadas no próximo capítulo deste trabalho.

CAPÍTULO 2: AVALIAÇÃO DE PROGRAMAS PÚBLICOS: TENDÊNCIAS RECENTES 1. INTRODUÇÃO Este capítulo reúne alguns dos principais pontos relevantes que orientam os recentes estudos e pesquisas de avaliação de políticas públicas e programas governamentais. O propósito do trabalho é o de apresentar, de forma didática, o foco de análise, parâmetros e uma estratégia metodológica que pode ser utilizada, pelos gestores públicos, para estruturar a avaliação de programas e políticas públicas.

As políticas públicas, os programas e projetos do governo são, neste trabalho, o objeto dos estudos


12

de avaliação, e consistem em atividades (ou em um conjunto de atividades) racionalmente formuladas visando alcançar determinados resultados no plano da implementação. Por exemplo, um programa ou política P, formulado por uma organização O para aumentar em x % a capacidade de produção dos agricultores familiares, em uma determinada região, num determinado período de tempo, se constitui em um conjunto de atividades e projetos formulados para atingir este resultado ou meta. Nesse sentido, os programas podem ser simples, com objetivos programáticos claros4, perfeitamente exequíveis, e com resultados tangíveis e passíveis de avaliação. Em outros casos, os programas e políticas do governo encapsulam múltiplos objetivos e materializam intenções do governo em atingir objetivos que são pouco operacionais, de complexa mensuração por indicadores simples. Em ambos os casos, se considera que ao implementar políticas públicas ou programas, o governo e suas organizações tem interesses em atingir determinados resultados (controle da poluição, possibilitar acesso de desempregados ao mercado de trabalho, reduzir a mortalidade infantil, atrair investimentos para determinadas indústrias; elevar o desempenho das organizações públicas etc.), os quais são denominados de objetivos programáticos. A partir destes objetivos programáticos é possível avaliar se este programa, ao ser implementado produz ou não tais resultados esperados, ou ainda o modo pelo qual este programa consegue realizar tal objetivo. Assim, o interesse imediato do tipo de estudo de avaliação, tratado neste trabalho, seria o de responder a questão: em que medida os objetivos propostos pelo programa estão sendo (ou foram) atingidos com sua implementação? O segundo tipo de questão que interessa a esse tipo de estudo de avaliação tem a ver com: como o programa funciona e quais os mecanismos específicos que levam a atingir (ou não) os seus resultados? Weiss (1997) aponta que, estudos e pesquisas de avaliação, com a perspectiva aqui proposta, estão relacionados com os seguintes propósitos: informação para o processo decisório, ou tomada de decisão; e aprendizado organizacional. O quadro a seguir ilustra os tipos de estudos de avaliação e seus principais propósitos.

4O problema de ambiguidade nos objetivos (goal ambiguity) é uma das características centrais dos programas governamentais, e mais amplamente da burocracia. Quando os objetivos de um programa ou política, e mais amplamente de uma organização pública são ambíguos, e pouco operacionais, se torna complexo mensurar os efeitos ou impactos gerados pelo programa, e por consequência, avaliar os resultados. Neste sentido, os estudos de resultados em avaliação no setor público podem e devem partir dos objetivos oficiais do programa como datum para análise. Alguns analistas do setor público, e da teoria das organizações argumentam que o goal ambiguity seria uma das naturezas do setor público cf. Ouchi, William (1980)., Markets, Bureaucracies, and Clans. Administrative Science Quarterly, 25. Pp. 129-141, ou Wilson, James Q. (1989)., Bureaucracy: what government agencies do and why they do it. New York. Basic Books. Outros autores apontam que, diferentemente, a questão da ambiguidade decorre de que as organizações públicas operam com múltiplos objetivos (multi-goal approach), os quais são condensados nos objetivos oficiais dos programas e políticas do governo. Neste sentido, é possível para o analista quebrar estes objetivos em objetivos operacionais para proceder a análise de avaliação da efetividade dos programas e políticas do governo.


13

Quadro 1

Propósitos Gerais para Estudos de Avaliação

Avaliação para o Processo Decisório

Propósito Avaliação para Aprendizado

Organizacional

Propósito

Ações corretivas no funcionamento do programa

Descobrir durante o funcionamento do programa se mudanças precisam ser realizadas.

Ter registro da história do programa

Ter o registro histórico ou documental de um programa.

Continuidade ou fim do programa

Descobrir em que medida um programa está atingindo os seus objetivos pretendidos.

Gerar feedback para implementadores do programa

Gerar feedback para aqueles que colocam o programa em funcionamento permitindo elementos para a reflexão sobre a prática (reflective practice)

Teste de novas idéias

Descobrir o sucesso de um novo programa ou componente do programa.

Dar ênfase aos objetivos do programa

Reforçar os objetivos a serem alcançados pelo programa para os que operam o programa.

Escolha da melhor alternativa disponível

Descobrir qual a melhor opção a seguir dentre alternativas disponíveis.

Accountability e controle social sobre os programas

Gerar relatórios de informação sobre o funcionamento do programa para usos públicos de controle social

Financiamento do programa

Decidir se o programa deve continuar a ser financiado

Entender modos de intervenção social

Adquirir conhecimento básico sobre os tipos de atividades que buscam mudar as condições sociais e o comportamento humano.

Fonte: Weiss, Carol (1997)

Como consideração final desta introdução cabe a pergunta que orienta este capítulo: qual o uso potencial dos estudos e pesquisas de avaliação como instrumentos de trabalho para gerentes e decisores nas organizações e agências do governo, os quais mais de perto lidam com a implementação, e formulação de políticas e programas governamentais?

A importância do uso dos estudos de avaliação de programas e políticas permite, quando conduzido dentro de um rigor téorico e metodológico adequado aos propósitos, que a tomada de decisão acerca dos programas sejam dotadas de maior racionalidade técnica e gerencial, pois quase sempre, sobretudo no Brasil, as tomadas de decisão sobre programas e políticas são realizadas sem o adequado conhecimento de como o programa funciona em sua realidade no plano da implementação. A necessidade de se conhecer os programas por dentro, suas dificuldades, os obstáculos de implementação, os fatores gerenciais e operacionais destes, e ainda como estes realmente produzem efeitos esperados e não-esperados, é um instrumento de poderoso uso para a melhoria do desempenho das organizações públicas, em qualquer escala do governo. Organizações ao lançarem mão de instrumentos adequados de avaliação dos seus programas estariam, ao menos em tese, se movendo na direção de uma maior accountability e qualidade no uso de recursos públicos. A partir de informações advindas de processos de avaliação, é possível identificar e incentivar os programas que funcionam com mais efetividade, eficiência e qualidade. Mais do que isso, é possível orientar aqueles com fraco desempenho, no sentido de seu aperfeiçoamento e correção de erros e superação de obstáculos. Mecanismos de avaliação se mostram de extrema valia em contextos onde as


14

organizações do setor público são exigidas a adotar uma orientação por resultados, foco no usuário, e sobretudo critérios alocativos que imprimam uma maior qualidade no uso dos recursos públicos.

2. A LÓGICA DA IMPLEMENTAÇÃO: ESTABELECENDO PARÂMETROS DA AVALIAÇÃO DE PROGRAMAS PÚBLICOS5

Convém recordar aqui, que as políticas públicas no plano internacional vem sofrendo, desde o início dos anos 90, alterações significativas em seu desenho, tornando mais complexa o seu processo de avaliação. Para o caso brasileiro - que interessa mais de perto - pode-se afirmar que constituem eixos ordenadores desse processo mudança: continuidade e reforço à descentralização de programas; aumento dos níveis de participação social; tentativas de aumentar os níveis de integração setorial e inter-setorial; busca de maior coordenação de ações entre distintos níveis de governo e entre os Poderes Executivo, Legislativo e Judiciário; discriminação positiva de clientelas e de regiões associada ao estabelecimentos de incentivos para a melhoria do desempenho dos programas e projetos.

A avaliação da natureza, alcance e limites dessas iniciativas constitui procedimento estratégico, no momento mesmo em que se implementam essas inovações materializadas em distintos programas. A sua oportunidade é a de poder oferecer, ainda enquanto se implantam as inovações abrangidas pelos distintos programas, críticas e sugestões alternativas que permitam corrigir ou reorientar o curso das ações, sempre que necessário.

No caso particular de programas de inovação institucional visando a melhora do atendimento público e de sua qualidade, através de políticas de corte universal ou focalizadas em clientelas ou regiões específicas, vale a pena relembrar que muitos dos diagnósticos que, principalmente na última década, vêm sendo feitos sobre o desempenho das políticas e programas já experimentados, ressaltam certas condições da implementação como responsáveis pelos insucessos e fracassos das ações governamentais nesse campo.

Desde o final dos anos 70, mas principalmente nos 80, foram muitos os programas e medidas ensaiadas visando a melhoria das condições de vida de populações vulneráveis e o conseqüente melhor desempenho de indicadores sociais. Entretanto, os impactos desses programas foram, na maioria das vezes, minguados. Tome-se um dos exemplos mais exitosos no caso brasileiro, o setor educacional: até os dias atuais, muito embora praticamente já se tenha universalizado o acesso à escola, e mesmo sendo altas as taxas de permanência dos alunos no sistema educacional, as defasagens idade/série continuam muito altas e, pior ainda, mantêm-se baixas as taxas de conclusão do ensino elementar daqueles que nele ingressaram. As explicações tradicionais desses fenômenos sempre focalizaram as condições associadas à situação social dos alunos, invocadas de forma isolada para explicar o fracasso escolar. É verdade que essas condições continuam a responder por parte ponderável da explicação. Entretanto, mais recentemente, os estudiosos têm chamado a atenção para razões internas ao funcionamento do sistema educacional - aqui denominadas como aquelas derivadas diretamente do desenho dos programas e de sua estratégia de implementação - que ajudam a explicar de modo muito significativo o sucesso ou fracasso das iniciativas adotadas.

Outro conjunto de explicações pode ser ainda mais diretamente associado às condições da implementação dos programas e medidas. Em geral aponta-se, em primeiro lugar, para o experimentalismo dos programas, freqüentemente concebidos como pilotos e com poucas condições de se espraiarem e generalizarem para toda a rede pública. Mais ainda, a descontinuidade da implementação parece ser a característica importante, já que mudanças de prioridade na agenda política dos Governos Federal, Estaduais e Municipais contribuem fortemente para desestruturar as 5Esse capítulo beneficiou-se das reflexões metodológicas acumuladas, pelo NEPP, em diferentes pesquisas de avaliação da implementação de políticas públicas, em especial: NEPP (1996) – Avaliação do projeto IEB e medidas da escola-padrão da SEE de São Paulo.


15

condições propícias à continuidade dos programas. Também as questões de tempo: a rapidez da formulação e da decisão de implementar programas, em alguns casos, sem que condições prévias da implementação fossem asseguradas; ou, em outros, exageradas demoras entre a formulação e a implementação.

Não é fácil a tarefa de determinar o peso relativo que têm as condições de implementação na explicação do sucesso ou do fracasso de inovações e reformas da política social. Entretanto, não há dúvida sobre sua importância, principalmente em redes de serviços das dimensões daquelas envolvidas na implementação de programas públicos no Brasil: redes de organizações complexas, fortemente marcada por rotinas, tradições e culturas internas específicas. À base de estudos que o NEPP realizou no passado recente, pode-se afirmar que, na maioria dos casos, o pequeno sucesso ou mesmo o fracasso de grande parte das iniciativas governamentais nessa área deveram-se sobretudo às más condições da implementação. Mas também não se estaria muito longe da verdade se fosse afirmado ser grande a margem de correções e acertos que os processos de implementação admitem ao longo de seu curso, não previstos e introduzidos a tempo porque não se contou ou se contou pouco com sistemas de monitoramento e estudos de avaliação.

2.2. Parâmetros estratégicos gerais

Estudos voltados à avaliação da implementação de programas e de seus resultados imediatos junto ao usuário constituem um subcampo particular das pesquisas de avaliação de políticas. Os estudos de avaliação, por sua vez, integram um campo especial, entre vários tipos de estudos de políticas públicas e de organizações complexas.

A literatura internacional aponta que é sobretudo na distinção entre fases de uma policy que os autores se fixam para identificar a especificidade dos estudos de implementação. Porque, desde logo, estão concebendo a implementação como a fase que sucede a pelo menos duas outras, a da formação das políticas (constituição das agendas, conformação do campo de interesses e explicitação das alternativas que competem entre si), e a da formulação, quando as propostas ganham forma e estatuto de política, recebendo mínimos tratamentos formais, definindo-se metas, objetivos e recursos e, finalmente, explicitando-se a estratégia da implementação6. É nesse momento, segundo o clássico estudo de Pressman & Wildavsky7, que a política se transforma em programa e são criadas as "condições iniciais" que antecedem a sua implementação.

Vários autores, entretanto, chamam a atenção para as dificuldades conceituais e empíricas de se definir e distinguir a implementação da própria formação e formulação da política e, principalmente, do programa. "...As políticas tornam-se programas quando, por uma ação de autoridade, as condições iniciais são criadas...". A implementação, então, é a habilidade de forjar os subseqüentes elos da cadeia causal em vistas a obter os resultados desejados. A partir desse momento, desencadeado o movimento da implementação, passam a distinguir-se cada vez menos as condições iniciais e a cadeia causal subseqüente, já que se modificam as circunstâncias e se alteram as metas 6.É muito extensa a bibliografia considerada já como clássica, de corte metodológico, sobre análise de políticas públicas. Para apoio a este projeto, os textos mais gerais de referência escolhidos foram os de Muller, P. - Les Politiques Publiques, Que sais-je?, PUF, Paris, 1990 e de Meny, Y.; Thoenig, Jean-Claude - Politiques Publiques, PUF, Paris, 1989. Para a conceituação e análise das fases das políticas, veja-se Kingdon, W.J. - Agendas, Alternatives and Public Policies, Brown and Co., Boston, 1984. Para as definições, conceituações e modelos de análise de implementação, veja-se principalmente Hoppe, R.; Van der Graaf, H.; Van Dijk, A. - Implementation as a Design Problem, Vridje University, IPSA texts, 1985, mimeo.; Elmore, R. - Backward Mapping Implementation Research and Policy Decisions, Political Science Quartely, Winter, 1979/80; Van Metter, D.; Van Horn, C. - The Policy Implementation Process, Administration and Society, nº 6, 1975; Kivieniemi, Makku - Public Policies and Their Targets A Typological Elaboration of the Concept of Implementation IPSA texts, 1985, mimeo; Grindle, Marilee - Policy Content and Context in Implementation, Politics and Policy Implementation in the Third World, IPSA texts, 1985, mimeo. 7.Pressman, L. Jeffrey; Wildavsky, Aaron - Implementation, Berkeley: Univ. of California Press, 1984, 3ª ed.


16

no próprio movimento que conduz o programa a suas metas.

Também a distinção no interior do processo de implementação, das etapas decisórias não se faz tranqüilamente. O bom senso e a experiência em avaliações concretas indicam que se deve considerar - dentre as decisões que percorrem todo o processo de implementação – aquelas que podem ser consideradas decisões cruciais. Ou seja, todas as decisões que, ao longo da implementação, logram alterar a estratégia inicial ou condicionam a continuidade do programa. Ora, momentos de decisão desse tipo se constituem em situações particulares onde se condensam conflitos, disputas por alternativas e oportunidades especiais de afastamento ou aproximação entre metas, meios e estratégias. Por isso mesmo os estudos de implementação devem focalizar decisões e decisores que conformam elos críticos e estratégicos, como o seu foco de análise. Fica a pergunta: como identificá-los no interior do complexo processo decisório das políticas públicas?

É possível identificar três dimensões que auxiliam essa localização e, por essa razão, devem ser objeto de consideração especial nos modelos de avaliação dos processos de implementação de políticas ou programas públicos. A primeira dimensão, diz respeito àquelas decisões que definem as relações entre desenho ou formulação, de um lado, e os formatos que os programas adquirem ao final do processo que os implementou, de outro. A maior ou menor coerência e distância que guardam, assim como os movimentos que condicionam as decisões, na implementação, constituem um dos principais problemas de pesquisas nessa área. Essa dimensão constituirá, para efeitos da estratégia de avaliação aqui proposta, o primeiro parâmetro básico.

A segunda é a dimensão temporal do processo de implementação e seus efeitos (diferenciados no tempo) sobre as organizações em que se processam (evidencia-se aqui a questão da aprendizagem institucional); sobre os atores que implementam (resistências ou adesões e alterações de comportamento que se processam); e sobre as condições iniciais, modificadas, reproduzidas e alteradas pela própria implementação. Os estudos de avaliação da implementação necessariamente estão voltados para captar essas alterações, comparando-as em diferentes momentos do tempo. Essa dimensão constitui o segundo parâmetro básico da estratégia de avaliação proposta.

Finalmente, a terceira dimensão, constituindo o terceiro parâmetro, trata da identificação das condições que propiciam ou entravam o processo de implementação do programa em análise, que podem ser sintetizadas na área de conteúdo e nas características básicas de seu desenho. Ou seja qual a ambição e complexidade da intervenção e quais são os fatores econômico-financeiros, institucionais e gerenciais que explicam a natureza, alcance e os limites da implementação em curso: perfil do gasto público; a forma de organização da intervenção; organização da demanda e aderência do bem ou serviço às condições específicas do demandante.

Entretanto, as políticas e programas públicos recentes nas áreas econômica e social têm outras dimensões e natureza, o que exige uma reflexão e busca de apoio teórico e metodológico adicional. De fato, os programas e medidas mais recentes, objeto desta reflexão, dizem respeito não a qualquer política mas, particularmente, a políticas e programas que pretendem introduzir reformas e inovações em áreas tradicionais de intervenção ou em áreas pouco cobertas pela intervenção estatal. Ora, reformas e inovações em políticas e programas colocam outros problemas de investigação que devem ser considerados na elaboração de uma estratégia de avaliação, particularmente a relação entre eficácia, reformas e instituições públicas. Veja-se o problema nos seus contornos mais gerais8.

O acompanhamento e estudo de um dado movimento de reforma ou inovação de política pública, envolve antes de tudo a reconstituição das estratégias elaboradas e seguidas pelos atores mais importantes envolvidos em tal processo, o que tem o significado de um estudo das decisões cruciais e do campo de conflitos e tensões em que ocorrem, considerada cada etapa do processo de reforma e de sua implementação. Em outros termos, e para economia de exposição, entende-se, neste projeto, cada policy como portadora de estratégias (já que se quer privilegiar a reforma ou inovação) 8.Estas preocupações metodológicas foram desenvolvidas em Draibe, Sônia M. - Metodologia de Análise Comparativa de Programas Sociais, paper elaborado para o Projeto "Reformas de Políticas para Aumentar a Efetividade do Estado na América Latina", sob auspícios da Cepal, maio 1991.


17

e que se compreendesse estratégia como um modelo possível de ser apreendido no fluxo de decisões de atores e/ou de organizações. Essas definições que valem para o estudo das formulações e decisões iniciais, fazem também sentido para a etapa da implementação.

Se as estratégias de reforma das policies são elaboradas visando a maior eficácia e eficiência da ação pública, é possível enfatizar três níveis de questões pertinentes 9, e que nortearam a montagem da estratégia de avaliação aqui sugerida:

a) os dilemas postos para os atores num dado arcabouço organizacional em transformação ou, em outros termos, como criar alternativas para viabilizar metas estratégicas com algum grau de eficácia e em ambientes que, se admitem algum grau de previsibilidade, apresentam predominantemente densas áreas de incerteza. As decisões cruciais, a que se referiu, relacionam-se com tais dilemas e alternativas, postos já no curso da implementação;

b) a necessária correlação entre estratégia, estrutura organizacional e eficácia. A tese subjacente é a de que, em organizações complexas (como costumam ser os aparatos de políticas públicas), qualquer melhoria de eficácia torna-se impossível sem que a forma organizacional se transforme no sentido de acompanhar as estratégias e as mudanças por elas impostas como condição para lograr as metas (de melhoria de eficácia)10.

c) os projetos de reformas envolvem uma necessária definição estratégica de sua reprodução ampliada. Em outras palavras, requerem alternativas de como alcançar mais eficazmente os agentes operadores e os "usuários", considerando suas diferenças sociais, culturais, profissionais, assim como suas distintas distribuições na hierarquia dos postos, das posições decisórias e de operação da política e do programa em questão. Mais do que isso, devem prever os mecanismos e os instrumentos que permitirão sua incorporação no cotidiano e na cultura das organizações abrangidas pelas reformas. Além da adequada identificação desses agentes e usuários, há que se decidir por corretos métodos e técnicas de avaliação das estratégias de expansão, crescimento e diversificação propostas para a implementação contínua de inovações. O que envolve examinar as alternativas de como se concebeu e propôs novas formas de organização, permanentes ou não, mas flexíveis, que admitam elas próprias diferentes modos de alcançar distintos "usuários". Em geral, essa questão aparece nas estratégias de reforma referidas às tecnologias e fluxo de informação, assim como à produção e distribuição de serviços sociais. As questões da interface entre clientelas/operadores de serviços, bem como a das características diferenciais dos aparelhos administrativo-institucionais referem-se também a essa dimensão das estratégias.

2.3. Estratégia de implementação: conceito e dimensões O ponto de partida metodológico, aqui sugerido, para a análise do processo de implementação de políticas e programas públicos, é o de reconstrução da estratégia prevista para dirigi-lo. É amplo o quadro conceitual manejado na análise de estratégias11. Sintetiza-se aqui os principais conceitos, eixos e dimensões utilizados na reconstituição da estratégia de implementação dos Projetos Sociais avaliados em alguns dos projetos realizados pelo NEPP.

9.Cf.Chandler, A. - STRATEGY AND STRUCTURE, MIT Press, Mass.,1967. 10.Deve-se considerar aqui a difícil, renitente e reiterada questão de como conceber e como medir a eficácia do setor público, principalmente naquilo que a diferencia do setor privado. Esta pesquisa teve como foco o processo de implementação, não tratando dessa questão. Ainda assim, cabe chamar atenção que os critérios para se conceituar e avaliar resultados, produção, produtividade, eficiência e eficácia no setor público, particularmente quando se trata de política social, são extremamente difusos e muito pouco consensuais. As propostas de reformas de programas sociais geralmente envolvem, conceitualmente ou na prática, alguma forma de conceber eficácia e eficiência, assim como explicitam os modos e mecanismos que se conceberam para melhor alcançá-las. Não se procurou avaliar esses conceitos, modos e mecanismos nem mensurar os resultados obtidos a partir deles. 11.Veja-se, por exemplo, Dror, Y. 1973 - Strategies for Administrative Reform in Leemans, A. F. (ed.) - The Management of Change in Government, The Hague: Martinius Nijhoff.


18

O conceito de estratégia de implementação é aqui adotado no seu sentido mais estrutural, referindo-se a: preferências, opções e definições tomadas no espaço político-institucional e que dirigem os modos, formas e tempos da implantação de um dado projeto12.

A pauta de questões que pode ser extraída da definição acima é bastante extensa. Sugere-se algumas perguntas selecionadas para orientar a reconstituição e avaliação da estratégia e do processo de implementação:

• Objetivos do programa reformulado ou inovador e desenho da implementação - Supondo que aos programas novos ou reformulados buscam metas globais múltiplas, até onde a estratégia escolhida para a implementação é consistente com os objetivos da mudança?

• Escopo e grau de inovação da intervenção - Aqui se trata de identificar o modo como os formuladores da política equacionaram as relações entre estratégia da implementação, estrutura e dinâmica organizacionais, na busca eficaz dos resultados pretendidos. Essa equação pode ser traduzida em algumas perguntas básicas. Como se compuseram escopo (compreensividade baixa, média ou alta) e intensidade de inovação (baixa, média ou alta) dos componentes da inovação ou reforma de cada intervenção específica e o meio organizacional no qual está sendo implementada (estrutura organizacional; política de pessoal; sistemas de capacitação; sistemas de informação etc.)? Ao longo da implementação, quais as escolhas (e alterações) que se introduziram visando ampliar ou reduzir a abrangência e o grau de inovação da reforma, assim como reduzir os entraves institucionais e comportamentais que poderiam comprometê-la?

• Preferências temporais - Quais foram as preferências de distribuição, no tempo, da introdução das mudanças e de concretização de seus resultados? De outro modo, como foram distribuídos os resultados no curto, médio e no longo prazos?

• Aceitabilidade de riscos e grau de inovação pretendidos - Como se compuseram as opções por maiores conteúdos inovadores (e portanto mais ampla margem para riscos e imprevisibilidade de resultados) com modos mais incrementais de mudanças no sistema (e portanto, mais baixos graus de riscos envolvidos)?

• Equilíbrio e choque - O quanto a estratégia de implementação pautou-se por uma opção por mudanças coordenadas do conjunto dos componentes da política pública em questão, ou se concentrou em alguns poucos componentes com o objetivo de, a partir de mudanças localizadas e do tipo fato consumado, "implodir" por choque, impacto ou efeito-demonstração, todo o sistema?

• A autoridade do gestor da mudança e a lógica organizacional - Qual o perfil do grupo gestor encarregado da implementação? Que relações mantêm tais agentes com a rede institucional e com que graus e margens de legitimidade e liberdade contam? Em geral, as estratégias de implementação enfrentam duas alternativas de escolha do grupo gestor: ou se privilegiam agências e a burocracia já instalada no topo da hierarquia dos subsistemas públicos envolvidos na implementação, ou se opta por um staff altamente qualificado, trazido de fora do sistema administrativo público, que concentra e “isola” em uma, ou em um número reduzido de agências, o poder decisório ao longo do processo de implementação13. Também no que se refere à lógica organizacional, a estratégia reformista se defronta com níveis e circuitos organizacionais

12.Cf. Dror, Y. 1990 - Grand Policy Analysis, APPAM Anual Research Conference, San Francisco, C.A., paper. 13.As vantagens e desvantagens de cada alternativa são relativamente conhecidas. No primeiro caso, as vantagens do conhecimento da máquina, da familiaridade com os processos e pessoal e da legitimidade freqüentemente são neutralizadas pelos entraves das rotinas a que estão submetidos os dirigentes tradicionais, assim como pelo alto grau de adesão que manifestam ao sistema de valores predominante. No segundo caso, em que se opta por uma "vanguarda externa" e pela estratégia de insulamento, as vantagens de maior liberdade circunstancial e do menor risco de "contaminação" pelas rotinas e valores predominantes tende a ser neutralizada pelo desconhecimento e isolamento, com conseqüente perda de legitimidade.


19

alternativos, sobre os quais poderá se apoiar de forma privilegiada o processo de implementação. No que diz respeito aos níveis, as opções em geral tendem a se polarizar entre as agências e agentes do nível intermediário (atividade-meio), ou a ponta do sistema, onde se processa a atividade-fim. No que diz respeito à lógica organizacional, as preferências estratégicas se manifestam ou pela estrutura principal e rotineira, ou por estruturas e mecanismos paralelos. Nesse último caso, tanto quanto no da autoridade externamente recrutada, o ponto crucial que passa a condicionar o sucesso da implementação é sempre o do momento e da forma em que se processará, no futuro, a supressão dos paralelismo e a plena integração dos processos e procedimentos.

• Construção de coalizões de apoio – Processos de implementação envolvem custos políticos, já que afetam, positiva ou negativamente, sistemas vigentes de poder. Dadas as opções anteriores - em particular as que combinam amplo escopo e alta intensidade de inovação de certos programas; rapidez de resultados; mudanças por choques e altos níveis de riscos e incertezas e, finalmente, a condução, através de circuitos paralelos, por uma autoridade ad hoc - é de se perguntar de que modo a estratégia de implementação privilegiou atores, sistemas de barganha, redes institucionais e mecanismos geradores de apoio (seja no interior nas arenas decisórias principais, seja no conjunto do aparato estatal)14.

• Supostos sobre a sustentabilidade futura da mudança - Com que supostos de continuidade/interrupção do movimento de implementação operou a estratégia? Aqui, trata-se de identificar se existiram os recursos com que se armou a estratégia frente aos diferentes cenários futuros: o de continuidade e extensão das inovações introduzidas (definição de processos contínuos; mecanismos de disseminação da inovação etc.); o de melhoria das próprias inovações (sistemas de produção e assimilação de inovações; mecanismos de flexibilização das inovações introduzidas, etc.) ou, enfim, o cenário de interrupção da implementação ou da sua extensão ao conjunto do sistema (mecanismos de redução das diferenças e dos desperdícios; usos alternativos dos recursos etc.).

Em outras palavras, mudanças passam a ocorrer quando se consegue uma estratégia que procure combinar, de forma adequada, diretrizes claras e mecanismos de indução advindos dos órgãos centrais da administração pública, com a capacidade de iniciativa, maior autonomia e responsabilidade dos órgãos descentralizados ou desconcentrados.

A literatura indica que, além do exame de estruturas, processos, políticas e suas dimensões temporais já discutidos nas partes anteriores deste capítulo, no caso da política social, especial atenção deva ser dada ao papel cumprido pelos atores e suas práticas organizacionais na determinação do sucesso ou fracasso de processos de implementação de inovações e, consequentemente, em sua avaliação.

2.4. Atores enquanto agentes de mudança

Para grande parte dos autores, o comportamento das inovações está fortemente associado à presença de um agente de mudança, ou seja, aqueles que buscam influenciar as decisões adotadas na direção que lhes pareçam mais desejável. Esta sugestiva noção de agente de mudança parece útil, desde que se possa estender seu conceito a grupos alocados especialmente em alguns bolsões ou organismos da burocracia, capazes de influenciar as decisões iniciais, desencadear processos de mudanças e sustentá-los por período de tempo afetando, no momento posterior, o comportamento do 14.Apoios e resistências dizem respeito a conjuntos variados de mecanismos de atração/afastamento que afetam o comportamento dos agentes e as possibilidades de compor interesses e construir coalizões. Além do sistema de valores e da cultura institucional predominante, tais mecanismos referem-se aos graus de participação admitidos nas decisões cruciais; aos graus de centralização/descentralização decisória introduzidos; aos sistemas de recompensas e punições acionados; às formas cooptativas mobilizadas etc.


20

conjunto dos agentes implementadores. Em outras palavras, atores que controlem institucionalmente “elos críticos de decisão”

De fato, a implementação de inovações de política públicas tem o significado mais geral de manifestar-se como alterações nos comportamentos de atores e das organizações. Um modo simplificado de trabalhar com esse significado é o de reduzir o problema do sucesso ou do fracasso da implementação às resistências ou adesões dos atores estratégicos. Além de outros constrangimentos estruturais a serem levados em conta, essa argumentação, segundo Gross, Giaquinta & Bernstein, ignora "...importantes considerações sobre obstáculos aos quais membros que não eram resistentes à mudança podem vir a estar expostos quando se esforçam para implementar inovações, sobre a possível importância que os administradores, integrantes do conjunto de agentes, podem ter na criação ou superação desses obstáculos, e sobre a possibilidade de que membros não resistentes inicialmente às mudanças organizacionais possam mais tarde desenvolver atitudes negativas em relação a elas"15.

A análise e avaliação da ação ou reação dos atores enquanto agentes de mudança deve, portanto, levar em consideração outros aspectos, tais como16:

• mudar e inovar são processos e não eventos isolados, só produzindo efeito se lograrem, no longo prazo, promover, através da própria estratégia de implementação das inovações, a articulação dos agentes de mudança via a criação de condições de trabalho sistemático nas novas direções propostas;

• o papel dos agentes de mudança deve ser analisado levando-se em conta menos suas resistências e apoios imediatos às inovações e mais suas possibilidades, ou não, de contribuir para a sedimentação de um processo interativo entre eles próprios, e que dê suporte, não para uma mudança específica, mas para o aperfeiçoamento permanente dos sistemas de políticas públicas onde esses atores se inserem;

• mudanças e inovações envolvem adaptações comportamentais significativas afetando práticas pessoais, habilidades e valores sobre o que é importante e essencial. Face a isso, é comum que o contato inicial dos agentes de mudança com o processo de inovação seja avaliado como perda, gerando resistências que podem ou não permanecer e se transformar em obstáculos à mudança;

• profissionais ligados à atividades públicas, especialmente na área social junto à populações vulneráveis, possuem uma certa ética pragmática: quais os resultados objetivos que as mudanças podem trazer para cada um deles e para os usuários ou beneficiários dos serviços ? Essa ética deve ser levada em consideração na análise do comportamento dos atores face às inovações;

• a incorporação do processo de mudança como parte intrínseca do cotidiano dos agentes de mudança requer - por parte das lideranças dos gestores dos programas no nível central - a capacidade de exercer de forma combinada pressão e apoio. Requer também o desenvolvimento de mecanismos de interação mais direta e pessoal com os profissionais de “ponta de linha” (street-level bureaucracy) para agilizar a resolução de problemas e dar continuidade aos processo de implementação de inovações.

A implementação de inovações no sistema de políticas públicas tende a alterar de forma significativa práticas organizacionais em todos os níveis de governo, podendo gerar por isso mesmo resistências que atuarão como obstáculos, superáveis ou não, dependendo da escolha e introdução de alterações adequadas, claras, com qualidade e praticidade visíveis para os agentes de mudança. Maior apoio por parte desses agentes são mais prováveis quando as alterações das práticas e rotinas organizacionais possuírem os seguintes atributos:

• adaptem-se à situação organizacional concreta dos agentes, sendo perfeitamente compreendidas

15.Gross, N. Giaquinta & Bernstein, M. 1971 - Implementing Organizacional Innovations, A Sociological Analysis of Planned Educational Change, N. York: Basic Books Inc, Publisher. 16 A listagem seguinte beneficiou-se do excelente trabalho de Suzanne M. Stiegelbauer. Parte da discussão que se segue é uma adaptação livre, para a realidade das políticas públicas brasileiras, de várias indicações da autora, que realiza um balanço de vinte anos de pesquisa sobre processo de implementação de mudanças no setor educacional nos EUA.


21

o que inclui a existência de informações claras quanto à forma de sua adoção; • contribuam, de forma evidente, para o aperfeiçoamento e melhoria da intervenção considerada; • não modifiquem desnecessariamente todas as práticas, já que a manutenção daquelas que

funcionam razoavelmente bem é decisiva para criar apoios, facilitar a adaptação e minimizar resistências;

• não sejam insignificantes, refletindo uma posição conservadora e excessivamente cautelosa na introdução de inovações ou o seu oposto - inovações gerais e irrestritas do funcionamento do sistema em sua dimensões mais importantes. A adoção de posições extremadas pode redundar na paralização ou entropia do processo como um todo. Obtém-se maior sucesso quando as modificações são significativas, mas sua incorporação consegue ser administrada pelos agentes implementadores;

• sejam introduzidas levando-se em conta seus efeitos para o sistema de políticas públicas como um todo (intersetorialidade), ou seja, considerando outras práticas e procedimentos que podem ser afetados positiva ou negativamente;

• sejam planejadas e implementadas considerando os efeitos que causam nos comportamentos humanos, nas habilidades que se tornam necessárias e nas que passam a ser irrelevantes, assim como, nos valores transformados, em suma, na forma com que as pessoas trabalham umas com as outras.

A consideração desses aspectos na análise e avaliação da ação dos agentes implementadores permite entender e explicar, de forma mais completa e nãoreducionista, seu comportamento - seja ele de resistência ou obstaculização, seja ele de apoio ou adesão. Proporciona, ainda, condições analíticas para que se relacione seu comportamento tanto com valores presentes na cultura das organizações, cujas práticas estão sendo transformadas, quanto com o próprio conteúdo das inovações de política pública em exame. Sob essa perspectiva, podem ser consideradas as estruturas, os processos, as políticas e o fator temporal da implementação enquanto variáveis que influem na moldagem do comportamento e opiniões dos agentes que implementam as mudanças.

A partir desse quadro conceitual geral, é possível desenvolver estratégias metodológicas que procurem, dar conta de todas as dimensões e aspectos exigidos para a avaliação da adequação, da natureza, do alcance e dos limites do também complexo processo de implementação de políticas públicas no novo século

BIBLIOGRAFIA Bickman, Leonard (ed) (1987)., Using Program Theory in Evaluation. New Directions for Program

Evaluation Series, n.33. San Francisco. Jossey-Bass. Chandler, A. - Strategy and Structure, MIT Press, Mass., 1967 Chen, Huey-Tysh, J.S. Wang, and L-H. Lin (1980)., The multi-goal approach to evaluation: a model

linking basic and applied social science. Social Forces, 59. pp. 106-122. Dror, Y. 1973 - Strategies for Administrative Reform in Leemans, A. F. (ed.) - The Management of

Change in Government, The Hague: Martinius Nijhoff Dror, Y. 1990 - Grand Policy Analysis, APPAM Anual Research Conference, San Francisco, C.A.,

paper Gross, N.; Giaquinta, J.; Bernstein, M. 1971 - Implementing Organizacional Innovations, A

Sociological Analysis of Planned Educational Change, N. York: Basic Books Inc, Publisher Mc Graw et alli (1996)., Using process data to explain outcomes: illustrations from the Child and

Adolescent Trial for Cardiovascular Health. Evaluation Review, 20(3). pp. 291-312. Pentz M.A et alli (1990)., Effects of Program Implementation on adolescent drug use behavior.

Evaluation Review, 14 (3). pp. 264-289. Rein, Martin (1981)., “Compreheensive Program Evaluation”. In Levine, Robert et al. Evaluation

Research and Practice: Comparative and International Perspective. Beverly Hills. SAGE. pp. 132-148.


22

Riggin, J.C (1990)., “Linking Program Theory and Social Science Theory”. In Bickman, Leonard (ed) New Directions for Program Evaluation: advances in program theory. pp. 109-120.

Rossi, Peter H. and Howard E. Freeman (1993)., Evaluation: a systematic approach. Newbury Park. CA. Sage.

Pressman, L. Jeffrey; Wildavski, A. 1984 - Implementation, Berkeley: Univ. of California Press, 1984, 3ª ed.

Shadish, William R. et al (eds) (1995)., New Directions for Program Evaluation: guiding principles for evaluators. New Directions for Program Evaluation Series, n.66. San Francisco. Jossey-Bass.

Shadish, William R., Thomas D. Cook, and Laura C. Leviton (1991)., Foundations of Program Evaluation: theories of practice. Newbury Park. CA. Sage.

Stewart, David W. and P.N. Shamdasani (1993)., Focus Groups: theory and practice. Thousand Oaks. CA. Sage.

Weiss, Carol H. (1972)., Evaluation Research: methods of assessing program effectiveness. Englewood Cliffs. NJ. Prentice-Hall.

Weiss, Carol H. (1997)., How can theory-based evaluation make greater headway Evaluation Review, 21(4). pp. 501-524.

Weiss, Carol H. and M.J. Bueuvalas (1980)., Social Science research and decision-making. New York. Columbia University Press.

Wholey, Joseph S. (1979)., Evaluation: promise and performance. Washington. Urban Institute. Wholey, Joseph S. (1983)., Evaluation and Effective Public Management. Boston. Little and Brown.

avaliaçao de políticas públicas na américa do...

Documents