64 RBCE - 117

Avaliando políticas públicas: uma análise do sistema holandês de avaliação da política externa Ruerd Ruben

diplomacia no século XXI

INTRODUÇÃO

A avaliação está se tornando uma parte intrínseca do processo de definição de políticas em muitos países europeus. A Holanda oferece um exemplo interessante sobre como definir a estrutura e o papel da avaliação de políticas e programas, dada a sua longa tradição na organização institucional das funções de supervisão, fiscalização, manutenção e controle. Quase todos os ministérios holandeses organizaram um departamento de avaliação ou serviço de inspeção e, no caso de algumas

áreas de políticas específicas, foram criadas também agências de superintendência.

A área de definição de políticas do Ministério das Relações Exteriores está sujeita à avaliação desde meados dos anos 1970. Esse processo teve início com inspeções de campo específicas e avaliações dos resultados concretos alcançados por projetos de ajuda e cooperação, expandindo-se, de forma gradual, para incluir também revisões do programa (por exemplo, perdão de dívidas e apoio orçamentário) e avaliações das políticas

Ruerd Ruben é Diretor do Departamento de Avaliação de Políticas e Operações (IOB) do Ministério das Relações Exteriores da Holanda. Informação adicional em: www.iob-evaluatie.nl.

65RBCE - 117

em áreas prioritárias, como segurança alimentar, água, saneamento, educação básica, saúde reprodutiva, direitos humanos etc. Mais tarde, a preocupação com a eficácia das relações consulares e das redes diplomáticas, assim como com a coerência das políticas internacionais, suscitou um interesse cada vez maior pelo assunto, especialmente após a integração entre a política externa e a cooperação em prol do desenvolvimento. Recentemente, também a diplomacia econômica e as interações entre ações comerciais e de auxílio humanitário foram incluídas no portfólio de avaliação.

A avaliação é uma apreciação — tão sistemática e objetiva quanto possível — de projetos, programas ou políticas em fase de implementação ou já concluídos, com ênfase na elaboração, na execução e nos resultados alcançados. O objetivo é determinar a relevância e o cumprimento dos objetivos indicados, sob o ponto de vista da eficiência, eficácia, impacto e sustentabilidade.2

Na avaliação, são perguntas-chave: O que funcionou? Quais resultados foram alcançados? Como foi o seu desempenho? Quem foram os maiores beneficiados? Isso pode funcionar também em outros lugares? Uma avaliação deve fornecer informações confiáveis e úteis sobre essas questões, permitindo a responsabilização pública e, consequentemente,

a incorporação das lições aprendidas no processo de tomada de decisões.

Há diferenças significativas entre monitoração e avaliação: revisões de monitoração interna são consideradas um instrumento de gerenciamento para a monitoração operacional do progresso na implementação das atividades, concentrando-se em aspectos operacionais e registrando os recursos gastos e a entrega de resultados, enquanto que avaliações externas devem constituir uma avaliação mais aprofundada dos objetivos, da execução e dos resultados de uma determinada intervenção, tendo como foco principal a questão da atribuição. A monitoração sistemática é de grande importância para as avaliações, pois fornece parte significativa dos dados nos quais a avaliação se baseia.

A avaliação é parte do ciclo da política, em que planejamento, execução, monitoração e avaliação são vistos como uma estrutura integrada. Consequentemente, a avaliação é também um componente essencial da “função conhecimento” dentro do setor público. Conhecer a execução e o impacto das políticas dá suporte a duas funções concretas: ●fornecer a base, ao parlamento

e à sociedade como um todo, para a responsabilização relativa a políticas e despesas correspondentes (função responsabilização);

● gerar informação para os objetivos de melhorar a formulação e a implementação de políticas (função aprendizagem).

Em todas as avaliações, os critérios da avaliação devem ser aplicados de forma clara e, sobretudo, transparente. Há uma padronização cada vez maior dos critérios de avaliação e das abordagens, para permitir que as avaliações e os seus resultados possam ser comparados. O Tribunal de Contas participa dessas análises comparativas da eficácia de programas de concessão de subsídios. Ainda assim, a avaliação pede uma abordagem personalizada para cada caso, que leve em consideração a singularidade de cada cenário e a lógica específica de intervenção de cada programa.

Este artigo fornece uma visão geral detalhada do desenvolvimento institucional da avaliação de políticas no setor público holandês e delineia os diferentes pontos de vista a respeito da progressiva profissionalização do trabalho de avaliação. Atenção especial é dada aos princípios-chave da avaliação de políticas públicas e ao seu enraizamento na organização. Em seguida, discutimos os princípios subjacentes e as diferentes abordagens metodológicas utilizadas para que sejam produzidos estudos de avaliação sólidos. Os critérios utilizados na avaliação da política externa

2 OECD (1991). DAC, Principles for Aid Evaluation, Paris: OECD/DAC.

66 RBCE - 117

e nos projetos de cooperação para o desenvolvimento são descritos com maiores detalhes, para mostrar a importância de uma estrutura coerente. Isso é ilustrado por meio da apresentação de alguns resultados de uma avaliação recentemente concluída sobre as políticas holandesas para a América Latina, incluindo um estudo de caso sobre a diplomacia econômica no Brasil. Na conclusão, tecemos alguns comentários sobre os fatores que influenciam a política de avaliações.

A IMPORTÂNCIA DA AVALIAÇÃO

Os estudos sobre avaliação são conduzidos com uma dupla finalidade, a saber: (a) possibilitar a responsabilização e (b) facilitar a aprendizagem. Ambos os objetivos estão intimamente relacionados, uma vez que, para haver um aprendizado significativo, é necessário entender de forma clara os verdadeiros resultados e consequências dos programas e das políticas. Isso significa que a metodologia da avaliação não apenas deve permitir avaliações claras dos resultados alcançados, mas também que a avaliação seja capaz de abordar questões-chave para os stakeholders envolvidos. Juntamente com a seleção de métodos apropriados de avaliação, a participação dos stakeholders no processo de avaliação também é útil para a definição dos termos da referência e para a divulgação de conclusões.

O principal cliente das avaliações das políticas é o parlamento holandês. Todos os ministérios são responsáveis por relatar regularmente o progresso e o alcance das políticas sob sua jurisdição, o que possibilita aos membros do parlamento exercer o seu papel de fiscalização. Os departamentos de pessoal envolvidos na definição de políticas e nas operações de rotina também têm interesse em aprender com as avaliações. Da mesma forma, outros stakeholders, como a imprensa, grupos de interesses específicos e agências profissionais, frequentemente fazem referência a estudos de avaliação disponíveis ao público. Uma vez que as avaliações precisam atender a públicos tão diferentes, é necessário entregar um portfólio de produtos de avaliação bastante diversificado, abrangendo desde breves notas práticas até estudos de impacto inteiramente documentados.

Os estudos de avaliação podem buscar as respostas para dois tipos de perguntas: (1) Estamos fazendo as coisas certas? e (2) Estamos fazendo as coisas da forma correta? A primeira pergunta pede uma apreciação da escolha entre diferentes políticas e programas, e precisa ser formulada no contexto de uma estrutura comparativa. Isso implica uma avaliação das diferentes atividades alternativas que contribuem para um objetivo de política específico, o que requer uma abordagem ampla, para avaliar os efeitos finais e as possíveis soluções de compromisso entre atividades

Os estudos de avaliação podem buscar as respostas para dois tipos de perguntas: (1) Estamos fazendo as coisas certas? e (2) Estamos fazendo as coisas da forma correta?

67RBCE - 117

alternativas. A segunda pergunta diz respeito à eficácia e à execução eficiente de programas específicos, indagando se e como estes contribuem para os objetivos indicados. Também pode ser útil para essa análise a comparação com modalidades de implementação alternativas. As avaliações de políticas devem, sem dúvida, buscar responder à primeira pergunta, enquanto que boa parte dos estudos de impacto tendem a se concentrar mais na segunda pergunta.

O diploma legal que regulamenta os estudos de avaliação na Holanda é a Ordem de Avaliação Periódica e Informação de Políticas (conhecida como RPE), publicada pelo Ministério da Fazenda.3 Esse regulamento faz distinção entre as avaliações de política e os estudos de impacto. O RPE mais recente estabelece os critérios para estudos de avaliação de qualidade (por exemplo, a execução independente) e recomenda que as avaliações de políticas, que se concentram geralmente em prioridades políticas mais abrangentes, sejam precedidas por uma série de estudos de impacto, que identifiquem os efeitos de intervenções específicas do projeto. Os temas básicos que devem ser abordados em qualquer avaliação de política são os seguintes:

a) Descrição dos problemas que motivaram a intervenção por meio de uma determinada política. Qual problema levou à implementação da política?

O problema ainda existe? Quais as causas do problema?

b) Motivação para a intervenção pública na área desse problema (em nível central ou descentralizado). Por que o governo considera que lidar com aquele problema seja sua responsabilidade? Por que é responsabilidade do governo central (e não do local ou do supranacional)? Qual o formato que essa responsabilidade assume, e por quê?

c) Delinear os objetivos que foram definidos para abordar o problema. Qual objetivo o governo formulou para resolver o problema?

d) Descrição dos instrumentos usados para tratar o problema. Quais instrumentos estão sendo empregados? Quão coerentes eles são? Há sobreposição? O que se conhece sobre a implementação da política e a eficiência do gerenciamento operacional?

e) Análise da eficácia dos instrumentos selecionados para resolver o problema. Qual é o efeito dos instrumentos sobre os objetivos formulados (solução para o problema)? Os instrumentos em outras áreas de políticas têm também efeito significativo nos objetivos formulados? Quais são os principais efeitos colaterais positivos e negativos em outras áreas de políticas?

f) Descrição do orçamento usado e análise de custo-benefício. Como os orçamentos são determinados? Com base

em quê?

A importância do trabalho da avaliação é também garantida por meio de um procedimento equilibrado de programação para as avaliações das políticas e dos programas em diferentes campos de políticas públicas. A princípio, a programação das avaliações deve ser definida pelo departamento de avaliação, após consulta aos principais usuários interessados: o parlamento, as divisões operacionais, as contrapartes no exterior e as agências profissionais. Os membros de comissões parlamentares podem pedir explicitamente avaliações em áreas nas quais o ministro possa ser responsabilizado. Do contrário, o ministro pode prometer avaliação periódica apenas para programas que atendam aos principais interesses políticos ou estratégicos. As divisões operacionais necessitam de avaliações periódicas para subsidiar suas decisões sobre dar continuidade ou não a programas em andamento. Da mesma forma, contrapartes no exterior estão interessadas em ser informadas sobre o progresso alcançado em áreas específicas de cooperação. Por fim, algumas avaliações podem ser programadas para atender a finalidades de aprendizado específicas, seja em áreas de inovação programática,

3 A legislação nacional sobre prestação de contas prescreve que todos os ministros são responsáveis pela eficácia e eficiência das políticas sob sua jurisdição, devendo examiná-las com regularidade e relatar o resultado dessas análises ao Tribunal de Contas.

68 RBCE - 117

seja desenvolvendo novas abordagens de avaliação.

A programação da avaliação na área de Relações Exteriores está se tornando cada vez mais complicada devido às interações crescentes com outras áreas de políticas com implicações transfronteiriças, como o comércio internacional, a diplomacia econômica, políticas climáticas, políticas de migração e operações militares e de defesa. Para um país pequeno como a Holanda, as políticas internacionais e domésticas tornam-se cada vez mais interligadas. Além disso, há um interesse cada vez maior em concentrar as avaliações em questões transversais, que abranjam simultaneamente várias áreas de políticas, tais como o relacionamento entre o comércio e o meio ambiente ou as conexões entre as ações de ajuda ao desenvolvimento e as de apoio ao comércio. Avaliações temáticas à parte, a atenção está se deslocando gradualmente para a avaliação da coerência da política no relacionamento com países ou regiões específicos. Há uma necessidade cada vez maior de programar avaliações conjuntas com outros parceiros, uma vez que muitos programas são implementados conjuntamente (por exemplo, apoio financeiro, perdão da dívida etc.), o que impede o estabelecimento de atribuições a cada um dos doadores individuais. Também os programas de ajuda multilateral exigem avaliações em conjunto por todos os doadores envolvidos. Do ponto de vista da

coordenação de doadores, os países que recebem as doações defendem que sejam feitas mais avaliações em conjunto, que garantam também sua participação no processo.

A periodicidade das avaliações depende do tipo de políticas ou de programas. Os programas de subsídios precisam ser avaliados em até cinco anos, a contar da data de sua implementação. Já as avaliações de políticas, no nível de cada um dos objetivos das políticas estratégicas que integram o orçamento anual do ministério, devem ser realizadas com um intervalo regular de aproximadamente seis a sete anos. Isso exige uma programação flexível e de longo prazo para realizar estudos de impacto e outras avaliações de campo no nível do projeto, de modo a garantir a disponibilidade de provas empíricas que possam ser usadas para a avaliação da política como um todo. Tal planejamento é também necessário para permitir a entrega de estudos de avaliação no exato momento, dentro do ciclo da política, em que as decisões sobre programas específicos estão em discussão. Na sua atual programação de avaliação, o Ministério das Relações Exteriores planeja as ações para os três anos seguintes.

Nem todas as áreas de política dispensam a mesma atenção à avaliação, e a qualidade dos estudos difere significativamente. Nas áreas em que ocorrem os principais debates políticos, o parlamento solicita regularmente

Há uma necessidade cada vez maior de programar avaliações conjuntas com outros parceiros, uma vez que muitos programas são implementados conjuntamente

69RBCE - 117

avaliações, de modo a estar apto para exercitar seu papel de fiscalização vis-à-vis o poder executivo dos ministérios. Esse é o caso, em particular, das áreas de políticas que estão sujeitas a riscos elevados em função, por exemplo, de grandes projetos de infraestrutura e segurança alimentar) ou a possível fraude oriunda da concessão de benefícios do serviço social) e daquelas em que há um amplo debate público, como, por exemplo, prevenção do crime, ajuda ao desenvolvimento). Nesta última área, a opinião pública mostra-se cada vez mais crítica, exigindo transparência dos resultados da política externa holandesa. Consequentemente, há uma pressão cada vez maior para que os ministros sejam responsabilizados não somente pelo uso dos recursos públicos, mas também e, principalmente, pelos resultados obtidos.

O debate na sociedade sobre o papel e a importância da avaliação varia entre a necessidade de supervisão e a autorregulamentação mais descentralizada. De tempos em tempos, há demandas para reduzir o “controle de custos”, mas, em momentos de questionamento sobre a eficácia da política, o movimento em prol dos estudos de avaliação ganha força novamente. Em resposta a esse dilema, as agências de avaliação estão adotando um critério mais rígido para selecionar os assuntos que serão submetidos a avaliação (com base, geralmente, no nível de risco), aumentando a confiança no sistema de controle (em vez

da supervisão caso a caso) e buscando novos procedimentos de controle da cadeia (com base em marcadores que indicam potenciais falhas).

Além disso, a exigência de avaliação para agências executivas (semi) públicas ou privadas descentralizadas baseia-se cada vez mais em protocolos que prescrevem a frequência, a independência e a qualidade metodológica de suas atividades de avaliação, permitindo assim que o departamento central de avaliação desempenhe um papel de supervisão mais distante. Isso implica também que o trabalho de avaliação pode se tornar mais seletivo, concentrando-se nos programas cuja qualidade e/ou a eficácia seja menos comprovada e, por outro lado, baseando-se mais na confiança em situações nas quais estudos de avaliação anteriores tenham dado provas suficientes de que tais programas são voltados para resultados.

A importância conferida às avaliações está fortemente relacionada à qualidade profissional do trabalho da avaliação e à confiança pública na credibilidade dos resultados da avaliação. Consequentemente, muita atenção é dada ao desenvolvimento de padrões profissionais, códigos de condutas e normas éticas para agentes de avaliação. Da mesma forma, os departamentos de avaliação fornecem suporte para melhorias na qualidade das avaliações conduzidas por — ou em nome de — departamentos de políticas, por instituições subsidiadas pelo ministério e por instituições multilaterais. Isso é feito por meio da definição de requisitos de qualidade amplamente aplicáveis e de linhas gerais para conduzir as avaliações, de recomendações quanto à elaboração e implementação de avaliações individuais, e da condução de avaliações sistemáticas dessas avaliações ou análises conjuntas dos serviços de avaliação

Box 1HÁ MUITOS PROGRAMAS CUJA EFICÁCIA É DESCONHECIDA

Em 2013, o Tribunal Geral de Contas holandês publicou uma revisão dos relatórios de avaliação dos principais programas de políticas. Do montante anual de € 94 bilhões, somente € 36 bilhões foram avaliados quanto à sua eficácia. Isso significa que, para 56% dos programas, os resultados são desconhecidos. Em parte, isso pode dever-se ao fato de o período de implementação ter sido demasiado curto, ou porque os estudos de base não estavam disponíveis para uma análise precisa da eficácia. Em um estudo anterior sobre as políticas de subsídios no período 2005-2009, conclui-se que somente 81 de um total de 633 subsídios (€ 6 bilhões) foram submetidos a avaliação, enquanto apenas 47 avaliações foram capazes de chegar a conclusões sobre a eficácia.Fonte: Tribunal Geral de Contas holandês

70 RBCE - 117

fornecidos por outras agências ou em países parceiros.

A ORGANIZAÇÃO DA AVALIAÇÃO

A organização institucional das funções de supervisão, fiscalização, avaliação e controle é bastante diferente para áreas específicas de políticas públicas. Em áreas com grandes orçamentos para políticas sociais e relações trabalhistas, educação e saúde, transporte, segurança e proteção, infraestrutura e meio ambiente, existem serviços de inspeção fortes, que têm autoridade legal para a supervisão e podem, eventualmente, lançar mão de medidas punitivas e aplicar multas. Em outras áreas, como serviços financeiros (operações bancárias e de seguros), consumo (segurança alimentar) e habitação, há cada vez mais espaço para órgãos superintendentes e reguladores com a atribuição de fiscalizar a legislação e defender os interesses dos cidadãos. Esses órgãos são criados para garantir que há competição no mercado, devendo impedir o surgimento de monopólios. Departamentos de avaliação destinados a fornecer apoio para a responsabilização ante o parlamento são encontrados geralmente nas áreas de relações exteriores, justiça e defesa. Também existem tribunais de contas nos níveis estadual e municipal. Agências multilaterais, a União Europeia e diversas agências das Nações Unidas possuem seus próprios serviços de avaliação.

Na Holanda, cerca de 10 mil pessoas estavam envolvidas, em 2005, em funções de avaliação e fiscalização, enquanto que o orçamento disponível foi estimado em € 800 milhões (Willemsen & Leeuw, 2007), o que equivale a 0,15% dos gastos públicos. Embora tenham praticamente triplicado desde os anos 1980, os gastos com inspeção ainda respondem por uma parcela relativamente pequena do orçamento público; as atividades de avaliação na área de relações exteriores e cooperação para o desenvolvimento representam atualmente cerca de 0,1% do total de gastos. Embora não exista nenhum curso de nível superior para avaliadores profissionais, em diversas universidades há cadeiras especiais sobre fiscalização pública, eficácia de políticas e métodos de avaliação. A Sociedade Nacional de Estudos de Avaliação (VIDE) organiza ocasionalmente eventos para trocas de informações entre profissionais da área. No Conselho Nacional de Inspeção, a troca de informações sobre políticas e procedimentos de avaliação também ocorre com frequência.

A organização da função de avaliação no campo das relações exteriores e da cooperação internacional passou por diversas mudanças. Na primeira metade dos anos 1970, o orçamento para a cooperação ao desenvolvimento cresceu rapidamente, e várias partes envolvidas foram à imprensa manifestar preocupação de

As atividades de avaliação na área de relações exteriores e cooperação para o desenvolvimento representam atualmente cerca de 0,1% do total de gastos

71RBCE - 117

que isso poderia ter um efeito adverso na qualidade da ajuda. Como consequência da divulgação desses dados, o ministro para a Cooperação ao Desenvolvimento entendeu ser necessária uma avaliação independente da eficácia das políticas de desenvolvimento. Como há poucas leis na área de relações exteriores, o trabalho de avaliação concentra-se principalmente na eficácia das políticas. Em 1977, a Unidade de Revisão das Operações (IOV) foi criada por determinação do ministério. Desde o início, ficou claro que as avaliações deveriam se concentrar na cooperação bilateral, tanto governamental quanto não governamental (desde que esta tenha sido financiada pelo governo). Nos anos 1980, a área de trabalho mudou, passando da inspeção de projetos individuais a avaliações de setores, temas de políticas e programas nacionais e regionais. Durante consultas com a Câmara de Deputados, em 1987, o ministro concordou que todos os relatórios seriam inteiramente públicos e deveriam ser enviados ao parlamento, juntamente com uma carta do(s) ministro(s) contendo sua resposta ao relatório, em termos de políticas implementadas.

Em 1996, ocorreu uma reavaliação profunda da política externa holandesa. Chegou-se à conclusão de que a cooperação para o desenvolvimento, a política externa e o comércio internacional não poderiam mais ser vistos como áreas independentes de política. A política externa foi

“descompartimentalizada”, e as diversas áreas de atividade internacional foram integradas. O novo dispositivo legal relativo ao agora denominado Departamento de Avaliação de Políticas e Operações (IOB) abrange todas as atividades de política externa sob a responsabilidade do ministro de Relações Exteriores e do ministro de Comércio Internacional e Cooperação para o Desenvolvimento. O diretor do IOB é contratado externamente e assume a responsabilidade final por todos os relatórios.

O trabalho do departamento de avaliação é desenvolvido em estreita articulação com outras unidades do ministério. A função de fiscalização do governo holandês foi recentemente centralizada, tornando-se um serviço único de auditoria que utiliza padrões uniformes em cada ministério. Sua função principal reside no controle sobre a legitimidade do uso do orçamento. No Ministério de Relações Exteriores, o serviço de auditoria controla também o uso do orçamento por embaixadas e na rede de escritórios de serviços regionais. Há também um departamento específico para a auditoria organizacional de embaixadas, consulados e departamentos de políticas, o qual supervisiona regularmente a eficácia e a eficiência institucional das organizações. Confidenciais, os relatórios produzidos por esse departamento são apresentados ao secretário-geral do ministério.

Além das mudanças já mencionadas na organização

das funções de avaliação, foram dados passos importantes no sentido de melhorar a qualidade do próprio processo de formulação das políticas. Isso diz respeito principalmente às responsabilidades para avaliações ex-ante e aos procedimentos para garantir propostas de políticas e programas de alta qualidade. Em todos os departamentos de políticas, a qualidade na entrada (Q@E) é um procedimento padrão para analisar a viabilidade das propostas com a participação de especialistas externos. Programas de investimento e arranjos de parcerias público-privadas exigem uma análise correta do custo-benefício. Além disso, deve-se dar a devida atenção à “avaliabilidade” dos programas, no sentido de se verificar se: (a) existe uma lógica clara de intervenção e uma teoria do programa consistente, em que (b) os objetivos e os meios estão logicamente relacionados, e (c) se foram tomadas providências para avaliar os resultados e o impacto (por meio, por exemplo, de estudos de base).

Nem todo trabalho de avaliação é feito pelo departamento central de avaliação. Cada um dos departamentos operacionais permanece responsável por conduzir suas próprias avaliações dos projetos, contratando especialistas externos independentes para fazer os estudos de campo. O IOB, normalmente, fornece recomendações para a definição dos termos de referência e dá apoio para a escolha

72 RBCE - 117

dos métodos de avaliação. Além disso, organizações independentes (como ONGs e o FMO, o banco de desenvolvimento holandês) que estejam sob regimes de subvenção de longo prazo, bem como agências executivas semiautônomas contratadas para gerenciar programas específicos (por exemplo, sistemas de abastecimento de água, programas do setor privado, serviços financeiros de desenvolvimento), são obrigadas, por um acordo, a organizar sua própria função de avaliação. Isso significa que elas devem contratar uma organização externa para conduzir, de forma independente, estudos de impacto em todo o portfólio financiado, mantendo, ao mesmo tempo, os critérios habituais em relação à qualidade, validez e representatividade, que são determinados pelo departamento de avaliação do ministério. Em geral, de 1% a 2% do orçamento podem ser destinados às avaliações descentralizadas, e a avaliação final da qualidade é feita pelo departamento central de avaliação. Ainda não existe nenhuma medida em relação a ressarcimentos, no caso de a avaliação se revelar de baixa qualidade.

Em outros países (Inglaterra, Alemanha, Suécia), a função de avaliação da cooperação para o desenvolvimento foi completamente separada das instituições operacionais (ministério ou agência). Uma agência específica é encarregada de relatar

regularmente sobre a relação qualidade/preço dos programas mais abrangentes de apoio ao desenvolvimento. Consequentemente, as avaliações internas tendem a se concentrar mais em aprender com as operações do projeto. Embora isso possa ser útil para aumentar a independência, coloca em risco as funções de aprendizagem das avaliações. Outras opções para fortalecer a qualidade das avaliações residem na criação de mecanismos para revisões regulares por outros países e na constituição de painéis consultivos externos, encarregados de revisar regularmente o portfólio da avaliação.

PRINCÍPIOS DA AVALIAÇÃO

A confiabilidade das avaliações depende da manutenção estrita de um conjunto de princípios de trabalho, geralmente definidos pelas partes envolvidas em comum acordo. Os princípios que devem orientar avaliações confiáveis são os seguintes:

● independência●objetividade● transparência● acessibilidade

A independência diz respeito ao fato de que as decisões do avaliador não podem ser influenciadas pela pressão externa ou por um conflito de interesses. A unidade de avaliação deve ser inteiramente independente da política e dos departamentos operacionais

A confiabilidade das avaliações depende da manutenção estrita de um conjunto de princípios de trabalho, geralmente definidos pelas partes envolvidas em comum acordo

73RBCE - 117

na definição dos termos de referência, da execução da avaliação e da verificação do relatório final. As organizações ou instituições contratadas para realizar as avaliações, assim como os membros da equipe de avaliação, não podem ter se envolvido previamente, de forma alguma, com as intervenções que estão sujeitas a avaliação ou na formulação das políticas em que as intervenções se baseiam. Parte da equipe de funcionários, bem como o diretor do departamento de avaliação do IOB, são recrutados externamente e não podem ser contratados para cargos internos. No caso das avaliações no campo da cooperação para o desenvolvimento, sempre que for possível, e desde que não entre em conflito com outros princípios, os parceiros dos países que recebem a ajuda devem ser envolvidos na execução das avaliações. Grandes esforços são empreendidos também para cooperar com pesquisadores independentes de países parceiros.

A objetividade significa que as avaliações devem ser baseadas em fatos verificáveis. O pesquisador deve fazer todo o esforço para garantir que os dados nos quais a avaliação é baseada não contenham qualquer imprecisão. Consequentemente, a triangulação da informação é utilizada com frequência. A apresentação dos fatos deve ser claramente diferenciada dos julgamentos. Além disso,

os critérios de avaliação devem manter sua validade (por exemplo, os constructos operacionais ou os indicadores de medida devem expressar aquilo estão representando) e confiabilidade (isto é, os resultados da avaliação devem ser estáveis: se repetida, a avaliação produzirá os mesmos resultados e conclusões).

A transparência significa que a avaliação deve ser conduzida de uma maneira que possa ser compreendida claramente pelos stakeholders e por terceiros. As questões abordadas, a base de dados, os métodos da pesquisa, as descobertas e as conclusões devem ser apresentados no relatório de maneira clara e acessível. As avaliações só são viáveis se os dados relevantes puderem ser coletados ou disponibilizados, e quando a metodologia associada estiver disponível. A execução prática de estudos de avaliação deve ser conduzida a um custo que mantenha relação razoável com o orçamento das intervenções.

A acessibilidade é garantida através da publicação dos resultados da avaliação e dos procedimentos utilizados para a coleta e o processamento dos dados. Além disso, as avaliações resultam em conclusões claras e podem indicar pontos que merecem atenção, o que é valioso para o usuário da avaliação, sugerindo ações que se encontram dentro de sua capacidade. As avaliações holandesas no campo da política

externa e da ajuda e do comércio internacionais são tornadas públicas e apresentadas ao parlamento, acompanhadas por uma proposta de política, como resposta, do respectivo ministro. Resumos, sob a forma de um policy brief, são disponibilizados para o grande público.

Além desses princípios básicos de avaliação, existe um conjunto de normas éticas e práticas aceitas internacionalmente que garantem o tratamento respeitoso de todos os agentes e stakeholders envolvidos no processo da avaliação.4 Elementos comuns nesse código de ética são que o anonimato e a confidencialidade devem ser estritamente observados, uma vez que a avaliação não deve causar dano a indivíduos. Os pedidos dos informantes para tratar as informações que eles fornecem com confidencialidade devem ser respeitados, e deve-se garantir que essas informações não possam ser rastreadas para se descobrir sua fonte. As avaliações não devem ser de indivíduos. Contudo, os relatórios de avaliação podem incluir análises sobre a liderança política e sobre as qualidades de gerência dos implementadores.

Há um esforço para apresentar de forma abstrata os detalhes de casos que poderiam ser facilmente identificados. Os avaliadores podem obter informações que, embora não sejam diretamente importantes para responder às questões abordadas na avaliação,

4 As Sociedades Europeia e Americana de Avaliação publicam em seus websites os Padrões de Avaliação das Sociedades Nacionais e Regionais de Avaliação, assim como os Padrões de Avaliação das Organizações Internacionais e Supranacionais.

74 RBCE - 117

possam ser relevantes para as funções de responsabilização e aprendizagem da avaliação. Nesses casos, os stakeholders serão consultados para determinar se essa informação deve ser incluída no relatório, e de que forma. As avaliações não são investigações sobre a legitimidade. Não obstante, é possível que, durante as avaliações, venham à tona irregularidades, e, nesse caso, o investigador deve relatar o caso às autoridades responsáveis.

Outro conjunto de normas refere-se ao respeito e à compreensão de outras culturas e à responsabilidade em relação aos stakeholders envolvidos na avaliação. Muitas avaliações no campo da ajuda internacional são conduzidas em um ambiente cultural bastante diferente. Espera-se, portanto, que os avaliadores observem os códigos culturais locais durante as entrevistas e as outras formas de coleta de dados. Alguns costumes e práticas culturais podem, entretanto, ser incompatíveis com os direitos e liberdades fundamentais. Embora os investigadores devam, a princípio, mostrar respeito por outras culturas, eles não podem ignorar o efeito de determinados valores culturais sobre as relações de gênero ou minorias e outros grupos específicos. Nesses casos, devem agir conforme os acordos internacionais.

As avaliações devem ser realizadas levando-se em consideração os diferentes papéis exercidos por homens e mulheres e o objetivo de se

alcançar igualdade de gênero. Nas áreas de políticas em que as diferenças de gênero são uma dimensão ou um efeito da política implementada, estas devem ser levadas em consideração no projeto e na execução da avaliação. Já em alguns países, uma postura crítica em relação ao governo pode ter consequências severas para investigadores do próprio país. Nas avaliações que envolvem investigadores locais, é importante que tais riscos sejam reconhecidos a tempo e que sejam adotadas medidas para evitá-los, como, por exemplo, acordos claros sobre quem são os responsáveis pelo conteúdo do relatório.

CRITÉRIOS DE AVALIAÇÃO

Os estudos de avaliação são baseados em uma estrutura comum, que relaciona os insumos (investimentos, recursos e equipe de funcionários) aos produtos (as atividades realizadas e os produtos e serviços fornecidos). Esses produtos devem, idealmente, contribuir para os resultados (por exemplo, as mudanças nas condições do grupo-alvo). Finalmente, é preciso verificar se essas mudanças podem ser mantidas, no longo prazo, sem a intervenção, e se o impacto registrado ocorreu devido àquela intervenção específica (ver a Figura 1).

Essas cadeias de resultado podem, a princípio, ser definidas para cada uma das atividades.

As avaliações devem ser realizadas levando-se em consideração os diferentes papéis exercidos por homens e mulheres e o objetivo de se alcançar igualdade de gênero

75RBCE - 117

Nos projetos que promovem a educação primária, os insumos são os orçamentos e os produtos são os professores, os materiais educacionais e as salas de aula construídas. Isso leva a um resultado em termos do número de matrículas na escola. O impacto final é aferido com base nos resultados da escola, como, por exemplo, os das provas finais dos estudantes, que podem ser afetados negativamente por taxas de abandono ou pelo ensino de baixa qualidade, e positivamente por um melhor treinamento dos professores e melhores instalações educacionais.

Numa situação parecida, os investimentos em saneamento e fornecimento de água entregam como produtos poços de água, pontos de abastecimento e vasos sanitários, embora o resultado geralmente seja aferido em termos do acesso regular à água potável e à disponibilidade do saneamento. Entretanto, o impacto real deveria ser medido em termos

de melhorias na saúde ou de redução no número de dias úteis perdidos no trabalho devido à menor incidência de casos de contaminação da água e a melhores práticas sanitárias, como lavar as mãos e usar o vaso sanitário. A julgar pelas avaliações, aparentemente este último efeito muitas vezes não é alcançado, em razão, por exemplo, do transporte inapropriado da água entre o ponto da água e as habitações (IOB, 2012a). Nos programas de atenção à saúde reprodutiva, os materiais e treinamentos contraceptivos são os principais insumos; os serviços de planejamento familiar são o produto; como resultado, tem-se um número menor de gestações e maior intervalo entre o nascimento de cada criança, com redução nos índices de mortalidade infantil e maternal.

Diversos indicadores para medir o progresso da cadeia de resultados são geralmente usados para analisar o desempenho dos projetos e

dos programas como um todo. Para áreas particulares de políticas, conjuntos específicos de indicadores são definidos em comum acordo entre as partes. No campo da ajuda internacional, os critérios da OECD-DAC para avaliar a ajuda ao desenvolvimento são bem conhecidos e amplamente aceitos. Eles abordam cinco questões-chave:

a) Relevância Em que medida a atividade é adequada às prioridades e às políticas do grupo-alvo, do receptor e do doador. Para avaliar a relevância de um programa ou de um projeto, as seguintes perguntas são consideradas:

● Em que medida os objetivos do programa ainda são válidos?

● As atividades e os produtos do programa são coerentes com o objetivo geral e com a realização dos objetivos da política?

Figura 1CADEIA DE RESULTADOS DA AVALIAÇÃO

Insumos Produtos Resultados Impactos

MonitoramentoO que foi investido, feito e produzido, e como estamos apoiando os parceiros para alcançarmos os objetivos?

Avaliação e revisãoQue progresso o projeto obteve em relação ao alcance de seus objetivos?

Avaliação do impactoQue mudanças de longo prazo e sustentáveis ocorreram, e como nossas intervenções contribuíram para isso?

76 RBCE - 117

● As atividades e os produtos do programa são coerentes com os impactos e os efeitos desejados?

Sob o critério da relevância, também se pode questionar a coerência das políticas, analisando-se seu relacionamento com outras intervenções promovidas e indagando se está sendo levada em consideração a possibilidade de se promover potenciais sinergias ou de se evitar determinados trade-offs.

b) Eficácia A eficácia relaciona os resultados do programa com os objetivos originais. Mede até que ponto uma determinada atividade alcançou seus objetivos. Para avaliar a eficácia de um programa ou de um projeto, é útil fazer as seguintes perguntas:

● Em que medida os objetivos foram alcançados?

● Quais foram os outros fatores que influenciaramo alcance (ou não) dos objetivos?

c) Eficiência A eficiência avalia os produtos — em termos qualitativos e quantitativos — com relação aos insumos. É um conceito econômico/financeiro que significa que os recursos são usados da forma menos custosa possível para se obter os resultados desejados. Isso exige, em geral, comparar diferentes abordagens para se chegar aos mesmos produtos e verificar se o processo de implementação mais eficiente de execução foi

adotado. Para avaliar a eficiência de um programa ou de um projeto, é útil fazer as seguintes perguntas:

● As atividades tiveram um bom custo-benefício?

● Os objetivos foram alcançados dentro do prazo?

● O programa ou o projeto foi implementado da maneira mais eficiente entre todas as alternativas?

d) Impacto O impacto diz respeito às mudanças positivas e negativas causadas pela intervenção, direta ou indiretamente, desejadas ou indesejadas. Isso envolve os efeitos práticos que resultaram da atividade nos indicadores sociais, econômicos e ambientais do local, bem como em outros indicadores de desenvolvimento. O impacto também diz respeito aos resultados desejados e indesejados, e deve incluir os impactos positivos e negativos de fatores externos, tais como mudanças nas condições socioeconômicas globais. Para analisar o impacto, é preciso fazer as seguintes perguntas:

● O que aconteceu como consequência do programa ou do projeto?

● Quais benefícios, em termos concretos, a atividade trouxe às partes afetadas por ela?

● Até que ponto a intervenção causou de fato os efeitos registrados?

O impacto diz respeito às mudanças positivas e negativas causadas pela intervenção, direta ou indiretamente, desejadas ou indesejadas

77RBCE - 117

● Quantas pessoas foram afetadas?

e) SustentabilidadeA sustentabilidade preocupa-se com a avaliação de quais são as chances de que os benefícios de uma atividade permaneçam após o fim do financiamento do doador. Os projetos e os programas precisam ser sustentáveis tanto em termos ambientais quanto financeiros. Para avaliar a sustentabilidade de um programa ou de um projeto, é útil fazer as seguintes perguntas:

● Em que medida os benefícios de um programa ou de um projeto continuam após o término do financiamento?

● Quais foram os principais fatores que influenciaram o alcance ou não da sustentabilidade do programa ou projeto?

Em áreas específicas de políticas, esses critérios de avaliação precisam ser adaptados ao contexto e relacionados à teoria ou à “lógica” particular da intervenção. Para intervenções em países frágeis e relacionadas à prevenção de conflitos, criou-se um guia específico de avaliação.5 Diretrizes similares estão disponíveis para avaliações de ações humanitárias, avaliações conjuntas e avaliações centradas em questões de gênero.

A identificação e a seleção de critérios relevantes do

desempenho são fatores críticos para a seriedade da avaliação. Isso faz parte de estudos preparatórios nos quais a abrangência da avaliação é definida e as perguntas da mesma são demarcadas em termos de tema, localização geográfica e prazo. Os termos de referência (ToR) para os estudos de avaliação trazem também um esboço detalhado da abordagem da pesquisa e da justificação da escolha da metodologia, da descrição do projeto da avaliação (com atenção para a representatividade na amostragem e na seleção do estudo de caso), dos indicadores apropriados, das fontes de informação e das técnicas de pesquisa que garantem a validade e a confiabilidade.

MÉTODOS DE AVALIAÇÃO

Os estudos de avaliação podem se basear em diferentes métodos analíticos. Os métodos mais frequentemente utilizados são: (a) avaliação baseada na teoria e (b) avaliação realista (Quinn Patton, 2011). As avaliações com base teórica concentram-se em uma descrição detalhada do que aconteceu no passado e por que, analisando as causas desses acontecimentos. Consequentemente, é importante, antes de mais nada, reconstruir a teoria subjacente da política. A avaliação tenta, então, avaliar a validade dessa teoria. Uma alternativa para esse tipo de avaliação é considerar as mudanças na realidade como

um ponto de partida, e não como teoria de política. Os apoiadores dessa “avaliação realista” defendem que, inicialmente, deve-se analisar o contexto em que as mudanças ocorreram, e, prioritariamente, dar atenção aos mecanismos envolvidos. Na prática, os dois métodos são frequentemente combinados, um após o outro. Para garantir, tanto quanto possível, a validade e a confiabilidade das avaliações, geralmente adota-se uma combinação de métodos da pesquisa (“métodos misturados”). Essa combinação diz respeito ao projeto da avaliação e aos métodos e às técnicas qualitativos e quantitativos de coleta de dados e análise.

Os Termos de Referência para estudos de avaliação normalmente abrangem uma série de atividades-chave:

a) Reconstrução da teoria da política e da lógica da intervenção. O alcance da avaliação de um determinado assunto depende da formulação clara dos princípios da política e dos objetivos do programa, de uma descrição das atividades empreendidas e de um relacionamento lógico entre a política, os objetivos e as atividades. A prática mostra, entretanto, que esses critérios nem sempre são seguidos no campo da cooperação para o desenvolvimento e em outras áreas de política externa. Especialmente no nível dos objetivos operacionais, as políticas frequentemente

5 OECD (2012). Guidance on Evaluating Conflict Prevention and Peacebuilding Activities. Paris: OECD.

78 RBCE - 117

são muito amplas (por exemplo, “promover os direitos humanos”; “contribuir para o desenvolvimento humano”) e formuladas de forma não muito específica. As metas e os efeitos são geralmente pouco claros, e a lógica das intervenções não é suficientemente explícita. Nesses casos, a teoria da política e a lógica da intervenção precisam ser reconstruídas. Os avaliadores apresentam, então, a teoria e a sua lógica de intervenção aos formuladores das políticas, para determinar se estão de acordo com o que estes últimos tinham em mente.

b) Definir o objeto da avaliação. Muitos temas e setores de políticas são frequentemente formulados de modo muito amplo, cobrindo uma grande variedade de atividades bastante diferentes entre si. Isso se aplica, particularmente, no nível dos objetivos operacionais especificados no orçamento do ministério. Durante a preparação, o escopo do objeto da avaliação precisa ser definido claramente — também no caso de avaliações muito amplas de políticas regionais e setoriais —, de um modo tal que a avaliação tenha um foco claro e continue viável. Isso oferece uma garantia de que a avaliação permaneça focada e que somente serão formuladas perguntas para as quais se possa razoavelmente esperar uma resposta válida. Para se estabelecer os limites de uma avaliação é preciso levar em consideração a

dimensão temporal, a dimensão geográfica e a natureza das atividades.

c) Identificar os indicadores de resultado. Um componente importante da reconstrução da teoria da política é a formulação de uma cadeia de resultados, diferenciando os vários níveis de resultados em termos de produtos, resultados e impactos. É preciso identificar indicadores mensuráveis para cada um dos níveis de resultado, de modo a permitir que o desempenho e a atribuição sejam avaliados no

nível correto.

d) Identificar as fontes dos dados. A avaliação da escala e da qualidade das fontes de informação existentes (arquivos, literatura, informantes, bases de dados estatísticos), bem como das oportunidades de coletar informação suplementar, determina até que ponto o assunto pode ser avaliado e de que maneira podem ser formuladas perguntas de avaliação prospectiva.

e) Formular perguntas para a pesquisa. As perguntas da pesquisa são determinadas pela principal meta da avaliação. Relacionam-se à óbvia necessidade por informação sobre os resultados obtidos no nível dos produtos e efeitos. Essa informação é valiosa tanto para a responsabilização quanto para a função de aprendizagem de

Durante a preparação, o escopo do objeto da avaliação precisa ser definido claramente, de um modo tal que as avaliação tenha um foco claro e continue viável

79RBCE - 117

uma avaliação. Também podem ser formuladas perguntas suplementares relacionadas a uma necessidade de aprendizagem específica.

f) Determinar o método de avaliação. A escolha de métodos de pesquisa depende de diversos fatores. Isso será influenciado pela natureza do assunto, pelo tempo e orçamento disponíveis para a avaliação, pelos dados que já estão disponíveis e precisam ser coletados, e pela natureza das perguntas da pesquisa. A maioria das avaliações se baseia em diversos métodos que, combinados, permitem que as perguntas da pesquisa sejam abordadas de forma adequada.

Os estudos de avaliação não somente reconstroem a lógica da intervenção, mas, basicamente, tentam revelar quais mudanças podem ser atribuídas a um conjunto particular de intervenções. Espera-se que os programas governamentais produzam determinados resultados (como mais empregos, condições de vida mais saudáveis etc.). Programas eficazes são aqueles que ajudam a alcançar objetivos desse tipo: que contribuem para os resultados almejados e são valorizados pelos cidadãos. Ao tentarmos medir o desempenho de um programa, deparamo-nos com dois problemas. Na maioria das vezes, podemos medir se esses resultados estão de fato ocorrendo ou não. Em geral, o mais difícil é determinar

qual foi a contribuição daquele programa específico para o resultado. Quanto do sucesso (ou do fracasso) podemos atribuir ao programa? Qual foi a contribuição específica feita pelo programa? As avaliações de políticas e programas precisam fornecer respostas para essa pergunta de atribuição. Consequentemente, elas se baseiam em alguma forma de comparação para estimar o que acontece quando o programa é colocado em prática e o que aconteceria sem ele (a chamada “análise contrafactual”). Se a atribuição for tecnicamente muito difícil ou demasiadamente cara, a plausibilidade de a mudança ter como causa a intervenção pode ser avaliada por meio de uma análise da contribuição, com base em diferentes tipos de evidências que revelem a probabilidade da relação insumo-resultado indicada (Mayne, 2001).

Métodos para conduzir análises de impacto (IA) robustas estão recebendo, atualmente,

mais atenção (Khandker et al., 2010). O princípio básico do IA é que a mensuração dos indicadores deve ocorrer tanto no início quanto no fim de um programa (antes/após a análise). Além disso, juntamente com a informação do grupo de tratamento, coleta-se informação similar de um grupo de controle, que poderia ter sido objeto da intervenção (com/sem análise). Combinar ambos os tipos de análise torna possível calcular o efeito prático de uma intervenção, usando-se a chamada “análise da diferença-em-diferença”. Isso é ilustrado na Figura 2, em que o impacto concreto é o efeito, ao longo do tempo, que se observa com a intervenção, em comparação com o que teria acontecido sem a intervenção.

Nos últimos anos, aumentou consideravelmente o número de estudos de impacto realizados. Algumas dessas avaliações baseiam-se em séries históricas de observações ou em dados de painéis, enquanto outros

Figura 2MENSURAÇÃO DO IMPACTO CONCRETO

Tempo

Performance observada com a intervenção Impacto

Medida da performance

O que teria acontecido sem a intervenção

80 RBCE - 117

estudos partem de dados observacionais naturais ou pseudonaturais, utilizando o método de pareamento PSM (Propensity Score Matching) para garantir que os não clientes se assemelham aos clientes e que os efeitos registrados podem, portanto, ser atribuídos ao programa. Além disso, há fortes apelos para que as avaliações se baseiem mais em estudos controlados aleatórios (RCT — Randomized Control Trials), com uma seleção aleatória dos beneficiários, para que se consiga descobrir se determinados tipos de projeto são suficientemente eficazes e se realmente atendem à sua finalidade (Banjerlee & Duflo, 2011). O método RCT é particularmente útil para medidas de políticas nas quais prevalece a incerteza sobre os possíveis resultados, mas não pode ser usado em muitos outros tipos de programas.

Com o aumento gradual de estudos de impacto sólidos, a evidência empírica a respeito da eficácia das políticas permite que, em diversas áreas, utilize-se uma outra estrutura de avaliação, chamada de revisões sistemáticas. Esses estudos resumem os dados disponíveis sobre a eficácia de determinadas intervenções cujo escopo é mais restrito e identificam lacunas no conhecimento atualmente disponível (Petticrew e Roberts, 2006). No campo da cooperação para o desenvolvimento já existem mais de 200 revisões sistemáticas disponíveis

em áreas importantes como microfinanças, programas da segurança alimentar, infraestrutura e práticas de saneamento e abastecimento de água.6 Entre as novas questões que estão sendo abordadas por meio de uma revisão sistemática da política, incluem-se a eficácia das parcerias público-privadas (PPPs) e a análise dos resultados de políticas de responsabilidade social das corporações (CSR) (ver o Box 2). Embora o material de avaliação nessas áreas ainda seja escasso, é possível tirar

lições importantes em relação ao projeto operacional dos programas de apoio.

A AVALIAÇÃO NA PRÁTICA

O Departamento de Avaliação de Políticas e Operações (IOB) do Ministério das Relações Internacionais holandês concluiu, recentemente, uma avaliação integrada no campo de relações internacionais e cooperação internacional com a América Latina. Essa avaliação foi projetada de maneira a se

Box 2ALGUMAS DAS PRINCIPAIS CONCLUSÕES SOBRE PARCERIAS PÚBLICO-PRIVADAS

As Parcerias Público-Privadas (PPPs) são consideradas cada vez mais uma forma atraente para envolver o setor privado na cooperação internacional. Na prática, as PPPs abrangem uma ampla variedade de arranjos, e nem sempre são definidas uniformemente. Sobre esse tema, as conclusões principais são as seguintes:

● Há vários tipos de PPPs, diferenciando-se uns dos outros em termos do grau de compartilhamento dos recursos, das responsabilidades e dos riscos.

● As PPPs são usadas em diferentes setores, mas os dados disponíveis referem-se principalmente a PPPs nos setores de saúde (seguros), infraestrutura (inclusive transporte e energia), abastecimento de água e agricultura.

● Muitas das avaliações de PPPs concentram-se no compartilhamento de recursos, mas geralmente se dá pouca atenção, nas parcerias, ao compartilhamento dos riscos e à distribuição das receitas.

● O fundamento para se utilizar o modelo das PPPs baseia-se essencialmente na possibilidade de mobilização de recursos, e não em razões de eficácia.

● No nível dos produtos, o efeito relatado das PPPs é bastante positivo, mas há também registro de efeitos fracos, ambíguos e negativos.

● Os dados sobre os resultados das PPPs em termos de resultados e eficácia ainda são escassos e pouco se baseiam em análises empíricas contrafactuais sólidas e bem realizadas.

6 Ver o website da International Initiative on Impact Evaluation (www.3ieimpact.org) para mais informações. Veja também: Hagen-Zanker et al. (2012), para um resumo.

81RBCE - 117

concentrar, principalmente, na adaptabilidade das políticas holandesas ao contexto da América Latina, analisando se o projeto e a implementação da política respondem adequadamente ao ambiente do continente, que está em constante mudança. Adquirir mais conhecimentos sobre a orientação da demanda e as especificidades do contexto das políticas regionais e setoriais é considerado cada vez mais importante para garantir a relevância da presença holandesa na América Latina. Além disso, em vez de analisarem-se a eficácia de políticas holandesas em cada uma das áreas específicas de política (por exemplo, cooperação para o desenvolvimento, promoção dos direitos humanos, meio ambiente e desenvolvimento sustentável, diplomacia econômica), empreendem-se esforços para entender as complementaridades da política e para identificar a coerência entre esses esforços de política. Dado o tamanho modesto da rede diplomática holandesa, a eficácia de suas políticas depende, em grande parte, de respostas inteligentes e criativas para as oportunidades locais e regionais.

A avaliação da diplomacia econômica holandesa é um bom exemplo dessa mudança para uma era de reconfiguração dos relacionamentos entre os países. A maioria das redes holandesas na América Latina foi criada, no passado, em razão de temas como a cooperação para o desenvolvimento,

a democratização e a promoção dos direitos humanos. No entanto, os interesses atuais estão mais relacionados ao comércio, investimentos responsáveis e questões ambientais. Em alguns momentos, foi difícil reconhecer a necessidade de se fazer essa transição e aproveitar a reputação e as redes disponíveis. Do contrário, dadas as taxas relativamente elevadas das tarifas protecionistas e de outras barreiras não comerciais em países como o Brasil, a complexidade do mercado brasileiro em termos de burocracia, regulação e impostos (o “Custo Brasil”), e a posição de protaganismo ocupada por empresas estatais nos principais setores da economia, para melhorar o acesso ao mercado faz-se necessário um forte envolvimento público com a diplomacia econômica. A eficácia de um forte envolvimento com missões econômicas e do papel da rede da embaixada para melhorar as relações de comércio pode ser avaliada por meio de análise estatística, enquanto que os resultados dos esforços para melhorar a competitividade de empresas holandesas em setores específicos (em particular, portos, transporte marítimo e logística no Brasil) são avaliados por meio de um estudo de caso detalhado.

Ao medir o impacto da diplomacia econômica (incluindo os serviços de informação e as missões de comércio), necessitamos

fazer os ajustes levando-se em consideração a chamada “endogeneidade” da diplomacia econômica. Essa endogeneidade refere-se à possibilidade — muito real — de que o uso e a disponibilidade da diplomacia econômica são causados por altos fluxos de comércio, e não pelo contrário (por exemplo, quando a rede econômica holandesa está concentrada nos maiores parceiros comerciais). Na análise multivariada, esse problema de endogeneidade pode ser resolvido estimando-se o impacto em duas etapas (ver: Creusen e Lejour, 2013): (1) avaliando-se a probabilidade de usar a diplomacia econômica como uma função das características do mercado (renda per capita, crescimento das exportações para o país latino-americano e a distância entre o país latino-americano e a Holanda), características das empresas (proxy da experiência de exportação: valor global médio da exportação) e o tamanho da rede econômica; e (2) estimando-se o impacto da diplomacia econômica (derivado da primeira etapa) sobre as exportações holandesas de bens para a América Latina, considerando-se, também, as características específicas do mercado e das empresas (incluindo a quantidade total de produtos exportados por uma empresa, como forma de medir a internacionalização). A Tabela 1 fornece uma visão geral dos resultados.

A partir da primeira estimativa, conclui-se que a representação

82 RBCE - 117

econômica na América Latina tem uma influência positiva no uso da diplomacia econômica (missões e informação). Uma rede econômica maior resulta em um maior uso da diplomacia econômica, que também é afetado positivamente pelo peso econômico do país em questão (PIB per capita). A distância da Holanda para os países latino-americanos é de pouca relevância para determinar o uso da diplomacia econômica (todos os países são provavelmente considerados igualmente distantes). Quanto mais internacional for a empresa (isto é, mais elevado for o valor médio de exportação), mais provável é o uso da diplomacia econômica. O crescimento nas exportações das empresas, entretanto, não é significativo.

Consequentemente, na segunda etapa pode-se concluir que o uso da diplomacia econômica tem um efeito significativo e positivo no valor das exportações de bens por empresas holandesas. Isso abrange a informação e as missões, mas pode incluir também outras atividades relacionadas (por exemplo, programas setoriais como o 2g@there e outros programas de apoio ao setor privado, diplomacia pública etc.). Mais uma vez, a experiência da empresa com exportação (valor médio da exportação) desempenha um papel importante no aumento dos valores da exportação. O volume de produtos que uma empresa exporta, entretanto, não tem um efeito significativo sobre o comércio latino-americano. Se

o maior país da América Latina (Brasil), onde ocorreu a maior parte das ações de diplomacia econômica, for eliminado da amostra, tais efeitos continuam sendo observados.

As conclusões da avaliação mostram claramente que a rede diplomática e as missões de comércio que contam com apoio público contribuem de forma eficaz para o aumento do comércio (e, muito provavelmente, também para o aumento dos investimentos diretos). O papel do setor público também é considerado relevante para a abertura de novos relacionamentos comerciais, embora de forma geral as empresas holandesas ainda levem muito tempo para passar “do contato para o contrato”. Outras questões críticas que foram levantadas durante a avaliação referem-se ao uso de tarifas para o fornecimento de serviços de diplomacia econômica (como já é prática com diversos outros países europeus) e às conexões da diplomacia econômica com critérios de responsabilidade social empresarial (CSR) e desenvolvimento sustentável. Estes últimos critérios são considerados parte dos programas holandeses de direitos humanos e cooperação para o desenvolvimento, e tendem a se integrar às políticas de comércio também. É possível que isso ofereça oportunidades para o desenvolvimento de vantagens comparativas adicionais, mas poderia também restringir o apoio a investimentos em determinados setores mais sensíveis.

Tabela 1EFICÁCIA DA DIPLOMACIA ECONÔMICA HOLANDESA NA AMÉRICA LATINA

(1) (2)

Variável dependente

Uso da diplomacia econômica

Valor de exportação

das empresas holandesas

Tamanho da amostra (N) 26.447 14.516

Método de estimativa Probit Efeitos fixos

Diplomacia econômica (resíduos ajustados, 1 defasagem) 2.08*** (0.58)

Representação econômica 0,03*** (0,00)

(Log) Distância para a Holanda -0,11 (0,16) (Variável fixa)

(Log) PIB per capita 0,14*** (0,05) 0,13 (0,22)

(Log) Valor médio de exportação da empresa 0,06*** (0,00) 0,66*** (0,06)

Crescimento das exportações 0,00 (0,00)

(Log) Número médio de bens exportados 0,00 (0,00)

Wald Chi 2 328

R2 32%

Fonte: IOB (2013b) Economic diplomacy in practice. The Hague: Ministry of Foreign Affairs.

83RBCE - 117

FORMULAÇÃO DE POLÍTICAS COM BASE EM EVIDÊNCIAS

Um aspecto importante dos estudos de avaliação refere-se à compreensão, pelos formuladores das políticas, das conclusões da avaliação, bem como ao seu uso no processo de formulação de políticas. Diversos fatores influenciam o uso dos resultados da avaliação no ciclo da política. Os mais importantes são: a qualidade e a credibilidade da evidência apresentada pela avaliação; o foco e a atualidade do relatório da avaliação; a comunicação dos resultados da avaliação; e a orientação quanto ao uso (Feinstein, 2002: Boaz et al., 2009). Em termos gerais, um compromisso institucional em que a avaliação esteja bem incorporada à estrutura e à cultura organizacional contribui para que os processos de tomada de decisão façam uso das avaliações.

Na prática, os processos de política raramente são estruturados de forma linear, e a tomada de decisões normalmente não se baseia em escolhas racionais. Muitos processos de política estão interligados e reagem a eventos críticos no espaço da política. Os dados disponíveis sobre o uso instrumental das avaliações como insumo direto para a formulação de políticas são, portanto, bastante escassos, enquanto o uso conceitual, que fornece informações sobre os pontos fortes e fracos na teoria subjacente da mudança,

acontece mais frequentemente (Davies, 2012). Isso é incentivado quando se dá a devida atenção ao processo de uso, por exemplo, por meio da participação dos stakeholders no processo de avaliação.

Os estudos de avaliação são altamente dependentes de prescrições válidas de políticas que delineiem de forma clara a finalidade e a lógica da intervenção. Reconhece-se cada vez mais que, para serem realizadas, as avaliações devem ser iniciadas bem no começo dos programas de políticas. Na Holanda, colocou-se em prática um esquema formal para a análise ex-ante de políticas — chamado de Estrutura Integrada de Avaliação (IAK) — que exige a abordagem de um conjunto de sete perguntas na preparação de qualquer nova política ou para

o lançamento de novas leis (ver Box 3).

Especialmente as últimas duas perguntas, sobre a seleção de instrumentos apropriados e sobre os efeitos e o impacto prováveis, pode-se tirar forte proveito do conhecimento derivado dos estudos de avaliação sobre a eficácia de programas e políticas anteriores em áreas relacionadas. Se aplicado corretamente, o uso precoce de conclusões obtidas em avaliações anteriores pode melhorar consideravelmente a qualidade da formulação da política.

No Ministério das Relações Exteriores, a formulação de políticas com base em dados comprovados foi reforçada por meio de um regime elaborado para Qualidade na Entrada

Box 3

ESTRUTURA INTEGRADA DE AVALIAÇÃO

Perguntas-chave para avaliar novas políticas e programas:a) Análise do problema: 1.O que motivou a criação da política/programa? 2.Quem são os stakeholders envolvidos? 3.Qual é o problema a ser abordado? 4.Quais são os objetivos que se deseja atingir? 5.Quais são as razões para a intervenção pública?

b) Escolha dos instrumentos adequados e análise de resultados prováveis:

6.Quais são os instrumentos mais indicados (levando-se em consideração a eficácia, questões relativas à equidade e à viabilidade prática)?

c) Avaliação dos efeitos: 7. Quais são os efeitos (concretos) para cidadãos, empresas,

setor público e meio ambiente?

84 RBCE - 117

(Q@E) que convida os departamentos de políticas a submeter suas propostas de programa para análises externas. Isso se destina a permitir uma reflexão sobre a teoria subjacente da mudança, a seleção de indicadores de resultado adequados e a avaliação dos procedimentos para medir o impacto final. Procedimentos de Qualidade na Entrada para o gerenciamento de programas de grande investimento também são implementados regularmente pelo Banco Mundial e por outras instituições financeiras internacionais. Há cada vez mais provas de que procedimentos de garantia de qualidade inicial mais bem organizados contribuem significativamente para taxas de sucesso dos programas mais elevadas e, consequentemente, melhoram a eficácia das ações de ajuda (Smets et al., 2012).

PERSPECTIVAS

A avaliação de políticas públicas está sendo objeto de interesse cada vez maior no momento atual, em um contexto de crescente ceticismo em relação à eficácia e à eficiência de políticas e programas governamentais e de amplo debate sobre o papel que o Estado deve desempenhar no desenvolvimento socioeconômico. Muitos países, incluindo a Holanda, deram passos decisivos para institucionalizar agências de avaliação para as principais áreas de políticas públicas. Sua função dupla é definida geralmente em termos de dar suporte à responsabilização externa e à aprendizagem interna. Há uma

grande variedade de métodos e abordagens de avaliação disponíveis, o que permite a mensuração consistente dos efeitos concretos de programas de políticas, dando-se a devida atenção ao papel de cada um para alcançar os resultados (atribuições).

Embora tenha havido um progresso considerável no fortalecimento da independência e do trabalho profissional das agências de avaliação, ainda existem muitos desafios e diversas áreas de tensão potencial. Em primeiro lugar, a demanda por avaliações é direcionada, em grande medida, por objetivos de responsabilização, o que pode facilmente levar a uma inclinação em favor de que as atividades do programa sejam mensuráveis e de que as políticas sejam orientadas por indicadores. Mais atenção será dada, então, aos objetivos de curto prazo e aos resultados diretamente observáveis, e não às mudanças de longo prazo e ao impacto estrutural. Isso se torna visível na recente mudança nas políticas de desenvolvimento holandesas, que estão se afastando dos programas de apoio globais de financiamento (que tiveram impacto comprovado em termos de redução da pobreza, ver: IOB, 2012b) e se aproximando de projetos de ajuda de menor escala, que possam garantir ligações mais próximas com áreas em que a Holanda possua expertise e que permitam uma participação mais direta de empresas e instituições de conhecimento holandesas.

Uma mudança similar é observada nos programas para o desenvolvimento do setor privado, que tendem a se concentrar menos em melhorar o clima de negócios nacional e a devotar mais atenção a apoiar conexões empresariais individuais ou setoriais.

Uma segunda área de conflito potencial refere-se ao crescente descompasso entre aa avaliação do programa e a avaliação institucional. A maioria das avaliações concentra-se nos resultados no nível do projeto ou do programa, mas raramente consideram os procedimentos das políticas e o gerenciamento do programa como as variáveis explicativas importantes. Isso é preocupante, uma vez que a eficácia de diversos programas depende muito da adequação dos incentivos dados à equipe encarregada de sua execução. Na área de Relações Exteriores, em que a maior parte dos funcionários muda constantemente de função dentro do ministério (job rotation) e, consequentemente, fica responsável apenas temporariamente por uma área específica de políticas, há poucos incentivos para se promover uma programação voltada para resultados, e a avaliação chega sempre tarde demais para orientar a equipe em relação a decisões de gerenciamento.

Por fim, uma terceira área em que há tensão cada vez maior diz respeito à crescente interação e sobreposição entre diferentes áreas de políticas. O Ministério das Relações

85RBCE - 117

Exteriores deve coordenar suas atividades relacionadas ao comércio com o Ministério da Economia; seu trabalho consular, com o Departamento de Justiça; sua atuação em países pobres, com o Ministério da Defesa; e o seu apoio ao desenvolvimento sustentável, com o Ministério de Infraestrutura e Meio Ambiente. Algumas dessas atividades podem ser influenciadas por interesses contraditórios (por exemplo, os efeitos potenciais de criação de comércio dos

acordos de comércio entre os EUA e a União Europeia podem gerar, no caso da Holanda, desvio de comércio com os países em desenvolvimento) ou por objetivos divergentes (por exemplo, a redução da imigração na Holanda pode afetar negativamente as remessas de dinheiro dos imigrantes para os países em desenvolvimento). Em tais circunstâncias, o papel da avaliação torna-se cada vez mais importante como um instrumento para revelar

potenciais (in)coerências das políticas e para delinear possíveis implicações de cenários alternativos de políticas. No futuro, é provável que os profissionais incumbidos da avaliação de políticas sejam solicitados a dar sua contribuição para evitar as incoerências e conciliar os diferentes impactos das políticas, com base nas percepções adquiridas a partir dos estudos de avaliação sobre a lógica das cadeias de resultado. ■

Banerjee, A. e E. Duflo. 2011. Poor Eco-nomics: a radical rethinking of the way to fight global poverty. New York: Public Affairs.Boaz, A. F. Fitzpatrick e B. Shaw. 2009. As-sessing the impact of research on policy: a Review of the literature. Science and Public Policy. 36 (4): 255-270.Creusen, H. e A. Lejour. 2013. Market entry and economic diplomacy. Applied Econom-ics Letters 20 (5: 504-507.Davies, P. 2012. The State of Evi-dence-Based Policy Evaluation and its Role in Policy Formation. National Institute Economic Review. 219 (1): R41-R52Feinstein, O. 2002. Use of Evaluations and the Evaluation of their Use. Evaluation 8 (4): 433-439. Hagen-Zanker, J., M. Duvendack, R. Mallet, R. Slater, S. Carpenter, M. Tromme. 2012. Making systematic reviews work for inter-national development research. London: Overseas Development Institute.

IOB. 2012a. From infrastructure to sus-tainable impact: Policy review of the Dutch contribution to drinking water and sanita-tion. The Hague: Ministry of Foreign Affairs.IOB. 2012b. Budget support: conditional results. The Hague: Ministry of Foreign Affairs.IOB. 2013a. Public-Private Partnership in developing countries. The Hague: Ministry of Foreign Affairs.IOB. 2013b. Economic diplomacy in prac-tice. The Hague: Ministry of Foreign Affairs.Khandker, S., G.B. Koolwal e H.A. Samad. 2010. Handbook on impact evaluation: quantitative methods and practices. Wash-ington D.C.: World Bank.Mayne, J. 2001. Addressing attribution through contribution analysis: Using perfor-mance measures sensibly. The Canadian Journal of Program Evaluation, 16 (1), 1-24.

Petticrew, M. e H. Roberts. 2006. Sys-tematic reviews in the social sciences: A Practical Guide. Oxford: Blackwell.Quinn Patton, M. 2011. Developmental Evaluation: Applying complexity concepts to enhance innovation and use. New York/London: Guilford Press.Smets, L., S. Knack e N. Molenaers. 2012. Political Ideology, Quality at Entry and the Success of Economic Reform Programs, Washington D.C.: World Bank Policy Research Working Paper # 6130.Willemsen, F. e F. Leeuw. 2007. Maatschap-pelijke effecten van toezicht en inspectie. Effectevaluaties in de praktijk. In: F.J. Leeuw, J.S. Kerseboom and R. Elte (eds). Turven, tellen, toetsen: over toezicht, inspectie, handhaving en evaluatie en hun maatschappelijke betekenis in Nederland. Den Haag: Boom.

Bibliografia