AVALIAÇÃO DE POLÍTICAS PÚBLICAS

Profa. Dra. Maria Teresa Miceli Kerbauy

AVALIAÇÃO• é um processo sistemático de

análise de uma atividade, fatos ou coisas que permitem compreender, de forma contextualizada, todas as suas dimensões e implicações.

AVALIAÇÃO DE POLÍTICAS PÚBLICAS

• é parte integrante do processo de desenvolvimento da política pública pois possibilita o conhecimento e a formulação de subsídios para a tomada de decisão institucional visando a concretização dos objetivos da política implementada.

AVALIAÇÃO DE POLÍTICAS PÚBLICAS

• pode ser formulada e implementada de diversas maneiras. A avaliação permite reconstituir suas características de forma a compreendê-las melhor.

A AVALIAÇÃO...

• é parte integrante do processo de desenvolvimento da política pública pois possibilita o conhecimento e a formulação de subsídios para a tomada de decisão institucional visando a concretização dos objetivos da política implementada.

SUJEITOS DA AVALIAÇÃO

1) Sujeitos internosa) Formuladores da

Política

b) Implementadores da Política

c) Beneficiários da Política

2) Sujeitos externosSociedade Civil

OBJETIVOS DA AVALIAÇÃO

• Pesquisa de Avaliação cujo objetivo é conhecer a relação entre condições, meios, resultados e impactos da intervenção.

OBJETIVOS

• Verificação de eficácia, de eficiência e de accountability das ações visando:– redução dos custos– uso adequado dos recursos– prestação de contas do uso dos recursos– detectar dificuldades– produzir recomendações

• Estes objetivos podem aparecer de forma

combinada, predominando um ou outro, dependendo das

perspectivas e decisões do avaliador ou do proponente

da avaliação.

A avaliação pensada temporalmente pode ser

• Ex Ante. Tem por finalidade proporcionar critérios racionais para a decisão se o projeto deve ou não ser implementado. Ocorrem durante as fases de preparação e formulação. Permitem ordenar os projetos segundo sua eficiência para alcançar os objetivos perseguidos. São também chamadas avaliações-diagnósticos.

QUE TEM COMO OBJETIVO

• produzir orientações, parâmetros e indicadores que se incorporem ao projeto, melhorando seu desenho e suas estratégias metodológicas e de implementação

• fixar um ponto de partida que permita comparações futuras (linha de base ou tempo zero) (DRAIBE, 2001).

OU PODE SER...

• Ex Post. São feitas concomitantemente ou após a implantação do programa. Tem como objetivo:– verificar os graus de eficiência e eficácia com

que o programa está atendendo seus objetivos;– avaliar a efetividade do programa, ou seja, seus

resultados, impactos e efeitos (DRAIBE, 2001).

QUANTO À NATUREZA

AS AVALIAÇÕES PODEM SER...

Avaliação de Resultado

• tem como objetivo avaliar o cumprimento dos objetivos propostos pela política ou pelo programa.

Avaliação de Processo

• tem como objetivo avaliar as características organizacionais e de desenvolvimento dos programas.

Avaliação de Desempenho

• ligada a área de recursos humanos e psicologia organizacional. Consiste em avaliar o nível de competência de uma pessoa em relação ao nível exigido pelo posto de trabalho que ela ocupa. Tem como objetivo a proposta de incentivos, ou como instrumento de informação ou como feed-back para o desenvolvimento de recursos humanos.

• É considerado como elemento chave nas

estratégias de reforma e modernização das

organizações.

AVALIAÇÕES DE RESULTADOS

• Pode-se distinguir na avaliação de resultado o desempenho, o impacto e os efeitos.

DESEMPENHO

• diz respeito aos produtos do programa, previstos em suas metas.

IMPACTOS

• referem-se às alterações ou mudanças efetivas na realidade sobre a qual o programa intervêm e por ele são provocados.

EFEITOS• referem-se aos outros impactos do

programa, esperados ou não, que afetam o meio social e institucional no qual se realizou (nível de informação, satisfação, melhor capacitação dos implementadores).

INDICADORES UTILIZADOS PARA AVALIAR RESULTADOS

• devem medir os graus, as quantidades e os níveis de qualidade com as metas programáticas foram cumpridas. Confrontam objetivos e metas. Por ex.: cobertura da população alvo. Nível de focalização do programa sobre os públicos-alvo pretendidos.

PERGUNTAS• O programa realizou os

objetivos pretendidos?

• Atingiu os grupos alvos pretendidos?

• Cumpriu as metas propostas?

MAIORES DIFICULDADES

• Existem maiores dificuldades em operacionalizar os indicadores de impactos, pois implicam na definição ou grupo de referência com o qual se compararão os impactos do programa.

COM O QUE COMPARAR?• Comparação antes e depois.

Exige diagnóstico da situação anterior ao início do programa. Quando os programas são contínuos, rotineiros e universais é quase impossível determinar o ponto inicial. São avaliações caras.

• Comparação entre seus participantes e não participantes.

CONTROLE DE VARIÁVEIS

• é decisivo, de preferência por meio de métodos estatísticos. Por ex.: análise multivariada, técnicas de modelagem ou regressão logística.

PERGUNTAS• O programa efetivamente produziu

os resultados strito senso que pretendia alcançar?

• Afetou e em que medida a característica da realidade que queria transformar?

INDICADORES DE EFEITO

• medem alterações – esperadas ou não – provocadas pelo programa que afetam, além do grupo alvo focalizado, as instituições ou organizações participantes, os agentes que implementam o programa e o meio social em que este se realiza.

TIPOS• efeitos sociais

(agentes implementadores, comunidade local e grupos particulares de interessados na sua execução).

• Efeitos institucionais (instituições governamentais e não governamentais associadas à sua implementação).

PERGUNTAS• A implementação do programa logrou produzir, nas

instituições envolvidas, alguma aprendizagem institucional?

• Produziu melhoria de suas capacidades institucionais?

• Estimulou ou criou condições para a continuidade, ampliação ou multiplicação da experiência? (sustentabilidade)

• Foram constatadas melhoras nas capacidades profissionais dos agentes da implementação, como resultado das atividades desenvolvidas no interior do programa?

AVALIAÇÃO DE PROCESSOS

• A avaliação das políticas públicas quase sempre se referem ao momento da formulação, sobretudo às decisões iniciais (que dizem respeito a atores, conteúdos materiais e desenho).

FORMULAÇÃO

• “compreende a formação da agenda pública (tema ou demandas na agenda social e pública); a produção e o confronto de alternativas por parte dos diferentes grupos de atores, os processos de filtragem e de apropriação / domesticação da poliey por parte dos agentes segundo o legado ou as tradições e culturas organizacionais, a formulação e decisão; as definições de estratégias de implementação” (Draibe, 2001).

ESTRATÉGIA

• constituída fundamentalmente por características ou dimensões do processo tais como a dimensão temporal; os atores estratégicos a serem mobilizados nos diferentes estágios, para apoiar a implementação do programa, os subprocessos e estágios pelos quais se desenvolverá a implementação são importantes para a avaliação de processos.

AVALIAÇÃO DE PROCESSO

• deve envolver ainda a avaliação das estratégias que orientaram a implementação aferindo em que medida tiveram ou não êxitos, garantiram ou dificultaram o sucesso do processo.

IMPLEMENTAÇÃO

• “inclui tanto as atividades-meio, que viabilizam o desenvolvimento do programa, quanto a atividade-fim, ou a execução propriamente dita, antes que se torne rotineiro” (Draibe, 2001).

ITENS IMPORTANTES NA AVALIAÇÃO DE PROCESSOS

1) Dimensão temporal que envolve cálculos políticos quanto aos apoios e resistências que enfrentará o programa.

ALTERNATIVAS

• Estratégias incrementais. Período longo, que compreende estágios, que possibilite construir alianças ou coalizões de apoio capazes de vencer resistências.

ALTERNATIVAS

• Estratégias de choque. A implementação se faz num momento único do tempo e parte do suposto que a surpresa e medidas, tais como o insulamento burocrático dos que tem poder decisório, sejam capazes de vencer as resistências esperadas e inibir o surgimento de novas.

2) Atores Estratégicos e Matrizes de Conflito e Cooperação

• Diagnóstico dos atores institucionais ou individuais que sustentam o programa e os que aderem e ou resistem.

• Matrizes institucionais de cooperação ou conflito para localização dos pontos de acordo e dos consensos mínimos, indispensáveis às negociações e sustentabilidade dos programas.

3) Parcerias e redes de apoio

• Identificação dos produtores e consumidores da política pública

• Inclui beneficiários mais diretos até atores institucionais ou não (financiadores, concorrentes, vinculados a programas similares e competitivos)

• Para a avaliação de Processo torna-se

necessário a identificação de sistemas

ou subprocessos

Sistema Gerencial e Decisório

• Estrutura hierárquica do sistema– centralização ou

descentralização

– autonomia ou dependência

• Gestão do Tempo

• Capacidade de implementar decisões de que dispõem os gerentes

Atributos da autoridade que conduz o processo

• Interno ou externo ao programa

• Funcionários ou assessor

• Liderança e legitimidade

Processos de Divulgação e Informação

• Divulgação junto ao público interno e externo

• Informação qualificada entre agentes implementadores e beneficiários

INDICADORES

• Clareza

• Abrangência

• Suficiência da informação

• Agilidade do fluxo

SISTEMA DE SELEÇÃO

• Critérios de seleção de recrutamento dos agentes

• Critérios de seleção dos grupos beneficiários

• Abrangência da divulgação dos processos seletivos

• Critérios na seleção de instituições e agentes estratégicos do programa (competência e mérito)

• Adequação do processo seletivo aos objetivos do programa

Sistemas de Capacitação

• Capacitação dos agentes de implementação (gerenciais, didáticas, de supervisão ou monitoramento, de desenvolvimento social)

• Capacitação dos beneficiários

Sistemas internos de Monitoramento e Avaliação

• Monitoramento dos estágios iniciais

• Avaliações internas – restringindo-se em geral a examinar registros administrativos ou a coletar opiniões dos agentes implementadores

• Auditorias e avaliações externas (raras)

• Regularidade das avaliações

• Correção de processos e procedimentos

• Resultados sistematizados e socializados entre instituições e técnicos participantes

Sistemas Logísticos e Operacionais (Atividade-fim)

• Suficiência de recursos para os objetivos propostos

• Maximização dos recursos em benefício dos objetivos e metas

• Suficiência e qualidade dos recursos materiais (equipamentos coletivos, equipamentos de comunicação, serviços de transporte)

• Prazos adequados (tempo)

• Os conceitos de eficácia, eficiência e efetividade são os mais utilizados

nas avaliações de processos e resultados.

EFICÁCIA• Refere-se às características de

implementação de um processo e os resultados efetivamente alcançados.

• Maior eficácia quando os resultados são alcançados em menor tempo, menor custo e melhor qualidade onde o programa se apoia em processos e sistemas adequados de implementação.

PERGUNTA• Quais são ou foram, na

implementação, os fatores de ordem material e, sobretudo, institucional que operam como condicionantes positivos ou negativos do desempenho dos programas?

EFICIÊNCIA• Refere-se à relação tempo e custos na

implementação do programa. Mede o grau de aproximação e à relação entre o previsto e o realizado, no sentido de combinar os insumos e implementos necessários à consecução dos resultados visados.

EFICIÊNCIA

• Relaciona Produtos (bens e serviços) e custos dos recursos (insumos e atividades) – adicionado o parâmetro tempo (produtividade). Pode-se considerar também as alternativas tecnológicas do processos (eficiência técnica).

• Pergunta: As atividades operam com menores custos e no menor tempo possível para a produção máxima dos resultados esperados?

EFETIVIDADE• Refere-se à relação entre objetivos e metas

de um programa e impactos e efeitos de outro. A efetividade significa as quantidades e/ou níveis de qualidade com que o programa atinge impactos esperados e promove os efeitos previsíveis ou não.

OS EFEITOS PODEM SER...

• Efetividade social – Capital Social – Rede de articulações e parcerias específicas que facilitam sua execução ou adesão e satisfação dos agentes implementadores e da população-alvo.

OU...• Efetividade institucional – modificações

provocadas pelo programa sobre organizações e instituições responsáveis ou envolvidas na implementação – capacidade institucional, aprendizagem institucional ou hábitos ou comportamentos culturais das organizações.

PRINCIPAIS DIFICULDADES

• dificuldade de isolar da realidade variáveis efetivamente relevantes;

• a incerteza sobre os reais objetivos da política avaliada (dada a necessidade de distinguir entre objetivos explícitos e implícitos);

• as dificuldades de obtenção e adequação das informações;

PRINCIPAIS DIFICULDADES

• as dificuldades técnicas para estabelecer relações de causalidade entre os programas e seus resultados;

• as dificuldades para obtenção dos recursos financeiros necessários à realização de avaliações confiáveis (Arretche, 1998);

• a descontinuidade político-administrativa (Lobo, 1998).