FÓRUM DA REDE GOIÁS

Avaliação, instrumento estratégico

no ciclo de gestão do PPA 2004-

2007, “Avançar Mais”

Dra. Maria das Graças Rua

AVALIAÇÃO DE PROGRAMAS, AÇÕES

E PROJETOS

Ferramenta que contribui para integrar as atividades do ciclo de gestão pública: desde a identificação dos problemas e o planejamento, a gestão, até o controle

Pode subsidiar o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

Importância da avaliação para

o ciclo de gestão do PPA

Contribui para a melhor qualidade do

planejamento governamental.

Favorece a formulação de objetivos e metas

exequíveis e responsáveis.

Permite a correção de rumos nas ações

públicas.

Facilita alcançar eficácia, eficiência e

efetividade nas ações governamentais.

Importância da avaliação para

o ciclo de gestão do PPA

Facilita alcançar maior satisfação dos usuários

e maior legitimidade social e política.

Contribui para todas as atividades de controle

interno, externo, e controle social, levando maior

transparência e accountability às ações de

governo. É decisiva para o processo de aprendizagem

institucional.

Obstáculos à avaliação:

Modelos gerenciais orientados para processos/ Ausência de cultura de accountability

Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos

Falta de domínio conceitual e metodológico

Falta de clareza dos critérios

Falta de conexão entre avaliação e tomada de decisão, impede o aprendizado organizacional

Avaliação formal

É o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade

Avaliação: envolve tanto julgamento como atribuição

de valor e mensuração Não é tarefa neutra, mas comprometida com princípios

e seus critérios Requer uma cultura: uma disciplina intelectual e uma

familiaridade prática, amparadas em valores

Avaliação X Monitoramento

Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das intervenções realizadas.

Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das intervenções realizadas.

Avaliação: objetivos gerais

identificar e mensurar os resultados, efeitos, impactos

compreender como e porque foram obtidos ou não

julgar as intervenções mediante critérios definidos, como eficácia, eficiência, sustentabilidade, etc

proporcionar informações necessárias para a tomada de decisão sobre o objeto avaliado

viabilizar estratégias de responsabilização e accountability

proporcionar aprendizado institucional

Monitoramento: objetivos gerais

identificar mudanças parciais a partir da linha de base das metas

controlar o cumprimento das metas estabelecidas

acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação

identificar erros e omissões na concepção do próprio projeto ou programa

proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa

proporcionar aprendizado institucional

Tipologia (s) de Avaliação

Avaliação Jurídica ou de conformidade Avaliação de situação, ambiental ou de

contexto Avaliação de desempenho individual e

institucional Avaliação de processo Avaliação de produto/resultado Avaliação de impacto

Tipologia (s) de Avaliação

Avaliação de qualidade Avaliação de satisfação do usuário Avaliação Interna Avaliação Externa Avaliação Mista Avaliação participativa

Tipologia (s) de Avaliação

Avaliação ex-ante Avaliação ex-post

Avaliação Somativa Avaliação Formativa ou Retroalimentadora

Desafios para a institucionalização da avaliação:

definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção (objeto)

definição clara dos objetivos da avaliação

definição de critérios claros e consolidados para mensuração e julgamento

Desafios para a institucionalização da avaliação:

construção e utilização precisa e regular de indicadores fidedignos

identificação e pactuação de indicadores e informações relevantes com os atores envolvidos

estabelecimento e consolidação de marco conceitual e metodológico

utilização das abordagens compatíveis com o objeto e a ser avaliado e com sua complexidade.

Desafios para a institucionalização da avaliação:

combinação de abordagens qualitativas e quantitativas

definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo: utilização para decisões gerenciais

adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

Critérios para avaliação:

Eficácia capacidade de produzir os resultados esperados

Economicidade capacidade de reduzir custos

Eficiência elevação da produtividade, da relação custo/benefício

Efetividade capacidade de maximizar a eficácia e a eficiência

Equidade capacidade de contribuir para a redução de assimetrias individuais e sociais

Sustentabilidade capacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção

Métodos/Modelos de Avaliação

Análise custo-benefício, análise custo-efetividade.

Meta-avaliação Avaliação quasi-experimental: sincrônica e

diacrônica Modelo causal: Marco Lógico(BID) ou Matriz

Lógica (BIRD) ou Quadro Lógico (GTZ) Avaliação Independente de objetivos

Como gerenciar um sistema de avaliação :

1. Definir objetivos e periodicidade2. Identificar os Usuários3. Estabelecer Critérios questões gerais4. Identificar dimensões focais perguntas específicas5. Selecionar Instrumentos e Mecanismos de Avaliação6. Definir o Arranjo institucional 7. Definir as estratégias de disseminação e aprendizado

organizacional8. Definir as estratégias de aplicação das

recomendações e de sustentabilidade9. Orçamento

1-Objetivo e periodicidade das avaliaçõesObjetivo e periodicidade das avaliações

*Testar a estratégia inicial para gerar os resultadosmomento inicial do ciclo do programa (1-2 anos)

*Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados

momento intermediário do ciclo do programa (2-3 anos)

*Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições

momento final do programa: meados do último ano

2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos

3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc

4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas

5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A

7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

8-Estratégia de aplicação e sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários.

9-Orçamento