monitoramento e avaliação de políticas públicas...
TRANSCRIPT
ESCOLA NACIONAL DE ADMINISTRAÇÃO PÚBLICA – ENAPDFP - Coordenação de Formação de CarreirasCurso de Aperfeiçoamento para Especialista em Políticas Públicas e Gestão GovernamentalDisciplina 4: Monitoramento e Avaliação de Políticas Públicas I (20 h)Professora: Maria das Graças RuaPeríodo: dias 4, 5, 6, 7 e 11 de outubro de 2005.Horário: 8h30 às 12h30
Monitoramento e Avaliação de Políticas Públicas I
Outubro de 2005
Avaliação no Ciclo da Gestão Pública
Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:
Deve estar presente – como componente estratégico - desde o planejamento e formulação de uma intervenção, sua implementação (os conseqüentes ajustes a serem adotados) até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção indo até o controle
Conceitos BásicosAvaliação formal
é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade
Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e seus critériosRequer uma uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores
Avaliação: objetivos geraisidentificar e mensurar os resultados, efeitos, impactos obtidos
compreender como e porque foram obtidos ou não
permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos
proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política
viabilizar estratégias de responsabilizaçao e accountability
proporcionar “policy learning”
AvaliaAvaliaçãção X Monitoramentoo X Monitoramento
Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas.
Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.
Monitoramento: Objetivos
identificar mudanças parciais a partir da linha de base das metas;
controlar o cumprimento das metas estabelecidas
acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação
identificar erros e omissões na concepção do próprio projeto ou programa
proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa
proporcionar “policy learning”
Pode-se monitorar atividades, processos, resultados, impactos.
Monitoramento também é chamado de “avaliação em processo” quando incide sobre os processos de implementação das ações.
Monitoramento baseia-se principalmente nos dados da implementação (internos)
Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.
Pesquisa Avaliativa: procedimentos de coleta de dados primários:
Análise quantitativa:Censos e pesquisas por amostragem
probabilística e não probabilísticaquestionários aplicados por entrevistador ou auto-aplicáveis
Análise qualitativa:Entrevistas em profundidade, individuais ou em
grupos focais, semi-estruturadas ou não estruturadas
ObservaçãoAnálise documental (de informação e/ou de
conteúdo)
Tipologia (s) de Avaliação- Avaliação Jurídica ou de conformidade- Avaliação de situação, ambiental ou de
contexto- Avaliação de desempenho- Avaliação de processo- Avaliação de produto- Avaliação de impacto- Avaliação de qualidade - Avaliação de satisfação do usuário
Tipologia (s) de Avaliação- Avaliação Interna - Avaliação Externa- Avaliação Mista - Avaliação participativa- Avaliação ex-ante- Avaliação ex-post- Avaliação Somativa - Avaliação Formativa ou Retroalimentadora
Critérios para avaliação: Eficácia capacidade de produzir os resultados
esperadosEconomicidade capacidade de reduzir custos Eficiência elevação da produtividadeEfetividade capacidade de maximizar a eficácia e a
eficiênciaEquidade capacidade de contribuir para a redução de
assimetriasSustentabilidade capacidade de manter e/ou expandir
os ganhos obtidos, para além da intervençãoanálise custo-benefício, análise custo-efetividade.
Elementos Essenciais à AvaliaçãoCondições de Avaliabilidade
Programa:Objetivos e Metas especificados Indicadores e linhas de baseDados, registros do processoFontes de dados/meios de verificação Avaliação:Critérios estabelecidosAbordagens consistentes com a natureza
dos dados e do objeto de avaliação
Métodos/Modelos de Avaliação - Custo/Benefício e Custo/Efetividade- Meta-avaliação- Avaliação Experimental- Avaliação quasi-experimental: sincrônica
e diacrônica- Modelo causal: Marco Lógico(BID) ou
Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)
Métodos/Modelos de Avaliação
Modelo orientado pela teoria ou Teoria do Programa: compara os resultados diretos e indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação da mesma. Pode usar abordagem dedutiva, indutiva ou focalizada no cliente.
Métodos/Modelos de Avaliação
Análise de discrepâncias ou Teoria da Implementação: compara desempenho com padrões estabelecidos para insumos, processos e resultados. A discrepância refere-se às diferenças entre a situação real prévia e o padrão e entre o desempenho e o padrão.
Métodos de Avaliação Participativa:Avaliação Independente de Objetivos –não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada e comparando esses dados com o que a intervenção especificamente indica como objetivos.
Métodos de Avaliação Participativa:Avaliação de Quarta Geração – focaliza as queixas,
interesses e reivindicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma.
Planejamento de um Sistema de M & A
1. Objetivo e periodicidade2. Usuários3. Critérios questões gerais4. Dimensões focais perguntas específicas5. Instrumentos e Mecanismos de M&A 6. Arranjo institucional 7. Estratégia de disseminação e aprendizado
organizacional8. Estratégia de sustentabilidade9. Orçamento
1-Objetivo e periodicidade das avaliaObjetivo e periodicidade das avaliaçõçõeses
*Testar a estratégia inicial para gerar os resultadosmomento inicial do ciclo do programa (1-2 anos)
*Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados
momento intermediário do ciclo do programa (2-3 anos)
*Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições
momento final do programa: meados do último ano
2-Usuários: a quem se destina cada produto dosistema de M&A, conforme os objetivos definidos
3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc
4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas
5-Instrumentos e Mecanismos: Oficinas de Monitoramento; Visitas de Validação; Oficinas de Avaliação de Efeitos; Seminários de Exame Final
6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A
7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)
8-Estratégia de sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários.
9-Orçamento
Desenho de uma Avaliação1-Usuário: a quem se destina a presente avaliação?2-Objetivo: o que o usuário deseja com a avaliação?3-Critérios da avaliação4-Indicadores e suas linhas de base5-Métodos e técnicas para a avaliação6-Informação necessária: que dados qualitativos e
quantitativos serão necessários, suas fontes e meios de verificação permitem validação
7-Métodos e período de coleta dos dados8-Métodos e técnicas de análise dos dados9-Limites e restrições da pesquisa avaliativa10-Equipe e orçamento
Desenho de um Monitoramento
1-Objetivo: processo de implementação, resultados e efeitos parciais ou ambos.
2. Periodicidade 3. Critérios questões gerais4. Dimensões focais perguntas específicas5. Indicadores e suas linhas de base6. Informações necessárias, fontes, bases de dados
e suas memórias7. Instrumentos e Mecanismos 8. Arranjo institucional 9. Estratégia de retroalimentação