ministÉrio do planejamento estratégia de uso de indicadores medir resultados para atestar o...

32
MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu A. de Pinho Brasília, Outubro de 2009

Upload: internet

Post on 17-Apr-2015

110 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Estratégia de Uso de Indicadores

Medir resultados para atestar o alcance de objetivos

MINISTÉRIO DO PLANEJAMENTO

Carlos Tadeu A. de PinhoBrasília, Outubro de 2009

Page 2: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Ao estabelecer, a partir do PPA 2000-2003, que toda ação destinada a proporcionar bem ou serviço para atendimento a demandas da

sociedade fosse estruturada em Programas, o Governo Federal determinou também que fossem previstos indicadores destinados a quantificar a

realidade que se pretendia modificar, considerando a premissa que medir resultados é essencial para atestar a conquista de objetivos.

Apresentação

Page 3: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Fonte: SIGPLAN – Módulo de Avaliação

Nos últimos 4 anos, em média mais de 30% dos indicadores do PPA não foram apurados.

Indicadores no PPA Indicadores no PPA

Page 4: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Construção de indicadores feita de forma intuitiva, pouca ênfase na teoria como norteadora da prática.

Causas prováveis:

Falta compreensão do significado e alcance dos indicadores no ciclo de gestão das políticas públicas.

Inexistência de uma orientação estratégica orientada à construção e utilização de indicadores.

Indicadores no PPA Indicadores no PPA

Page 5: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Definir uma estratégia de utilização

de indicadores orientada à avaliação

de resultados dos programas do PPA.

Objetivo Geral Objetivo Geral

Page 6: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Marco Conceitual

Guia Metodológico

Guia de Referência

Conteúdo Conteúdo

Page 7: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Tem por objetivo estabelecer um paradigma conceitual para a Administração Federal acerca de Indicadores, constituindo a fundamentação teórica necessária à utilização de medidas de desempenho.

Visa também, mas não se restringe, a:

uniformizar conceitos, classificações e nomenclaturas;

possibilitar o entendimento da literatura existente;

incorporar experiências nacionais e internacionais.

Marco Conceitual Marco Conceitual

Page 8: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Apresentação

Conceitos

Histórico

Funções Básicas

Tipologia:

Propriedades

Taxonomias

Limitações

Anexos

Conteúdo Conteúdo

Page 9: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Validade: capacidade de representar, com a maior

proximidade possível, a realidade que se deseja medir e

modificar. Um indicador deve ser significante ao que está

sendo medido e manter essa significância ao longo do

tempo.

Confiabilidade: indicadores devem ter origem em fontes

confiáveis, que utilizem metodologias reconhecidas e

transparentes de coleta, processamento e divulgação.

Simplicidade: indicadores devem ser de fácil obtenção,

construção, manutenção, comunicação, entendimento e

reconhecimento pelo público em geral, interno ou externo.

Propriedades Propriedades

Page 10: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Sensibilidade: é a capacidade que um indicador possui de

refletir tempestivamente as mudanças decorrentes das

intervenções realizadas.

Desagregabilidade: capacidade de representação

regionalizada de grupos sociodemográficos, considerando

que a dimensão territorial se apresenta como um

componente essencial na implementação de políticas

públicas.

Economicidade: capacidade do indicador de ser obtido a

custos módicos; a relação entre os custos de obtenção e os

benefícios advindos deve ser bastante favorável.

Propriedades Propriedades

Page 11: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Estabilidade: capacidade de estabelecimento de séries

históricas, que permitam monitoramentos e comparações.

Mensurabilidade: é a capacidade de alcance e

mensuração quando necessário, na sua versão mais atual,

com maior precisão possível e sem ambiguidade.

Auditabilidade: qualquer pessoa deve sentir-se apta a

verificar a boa aplicação das regras de uso dos indicadores

(obtenção, tratamento, formatação, difusão, interpretação).

Propriedades Propriedades

Page 12: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Insumo: são indicadores ex-ante facto que têm relação direta com os recursos a serem alocados, ou seja, com a disponibilidade dos recursos humanos, materiais, financeiros e outros a serem utilizados pelas ações de governo. Pode-se citar como exemplos médicos/mil habitantes e gasto per capita com educação.

Processo: são medidas in curso ou intermediárias que traduzem o esforço empreendido na obtenção dos resultados, ou seja, medem o nível de utilização dos insumos alocados, por exemplo o percentual de recursos financeiros liberados no mês.

Produto: medem o alcance das metas físicas. São medidas ex-post facto que expressam o quanto foi entregue de produtos ou serviços em relação às metas, que deverão resultar em mudanças no público-alvo e na sociedade. São exemplos o percentual de quilômetros de estrada entregues, de armazéns construídos ou de crianças vacinadas, em relação às metas físicas estabelecidas.

Resultado: são medidas expressam os efeitos ou benefícios do Programa no público-alvo e têm particular importância no contexto de gestão pública orientada a resultados. São exemplos a taxa de reprovação escolar e a taxa de homicídios.

Impacto: possuem natureza mais abrangente e multidimensional, têm relação com a sociedade como um todo e medem os efeitos das estratégias governamentais de médio e longo prazos. Na maioria dos casos estão associados aos objetivos setoriais e de governo. São exemplos o Índice Gini de distribuição de renda e o PIB per capita.

Indicadores de Gestão do Fluxo de Implementação de Programas Indicadores de Gestão do Fluxo de Implementação de Programas

Page 13: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Economicidade: medem os gastos envolvidos na obtenção dos insumos necessários às ações que produzirão dos resultados planejados. Visa minimizar custos sem comprometer os padrões de qualidade estabelecidos e requer a implementação de um sistema que estabeleça referenciais de comparação e negociação.

Eficiência: essa medida possui estreita relação com produtividade, ou seja, o quanto se consegue produzir com os meios disponibilizados. Assim, a partir de um padrão ou referencial, a eficiência de um processo será tanto maior quanto mais produtos forem entregues com a mesma quantidade de insumos.

Eficácia: aponta o grau em que um programa atinge os objetivos planejados, ou seja, uma vez estabelecido o referencial (linha de base) e as metas a serem alcançadas, utiliza-se indicadores de resultado para avaliar se estas foram atingidas ou superadas.

Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a intervenção, ou seja, aponta se, de fato, houve mudanças socioeconômicas, ambientais ou institucionais decorrentes dos impactos obtidos pela política, plano ou programa.

Indicadores de Avaliação de Desempenho Indicadores de Avaliação de Desempenho

Page 14: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Indicadores no Fluxo de Implementação de Programas Indicadores no Fluxo de Implementação de Programas

Page 15: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Indicadores são representações imperfeitas

São abstrações, representações, simplificações de uma dada realidade, portanto são suscetíveis aos vieses de quem produziu, coletou e/ou interpretou.

O indicador e a dimensão de interesse não se confundem

Há casos em que o foco das ações é deslocado da dimensão que se deseja trabalhar para o indicador escolhido para representá-lo.

Indicador sintético versus Sistema de Indicadores

cuidado na escolha de indicadores sintéticos, em geral apontam áreas de ação prioritárias mas não expressam problemas específicos.

Limitações Limitações

Page 16: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Tem por objetivo estabelecer uma metodologia

para a construção ou seleção de indicadores

para os programas do Plano Plurianual do

Governo Federal, com foco na aferição de

resultados.

Guia Metodológico Guia Metodológico

Page 17: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Apresentação: por que indicadores e condicionantes Marco Conceitual Sistema Estatístico Nacional: objetivos, abrangência, componentes, produtos Indicadores no PPA: Dimensões Estratégicas, Papéis e responsabilidades Método de Construção Simulação de Uso Anexos

Fontes, Publicações e Tecnologias Perguntas mais frequentes Guia de Referência

Conteúdo Conteúdo

Page 18: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Instituições Componentes

De acordo com o artigo 1o da lei 6183, tem como objetivo possibilitar o conhecimento da realidade física, econômica e social do País, visando especialmente ao planejamento econômico e social e à segurança nacional.

Abrange as atividades nas áreas de estatísticas primárias (contínuas e censitárias); as estatísticas derivadas (indicadores econômicos e sociais, sistemas de contabilidade social e outros sistemas de estatísticas derivadas); e a sistematização de dados sobre meio ambiente e recursos naturais.

Fonte: Anipes/Fundação SEADE

Sistema Estatístico Nacional Sistema Estatístico Nacional

Fonte: Anipes/Fundação SEADE

Page 19: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Papéis e Responsabilidades Papéis e Responsabilidades

Fonte: Portaria 140, de 10/06/2009, do Ministério do Planejamento

Page 20: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Método de Construção

1. Avaliar objetivos e metas

Entender bem objetivos e metas é essencial para a escolha de indicadores válidos. A medição dos resultados irá apontar o grau de alcance dos objetivos e de sucesso do programa.2. Identificar os principais interessadosFaz-se necessário determinar quem são os principais interessados, pois diferentes envolvidos possuem diferentes necessidades de informação.3. Definir tipos de indicadores necessários. Indicador de resultado final: ou indicador-chave, mede o resultado final no seu aspecto mais relevante.Indicador complementar de resultado: às vezes um objetivo de programa possui tal grau de abrangência que demanda outros indicadores.Indicador específico: serve para expressar necessidades dos interessados ou especificidades do conceito a ser medido (transversalidades, impactos).4. Definir critérios de seleçãoEliminatórios: são os critérios que devem ser obrigatoriamente atendidos, do contrário a medida deverá ser descartada. Classificatórios: servirão para estabelecer um ranking dos indicadores, possibilitando escolhas mais seguras.5. Mapear indicadores candidatosCaso não seja possível selecionar no SEN, os indicadores deverão ser construídos no contexto do programa.6. Realizar análise de trade-offPermite analisar vantagens e desvantagens das alternativas.7. Validar os indicadores selecionadosTrata-se de uma verificação final de conformidade e pertinência, utilizando-se para isso de um check list.8. Cadastrar os indicadoresOs atributos descritivos dos indicadores escolhidos devem ser cadastrados no sistema.

Page 21: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Critérios de Seleção

Page 22: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Matriz de Priorização

Page 23: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Check List de Verificação Final

1. Os indicadores escolhidos são válidos para expressar os resultados esperados?

2. Tem relação direta com os objetivos do programa?

3. Consideram a dimensão territorial desejada?

4. São em quantidade suficiente para expressar todas as dimensões envolvidas?

5. Atendem ao critério de completude dos atributos exigidos para o seu cadastramento no sistema?

6. Expressam questões transversais, quando existirem?

7. São oriundos de fontes confiáveis?

8. Quando utilizados por outros programas sofrem influência destes?

9. As limitações inerentes aos indicadores foram consideras?

10. Deve haver redefinição de objetivos ou revisão da teoria do programa?

Page 24: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Anexos - Fontes

Page 25: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Anexos - Publicações

Page 26: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Anexos - Publicações

Page 27: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Anexos - Publicações

Page 28: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Guia de Referência

Page 29: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Page 30: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Page 31: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Próximos Passos

Validação da metodologia proposta.

Avaliação conjunta dos indicadores dos programas do PPA

Definição e implementação de uma estratégia de divulgação:

Publicação

Cursos

Oficinas de Indicadores

Page 32: MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos MINISTÉRIO DO PLANEJAMENTO Carlos Tadeu

MINISTÉRIO DO PLANEJAMENTO

Contatos Contatos

[email protected]