1 indicadores de desempenho e evaluacion de programas curso políticas orçamentárias e gestão...

1

INDICADORES DE DESEMPENHO E EVALUACION

DE PROGRAMAS

Curso Políticas Orçamentárias e Gestão Pública por Resultados

ILPES/CEPAL

Outubro 2006

Marianela Armijo

2

INDICADORES DE DESEMPEÑO

INDICADORES DE DESEMPENHO: CONCEITOSPASSOS BASICOS PARA SEU CONSTRUCCIONREQUISITOS E CONDIÇÕESDIFICULDADES

3

INDICADORES DE DESEMPEÑO:CONCEPTOS

INSTRUMENTOS DE MEDICION DAS VARIÁVEIS SÓCIAS ÀS METAS

MEDIDAS QUE DESCREVEM COMO UMA INSTITUCION ESTA ATINGINDO SEUS OBJETIVOS E METAS

4

OBJETIVOS USO INDICADORES(*)

Induz melhoras em InformaçãoFundamenta a discussão de ResultadosPossibilita a AvaliaçãoApóia o processo de Formulação de PolíticasFacilita o estabelecimento de Compromissos de Resultado

(*) Dirección de Presupuestos. Ministerio Hacienda. Chile.

5

EVALUACION DA GESTION

Foco da evaluacion MEDICION DO DESEMPENHO CONSEGUIDO PELAS INSTITUIÇÕES

ELABORACION DE MEDIDAS DE DESEMPENHO PODE ABARCAR TODO O

PROCESSO DE PRODUCCION

INSUMOS

PROCESSOS

PRODUTOS

RESULTADOS

6

PROCESSO

PRODUTO – (OUTPUT)

RESULTADO FINAL OU IMPACTO

(OUTCOME)

INSUMO (INPUTS)INSUMO (INPUTS)

¿Com que rapidez o estamos fazendo? Quanto nos custa?

¿Quantas unidades de produtos e serviços

estamos gerando ?

¿Quantos recursos investimos, quanto pessoal trabalhou no processo ?

¿Cómo están cambiando las condiciones que estamos interviniendo?

7

•Custo da campanha de televisão

•desenho e provas dos avisos -produção dos avisos -compra do tempo de aviso comercial

•avisos realizando-se na Televisão

Resultados

Imediatos

Finais

•gente vê os avisos

•as atitudes da gente se vêem afetadas

•o comportamento se vê afetado

•menor incidência de doenças relacionadas com o tabagismo

Intermédios

Processos (Atividades)

Insumos (Inputs)

Produtos

8

Quem somos ou que fazemos Quem somos ou que fazemos

Onde queremos ir Onde queremos ir

Cómo podemos chegarCómo podemos chegar

Como sabemos que chegamos Como sabemos que chegamos

Objetivos

Estratégias

Medidas de Desempenho

Missão

A medição do desempenho é parte de um longo processo de planejamento

9

PASSOS BASICOS PARA A CONSTRUCCION DE

INDICADORES IDENTIFICAR OBJETIVOS E METASIDENTIFICAR AS AREAS DE MEDICION DE DESEMPENHO CONSTRUIR AS FORMULAS OU ALGORITMOSVALIDAR: APLICAR CRITÉRIOS DE TECNICOS E REQUISITOSRECOPILAR A INFORMACION NECESSÁRIAESTABELECER RESPONSABILIDADES ORGANIZACIONALESCOMUNICAR E INFORMAR

10

Ciclo Básico do Processo de Construção

de Indicadores de desempenho

1. Identificação e/ou revisão de

Missão

Objetivos

Estratégico

Metas

2. Estabelecer as medidas de desempenho claves

Eficácia, Eficiência, Qualidade, Economia

3. Atribuir as responsabilidades

Estabelecer indicadores em cada nível da organizacion 4. Estabelecer os referentes comparativos

5. Construir as fórmulas

6. Coletar os dados e gerar sistemas de informação

7. Validar os indicadores

9. Comunicar e informar

8. Analisar e interpretar os resultados

11

IDENTIFICAR OBJETIVOS E METAS

¿TENHO IDENTIFICADA A MISSÃO, OS PRODUTOS E OS USUÁRIOS?

¿ TENHO CLAROS OS OBJETIVOS QUE DEVO CONSEGUIR?

¿ ESTÃO OS OBJETIVOS ALINHADOS COM As PRIORIDADES ESTRATÉGICAS DA ORGANIZAÇÃO?

¿ OS OBJETIVOS ESTÃO EXPRESSADOS EM METAS MENSURÁVEIS?

12

IDENTIFICAR AS AREAS DE

MEDIÇÃO DA DESEMPENHO

¿QUE AREAS DO DESEMPENHO RESULTA CONVENIENTE MEDIR ?

EFICIÊNCIAEFICÁCIA

QUALIDADEECONOMIA

13

INDICADORES DA DESEMPEHNO (*)

EFICÁCIA

EFICIÊNCIA

ECONOMÍA

QUALIDADE

PROCESSO PRODUTO RESULTADO

Dimensões

AMBITOS DE CONTROLE

(*) Indicadores de Desempeño. www.dipres.cl

14

Qualidade

Eficácia

Eficiência

Economia

Estimação Meta

1998 1999 2000 2001 2002

Produco relevante (bien y/o servicio) al

que se vincula

Indicador de

DesempenhooFórmula de

cálculo

Informação Histórica Meios de

Verificacion

Programa/ Subtítulo/ ítem/

Atribuição

Orçamentária

MATRIZ DE INDICADORES (*)

(*) Indicadores de Desempeño. www.dipres.cl

15

Nº de usuáriosatendidos

Nº de certificados emitidos

Monto investimento

executado

Nº de usuários por atender

Nº Certificados solicitados

Monto atribuído para

investimento

O que se faz O que deve fazer-se

DEFINIR AS FORMULAS OU ALGORITMOS

A) BASES DE COMPARAÇÃO

16

FORMULAR ALGORITMOS

b) Definição de ratios

Custos médios: Custo total consultas/ conferes realizadasProduto medio:Nº inspeções realizadas/Nºinspetores

c) Definição de padrões

% de recomendações aceitadas% de clientes satisfeitos Nº de erros Tempo média de tramitação

17

RECOPILAR A INFORMACION NECESSÁRIA

Informação contável-orçamentária

Estatísticas de produção física,

ônus de trabalho do pessoal

Enquetes, estudos especiais

Benchmarking,etc

18

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION

EFICÁCIA:Mede o grau de cumprimento dos objetivos e metas estabelecidos, através dos produtos ou resultados obtidos, sem referência ao custo de consecução dos mesmos

19

EFICACIA:PRODUTO RESULTADO

INTERMÉDIORESULTADO FINAL OU IMPACTO

Percentagem de reclusos participando do programa de

reinserção /Total população enclausurada potencialmente beneficiária do

Programa

Taxa anual de variação de reclusos com contrato de trabalho

Porcentagem de desempleo da poblacao reclusa aprovada

Ateliês de capacitação realizados/Ateliês de capacitação

programados

Participantes que conseguem certificar-se por concorrência/Total de participantes

(Produtividade dos participantes ano t -Productividad participantes ano t-1/Produtividade participantes año t-1)*100

20

EFICÁCIA/Cobertura

Area de cultivo inclusa no Programa

Area Total do Programa de Cultivo

Direção Geral de Serviços Agrícolas . Uruguay

Controles de emissões Ônibus Interurbanos

Total de Ônibus Interurbanos

Subsecretaria de Transportes Chile

Reclusos com atividade industrial Total de reclusos

Direção Nacional de Cárceres Uruguay

21


Estabelece a relação entre a produção física do bem ou serviço e os insumos utilizados para atingir o nível de produto.

Maior quantidade de serviços dado o mesmo nível de recursos

Atingir um determinado nível de serviços utilizando a menor quantidade de recursos possível

EFICIÉNCIA

22


Custo médio de produção (Custo por beneficiário, custo por componente)

Produtividade média (usuários atendidos por unidade de tempo, fiscalizações por inspetor)

EFICIÉNCIA

23

EFICIÉNCIA

EFICIENCIA-Costo Medio

Gastos administrativos programa bolsa/bolsas entregadas

Gasto total programa certificação/Caixas vistoriadas

Gasto associado a intervenções quirurjicas/número de intervenções

Custo total de unidades moradias contratadas/unidades contratadas

24

EFICIÉNCIAEFICIENCIA-Produto Medio

Número de inspeções/número de inspetores

Número de expedientes resolvidos por semestre/dotação de pessoal na tarefa

Número de inspeções ao transporte de passageiros/pessoal afetado à tarefa

Número de consultas/número de médicos

25


Qualidade

Mede a capacidade da organização por cumprir com os requisitos de satisfação do produto que esperam os usuários, em termos de oportunidade, acessibilidade, precisão, etc.

26


Qualidade Medições indirectas:

Melhorar os atributos e caracteristicas dos

Produtos

Medições diretas

Grau de satisfação dos usuários

27

Qualidade

Qualidade-Tempo de resposta Tempo de espera média para atendimento em consulta

Direção Geral de Saúde

Tempo de tramitação média de solicitações mineiras Direção Geral de geologia e mineração

Tempo média para o estudo de cada Plano de ReflorestamentoDireção Geral de Recursos Naturais

Dia de demora média de trâmites de legalizaçãoDireção Geral de Secretaria

28

Qualidade Qualidade- Satisfação do usuário

Percentagem de aprovação Enquete de opinião aos usuáriosDireção Nacional de Registos

Percentagem de reclamos/casos atendidosDireção Nacional de Topografia

Número de reclamos/assuntos resolvidosSubsecretaria do Ministério de Educação e Cultura

Número de serviços reclamados/número total de serviços Hospital de Montevideo

29

Accesibilidade Percepcion de usuários

Precision

Percentagem de respostas aos Parlamentares dentro dos limites

lembrados

Número de localidades cobertas por atendimentos

móveis

Percentagem de aprovação excelente dos ateliês de trabalho, pelos participantes

Percentagem de contratos findos por

erros

Percentagem de reportes econômicos entregados em tempo lembrado

Nº de horas que a Biblioteca está aberta fora das horas de trabalho

Número de falhas reais/ Falhas programadas

Percentagem de População com necessidades especiais que são membros ativos da

Biblioteca

INDICADORES DE QUALIDADE

Número de intervenções com atraso/ Número de intervenções totais

Percentagem de contratos com um ou mais erros encontrados por revisões externas

Percentagem de usuários satisfeitos

Nº de usuários satisfeitos/ Total usuários interrogados Nº de usuários Satisfeitos com o trato no atendimento/

Total usuários

Oportunidade

30


Economia

Capacidade da instituição por gerar e mobilizar adequadamenteos recursos financeiros de um programa ou instituição.

Exemplos:

Capacidade de autofinanciamientoNível de recuperação de empréstimosCapacidade de execução do orçamento

31

ECONOMIA

Percentagem de recuperação de créditos de curto prazo

Gasto de atividades de apoio/gastos totaisAporte

Aporte de beneficiários a financiamento/Monto total de investimento do programa

Gasto de funcionamento/gastos executados totais

Recuperação de cobranza/Faturação

32

ESTABELECER RESPONSABILIDADES ORGANIZACIONALES

Os centros de responsabilidade: Têm produtos estratégicos claramente asignableTêm objetivos concretos a atingir. Tem à cabeça um diretor responsável com pelo cumprimento desses objetivos.Dito diretivo não só conta com a responsabilidade senão que também com a autoridade e as atribuições para tomar as decisões necessárias para o lucro dos objetivos. Tem atribuído recursos humanos, materiais e financeiros.

33

Direção

Centros de Responsabilidade

Unidade de Controle de Gestão

Acuerdo Metas /

Indicadores

Informação Metas / Indicadores

Información de avanço

Evaluacion

Recomendações

Retroalimentação

Medidas correctivas

Modelo básico de Unidade de Controle de Gestão

34

Relevância Pertinência

Integracion

Homogeneidade

Independencia

Confiabilidad

Não é possível nem desejável medí-lo todo

Medir o correto

Eficácia, eficiência, qualidades, economia

Medidas equivalentes

Medir o controlável

Dados suficientes e demostrables

APLICAR CRITÉRIOS DE TECNICOS E

REQUISITOS Custorazoável

35

APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS

RELEVÂNCIA DA MEDICION

ASSEGURAR-SE QUE ESTOU MEDINDO OS OBJETIVOS VINCULADOS AO ESTRATEGICO

INDICADORES QUE ESTEN VINCULADOS COM O DEFINIDO NO PLANO ESTRATEGICO E NO PLANO

OPERATIVO

“NÃO É POSSÍVEL, NEM DESEJÁVEL MEDÍ-LO TUDO”

36

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES

MEDIR O CORRETO:

CONHECER O PROCESSO DE PRODUCCION QUESE MEDE,

ASEGURANDOSE QUE A MEDIDA DE DESEMPENHO REPRESENTA UM PROCESSO FINQUE PARA A

OBTENCION DA META.

37


INDEPENDÊNCIA

MEDIR O QUE A INSTITUCION SEJA CAPAZ DE CONTROLARCONTAR COM OS DADOS SUFICIENTES E DEMOSTRABLES

38


CUSTOS RAZOÁVEIS NA RECOLECCION DE DADOS

HOMOGENEIDADE

PARA UM MESMO SERVIÇO MEDIDO A NATUREZA DAS PRESTAÇÕES DEVEM SER EQUIVALENTES

39


OS INDICADORES DE DESEMPENHO NÃO SÃO UM FIM EM SE MESMO SENÃO UM MEIO.

“A EVALUACION MAS QUE UMA MEDICION É UMA INTERPRETACION DOS RESULTADOS”

DEVEM ESPECIFICAR-SE E TER-SE EM CONTA A INTERRELACION DAS DIFERENTES MEDIDAS DE DESEMPENHOSIMPLICIDADE DA MEDICION

40

COMO INTERPRETAR OS RESULTADOS

BASES DE COMPARACION:

DESEMPENHO HISTORICO: METASDESEMPENHO CONSEGUIDO

EM INSTITUIÇÕES SIMILARES, PROCESSOS OU PROGRAMAS.

41

COMO INTERPRETAR OS RESULTADOS

NÃO HÁ UMA MEDIDA UNICA QUE DEMONSTRE POR SE SÓ O DESEMPENHO DA INSTITUCION

REQUER-SE UM COMBINACION DE LASRESULTADOS, IMPACTO, EFICÁCIA, EFICIÊNCIA,

QUALIDADE

“ CERTOS INDICADORES PODEM SER CONTRADITÓRIOS ENTRE ELES”:

42

•GESTION DE ANOS ANTERIORES

Percentagem de aumento do parque informático da Unidade Executora e sua conexão em rede

Fórmula de cálculo: 1999 2000 2001

[(Equipes incorporadas e 53 71 96conectados nos ano t/equipes conectadas ano t-1) -1] *100 33,9% 35,2%

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO

43


UM ESTANDAR DE INSTITUIÇÕES SIMILARES

Tempo máximo de tramitação de mediações

Fórmula de cálculo:1999 2000 Meta

Sumatoria de N°de dias de

Tramitação /N°de tramitações Realizadas 18dias 30dias 25dias(dias)

44

O PROGRAMADO, COMPARACION RESPECTO DO OBJETIVO DEFINIDO

Percentagem de vias navegáveis já habilitadas

Fórmula de cálculo

Vias navegáveis habilitadas ano t/Vias navegáveis programadas ano t

1999 2000 2001

S/d s/d (120/143)*100 83,9%


45

INTEGRALIDAD DAS METAS

INDICADOR DE QUALIDADE

Calorias por ração. * Percentagem de aceitaçãodos escolares (enquete)

INDICADOR DE EFICIÊNCIA

Custo média das rações gasto total programa / número de rações

INDICADOR DE EFICÁCIA

População escolar em programa / população escolar total

Aumentar a cobertura do programa de rações a um 55% da população escolar.

Chegar a um custos média de $5.

Atingir 1000 calorias por ração

46

PROBLEMAS FREQUENTES NA

CONSTRUCCION DE INDICADORES

ARMADILHA DA MEDICION:

MOSTRA-SE COMO RESULTADOS (E SE FAZ) SÓ O QUE SE PODE MEDIRTENDE-SE A MEDIR DE ACORDO À INFORMACION DISPONÍVEL, DESCUIDANDO A MEDICION DOS ASPECTOS MAS RELEVANTESSUBVALORACION DAS METAS FRENTE A UM AMBIENTE PUNITIVO DA EVALUACION

47

PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES

TENDÊNCIA A MEDÍ-LO TUDO PARA NÃO SUBREPRESENTAR ESFORÇOS

DESENVOLVEM-SE INDICADORES MAS NÃO SE USAM PARA A TOMADA DE DECISÕES.

1 indicadores de desempenho e evaluacion de programas curso políticas orçamentárias e gestão...

Documents