GESTÃO, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E

PROJETOS SOCIAIS

Colaboração UNICEF / Ministério Público

Brasília, Abril 27, 2006

Manuel Rojas Buvinich

Contexto de M&A nas Políticas Públicas

Causas de diferente índole afectando estas situacionesCausas de diferente índole afectando estas situaciones

Política Pública

Recursos y Procesos- Gobierno- ONGs- Sociedad Civil- Org. Internac- Sector Privado- Otros

Actores

Programas(nacional, locales)

Proyectos y actividades

Macro-Políticas,Marcos jurídicos

M&E – Indicadores (I1..In)30% de las familiasEn situación de

pobreza

Reducir la pobrezaa la mitad hasta

2015

AS:

UNICEF tem o mandato da Assembléia Geral das Nações Unidas parapromover pela realização dos Direitos das Crianças e Adolescentes. O UNICEF tem como marco orientador a Convenção dos Direitos da Criançacujos princípios e conteúdos são os estándares queorientam a cooperação

MARCO DE DIREITOS

- Com a ratificação da Convenção sobre os Direitos da Criança e promulgação do Estatuto da Criança e do Adolescente

- O Brasil detêm a responsabilidade de promover, respeitar, proteger e garantir os direitos políticos, civis, econômicos, sociais e culturais das crianças e dos

adolescentes.

- Isso significa que a realização desses direitos não é uma questão de filantropia ou de assistencialismo e, sim, uma obrigação de diversos atores

(é dever da família, da sociedade e do Estado, segundo o artigo 227 da Constituição Federal do Brasil) para com os detentores desses direitos.

DIREITOS GARANTIDOS

DEMANDA DE UM DIREITORESPONSABILIDADES

Sujeito detentordo direito

exigindo (ou) não do responsável

respeitando osdireitos

dos outros

Responsávelobrigado a respeitar,

proteger e garantir

OPERACIONALIZANDO O MARCO DE DIREITOS

Uma criança emIdade escolar tem

o direito legítimo àeducação. O

estado e os paistêm a obrigação de

garantir essedireito

dos responsáveis

a fim de empoderaros sujeitos de direito

para reinvidicar

UNICEF E PARCEIROSDESENVOLVEMCAPACIDADES

B

D

C

A

RESULTADO = Mudanças

PROCESSOSPositivoNegativo

Ne

ga

tiv

oP

osi

tiv

oGESTÃO PORRESULTADOS

Etapas p. o Desenvolvimento de um Sistema de M&A

Qué queremos alcançar num determinado periodo de tempo?

Cómo devemos medir a mudança e os processos?

Ter consenso sobre osobjetivos/resultados e metas

Consenso nos indicadores, linha de base e metas

Ter claro os produtos, atividades e recursos

Cómo vamos a alcançar osobjetivos/resultados

Quais os meios de verificação?

Análise, uso e reporting

Para quens e cómo vamos a analisar a informação, suadisseminação e uso?

Identificação das fontes, fluxos, periodicidade e resp.institucional

FASES - GERÊNCIA BASEADA EM RESULTADOS• Analisando a situação

• Formulando o marco de resultados • Estabelecendo metas• Selecionando indicadores

Planificação Estratégica

Gestão de Desempenho

• Usando e divulgando a informação do desempenho para melhorar o programa e a gestão organizacional.

• Avaliação lições aprendidas

Medida de Desempenho

• Monitoramento de indicadores de desempenho

Tipologia de Resultados

Resultados

Impacto/SR

Produtos

Atividades

Incidência de HIV/AIDS em adolescentes

reduzida

Adolescentes adotando

práticas de prevenção

Adolescentes com

conhecimentos PP

-Organizar campanhas. - Preparar material

Institucional/

comportamental

Operacionais, produtos e serviços

Humano!

Resultados Como.. Foco @Tempo

<1 ano

<5 anos

5 anos

5-10 anos

mais

menos

Responsabilidade

coletiva

9

Treinamentos Materiais Docentes Fundos MEC

UniversidadesSecretarias

Recursos pedagógicos e de conteúdo

desenvolvidos e distribuidos

nos municípios

Mais municipios desenham e

implementam o PME

Mais municipios

desenvolvem planejamento da

rede física O acesso à educação se amplia com

maior equidade

Gestores aplicam os recursos de contenido e habilidades gerenciais .

Gestores municipais

capacitados e certificados. Gestores

melhoram os seus conhecimentos e conteúdo e sus habilidades gerenciais.

Os alunos permanecem na escola e aprendem mais

As escolas implementam

curriculum que promovem equidade de gênero e não

discriminação

Os pais e os atores locais têm

uma maior participação na

gestão democrática das

escolas e no desenvolvimento das políticas de educação

As escolas oferecem melhor infraestrutura e materiais

A educação está mais articulada com o desenvolvimento local

Melhora o desenvolvimento humano e a equidade

A educação possui uma qualidade social para todos

AtividadesE Recursos

Marco de ResultadosPRADIME

Produtos

EfeitosImediatos

Efeitos meio e longo prazo

Sobrevivência (melhorada)Abuso (reducido)Morbilidade (reducida)Desenvolvimento físico (melhorado)Desenvolvimento cognitivo e psicológico (melhorado)Aprendizagem e conclusão (aumentados)

Gerenciamento de serviços melhorados, mais eficientesCompromisso políitico aumentadoRecursos públicos aumentadosAtitudes e práticas (melhoradas)Mulheres e adolescentes empoderadasQualidade de serviços melhoradaParticipação de professores melhoradaAcesso a serviços aumentadoServiços funcipnando segundo padrões estabelecidos

• Projeto de lei finalizado• Politica desenvolvida ou atualizada• Sistema de cadeia de frio reparada• Sistema da avaliação implementado• Novos curriculuns nas escolas• Escolas construidas• Sistemas de fornecimento de água instalados• Parcerias estabelecidas

IMPACTO

EFEITOS

PRODUTOS

• Desenvolver (materiais, metodologias), • Organizar (eventos, treinamentos, reuniões, etc)• Preparar, mobilizar, comunicar, produzir, etc

ATIVIDADES

O que é a gerência baseada em resultados RBM?

É uma abordagem de gerenciamento cujo objetivo éassegurar que os recursos e os processos (atividades)

gerem os resultados desejados.

A lógica do Marco Lógico

A hierarquia de resultados…..

Impactos

Efeitos

Produtos

Insumos

AtividadesEstrutura vertical

Hierarquia dos Resultados e Atribuição

OBJETIVO GERAL/IMPACTOTodos osrecemnascidos com RB

OBJETIVO/ EFEITO DESEJADOMaternidadesfornecendo o RN

INSUMOS

EquipamentoPessoallFundosConhecimento

OUTPUTSFamíliasinformadassobre RN

Maternidades equipadasparafornecer RN

EFICIENCIAAtividades e produtos em relaçãoao planejado, qualidade dasatividades e produtos,Custos por unidadede produtocomparado com padrões

EFETIVI- DADE

Se as maternidadesestãofornecendo o registro de nascimento, dificuldades, explicaçãodos fatoresque têminfluenciado, liçõesaprendidas

IMPACTO

Incrementodesejado no número de recem nascidoscom registro de nascimento

Efeitos nãoesperados(?)

SUSTAN-TIBILIDADE

habilidadepara manter o registro no futuro

InstitucionalPoliticaFinancieraSocial

RELEVÂNCIA

O problema é ainda válidopara osdiferentesatores?

A estratégia é válida?

ATIVIDADESTreinarOrganizarcampanhasPrepararmateriais

Processo de Aprendizagem

Rendição de Contas

Empoderamento

Tomada de Decisões

Linha de BaseLB

Meta Meio de verificación

MOV

IndicadorHierarquiaDe Resultados

Impactos

Efeitos

Produtos

Insumos

Atividades

LOGICA HORIZONTAL

NIVELES INDICADORES LINEA DE BASE

META COBERTURA GEOGRAFICA

MEDIOS DE VERIFICACION

PRODUCTO

Población del país informada sobre los beneficios de la PMCTC

Nacional

Encuesta de hogares

No hay datos disponibles

Al menos 80%

de la poblac.

Informada 2008

% de Poblacióninformada

Ejemplo. Marco Lógico de PMTCT

BRASIL 1990 -2000

37,5

47,8

45,2

42,9

41,1

39,6

38,4 36,7

36,1

31,9

0

10

20

30

40

50

60

1990 91 92 93 94 95 96 97 98 2000

(x10

00 n

.v)

Evolução da TMI e Metas

Meta para o ano 2000

= Io

Linguagem que denota ação expressa resultados de uma perspectiva do mantenedor

Ex.: promover o uso de mosquiteiros impregnados para o controle de malária

Indicador: número de mosquiteiros distribuídos

Fazendo uma comparação, a linguagem que denota mudança muda as condições das pessoas; os resultados são expressos desde sua perspectiva.

Ex.: pessoas em áreas endêmicas dormem sob um mosquiteiros impregnado.

Indicador: % de pessoas que dormem sob um mosquiteiros impregnado.

INDICADORES

É uma medida qualitativa ou quantitativa que permiteverificar em que medida se estão produzindos as mudanças em relação a uma norma, padrão, (objetivo, meta, artigo, etc)

ESTATÍSTICAS INDICADORES PADRÕES

Os indicadores devem :

Ser válidos: permitir medir realmente o que se deseja medir.Ser confiaveis: diferentes avaliadores devem obter os mesmosresultados Medir as mudanças atribuíveis ao programa ou projetoSer independentes para cada nivel de resultados (não se pode utilizar indicadores de produto para medir impacto).Custo-efetivos

Os Os indicadoresindicadoresAtravés dos indicadores é possível medir e/ou qualificar os

problemas, o contexto e a situação inicial e o grau de alcance dos resultados.

Tipos de indicadores

De…Impacto……………Resultado estratégicoEfeito………………outcomeEficacia/producto…outputAtividades………..EficiênciaCobertura FocalizaçãoFinanceirosFortalecimiento Institucional

Temos…Qualitativos (nominal)Quantitativos (ordem, intervalos, relações)

Características de um Bom Indicador

Válido/específico: que meça o que se supõe deve ser medido; Confiável: que seja verificável (várias vezes);Relevante: para verificar os avanços nos objetivos do programa/projeto;Sensível: às mudanças da situação que é observada;Aceitável: pela população-alvo e atores interessados;Oportuno: que possa ser constituído e reportado em tempo hábil;Objetivo: que tenha o mesmo significado para os diferentes atoresTecnicamente viável: que os dados requeridos possam ser coletados emensuráveis (i.e., fácil de coletar através de amostragem,disponibilidade de pessoal especializado, disponibilidade transporte doequipamento necessário, etc), eCusto-efetivo: que os dados requeridos possam ser coletados a umcusto razoável (i.e., custos de capital, pessoal, operacionais).

Meios de Verificação- Expandido

Indicadores

Fontesde

Informação

Métodode coleta

daInformaç

ão

Agênciasprodutoras

dainformação

Método de analise dainformação

Frequencia Uso dainformação

Formato de disseminaç

ão dainformação

(carta, relatório, internet,

etc.)

Usuariosda

informação

Resultados Indicadores Meios de Verificação (MDV)

Exemplo de indicadores qualitativos: Padrão de Qualidade

Medição da qualidade em centros de atenção materno infantil

Critérios Pontos SituaçãoInicial(1998)

M eta(2000)

Serviço não oferecido 0 - -Oferece serviço pré-natal (rotina) 1 1 1Oferece atenção a partos de alto risco 1 0 1Oferece cuidados a partos norm ais 1 1 1Oferece atenção a gravidez de alto risco 1 0 1Oferece cuidado pós parto 1 1 1Oferece cuidado néo natal 1 1 1

4/6 6/6

Objetivo: “Incremento dos serviços de atendimento à gravidez, parto e pré-natal (de 4/6 para 6/6 no período de 2 anos)”

Objetivos da Avaliação

Resultados Tomada de decisão

ResponsabilidadeCredibilidade

AprendizagemRe-engenharia

EmpoderamentoDireito de Participação

Um processo que tenta determinar tão sistemática e objetivamente quanto possível o valor ou merito de uma

atividade, projeto, programa ou política. Este julgamento está baseado em “critérios de avaliação”, tais como

relevância, eficiência, efetividade, impacto e sustentabilidade

IMPACTO: do programa ou projeto, o qual pode ser definido como o resultado total final sobre a violação,

proteção e realização dos direitos das crianças e adolescentes, levando-se em consideração os efeitos

diretos e indiretos, incluídos os de difusão e imitação, que produzem mudanças mais amplas. Ou seja, ao identificar e qualificar os efeitos indiretos ou mais amplos, estaríamos

indicando o impacto que a iniciativa trouxe para os proprios sujeitos de direito, atores e contexto.

SustentabilidadeSUSTENTABILIDADE: grau de continuidade na mobilização de recursos, obtenção de produtos e resultados após o término da iniciativa. A sustentabilidade pode ser do tipo:• econômico-financeiro (projetos com custos recorrentes muito elevados),• tecnológico (equipamentos e peças, mão-de-obra especializada para manutenção),• político-institucional (ser absorvido como uma política ou programa com orçamento público),• aceitabilidade das ações do programa por parte da comunidade, • capacidade do projeto de mobilizar o apoio dos sindicatos, níveis de governo, empresários, organizações internacionais e outros grupos organizados da sociedade civil.

EFETIVIDADE: • Estão sendo alcançados os objetivos/resultados(outcomes) da atividade, projeto ou programa

•Estes objetivos estão sendo alcançados ao menor custo (custo-efetividade)?

EFICIÊNCIA:onde se verifica se os recursos e atividades implementados foram gerenciados e organizados da forma a mais adequada:

• se existem algumas outras alternativas de organização e gerenciamento que permitam alcançar os mesmos produtos com menores custos;

•total dos recursos implementados por tipo (pessoal, viagens e diárias, equipamentos e investimentos, despesas correntes, etc);

•quais as despesas/custos por unidade de produto, serviço, per capita, etc. • Custo-efetividade, Custo-Beneficio

Os produtos devem ser:

e S pecíficosM edíveisA lcanzáveisR elevantesT emporalmente definidos

Os produtos

Essas características são válidas para todo tipo de objetivos/resultados

C. Kuna de Wargandí 0%

55 niños

Yapé 0 %, 82 niños

Púcuru 0%, 185 niños

Paya 0 %, 345 niños

La Ensenada 0%, 37 niñosLa Guinea

0%, 31 niños

Palmira100%, 71 niños

Las Tablas Abajo100%, 581 niños

La Pasera100%, 780 niños

Pedro González 100%,247 niños

Fuente: Contraloría General de la República. Censos de Población y Vivienda. DEC

Niveles de Cobertura (%) Corregimientos

Población sin acceso a agua

Niños/as sin acceso a agua

0 a 25 55 69,660 37,825

25.1 a 50 55 79,812 41,864

50.1 a 75 96 87,615 40,516

75.1 a 100 387 124,339 48,378

Total 593 361,426 168,583 MDMT

REPÚBLICA DE PANAMÁPorcentaje de Población con Acceso a Agua a nivel de Corregimiento

Año 2000

Fuente: Contraloría General de la República - DEC