sagi secretaria de avaliação e gestão da informção monitoramento dos programas sociais –...

SAGI Secretaria de Avaliação e Gestão da Informção

Monitoramento dos Programas Sociais – parte 4

Dionara B Andreani Barbosa

Rio de Janeiro - 2012


Exercício


TiposDicas:

Se o planejamento/desenho da ação contar com um recurso (financeiro, material ou humano) que já existe na instituição: insumo;

Bem ou serviço entregue, finalizado: produto; Tempos verbais: acordo

Infinitivo: atividades; Pretérito: produtos.

População-alvo: resultados, pois restringe o efeito sobre os beneficiários da ação.


Exercício


TiposExistem vários formatos de modelo lógico:

depende do momento no qual se encontra a intervenção pública e das necessidades dos gestores: Formulação: problemas / hipóteses; Implementação: atividades / produtos; Efeitos esperados: público-alvo / população

em geral.


Características do modelo lógico

Recurso analítico: não é um retrato preciso da realidade (que não é nem tão simples nem tão linear);

Simplicidade: imagem sucinta da teoria do programa Apresenta de forma esquemática a transformação

social que os gestores públicos pretendem atingir e o caminho que precisa ser trilhado;

Ferramenta dinâmica: passível de alterações ao longo da vida do programa.


Elaboração do modelo lógicoEstudo de documentos do programa;Realização de oficina com pessoas-chave

para construção do primeiro esboço do modelo: Construção do modelo de trás para frente; Processo: vários esboços e reuniões; Fomento de debate e acordos entre os gestores;

Validação do modelo pelos gestores: Esse modelo descreve logicamente o

funcionamento do programa e os efeitos esperados? O que precisa mudar?


Diferença do “marco” lógicoEm virtude do formato matricial, da

similaridade semântica e da base conceitual comum, é frequente a confusão do “modelo lógico” com o “marco lógico”. Marco lógico: única matriz com componentes-

chave do programa e instrumentos de mensuração (indicadores, fontes de coleta e suposições consideradas).

Modelo lógico: preocupação exclusiva com a discussão e explicitação do que se costuma chamar de teoria do programa.


Marco lógico


Informações

Necessidade: tempestivas, simples e em quantidade adequada.

Realidade: impossível conhecer todos os detalhes dos vários processos envolvidos na implementação de uma ação pública.

Recurso: indicadores


Desafio para a estruturação do monitoramento dos programas

Especificar o conjunto de indicadores para o monitoramento dos programas sociais que será acompanhado. as que destrincham a teoria do

programa e;as que oferecerem os principais tipos

de medidas de desempenho.


Especificação de indicadores

A explicitação da teoria de funcionamento do programa por meio do modelo lógico auxilia na identificação dos pontos estratégicos do programa, permitindo a especificação de um conjunto de indicadores equilibrado, que trate das questões-chave da ação – tanto aquelas relacionadas ao processo de implementação quanto aos efeitos gerados sobre a população.


Tipos de indicadores de programas


Identificação/construção de indicadores

Plano de implementação: Indicadores com possibilidade de cálculo

imediato; Indicadores com necessidade de

desenvolvimento ou aprimoramento de seus procedimentos de alimentação (instrumentos de coleta, procedimentos de preenchimento, fluxo da informação etc.).


(Fontes de) alimentação dos indicadores

Indicadores de impacto: tem como principais fontes de alimentação os grandes sistemas nacionais de informação, como os da Saúde, da Educação e do Trabalho, além é claro das estatísticas nacionais fornecidas pelo IBGE;

Indicadores de resultados: tem como principais fontes de informação pesquisas sociais, pois precisam necessariamente chegar até os beneficiários para conhecer as transformações ocorridas em suas vidas;

Indicadores de produto: tem como principais fontes de alimentação os dados operacionais dos programas.


O caso do BPC Explicitação da teoria do programa (modelo lógico):

3 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação);

Especificação do conjunto de indicadores de monitoramento (relacionados aos componentes do ML): 7 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação);

3 indicadores de impacto e 8 de resultado (efetividade); e 11 indicadores de produto (eficácia).

5 indicadores com possibilidade de cálculo imediato. Apresentação do 1º relatório de monitoramento:

abril de 2011 Retorno da área-fim em 45 dias (ciclos completos de três

meses).


AntecedentesContato com o DBA/SNAS para discutir

necessidades de monitoramento: Apresentação pelo DBA/SNAS da ação BPC e

da situação de seu monitoramento (desestruturado e não periódico);

Apresentação pelo DM/SAGI de seus métodos de trabalho.

SAGI Secretaria de Avaliação e Gestão da InformçãoComponentes do modelo lógico Indicadores Interpretação Método de cálculo

Fontes de informação

Periodicidade

Impactos↑ da expectativa de vida da população

Tempo médio de vida do beneficiário do BPC

Expressa a contribuição do BPC na ampliação do tempo de vida de seus beneficiários. Além do acompanhamento da evolução temporal dessa medida, é também pertinente na análise comparar o tempo médio de vida do público-alvo do BPC (beneficiários x não beneficiários) com tempo médio de vida da população geral.

SIGBPC () Anual

ResultadosGarantia de renda a

idosos e pessoas com deficiência

Número de beneficiários do BPC

Expressa a quantidade total de pessoas idosas e com deficiência beneficiadas pelo BPC.

Número total de pessoas idosas e com deficiência com benefícios mantidos

SIGBPC () Mensal

Participação do valor do benefício na renda familiar

Mede o grau de contribuição do benefício na renda familiar - considerando a importância do benefício para o provimento das necessidades básicas da pessoa idosa e com deficiência e de suas famílias (espaço fundamental de convivência do beneficiário).

Valor do benefício / renda da família após recebimento do benefício

SIGBC () Anual

Produtos

Benefícios concedidos ao idoso e à pessoa com deficiência

Tempo médio para concessão do benefício

Expressa o tempo que, em média, foi necessário para a concessão do beneficío, entre o requerimento pelo beneficiário e o início do pagamento pelo INSS. Proxy para aferir a capacidade operacional das APS no processamento dos requerimentos.

Somatório da diferença entre a data do início do pagamento e a data do requerimento (em dias) / número total de benefícios concedidos num mês específico

SIGBPC () Mensal

Benefícios reavaliadosPercentual de benefícios não reavaliados há mais de dois anos

Mede o desempenho do BPC na reavaliação periódica da situação socioeconômica e física de seus beneficiários ("dois anos" para a reavaliação é o tempo determinado nas normas do programa).

Número total benefícios não reavalidados há mais de dois anos / número total de benefícios mantidos há mais de 2 anos x 100

SIGBPC () Trimestral

Beneficiários acompanhados

Percentual de inclusão dos beneficiários do BPC no CadÚnico

Mede o grau de cobertura pelo CadÚnico dos beneficiários do BPC. Considerando a importância atual do CadÚnico na articulação e integração de diferentes ações sociais, essa medida é também uma proxypara aferir o acompanhamento dos beneficiários do BPC por outras ações sociais, principalmente as da Assistência Social, e o potencial de ampliação da cobertura do CadÚnico.

Número total de beneficiários do BPC inscritos no CadÚnico / número total de beneficiários do BPC x 100

CadÚnico e SIGBPC ()

Trimestral


Indicadores do BPC

IMPACTOSAumento da expectativa de vida da

população: Tempo médio de vida do beneficiário

Redução da pobreza e extrema pobreza no Brasil Aumento médio da renda dos beneficiários

em relação ao referencial de pobrezaDinamização das economias locais

Participação BPC no PIB local


Indicadores do BPC

RESULTADOSGarantia de renda a idosos e a pessoas

com deficiência Número de beneficiários do BPC Percentual de idosos com renda familiar per capita

menor que 1/4 SM com benefícios mantidos Percentual de pessoas com deficiência com renda

familiar per capita menor que 1/4 SM com benefícios mantidos

Erro de inclusão de beneficiários Erro de exclusão de beneficiários Participação do valor do benefício na renda familiar


Indicadores do BPCRedução da quantidade de idosos e

pessoas com deficiência em situação de pobreza e extrema pobreza Percentual de famílias com idosos

beneficiários do BPC que ultrapassaram a linha de pobreza

Percentual de famílias com pessoas com deficiência beneficiárias do BPC que ultrapassaram a linha de pobreza


Indicadores do BPCPRODUTOSBPC divulgado

Percentual de cartilhas distribuídas pelos CRASBenefícios requeridos

Número de benefícios requeridos por mêsAvaliação para pessoa com deficiência realizada (social e médica)

Efeito do novo modelo de avaliação da pessoa com deficiência na concessão do benefício

RESULTADOSGarantia de renda a idosos e a pessoas com deficiência

─ Número de beneficiários do BPC─ Percentual de idosos com renda familiar per capita menor que 1/4 SM com benefícios mantidos─ Percentual de pessoas com deficiência com renda familiar per capita menor que 1/4 SM com benefícios

mantidos─ Erro de inclusão de beneficiários─ Erro de exclusão de beneficiários─ Participação do valor do benefício na renda familiar


Indicadores do BPCBenefícios concedidos ao idoso e à

pessoa com deficiência Taxa de concessão de benefícios Tempo médio para concessão do benefício Percentual de benefícios concedidos por via

judicial Percentual de benefícios concedidos por

recurso administrativoBenefícios reavaliados

Percentual de benefícios não reavaliados há mais de dois anos


Indicadores do BPCBenefícios acompanhados

Percentual de famílias de beneficiários do BPC acompanhadas pelo PAIF ou PAEFI

Percentual de elegíveis mas não beneficiários do BPC inscritos no CadÚnico

Percentual de inclusão dos beneficiários do BPC no CadÚnico


Alimentação dos indicadoresFontes:

IBGE; DATAPREV/Previdência Social; Censo SUAS.Fluxo da informação: Banco de dados: recuperação (com séries

temporais) e marcação de variáveis de interesse;

Problemas na transmissão da base da DATAPREV para o DBA/SNAS: dados tratados disponíveis com defasagem de 6 meses.


RetroalimentaçãoTemporalidade:

Ciclos de três meses; 45 dias de espaço entre a apresentação do

relatório de monitoramento pelo DM/SAGI e as alternativas de correção de rumos pelo DBA/SNAS.


RetroalimentaçãoProposta de cronograma:

25 de abril: 1° reunião para apresentação da evolução dos indicadores e recomendações de (re)açãoo 6 de junho: 1° reunião para a discussão da viabilidade das

recomendações e apresentação de alternativas de correção de rumos 25 de julho: 2° oficina para apresentação da evolução dos

indicadores e recomendações de (re)açãoo 5 de setembro: 2° reunião para a discussão da viabilidade das

recomendações e apresentação de alternativas de correção de rumos 24 de outubro: 3° reunião para apresentação da evolução dos

indicadores e recomendações de (re)açãoo 5 de dezembro: 3° reunião para a discussão da viabilidade das

recomendações e apresentação de alternativas de correção de rumos 23 de janeiro (de 2012): 4° reunião para apresentação da

evolução dos indicadores e recomendações de (re)açãoo 5 de março (de 2012): 4° reunião para a discussão da viabilidade das

recomendações e apresentação de alternativas de correção de rumos


Painel de monitoramento


Bibliografia BRASIL. Ministério da Saúde. Programa Nacional de DST e AIDS. (2005), Manual da oficina

de capacitação em avaliação com foco na melhoria do programa . Brasília. Disponível em: http://www.aids.gov.br/data/Pages/LUMISCEEB81DCPTBRIE.htm.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico - SPI. (2010), Indicadores de Programa: Guia Metodológico. Brasília. Disponível em: http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/publicacoes/100324_indicadores_programas-guia_metodologico.pdf

FREY, Klaus. (2000), Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, nº 21.

JANNUZZI, Paulo et al. (2009), Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil são. In: ENAP. Avaliação de Programas Sociais. Brasília, Enap - EIAPP.

PFEIFFER, Peter. (2006), O Quadro Lógico: Método para Gerenciar Mudanças. In: GIACOMONI, James e PAGNUSSAT, José Luiz. Planejamento e Orçamento Governamental. ENAP.

POISTER, Theodore. (2003), Measuring Performance. In: Public and Non Profit Organizations. San Francisco: Jossey-Bass Publishers.

VALARELLI, Leandro. (2005), A gestão de projetos e a construção e o uso de indicadores . Mimeo. Rio de Janeiro.

W.K. Kellogg Foundation. (2004), Logic Model Development Guide. Michigan. Disponível em: http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf.


Sistema de Monitoramento

Brasília, 2012.


Sistemas de Indicadores

Um bom sistema de indicadores de monitoramento de programas é aquele em que a informação foi selecionada de diferentes fontes e está organizada de forma sintetizada e mais adequada ao uso analítico pelos diferentes gestores.


• Pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública.

• Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

Sistemas de M&A


• Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam,

– a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos.

– mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos

– para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

Sistemas de M&A


Sistemas de M&A no Ciclo de Políticas e Programas

Pesquisas do IBGE

Ferramentas para análise comparativa no tempo e espaço

Cadastros Públicos

Registros de Outros

Ministérios

Registro de Gestão dos Programas

Dados de Execução

Orçamentária

Dados Integrados

em uma Mesma

plataforma

Chave de integração de dados:

municípios, CPF, NIS

Indicadores de processos

Indicadores de recursos

Indicadores de impacto

Indicadores de resultados

Categorias de análise

Indicadores de contexto

Jannuzzi, 2011


• A abrangência conceitual e programática dos sistemas de M&A pode ser

– mais macro- quando se referem a Políticas ou Estratégias de Governo

– meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações

– micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos.

Sistemas de M&A


Monitoramento Gerencial e Monitoramento Analítico

Brasília, 2012.


Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa

Sistemas informatizados, planilhas de controle Muito intensivo em dados, estruturados ou não Subentende a lógica de encadeamento de ações Prazos e metas são os parâmetros de avaliação

Monitoramento Gerencial


Monitoramento analítico: é entendido como o exercício sistemático de análise de séries históricas de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços- e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo, tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo- ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.

Monitoramento Analítico


a) Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ?

b) Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ?

c) Como evoluem os indicadores de efeitos nos municípios ?

d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ?

e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ?

f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ?

g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ?

Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico


• O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento

• Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades

• Os indicadores devem permitir evolução dos esforços, processos e efeitos

• Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura

• Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

Princípios relativos à construção do Painel de Indicadores


• Os indicadores devem ter interpretação normativa clara

• Os indicadores devem ser mutuamente consistentes e com importância equivalente

• Os indicadores devem ser inteligíveis e acessíveis ao gestor

• Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente.

• Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)

Princípios relativos à construção do Painel de Indicadores


Etapas para Construção de um Painel de Indicadores


Essa sala serve para monitorar

processos industriais, sinais

de emergência, imagens de um

determinado local ou mesmo

centralizar a cadeia de

comando de um plano de

emergência ou de contingência.

Sala de monitoramento


Será que o poder de compra do benefício básico desde agosto de 2007 foi assegurado?

Monitoramento Estratégico: exemplos


27,8% das despesas da população com até R$ 830 de renda média mensal familiar é para alimentação. Como 82,6% dos gastos é com alimentação no domicílio.....



Seleção de indicadores para o MONIBSeleção de indicadores para o MONIB

O INPC é calculado pelo IBGE desde 1979, se refere às famílias com rendimento monetário de 01 a 06 salários mínimos, sendo o chefe assalariado, e abrange nove regiões metropolitanas do País, além do município de Goiânia e de Brasília.

Usar como índice de inflação a

alimentação no domicílio é um indicador

razoável.


SAGI Secretaria de Avaliação e Gestão da InformçãoMonitoramento Estratégico: exemplos


Pode se especular que os preços dos produtos

alimentícios tenderão aumentar nos próximos

meses para o consumidor. Há uma defasagem entre os preços dos produtores e os

preços dos consumidores



Se 27,8% do total das despesas dos mais pobres estão centradas na alimentação, quais os alimentos que merecem ser monitorados?



Produção de arroz por município – Brasil - 2010Produção de arroz por município – Brasil - 2010



Será que o preço do arroz irá se manter estável no Brasil?



Um sistema de monitoramento trabalha com um leque de indicadores e sinaleiras que são significativos para a estratégia .

A operacionalização de um bom sistema de monitoramento que parece, em teoria, simples, não é !!!

Monitoramento


“Um sistema de informações casuístico, parcial, assistemático, atrasado, inseguro, disperso e sobrecarregado de dados primários irrelevantes, é um aparato sensorial defeituoso que limita severamente a capacidade de uma organização para sintonizar-se com os processos concretos, identificar os problemas atuais e potenciais, avaliar os resultados da ação e corrigir oportunamente os desvios com respeito aos objetivos traçados” (Matus, 1996))

Quem não monitora os problemas que deve resolver e o resultado das ações com as quais pretende enfrentá-los não sabe o que acontece por conta do seu agir e nem que mudanças provocou com a sua ação. Não sabe por onde anda, não consegue avaliar a eficiência e a eficácia de suas intervenções.

sagi secretaria de avaliação e gestão da informção monitoramento dos programas sociais –...

Documents