treinamento em monitoria e avaliação para o governo de moçambique 27 de fevereiro a 03 de março...

Treinamento em Monitoria e Avaliação para o Governo de Moçambique

27 de fevereiro a 03 de março de 2017Maputo

Aula 06

PROGRAMA RENDA MELHOR:

da formulação à avaliação

Parte 2Curso de Monitoria e Avaliação

Maputo, Moçambique27 de fevereiro a 03 de março de 2017

Antonio Claret Campos FilhoEspecialista em Políticas Públicas e Gestão Governamental

Teoria da Mudança e sistema de M&A – Programa Renda Melhor, Governo do Rio de Janeiro

A renda per capita das famílias beneficiadas é elevada até a

linha de extrema pobreza

Ati

vid

ad

es

Algoritmos e sistema de informações

Acompanhar

desembolsos

financeiros

Revisar

Benefícios

Selecionar

Beneficiários

Folha de Pagamento

Bolsa Família

Sistema de Monitoria e Avaliação

Famílias em pobreza extrema

recebem os benefícios financeiros do Programa Renda Melhor

Pro

du

tps

Imp

act

o

Melhoria nas Condições de Vida da

População do Estado do RJ

Articulação Interinstitucional

estabelecida

Re

sult

ad

os

Re

sult

ad

os

Fin

ais

Folha de Pagamento

do Renda Melhor

elaborada

Ibsu

mo

Acompanhar

Condicionalidades

Portal Rio Sem

Miséria

Lei Orçamentária

Repasse financeiro

ao agente pagador

Sistema de Gestão do Renda Melhor

Cadastro Único

Indicadores Fontes de

Verificação

Pesquisa Avaliação

de Impacto

Taxa de cobertura da

população alvo do

programa como um todo e

de grupos de especial

interesse

Redução da taxa de

trabalho infantil

Aumento da renda

Manual

Operatrivo

Nº benefícios pagos

Recursos transferidos

Regras de negócio do

programa definidas

Marco normativo

estabelecido (leis,

decretos, acordos de

cooperação etc.)

Sistema de

Gestão do Renda

Melhor

Aumento da segurança

alimentar

• O Manual Operativo (MOP) tem como objetivo fornecer informações sobre o Programa Renda Melhor, desde a sua concepção, bases legais e demais informações, com especial foco nos aspectos técnicos e operacionais, permitindo transparência e maiores esclarecimentos às demais Subsecretarias da SEASDH, aos demais Secretários de Estado e instituições responsáveis pela execução dos diversos serviços e atividades de gestão técnica, operacional e financeira do programa.

Manual Operativo do Programa Renda Melhor

Estruturação do MOPCAPÍTULO 1. ALCANCE E UTILIZAÇÃO DO MANUAL OPERATIVO

o Apresenta o Manual Operativo no que diz respeito à sua finalidade, estrutura, cobertura institucional, escopo, usuários e procedimentos para a sua atualização.

CAPÍTULO 2. PLANO RIO SEM MISÉRIA

o Apresenta a estratégia definida para o Plano Rio Sem Miséria e a metodologia desenvolvida pela FGV de predição de renda e implementada pela SEASDH com o apoio operacional do PRODERJ.

CAPÍTULO 3. SOBRE O PROGRAMA RENDA MELHOR

o Descreve os objetivos e as principais características do Programa Renda Melhor. Apresenta também uma retrospectiva sobre o Projeto Piloto, as expansões de 2012 (48 municípios) e 2013 (40 municípios) e o processo de revisão dos benefícios.

Estruturação do MOP (cont.)CAPÍTULO 4. ORGANIZAÇÃO DO PROGRAMA

o Apresenta a estrutura organizativa e operacional do programa Renda Melhor relacionando os principais atores – interinstitucionais e intrainstitucionais – e respectivos papéis na operacionalização do programa.

CAPÍTULO 5. GESTÃO ORÇAMENTÁRIA E FINANCEIRA DO PROGRAMA o Detalha os papéis e procedimentos que estão sob a responsabilidade da

SEASDH/SSPOA, SEPLAG e SEFAZ, descrevendo as principais etapas e procedimentos relacionados ao processo mensal de pagamento dos benefícios do Programa Renda Melhor.

CAPÍTULO 6. MODELO DE OPERAÇÃO E GESTÃO o Apresenta as ferramentas desenvolvidas em parceria institucional com o

PRODERJ - Sistema de Gestão do Programa Renda Melhor e Sistema Estadual de Consulta ao CadÚnico - destacando seus objetivos, características e sua relevância para apoiar a gestão e o monitoramento do Renda Melhor.

o Apresenta, também, o Modelo Operacional do programa, detalhando as principais etapas e fluxos do ciclo mensal de pagamento.

Estruturação do MOP (cont.)CAPÍTULO 7. MONITORAMENTO E AVALIAÇÃO

o Apresenta o Portal de Informações Gerenciais do Rio Sem Miséria, descrevendo os objetivos, características, principais informações disponibilizadas - gráficos e relatórios -, público alvo e sua relevância para o monitoramento do Plano Rio Sem Miséria.

o Aborda também as parcerias institucionais estabelecidas entre a SSIPS/SEASDH, o CEPERJ, o BIRD, a SAE e o MDS para realizar a pesquisa de campo domiciliar do Programa Renda Melhor.

o Ademais, apresenta um resumo das auditorias de controle externo realizadas, bem como suas recomendações e providências tomadas pela SEASDH para atendê-las.

CAPÍTULO 8. MARCO NORMATIVOo Apresenta as normativas que foram publicadas sobre o

Programa Renda Melhor – decretos, lei e resoluções.

Avaliação do Renda Melhor

Avaliação do Programa Renda Melhor

OBJETIVO:

• Avaliar os impactos da transferência de recursos adicionais do Programa Renda Melhor sobre as famílias beneficiárias.

Teoria da Mudança e sistema de M&A – Programa Renda Melhor, Governo do Rio de Janeiro

A renda per capita das famílias beneficiadas é elevada até a

linha de extrema pobreza

Ati

vid

ad

es

Algoritmos e sistema de informações

Acompanhar

desembolsos

financeiros

Revisar

Benefícios

Selecionar

Beneficiários

Folha de Pagamento

Bolsa Família

Sistema de Monitoria e Avaliação

Famílias em pobreza extrema

recebem os benefícios financeiros do Programa Renda Melhor

Pro

du

tps

Imp

act

o

Melhoria nas Condições de Vida da

População do Estado do RJ

Articulação Interinstitucional

estabelecida

Re

sult

ad

os

Re

sult

ad

os

Fin

ais

Folha de Pagamento

do Renda Melhor

elaborada

Ibsu

mo

Acompanhar

Condicionalidades

Portal Rio Sem

Miséria

Lei Orçamentária

Repasse financeiro

ao agente pagador

Sistema de Gestão do Renda Melhor

Cadastro Único

Indicadores Fontes de

Verificação

Pesquisa Avaliação

de Impacto

Taxa de cobertura da

população alvo do

programa como um todo e

de grupos de especial

interesse

Redução da taxa de

trabalho infantil

Aumento da renda

Manual

Operatrivo

Nº benefícios pagos

Recursos transferidos

Regras de negócio do

programa definidas

Marco normativo

estabelecido (leis,

decretos, acordos de

cooperação etc.)

Sistema de

Gestão do Renda

Melhor

Aumento da segurança

alimentar

AVALIAÇÃO DE IMPACTO RENDA MELHOR SEASDH/SAE/ MDS/ CEPERJ/ BANCO MUNDIAL

Hipóteses:

• Impactos diretos - Por se tratar de um Programa de transferênciade renda, espera-se que essa transferência tenha impactos diretossobre aspectos da vida das famílias

• Impactos diferenciados pela magnitude da transferência e pelascaracterísticas dos receptores - O impacto pode ser maior oumenor dependendo da magnitude da renda transferida e do tipode beneficiário que recebe essa renda adicional

• Efeitos indiretos - ex: Informacional (renda adicional pode darpara a família informação, afetando suas preferências); Mudançana alocação do tempo dos beneficiários; Aprendizado (p. ex.:deixar de consumir os bens que entram no cômputo dessa renda)

PARCERIAS DA SEASDH para a Avaliação do Programa Renda Melhor

Fundamentais para superar limitações internas.

CEPERJ: coordenação das entrevistas aos beneficiários em duasrodadas, 2012 e 2013.

Banco Mundial: apoiou a contratação de consultor individualresponsável por analisar os dados coletados nas entrevistas paraaferir o impacto do programa.

MDS: Avaliação prevista no Termo de Cooperação (2011); apoiona discussão metodológica e análise de dados

SAE/PR: apoio na discussão metodológica e análise de dados

PESQUISA CAMPO - CEPERJ

AMOSTRA:

• Amostra original: 3.950 famílias (1.975 beneficiárias do BolsaFamília e do Renda Melhor e 1.975 famílias beneficiárias apenasdo Bolsa Família)

COLETA EM DOIS MOMENTOS NO TEMPO:• Março a Abril de 2012: 3.848 domicílios (15.867 pessoas)- 38,41% Controle

(apenas PBF) e 61,59% tratamento (PBF e RM)

• Maio de 2013: 3.880 domicílios (15.703 pessoas) - 38,87% Controle (apenasPBF) e 61,13% tratamento (PBF e RM)

• OBS.: 13,70% dos domicílios entrevistados na 1ª rodada não foramlocalizados na segunda rodada – realização de reposições;

• A avaliação foi aplicada em 14 municípios da Região

Metropolitana do Rio de Janeiro.

• Questionários (80 questões)

Permitiu conhecer os domicílios e famílias do Programa

(caracterização)

Permitiu coletar dados para a análise de impacto

Possibilitou também realizar estudos preliminares para

aferir a adequação do mecanismo de predição de renda

PESQUISA CAMPO - CEPERJ

Cobertura Espacial da Pesquisa

METODOLOGIA:

• Diferenças em diferenças: contrastou-se o resultado observado em uma

determinada característica de interesse nas famílias beneficiadas (Renda

Melhor mais Bolsa Família) e não beneficiadas (apenas Bolsa Família) antes do

Programa (pesquisa Linha de Base) e após o Programa (Pesquisa Seguimento).

• Regressão Descontínua (RD): contrasta os resultados nas características de

interesse entre famílias com renda predita muito similares e próximas ao

ponto de corte de R$100 na renda familiar per capita

AVALIAÇÃO DE IMPACTORENDA MELHOR

INDICADORES:

• Foram selecionados 260 indicadores para representar as condições de bem-

estar e socioeconômicas do grupo de interesse:

• Educação (80)

• Saúde (6)

• Bem-Estar de Crianças e Jovens (11)

• Consumo alimentar (44)

• Condições Habitacionais (73)

• Trabalho (46)

AVALIAÇÃO DE IMPACTORENDA MELHOR

• Foram utilizados 8 modelos que variam de acordo com os controles e suasespecificidades;

• Os modelos 1 a 4 controlam pelo processo de seleção, controlando ou pela rendapresumida ou pelas variáveis que determinam a renda presumida. Esses modelosutilizam o princípio metodológico de Regressão Descontínua.

• Modelos 5, 6, 7 e 8 não controlam pelo processo de seleção, não incluem nem arenda presumida nem os determinantes da renda presumida. Esses modelosutilizam o princípio metodológico de Diferenças em Diferenças.

MODELOS PARA A AVALIAÇÃO DE IMPACTO

IMPACTO SOBRE A RENDA

• A diferença entre a renda apresentada pelo grupo de tratamento(beneficiários) após o programa e a renda esperada na ausência do programapara esse mesmo grupo é de R$ 84,00 – esse é o impacto observado doprograma sobre a renda domiciliar

RESULTADOS DA AVALIAÇÃO DE IMPACTO

IMPACTO SOBRE A RENDA

• No caso da renda per capita, o impacto é de R$ 14

• OBS.: O impacto na renda per capita foi menor que o impacto na renda famílias porqueo número de pessoas nas famílias que recebem o Renda Melhor diminuiu menos quenas famílias do grupo controle (teria o programa favorecido a permanência dos jovenspor mais tempo em suas casas?)


IMPACTO SOBRE OUTRAS DIMENSÕES

• EDUCAÇÃO e SAÚDE

• Não foram detectados impactos significativos do programa sobre essasdimensões

• Impacto do PBF se dá muito pelas condicionalidades. PRM não impõenenhuma nova condicionalidade

• BEM ESTAR DE CRIANÇAS E JOVENS

• Existe um efeito pequeno mas significativo em relação a redução dotrabalho infantil de crianças de 10 a 13 anos


• TRABALHO

• Há muitos indicadores com impacto positivo e inclusive estatisticamente

significante para trabalho. O programa apresenta maior impacto sobre o

trabalho que sobre a educação

• Aumento na participação de jovens e adultos na população

economicamente ativa e na ocupação


IMPACTOS SOBRE OUTRAS DIMENSÕES

• CONSUMO ALIMENTAR Não foi observado efeito na percepção das famílias quanto a sua

segurança alimentar Mas teve impacto positivo e significativo sobre o consumo de carnes e

frutas

• ORÇAMENTO FAMILIAR: Efeito relevante sobre a redução dos domicílios onde o peso do aluguel

é o fator mais relevante no orçamento

• CARACTERÍSTICAS DOS DOMICILIOS: A maioria dos indicadores não apresentou impactos significativos Os destaques foram para a redução de domicílios alugados; aumentos de

bens duráveis (computador e telefone celular).


Resultados:

• Os impactos são muito dispersos entre as diferentes áreas e indicadores;

• A Dimensão Trabalho apresenta resultado médio positivo esignificativo. Esse efeito tem grande influência do componenteCondição de Ocupação;

• A outra Dimensão que se mostrou bastante relevante foi a de Habitação,especialmente a partir do subcomponente de Infraestrutura e Posse.

INDICADOR SINTÉTICO

• Busca captar as diferentes possíveis aplicações do recurso adicional recebido

pelas famílias a partir do Programa.


O processo e os resultados da avaliação abriram duas novas frentes de trabalho:

1. Novos estudos de avaliação• Necessidade de aprofundar a análise de indicadores sintéticos que

possibilitem também analises quanto a:a) heterogeneidade do impacto do benefício (em que medida o impactoé diferente em diferentes grupos)

b) heterogeneidade da intervenção (em que medida pessoas quereceberam um benefício maior tiveram mais impacto que aquelas quereceberam um benefício menor)

2. Avaliação do Preditor de Renda• Analisar o grau de focalização e análise da qualidade do preditor• Construção e teste de um indicador de renda presumida, baseado nas

Pesquisas de campo, que seja mais adequado


PREDITOR DE RENDA

Análises iniciais demonstram que:

• A renda presumida diminui erro de inclusão mas aumenta o errode exclusão em relação à renda declarada no CADÚNICO.

• Entretanto, no somatório dos erros de inclusão e exclusão, omecanismo de predição de renda apresenta valores maisfavoráveis que a renda declarada para identificar as famíliaspobres.

• Estudos iniciais apontam para a possibilidade de aprimoramento domecanismo de predição de renda.


• Desenvolvida por Pereira & Ferraz (PUC-RJ)• Método: diferenças em diferenças

• O programa impacta de forma positiva o fluxo escolar, aumentando astaxas de aprovação e reduzindo o abandono escolar.

• Dentro do subconjunto dos alunos elegíveis, são os alunos mais pobres,os meninos, e aqueles com maior risco de abandono que mais sebeneficiam do programa.

• Não encontrada evidência de que os efeitos encontrados possam serexplicados pelo efeito renda advindo dos programas Cartão FamíliaCarioca e RM.

AVALIAÇÃO DE IMPACTORenda Melhor Jovem

OBRIGADO!

[email protected]@ipc-undp.org

Curso de Monitoria e AvaliaçãoMaputo, Moçambique

27 de fevereiro a 03 de março de 2017

mailto:[email protected]

treinamento em monitoria e avaliação para o governo de moçambique 27 de fevereiro a 03 de março...

Documents