monitoramento e avaliação como instrumentos...
TRANSCRIPT
Monitoramento e avaliação como instrumentos complementares para o desenho e operação de
políticas públicas eficazes
Roo de Janeiro, 20 de Março de 2013
Ricardo Paes de Barros - SAE
Avaliar
Medir
Monitorar
Construindo um Sistema de Monitoramento e Avaliação para
Promover a Maior Efetividade das Políticas para as
Juventudes
Etapas na Construção de um Sistema de Monitoramento e Avaliação
I. Sobre a relação entre monitoramento e avaliação e o
desenho de programas públicos eficazes
Relações
Causais
Desenho
Ferramentas para o desenho de uma política pública
baseada em evidência
Análise
descritiva Acompanhamento das
Melhores Práticas Condições
Sociais
Programas
Sociais
Monitoramento
Análises das Causas Avaliação de Programas
Sociais
Desenho de Programas Sociais
Efetividade
Construindo um Sistema de Monitoramento para Promover a
Maior Efetividade das Políticas para as Juventudes
Focalizados naqueles com
necesidades mais
prementes
Convenientemente
localizado e disponível
quando são mais
demandados
Desehados de forma
adequada e flexível de
forma a satisfazer as
necessidades das
juventudes
Provisão de serviços de
qualidade
Grau adequado de
utilização dos serviços
oferecidos
Monitoramento das necessidades dos beneficiários potenciais e dimensionamento da população alvo
Monitoramento do grau de focalização (porcentagem dos benefícios que vão a população alvo)
Monitoramento do grau de cobertura (porcentagem das população alvo atendida pelo programa)
Monitoramento da presença e acesso a programas equivalentes e complementares
Mensurando a magnitude das necessidades e monitorando os graus de
focalização e cobertura
Monitoramento do número de beneficiários/participantes
Monitoramento da frequência com que os serviços são utilizados pelos que o utilizam
Monitoramento da duração média de cada utilização/participação
Monitorando do grau de utilização
Monitoramento da distância dos participantes ao local do programa e do tempo de espera para atendimento
Monitoramento de quando (horários e dias de funcionamento) os serviços são oferecidos
Monitoramento do grau de adequação dos serviços oferecidos às necessidades da população local
Monitoramento da heterogeneidade das necessidades da população local e dos serviços oferecidos
Monitorando da adequação dos serviços às necessidades locais
Monitoramento da disponibilidade de insumos e recursos humanos
Monitoramento da qualidade dos insumos e recursos humanos disponíveis
Monitoramento da quantidade de serviços oferecidos
Monitoramento da qualidade dos serviços oferecidos
Monitorando da quantidade e qualidade dos serviços oferecidos
II. Sobre as unidades tipicamente utilizadas no monitoramento
Monitoramento individualizado das necessidades ou do desenvolvimento
Monitoramento de grupos socioeconômicos (population based monitoring)
Monitoramento das unidades de atendimento
Monitoramento de serviços ou programas
Operados pelo gestor
Contratados pelo gestor (PPP, OS)
Regulados/regulamentados pelo gestor
Monitoramento de políticas sociais ;’
Monitoramento de quem ou do quê? (unidade de monitoramento)
III. Sobre os objetivos do monitoramento
Objetivos
Triagem
Diagnóstico
Referência e encaminhamento
Atendimento e seguimento
Cuidados na utilização
Sigilo das informações
Possibilidade de estigmatização
Possibilidade de segregação
Necessidade de avaliar o impacto de um sistema de monitoramento individualizado
Objetivos e cuidados na utilização do monitoramento individualizado
Monitoramento das condições
familiares (ambiente socioeconômico, estrutura familiar)
de acesso a oportunidades (transporte, alimentação, etc. )
Monitoramento do acesso efetivo a oportunidades para
adquirir ou desenvolver habilidades
utilizar de forma produtiva e criativa as habilidades
adquiridas ou desenvolvidas
Monitoramento populacional
Monitoramento do grau de utilização e aproveitamento destas oportunidades
grau de utilização
grau de aproveitamento
taxa de conclusão
Monitoramento das habilidades efetivamente adquiridas
ou desenvolvidas
Monitoramento da utilização produtiva das habilidades adquiridas ou desenvolvidas e inserção no mundo do
trabalho
Monitoramento dos processos de formação e dissolução de famílias e de formação de redes sociais
Monitoramento populacional
Contínuo (diário/semanal)
Verificar funcionamento cotidiano
Incentivos, premiações e punições
Sistemático
Diagnóstico das condições da unidade
Plano de desenvolvimento da unidade
Gestão por resultados
Necessidade de avaliar o impacto da
utilização de um sistema de incentivos
diagnósticos, plano estratégicos de desenvolvimento
gestão por resultados
Monitoramento das unidades de atendimento
Necessidade de monitorar a disponibilidade e o fluxo de recursos
Necessidade de monitorar o processo de aquisição de insumos (seleção de fornecedores e preços praticados)
Necessidade de monitorar o processo de produção. Monitoramento das diversas formas de eficiência.
Necessidade de monitorar o processo de entrega dos serviços. Os serviços estão efetivamente sendo entregues nos momentos combinados?
Necessidade de monitorar a qualidade, adequação, focalização e cobertura
Monitoramento de serviços sociais operados diretamente pelo gestor
O monitoramento do funcionamento, operação e entrega dos
serviços deve ser realizado pelo próprio provedor
Necessidade de monitorar o processo de seleção das
instituições contratadas a disponibilidade e o fluxo de
recursos
Necessidade de monitorar o processo de entrega dos
serviços. Os serviços estão efetivamente sendo entregues
nos momentos e locais contratados?
Necessidade de monitorar a qualidade e adequação dos;
serviços, e os graus de focalização e cobertura
Monitoramento de programas sociais cuja provisão é contratada pelo gestor
O monitoramento da disponibilidade de recursos,
funcionamento, operação e entrega dos serviços deve ser
realizado localmente ou por secretarias específicas
Necessidade de monitorar a disponibilidade, qualidade e
adequação dos serviços e os graus de focalização e cobertura
Monitoramento de programas sociais cuja provisão é apenas coordenada e regulamentada
pelo gestor
Qualidade, eficácia e funcionamento de cada programa
específico deve ser tratado como função do órgão
responsável por sua gestão
Necessidade de monitorar as condições de vida e
necessidades da população alvo
Necessidade de monitorar a oferta de serviços (quantidade,
variedade, qualidade e adequação)
Necessidade de monitorar o casamento entre as
necessidades da população alvo e a oferta de serviços
Monitoramento de políticas sociais
1. Triagem, diagnóstico, encaminhamento, atendimento e seguimento
2. Identificação das necessidades e percepções da população
3. Mensuração do grau de cobertura, qualidade e adequação dos serviços
4. Mensuração do grau de utilização e conclusão
5. Mensuração dos resultados alcançados
6. Facilitar ou mesmo permitir que avaliações possam ser realizadas
7. Contribuir para o desenho de políticas mais efetivas baseadas em evidência
Em resumo, os objetivos do monitoramento são:
IV. Avaliação o quê é e para que serve?
Toda avaliação deve mensurar o desempenho do programa
que, por sua vez, significa isolar e quantificar sua
contribuição
Toda avaliação deve identificar os determinantes do
desempenho do programa e mensurar sua importância
relativa.
O objeto da avaliação pode ser subjetivo
Os resultados obtidos a partir da aplicação de um dado
método não devem depender da subjetividade do
pesquisador (replicabilidade).
Avaliação: o que é?
Toda avaliação deve contribuir para melhorar o desenho do
programa ou aperfeiçoar seu funcionamento.
Estas contribuições devem alimentar um plano de
desenvolvimento do programa.
A avaliação não deve ser um veredicto.
Avaliação: para que serve?
Congresso/Planejamento/Fazenda: Alocação de recursos
entre programas (plano de desenvolvimento do programa).
Sociedade civil: Prestação de contas com quem paga os
impostos.
Beneficiários e participantes: “Empoderamento”, Qual a
eficácia?
Gestores: Aprimorar desenho e funcionamento.
Principais interessados e utilidades da avaliação
Totalmente interna: falta de imparcialidade.
Totalmente externa: falta de adaptação às preocupações
mais prioritárias do gestor.
Equilíbrio: o máximo de imparcialidade e o máximo de
utilidade.
Avaliação interna versus externa
Utiliza bases secundárias para conhecer o impacto e o custo
potencial do programa.
Geralmente realizada antes do programa existir, embora
técnicas também possam ser utilizadas em programas já em
andamento.
Utilidade: o que esperar do programa?
Avaliações ex ante
Utiliza informações primárias ou secundárias para conhecer o
impacto e o custo potencial do programa.
Realizadas no programa propriamente dito.
Usa informações do programa
Permite aprimorar o desenho em todas as etapas do ciclo de
vida do programa (piloto, expansões até a extinção)
São mais custosas que as avaliações ex ante
Podem ficar muito oneradas quando o programa não conta
com um sistema de monitoramento adequado
Avaliações ex post
V. Isolando o impacto de um programa social
0
5
10
15
20
25
30
35
40
45
50
55
60
65
Before the program After the program
Ad
op
tio
n r
ate
(%
)
Estimating the impact on the adoption of a given agricultural practice
35
Reflexive control groupEx post treated
Ex ante treated
Impact of program and all other factors
0
5
10
15
20
25
30
35
40
45
50
55
60
65
Before the program After the program
Ad
op
tio
n r
ate
(%
)
Estimating the impact on the adoption of a given agricultural practice
25
Cross-section analysisTreated
Untreated
Impact of program and all other differences between treated
and untreated groups
0
5
10
15
20
25
30
35
40
45
50
55
60
65
Before the program After the program
Ad
op
tio
n r
ate
(%
)
Estimating the impact on the adoption of a given agricultural practice
15
Longitudinal analysis with comparison group
Treated
Untreated
Impact of program
Heterogeneity bias
10Impact of all other factors
20
VI. Sobre a importância de poder contar com uma pesquisa contínua de propósitos múltiplos
1. Monitoramento contínuo das condições de vida da
população e do seu acesso a programas sociais
2. Monitoramento espacialmente desagregado das condições
de vida da população e do seu acesso a programas sociais
3. Monitoramento detalhado de aspectos específicos das
condições de vida da população
Desafios para o sistema de monitoramento e avaliação
e missões para a pesquisa contínua
4. Arquivos administrativos
Avaliação da qualidade das informações
Complementação com informações socioeconômicas de
qualidade
5. Apoiar, facilitar e promover avaliações de impacto de
programas sociais
Desafios para o sistema de monitoramento e avaliação
e missões para a pesquisa contínua
VII. Exemplo do Desenho de um Sistema de Monitoramento
Condições para se
desenvolver
Georeferenciamento
da oferta
Disponibilidade
de serviços
Registros
administrativos
Inserção
produtiva
Aspirações,
sonhos,
perspectivas e
visões de futuro
Atitudes e valores
Entrevistas com
usuários
Adequação dos
serviços
disponíveis
Condições de
saúde
Violação de
direitos
Avaliações das
habilidades
cognitivas e não
cognitivas
Habilidades não-
cognitivas
Desenho de um Sistema de Monitoramento para as Juventudes
Entrevistas com
funcionários nos
pontos de
atendimento
Efetiva utilização
dos serviços
disponíveis
Condições para
utilizar os
serviços
disponíveis
Observações nos
pontos de
atendimento
Qualidade dos
serviços
disponíveis
Acesso aos
serviços
disponíveis
Pesquisas
domiciliares
Convívio familiar
e participação
social
Habilidades
cognitivas