Avaliação como estratégia de produção de informação e conhecimento para aprendizado organizacional e busca de
consensos político-intitucionais com vistas ao aprimoramento do desenho e gestão de Políticas e Programas Sociais:
lições que aprendemos em 10 anos na SAGI
Paulo Jannuzzi
SAGI/MDS
Estrutura do MDS: Secretaria para produzir Informação e Conhecimento para suas Políticas e Programas
SAGI – Secretaria de Avaliação e Gestão da Informação do MDS
www.mds.gov.br/sagi
CONHEÇA MAIS SOBRE A SAGI
BOLETIM SAGI
Política Programas Produtos
Responsabilização / Prestação de contas
Estudos realizados em universidades / Dados das agências de estatística
Universidades ONGs
Desempenho e mérito
Think Tanks Agências multilaterais
Ministério do Planejamento e Finanças
Departamentos de Ministérios sociais
Melhoria do programa ou projeto
Departamentos de Ministérios sociais
Departamentos de Ministérios sociais
SAGI é uma Unidade de Monitoramento e Avaliação voltado a aprimoramento de programas
POLÍTICAS E PROGRAMAS PÚBLICOS
Apontamentos fundamentais
• No Brasil, as Políticas Sociais representam 25% do PIB, mais de 300 programas federais, além dos existentes em 27 UF e nos 5.564 municípios, envolvendo mais de 10 milhões de gestores e técnicos públicos nas 3 esferas
• Uma parte muito expressiva das Políticas e programas sociais foram efetivamente criados nos últimos 25 anos, pós Constituição de 1988, estando pois em diferentes estágios de maturidade institucional
• As Políticas e programas operam em contextos sociais e econômicos muito diversos, múltiplos públicos-alvo e em ambientes diferenciados de capacidade de gestão
Políticas Sociais no Brasil: escopo e cobertura
• Integram-se ao conjunto de Políticas Socias que estruturam o Sistema de Proteção Social no processo de desenvolvimento, particularmente após a Constituição de 1988
• Representam inovações programáticas que buscam superar a estratégia fragmentada de ações dirigidas aos grupos vulneráveis em Saúde e Nutrição e de acesso ao alimento mediante a distribuição de cestas básicas, que ocorreram nos anos 1980
• Representam avanços no Sistema de Seguridade Social, até então estruturado sobre a ótica contributiva, para garantir proteção social aos trabalhadores informais, deficientes, idosos sem aposteadoria ou pensão, etc.
• Tem a natureza de políticas de cunho redistributivo, emancipatório e compensatório, com estratégia de implementação voltada a populações vulneráveis por diferentes aspectos: pela fome, insegurança alimentar, insuficiência de renda, trabalho irregular e falta de oportunidades de geração de renda, violência, etc.
Políticas de Desenvolvimento Social
Famílias vulneráveis
Serviços de Assistência
Social
Segurança Alimentar e Nutricional
Transferência de renda
Inclusão Produtiva
Educação
Saúde
Direitos humanos
Igualdade Racial
13
Desenvolvimento Agrário
Emprego
Seguridade Social
Programas de Desenvolvimento Social: programas para diversos públicos, articulados com ações estruturantes e transversais do Sistema de Proteção Social, coordenados e
operados por múltiplos agentes no território
Políticas para as Mulheres
Trabalhador rural e volante
Trabalhador na informalidade ou baixa renda
Agricultor familiar
População em situação de rua
Quilombolas e outros PCT
Mães com filhos com renda baixa
Governo Federal
Governos Municipais
Governos Estaduais
Entidades e Organizações Sociais
Plano Brasil Sem Miséria - Eixos de atuação
Garantia de meios para sobrevivência, acesso a serviços
públicos e oportunidades de emancipação pessoal
Elevação da renda Aumento das condições de bem-estar
Garantia de Renda
Inclusão Produtiva Urbana e Rural
Acesso a Serviços Públicos
Pobreza é privação de acesso a direitos
Em uma sociedade democrática e solidária, em um mundo urbanizado e rico, ninguém deve ser privado de meios para garantir a sua sobrevivência, privado dos meios para acessar direitos e serviços sociais, e privado
dos meios de informação e de acesso a oportunidades de autoaperfeiçoamento
SAGI – LIÇÃO APRENDIDA 01
• Informação e Conhecimento são insumos fundamentais para
orientar a ação governamental, tanto para formuladores e
dirigentes ao nível estratégico como para os gestores e
técnicos ao nível tático e operacional, responsáveis pelos
programas e serviços e que podem, no trabalho cotidiano,
gerar mudanças contínuas na realidade social vivenciada pela
população;
A INFORMAÇÃO E CONHECIMENTO PARA POLITICAS SOCIAIS É DEMANDADA POR MUITOS ATORES DIFERENTES, EM UM CONTEXTO DE
ARRANJO FEDERATIVO E COMPARTILHADO DE IMPLEMENTAÇÃO
Gov Federal: + 6.000
Municípios: 600.000 - Técnicos e gestores - Conselheiros - Entidades
Secretaria Estaduais : 20.000
Sociedade Civil Universidades População Brasileira
Políticas de Desenvolvimento Social e Plano Brasil Sem Miséria
SAGI – LIÇÃO APRENDIDA 02
• Formuladores de políticas, gestores e técnicos de programas,
nos escritórios de planejamento ou nos postos de serviços,
não necessitam de Informação e Conhecimento exaustivo,
mas de informação relevantes, consistente, compreensível e
no tempo adequado à sua apropriação na decisão para as
diferentes etapas do ciclo de um programa;
Produtos de Informação e Conhecimento: Site personalizado para facilitar a coleta de dados e relatórios do Plano Brasil Sem
Miséria para gestores de programas e operadores
Produtos de Informação e Conhecimento - O produto mais acessado: relatórios customizados para todos os 27 Estados e 5.565
municípios, atualizados a cada 2 ou 3 meses
SAGI – LIÇÃO APRENDIDA 03
• Sistemas de Monitoramento e Avaliação constituem-se em
processos articulados de levantamento, organização e
disseminação de informação e conhecimento para o ciclo de
gestão de políticas e programas públicos, dirigidos a subsidiar
o aprimoramento de seu desenho e sua gestão, garantir mais
transparência da ação governamental e prover evidências do
mérito e da efetividade de políticas e programas;
Demanda crescente de informação
para Políticas Públicas
Desafios da Produção de Informação para Políticas Públicas
Maior detalhamento temático - Ex: Pequisa Painel Longitudinal de Pobreza
Maior confiabilidade - Projeções populacionais (por UF pelo método componentes )
Maior regularidade - Ex: Pnad Contínua
Maior detalhamento territorial/granularidade - Ex: EducaCenso
Sistemas de Monitoramento e Avaliação
SISTEMAS DE MONITORAMENTO E AVALIAÇÃO (SM&A)
ESTRUTURAM-SE DE DIFERENTES FORMAS E ARRANJOS PARA PROVER DEMANDA CADA VEZ MAIS INTENSA E COMPLEXA DE
INFORMAÇÃO E CONHECIMENTO
• Produtos e Serviços informacionais cada vez mais complexos • Escopo temático mais abrangente e interdisciplinar • Maior detalhamento geográfico • Maior detalhamento de públicos-alvo dos programas • Atualização mais frequente • Disseminação customizadas para diferentes usuários
SAGI – LIÇÃO APRENDIDA 04
• Estes sistemas envolvem um conjunto de atividades –
articuladas, sistemáticas e tecnicamente orientadas – de
registro, produção, organização, acompanhamento e análise
crítica de informações resultantes da Gestão de Políticas
Públicas, para identificação de demandas sociais, desenho,
seleção, implementação e avaliação de soluções para essas,
com a finalidade de subsidiar a tomada de decisão de técnico
e gestores envolvidos nas diferentes etapas do ciclo de vida
ou maturação das políticas e de seus programas;
Problemas
sociais
Avaliação
somativa
Necessidades de informação e conhecimento
Definição da agenda
Formulação
Decisão
Implementação
Políticas e Programas demandam diferentes Produtos de Informação e Conhecimento: tipos de avaliações de acordo com a implementação do programa, incluindo Estudos de
Cenários, Programa de Prospecção e Meta-avaliações
Avaliação de desenho do projeto
Avaliação das demandas sociais
Avaliação de Processos e Implementação
Avaliação dos custos e efetividade Avaliação dos
Impactos e efeitos
Prospecção de programas existentes
Estudos de Cenários Futuros
Meta-Avaliações
Pesquisas e Estudos Avaliativos SAGI – 2011 a 2014
SAGI – LIÇÃO APRENDIDA 05
• Os produtos desses sistemas devem responder às
necessidades do estágio de maturidade de um programa,
podendo se constituir em documentação de programas e seus
modelos lógicos; serviços de organização de dados,
computação de indicadores de monitoramento, realização de
pesquisas de campo, elaboração de estudos com dados
secundários, resenhas de publicações e artigos em temáticas
correlatas; compilação de estudos em meta-avaliações;
prospecção de programas já existentes em outros países, etc;
POLÍTICAS SOCIAIS DEMANDAM INFORMAÇÃO E CONHECIMENTO DIVERSOS
Produtos de Informação e Conhecimento: dados e indicadores sociais organizados, relevantes e personalizados a nível nacional, estadual e municipal
em ferramentas web para facilitar a obtenção de dados relevantes
SAGI – Secretariat of Evaluation and Information Management
Produtos de Informação e Conhecimento: ferramentas interativas da web para apresentar mapas e indicadores específicos para ajudar e orientar a equipe
técnica para direcionar seus esforços em níveis submunicipais
O ACESSO E USO DO DADOS, PESQUISAS E PRODUTOS – GOOGLE ANALYTICS
De 5 mil usuários/mês em 2011 para 50 mil em 2014
SAGI – LIÇÃO APRENDIDA 06
• Monitoramento e Avaliação são processos analíticos
organicamente articulados, que se complementam no tempo,
com o propósito de subsidiar o gestor público de informações
mais sintéticas e tempestivas sobre a operação do programa
– resumidas em painéis ou sistemas de indicadores de
monitoramento – e informações mais analíticas sobre o
funcionamento desse, levantadas nas pesquisas de avaliação;
Produtos de Informação e Conhecimento: painéis de indicadores organizados pelos burocratas de nível estratégico, estaduais
e operadores
Número de beneficiários do Programa Bolsa Família
Número de pessoas inscritas no Cadastro Único formalizadas como microempreendedores
Frequência Escolar para crianças de 6 a 15 anos
Atendimento das condicionalidades de saúde
SAGI – LIÇÃO APRENDIDA 07
• Informação deve ser disponibilizada segundo padrões
aceitáveis de validade e confiabilidade. Pior que não ter
informação é dispor de informação equivocada, mal
levantada ou organizada. Interpretações descuidadas de
resultados de estudos avaliativos podem levar à produção de
factoides que conspiram contra o aprimoramento da ação
pública;
FACTÓIDE FATO
SAGI – LIÇÃO APRENDIDA 08
• Informação e Conhecimento devem ser produzidos a partir de
uma perspectiva multi-métodos e de triangulação de sujeitos.
Não há método ou técnica “padrão-ouro” de coleta de dados
ou de avaliação de programas. Problemas e programas
complexos requerem abordagens integradas de
monitoramento e avaliação;
Programa
Estudos de Impacto
Quasi-experimental
Evidências qualitativas:
Entrevistas estruturadas com as famílias e funcionários
Grupos focais
Cartas de pessoas
Pesquisas nacionais e
específicas por público-
alvo
Produtos de Informação e Conhecimento: Triangulação de métodos é o padrão-ouro.
Estratégia avaliativa pode contemplar métodos qualitativos, quantitativos, quasi-experimentais , painéis longitudinais, amostras probabilíticas, amostras intencionais
Pesquisa Painel
Longitudinal de Pobreza Cadastro Único e
Integração de dados
administrativos
Pesquisas e Estudos Avaliativos SAGI – 2011 a 2014
SAGI – Secretariat of Evaluation and Information Management
Disseminação Pública • Ficha Técnica • Resumo executivo • Questionários • Microdados para
uma análise mais aprofundada das universidades e por qualquer cidadão
Produtos de Informação e Conhecimento: 130 estudos específicos de avaliações e pesquisas, mais de 40 programas, desde 2004,
com resultados e microdados apresentado na Web
SAGI – LIÇÃO APRENDIDA 09
• No desenvolvimento de pesquisas de avaliação, assim como
nos demais produtos, o uso de equipes mistas, garante a
sinergia entre conhecimento interno de gestão e
especialidade técnica trazida de fora, gerando produtos com
maior potencialidade de uso, não apenas pela adequação às
demandas mais relevantes como também pela legitimidade
conferida pelo envolvimento inicial dos agentes internos ao
programa;
Programa
Pesquisas de agências
estatísticas
Firmas nacionais ou internacionais de
Consultores
Produtos de Informação e Conhecimento: Triangulação de avaliadores também é o padrão-ouro.
Projetos de pesquisas
universitárias
financiados por
Conselhos de Pesquisa
Estratégias participativas de
coleta de informações
(cartas de beneficiários)
Avaliações de estudos feitos
pela equipe interna
Pesquisas e Estudos Avaliativos SAGI – 2011 a 2014
SAGI – Secretariat of Evaluation and Information Management
Produtos de Informação e Conhecimento: Estudos técnicos escritos por equipe interna a respeito de questões específicas sobre a
agenda de Monitoramento e Avaliação
SAGI – LIÇÃO APRENDIDA 10
• Além de se dispor de competência técnica de produzir
pesquisas específicas, estudos avaliativos apoiados em
registros administrativos, cadastros públicos e base de dados
de sistemas informatizados de gestão de programa é
estabelecer parceria com instituições produtoras de
estatísticas públicas e estatísticas setoriais para que as
descontinuidades administrativas e eventuais cortes
orçamentários não interrompam o ciclo de produção de
conhecimento para aprimoramento das políticas;
Parcerias entre MDS e IBGE
• PNAD - Suplementos
2004 - Aspectos Complementares de Educação e Acesso a Transferências de Renda de Programas Sociais e Segurança Alimentar
2006 - Aspectos Complementares de Educação, Afazeres Domésticos e Trabalho Infantil e Acesso a Transferências de Renda de Programas Sociais
2007 - Aspectos Complementares da Educação de Jovens e Adultos e Educação Profissional
2009 - Segurança Alimentar
2013 – Segurança Alimentar
2014 – Qual.Profissional, Inclusão Produtiva, Cadastro Único, Mob. Social
Parcerias entre MDS e IBGE
• MUNIC – Pesq.Inf.Básicas Municipais – 2005 , 2009 e 2013 - Assistência Social
– 2014 – Inclusão Produtiva
• Estadic – Pesq.Inf. Básicas Estaduais – 2012 e 2013 - Assistência Social
– 2014 – Inclusão Produtiva
• Pesquisa de Entidades da Assistencia Social – 2007 e 2014
• Cadastro Único – Formulário da versão 7 e compatibilização endereços
• Pesquisa Painel Longitudinal de Pobreza
PRONATEC
MEI
PAA
FOMENTO
Censo Educ
Superior
CAGED
RAIS
Produção de informações tempestivas e úteis para: • Formulação de
serviços e programas
• Monitoramento de ações, serviços e programa
• Avaliação de ações, serviços e programas
CadÚnico
SISVAN
Estudos avaliativos com base na Integração de dados longitudinais do Cadastro Único, Bolsa Família e outros Registros Administrativos
1. Integração de BDs: rotinas e estratégias 2. Integração de BDs: CadÚnico x Sisvan 3. Dados descritivos Transversais 4. Dados analíticos Transversais 5. Análise Longitudinal _________________________
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
20%
Longitudinal Transversal
Proporção das crianças menores de 5 anos, beneficiárias do PBF e acompanhadas nas condicionalidades de saúde, que estão com desnutrição crônica, segundo as
perspectivas Longitudinal e Transversal – Brasil 2008/2012
2008
2009
2010
2011
2012
2 a
7 a
no
s
0 a
5 a
no
s
1 a
6 a
no
s
0 a
5 a
no
s
1 a
6 a
no
s
2 a
7 a
no
s
3 a
8 a
no
s
3 a
8 a
no
s
4 a
9 a
no
s
4 a
9 a
no
s
Integração Cadastro e SISVAN
1. Integração de BDs: rotinas e estratégias 2. Integração de BDs: CadÚnico x Sisvan 3. Dados descritivos Transversais 4. Dados analíticos Transversais 5. Análise Longitudinal _________________________
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
Longitudinal Transversal
Proporção das crianças menores de 5 anos, beneficiárias do PBF e acompanhadas nas condicionalidades de saúde, que estão com excesso de peso,
segundo as perspectivas Longitudinal e Transversal - Brasil 2008/2012
2008
2009
2010
2011
2012
4 a
9 a
no
s
3 a
8 a
no
s
2 a
7 a
no
s
0 a
5 a
no
s
1 a
6 a
no
s
4 a
9 a
no
s
3 a
8 a
no
s
2 a
7 a
no
s
1 a
6 a
no
s 0 a
5 a
no
s
Integração Cadastro e SISVAN
SAGI – LIÇÃO APRENDIDA 11
• Tão importante quanto produzir informação é se esforçar
para que ela chegue aos destinatários que podem fazer uso
inteligente e efetivo da mesma. Informação para o Ciclo de
Gestão de Políticas e Programas é complexa e requer esforço
intenso de Capacitação e Formação e deve ser sistematizada
em suportes adequados – documentos, sínteses, portais,
produtos multimídia – e customizados para diferentes tipos
de usuários no governo federal, estadual, municipal e nos
equipamentos sociais;
Produção, Disseminação e Capacitação em Monitoramento e Avaliação: A Secretaria de Avaliação e Gestão da Informação do MDS
www.mds.gov.br/sagi
Produtos de Informação e Conhecimento - Publicações personalizadas para todos os diferentes usuários potenciais de estudos avaliações:
resumo e apresentação mais detalhada dos resultados das avaliações
Produtos de Informação e Conhecimento - Publicações personalizadas para todos os diferentes usuários potenciais dos estudos das avaliações:
apresentar resultados anuais do Censo SUAS
Versão eletrônica: Gráficos e manchetes
Publicação: dados selecionados (mais descritivos)
Produtos de Informação e Conhecimento - Publicações personalizadas para todos os diferentes usuários potenciais de estudos avaliações: contribuições
para disseminar a cultura de monitoramento e avaliação pela Revista Brasileira de Monitoramento e Avaliação e financiamento de seminários acadêmicos
Revista Brasileira de Monitoramento e Avaliação
Seminários Acadêmicos e Técnicos patrocinados
Ciclo de Formação em Conceitos e Técnicas para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas e Ações do MDS
Produtos de Informação e Conhecimento: Oferecendo cursos personalizados presenciais e à distância sobre o acompanhamento
e as questões de avaliação, utilizando manuais básicos e ferramentas multimídia e virtuais
Produtos de Informação e Conhecimento: Oferecendo cursos personalizados presenciais e à distância sobre o
acompanhamento e as questões de avaliação, utilizando manuais básicos e multimídia escritos para os gestores do programa
Curso Objetivo Carga-
horária
1. Diagnóstico
para a formulação de
programa
Desenvolver a capacidade de utilizar fontes de
informação a partir de programas e estatísticas oficiais
para diagnosticar a situação e propor um programa
público
20 a 40
horas
2. Ferramentas e
indicadores para
programas de
monitoramento
Preparar os participantes para utilizar sistemas de
informação, e desenvolver metodologias para a
construção de indicadores para o acompanhamento do
programa público
20 a 40
horas
3. Introdução aos
métodos de
investigação e estudos
de avaliação
Desenvolver habilidades essenciais para a compreensão
dos resultados da avaliação e as metodologias, o seu
potencial e as limitações
40 horas
SAGI – LIÇÃO APRENDIDA 12
• A apropriação da Informação e Conhecimento na Política ou
no programa não é, pois, tarefa trivial, guiada por
voluntarismo ingênuo ou tecnocrático, mas por juízo
adequado de oportunidade, conveniência e poder político.
Afinal, programas públicos são sistemas complexos e
dinâmicos, passam por mudanças significativas em seu
desenho e mesmo em seus objetivos em seu período de
implantação; são operados em geral por meio de arranjos
federativos, envolvendo diversos processos de trabalho e
milhares ou centenas de milhares de agentes.
Pesquisas e Estudos Avaliativos Desafios na Disseminação e Apropriação dos Resultados
Pesquisas e Estudos Avaliativos Desafios na Disseminação e Apropriação dos Resultados
Avaliadores e relatórios de avaliação podem apresentar achados e fazer recomendações, mas são os formuladores de políticas e outros tomadores de decisão que, em última instância, determinam que achados devem ser encarados com maior relevância e quais recomendações devem ser implementadas.
Avaliadores gostariam em algumas situações, às vezes frequentemente, de dispor do poder de impor as mudanças e recomendações que fizeram em seus estudos, mas esse não é o papel deles. ....
Avaliadores devem trabalhar diligentemente em informar e facilitar o uso dos seus achados ( e não ficar sentado e esperando algo acontecer)....
Eles não são os usuários finais das avaliações (Dabelstein e Patton 2012:196)
O ACESSO E USO NA PESQUISA ACADÊMICA – GOOGLE ACADÊMICO
Fator de Impacto H de 17
http://poko.ad/bcn/?/projects/all-you-need-is-less/
Obrigado !!
www.mds.gov.br/sagi