monitoramento, avaliação e indicadoresnaadministraçãopúblicanfmbip6mc82abuzwetraeav8... ·...
TRANSCRIPT
Monitoramento, Avaliação e Indicadores na Administração Pública
FortalezaMarço/2013
• Aprimorar as capacidades de definir, monitorar e
avaliar desempenho:
• Resgatar conhecimentos e experiências individuais;
• Construir conceitos básicos sobre desempenho,
monitoramento e avaliação.
Um pouco sobre a história e experiências
profissionais das facilitadoras.
Contribuição Conceitual 1:
Entendendo Resultados e o
Monitoramento e Avaliação no ciclo
das políticas
o Resultados, em geral, têm relação com uma
“iniciativa" (organização, projeto, programa,
processo, política etc.);
o Em linguagem simples: aquilo que se quer alcançar
com os meios e níveis de qualidade definidos.
Característicaconstitutivas
Qualidades e capacidades
Característicaconstitutivas
Qualidades e capacidades
Esforços
Resultados
Esforços
Resultados
Os atributos da intervenção
Os atributos da intervenção
O desempenhoda intervençãoO desempenhoda intervenção
O valor público/ sustentabilidade da
intervenção
O valor público/ sustentabilidade da
intervenção
Expectativas
Satisfação
Confiança
“Colaboratividade”“Colaboratividade”
Relacionamento
Desempenho a partir da Cadeia de Valor e suas
Dimensões
RESULTADOS
EfetividadeEfetividadeEficáciaEficáciaEficiênciaEficiência EconomicidadeEconomicidade
INSUMOS ATIVIDADES IMPACTOSPRODUTOS
o A eficácia está relacionada ao alcance de um objetivo /meta;
o Ex: Construção de casas populares;
o (Meta: X casas em Yanos com Z recursos).
� Realização dos processos, projetos e planos de ação conforme estabelecidos
9
� Impactos gerados pelos produtos,serviços, processos ou projetos
�Grau de satisfação
O problema é que nem sempre o cumprimento de metas traz benefícios sociais!
O Programa Minha Casa Minha Vida é EFETIVO?
� Relação entreprodutos/serviços gerados (outputs) e os insumos empregados
� Usualmente sob a forma de custos ou produtividade
CUSTO DE KM DE
ESTRADA
� Obtenção e uso de recursos com o menor ônus possíveldentro dos requisitos técnicos, qualidade e quantidadeexigidas pelo input
� Utilizados pelos órgãos de controle:
� “Art. 70 - A fiscalização contábil, financeira, orçamentária,operacional e patrimonial da União e das entidades daadministração direta e indireta, quanto à legalidade,legitimidade, economicidade, aplicação das subvenções erenúncia de receitas, será exercida pelo CongressoNacional, mediante controle externo, e pelo sistema decontrole interno de cada Poder.” (CF/88)
12
Fonte: InProgress Integrated Monitoring
� Que experiências de avaliação de desempenho eu vivi até
aqui? (profissionais ou pessoais)
� De que maneira elas me marcaram positiva e
negativamente?
� O que aprendi com elas?
� Por que tantas resistências?
Monitorar e avaliar significa gerar informações (relevantes
e orientadas a públicos de interesse) de maneira
qualificada e sistemática sobre os atributos, o
desempenho e o valor de “algo”, buscando explicar e
emitir juízos, e usar tais informações, incorporando-as no
processo decisório, com vistas ao aprendizado,
transparência e responsabilização.
Monitorar é gerar informações relevantes, deforma contínua e sistemática, sobre “algo”,analisar tais informações e incorporá-las no
processo decisório, tomando medidas corretivas
e de remoção de obstáculos.
Avaliar é gerar informações (relevantes eorientadas a públicos de interesse), de formanão contínua, sobre “algo”, em umdeterminado momento do seu ciclo de vida,com a intenção explicativa (identificar relaçõesde causalidades), podendo ensejar em juízosde mérito e relevância.
Indisponibilidade de água; tempo gasto para conseguir água
é alto
Indisponibilidade de água; tempo gasto para conseguir água
é alto
Construção de cisternas e orientação
aos usuários sobre manutenção e
manejo da água
Construção de cisternas e orientação
aos usuários sobre manutenção e
manejo da água
Efeitos positivos e negativos;
esperados e não esperados
Efeitos positivos e negativos;
esperados e não esperados
Intervenções versus contingente (“curso natural”dos acontecimentos):◦ Macroambiente� Fatores econômicos,políticos, sociais etc...
� Atores◦ Ambiente operacional� Competidores� Fornecedores� Clientes
Intervenções:
� Políticas
� Estratégias
� Programas
� Projetos
� Ações
� Organizações
� Sistemas
� Etc…
o Interna - Realizada pela própria equipe executora (auto-
avaliação) ou especialistas de outras áreas da mesma
organização.
o Externa - Realizada por profissionais que não participaram
de nenhuma fase do ciclo da iniciativa.
o Mistas - Realizada por equipes compostas de elementos
externos e internos à intervenção.
o Participativas - Realizadas com o envolvimento do público
alvo.
o Ex-ante ou anterior – Realizada antes do início da iniciativa. Subsidia os decisores a seguir em frente ou não (análise de viabilidade, custo/benefício).
o Intermediária – Analisa o processo de implementação; afere os resultados alcançados num determinado momento da implantação e analisa as tendências do alcance dos objetivos. Recomenda revisões no desenho e nas estratégias.
o De término – Ao final da iniciativa, consolida as informações do monitoramento, verifica o alcance dos objetivos.
o Ex-post ou somativa – Realizada após um determinado período da conclusão da iniciativa (o tempo suficiente para os efeitos surgirem). Subsidia decisão sobre a manutenção ou a reformulação de uma iniciativa.
IDENTIFICAÇÃO FORMULAÇÃO IMPLANTAÇÃO PÓS IMPLANTAÇÃO
DECISÃO DE IMPLANTAR
DECISÃO DE IMPLANTAR
CORREÇÕES DE RUMO
CORREÇÕES DE RUMO
Dimensionamento da demanda ->
orçamento
Definição de critérios de
seleção (cidades e famílas)
Preparação dos instrumentos de
repasse
Estruturaorganizacional
Dimensionamento da demanda ->
orçamento
Definição de critérios de
seleção (cidades e famílas)
Preparação dos instrumentos de
repasse
Estruturaorganizacional
Avaliação de términoAvaliação de término
Iniciativa em Operação
Iniciativa em Operação
MonitoramentoMonitoramento
Avaliação (ex-post)Avaliação (ex-post)
Seleção das cidades e famílias
Repasse de recursosConstrução das
Cisternas
Seleção das cidades e famílias
Repasse de recursosConstrução das
Cisternas
Água insuficiente (quanti e quali) para
necessidades básicas no semi-árido
Pessoas gastam 4 horas por dia na
busca e transporte de água para suas
moradias
Possíveis soluções de baixo custo
Água insuficiente (quanti e quali) para
necessidades básicas no semi-árido
Pessoas gastam 4 horas por dia na
busca e transporte de água para suas
moradias
Possíveis soluções de baixo custo
Avaliação Interna Avaliação Interna
Avaliação “ex-ante”Avaliação “ex-ante”
DECISÃO DE CONTINUAR DECISÃO DE CONTINUAR
DECISÃO DE REPETIR
DECISÃO DE REPETIR
Controle /fiscalização
Controle /fiscalização
Qualidade das cisternasManejo da águaSustentabilidade
EficáciaBom uso dos recursos
Satisfação dos usuários
Qualidade das cisternasManejo da águaSustentabilidade
EficáciaBom uso dos recursos
Satisfação dos usuários
o Aumentar a compreensão sobre políticas eorganizações para poder melhor atuar sobre eles:aprendizado, melhorias, amadurecimento
o Decisões baseadas em evidências ao invés de“achismos”: redesenhos, replicações, ampliações,cancelamentos, financiamentos futuros
oMomentos prospectivos (feedbacks e feedforwards),normativo/formulativo, implementação e avaliação
oAssegurar às partes interessadas que os recursos são gastosde forma apropriada e que alcançam seus objetivos:transparência e responsabilização
oMaior importância do M&A a partir da Lei de Acesso à
Informação (Lei nº 12527/2011)
Art. 4o Para os efeitos desta Lei, considera-se:V - tratamento da informação: conjunto de ações referentes àprodução, recepção, classificação, utilização, acesso,reprodução, transporte, transmissão, distribuição,arquivamento, armazenamento, eliminação, avaliação,destinação ou controle da informação;
Art. 5o É dever do Estado garantir o direito de acesso àinformação, que será franqueada, mediante procedimentosobjetivos e ágeis, de forma transparente, clara e emlinguagem de fácil compreensão.
Art. 7o O acesso à informação de que trata esta Leicompreende, entre outros, os direitos de obter:
VII - informação relativa:a) à implementação, acompanhamento e resultados dos programas, projetos e ações dos órgãos e entidades públicas, bem como metas e indicadores propostos;
Contribuição Conceitual 2:
Entendendo o Processo de
Monitoramento e Avaliação
Objeto e atores
envolvidos
Objeto e atores
envolvidos
Dimensões PerguntasDimensões Perguntas
Indicadores
Fontes e métodos de
coleta
Indicadores
Fontes e métodos de
coleta
AnáliseAnáliseComunicação
e usoComunicação
e uso
� Clareza sobre a iniciativa: objetivos (gerais e específicos),componentes (ações, atividades, estrutura analítica);planejamento, processos organizacionais; processo deimplementação (metas físicas, orçamento, cronograma,parâmetros de qualidade, estratégia gerencial, regulamentosde compras e contratações, métodos de supervisão efiscalização)
� Efeitos previstos
� Atores envolvidos e interessados e como se articulam
� Como se articulam vertical e horizontalmente as políticaspúblicas
Impactos (outcomes)Produtos (outputs)
EconomicidadeDimensões
de Esforço
Ações/Atividades
Dimensões do
ResultadoEficácia EfetividadeEfetividadeEfetividadeEfetividadeEficiência
Insumos (inputs)
Impactos (outcomes)
Resolver a maioria dos problemas de saúde da comunidade (baixa complexidade)
Redução das filas nos pronto-socorros e hospitais
Satisfação dos usuários e utilização mais racional dos recursos existentes
Longevidade
Qualidade de vida da comunidade
Produtos (outputs)
Atendimento
Vacinas aplicadas
Distribuição de medicamentos (medicamentos controlados)
Acolhimento e Acompanhamento e visitas domiciliares
Encaminhamento de casos de média/alta complexidade
Informações sobre pacientes, doenças, vacinas etc.
ExecuçãoExcelênciaExcelênciaExcelênciaExcelênciaEconomicidadeResultados
Ações/Atividades
Prestar atendimento
Vacinar e medicar
Distribuir medicamentos
Acolher e acompanhar pacientes
Diagnosticar e encaminhar casos de média/alta complexidade
Cadastrar pacientes (prontuário)
ResultadosEficácia EfetividadeEfetividadeEfetividadeEfetividadeEficiência
Insumos (inputs)
Recursos financeiros
Profissionais
(Médicos, Técnico de Enfermagem, Agente Comunitário de Saúde etc.)
Recursos físicos
(instalações, equipamentos etc.)
Recursos
tecnológicos
Informações e
Conhecimento
Os atores interessados no M&A são todos os envolvidose/ou afetados por eleseleseleseles – indivíduos e organizações com uminvestimento, interesse ou influência (uma parte – stake) nainiciativa e/ou avaliação e seus achados.
32
Quais desejos, incômodos e questões os processos de monitoramento e avaliação devem considerar?
Quem são os Atores Interessados no M&A?
DiscussãoDiscussãoDiscussãoDiscussão PlenáriaPlenáriaPlenáriaPlenária 2222: : : : Reconhecer o lugar dos atores
nos processos de monitoramento e avaliação.
� Quem são os atores interessados / usuários das
avaliações das Cisternas? (atenção: não confundir com interessados nos objetos)
� Qual o seu interesse / papel no processo?
� Como poderiam estar envolvidos?
� Como se pode encorajar a sua participação?
33
Recursos Financeiros
Recursos Financeiros
TempoTempo
Qualidade e quantidadede entregas
Qualidade e quantidadede entregas
Metas , produtosMetas ,
produtos
34
A ção M etas C ro no ló gicas Data de
Co nclusão
Prevista
Data de
con clu são
Realizada
Situaç ão /
T end ência
Ação 01 .
Desenvolver o
P rogram a de
Aquis ição de
Alimentos ,
modalidade
compra para
doação
s imul tânea
municipal
M01. A dqu irir 100 tone ladas de
a limentos dos ag ricu lto res
fam ilia res do mun icípio xxx até
31.12.2009
31 /12/2009 31 /04/2010
M02 . Doar 100 t oneladas de
a limentos a 50 institu ições a té
31.01.2009
31 /01/2009
.
Monitoramento Cronológico
35
Monitoramento Orçamentário-Financeiro
Projeto/
Ação
Orçado (O)
(R$)
Compro-
metido até
a data (C)
(R$)
= C/O
*100
(%)
Pago até a
data (P)
= P/O *
100 (%)
Saldo na
data
(R$)
01
02
03
04
05
TOTAL
36
Monitoramento Físico
Ação Unidade Quantidade
Prevista
Quantidade
Realizada
= P/R *
100 (%)
1
2
3
4
5
37
Monitoramento IntegradoAção Responsável
(referência)
Status
Financeiro
Status
Físico
Status
Cronológico
Resultado (efeito)
Ação 01. Implantar a Feira Popular (Feira da Lua)
José Maria (Secretário de Agricultura)
☺ ☺ ☺23 Produtores Beneficiados com a venda.
Receita média do agricultor na feira igual a R$120,00
Ação 02. Criar Rede de Empreende-dores do Turismo
Lincoln (Setor Privado) ☺ � �
Donos das pousadas descontentes com o fluxo de turistas
Ausência de serviços de apoio ao turista (p.ex. restaurantes)
� Os entravesentravesentravesentraves à execução;
� Processos críticos Processos críticos Processos críticos Processos críticos (licitações, contratações, repasses);
� A implementação em base territorialterritorialterritorialterritorial;
� Agendas Agendas Agendas Agendas prioritáriasprioritáriasprioritáriasprioritárias (ex: jovens, mulheres, zona rural; populações indígenas; público BSM; PME);
� A implementação articulada de articulada de articulada de articulada de polípolípolípolíticasticasticasticas complementares; complementares; complementares; complementares;
� O cumprimento cumprimento cumprimento cumprimento de condicionantesde condicionantesde condicionantesde condicionantes (ex: Bolsa Família).
39
� As cidades e famílias estão sendo selecionadas?� As cisternas estão sendo construídas?� Os recursos estão sendo aplicados comeconomididade?�As ações de educação sobre o manejo da água e amanutenção das cisternas estão acontecendo?� As cisternas estão sendo distribuídas comequidade?
40
Devem:� ter sentido e relevância para os interessados� ser relacionadas a aspectos críticos do objeto� ter caráter de investigação� ser capazes de gerar aprendizagens� ser viáveis (informações e recursos)� ser claras (objetiva) e capaz de guiar a avaliação
� Quais os efeitos do programa nas condições devida dos beneficiários?
� A água armazenada é suficiente para asnecessidades básicas das famílias?
� A solução adotada é sustentável ? (qualidade daágua, estado de conservação das cisternas,
o
43
• Economicida-de
• Efetividade
• Eficiência• Eficácia
GestoresGestoresFinanciado-
resFinanciado-
res
Órgãos de Controle
Órgãos de Controle
SociedadeSociedade
44
As perguntas definidas contêm conceitos e “termos chave” . Para responder às perguntas formuladas, é necessário ter medidas acuradas e confiáveis, o que envolve questões básicas:
� O que queremos saber? (conceito)
� Como vamos saber isso? (medida)
� Que informações são necessárias?
� FrequênciaFrequênciaFrequênciaFrequência (números) - ex: 50 estudantes graduados por ano
� PorcentagemPorcentagemPorcentagemPorcentagem (proporção) - 20% dos estudantes são mulheres
� MédiaMédiaMédiaMédia - ex: a média de idade dos estudantes é de 22 anos� DinheiroDinheiroDinheiroDinheiro (custos, despesas) - volume total investido� Evolução na Porcentagem entre dois momentos Evolução na Porcentagem entre dois momentos Evolução na Porcentagem entre dois momentos Evolução na Porcentagem entre dois momentos (taxa de mudança) - a escola aumentou o número de matrículas em 40% no último ano
� TaxaTaxaTaxaTaxa - número de estudantes por professor é de 15:1� ComparaçõesComparaçõesComparaçõesComparações - média dos salários de professores graduados X não graduados
� Indicadores são aspectos da realidade que tomamos como base para melhor compreendê-la (objeto avaliado);
� Proporcionam informações sobre um objeto com vistas ao controle, comunicação e melhoria;
� São instrumentos de medidas de atributos, desempenho
(esforços e resultados) e valor;
� São instrumentos de mediação, de negociação e de comunicação que ajudam os interessados a olhar “juntos”para a realidade.
47
� Podem ser qualitativos ou quantitativos;
� Precisam ser válidos: medir o que precisa sermedido;
�
�Precisam medir o que é importante (e não o que émais fácil);
� Precisam ser confiáveis e precisos.
Quantitativos: referem-se a aspectos tangíveis da realidade,facilmente observáveis, como renda, escolaridade, forma deorganização e gestão, escolarização.
Qualitativos: referem-se a aspectos intangíveis da realidade, queso podem ser captados indiretamente por meio de suas formasde manifestação, como é o caso do incremento da consciênciasocial, da autoestima, de valores, de atitudes, de liderança, deprotagonismo e de cidadania (dimensões complexas darealidade, processos não-lineares ou progressivos)..
48
Desdobramento dos objetos de mensuração em indicadores a partir das dimensões do desempenho (6Es), dos atributos e do valor
Atores Perguntas de M&A Dimensão Subdimensão Objeto de mensuração Indicador
Quem
utilizará o
M&A?
O que realmente
interessa saber sobre
a intervenção?
Quais as dimensões do
desempenho, dos atributos e
do valor adotados?
Quais são os objetos de M&A?
Que evidências quantitativas e
qualitativas respondem a
pergunta?
Responsável pela UBS
Em que medida a UBS tem contribuído
para melhorar a saúde da
comunidade?
E1
EfetividadeImpacto Final Longevidade da população
Expectativa de vida ao nascer da comunidade
Taxa de mortalidade da comunidade
O que a UBS tem ofertado à
comunidade?E2 Eficácia
Quantidade/Volume
Atendimento em pediatria, ginecologia, clínica geral, odontologia, psiquiatria,
psicologia e nutricionistaNº de Atendimentos
Vacinas, medicações injetáveis, nebulização, pressão arterial , curativos,
glicoteste, teste do pezinho etc.Nº de Procedimentos
Acolhimento e acompanhamento e visitas domiciliares
Nº de Visitas Domiciliares
CoberturaAcolhimento e acompanhamento e visitas
domiciliaresGrau de cobertura das visitas
domiciliares
Qual é o grau de prontidão do atendimento
médico?
E3
EficiênciaTempo
Atendimento em pediatria, ginecologia, clínica geral odontologia, psiquiatria,
psicologia e nutricionista
Tempo médio de espera para o atendimento
As instalações físicas estão adequadas?
E5
Excelência
Conformidade em relação a padrões de
excelênciaRecursos físicos (instalações)
Grau de conformidade e conservação da estrutura física
da UBS
O que medir?Qual é a medida
relevante?
� A meta de desempenho representa um estado futuro desejado
� Determina o grau de esforço necessário para se alcançar o objetivo
� Devem ser:
◦ alcançáveis
◦ desafiadoras
◦ negociáveis
◦ fundamentadas em séries históricas, tendência e benchmark
50
� Alguns cuidados ao estabelecer metas de desempenho:
◦ Considerar a série histórica de desempenhos anteriores
◦ Conhecer estágio de referência inicial: a linha de base (To)
◦ Considerar o cenário em que se insere o objeto do indicador:
� volume de recursos disponíveis;
� condicionantes do ambiente (políticas, econômicas, capacidade
organizacional) .
51
52
Evolução temporal do
nível de desafio
REALIDADE DESAFIADORA
ZONA DE
CONFORTO
t1t2
t3t4
Nível crescente
de desafio
Ponto
ótimo
tx
UTOPIA
REALIDADE DESAFIADORA
ZONA DE
CONFORTO
Muito alcançável, não desafiadora
Alcançável e desafiadora
Muito desafiadora, não alcançável
Ano 1 Ano 2 Ano 3 Ano 4 Ano 5 Ano 6
Número de homicídios 1.000 habitantes
Ano 1Ano 2Ano 3Ano 4 Ano 5Ano 6
Investimento em P,D&I
Ano 1 Ano 2 Ano 3 Ano 4 Ano 5 Ano 6
Investimento em Equipamentos
Ano 1 Ano 2 Ano 3 Ano 4 Ano 5 Ano 6
Benchmark
• O problema da taxa de crescimento: a dificuldade de crescer sobre uma base cada vez maior
• A consideração das sazonalidades e correlação com outras variáveis (Ex. contingenciamento de recursos)
Linha de Tendência e Coerência das Metas
A fonte de informação é o lugar onde encontramos as informações necessárias para a aferição dos indicadores. Podem ser primárias (originais) ou secundárias (provenientes de bases de dados):
� pessoas - profissionais, educadores, gestores, usuários, lideranças comunitárias, familiares etc.).
� documentos – atas de reunião, boletim escolar, livros de registro, diários de bordo.
� banco de dados – arquivos em sistemas de informação.
� registros audiovisuais – fotografias, vídeos etc.
� objetos concretos – prédios, comunidades, equipamentos etc.
54
Principais
InteressadosPergunta avaliativa Indicadores
Fonte de
informação
Forma de coleta de
informação
Quem utilizará a
avaliação?
O que realmente
interessa saber
sobre o programa?
Que evidências
quantitativas e
qualitativas
respondem a
pergunta?
Onde encontramos
a informação
necessária?
Que métodos mais
ajudam a obter a
informação
necessária?
Rosana Paz
(Coordenadora da
UBS)
Luiz Silva
(Secretário de
Saúde)
Marina Batista
(Presidente da
Associação de
Moradores)
Em que medida o
programa de
capacitação dos
médicos tem
contribuído para
melhorar a
qualidade da
unidade de saúde?
Percepção das
lideranças
comunitárias
Percepção dos
profissionais da
equipe
Qualidade dos
prontuários
Número de
referências a outros
serviços
Presidente da
Associação de
Moradores
Equipes do PSF
Prontuários das
famílias
Relatórios do SIAB
Entrevista
Oficina de avaliação
Análise de 10% dos
prontuários
Consultas aos
relatórios do SIAB
55
quanti
quali
AnáliseAnáliseAnáliseAnálise dededede dadosdadosdadosdados é o processo de converter números epalavras em informações úteis de forma a permitirinterpretações significativas.
Os dados não falam por si. Análise e Interpretaçãoenvolvem julgamento humano que traz significado paraos dados.
Este processo geralmente leva mais tempo do que oesperado. Por isso, planeje-o adequadamente. Pensesobre quem deveria estar envolvido e quem podeajudar.
56
Notícia EBC Notícia EBC Notícia EBC Notícia EBC –––– 23.05.201223.05.201223.05.201223.05.2012 Notícia Jornal ONotícia Jornal ONotícia Jornal ONotícia Jornal O GloboGloboGloboGlobo
Para preparar as cidades para a copa das Confederações em 2013, estão previstas 101 obras, 5 das quais estão concluídas, 55 em andamento, um aumento de 76% em relação ao último balanço divulgado 8 meses atrás.
O Ministério do Esporte divulgou ontem balanço sobre a Copa das Confederações 2013 mostrando que pouca coisa foi feita. Apenas 5% das 101 obras previstas estão prontas, mas elas representam menos de 1% do total de 27 bilhões.
57
O estudo (análise) é a maneira pela qual se organiza, se processa e se interpreta as informações coletadas.
�análises quantitativas
� Estatística: %, F, N, V...
� testes estatísticos / combinações...
�análises qualitativas
� análise de conteúdo: categorias, eixos, temas, representações...
�análises integradas: associam o quantitativo e o qualitativo.
58
59
50,0%
18,8%
31,2%
0,0% 0,0%0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
Muito Boa Boa Regular Ruim Muito Ruim
Gráfico 1. Qualidade das visitas de supervisão aos abrigos
Evolução das Condições de Nascimento
0
5
10
15
20
25
30
35
40
45
1996 1997 1998 1999 2000 2001 2002 2003 2004
Ano
%
15
16
16
17
17
18
18
19
19
20
20
21
Taxa B
ruta
de N
ata
lid
ad
e
% com prematuridade
% de partos cesáreos
% baixo peso - geral
% de mães de 10-19 anos
% de mães de 10-14 anos
Taxa Bruta de Natalidade
Gráfico 2. Evolução das condições de nascimento
60
Indicador 02. Representação que o jovem faz da escola
“...o problema é a má educação na escola mesmo. Olha, tem professor
ruim, que ganha mal e não liga pra ensinar a gente, tem aluno que não
liga para nada. (...) Se eu tivesse dinheiro eu tinha a solução, mas não
tenho, então estudo naquela escola mesmo (...) Acho que o que é mais
importante na escola é o recreio mesmo (...) Tem gente que pensa isso,
mas eu não. Eu acho que não estou aprendendo nada na escola...”
(Entrevista individual com jovens – n37)
A escolha da técnica depende de vários fatores:� Do objeto a ser avaliado (diferentes programas,políticas ou projetos- diferentes técnicas de avaliação);
� Restrição de tempo;� Restrição de recursos (humanos e financeiros);� Tipo de estudo avaliativo (se ex-ante, ex-post, etc);
� Contexto da avaliação, entre outros fatores.
Exemplo 1: Microssimulação
•Simulação do que ocorre com o comportamento individual (representativo de uma população mais extensa) de modo a tirar conclusões ex-ante sobre determinada política ou programa (em níveis de agregação maiores).
•Ex.: simulação de impacto de uma política tributária
Exemplo 2: Inferência causal/contrafactual
•Quando queremos saber se um programa/política/projeto/intervenção é responsável pelos resultados verificados (relação causal);
•Utilização de grupos de tratamento e controle.
•Método quase-experimental;
•Dificuldade: ter um bom grupo de controle.
ÁREA DE TESTE ÁREA DE CONTROLE
� A comunicação é um fator preponderante para a integraçãoda organização e o desdobramento dos resultados em todosos níveis, internamente e externamente.
� A interação entre as equipes e o alinhamento deconhecimentos cria sinergia e um senso comum de atuação.
� O processo de comunicação:◦ Move as ações◦ Estimula a mudança◦ Gera consciência e engajamento◦ Mantém o ritmo na busca do melhor desempenho
� Em síntese, a comunicação gera consciência estratégica ecultura voltada para resultados.
65
� A quem comunicar? (publico alvo, sistema decisório, parceiros, gestores, meios de comunicação, equipe técnica, financiadores, instâncias de governo).
� O que deve ser comunicado? Diferentes atores -> diferentes necessidades. Definir: que informações precisam, com que frequência, em que momento?
� Como comunicar? Meios, formatos e linguagem influem no acesso, confiabilidade e compreensão, fatores decisivos para o uso.
66
� Maioria são relatórios de caráter técnico, extensos e áridos, facilmente “engavetáveis”. Em geral se faz um relatório final com um resumo executivo
� Alternativas: opções que estimulem debates e reflexõesparticipativas:◦ Exposições às equipes, audiências públicas, fóruns comunitários◦ Vídeos e apresentações multimídia◦ Folders visualmente amigáveis◦ Banners com faixas de desempenho (vermelho, amarelo, verde e
azul)◦ Painel de indicadores com seus respectivos resultados (Central de
Resultados)
67
ESTRUTURAESTRUTURAESTRUTURAESTRUTURA
� Sumário executivo� Contextualizar o objeto
� Objetivos da avaliação� Metodologia� Resultados� Meta-avaliação� Considerações finais� Referências� Anexos
68
CARACTERÍSTICAS
n Objetivo
n Linguagem clara
n Voltado aos interessados
n Contextualizar resultados
n Possibilitar que a metodologia (o caminho) da avaliação seja conhecida e julgada
n É apenas uma das peças (formas) de comunicação!
69
70
71
Quatro regras fundamentais� Os resultados devem ser comunicados de formaadequada a usuários adequados – só serão usados sebem entendidos
� Os informes devem tratar de temas consideradosimportantes pelo público alvo / usuários
� Os informes devem ser apresentados a tempo para quesejam úteis
� A linguagem dos informes deve ser compreensível para oseu público alvo
Alternativa: estratégia de uso e incorporação
72
Como estimular ou garantir o uso dos resultados e manter o processo do M&A como algo contínuo entre os diversos atores?
73
� MARTINS e MARINI. Um Guia de Governança paraResultados na Administração Pública. Brasília: Publix, 2010
� MARTINS e MARINI. Governança em ação Vol. 1. Brasília: Publix, 2010
� MPOG. Guia Referencial para Medição de Desempenhoe o Manual para Construção de Indicadores. SEGES. 2010
� CNS/CONEP. Conselho Nacional de Saúde. Comissão Nacional de Ética em Pesquisa. Normas para pesquisa Normas para pesquisa Normas para pesquisa Normas para pesquisa envolvendo seres humanos: Resolução CNS 196/96 e envolvendo seres humanos: Resolução CNS 196/96 e envolvendo seres humanos: Resolução CNS 196/96 e envolvendo seres humanos: Resolução CNS 196/96 e outrasoutrasoutrasoutras. Brasília: Ministério da Saúde; 2000. (Série Cadernos Técnicos)
� CHIANCA, T K et aL. Desenvolvendo a cultura de Desenvolvendo a cultura de Desenvolvendo a cultura de Desenvolvendo a cultura de avaliação em organizações da sociedade civilavaliação em organizações da sociedade civilavaliação em organizações da sociedade civilavaliação em organizações da sociedade civil. Coleção Gestão e Sustentabilidade. São Paulo: I. Fonte/ Editora Global; 2001.
74
� DEMO, P. Avaliação QualitativaAvaliação QualitativaAvaliação QualitativaAvaliação Qualitativa, 2a edição, S.Paulo, Cortez Editora, 1988.
� REIS, LC. Avaliação de projetos como instrumento de Avaliação de projetos como instrumento de Avaliação de projetos como instrumento de Avaliação de projetos como instrumento de gestão.gestão.gestão.gestão. In: Apoio à gestão . Rio de Janeiro; site da Rits; 1999; Artigo.
� SCRIVEN M. Metodologia da avaliação. In: SANDERS, J. (org). Introdução à avaliação de programas sociaisIntrodução à avaliação de programas sociaisIntrodução à avaliação de programas sociaisIntrodução à avaliação de programas sociais. São Paulo; Fonte; 2003. p. 08-33.
� SILVA, RR. Avaliação e Desenvolvimento Organizacional: encontros e desencontros. In. Avaliação de Práticas Avaliação de Práticas Avaliação de Práticas Avaliação de Práticas Sociais: fazer saber, saber fazer. Relatório Anual 2009. Sociais: fazer saber, saber fazer. Relatório Anual 2009. Sociais: fazer saber, saber fazer. Relatório Anual 2009. Sociais: fazer saber, saber fazer. Relatório Anual 2009. São Paulo: Instituto Fonte; 2010.
� SILVA, RR. Avaliação de Políticas Públicas: leituras Avaliação de Políticas Públicas: leituras Avaliação de Políticas Públicas: leituras Avaliação de Políticas Públicas: leituras possíveis.possíveis.possíveis.possíveis. Transcrição revisada de exposição na Seção Especial do III ENAPEGS. São Paulo: Instituto Fonte; 2009.
75
� STUFFLEBEAM, Daniel L. E Shinkfield, Anthony: Evaluation Theory, Models & Applications 1st Ed. San Francisco: Jossey-Bass, 2007
� THIOLLENT M. Metodologia da pesquisaMetodologia da pesquisaMetodologia da pesquisaMetodologia da pesquisa----açãoaçãoaçãoação. 8a
ed. São Paulo: Cortez; 1998.� WORTHEN, BR et al. Avaliação de Programas Avaliação de Programas Avaliação de Programas Avaliação de Programas SociaisSociaisSociaisSociais. 1ª Ed. São Paulo: Instituto Fonte – Ed. Gente; 2004.
76
� Rede Brasileira de Monitoramento e Avaliação: http://redebrasileirademea.ning.com
� Red Latino Americana y del Caribe de Monitoreo y Evaluación: http://redlacme.ning.com
� Associação Americana de Avaliaçãohttp://www.eval.org
� MY M&E http://www.mymande.org
77
