cegov - 2015 - mds

INTRODUO PESQUISA DEAVALIAO DE PROGRAMAS

aula1

MDULO 1

CICLO DE CAPACITAO

MDS

curso 3Avaliao

Ministrio doDesenvolvimento Social

e Combate FomeSAGI

Secretaria de Avaliao e Gestoda Informao

EXPEDIENTE

Presidenta da Repblica Federativa do Brasil | Dilma RousseffVice-Presidente da Repblica Federativa do Brasil | Michel TemerMinistra do Desenvolvimento Social e Combate Fome | Tereza CampelloSecretrio Executivo | Marcelo CardonaSecretrio de Avaliao e Gesto da Informao | Paulo JannuzziSecretria Nacional de Assistncia Social | Denise ColinSecretrio Nacional de Segurana Alimentar e Nutricional | Arnoldo Anacleto de CamposSecretrio Nacional de Renda de Cidadania | Luis Henrique da Silva de PaivaSecretrio Extraordinrio de Erradicao da Pobreza | Tiago Falco

Secretaria de Avaliao e Gesto da InformaoSecretria Adjunta | Paula MontagnerDiretor de Monitoramento | Marconi Fernandes de SousaDiretor de Gesto da Informao | Caio NakashimaDiretora de Formao e Disseminao | Patrcia A. F. Vilas BoasDiretor de Avaliao | Alexandro Rodrigues Pinto

Brasil. Ministrio do Desenvolvimento Social e Combate Fome. Caderno de Estudos do Curso em Con-ceitos e Instrumentos para a Avaliao de Programas - Braslia, DF: MDS, Secretaria de Avaliao e Gesto da Informao; Secretaria Nacional de Assistncia Social, 2015. Verso 2 (Maro 2015).

93 p.

1.Polticas Pblicas 2. Avaliao. 3. Programas Sociais. I. Ministrio do Desenvolvimento Social e Combate Fome. II. Sistema nico de Assistncia Social. III. Poltica Nacional de Educao Permanente do SUAS.

2015 Ministrio do Desenvolvimento Social e Combate Fome.Todos os direitos reservados. Qualquer parte desta publicao pode ser reproduzida, desde que citada a fonte.Secretaria de Avaliao e Gesto da Informao (SAGI)Bloco A | 3 andar | Sala 307 | CEP 70046-900 | Braslia | DFTelefone: (61) 2030-1770 www.mds.gov.brCENTRAL DE RELACIONAMENTO DO MDS: 0800 707 2003

Universidade Federal do Rio Grande do Sul (UFRGS)Centro de Estudos Internacionais sobre Governo (CEGOV)

Campus do Vale, prdio 43322Av. Bento Gonalves, 9500CEP: 91.509-900 Porto Alegre RS Fone: (51) 3308-9860 www.ufrgs.br/cegov

Caderno de Estudos do Curso em Conceitos e Instrumentos para a Avaliao de Programas Termo de Cooperao UFRGS-MDS 01/2013

CONTEDO E EXECUO

Equipe CEGOV

Coordenao Geral | Aline Gazola HellmannContedo | Marlia Patta Ramos, Paulo de Martino Jannuzzi e Aline Gazola HellmannEquipe Tcnica | Ana Carolina Ribeiro Ribeiro, Bruno Sivelli, Gabriela Perin, Gianna Vargas Reis Salgado Dias, Gillian Cidade, Giordano Benites Tronco, Gustavo Conde Magarites, Joo Marcelo Conte Cornetet, Jlia da Motta, Thiago Borne Ferreira.

Equipe Tcnica MDS | Paulo de Martino Jannuzzi, Patricia A. F. Vilas Boas, Alexandro Pinto, Marconi Fernandes de Sousa, Caio Nakashima, Marcilio Marquesini Ferrari, Antonio de Castro, Michelle Stephanou, Maria de Jesus Rezende, Thais Kawashima, Renato Monteiro, Maria Cristina A. M. de Lima, Janine Cardoso Mouro Bastos, Katia Ozorio, Tarcsio da Silva Pinto, Marco Antonio Natalino, Luciana Sardinha, Dionara Barbosa, Jlio Cesar G. Fonseca, Carlos Henrique Araujo Santana, Davi Lopes Carvalho

Projeto grfico | Joana Oliveira de OliveiraDiagramao | Joana Oliveira de Oliveira, Liza Bastos Bischoff, Henrique Pigozzo da Silva, Gabriel Thier.

09CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

INTRODUO PESQUISA DE AVALIAO DE PROGRAMAS

Ol, gestor e gestora!

Nesta aula voc vai aprender sobre os principais aspectos da avaliao de programas a partir de uma srie de perguntas.

Boa aula!

1aula

VIDEOTECAEXERCCIOSGUIA DE ESTUDOS

BIBLIOTECASOBRE O MOODLE SOBRE O CURSO

leia

saiba

acesse!

o que diz a norma?

FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS

OBJETIVOS DE APRENDIZAGEM

Nesta aula voc vai aprender:

O que um programa; O que so estudos avaliativos; Quais so os objetivos de uma pesquisa de avaliao; Quais so os principais tipos de avaliaes de programas existentes.



leia

saiba

acesse!

o que diz a norma?




leia

saiba

acesse!

o que diz a norma?


leituraobrigatria

JANNUZZI, Paulo De M. Sistema de Moni-toramento e Avalia-o de Programas Sociais: Revisitando Mitos e Recolocando Premissas para sua Maior Efetividade na Gesto. Revista Brasileira de Monito-ramento e Avaliao, n 5, p. 04-27, 2013.

10 CEGOV | UFRGS

SUMRIO DA AULA 1

O que um programa?

O que pesquisa de avaliao de programa?

Qual a diferena entre monitoramento e avaliao de programa?

Qual o objetivo da pesquisa de avaliao de programa?

A quem se destina uma pesquisa de avaliao de programa?

Como avaliar um programa?

a) Critrios de avaliao

b) Indicadores

c) Constrangimentos

Quais os tipos de avaliao existentes?

a) Segundo o agente que avalia

b) Segundo a natureza

c) Segundo o momento da avaliao

d) Segundo o objetivo da avaliao

Tipos de avaliao segundo o momento do ciclo: uma proposta integradora

10141617182020

20

VAITSMAN, Jeni; PAES-SOUSA, Rmulo. Avaliao de Programas e Profissionalizao da Gesto Pblica. Revista Brasileira de Monitoramento e Avaliao. n. 1, 2011. Disponvel em: http://aplicacoes.mds.gov.br/sagirmps/ferramentas/TemplateHTML/PDFs/Artigo_Revista/Avaliacao_de_programas_e_profissionalizacao_da_gestao_publica.pdf



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

O QUE UM PROGRAMA?

Programas so empreendimentos complexos, que envolvem a contratao de pessoal tcnico; disponibilidade de instrumentos; adequa-o de equipamentos pblicos; alocao de recursos monetrios; promo-o de capacitao, de forma coordenada no tempo e no territorio (JAN-NUZZI, 2014). Em relao a uma poltica, por exemplo, o programa tem um grau maior de objetivao e focalizao. Nele so definidas populao alvo, equipes tcnicas, recursos financeiros, etc. Um projeto, por sua vez, um instrumento para alcanar os objetivos de um programa, envolven-do um conjunto de operaes, limitadas no tempo, das quais resulta um produto final que contribui para a expanso ou aperfeioamento da ao do governo. Quando essas operaes se realizam de modo contnuo ou permanente, so denominadas de atividades ou aes (GARCIA, 1997).

212223232424

26


Dessa forma, podemos definir que:

POLTICA: o estgio onde as propostas de interveno na realidade ganham forma e estatuto, recebendo tratamentos for-mais mnimos, ao serem definidos metas, objetivos e recursos. As polticas transformam-se em programas quando explicitada a estratgia de implementao e, por uma ao de autoridade, so criadas as condies iniciais para sua implementao (SILVA; COS-TA, 2002).

PLANO: o conjunto de programas que buscam objetivos comuns. O plano ordena os objetivos gerais e os desagrega em objetivos especficos, que, por sua vez, sero os objetivos gerais dos programas. O plano organiza as aes programticas em uma seqncia temporal, de acordo com a racionalidade tcnica e as prioridades de atendimento (COHEN; FRANCO, 2004).

PROGRAMA: um conjunto de atividades organizadas para re-alizao de um objetivo, com cronograma e oramento espec-ficos. O programa busca reunir as condies necessrias para o alcance das metas estabelecidas.

PROJETO: instrumento para alcanar os objetivos de um progra-ma, envolvendo um conjunto de operaes, limitadas no tempo, das quais resulta um produto final que contribui para a expanso ou aperfeioamento da ao do governo. Quando essas opera-es se realizam de modo contnuo ou permanente, so denomi-nadas de ATIVIDADES (GARCIA, 1997).

Confira o exemplo a seguir:

Poltica: Poltica Nacional sobre Drogas.

Plano: Plano Integrado de Enfrentamento ao Crack e outras Dro-gas.

Qual era o problema? Disseminao do crack e outras drogas, com problemas relacionados ao seu consumo e ao trfico.

Qual era o objetivo? Ampliao e qualificao da rede de preven-o, acolhimento aos usurios de drogas e apoio aos seus familia-res nas reas da sade, assistncia social e nas escolas.

Qual eram as estratgias? Criao de leitos e unidades de atendi-mento, qualificao de profissionais.

Programas: Programa Crack, Possvel Vencer, Programa de Preveno do Uso de Drogas na Escola, Programa de Preveno na Comunidade, Consultorios na Rua.

O quadro 1 sintetiza os principais elementos de um programa:

1aula

12 CEGOV | UFRGS

PROGRAMAInstrumento de organizao da atuao governamental, que articula um conjunto de aes que

concorrem para um objetivo comum preestabelecido, mensurado por indicadores, visando a soluo de um problema, atendimento de necessidade ou demanda da sociedade, ou aproveitamento de

oportunidade.

Elemento Descrio Exemplo fictcio

DenominaoO nome deve traduzir os propositos do programa.

Podendo ser um nome fantasia que identifique claramente o programa.

CAPACITANDO EM M&A(outros exemplos: Cisternas; Luz

para todos; CapacitaSuas)

Diagnstico / Justificativa

Descrio sucinta do problema (ou demanda) que o programa tem por objetivo solucionar e sua con-tribuio esperada para o alcance das diretrizes de

governo e/ou dos objetivos setoriais.

A Poltica Nacional de Assistncia Social de 2004 determina a reali-zao de polticas estratgicas de Monitoramento e Avaliao, com

o intuito de aferir e aperfeioar os projetos existentes e contribuir

para seu planejamento futuro. No entanto, h um dficit de

capacidade estatal associada falta de pessoal qualificado para

a execuo das atividades de M&A. Pretende-se que o pro-

grama aumente a capacidade dos municpios em Monitorar e Avaliar a execuo dos progra-

mas sociais.

ObjetivoExpressa o resultado desejado em relao ao pbli-co-alvo descrevendo a sua finalidade, com conciso e preciso, sempre mensurvel por um indicador.

Expresso sempre por um verbo no infinitivo.

Capacitar 2.430 trabalhadores do SUAS, sendo 1500 em Indica-dores, 500 em monitoramento e 430 em avaliao de programas

sociais.

Publico-Alvo

Segmento da sociedade (pessoas, comunidades, ins-tituies, setores, etc) que possui em comum algum

atributo, necessidade ou potencialidade e qual se pretende atingir diretamente com os resultados

esperados pela execuo do programa.

243 mil trabalhadores municipais da assistncia social, atuantes

nos rgos da assistncia social: CRAS, CREAS, Conselhos e secre-

tarias.

Horizonte Temporal

Prazo de execuo do programa, podendo ser de natureza contnua ou temporria. Se for de natureza

temporria as datas de incio e trmino devem ser especificadas.

Anual

Data de Incio

Ms e ano do calendrio relativo ao incio do progra-ma. Vlido para programas de carter temporrio. mar/12

Data de Termino

Ms e ano do calendrio relativo ao trmino do pro-grama. Vlido para programas de carter temporrio. mar/14

Abrangencia Espacial

Define a rea de atuao do Programa: Estadual, Municipal, Regies administrativas do Estado;

Regies do pas; bairros etc.Nacional

Quadro 1- Elementos de um programa (continua)


Fonte: elaborao propria com base em So Paulo (2014). Estrutura de Programas e Aes. Manual do Usurio. Secretaria de Planejamento e Desenvolvimento Regional do Governo do Estado de So Paulo. s/d. Disponvel em .

Tipo Setorial - Multisetorial Setorial

Fatores de Risco

Registro das restries identificadas que podem colocar em risco o sucesso do programa.

1) (falta de) banda larga; 2) ausncia de apoio das chefias

dos gestores; 3) o gestor no ser liberado para cursar durante o perodo de trabalho; 4) falta de comprometimento pelo fato do

curso ser gratuto;

Gerente

Profissional capacitado, designado pelo Secretrio de Estado ou dirigente do Orgo, responsvel pelo programa, a quem compete, por exemplo, a) parti-cipar da elaborao do programa em todas as suas

fases, congruentes s diretrizes e objetivos estratgi-cos de Governo ou orgo; b) estabelecer as diretrizes

para o monitoramento e avaliao do programa.

Fulano de Tal

Quadro 1- Elementos de um programa (concluso)

Fonte: Ministrio da Sade (2005).

Figura 1 - Componentes de um programa

O programa pode estar baseado em um modelo logico, que uma ferramenta que auxilia a compreenso sobre como um programa funciona e quais indicadores podem ser utilizados para conferir se os ob-jetivos esto sendo atingidos. Relembrando os principais elementos do Modelo Logico (Figura 2):

1. Insumos/Recursos (inputs): recursos financeiros, humanos, materiais, tecnologicos e de informao utilizados no programa;

PROGRAMA

DADOS DOPROGRAMA

DADOSPOPULACIONAIS

IDENTIFICAO DO PROBLEMA E DA

MUDANA DESEJADA

DADOS PARA DESENVOLVIMENTO

DO PROGRAMA

INSUMOS(RECURSOS)

ATIVIDADES(INTERVENES,

SERVIOS)

PRODUTOS(EFEITOS

IMEDIATOS)

RESULTADOS(EFEITOS

INTERMEDIRIOS)

IMPACTOS(EFEITOS

FINALSTICOS)

POLTICA

PROJETO

AO

Discusso eEspecicao do

Problema a avaliar

Elaborao doProjeto de Pesquisa

e/ou Termo deReferncia para

Contratao

Formao daequipe ou licitao/

contratao dainstituio de

pesquisa

Planejamento eRealizao dolevantamento

de campoSistematizao e

Discusso dosresultados

Produo doRelatrio-sntese

Aprofundamentoanaltico da pesquisapara ns de derivar

recomendaes

Anlise de viabilidade/

oportunidade derecomendaes

Aprimoramentodo programa

3

2

4

5

6

7

8

9

101

Servios de Organizaode dados

Percepo doProblema a avaliar

Reltrios automatizadosde informao

Levantamentos dedaods pela Web

Estudos de dadospela Web

Estudos tcnicos, compilao e meta-avaliaes

Oferta de Capacitaespara servios, presencial

ou distncia

Ferramentas de consultaa dados e mapas

Mapeamento de uxos,processos e arranjos

operacionais de programas

Pesquisa de avaliaode natureza exploratria

Estudos avaliativos com base de dados

secundrios

PLANO1

1aula

Na Figura 1, evidencia-se a vinculao do programa com a resolu-o ou mitigao de uma problemtica social que afeta determinado p-blico-alvo e seu desdobramento em atividades - servios - que resultaro em produtos e efeitos para este pblico, com resultados e impactos sobre a problemtica inicial.

videoteca

Para relembrar como se elabora um mo-delo logico, reveja o vdeo Monitoramen-to: Modelo Lgico

Disponvel em: https://youtu.be/zXzV3LzS3Ag?list=PL-TowxHmkqeM8m-pEYE-Ys_XzXWBgl-C9R7K



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

14 CEGOV | UFRGS

ateno!Os trs principais critrios que so ava-liados em programas so: eficincia no uso dos recursos, eficcia no atingimento dos objetivos e efetividade na mudana social proporcionada pelo programa (Draibe, 1999).



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

2. Atividades/Processo de Implementao: as aes e o tra-balho empregados e atravs dos quais as entradas (inputs), tais como os recursos financeiros, a assistncia tcnica e outros tipos de recursos, so mobilizados para produzirem resultados especficos;

3. Produtos (outputs): produtos e servios resultantes direta-mente das atividades do programa;

4. Resultados (outcomes): os efeitos de curto e mdio prazo ad-vindos dos resultados da interveno;

5. Impactos: efeitos de longo prazo do contexto econmico, so-ciocultural, institucional, ambiental, tecnologico e outros, em uma popu-lao ou grupo especifico, produzidos por um programa, direta ou indire-tamente, intencionalmente ou no.

Fonte: Ministrio da Sade (2005).

Figura 2 - Componentes do Modelo Logico

MINISTRIO DO PLANEJAMENTO. Almanaque do Pla-nejamento: Para Entender e Parti-cipar. Disponvel em: http://www.pla-nejamento.gov.br/secretarias/upload/Arquivos/noticias/sof/2012/121107_al-manaque_do_pla-nejamento.pdf



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

DADOS DOPROGRAMA

DADOSPOPULACIONAIS


MUDANA DESEJADA


DO PROGRAMA

INSUMOS(RECURSOS)


SERVIOS)

PRODUTOS(EFEITOS

IMEDIATOS)

RESULTADOS(EFEITOS

INTERMEDIRIOS)

IMPACTOS(EFEITOS

FINALSTICOS)

PROGRAMA

POLTICA

PROJETO

AO

AVALIAO DEDEMANDA

PROBLEMAS EDEMANDAS

SOCIAIS

AVALIAO DEEFICINCIA

AVALIAO DEIMPACTOS

AVALIAO DE DESENHO

AVALIAO DEPROCESSO

Percepo e deniodas questes pblicas

DEFINIO DE AGENDA

FORMULAODiagnstico edesenho deprogramas

Anlise de resultadose impactos

Deciso sobrecontinuidade

AVALIAOProduo e Oferta

dos servios

IMPLEMENTAO

INDICADORESDIGNSTICO

INDICADORESSNTESE

SISTEMA DEINDICADORES

MONITORAMENTO

EFEITOS ESPERADOS

RECURSOS/INSUMOS

TRABALHO PREVISTO

ATIVIDADES PRODUTOS RESULTADOS IMPACTOS

1 2 3 4 5

AFETAM OPROGRAMA

FATORESPOLTICOS

FATORESAMBIENTAIS

FATORESECONMICOS

FATORES ORGANIZACIONAISE INSTITUCIOANAIS

CARACTERSTICASDO PBLICO ALVO

Recurso: qualidade demdicos por mil habitantes ougasto monetrio per capita em sade

Um dos recursos:Consultas ao ms porCriana at 1 ano

Resultado efetivo:Taxa de morbidade oumortalidade infaltilpor causa especfica

Desdobramentosmais abrangentes

Melhora do nvelnutricional

Melhora do desempenho escolar

Economia futura em

gastos com sade

AVALIAO DE PROGRAMA

RECURSOSHUMANOS

CONSTRANGIMENTOSPOLTICOS

RECURSOSFINANCEIROS

TEMPOFALTA DE INFORMAOOU INFORMAO INTIL

OU DESORGANIZADA

INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO INDICADOR-IMPACTO

O QUE PESQUISA DE AVALIAO DE PROGRAMA1?

A avaliao de programas tem recebido diferentes definies na literatura especializada, segundo os diversos modelos conceituais, para-digmas teoricos e linhas de pesquisa da Cincia Poltica, Cincias Sociais, Economia e Administrao Pblica. Para este curso, utilizaremos uma defi-nio mais pragmtica e aplicada, proposta em Jannuzzi (2013), de acordo com a qual a avaliao refere-se ao conjunto de procedimentos tcni-cos para produzir informao e conhecimento, em perspectiva inter-disciplinar, para desenho ex-ante (prvio), implementao e validao ex-post (posterior) de programas e projetos sociais, por meio das dife-rentes abordagens metodolgicas da pesquisa social, com a finalidade de garantir o cumprimento dos objetivos de programas e projetos (efi-ccia), seus impactos mais abrangentes em outras dimenses sociais, ou seja, para alm dos pblicos-alvo atendidos (efetividade) e a custos condizentes com a escala e complexidade da interveno (eficincia).

(1) Esta seo reproduz parcialmente o artigo Avaliao de Programas Sociais: Conceitos e Referenciais de Quem a Realiza. Paulo de Martino Jannuzzi. Publi-cado em Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.


Em outras palavras, a avaliao pode ser entendida como um le-vantamento consistente, sistemtico e replicvel de dados, informaes e conhecimentos para aprimoramento da interveno programtica, versando sobre: as caractersticas essenciais do contexto de atuao; os pblicos-alvo; o desenho; os arranjos de implementao; os custos de operao; os resultados de curto prazo; os impactos sociais e de mais lon-go prazo de um programa. Enfim, avaliao tem o objetivo de produzir evidncias, compilar dados e sistematizar informao e conhecimen-to que contribuam para o aperfeioamento de programas e projetos sociais, alm da consecuo de seus objetivos.

A definio de avaliao de programas tambm remete ne-cessidade de abordagem interdisciplinar na produo de informao e conhecimento sobre os problemas investigados. Pobreza, desigualdade, desempenho escolar e mortalidade infantil so questes sociais determi-nadas e influenciadas por uma srie de dimenses sociais mais amplas e estruturais, assim como de aspectos mais circunscritos e relacionados falta de efetividade de programas pblicos desenhados para o equacio-namento das mesmas.

Como foi visto, programas so empreendimentos complexos, que envolvem a contratao de pessoal tcnico; disponibilidade de ins-trumentos; adequao de equipamentos pblicos; alocao de recursos monetrios; promoo de capacitao, de forma coordenada no tempo e no territorio. Mapear, pois, as dimenses sociais mais relevantes formu-lao de um programa ou os problemas operacionais requer uma equipe de avaliadores com diferentes formaes acadmicas e profissionais.

Identificar o momento adequado de avaliar um programa um misto de tcnica, poltica e arte: avaliaes precoces podem colocar a per-der a legitimidade de um programa e projeto que ainda no teve tempo de se estruturar; avaliaes tardias podem comprometer recursos e esfor-os que poderiam ser usados de forma mais eficiente e eficaz na mitigao da problemtica social em questo. Se o programa e projeto produzem re-sultados e impactos, necessrio analisar os custos envolvidos na opera-cionalizao de suas atividades, equipamento e pessoal pois esta , certa-mente, uma informao fundamental para avaliar a sustentabilidade dos programas e projetos no futuro e em outros contextos (JANNUZZI, 2014).

Em uma perspectiva metodologica, os esforos de Avaliao po-dem se estruturar em quatro tipos de produtos (MDS, 2014):

1. Estudos avaliativos anlises com base em dados secun-drios ou compilao de artigos e trabalhos j realizados an-teriormente na temtica, com maior ou menor abrangncia;

2. Pesquisas de avaliao levantamentos primrios, quali ou quantitativos, desenhados com objetivos de produo de evidncias mais especficas necessrias ao aprimoramento da interveno;

3. Meta-avaliaes recenses (anlise crtica) sobre estudos avaliativos, pesquisas e experincias nacionais, subnacionais

1aula

JANNUZZI, Paulo de Martino. Avalia-o de Programas Sociais: Conceitos e Referenciais de Quem a Realiza. Estudos em Avalia-o Educacional. So Paulo, v. 25, n. 58, p. 22-42, 2014. Disponvel em: http://www.fcc.org.br/pesquisa/publi-cacoes/eae/arqui-vos/1925/1925.pdf



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

16 CEGOV | UFRGS

e internacionais de programas e projetos implementados;

4. Relatorios-sntese de Avaliao e portais Web com informao mais sumria, na forma de indicadores em geral, para comuni-cao mais objetiva acerca de aspectos do diagnostico, imple-mentao e resultados do programa e projetos.

As avaliaes realizadas no mbito do MDS, especificamente, po-dem ser denominadas pesquisas de avaliao pois tratam-se de anlises pragmticas de caractersticas essenciais do contexto, pblicos-alvo, dese-nho, implementao, custos de operao, resultados de curto prazo, im-pactos sociais e de mais longo prazo de um programa. Assim, abrange os insumos acerca do programa que contribuem para seu aperfeioamento e a consecuo de seus objetivos.

QUAL A DIFERENA ENTRE MONITORAMENTO E AVALIAO DE PROGRAMA?

Acompanhamento ou monitoramento uma atividade geren-cial interna, realizada sistematicamente durante o perodo de execuo e operao, que visa saber como a interveno evolui ao longo do tempo. Faz uso de dados da gerncia do projeto sobre metas iniciais, indicadores e resultados associados aos programas. Por meio do monitoramento, por-tanto, gestores, pesquisadores ou outros agentes conseguem examinar como a implementao est sendo realizada, se est atingindo seus obje-tivos e/ou se est enfrentando algum tipo de problema que esteja interfe-rindo nas aes e processos e, por conseguinte, na consecuo dos objeti-vos previstos (FARIA, 2005; CUNHA, 2006). De posse dessas informaes, o monitoramento auxilia na recomendao dos ajustes necessrios ao plano e s condies operacionais e da correo dos rumos.

Por sua vez, a avaliao pode ser realizada antes, durante ou mes-mo algum tempo depois da implementao, dependendo do objetivo. Mas, ao contrrio do monitoramento, a avaliao no um processo con-tnuo. Trata-se de uma atividade pontual que tem a finalidade de subsidiar decises, apresentar recomendaes, prestar contas sociedade e extrair lies. Em ambos os instrumentos latente a funo de proviso de infor-maes sobre um determinado programa ou poltica governamental em todo o seu ciclo, inclusive o momento inicial de identificao do problema.

O fato que Monitoramento e Avaliao so processos analti-cos organicamente articulados, que se complementam no tempo, com o proposito de subsidiar o gestor pblico de informaes mais sintticas e tempestivas sobre a operao do programa resumidas em painis ou sis-temas de indicadores de monitoramento e informaes mais analticas sobre o funcionamento desse, levantadas nas pesquisas de avaliao. Tal


como termmetros, os indicadores de monitoramento podem apontar sinais de normalidade ou febre em pontos crticos do desenho opera-cional de programas, orientando tcnicos e gestores a tomarem decises cabveis de correo, e at mesmo contratarem pesquisas de avaliao ou exames clnicos, na metfora adotada para investigar as causas e a persistncia da febre, isto , do problema (JANNUZZI, 2014).

QUAL O OBJETIVO DA PESQUISA DE AVALIAODE PROGRAMA?

Pesquisas de avaliao servem para que se tenha um melhor en-tendimento do programa. Trata-se de atividade estratgica que propicia a compreenso das polticas e do Estado em ao, visando o seu apri-moramento (DRAIBE, 1997), beneficiando o Estado (seus gestores e tcni-cos), o usurio, os pesquisadores e, claro, a sociedade em geral.

Nesse sentido, uma pesquisa de avaliao no substitui o pro-cesso de tomada de deciso poltica, mas permite que as decises sejam tomadas de maneira mais consciente, de posse de informaes mais atu-alizadas, confiveis e teis.

Algumas das questes que as avaliaes respondem so:

Em que medida os objetivos propostos foram alcanados?

Como o programa funciona?

O que pensam os beneficirios e os gestores sobre o programa?

Quais os motivos que levam ou levaram a atingir ou no os re-sultados?

possvel caracterizar os principais objetivos da pesquisa de avaliao como sendo:

a melhoria do processo de tomada de deciso,

a alocao apropriada de recursos e

o aumento da responsabilidade da aes pblicas (transparn-cia na gesto)

Programas so avaliados basicamente porque decises tem que ser tomadas. Hipoteses e teses ajudam a sistematizar as motivaes para realizao de uma avaliao, como, por exemplo:

Para compreender melhor as diferenas entre Monitoramento e Avaliao, faa o exerccio Monitora-mento x Avaliao disponvel na pgina da Aula 1, no Moodle.

VIDEOTECAEXERCCIOS

GUIA DE ESTUDOS

BIBLIOTECASOBRE O MOODLE

SOBRE O CURSO

leia

saiba

+

+

acesse!

o que diz a norma?

+

FERRAMENTASAVALIAO FINALVIDEOS TUTORIAIS

AVALIAO FINAL

INTRODUO

1aula

18 CEGOV | UFRGS

A Sagi disponibiliza os microdados das suas pesquisas. Acesse: http://aplicacoes.mds.gov.br/sagi/portal



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

A QUEM SE DESTINA UMA PESQUISA DE AVALIAO DE PROGRAMA?

De acordo com Faria (2005) os usurios potenciais da pesquisa avaliativa podem ser:

os financiadores do programa (e da propria avaliao),

os gerentes e encarregados de mais alto escalo,

os tcnicos e profissionais que lidam de maneira mais direta com os beneficirios, ou seja, os agentes encarregados da implementao,

os beneficirios,

os gerentes de programas similares e/ou de diferentes nveis go-vernamentais, preocupados em melhorar programas sob sua res-ponsabilidade,

os agentes do governo central,

os representantes de fundaes,

os interessados em conhecer projetos exitosos que meream fi-nanciamento,

os membros do legislativo engajados na melhoria de programas existentes ou na elaborao de novas propostas,

os cientistas sociais,

outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas,

Queremos mostrar Queremos saber (perguntas avaliativas)Que o pblico-alvo est sendo atendido. O pblico-alvo est sendo atendido?

Que os beneficirios esto satisfeitos com o programa.

Os beneficirios esto satisfeitos com o programa?

Que o programa est impactando positivamente em algum problema social. O programa fez alguma diferena real?

Que o programa vale a pena. O programa merece todo o recurso investido?

Que um programa ou tipo de abordagem de um problema melhor que outro. A nova interveno melhor que a antiga?

Que o programa precisa de mais recursos humanos ou financeiros. Como melhorar o programa?

Que os recursos humanos esto sendo bem utilizados.

Os recursos humanos fazem uso eficiente do seu tempo no trabalho?

Fonte: elaborao propria.

Quadro 2 - Sistematizao de questes de avaliao de acordo com o seu objetivo


as proprias organizaes que administram o programa avaliado ,

o pblico em geral ou a sociedade civil.

Um aspecto relevante, portanto, a propria divulgao dos resul-tados de pesquisas de avaliao, pois nada adianta avaliar se as conclu-ses no so publicizadas. Contudo, alguns fatores podem interferir na forma como so aproveitados os resultados da pesquisa de avaliao, tais como (FARIA, 2005):

a existncia de crenas e interesses conflitantes na organizao que gerencia o programa;

a ocorrncia de conflitos de interesses entre as distintas unida-des do programa;

as mudanas no pessoal encarregado (quando, por exemplo, os novatos tm prioridades diferentes daquelas vigentes no incio da avaliao);

a eventual inflexibilidade das regras e dos padres operacionais da organizao, que podem impedir a adoo das recomenda-es feitas quando da avaliao;

as mudanas nas condies externas, tais como cortes ora-mentrios e alteraes no ambiente poltico, que podem tornar impossvel para a organizao responder necessidade de mu-dana revelada pelos avaliadores.

Veremos mais sobre a questo da dissemi-nao dos resultados na aula 4.

VIDEOTECAEXERCCIOS

GUIA DE ESTUDOS

BIBLIOTECASOBRE O MOODLE

SOBRE O CURSO

leia

saiba

+

+

acesse!

o que diz a norma?

+

FERRAMENTASAVALIAO FINALVIDEOS TUTORIAIS

AVALIAO FINAL

INTRODUO

1aula

ateno!Para que o conhecimento em M&A produzido alcance plateias mais abran-gentes, preciso tornar os produtos desenvolvidos relatorios, indicadores, estudos avaliativos compreensveis e atrativos para os diferentes pblicos usurios. No basta colocar disposio pblica na Internet as planilhas de dados e indicadores de programas e os extensos relatorios de pesquisas de avaliao realizados. Produo de dados no gera demanda por conheci-mento. necessrio desenvolver produtos customizados para os diferentes pblicos de tcnicos e gestores que se almeja atingir, adequando formato, contedo e complexidade. Deve-se investir na disseminao dos resultados na forma de palestras presenciais ou gravadas em multimdia para exibio em um portal especfico, que rene todo o material relacionado s pesquisas de avaliao, com recursos de consulta. Sumrios executivos de pesquisas de avaliao, fichas tcnicas de poucas pginas (one page paper) com os resulta-dos essenciais alm de grficos, mapas e relatorios descritivos com esses ele-mentos podem ter repercusso e atratividade maior que tabelas, painis de indicadores ou publicaes volumosas, com contedos impenetrveis para aqueles sem formao especializada na temtica tratada (JANNUZZI, 2013).



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUOOu seja, preciso cuidar para que os mtodos e estratgias de pro-

duo de informao e conhecimento se adequem em contedo, custos e tempestividade para atender as demandas de seus usurios. Especialmente apos o advento da Internet, h diferentes e criativas formas de comunicar mensagens simples e complexas para os mais diferentes tipos de leitores.

20 CEGOV | UFRGS

b

COMO AVALIAR UM PROGRAMA?

No processo de avaliao de um programa deve-se levar em con-ta o que se quer avaliar (critrios) e como avaliar (quais os indicadores usar), alm de estar ciente de que podem surgir dificuldades no caminho (constrangimentos). A seguir veremos esses aspectos em detalhe.

CRITRIOS DE AVALIAO: O QUE SE QUER AVALIAR?Para avaliar o desempenho de um programa necessrio definir

critrios de avaliao. A lista dos critrios que podem ser utilizados longa e a escolha de um, ou vrios deles, depende dos aspectos que se dese-ja privilegiar na avaliao. Segundo o manual da UNICEF (apud COSTA; CASTANHAR, 2003), os mais comuns so:

Eficincia: termo originado nas cincias econmicas que signi-fica a menor relao custo/benefcio possvel para o alcance dos objetivos estabelecidos no programa;

Eficcia: medida do grau em que o programa atinge os seus ob-jetivos e metas;

Impacto (ou efetividade): indica se o projeto tem efeitos (posi-tivos) no ambiente externo em que interveio, em termos tcnicos, econmicos, socioculturais, institucionais e/ou ambientais;

Sustentabilidade: mede a capacidade de continuidade dos efei-tos benficos alcanados atravs do programa social, apos o seu trmino;

Anlise custo-efetividade: similar ideia de custo de oportuni-dade e ao conceito de pertinncia; feita a comparao de formas alternativas da ao social para a obteno de determinados im-pactos, para ser selecionada aquela atividade/projeto que atenda os objetivos com o menor custo;

Satisfao do beneficirio: avalia a atitude do usurio em rela-o qualidade do atendimento que est obtendo do programa;

Equidade: procura avaliar o grau em que os benefcios de um programa esto sendo distribudos de maneira justa e compatvel com as necessidades do usurio.

INDICADORES: COMO MEDIR?A aplicao desses critrios requer formas especficas de opera-

cionalizao, os indicadores. De acordo com Jannuzzi (2001), um indicador um recurso metodologico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanas que esto se processando na mesma. Mais especificamente, em uma perspectiva pro-gramtica, o indicador social um instrumento operacional para moni-

a


toramento da realidade social, para fins de formulao e reformulao de polticas pblicas.

Conforme j visto nos Cursos de Indicadores e do Monitoramen-to, os indicadores podem ser classificados de acordo com sua empregabi-lidade no ciclo de formulao e avaliao de programa, conforme segue:

Fonte: Jannuzzi (2001).

Figura 3 - Classificao dos Indicadores

DADOS DOPROGRAMA

DADOSPOPULACIONAIS


MUDANA DESEJADA


DO PROGRAMA

INSUMOS(RECURSOS)


SERVIOS)

PRODUTOS(EFEITOS

IMEDIATOS)

RESULTADOS(EFEITOS

INTERMEDIRIOS)

IMPACTOS(EFEITOS

FINALSTICOS)

PROGRAMA

POLTICA

PROJETO

AO

AVALIAO DEDEMANDA

PROBLEMAS EDEMANDAS

SOCIAIS

AVALIAO DEEFICINCIA

AVALIAO DEIMPACTOS

AVALIAO DE DESENHO

AVALIAO DEPROCESSO


DEFINIO DE AGENDA





dos servios

IMPLEMENTAO


INDICADORESSNTESE


MONITORAMENTO

EFEITOS ESPERADOS

RECURSOS/INSUMOS

TRABALHO PREVISTO


1 2 3 4 5

AFETAM OPROGRAMA

FATORESPOLTICOS

FATORESAMBIENTAIS

FATORESECONMICOS









Economia futura em

gastos com sade

AVALIAO DE PROGRAMA

RECURSOSHUMANOS


RECURSOSFINANCEIROS


OU DESORGANIZADA


DADOS DOPROGRAMA

DADOSPOPULACIONAIS


MUDANA DESEJADA


DO PROGRAMA

INSUMOS(RECURSOS)


SERVIOS)

PRODUTOS(EFEITOS

IMEDIATOS)

RESULTADOS(EFEITOS

INTERMEDIRIOS)

IMPACTOS(EFEITOS

FINALSTICOS)

PROGRAMA

POLTICA

PROJETO

AO

AVALIAO DEDEMANDA

PROBLEMAS EDEMANDAS

SOCIAIS

AVALIAO DEEFICINCIA

AVALIAO DEIMPACTOS

AVALIAO DE DESENHO

AVALIAO DEPROCESSO


DEFINIO DE AGENDA





dos servios

IMPLEMENTAO


INDICADORESSNTESE


MONITORAMENTO

EFEITOS ESPERADOS

RECURSOS/INSUMOS

TRABALHO PREVISTO


1 2 3 4 5

AFETAM OPROGRAMA

FATORESPOLTICOS

FATORESAMBIENTAIS

FATORESECONMICOS









Economia futura em

gastos com sade

AVALIAO DE PROGRAMA

RECURSOSHUMANOS


RECURSOSFINANCEIROS


OU DESORGANIZADA


DADOS DOPROGRAMA

DADOSPOPULACIONAIS


MUDANA DESEJADA


DO PROGRAMA

INSUMOS(RECURSOS)


SERVIOS)

PRODUTOS(EFEITOS

IMEDIATOS)

RESULTADOS(EFEITOS

INTERMEDIRIOS)

IMPACTOS(EFEITOS

FINALSTICOS)

PROGRAMA

POLTICA

PROJETO

AO

AVALIAO DEDEMANDA

PROBLEMAS EDEMANDAS

SOCIAIS

AVALIAO DEEFICINCIA

AVALIAO DEIMPACTOS

AVALIAO DE DESENHO

AVALIAO DEPROCESSO


DEFINIO DE AGENDA





dos servios

IMPLEMENTAO


INDICADORESSNTESE


MONITORAMENTO

EFEITOS ESPERADOS

RECURSOS/INSUMOS

TRABALHO PREVISTO


1 2 3 4 5

AFETAM OPROGRAMA

FATORESPOLTICOS

FATORESAMBIENTAIS

FATORESECONMICOS









Economia futura em

gastos com sade

AVALIAO DE PROGRAMA

RECURSOSHUMANOS


RECURSOSFINANCEIROS


OU DESORGANIZADA


1aula

Recurso: quantidade de medicos por mil habitantes ou gasto monetrio per capita em saude

JANNUZZI, Paulo de Martino. Indicadores Sociais na Formulao e Ava-liao de Politicas Pblicas. Disponvel em: http://www.cedeps.com.br/wp-content/uploads/2011/02/INDICADORES-SOCIAIS-JANUZZI.pdf

MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Indicadores de Programas: Guia Metodolgico. Braslia: Ministrio do Planejamento, Oramento e Gesto - Secretaria de Planejamento e Investimentos Estra-tgicos, 2010.



leia

saiba

+

+

acesse!

o que diz a norma?

+


AVALIAO FINAL

INTRODUO

CONSTRANGIMENTOSA realizao de uma pesquisa de avaliao de um programa pode

enfrentar constrangimentos/dificuldades de pelo menos quatro tipos principais:

Tempo: comum que se pense na avaliao quando o progra-ma j est em estgio avanado de execuo, deixando pouco tempo para o avaliador realizar o seu trabalho.

Recursos: muitas vezes o custo com a avaliao do programa no foi includa nos recursos do projeto original e a avaliao tem que ser adaptada a um valor menor do que o desejvel. A falta de recursos humanos qualificados tambm prejudica a execuo e o aproveitamento de pesquisas de avaliao.

Dados/Informao: ter a informao desde o incio do progra-ma importante para se observar as mudanas ocorridas na reali-dade que se quer observar mas frequentemente no est dispon-vel ao avaliador no momento oportuno ou de maneira completa,

c

Desdobramentos mais abrangentes Melhora do nvel nutricional Melhora do desempenho escolar Economia futura em gastos com saude

Resultado efetivo:taxa de morbidade oumortalidade infantil por causa especfica

Um dos recursos:consultas ao mes por criana ate 1 ano

INDICADOR-INSUMO INDICADOR-PRODUTOINDICADOR-PROCESSO INDICADOR-IMPACTO

22 CEGOV | UFRGS

Criterios Tipos

Quanto ao agente que as realiza

Externas

Internas

Mistas

Participativas

Quanto sua naturezaSomativas

Formativas

Quanto ao momento em que so realizadasEx ante

Ex post

Quanto ao problemaProcesso

Resultado/impacto


Quadro 3 - Tipos de avaliao

organizada e til.

Polticos: para Weiss (1998), por exemplo, o interesse poltico dos altos executivos, mais focados na efetividade do programa, diferente do interesse dos gerentes, concentrados que esto com a estratgia de implementao, nas aes do dia a dia.


Figura 4 - Constrangimentos para a avaliao de um programa

DADOS DOPROGRAMA

DADOSPOPULACIONAIS


MUDANA DESEJADA


DO PROGRAMA

INSUMOS(RECURSOS)


SERVIOS)

PRODUTOS(EFEITOS

IMEDIATOS)

RESULTADOS(EFEITOS

INTERMEDIRIOS)

IMPACTOS(EFEITOS

FINALSTICOS)

PROGRAMA

POLTICA

PROJETO

AO

AVALIAO DEDEMANDA

PROBLEMAS EDEMANDAS

SOCIAIS

AVALIAO DEEFICINCIA

AVALIAO DEIMPACTOS

AVALIAO DE DESENHO

AVALIAO DEPROCESSO


DEFINIO DE AGENDA





dos servios

IMPLEMENTAO


INDICADORESSNTESE


MONITORAMENTO

EFEITOS ESPERADOS

RECURSOS/INSUMOS

TRABALHO PREVISTO


1 2 3 4 5

AFETAM OPROGRAMA

FATORESPOLTICOS

FATORESAMBIENTAIS

FATORESECONMICOS









Economia futura em

gastos com sade

AVALIAO DE PROGRAMA

RECURSOSHUMANOS


RECURSOSFINANCEIROS


OU DESORGANIZADA


Todos esses constrangimentos, juntos ou separados, afetam o de-senho da pesquisa de avaliao que ser executada.

QUAIS OS TIPOS DE AVALIAO EXISTENTES?

As avaliaes podem ser classificadas em vrios tipos, de acordo com diferentes critrios, tais como:


Na prtica, esses tipos de avaliao geralmente so combinados. Esses critrios sero explicados a seguir.

SEGUNDO O AGENTE QUE AVALIAAs avaliaes realizadas com base no agente que as realiza po-

dem ser de quatro tipos:

EXTERNA: Realizada por pessoas de fora da instituio responsvel pelo programa e por isso tende a ser mais isenta e objetiva.

H a possibilidade de comparao dos resultados obtidos com os de outros programas similares j analisados.

INTERNA: Realizada dentro e pela instituio responsvel pelo programa. Principais caractersticas:

Elimina uma possvel resistncia natural dos responsveis pelo programa a um avaliador externo;

Possibilita a reflexo e a aprendizagem, diante da observao dos proprios integrantes sobre o processo;

Permite uma melhor compreenso sobre as atividades realiza-das dentro da instituio;

Mas... pode perder sua objetividade, j que realizada por pes-soas que esto envolvidas na implementao do programa.

MISTA: Combina a avaliao externa com a interna. Permite com que os avaliadores externos tenham um contato estreito com a equipe respon-svel pelo programa.

PARTICIPATIVA: Prev a participao dos beneficirios no planejamento, execuo e avaliao do programa. utilizada principalmente para pe-quenos projetos.

SEGUNDO A NATUREZAQuanto sua natureza, as avaliaes podem ser formativas ou

somativas:

FORMATIVAS: So avaliaes relacionadas etapa de formulao do pro-grama, geralmente realizada por e para quem est diretamente envolvido com o programa. O objetivo fornecer os elementos para a realizao de correes necessrias nos procedimentos de implementao.

Quadro 3 - Tipos de avaliao

a 1aula

b

24 CEGOV | UFRGS

c

d

SOMATIVAS: Relacionadas anlise das etapas posteriores formulao do programa e realizadas quando o programa est sendo implementado ou apos a sua implementao. O objetivo verificar a efetividade do progra-ma e fazer o julgamento do seu valor geral.

A avaliao somativa contrasta com a avaliao formativa, que se concentra em maneiras de melhorar e reforar os programas em vez de ren-der juzo definitivo sobre a eficcia, efetividade ou eficincia, por exemplo. Em outras palavras, podemos dizer que quando o cozinheiro prova a sopa, uma avaliao formativa; quando o cliente prova a sopa, uma avaliao somativa.

SEGUNDO O MOMENTO DA AVALIAOPesquisas de avaliao devem fazer parte de todas as etapas do ci-

clo de toda e qualquer poltica pblica, mas podem ser agrupadas em dois tipos: antes (ex-ante) ou depois (ex-post) da implementao do programa.

EX ANTE: Realizada antes do incio do programa.

Visa dar suporte deciso de implementar ou no o programa e a ordenar os vrios projetos, segundo sua eficincia para alcanar os objetivos determinados. Seu elemento central o diagnostico, que auxilia na alocao dos recursos disponveis de acordo com os objetivos propostos.

EX POST: Realizada durante a execuo de um programa ou ao seu final, quando as decises so baseadas nos resultados alcanados.

Quando um programa est em execuo, julga-se se ele deve continuar ou no, com base nos resultados obtidos at o momen-to. Se sim, decide-se se ele deve manter a formulao original ou sofrer modificaes. Quando o programa j foi concludo, julga-se a pertinncia do uso futuro da experincia.

SEGUNDO O OBJETIVO DA AVALIAOA avaliao pode ser realizada, tambm, a partir de seus objetivos:

AVALIAR O PROCESSO DE IMPLEMENTAO: Realizada durante a implementao do programa.

Diz respeito dimenso de gesto.


uma avaliao periodica que procura detectar as dificuldades que ocorrem durante o processo.

Objetiva efetuar correes ou adequaes.

Serve de suporte para melhorar a eficincia operativa.

AVALIAR O PRODUTO/RESULTADO/IMPACTO: Procura verificar em que medida o programa alcana seus obje-tivos e quais so os seus efeitos (imediatos, de mdio prazo e de longo prazo).

Objetiva responder se o programa funcionou ou no. Para tanto, indaga-se se houve modificaes na situao-problema.

Serve de suporte para deciso sobre poltica, como continuao do programa e formulao de outros.

Segundo Figueiredo e Figueiredo (1986), tanto a avaliao de pro-cesso quanto a de produto podem chegar s seguintes concluses:

(i) O resultado esperado alcanado.

(ii) Um resultado no esperado produzido, sendo, porm, posi-tivo.

(iii) Resultados do tipo a) e b) ocorrem e so positivos no curto prazo, mas podem ser negativos no mdio e longo prazo.

(iv) O resultado esperado atingido no que se refere aos membros da populao alvo, isto , cada indivduo melhorou sua situao com a poltica pblica; no entanto, em mdio prazo, a categoria social a que estes indivduos pertencem, ou passam a pertencer, piora.

(v) O resultado esperado no alcanado e nenhum outro resul-tado produzido.

(vi) Um resultado no esperado ocorre, sendo, porm, negativo.

AVALIAR A EFICINCIA: A avaliao de eficincia remete a avaliao para consideraes de benefcio e custo dos programas. Anlise custo-benefcios.

1aula

26 CEGOV | UFRGS

TIPOS DE AVALIAO SEGUNDO O MOMENTO DO CICLO: UMA PROPOSTA INTEGRADORA

Analisando as diferentes tipologias de avaliao at aqui apre-sentadas, podemos perceber que muitas delas se sobrepem, o que pode criar alguma confuso. Com o objetivo de evitar essas imprecises, apre-sentaremos uma classificao que objetiva integrar diversos parmetros utilizados em outras tipologias, baseando-se do ciclo de programas como critrio para sua elaborao.

A classificao de acordo com o momento no ciclo apresenta 5 tipos possveis de avaliao (Jannuzzi, 2014a):

AVALIAO DE DEMANDA: Esse tipo de avaliao auxilia o Estado na identificao e mensurao dos problemas sociais en-frentados por uma determinada comunidade. A avaliao de de-manda colabora na formao da agenda governamental, dando subsdios para a definio de quais problemticas so prioritrias para serem combatidas por programas.

AVALIAO DE DESENHO: Antes da formulao de programa para mitigao ou equacionamento do problema social identifi-cado, em geral, so necessrios novos esforos de levantamentos de campo para aprofundamento do diagnostico das condies de vida, contexto econmico, restries ambientais, capacidade de gesto e oferta de servios. Alm disso, cabe tambm uma com-pilao de estudos j realizados na temtica, abordando determi-nantes do problema em questo e eventuais programas e proje-tos j idealizados. As avaliaes dessa natureza constituem o que se denomina Avaliao de desenho.

AVALIAO DE PROCESSO: Definidos os pblicos a atender e os arranjos operacionais do programa preciso coloc-lo em ao, realizando as atividades planejadas e identificando proble-mas na oferta, na regularidade e qualidade dos servios por meio de pesquisas de Avaliao de processo. Essa avaliao realizada durante a implementao, para verificar se o programa est sendo colocado em prtica da maneira planejada.

AVALIAO DE RESULTADO OU IMPACTO: Apos a implemen-tao do programa, as demandas de informao e conhecimento voltam-se para a Avaliao de resultados e impactos do progra-ma. Trata-se de momento de investigao mais exaustiva sobre os diversos componentes de uma interveno, abordando no ape-nas o cumprimento dos seus objetivos, mas seus impactos sociais mais abrangentes. Cabe nesse momento avaliar se a interveno conseguiu provocar mudanas na realidade social que a originou, considerando a complexidade do seu desenho, alm da gravida-de da questo social enfrentada.


Fonte: elaborao propria com base em Jannuzzi, 2012.

Figura 5 - Tipos de Avaliao

Sistema de Dados e Indicadores para o Diagnstico

Painel de Indicadores para Monitoramento

Dados e Indicadores de Pesquisa de Avaliao

Avaliao deImpactos

INIF E OD GEA N A DD A

SA

DN

AM

ED

OATNEMELPMI

FORM

ULA

O

AV

ALIAO

Percepo e definio das questes pblicas

Diagnstico e desenho de programasProblemas e

Demandas sociais


Deciso sobre continuidade Produo eOferta dos Servios

Avaliao deDesenho

Avaliao deProcesso

Avaliao deEficincia

Avaliao deDemanda

INDICADORESDIAGNSTICO

INDICADORESSNTESE


MONITORAMENTO

AVALIAO DE EFICINCIA: As avaliaes de eficincia, ou cus-to-efetividade, tambm so realizadas apos a implementao do programa. O custo-efetividade das intervenes a relao entre valor gasto para produzir unidades de resultados e os impactos do programa em um perodo de tempo e territorio especficos. Em outras palavras, esse tipo de avaliao estuda a adequao entre o custo do programa tendo em vista o resultado obtido. Avaliaes dessa natureza so fundamentais para avaliar a sustentabilidade dos programas e projetos no futuro e em outros contextos.

A figura a seguir sintetiza cada um dos tipos de avaliao e seu momento no ciclo da poltica pblica:

Na proxima aula veremos brevemente como surge, por que surge e como se d o desenvolvimento das atividades de avaliao de progra-mas no Brasil.

28 CEGOV | UFRGS

REFERNCIAS

COHEN, Ernesto; FRANCO, Rolando. Avaliao de Projetos Sociais. Petropolis: Vozes, 2004.

COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de Programas Pblicos: Desafios Conceituais e Metodologicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992, set/out 2003.

CUNHA, Carla da. Avaliao de Polticas Pblicas e Programas Governamentais: Tendncias Recentes e Experincias no Brasil. Trabalho elaborado durante o curso The Theory and Operation of a Modern National Economy, ministrado na George Washington University, no mbito do Programa Minerva, em 2006.

DRAIBE, Snia M. Uma Nova Institucionalidade das Polticas Sociais? Reflexes a Proposito da Experincia Latino-Americana Recente de Reformas dos Programas Sociais. So Paulo em Perspectiva, v. 11, n. 4, p. 03-15, 1997.

FARIA, Carlos. A Poltica da Avaliao de Polticas Pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 20, n. 50, p. 97-169, out 2005.

Programa um conjunto de atividades organizadas para realiza-o de um objetivo, com cronograma e oramento especficos;

Estudos de avaliao so uma anlise pragmtica de caractersticas essenciais do contexto, pblicos-alvo, desenho, implementao, custos de operao, resultados de curto prazo, impactos sociais e de mais longo prazo de um programa, enfim, insumos acerca do programa que contri-buam para seu aperfeioamento e a consecuo de seus objetivos;

Existem 3 objetivos principais de uma pesquisa de avaliao de programa: a melhoria do processo de tomada de deciso, a alocao apropriada de recursos e o aumento da responsabilidade das aes p-blicas (transparncia na gesto);

Existem diversos usurios potenciais de uma pesquisa de avaliao. Dentre eles esto os beneficirios dos programas, gestores pblicos de diferentes nveis, organizaes da sociedade, cientistas sociais, dentre outros;

Existem vrios tipos de pesquisas de avaliao, destacando-se a perspectiva integradora que utiliza o ciclo de um programas para ela-borar sua classificao.

NESTA AULA VOC APRENDEU QUE



leia

saiba

acesse!

o que diz a norma?



1aula

FIGUEIREDO, Marcus; FIGUEIREDO, Argelina M. Avaliao Poltica e Avaliao de Polticas: Um Quadro de Referncia Teorica. Anlise e Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.

GARCIA, Ronaldo. Avaliao de Aes Governamentais: Pontos para um Comeo de Conversa. Braslia: IPEA, 1997.

JANNUZZI, Paulo de Martino. Indicadores Sociais no Brasil: Conceitos, Fontes de Dados e Aplicaes. Campinas: Alnea: 2001.

JANNUZZI, Paulo de Martino. Avaliao de Programas Sociais: Conceitos e Referenciais de Quem a Realiza. In: Estudos em Avaliao Educacional. So Paulo, v. 25, n. 58, p. 22-42, mai/ago 2014.

JANNUZZI, Paulo de Martino. Indicadores, Painis de Monitoramento e Pesquisas de Avaliao como Instrumentos para Aprimoramento de Programas e Projetos Sociais. 2012.

JANNUZZI, Paulo de Martino. A produo de Informao e Conhecimento para Aprimoramento das Polticas e Programas de Desenvolvimento Social: Princpios, Conceitos e Caracterizao das Pesquisas de Avaliao Realizadas pela SAGI/MDS de 2011 a 2014. In: MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Cadernos de Estudos: Desenvolvimento Social em Debate, Braslia, n. 16, 2014a.

JANNUZZI, Paulo de Martino. Sistema de Monitoramento e Avaliao de Programas sociais: revisitando mitos e recolocando premissas para sua maior efetividade na gesto. Revista Brasileira de Monitoramento e Avaliao, v. 1, p. 04-27, 2013.

MINISTRIO DA SADE. Manual da Oficina de Capacitao em Avaliao com Foco na Melhoria do Programa DST-AIDS. Braslia: Assessoria de Monitoramento e Avalio, 2005.

MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Avaliao de Polticas Pblicas: Reflexes Acadmicas Sobre o Desenvolvimento Social e o Combate Fome Vol. 1: Introduo e Temas Transversais. Braslia: Secretaria de Avaliao e Gesto da Informao - SAGI, 2014.

MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Estudo Tcnico - Monitoramento e Avaliao de Programas Sociais no Brasil: Apontamentos Conceituais, Consideraes Metodologicas e Reflexes Sobre as Prticas. Braslia: Secretaria de Avaliao e Gesto da Informao - SAGI, n. 7, 2013.

SILVA, Pedro; COSTA, Nilson. A Avaliao de Programas Pblicos: Reflexes Sobre a Experincia Brasileira (Relatorio Tcnico). Braslia: IPEA-BID, 2002.

WEISS, Carol. Evaluation: Methods for Studying Programs & Policies. London: Prentice Hall, 1998.

cegov - 2015 - mds

Documents