workshop coordenado por jim rugh
Post on 30-Dec-2015
40 Views
Preview:
DESCRIPTION
TRANSCRIPT
1
Avaliação em um Mundo Real
Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e
políticas
III Seminário da Rede Brasileira de Monitoramento e Avaliação
Brasília, DF, Brasil01 de junho de 2011
Workshop Coordenado porJim Rugh
A apresentação é um resumo do capítulo do livro que está disponível em :
www.RealWorldEvaluation.org
Apresentação traduzida para o Português por Marcia Joppert
2
Alguns avanços recentes em avaliação de impacto em projetos de desenvolvimento
J-PAL conhecida como uma rede de investigadores associados unidos pelo uso de metodologías de testes aleatórios
2003
2010
2008
2006
3
Então, Jim está dizendo que os testes de controle aleatórios (RCTs) são o “Estado da Arte” e deveriam ser usadas na
maioria das avaliações de impacto de programas?
Sim ou não?
Se sim, em que cirunstâncias deveriam ser usadas?
Por que sim e por que não?
Se não, em que cirunstâncias não seriam apropriadas?
Adaptado de Patricia Rogers, RMIT University 4
Políticas baseadas em evidência para intervenções simples (ou aspectos simples) : quando RCTs podem ser apropriadas
Perguntas necessárias para política baseada em evidência O que funciona?
Como é a intervenção? Discreta, intervenção padronizada
Ccomo funciona a intervenção ? Bastante parecida em todos os lugares
Procedimientos necessários para obter evidência
Absorção Transferência de conhecimento
5
Programas complicados e complexos onde haja intervenções múltiplas por múltiplos atores
Projetos implementados em contextos dinâmicos (ex. conflitos, desastres naturais)
Projetos sob múltiplos modelos lógicos, ou quando não haja relação clara de causa-efecto entre produtos ou não estejam claros os enunciados de visão (geralmente o caso de projetos de desenvolvimento internacionais no MundO Real)
Quando uma avaliação rigorosa dos indicadores de altos níveis de impacto não seria necessária?
6
Uma avaliação com esta abordagem deve ser realizada se foi definida adequadamente uma relação caus-efeito entre os resultados intermediários e os efeitos finais ou de impacto através de estudos previos. Então, analisando os resultados em nivel dos alcances intermediários pode ser suficiente sempre e quando o contexto (condições externas e internas) evidencia ser suficientemente similar ao momento que se definiu a relação causa efeito.
Quando uma avaliação rigorosa dos indicadores de altos níveis de impacto não seria necessária?
7
Exemplos de relações causa-efeito geralmente aceitas
• Vacinação de crianças com um conjunto padrão de vacinas prescritas para certa idade como capazes de reduzir alguma enfermidade infantil (os meios de verificação implicam observar as características de saúde das crianças, não só a quantidade total de vacinas distribuídas no hospital)
•outros exemplos…?
Lentes diferentes necessárias para diferentes situações no Mundo Real
Simples Complicado ComplexoSeguir uma receta Enviar um foguete à
luaCriar uma criança
As receitas são testadas para assegurar fácil replicação
Enviar um foguete à lua melhora a certeza de que o próximo também será exitoso
Criar uma criança dá experiência mas não garante o éxito com o próximo
As melhores receitas oferecem bons resultados todas as vezes
Existe um alto grau de certeza nos resultados
A incerteza dos resultados se mantém
Fonte: Westley et ao (2006) e Stacey (2007), citado por Patton 2008; también presentado por Patricia Rodgers em la conferencia de Impacto do Cairo (2009).
8
Citado por Patricia Rogers, RMIT University 9
“É muito melhor ter uma resposta aproximada à pergunta correta, que é geralmente vaga, que a resposta correta à pergunta errada, a qual sempre pode ser formulada com precisão.
J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics 33(1), pp. 1-67.
Patricia Rogers, RMIT University 10
Podem haver problemas de validação com RTCs
Validação interna
Temas de Qualidade – Medição débil, aderência débil à amostra aleatória, base estatística inadequada, efetos diferenciales ignorados, comparação inadequada, busca de significado estatístico, perda de informação, implementação de baixa qualidade não identificada
outros – error na amostragem aleatória, contaminação de outras fontes, necessidade de um paquete causal completo.
Validação externa
Efetividade na prática do mundo real, capacidade de transferência para novas situações
11
O uso limitado de sólidos desenhos de avaliação
No Mundo Real (ao menos em programas internacionais de desenvolvimento) estimamos que:• Menos de 5% - 10% das avaliações de
impacto de projetos usam sólidos desenhos experimentais ou até desenhos quais-experimentais
• Muito menos do que 5% usam Teste de Controle Randomizado (desenho experimental “puro”)
Considere o Mundo Real dos programas a ser avaliados como um quebra-cabeças gigante
12
Os desenhos de investigação to tipo experimental (avaliação) e, mucho menos os RCTs, ssolo paró são apropriados para poucas peças deste quebra-cabeças gigante.
É por isso que bons avaliadores (e aqueles que comissionam avaliações) precisam de uma caixa de ferramentas mais diversificada , que possam ser customizadas ao desenhar avaliações que repondem a diferentes propósitos e circunstancias
13
Há outros métodos para analisar os contrafactuais
Dados secundarios confiáveis que mostrem tendências relevantes na população
Dados longitudinais de monitoramento (se incluem população não coberta)
Métodos qualitativos para obter perspectivas de informantes chave, participantes, vizinhos, etc.
Falaremos mais sobre isso depois…
Ainda parte do passo 1: Outras perguntas para responder quando vocês adaptam Termos de Referência (TdR) de uma avaliação :
1. Quem solicitou a avaliação? (Quem são as partes interessadas)?
2. Quais são as perguntas chave que devem ser respondidas?
3. Trata-se de uma avaliação formativa ou somativa (qual o propósito)?
4. Haverá uma fase seguinte ou outros projetos desenhados com base nos achados desta avaliação?
14
5. Que decisões serão tomadas em resposta aos achados desta avaliação?
6. Qual é o nível apropriado de rigor?
7. Qual é o alcance/escala da avaliação (o que será avaliado)?
8. Quanto tempo será necessário e de quanto tempo se dispõe?
9. Que recursos financeiros serão necessários e qual a disponibilidade?
Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação:
15
10. A avaliação deveria apoiar-se principalmente em métodos qualitativos ou quantitativos?
11. Deveriam ser usados métodos participativos?12. Poderia ou teria que ser feita uma pesquisa nos
domicípios?13. Quem deveria ser entrevistado?14. Quem deveria ser envolvido no
planejamento/implementação da avaliação?15. Quais são os meios mais adequados para comunicar
os achados a diferentes partes interessadas?
Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação:
16
Isto ajuda ou confunde mais? Quem disse que as avaliações (como a vida) seriam fáceis?!!
desenho da avaliação (investigação)?
Perguntas chaves?
O que avaliar?
Qualitativo?Quantitativo?
Alcance?
Nível de rigor apropriado?
Recursos disponíveis?
Tempo disponível?
Habilidades disponíveis?
Avaliação para quem?
Participativa?
Extractiva?
17
Antes de voltar aos passos da Avaliação em um Mundo Real, pensemos em níveis de rigor, e como seria um Plano de Avaliação de um projeto em todo seu ciclo de vida
18
Níveis diferentes de rigorNíveis diferentes de rigor
Depende da fonte de evidência; do nivel de confiança; do uso da informação
Nivel 0: as impressões dos tomadores de decisão se apóiam em opiniões superficiais coletadas em encontros breves (fofocas de corredores), intuição ; Nivel de confianza +/- 50%; as decisões são tomadas em poucos segundos
Nivel 1: Pergunta-se a algumas pessoas suas perspectivas sobre o projeto ; P= +/- 40% as decisões são tomadas em poucos minutos
Nivel 3: Se faz uma pesquisa rápida com base em uma amostra conveniente de participantes; P= +/- 10% os tomadores de decisão lêm o sumário de 10 páginas
Nivel 2: Pergunta-se a uma boa combinação de pessoas suas perspectivas sobre o projeto ; P= +/- 25% os tomadores de decisão lêm ao menos o sumario executivo de um relatório
Nivel 4: uma boa amostra representativa da população alvo e métodos de coleta de dados criteriosos são usados para coleta de informação; P= +/- 5% os tomadores de decisão lêm o informe completo
Nivel 5: um projeto de investigação muito detalhado realiza-se para analisar em profundidade a situação P= +/- 1% Livro publicado!
Objetivo,Objetivo, alta precisão – alta precisão – requerendo mais prazo e recursos ($)requerendo mais prazo e recursos ($)
RápidaRápida e e barata – mas subjetiva, inconsistentebarata – mas subjetiva, inconsistente
Sele
ção
Ale
atór
ia d
e A
mos
tra
Qua
lidad
e do
s Q
uest
ioná
rios
Con
fiabl
idad
e e
valid
ade
de
indi
cado
res
Qua
lidad
e na
col
eta
de d
ados
Prof
undi
dade
da
anál
ise
Elab
oraç
ão d
e re
lató
rio e
uso
A QUALIDADE da INFORMAÇÃO GERADA POR uma AVALIAÇÃO DEPENDE do NIVEL DE RIGOR RIGOR DE TODOS os COMPONENTES
CONDUZIR uma CONDUZIR uma AVALIAÇÃO É AVALIAÇÃO É COMO INSTALARCOMO INSTALAR uma uma TUBULAÇÃOTUBULAÇÃO
Sele
ção
Ale
atór
ia d
a A
mos
tra
Qua
lidad
e do
Que
stio
nário
Rel
evân
cia
e va
lidad
e de
indi
cado
res
Qua
idad
e na
col
eta
de d
ados
Prof
undi
dade
da
anál
ise
Info
rme
e us
o
QUANTIDADE DE “FLUXO” (QUALIDAD) DE INFORMAÇÃO ESTÁ LIMITADA ao MENOR COMPONENTE da PESQUISA “TUBULAÇÃO”
DeterminandoDeterminando os os níveis apropriados de precisão níveis apropriados de precisão parapara os os
eventoseventos num Plano num Plano de Avaliação do de Avaliação do ciclo de vida de um projetociclo de vida de um projeto
Auto Auto avaliação avaliação
anualanual
AvaliaçãoAvaliação IntermediáriaIntermediária
Estudo de Estudo de Linha de BaseLinha de Base
Análise Análise de de
necessidadenecessidadess
AvaliaçãoAvaliaçãofinalfinal
tempotempo de vida do projeto de vida do projeto
EstuioEstuioEspecialEspecial
Mesmo nível de rigorMesmo nível de rigor
RRigor altoigor alto
Rigor baixoRigor baixo
2
3
4
23
Agora, onde estamos?
Oh, sim! Estamos prontos para os passos 2 e 3 da abordagem Avaliação em um Mundo Real.
Vamos continuar …
24
Passos 2 + 3
RESPONDENDO A LIMITES DE orçamento e prazo
Avaliação em um Mundo Real
Desenhando avaliações sob restrições Políticas, orçamentárias, de prazo e de Informação
25
Passo 2: Respondendo a problemas orçamentários
A. Esclarecer as necessidades de informação do cliente
B. Simplificar o desenho de avaliaçãoC. Buscar informação secundária
confiávelD. Revisar o tamanho da amostraE. Reduzir custos de coleta e análise de
informações
26
Racionalizar necessidades de informação
Usar informações do passo 1 para identificar as necessidades de informação do cliente
Simplificar o desenho da avaliação (mas preparar-se para compensar ‘pedaços perdidos’)
Revisar todos os instrumentos de coleta de informação e cortar qualquer pergunta não relacionada diretamente com os objetivos da avaliação .
27
Buscar fontes de informação secundária confiáveis
Estudos de planejamento, registros administrativos do Projeto, Ministérios, outras ONGs, universidades e institutos de pesquisa, meios de comunicação de massa.
28
Analisar a relevância e a confiabilidade das fontes para a avaliação com respeito a:
Cobertura da população alvo Periodo de tempo Relevância da informação coletada Confiabilidade e complementariedade da
informação Potenciais viéses
… Buscar fontes de informação secundária confiáveis
29
Algumas formas de economizar tempo e dinheiro
Dependendo do propósito e do nivel de rigor requerido, algumas das opções poderiam incluir:• Reduzir o número de unidades estudadas
(comunidades, famílias, escolas)
• Reduzir o número de estudos de caso ou a duração e complexidad dos casos
• Reduzir a duração e frequência das observações
30
Buscando formas de reduzir o tamanho da amostra
Aceitar um nivel mas baixo de precisão reduz significativamente o número de entrevistas:
Testar uma mudança de 5% nas proporções requer uma amostra mínima de 1086
Testar uma mudança de 10% nas proporções requer uma amostra mínima 270
31
Reduzindo custos na coleta e análise de dados Usar questionários auto-aplicáveis Reduzir o tamanho e a complexidade do
instrumento Usar observação direta Obter estimativas de grupos focais e
reuniões comunitárias Informantes chave Métodos de avaliação participativos Multi-métodos e triangulação
32
Passo 3: Respondendo a restrições de prazo
Adicionalmente ao Passo 2 (problemas orçamentários) Pode-se usar os seguintes métodos: Reduzir pressões de tempo com consultorias
externas
• Estudos preparatórios de comissões
• Vídeo conferências Contratar mais consultores/investigadores Incorporar indicadores de resultados nos sistemas
de monitoramento do projeto e documentos Tecnología para processamento de dados
33
Endereçando problemas de prazo
Negociar com os clientes e discutir questões como:1. Quais são as informações essenciais e o que pode ser
retirado ou reduzido? 2. Que precisão e nível de detalhe se requer para ter la
informação essencial? Ex: É necessário ter estimativas separadas para cada região geográfica ouu sub-grupo o uma média populacional é aceitável?
3. É necessário analisar todos os componentes e serviços do Projeto o só os mais importantes?
4. É possível conseguir recursos adicionais (dinheiro, equipe, acesso a computadores, veículos, etc.) para agilizar os processos de coleta e análisis de datos?
Passo 4Respondendo a restrições de informação
Avaliação em um Mundo Real
Desenhando avaliações sob restrições políticas, orçamentárias, de prazo e
Informações
36
Maneiras de reconstruir as condições da linha de base
A. Dados secundários
B. Informes do Projeto
C. Memorias/atas/notas
D. Informantes-chave
37
Maneiras de reconstruir as condições da linha de base
E. DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) e outras técnicas participativas como cronogramas e eventos críticos para ajudar a estabelecer la cronologia de mudanças importantes na comunidade
38
Analisando a utilidade de potenciais dados secundários
Período de referência Cobertura da população Inclusão de indicadores requeridos Complementariedade Precisão Libre de viéses
39
Exemplos de dados secundários usados para reconstruir linhas de base
Censos Outras pesquisas realizadas por organizaciones
governamentais Estudos específicos realizados por ONGs e
doadores Pesquisas Acadêmicas Meios de comunicação (jornais, rádio, TV) Informações de monitoramento produzidas pela
agência implementadora
40
Usando registros internos do projeto
Tipo de informação Estudos de viabilidade e planejamento Formulários de aplicação e registro Relatórios de Supervisão Dados do Sistema de Informações Gerenciais (SIG) Registros de reuniões Atas das reuniões realizadas entre a agência
implementadora e a comunidade Informes de avanços Informes de construção , capacitação , implementação e
outros incluindo custos.
41
Avaliando a confiabilidade dos registros existentes do projeto
Quem coletou as informações e com que propósito?
As informações foram coletadas apenas como registro ou para influenciar os tomadores de decisões ou outros grupos?
As informações de monitoramento referem-se apenas às atividades do Projeto ou também a mudanças nos resultados?
As informações foram geradas exclusivamente para uso interno? Ou para uso de um grupo restrito? Ou para uso público?
42
Usando registros para reconstruir a linha de base
Registros de assistência escolar e tempo /custo de viagens
Enfermidade/uso dos serviços de saúde Renda e gastos Conhecimento e habilidades
comunitárias/individuais Coesão/conflito social Uso/qualidade/custo da água Períodos de stress Padrões de viagens
43
Onde acessar a memória do Projeto é o melhor
Áreas onde a maior parte das investigações tenha sido feita com base nas memórias• Pesquisas de rendimentos e gastos
• Dados demográficos e sobre fertilidade
Tipos de perguntas:• Si/No; fatos
• Escalas
• Facilmente relacionados a eventos maiores
44
Limites da memória
Geralmente não são confiáveis para dados quantitativos precisos
Viés de seleção de amostras Distorção deliberada ou não intencional Poucos estudos empíricos (exceto em
relação ao gasto) que ajudem a ajustar estimativas
45
Fontes de viéses na memória
Quem provê as informacões? Sub-estimativa de gastos pequenos e de rotina “Telescópio” da memória em relação aos maiores gastos Distorção para alinhar-se com condutas adequadas:
• Intencional ou inconsciente
• Romantização do passado
• Exageros (exemplo “Não tinhamos nada antes desse Projeto!”)
Fatores contextuais:• Os intervalos de tempo usados nas perguntas
• As expectativas dos respondentes acerca do que o entrevistador quer saber
Implicações para o protocolo de entrevista
46
Melhorando la validade da memória
Conduzir estudos curtos para comparar a memória com pesquisas ou outros achados
Assegurar-se que todos os grupos relevantes sejam entrevistados
Triangulação Vincular memória a importantes eventos de
referência• Eleições• Secas/inundacões/tsunami/guerra/realocaçao • Construção de estradas, escolas, etc.
47
Informantes-chave
Não apenas funcionários e pessoas de alto cargo
Todos podem ser informantes-chave em situações próprias:• Mães solteiras
• Trabalhadores de fábricas
• Usuários de transporte público
• Prostitutas
• Meninos de rua
48
Guias para análise de informantes-chave
A triangulação ajuda muito a validar e entender
Incluir informantes com diferentes experiências e perspectivas
Entender como cada informante se enquadra na fotografia
Empregar múltiplas rodadas se necessário Manejar os assuntos éticos cuidadosamente
49
DPR e técnicas de participação relacionadas
As técnicas DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) ajudam a coletar dados em grupos e comunidades (mais do que em nível)
Ambas ajudam a identificar consenso ou perspectivas diferentes
Risco de viés:• Se só participam certos setores da comunidade
• Se certas pessoas dominam a discussão
50
Sumário dos temas na reconstrução da linha de base
Variações na confiabilidade da memória Distorção da memória Os dados secundários não são fáceis de
usar Dados secundários incompletos ou não
confiáveis Informantes-chave podem distorcer o
passado
51
2. Maneiras de reconstruir grupos de comparação
Associação de comunidades para julgamento
Quando se introduzem os serviços de um projeto em fases, os beneficiários que entram nas últimas fases podem ser usados como grupos de comparação “tubulações
Controles internos quando diferentes sujeitos recebem diferentes combinações combinaciones e níveis de serviço
52
Uso de notas para fortalecer grupos de comparação
Associando notas ou scores Estudos rápidos de avaliação podem
comparar características de projetos e grupos de comparação usando:• Observação
• Informantes chave
• Grupos focais
• Dados secundários
• Fotos aéreas e dados georreferenciados
53
Aspectos a considerar na reconstrução de grupos de comparação Áreas do projeto frequentemente selecionadas
intencionalmente e difíceis de associar Diferenças entre grupos de projeto e grupos de
comparação – dificuldade de avaliar se os resultados se deveram às intervenções do projeto ou às diferenças iniciais
Ausência de boas informações para seleccionar grupos de comparação
Contaminação (as boas ideias tendem a espalhar-se!)
Os métodos econométricos não podem ajustar integralmente as diferenças iniciais entre os grupos [no-observáveis]
Já chega das minhas Já chega das minhas apresentaçõesapresentações: é hora : é hora
de vocês (Gentede vocês (Gente do do Mundo Real) envolver-Mundo Real) envolver-
se.se.
Tempo para trabalhos Tempo para trabalhos em gruposem grupos. . Leiam os Leiam os
seus estudos de caso seus estudos de caso e comecem suas e comecem suas
discussõesdiscussões. .
1. Alguns de vocês estão prestando consultoria em avaliação. Outros são os clientes que comissionam (recebem e aprovam) a avaliação.
2. Decidam o que seu grupo proporá para responder aos desafíos e restrições.
3. Preparem-se para negociar os TdR com o outro grupo (mais tarde).
Trabalho em grupo: Trabalho em grupo: estudos de estudos de casocaso
avaliações con métodos mistos
Avaliação em um Mundo Real
Desenhando avaliações sob restrições Políticas, orçamentárias, de tempo e de
informação
NÃO NÃO deveria deveria haver uma disputa entrehaver uma disputa entre
Qualoide!Qualoide!Quantoide!Quantoide!
QUANTITATIVOQUANTITATIVO(s(só númerosó números))OUOU
QUALITATIVO QUALITATIVO (só textos) (só textos)
58
59
“Sua história
humana parece
bonita, mas deixa eu
te mostrar algumas
estatísticas”
““Seus números são Seus números são
impressionantes, impressionantes,
mas deixa eu te mas deixa eu te
contar uma história contar uma história
humana humana
interessanteinteressante””
O O qque é preciso é combinar adequadamente ue é preciso é combinar adequadamente AMBOS AMBOS métodos métodos QUALITATIVOSQUALITATIVOS
E E QUANTITATIVOSQUANTITATIVOS
60
61
Métodos de coleta de dados quantitativos
Pesquisas estruturadas (domicílios, fazendas, uso de transporte, etc.)
Observação estruturada Métodos antropométricos Testes de aptidão e comportamento Indicadores que possam ser
quantificados
62
Métodos de coleta de dados qualitativosCaracterísticas
A perspectiva do investigador é uma parte integral do que é registrado sobre o mundo social
Não é possível um distanciamento científico Significados dados a situações fenômenos sociais
devem ser entendidos Programas não podem ser estudados
independentemente do seu contexto É difícil definir uma clara relação entre causa e
efeito A transformação debe ser estudada de forma
holística
63
Usando métodos qualitativos para melhorar o desenho e os resultados da avaliação
Usar a memória para reconstruir a situação pré-teste
Entrevistar informantes-chave para identificar outras mudanças na comunidade ou em relações de gênero
Conduzir entrevistas ou grupos focais com mulheres e homens para
• Evaliar o efeito dos empréstimos nas relações de gênero dentro das casas, tais como mudanças no controle dos recursos e na tomada de decisões
• Identificar outros resultados importantes ou consequências não esperadas:
• Aumento na carga de trabalho das mulheres,
• Aumento da incidência da violência doméstica de gênero
64
Disenhos de avaliação com métodos mistos
Combinam as fortalezas de ambas abordagens quantitatIVO e qualitatIVO
Uma abordagem ( QUANTI ou QUALI) é frequentemente dominante e a outra a complementa
Ambas as abordagens podem coexistir de igual maneira mas torna a avaliação difícil de desenhar e manejar
Podem ser usadas de maneira sequenciada ou simultânea
Determinando a precisão e combinação apropriada de múltiplos métodos
Ext
rati
vo -
-- q
uan
tita
tivo
Par
tici
pat
ivo
---
qu
alit
ativ
o
Alto nivel de rigor, de qualidad, mais tempo & gasto
Baixo nível de rigor, qualidad questionável, barato e rápido
Entrevistas a Entrevistas a Informantes Informantes
chavechave
GruposGruposFocaisFocais
PesquisasPesquisasUnidadesUnidades familiaresfamiliares
MedidasMedidasnutricionaisnutricionais
GrupoGrupograndegrande
GruposGruposFocaisFocais
PesquisasPesquisasUnidades Unidades familiaresfamiliares
MedidasMedidasnutricionaisnutricionais
Abordagens participativas deveriam ser usadas tanto quanto possível
Mas, ainda assim, com rigor apropriado: quantas (e quais) perspectivas das pessoas contribuíram
para a história? 66
67
Perguntas?Perguntas?
Tempo Tempo para para as equipes de as equipes de consultores consultores reunirem-se reunirem-se
com com clientes para negociarclientes para negociar os os TdRs para la TdRs para la avaliação avaliação do projeto do projeto de habitação.de habitação.
68
69
Conclusão:
Os avaliadores devem estar preparados para:1. Entrar num periodo tardio do ciclo do projeto ;2. Trabalhar sob restrições de tempo e
orçamentárias;3. Não ter acesso a dados comparativos de linha de
base;4. Trabalhar sem grupos de comparação viáveis;5. Trabalhar com investigadores de avaliação pouco
qualificados;6. Reconciliar diferentes paradigmas de avaliação e
necessidades de informação de diferentes tipos de atores
70
Principais mensagens do Workshop
1. Os avaliadores devem estar preparados para os desafios da avaliação em um Mundo Real.
2. Há uma experiência considerável com a qual aprender.
3. Um conjunto de técnicas práticas de avaliação está disponível em www.RealWorldEvaluation.org
4. Nunca usem os limites de tempo e orçamento como desculpa para metodologías de avaliação superficiais.
5. Uma lista de verificação de “ameaças de validação” ajuda a ser honesto na identificação de debilidades potenciais em seu desenho de avaliação e análise.
71
OBRIGADO!
71
OBRIGADO!
top related