1

Avaliação em um Mundo Real

Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e

políticas

III Seminário da Rede Brasileira de Monitoramento e Avaliação

Brasília, DF, Brasil01 de junho de 2011

Workshop Coordenado porJim Rugh

A apresentação é um resumo do capítulo do livro que está disponível em :

www.RealWorldEvaluation.org

Apresentação traduzida para o Português por Marcia Joppert

2

Alguns avanços recentes em avaliação de impacto em projetos de desenvolvimento

J-PAL conhecida como uma rede de investigadores associados unidos pelo uso de metodologías de testes aleatórios

2003

2010

2008

2006

3

Então, Jim está dizendo que os testes de controle aleatórios (RCTs) são o “Estado da Arte” e deveriam ser usadas na

maioria das avaliações de impacto de programas?

Sim ou não?

Se sim, em que cirunstâncias deveriam ser usadas?

Por que sim e por que não?

Se não, em que cirunstâncias não seriam apropriadas?

Adaptado de Patricia Rogers, RMIT University 4

Políticas baseadas em evidência para intervenções simples (ou aspectos simples) : quando RCTs podem ser apropriadas

Perguntas necessárias para política baseada em evidência O que funciona?

Como é a intervenção? Discreta, intervenção padronizada

Ccomo funciona a intervenção ? Bastante parecida em todos os lugares

Procedimientos necessários para obter evidência

Absorção Transferência de conhecimento

5

Programas complicados e complexos onde haja intervenções múltiplas por múltiplos atores

Projetos implementados em contextos dinâmicos (ex. conflitos, desastres naturais)

Projetos sob múltiplos modelos lógicos, ou quando não haja relação clara de causa-efecto entre produtos ou não estejam claros os enunciados de visão (geralmente o caso de projetos de desenvolvimento internacionais no MundO Real)

Quando uma avaliação rigorosa dos indicadores de altos níveis de impacto não seria necessária?

6

Uma avaliação com esta abordagem deve ser realizada se foi definida adequadamente uma relação caus-efeito entre os resultados intermediários e os efeitos finais ou de impacto através de estudos previos. Então, analisando os resultados em nivel dos alcances intermediários pode ser suficiente sempre e quando o contexto (condições externas e internas) evidencia ser suficientemente similar ao momento que se definiu a relação causa efeito.

Quando uma avaliação rigorosa dos indicadores de altos níveis de impacto não seria necessária?

7

Exemplos de relações causa-efeito geralmente aceitas

• Vacinação de crianças com um conjunto padrão de vacinas prescritas para certa idade como capazes de reduzir alguma enfermidade infantil (os meios de verificação implicam observar as características de saúde das crianças, não só a quantidade total de vacinas distribuídas no hospital)

•outros exemplos…?

Lentes diferentes necessárias para diferentes situações no Mundo Real

Simples Complicado ComplexoSeguir uma receta Enviar um foguete à

luaCriar uma criança

As receitas são testadas para assegurar fácil replicação

Enviar um foguete à lua melhora a certeza de que o próximo também será exitoso

Criar uma criança dá experiência mas não garante o éxito com o próximo

As melhores receitas oferecem bons resultados todas as vezes

Existe um alto grau de certeza nos resultados

A incerteza dos resultados se mantém

Fonte: Westley et ao (2006) e Stacey (2007), citado por Patton 2008; también presentado por Patricia Rodgers em la conferencia de Impacto do Cairo (2009).

8

Citado por Patricia Rogers, RMIT University 9

“É muito melhor ter uma resposta aproximada à pergunta correta, que é geralmente vaga, que a resposta correta à pergunta errada, a qual sempre pode ser formulada com precisão.

J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics 33(1), pp. 1-67.

Patricia Rogers, RMIT University 10

Podem haver problemas de validação com RTCs

Validação interna

Temas de Qualidade – Medição débil, aderência débil à amostra aleatória, base estatística inadequada, efetos diferenciales ignorados, comparação inadequada, busca de significado estatístico, perda de informação, implementação de baixa qualidade não identificada

outros – error na amostragem aleatória, contaminação de outras fontes, necessidade de um paquete causal completo.

Validação externa

Efetividade na prática do mundo real, capacidade de transferência para novas situações

11

O uso limitado de sólidos desenhos de avaliação

No Mundo Real (ao menos em programas internacionais de desenvolvimento) estimamos que:• Menos de 5% - 10% das avaliações de

impacto de projetos usam sólidos desenhos experimentais ou até desenhos quais-experimentais

• Muito menos do que 5% usam Teste de Controle Randomizado (desenho experimental “puro”)

Considere o Mundo Real dos programas a ser avaliados como um quebra-cabeças gigante

12

Os desenhos de investigação to tipo experimental (avaliação) e, mucho menos os RCTs, ssolo paró são apropriados para poucas peças deste quebra-cabeças gigante.

É por isso que bons avaliadores (e aqueles que comissionam avaliações) precisam de uma caixa de ferramentas mais diversificada , que possam ser customizadas ao desenhar avaliações que repondem a diferentes propósitos e circunstancias

13

Há outros métodos para analisar os contrafactuais

Dados secundarios confiáveis que mostrem tendências relevantes na população

Dados longitudinais de monitoramento (se incluem população não coberta)

Métodos qualitativos para obter perspectivas de informantes chave, participantes, vizinhos, etc.

Falaremos mais sobre isso depois…

Ainda parte do passo 1: Outras perguntas para responder quando vocês adaptam Termos de Referência (TdR) de uma avaliação :

1. Quem solicitou a avaliação? (Quem são as partes interessadas)?

2. Quais são as perguntas chave que devem ser respondidas?

3. Trata-se de uma avaliação formativa ou somativa (qual o propósito)?

4. Haverá uma fase seguinte ou outros projetos desenhados com base nos achados desta avaliação?

14

5. Que decisões serão tomadas em resposta aos achados desta avaliação?

6. Qual é o nível apropriado de rigor?

7. Qual é o alcance/escala da avaliação (o que será avaliado)?

8. Quanto tempo será necessário e de quanto tempo se dispõe?

9. Que recursos financeiros serão necessários e qual a disponibilidade?

Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação:

15

10. A avaliação deveria apoiar-se principalmente em métodos qualitativos ou quantitativos?

11. Deveriam ser usados métodos participativos?12. Poderia ou teria que ser feita uma pesquisa nos

domicípios?13. Quem deveria ser entrevistado?14. Quem deveria ser envolvido no

planejamento/implementação da avaliação?15. Quais são os meios mais adequados para comunicar

os achados a diferentes partes interessadas?

Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação:

16

Isto ajuda ou confunde mais? Quem disse que as avaliações (como a vida) seriam fáceis?!!

desenho da avaliação (investigação)?

Perguntas chaves?

O que avaliar?

Qualitativo?Quantitativo?

Alcance?

Nível de rigor apropriado?

Recursos disponíveis?

Tempo disponível?

Habilidades disponíveis?

Avaliação para quem?

Participativa?

Extractiva?

17

Antes de voltar aos passos da Avaliação em um Mundo Real, pensemos em níveis de rigor, e como seria um Plano de Avaliação de um projeto em todo seu ciclo de vida

18

Níveis diferentes de rigorNíveis diferentes de rigor

Depende da fonte de evidência; do nivel de confiança; do uso da informação

Nivel 0: as impressões dos tomadores de decisão se apóiam em opiniões superficiais coletadas em encontros breves (fofocas de corredores), intuição ; Nivel de confianza +/- 50%; as decisões são tomadas em poucos segundos

Nivel 1: Pergunta-se a algumas pessoas suas perspectivas sobre o projeto ; P= +/- 40% as decisões são tomadas em poucos minutos

Nivel 3: Se faz uma pesquisa rápida com base em uma amostra conveniente de participantes; P= +/- 10% os tomadores de decisão lêm o sumário de 10 páginas

Nivel 2: Pergunta-se a uma boa combinação de pessoas suas perspectivas sobre o projeto ; P= +/- 25% os tomadores de decisão lêm ao menos o sumario executivo de um relatório

Nivel 4: uma boa amostra representativa da população alvo e métodos de coleta de dados criteriosos são usados para coleta de informação; P= +/- 5% os tomadores de decisão lêm o informe completo

Nivel 5: um projeto de investigação muito detalhado realiza-se para analisar em profundidade a situação P= +/- 1% Livro publicado!

Objetivo,Objetivo, alta precisão – alta precisão – requerendo mais prazo e recursos ($)requerendo mais prazo e recursos ($)

RápidaRápida e e barata – mas subjetiva, inconsistentebarata – mas subjetiva, inconsistente

Sele

ção

Ale

atór

ia d

e A

mos

tra

Qua

lidad

e do

s Q

uest

ioná

rios

Con

fiabl

idad

e e

valid

ade

de

indi

cado

res

Qua

lidad

e na

col

eta

de d

ados

Prof

undi

dade

da

anál

ise

Elab

oraç

ão d

e re

lató

rio e

uso

A QUALIDADE da INFORMAÇÃO GERADA POR uma AVALIAÇÃO DEPENDE do NIVEL DE RIGOR RIGOR DE TODOS os COMPONENTES

CONDUZIR uma CONDUZIR uma AVALIAÇÃO É AVALIAÇÃO É COMO INSTALARCOMO INSTALAR uma uma TUBULAÇÃOTUBULAÇÃO

Sele

ção

Ale

atór

ia d

a A

mos

tra

Qua

lidad

e do

Que

stio

nário

Rel

evân

cia

e va

lidad

e de

indi

cado

res

Qua

idad

e na

col

eta

de d

ados

Prof

undi

dade

da

anál

ise

Info

rme

e us

o

QUANTIDADE DE “FLUXO” (QUALIDAD) DE INFORMAÇÃO ESTÁ LIMITADA ao MENOR COMPONENTE da PESQUISA “TUBULAÇÃO”

DeterminandoDeterminando os os níveis apropriados de precisão níveis apropriados de precisão parapara os os

eventoseventos num Plano num Plano de Avaliação do de Avaliação do ciclo de vida de um projetociclo de vida de um projeto

Auto Auto avaliação avaliação

anualanual

AvaliaçãoAvaliação IntermediáriaIntermediária

Estudo de Estudo de Linha de BaseLinha de Base

Análise Análise de de

necessidadenecessidadess

AvaliaçãoAvaliaçãofinalfinal

tempotempo de vida do projeto de vida do projeto

EstuioEstuioEspecialEspecial

Mesmo nível de rigorMesmo nível de rigor

RRigor altoigor alto

Rigor baixoRigor baixo

2

3

4

23

Agora, onde estamos?

Oh, sim! Estamos prontos para os passos 2 e 3 da abordagem Avaliação em um Mundo Real.

Vamos continuar …

24

Passos 2 + 3

RESPONDENDO A LIMITES DE orçamento e prazo

Avaliação em um Mundo Real

Desenhando avaliações sob restrições Políticas, orçamentárias, de prazo e de Informação

25

Passo 2: Respondendo a problemas orçamentários

A. Esclarecer as necessidades de informação do cliente

B. Simplificar o desenho de avaliaçãoC. Buscar informação secundária

confiávelD. Revisar o tamanho da amostraE. Reduzir custos de coleta e análise de

informações

26

Racionalizar necessidades de informação

Usar informações do passo 1 para identificar as necessidades de informação do cliente

Simplificar o desenho da avaliação (mas preparar-se para compensar ‘pedaços perdidos’)

Revisar todos os instrumentos de coleta de informação e cortar qualquer pergunta não relacionada diretamente com os objetivos da avaliação .

27

Buscar fontes de informação secundária confiáveis

Estudos de planejamento, registros administrativos do Projeto, Ministérios, outras ONGs, universidades e institutos de pesquisa, meios de comunicação de massa.

28

Analisar a relevância e a confiabilidade das fontes para a avaliação com respeito a:

Cobertura da população alvo Periodo de tempo Relevância da informação coletada Confiabilidade e complementariedade da

informação Potenciais viéses

… Buscar fontes de informação secundária confiáveis

29

Algumas formas de economizar tempo e dinheiro

Dependendo do propósito e do nivel de rigor requerido, algumas das opções poderiam incluir:• Reduzir o número de unidades estudadas

(comunidades, famílias, escolas)

• Reduzir o número de estudos de caso ou a duração e complexidad dos casos

• Reduzir a duração e frequência das observações

30

Buscando formas de reduzir o tamanho da amostra

Aceitar um nivel mas baixo de precisão reduz significativamente o número de entrevistas:

Testar uma mudança de 5% nas proporções requer uma amostra mínima de 1086

Testar uma mudança de 10% nas proporções requer uma amostra mínima 270

31

Reduzindo custos na coleta e análise de dados Usar questionários auto-aplicáveis Reduzir o tamanho e a complexidade do

instrumento Usar observação direta Obter estimativas de grupos focais e

reuniões comunitárias Informantes chave Métodos de avaliação participativos Multi-métodos e triangulação

32

Passo 3: Respondendo a restrições de prazo

Adicionalmente ao Passo 2 (problemas orçamentários) Pode-se usar os seguintes métodos: Reduzir pressões de tempo com consultorias

externas

• Estudos preparatórios de comissões

• Vídeo conferências Contratar mais consultores/investigadores Incorporar indicadores de resultados nos sistemas

de monitoramento do projeto e documentos Tecnología para processamento de dados

33

Endereçando problemas de prazo

Negociar com os clientes e discutir questões como:1. Quais são as informações essenciais e o que pode ser

retirado ou reduzido? 2. Que precisão e nível de detalhe se requer para ter la

informação essencial? Ex: É necessário ter estimativas separadas para cada região geográfica ouu sub-grupo o uma média populacional é aceitável?

3. É necessário analisar todos os componentes e serviços do Projeto o só os mais importantes?

4. É possível conseguir recursos adicionais (dinheiro, equipe, acesso a computadores, veículos, etc.) para agilizar os processos de coleta e análisis de datos?

Passo 4Respondendo a restrições de informação

Avaliação em um Mundo Real

Desenhando avaliações sob restrições políticas, orçamentárias, de prazo e

Informações

36

Maneiras de reconstruir as condições da linha de base

A. Dados secundários

B. Informes do Projeto

C. Memorias/atas/notas

D. Informantes-chave

37

Maneiras de reconstruir as condições da linha de base

E. DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) e outras técnicas participativas como cronogramas e eventos críticos para ajudar a estabelecer la cronologia de mudanças importantes na comunidade

38

Analisando a utilidade de potenciais dados secundários

Período de referência Cobertura da população Inclusão de indicadores requeridos Complementariedade Precisão Libre de viéses

39

Exemplos de dados secundários usados para reconstruir linhas de base

Censos Outras pesquisas realizadas por organizaciones

governamentais Estudos específicos realizados por ONGs e

doadores Pesquisas Acadêmicas Meios de comunicação (jornais, rádio, TV) Informações de monitoramento produzidas pela

agência implementadora

40

Usando registros internos do projeto

Tipo de informação Estudos de viabilidade e planejamento Formulários de aplicação e registro Relatórios de Supervisão Dados do Sistema de Informações Gerenciais (SIG) Registros de reuniões Atas das reuniões realizadas entre a agência

implementadora e a comunidade Informes de avanços Informes de construção , capacitação , implementação e

outros incluindo custos.

41

Avaliando a confiabilidade dos registros existentes do projeto

Quem coletou as informações e com que propósito?

As informações foram coletadas apenas como registro ou para influenciar os tomadores de decisões ou outros grupos?

As informações de monitoramento referem-se apenas às atividades do Projeto ou também a mudanças nos resultados?

As informações foram geradas exclusivamente para uso interno? Ou para uso de um grupo restrito? Ou para uso público?

42

Usando registros para reconstruir a linha de base

Registros de assistência escolar e tempo /custo de viagens

Enfermidade/uso dos serviços de saúde Renda e gastos Conhecimento e habilidades

comunitárias/individuais Coesão/conflito social Uso/qualidade/custo da água Períodos de stress Padrões de viagens

43

Onde acessar a memória do Projeto é o melhor

Áreas onde a maior parte das investigações tenha sido feita com base nas memórias• Pesquisas de rendimentos e gastos

• Dados demográficos e sobre fertilidade

Tipos de perguntas:• Si/No; fatos

• Escalas

• Facilmente relacionados a eventos maiores

44

Limites da memória

Geralmente não são confiáveis para dados quantitativos precisos

Viés de seleção de amostras Distorção deliberada ou não intencional Poucos estudos empíricos (exceto em

relação ao gasto) que ajudem a ajustar estimativas

45

Fontes de viéses na memória

Quem provê as informacões? Sub-estimativa de gastos pequenos e de rotina “Telescópio” da memória em relação aos maiores gastos Distorção para alinhar-se com condutas adequadas:

• Intencional ou inconsciente

• Romantização do passado

• Exageros (exemplo “Não tinhamos nada antes desse Projeto!”)

Fatores contextuais:• Os intervalos de tempo usados nas perguntas

• As expectativas dos respondentes acerca do que o entrevistador quer saber

Implicações para o protocolo de entrevista

46

Melhorando la validade da memória

Conduzir estudos curtos para comparar a memória com pesquisas ou outros achados

Assegurar-se que todos os grupos relevantes sejam entrevistados

Triangulação Vincular memória a importantes eventos de

referência• Eleições• Secas/inundacões/tsunami/guerra/realocaçao • Construção de estradas, escolas, etc.

47

Informantes-chave

Não apenas funcionários e pessoas de alto cargo

Todos podem ser informantes-chave em situações próprias:• Mães solteiras

• Trabalhadores de fábricas

• Usuários de transporte público

• Prostitutas

• Meninos de rua

48

Guias para análise de informantes-chave

A triangulação ajuda muito a validar e entender

Incluir informantes com diferentes experiências e perspectivas

Entender como cada informante se enquadra na fotografia

Empregar múltiplas rodadas se necessário Manejar os assuntos éticos cuidadosamente

49

DPR e técnicas de participação relacionadas

As técnicas DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) ajudam a coletar dados em grupos e comunidades (mais do que em nível)

Ambas ajudam a identificar consenso ou perspectivas diferentes

Risco de viés:• Se só participam certos setores da comunidade

• Se certas pessoas dominam a discussão

50

Sumário dos temas na reconstrução da linha de base

Variações na confiabilidade da memória Distorção da memória Os dados secundários não são fáceis de

usar Dados secundários incompletos ou não

confiáveis Informantes-chave podem distorcer o

passado

51

2. Maneiras de reconstruir grupos de comparação

Associação de comunidades para julgamento

Quando se introduzem os serviços de um projeto em fases, os beneficiários que entram nas últimas fases podem ser usados como grupos de comparação “tubulações

Controles internos quando diferentes sujeitos recebem diferentes combinações combinaciones e níveis de serviço

52

Uso de notas para fortalecer grupos de comparação

Associando notas ou scores Estudos rápidos de avaliação podem

comparar características de projetos e grupos de comparação usando:• Observação

• Informantes chave

• Grupos focais

• Dados secundários

• Fotos aéreas e dados georreferenciados

53

Aspectos a considerar na reconstrução de grupos de comparação Áreas do projeto frequentemente selecionadas

intencionalmente e difíceis de associar Diferenças entre grupos de projeto e grupos de

comparação – dificuldade de avaliar se os resultados se deveram às intervenções do projeto ou às diferenças iniciais

Ausência de boas informações para seleccionar grupos de comparação

Contaminação (as boas ideias tendem a espalhar-se!)

Os métodos econométricos não podem ajustar integralmente as diferenças iniciais entre os grupos [no-observáveis]

Já chega das minhas Já chega das minhas apresentaçõesapresentações: é hora : é hora

de vocês (Gentede vocês (Gente do do Mundo Real) envolver-Mundo Real) envolver-

se.se.

Tempo para trabalhos Tempo para trabalhos em gruposem grupos. . Leiam os Leiam os

seus estudos de caso seus estudos de caso e comecem suas e comecem suas

discussõesdiscussões. .

1. Alguns de vocês estão prestando consultoria em avaliação. Outros são os clientes que comissionam (recebem e aprovam) a avaliação.

2. Decidam o que seu grupo proporá para responder aos desafíos e restrições.

3. Preparem-se para negociar os TdR com o outro grupo (mais tarde).

Trabalho em grupo: Trabalho em grupo: estudos de estudos de casocaso

avaliações con métodos mistos

Avaliação em um Mundo Real

Desenhando avaliações sob restrições Políticas, orçamentárias, de tempo e de

informação

NÃO NÃO deveria deveria haver uma disputa entrehaver uma disputa entre

Qualoide!Qualoide!Quantoide!Quantoide!

QUANTITATIVOQUANTITATIVO(s(só númerosó números))OUOU

QUALITATIVO QUALITATIVO (só textos) (só textos)

58

59

“Sua história

humana parece

bonita, mas deixa eu

te mostrar algumas

estatísticas”

““Seus números são Seus números são

impressionantes, impressionantes,

mas deixa eu te mas deixa eu te

contar uma história contar uma história

humana humana

interessanteinteressante””

O O qque é preciso é combinar adequadamente ue é preciso é combinar adequadamente AMBOS AMBOS métodos métodos QUALITATIVOSQUALITATIVOS

E E QUANTITATIVOSQUANTITATIVOS

60

61

Métodos de coleta de dados quantitativos

Pesquisas estruturadas (domicílios, fazendas, uso de transporte, etc.)

Observação estruturada Métodos antropométricos Testes de aptidão e comportamento Indicadores que possam ser

quantificados

62

Métodos de coleta de dados qualitativosCaracterísticas

A perspectiva do investigador é uma parte integral do que é registrado sobre o mundo social

Não é possível um distanciamento científico Significados dados a situações fenômenos sociais

devem ser entendidos Programas não podem ser estudados

independentemente do seu contexto É difícil definir uma clara relação entre causa e

efeito A transformação debe ser estudada de forma

holística

63

Usando métodos qualitativos para melhorar o desenho e os resultados da avaliação

Usar a memória para reconstruir a situação pré-teste

Entrevistar informantes-chave para identificar outras mudanças na comunidade ou em relações de gênero

Conduzir entrevistas ou grupos focais com mulheres e homens para

• Evaliar o efeito dos empréstimos nas relações de gênero dentro das casas, tais como mudanças no controle dos recursos e na tomada de decisões

• Identificar outros resultados importantes ou consequências não esperadas:

• Aumento na carga de trabalho das mulheres,

• Aumento da incidência da violência doméstica de gênero

64

Disenhos de avaliação com métodos mistos

Combinam as fortalezas de ambas abordagens quantitatIVO e qualitatIVO

Uma abordagem ( QUANTI ou QUALI) é frequentemente dominante e a outra a complementa

Ambas as abordagens podem coexistir de igual maneira mas torna a avaliação difícil de desenhar e manejar

Podem ser usadas de maneira sequenciada ou simultânea

Determinando a precisão e combinação apropriada de múltiplos métodos

Ext

rati

vo -

-- q

uan

tita

tivo

Par

tici

pat

ivo

---

qu

alit

ativ

o

Alto nivel de rigor, de qualidad, mais tempo & gasto

Baixo nível de rigor, qualidad questionável, barato e rápido

Entrevistas a Entrevistas a Informantes Informantes

chavechave

GruposGruposFocaisFocais

PesquisasPesquisasUnidadesUnidades familiaresfamiliares

MedidasMedidasnutricionaisnutricionais

GrupoGrupograndegrande

GruposGruposFocaisFocais

PesquisasPesquisasUnidades Unidades familiaresfamiliares

MedidasMedidasnutricionaisnutricionais

Abordagens participativas deveriam ser usadas tanto quanto possível

Mas, ainda assim, com rigor apropriado: quantas (e quais) perspectivas das pessoas contribuíram

para a história? 66

67

Perguntas?Perguntas?

Tempo Tempo para para as equipes de as equipes de consultores consultores reunirem-se reunirem-se

com com clientes para negociarclientes para negociar os os TdRs para la TdRs para la avaliação avaliação do projeto do projeto de habitação.de habitação.

68

69

Conclusão:

Os avaliadores devem estar preparados para:1. Entrar num periodo tardio do ciclo do projeto ;2. Trabalhar sob restrições de tempo e

orçamentárias;3. Não ter acesso a dados comparativos de linha de

base;4. Trabalhar sem grupos de comparação viáveis;5. Trabalhar com investigadores de avaliação pouco

qualificados;6. Reconciliar diferentes paradigmas de avaliação e

necessidades de informação de diferentes tipos de atores

70

Principais mensagens do Workshop

1. Os avaliadores devem estar preparados para os desafios da avaliação em um Mundo Real.

2. Há uma experiência considerável com a qual aprender.

3. Um conjunto de técnicas práticas de avaliação está disponível em www.RealWorldEvaluation.org

4. Nunca usem os limites de tempo e orçamento como desculpa para metodologías de avaliação superficiais.

5. Uma lista de verificação de “ameaças de validação” ajuda a ser honesto na identificação de debilidades potenciais em seu desenho de avaliação e análise.

71

OBRIGADO!

71

OBRIGADO!