apoiando-se em teorias da mudança para o planejamento, gestão e avaliação professora patricia...
TRANSCRIPT
![Page 1: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/1.jpg)
Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação
Professora Patricia RogersBetterEvaluationRoyal Melbourne Institute of Technology, Melbourne, Australia
Avaliação para a estratégia organizacional do investimento social privado
![Page 2: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/2.jpg)
A essência das teorias da mudança
Estou quebrando
pedras
http://img359.imageshack.us/img359/7104/picture420bt2.jpg
Estou construindo um templo
2 Evaluation for public sector managers
![Page 3: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/3.jpg)
O que é a teoria da mudança?
A teoria (ou lógica ou modelo)
sobre como uma intervenção (projeto, programa, política, estratégia)
contribui para os resultados pretendidos ou observados
3 Evaluation for public sector managers
![Page 4: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/4.jpg)
Teoria da mudança
Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes:
Teoria da mudança
O processo pelo qual a mudança ocorre (quer no indivíduo, organização ou comunidade)
Teoria da ação Como a intervenção é construída para ativar a teoria da mudança
Algumas definições básicas
![Page 5: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/5.jpg)
Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes:
Teoria da mudança
O processo pelo qual a mudança ocorre (para um indivíduo, organização ou comunidade)
Teoria da ação Como a intervenção é construída para ativar a teoria da mudança
Modelo lógico Uma representação visual de uma teoria de programa, em geral no formato de um diagrama, mas às vezes pode ser uma tabela
Algumas definições básicas
![Page 6: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/6.jpg)
Que tipo de teoria?Qualquer espécie de modelo causal que vincula a intervenção com
determinados resultados
Poderia basear-se em :
Uma teoria formal, embasada na pesquisa (uma teoria com T maiúsuclo), ou
Premissas informais, tácitas, não verbalizadas apoiadas por profissionais (uma teoria com t minúsculo)
A teoria precisa incluir uma explicação sobre como as atividades do programa contribuem para os resultados - e não apenas listar as atividades, seguidas dos resultados, sem qualquer explicação sobre de que modo um se liga ao outro a não ser por algumas setas misteriosas.
![Page 7: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/7.jpg)
Quatro questões importantes ao usar as teorias da mudança na avaliação
1. Articular uma teoria da mudança que seja explícita
2. Ter uma teoria da mudança plausível
3. Apresentar a teoria da mudança com clareza
4. Usar a teoria da mudança na avaliação
7
![Page 8: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/8.jpg)
8
1.Articular uma teoria da mudança
explícita
![Page 9: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/9.jpg)
Análise situacional Teoria da mudança
Teoria da ação Resultados pretendidos
Reprimir (evitar uma interação
negativa)
Gritar Quarto arrumadoCortar a mesada
Incentivo Positivo Entradas para o cinema
Elogios
Programa da teoria da atuação dos pais
![Page 10: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/10.jpg)
Teorias de mudança e teorias de ação para a atuação dos pais
Análise Situacional Teoria da ação teoria da mudança Resultados esperados
Um quarto arrumado
Reprimir - evitar uma interação
negativa
GritarCortar a mesada
Oferecer uma recompensa
(dinheiro, entradas para o cinema) Incentivo Positivo
Elogiar os esforços
![Page 11: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/11.jpg)
Maneiras de representar as teorias de mudança1. Pipeline – insumos-atividades-produtos-resultados-
impactos
2. Cadeia de resultados – uma cadeia de resultados (atividades mostradas separadamente em uma matriz lógica do programa)
3. Coluna Tripla - uma cadeia de resultados com atividades e outros fatores mostrados em colunas separadas
4. Matriz realista
5. Narrativa
11 Evaluation for public sector managers
![Page 12: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/12.jpg)
Modelo lógico de Pipeline
12 Evaluation for public sector managers
![Page 13: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/13.jpg)
Modelo lógico de Pipeline
INPUTSAlunos de
escolas de baixa renda
Laboratório de computação
ComputadoresInstrutores
Informações sobre cursos superiores
PROCESSOCursos de softwares
Apoio ao alunoDesenvolvimento
profissionalAmbiente
universitárioProjetos coletivos
EstágiosParcerias com
escolas de ensino médio
RESULTADOS DE CURTO
PRAZOHabilidades
ConhecimentoAspirações/
confiança
IMPACTOSRealização educacional
Êxito ocupacionalLiderança
comunitária/Modelos a
serem seguidos
Based on : Nelson and Bickel (2003) Infolink Program Teoria,
http://itclass.heinz.cmu.edu/infolink2003/InfoLink03/docs/ProgramTeoria.pdf
13 Evaluation for public sector managers
![Page 14: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/14.jpg)
14
Narrativa da teoria da mudança
O projeto de computação funciona com alunos que possuem alto desempenho acadêmico, vem de comunidades carentes e não têm acesso a computadores.
A medida em que os alunos adquirem habilidades básicas em TI, abrindo oportunidades para estágios, eles desenvolvem uma imagem nova a respeito de seu futuro possível.
Ao mesmo tempo, estão criando uma comunidade solidária de alunos, que abre um espaço seguro para o aprendizado e para elaborar e colocar em prática planos ambiciosos para sua educação e carreira futura.
![Page 15: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/15.jpg)
Modelo lógico da cadeia de resultados
Aumento das habilidades em
computaçãoMelhor desempenho escolar em matérias
tecnológicas Aumento na taxa de inscrições em
cursos sobre computação
oferecidos em universidades
Maior realização ocupacional
Aumento no índice de
graduados com diplomas em computação
Aumento da motivação
Redes sociais solidárias
Conhecimrnto de possíveis opções de
cursos superiores
15 Evaluation for public sector managers
![Page 16: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/16.jpg)
Aumento nas habilidades
em computação
Melhor desempenho
escolar emmatérias
tecnológicas
Aumento da taxa
de inscriçõesem cursos superiores
emcomputação
Maior número de
graduações com
diplomasem
computação
Maiorrealização
ocupacional
Aumento na motivação
Redes sociais solidárias
Conhecimento deopções de
cursos superiores
Modelo lógico da cadeia de resultados
A teoria da ação pode ser abordada em uma matriz lógica
Cursos deverão
Distribuirmateriais,aconse-
lhamento 1:1
Ajuda com as
inscrições
Apoio acadêmico e pessoal
![Page 17: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/17.jpg)
Mostrando atividades numa matriz lógica de programa
O que representa o sucesso
Que atividadescontribuem diretamente para isso
Outros fatoresque dão conta disso
Aumento das habilidades em computaçãoPossíveis indicadores, fontes de dados, comparações
Maior motivação
(Possíveis indicadores, fontes de dados, comparações)
Melhor desempenhoescolar em matériastécnicas
(Possíveis indicadores, fontes de dados, comparações)
17 Evaluation for public sector managers
![Page 18: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/18.jpg)
Matriz da Realidade
Contexto Mecanismo Resultado
Alunos provenientes de ambientes de baixa renda, motivados, com alta competência
Atingir um determinado nível de competência e conhecimento em computação
Matrícula bem sucedida em cursos de computação
Alunos provenientes de ambientes de baixa renda, com dificuldades de aprendizado e/ou problemas de comportamento
Mecanismo não ativado Destino educacional inalterado
18 Evaluation for public sector managers
![Page 19: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/19.jpg)
9
A pesquisa mostra:
Comer uma maçã por
dia melhora a saúde
Como desenhar um projeto
baseado nisto?
Como uma teoria de programa pode melhorar
a nossa avaliação?
19
![Page 20: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/20.jpg)
Funnell and Rogers Purposeful Program Teoria 9
Você tem 10 minutes para desenhar um projeto para melhorar a saúde das pessoas através da “ingestão de
uma maça por dia”
Evaluation for public sector managers20
![Page 21: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/21.jpg)
9
Quais as premissas sobre o que constitui o problema?
Qual a teoria sobre como mudar o comportamento das pessoas (convence-las comer maças)
Qual a teoria sobre como maças iriam fazer você mais saudável?
Evaluation for public sector managers21
![Page 22: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/22.jpg)
10
10
Vitamina CNíveis adequados
de vitamina C
Poderia usar laranjas. tendo como alvo a
deficiência de Vitamina C
Reduzir a incidência de escorbuto
Quercetina Níveis de quercetina aumentados
Poderia usarcebolas roxas.
Reduzir a incidência decancer,
doenças cardiacas e inflamatórias da
próstata
Substituição
Diminuição do consumo de
lanches/alimentos pouco
nutritivos
Poderia usar cenouras
tendo como alvo a obesidade.
Reduzir a incidênciade obesidade e
doenças correlatas
RECURSOS
MaçasPessoas pouco
saudáveis
RESULTADOS
IMEDIATOSMaças
comidas
RESULTADOS DE CURTO PRAZOMelhor estado
nutricional
RESULTADOS DE
LONGO PRAZOSaúde melhor
Entendendo mecanismos causais operando em contextos
Evaluation for public sector managers
![Page 23: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/23.jpg)
Funnell and Rogers Purposeful Program Teoria 9
O que estas diferentes teorias de programa podem significar para o modo como deveríamos descrever
ou mensurar “maças comidas”?
Evaluation for public sector managers23
![Page 24: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/24.jpg)
Múltiplas teorias de mudança e teorias de ação
Informação
Menor consumo dealimentos
não nutritivos
Redução na incidência deobesidade e
doenças correlatas
Anúnciosque promovem o
consumo de maçãs
Impostos mais altos para
alimentos não nutritivos
Regulamentações que restringem os tipos de alimento
vendidos em máquinas automáticas
Substituição
Incentivo
Disponibilidade
Lembretes
Normas Sociais
RESULTADOS DE CURTO PRAZOMelhor estado
nutricional
RECURSOSMaças
Pessoas com saúde precária
RESULTADOS IMEDIATOS
Maças comidas
RESULTADOS DE LONGO
PRAZOSaúde melhor
24 Evaluation for public sector managers
![Page 25: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/25.jpg)
25
2. Ter uma teoria da mudança plausível
![Page 26: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/26.jpg)
26
Análise situacional
• Quais são as necessidades que a intervenção deve dar conta?
• Qual é o problema que a intervenção deve solucionar? O que causa esse problema?
• Em que pontos fortes a intervenção deverá se apoiar?
• Quais as oportunidades nas quais a intervenção deveria capitalizar?
• Quem mais está abordando essa situação? Existem aliados ou opositores em potencial?
• Até que ponto a situação é bem compreendida?
• Até que ponto a situação pode ser mudada?
![Page 27: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/27.jpg)
27
Como pode ser desenvolvida uma teoria de mudança?
Uma combinação de:
Abordagem dedutiva – a partir de pesquisas anteriores, políticas estabelecidas, arquétipos de programas, análises lógicas
Abordagem indutiva – a partir de observações diretas (ou feitas por outras pessoas) sobre como o programa de fato funciona
Articulação dos modelos mentais de pessoas ou grupos interessados (stakeholders) a respeito de como o programa funciona.
![Page 28: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/28.jpg)
Um trajeto conhecido
Linear
Não necessariamente fácil
Simples
What sort de mudança trajectory does your intervention have?
![Page 29: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/29.jpg)
Um trajeto conhecido
Experiência e colaboração necessárias
Complicado
Que tipo de mudança de trajetória sua intervenção possui?
![Page 30: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/30.jpg)
Um trajeto emergente
Adaptabilidade e capacidade de aprender
ao fazer
Complexo
Que tipo de mudança de trajetória sua intervenção possui?
![Page 31: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/31.jpg)
Aproveitando as teorias baseadas em pesquisa
31
The COM-B system - a framework for understanding behaviour.Michie et al. Implementation Science 2011 6:42 doi:10.1186/1748-5908-6-42
![Page 32: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/32.jpg)
32
The Behaviour Change Wheel.Michie et al. Implementation Science 2011 6:42 doi:10.1186/1748-5908-6-42
![Page 33: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/33.jpg)
Algumas teorias de mecanismo causal baseado em pesquisas
MUDANÇA A NÍVEL INDIVIDUAL
• Atribuição (Heider, 1958)• Condicionamento clássico e
condicionamento operante(Pavlov, 1960; Skinner, 1953)
• Dissonância cognitiva (Festinger, 1957)
• Teoria da repressão (Homel, 1988)• Teoria da diversão
(http://www.thefuntheory.com/)• Modelo da crença na saúde
(Rosenstock, 1966; Glanz et al., 2002)
• Modelo PRECEDE-PROCEDE (Green and Kreuter, 2005)
• Auto-eficácia (Bandura, 1997)• Profecia auto-realizada (Merton,
1968)• Aprendizado social (Bandura, 1977)• Teorias de redes sociais e da
solidariedade social (Eng and Young, 1992)
• Treinamento (Kirkpatrick, 1959)
![Page 34: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/34.jpg)
MUDANÇA NO NÍVEL ORGANIZACIONAL
• Groupthink (Janis, 1972)
• Organizational learning (Argyris and Schön, 1978)
• Positive deviance (Pascale, Sternin, and Sternin, 2010)
• Six change approaches (Kotter and Schlesinger,1979)
MUDANÇA NO NÍVLEL DA COMUNIDADE• Bandwagon effect (Bikhchandani, Hirshleifer, Welch, 1992)
• Institutional analysis and development (Ostrom, 2008)
• Social loafing (Karau and Williams, 1993)
• Strength of weak ties (Granovetter, 1973)
• Tipping points (Gladwell, 2000)
• Tragedy of the commons (Hardin, 1968; Senge, 1990; Ostrom, 1999)
Algumas teorias de mecanismo causal baseado em pesquisas
![Page 35: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/35.jpg)
Algumas toerias de mecanismo causal baseadas em pesquisas
• MUDANÇAS DE POLÍTICAS
• Advocacy coalition framework (Sabatier and Weible, 2007)
• Garbage can model (Cohen, March, and Olsen, 1972)
• Incrementalism model (Lindblom, 1959)
• Institutional rational choice (Ostrom, 1999a)
• Multiple streams framework (Zahariadis, 1999)
• Policy diffusion (Berry and Berry, 1999)
• Policy networks (Marsh, 1998)
• Punctuated equilibrium teoria (Baumgartner and Jones, 1993)
![Page 36: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/36.jpg)
Algumas teorias possíveis do mecanismo causal para o desenvolvimento
Mecanismos causais sobre a tecnologia (inclusive práticas comprovadas)Aumentar os incentivos para aplicar a tecnologia existenteRemover barreiras para o acesso efetivo à tecnologiaAdaptar a tecnologia existente para poder ser eficaz em uma situação novaDesenvolver nova tecnologia
Mecanismos causais sobre capacidadeAumentar a capacidade específica para realizar uma função específica (capital humano, capital
social, capital organizacional, capital econômico)Aumentar a capacidade para melhorar a resiliência (especialmente a capacidade das redes
colaborativas)
Mecanismos causais sobre a contribuição para um processo de mudança complicadoPreencher uma lacuna – colocar a última pecinha – “a pecinha que faltava” no quebra-cabeçasRemover um obstáculo (versão ligeiramente diferente de preencher a lacuna): “a pedra no caminho’
Mecanismos causais sobre a governançaRepressão (aumentar os riscos de sanções por comportamento negativo)Aumentar a capacidade (aumentar a habilidade de gerir bem)
Mecanismos causais sobre advocacyDemonstrar a viabilidade e efetividade de uma nova abordagem
![Page 37: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/37.jpg)
Perguntas para extrair dos participantes suas teorias de mudança(Exhibit 6-1 Funnell and Rogers, 2011, Purposeful Program Theory)• Poderia me dar um exemplo de onde esse programa está dando certo?
• Por que escolheu esse exemplo? O que você acha que está fazendo o programa dar certo?
• De que modo a vida seria melhor para os participantes ou o público-alvo, caso o programa funcione?
• Quais são as barreiras atuais que impedem os participantes do programa de terem uma boa vida?
• Como você acha que esse programa vai superar essas barreiras?
• O que há, na maneira como esse programa opera, que poderia tornar a vida melhor para os participantes ou o público-alvo?
• O que o programa atualmente faz que o ajuda a dar certo e o que não faz tão bem?
• O que mais precisa acontecer?
• Quem mais deveria estar envolvido, e como?
• O programa tenta influenciar estas outras pessoas? Em caso positivo, o que você esperaria que eles fizessem de maneira diferente?
![Page 38: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/38.jpg)
Estratégias para garantir uma teoria da mudança adequada
1. Faça uma análise situacional antes de desenvolver a teoria de mudança para um programa novo
2. Use uma diversidade ampla de fontes, inclusive críticos do programa
3. Verifique os fatores atípicos e as exceções, confrontando-os com a teoria de mudança inicial.
4. Aborde os aspectos complicados e complexos da intervenção
38
![Page 39: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/39.jpg)
39 Evaluation for public sector managers
![Page 40: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/40.jpg)
40
3. Represente a teoria da mudança com clareza
![Page 41: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/41.jpg)
Como fazer um bom modelo lógico?
1. Seja lógico e coerente• Cada seta deve ter um significado• Indique o rumo da mudança esperada• Evite becos sem saída
2. Comunique as mensagens principais• Evite excesso de linhas; não use linhas de feedback
indiscriminadamente• Evite padrões excessivamente detalhados (salvo em raros casos)• Elimine tudo o que não acrescenta significado• Garanta a facilidade de leitura• Evite “palavras gatilho” e siglas misteriosas
Rogers Using programa teoria and logic models in evaluation
41
![Page 42: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/42.jpg)
Exemplos ruins de modelos lógicos
Rogers Using programa teoria and logic models in evaluation
42
![Page 43: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/43.jpg)
Exemplos ruins de modelos lógicos
Rogers Using programa teoria and logic models in evaluation
43
![Page 44: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/44.jpg)
Exemplos ruins de modelos lógicos
Rogers Using programa teoria and logic models in evaluation
44
![Page 45: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/45.jpg)
45
4. Use a teoria da mudança para o planejamento,
monitoramento e avaliação
![Page 46: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/46.jpg)
PLANEJAMENTO
1. Planejar/alinhar um novo programa/intervenção com um marco estratégico
MONITORAMENTO E AVALIAÇÃO
2. Monitoramento das correções adicionais feitas pelos gerentes e pelo staff
3. Monitorando para prestar contas aos financiadores e outros stakeholders
4. Avaliação do processo para apoiar a melhoria contínua
5. Avaliação de processo para documentar uma inovação
6. Avaliação do impacto
GESTÃO
7. Proporcionar ao staff, financiadores e clientes uma compreensão comum
8. Informar decisões de investimento
ELABORAÇÃO DE POLÍTICAS E PRÁTICAS BASEADAS EM EVIDÊNCIA
9. Apoiar a replicação
10. Desenvolver a base de evidências através de múltiplas avaliações ou fontes
46
Alguns usos possíveis para a teoria de programa
![Page 47: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/47.jpg)
47
USO DA TEORIA DE PROGRAMA PARA AVALIAÇÃO
Medir e descrever – quais os dados necessários, que análises devem ser feitas?
– Recursos usados
– Processos
– Contexto
– Outros fatores que contribuem
– Resultados (imediatos, intermediários, subsequentes)
Análise Causal
– A intervenção produziu o resultado?
– A intervenção contribuiu para o resultado?
– O que mais contribuiu para o resultado?
Síntese e relatório
– Combinar evidências para uma única avaliação
– Relatar a cadeia de resultados
– Descrever os efeitos diferenciais
– Combinar evidências de diversas avaliações
![Page 48: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/48.jpg)
1. Monitoramento – das correções adicionais feitas pelos gerentes e staff– da prestação de contas perante financiadores e outros
stakeholders
2. Avaliação do processo para – Verificar a aderência (compliance)– Apoiar a melhoria contínua– Documentar uma inovação
3. Avaliação do impacto para – testar um piloto antes de levar o programa à escala– Compreender o valor do programa existente, em larga
escala, e em andamento
4. Sintetize para – Compreender o efeito médio de várias avaliações– Compreender o efeito em contextos diferentes
Maneiras de usar a teoria da mudança para a avaliação
![Page 49: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/49.jpg)
49
Usando uma matriz lógica de programa
Para cada resultado pretendido, identifique:
• O que poderia ser considerado como “sucesso”
• Quais atividades contribuem diretamente para esse resultado
• Que outros fatores parecem contribuir para esse resultado – e se estes podem ser influenciados ou gerenciados de alguma maneira
• As fontes possíveis de evidência
• Como interpretar essas evidências – particularmente, que comparações são adequadas (ex: linha de base, benchmark, padrões, ou objetivos)
![Page 50: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/50.jpg)
Aumento nas habilidades
em computação
Melhor desempenho
escolar emmatérias
tecnológicas
Aumento da taxa
de inscriçõesem cursos superiores
emcomputação
Maior número de
graduações com
diplomasem
computação
Maiorrealização
ocupacional
Aumento na motivação
Redes sociais solidárias
Conhecimento deopções de
cursos superiores
Modelo lógico da cadeia de resultados
A teoria da ação pode ser abordada em uma matriz lógica
Cursos deverão
Distribuirmateriais,aconse-
lhamento 1:1
Ajuda com as
inscrições
Apoio acadêmico e pessoal
![Page 51: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/51.jpg)
A teoria da ação pode ser abordada em uma matriz lógica
Redes sociais solidárias
Maior taxa de inscrições em cursos superiores
O que representa sucesso?
Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações)
Quais atividades contribuem diretamente para isto (se houver)?
Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações)
Que outros fatores incidem? (Controle/influência Interna/externa?)
Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações)
![Page 52: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/52.jpg)
52
Algumas variações de modelos lógicos
Modelos Pipeline
• Modelo “Recursos-Processo-Produtos-Resultados”
• Hierarquia de Bennett
• Adaptação Wisconsin do Modelo Pipeline
• Log frame
• Modelos lógicos circulares
Cadeias de resultados
• Hierarquia de resultados
• Lógica de programa centrada nas pessoas
• Coluna tripla
![Page 53: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/53.jpg)
53
Falha da implementação, da teoria ou foi alguma outra coisa?
Resultado Saúde melhorou
Saúde não melhorou
TOTAL
Maçãs comidas 27 0 27
Maçãs não comidas
3 970 973
TOTAL 30 970 1000
![Page 54: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/54.jpg)
54
Falha da implementação, da teoria ou foi alguma outra coisa?
Resultado Saúde melhorou
Saúde não melhorou
TOTAL
Comeram as maçãs 27 970 997
Não comeram as maçãs
0 3 3
TOTAL 27 973 1000
![Page 55: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/55.jpg)
55
Falha da implementação, da teoria ou foi alguma outra coisa?
Resultado Características dos clientes Maçãs comidas
Maçãs não comidas
TOTAL
Saúde melhorou
Afetados por doenças relacionadas à nutrição
27 0 27
Afetados por outras doenças 0 0 0
Saúde não melhorou
Afetados por doenças relacionadas à nutrição
0 3 3
Afetados por outras doenças 970 0 970
TOTAL 997 3 1000
![Page 56: Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,](https://reader036.vdocuments.com.br/reader036/viewer/2022070311/552fc146497959413d8e112a/html5/thumbnails/56.jpg)
Estratégias para usar a teoria da mudança na avaliação
1.Esclareça o tipo de avaliação
2.Use uma matriz lógica do programa para identificar os dados relevantes a serem coletados
3.Use a teoria da mudança para analisar os dados
56