Ideias centrais e conceitos

Tensões para os usos da avaliação

Condições para os usos da avaliação

Os dilemas para o uso da avaliação no contexto do SUS

Ana Cláudia Figueiró (GEAS-IMIP)

Rio de Janeiro, dezembro 2012

Ideias centrais

2

“…evaluation's most important purpose is not to prove, but to improve.” … o propósito mais importante da avaliação não é provar, mas sim melhorar

(Stufflebeam. CIPP Model, 1999)

“All evaluations have a cost but not necessarily a value. Their value does not depend on their cost but on their use.” Todas as avaliações têm um custo, mas não necessariamente um valor. Seu valor não depende do seu custo, mas do seu uso

(Feinstein, 2002:433)

Ideias centrais

3

Suposição inicial: evidências científicas, produzidas por pesquisas rigorosamente conduzidas a cerca do sucesso ou fracasso de programas, seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando os estudos à implementação de ações de qualidade e aos resultados esperados

Entendimento atual: variados e legítimos aspectos (interesses, valores, motivações, recursos) estão implicados nas decisões políticas e nos usos das avaliações para tomada de decisões

(WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE; MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005)

Pressupostos

4

Avaliação não se traduz automaticamente em ações; como qualquer política ou intervenção, deve ser questionada em relação aos seus objetivos, inserção institucional, custos e conseqüências (positivas e negativas) pelos interessados e envolvidos na intervenção e na avaliação

A avaliação sendo uma intervenção tal como políticas e programas, deve ela mesma ser objeto de avaliação – Meta-avaliação

Meta-avaliação

5

Utilidade: atende as necessidades de informação dos usuários

Factibilidade: realista e moderada nos custos de modo a justificar a sua realização

Propriedade: conduzida eticamente, com respeito ao bem-estar dos envolvidos

Precisão ou acurácia: informa sobre o valor ou mérito dos programas avaliados com a devida validade

Especificidade: adequada ao tratamento da “especificidade das intervenções”

(CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG; FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)

Conceitos: usos e influência da avaliação

6

Modelos de uso (LEVITON; HUGHES, 1981; WEISS, 2005) : uso instrumental, para orientar a política e a práticaconceitual, para gerar novas idéias ou conceitos que

sejam úteis para prover de sentido o cenário políticosimbólico ou político, para justificar preferências e

ações preexistentes

Níveis de influência (KIRKHART, 2000; HENRY E JUNE, 2003): Três dimensões relacionadas a: fonte,

intencionalidade e tempoTrês níveis de influência: individual, interpessoal e

coletivas

Expectativa do avaliador

7

Uso instrumental: uso dos resultados da avaliação para informar a tomada de decisão, preferencialmente no curto prazo (AMARA ET AL, 2004)

Isso acontece??

“O avaliador tem que aceitar que mesmo quando existe comprometimento dos gestores e administradores, conduz o estudo dentro dos propósitos da instituição e de forma metodologicamente competente, finaliza e entrega os resultados dentro do prazo previsto para as decisões e dissemina os achados; ainda assim seus resultados são [podem ser] ignorados” (WEISS, 1998)

Tensões para o uso da avaliação

8

Os diferentes mundos em que parecem viver: (INNVÆR, 2002)

gestores, coordenadores de políticas e programas desconfiam dos pesquisadores e vêm a si mesmo como responsáveis, orientados para ação e pragmáticos

pesquisadores sociais (inclui os

avaliadores) desconfiam dos gestores e vêm a si mesmo como racionais, objetivos e abertos à novas idéias

Tensões para o uso da avaliação

9

Responsáveis pelos programas podem ver a avaliação como:

meio para mudança no status quo;

acarretar perda de poder e controle;

afetar a auto-imagem pela identificação do julgamento da intervenção com um julgamento pessoal (TAUT AND

BRAUNS, 2003)

Podem referir-se a: (WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999)

Questões de qualidade da pesquisa ou da apresentação do conteúdo, com ênfase nos problemas de linguagem

Dificuldade na interação entre os atores: diferentes formações técnicas e culturas políticas geram confronto de experiência e informação científica

Canal de comunicação nos contextos políticos e organizacionais, reforçando o necessário desenvolvimento de capacidade para criar interesses e a competência em estabelecer elos

Dificuldade na condução e tradução das avaliações que tragam respostas para as necessidades dos tomadores

de decisão e contribuam efetivamente para as melhorias sociais

Tensões para o uso da avaliação

Redefinindo Uso (Patton, 2007)

11

Uso é um processo e não um eventoUso envolve preparação e

capacitação, não apenas apresentação dos resultados

Uso envolve acompanhamento e facilitação, não apenas elaboração de relatórios

Para utilizar as avaliações(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009; PATTON, 1997, 2005; WEISS, 1999; MARK; HENRY, 2004)

12

Envolvimento efetivo dos interessados (stakeholders) na avaliação

Ampliar os usos da avaliação requer o envolvimento dos interessados na definição das perguntas, nas estratégias de pesquisa e na contínua comunicação dos resultados

A participação favorece o uso processual, indicado pelas mudanças individuais, de pensamento, comportamento, programáticas ou organizacionais nas práticas e cultura como resultado da aprendizagem que se realiza no processo avaliativo

Para utilizar as avaliações(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009; PATTON, 1997, 2005; WEISS, 1999; MARK; HENRY, 2004):

13

O uso das avaliações não só não acontece naturalmente como precisa ser facilitado, e facilitar o uso é parte fundamental do trabalho do avaliador

(PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004)

Para utilizar as avaliações(TRIPODI; EPSTEIN; MacMURRAY, 1970; THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK; BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al, 2009)

14

Condições requeridas para utilização das avaliações no contexto organizacional:

capacidade de produzir as informações demandadas pela gestão

legitimação institucional da avaliação pelo avaliado: acesso dos avaliadores às lideranças influentes na organização

credibilidade dos avaliadores e qualidade dos estudos

comprometimento dos avaliadores com a continuidade do aprendizado organizacional

tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais

Condições para utilização das avaliações

15

Capacidade de produzir as informações demandadas pela gestão

Qual o estágio em que se encontra o programa? para cada estágio, a necessidade de informação e questão de pesquisa serão diferentes, mas em todos os eles a mesma pergunta é pertinente: o programa deveria ser modificado, substituído ou abolido? (TRIPODI; EPSTEIN; MacMURRAY, 1970)

Estágio inicial tem foco no planejamento do programa: identificação clara do problema, desenho do programa, seleção de recursos materiais, profissionais, tecnologia, clientela…

Estágio de desenvolvimento e oferta dos serviços pelos profissionais à clientela: obstáculos à realização e oferta dos serviços; relevância dos serviços para os clientes; que outros recursos ou serviços locais poderiam ajudar, impedir ou substituir os serviços ofertados

Programa estruturado: reconhecer se está alcançando os resultados esperados

Condições para utilização das avaliações

16

Legitimação institucional da avaliação pelo avaliado acesso dos avaliadores as lideranças influentes na organizaçãoA quem se destina a avaliação? Diferentes grupos envolvidos com o programa e a avaliação terão diferentes interesses e discrepantes valores quanto aos objetivos do programa e da avaliação

aos financiadores interessam a gestão eficiente; aos usuários, o acesso e a qualidade dos serviços; aos gestores, o alcance dos resultados e os ganhos políticos

necessita-se reconhecer o contexto socio-político em que a avaliação tem lugar para que os interesses e valores sejam negociados: quem são os potenciais usuários da avaliação; quais os maiores interessados e potenciais ‘inimigos’ do programa; que representantes dos interessados no programa será envolvido para entendimento sobre os objetivos e critérios da avaliação

Avaliação tem um custo: Primário (monetário); Secundário (tempo e esforço do staff do programa despendido na avaliação)

17

Diferentes interesses e valores entre os envolvidos…

“Algum dia esperamos ter um banco de dados nacional contendo registros médicos de todos as pessoas e que possa ser tão prontamente acessível quanto um hospital, Johnny”“Eu espero apenas um pouco mais de privacidade”

Condições para utilização das avaliações

18

Credibilidade dos avaliadores e qualidade dos estudos

Quem deveria conduzir a avaliação? qual a competência requerida para realizar avaliações rigorosas? os avaliadores estão disponíveis e interessados em realizar a avaliação?Requer identificar os interesses e motivações dos avaliadores:

quais os valores (ou preferências ) dos avaliadores em relação ao programa? eles estão comprometidos com os gestores?

qual a expertise (metodológica) do avaliador?

“Diferentes desenhos de avaliação são, em parte, função dos valores dos avaliadores” (TRIPODI; EPSTEIN; MacMURRAY, 1970 p.854)

Condições para utilização das avaliações

19

Comprometimento dos avaliadores com a continuidade do aprendizado organizacional

Tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais

EnvolveEnvolve

Preparação Feedback Acompanhamento Disseminação

estar pronto para usar os achados da avaliação

comunicação que ocorre entre todos os envolvidos na avaliação

suporte necessário aos usuários quando receberem os resultados da avaliação e começarem a checar e a justificar suas conclusões

comunicação dos processos de avaliação ou lições aprendidas ao público relevante de modo imparcial e consistente

1. Preparação

fortalecer a capacidade de traduzir conhecimento novo em ação discutir como os achados podem afetar a tomada de decisão explorar implicações positivas e negativas dos resultados potenciais identificar diferentes opções de melhoria do programa

2. FeedbackPode ser obtido das partes interessadas por meio de discussões durante cada etapa da avaliação, dividindo de forma rotineira achados intermediários, interpretações provisórias e minutas de relatórios

3. Acompanhamento

lembrar os usuários dos usos propostos e das lições aprendidas ajudar a prevenir o mau uso dos resultados assegurando que a evidência seja aplicada às questões que eram o foco central da avaliação prevenir que as lições aprendidas se tornem perdidas e ignoradas no processo de tomada de decisões complexas ou políticas

4. Disseminação

O planejamento de comunicações eficazes exige: discussão da estratégia de relato com potenciais usuários e outras partes interessadas consideração do timing, estilo, tom, fonte de mensagem, veículo e formato dos produtos de informação

EnvolveEnvolve:

Oportunidade

Os achados podem e devem ser apresentados a medida que as evidências se apresentam – relatórios preliminares: ajuda a construir confiança entre os envolvidos e favorece a construção de capacidade avaliativa

Utilizar diferentes formas de apresentação dos resultados: ilustrações e exemplos; primar pela qualidade gráfica, com uso de imagens, gráficos e cores

Apresentar o conjunto das respostas às perguntas inicialmente formuladas no relatório final

Atender os prazos acordados no TDR do estudo

Comunicações efetivasComunicações efetivasProduza mensagem voltadas para

audiênciaEvite jargões e termos técnicosSeja claro, concisoUse voz ativaSeja preciso, equilibrado, imparcialSeja oportunoUse gráficos, citações, fotografias,

histórias reais(Consulte um especialista de

comunicação)Verifique a redação, gramáticaEscreva – reescreva – reescrevaBuilding Capacity in Evaluating Outcomes

Unit 7: Using your evaluation − Communicating, reporting, improving

MitosMitos

Um relatório é suficientePessoas lêm relatórios escritosAnálises complexas e belas palavras

impressionam as pessoasRelatórios orais têm o mesmo efeito que

relatórios escritosDescrever as limitações do estudo enfraquece

o relatórioTudo deveria ser relatadoA audiência saber o porquê ela está recebendo

o relatórioBuilding Capacity in Evaluating OutcomesUnit 7: Using your evaluation − Communicating, reporting, improving

Obrigada!

26

Configurando o debate sobre a utilização da avaliação

Desafios para o uso da avaliação

27

Embora os problemas de tradução ou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras… pontes deveriam ser construidas… mas está sempre faltando conhecimento sobre onde…como, ou por quem (TROSTLE, 1999 p.103;112).

“Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência” (LATOUR 2001, p.31)

A circulação dos eventos da avaliação configurando seus usos

28

Num processo de aprendizado social pesquisadores, implementadores e usuários aprendem a partir de experiências e interações

Princípios da teoria da tradução poderão facilitar uma melhor compreensão dos elementos, elos e pontes entre esses vários mundos, em sua dinâmica mútua e contínua (HARTZ, 2008)

O elemento central é a rede sociotécnica: teia de atuantes (humanos e não humanos) ligados entre si numa cadeia onde interagem conhecimento, aparatos e capacidade técnica, mediações, ações (CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)

A circulação dos eventos da avaliação configurando seus usos

29

No interior das redes sociotécnicas processam-se as traduções entre fatos científicos e ações

As traduções ocorrem por meio de negociações entre os atuantes

Produz-se um novo conhecimento a partir do entendimento entre diferentes perspectivas e argumentos

Emergem novas proposições para ação, fruto do alinhamento de interesses e objetivos que integram e dialogam com as divergências

(CALLON; LATOUR, 1991 apud POTVIN, 2007)

Circulação dos fatos da avaliação

30

Na perspectiva de circulação dos fatos científicos, os usos da avaliação se inserem num processo de tradução:

As cadeias de tradução se referem ao trabalho pelo qual os atores modificam, deslocam e traduzem os seus interesses diversos e contraditórios

A referência circulante, produzida com os deslocamentos de atuantes, qualifica a cadeia de transformações: problematizam, interessam, envolvem e mobilizam

Quando as controvérsias entram em cena, o resultado é um entendimento maior e mais amplo para os programas de ação e minimização de reações

TIPOS DE INFLUÊNCIA

FontesProcessosResultados

IntençãoPrevistaInesperada

MomentoImediatoCiclosLongo prazo

IndividualAtitudes

Habilidades

Condutas

InterpessoalPersuasãoLideranças

OpiniõesNormas sociais

ColetivoAgenda Política Aprendizagem Organizacional

Melhorias sociais

NÍVEIS DE INFLUÊNCIA

MODELOS DE USO

InstrumentalPolítica ou SimbólicaConhecimentos Novos

MODOS DE PRODUÇÃO DO CONHECIMENTO

DisciplinarContextual

31

COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO

Historicidade (Contexto-Tempo): múltiplas linhas de evidênciasKirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999

AV

ALIA

ÇÃ

O C

OM

FO

CO

NA

UTIL

IDA

DE

1.Mobilização(instrumentos)

2.Autonomização(colegas)

3.Alianças(aliados)

4.Representação pública

5.Nós e vínculos

Circulação dos fatos da avaliação

A metáfora de um sistema circulatório dos fatos científicos, progressivamente articulados e mobilizados (referência circulante) em processos de aprendizagem social de institucionalização e politização (alianças e representações públicas), alimenta os circuitos vitais do sistema com o conhecimento e inovações desejáveis (HARTZ, 2008)

32

33

Na prática...

Sistematização dos achados

Revisão e Síntese da literatura

Apresentação e discussão dos achados com os envolvidos no PNCD

Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão

Ficha síntese de produção técnica e científica

Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa

Revisão das iniciativas de capacitação de médicos SES (Estado 1)

Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS

Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS

Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional

Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional

Discussão e recomendações para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avaliação do Projeto Unidade Sentinela

Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço

Momento Imediato Múltiplas fontes de evidências Momento de médio prazo

Realização do 1º Seminário Internacional de Avaliação do PNCD

Painel de experts: apreciação de lacunas e avanços no programa e avaliação

5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade

Análise Lógica do PNCD

Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS

Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto

Elaboração do Projeto de Avaliação

HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos, influências e conseqüências da avaliação do PNCD

34

Sistematização dos achados

Revisão e Síntese da literatura

Apresentação e discussão dos achados com os envolvidos no PNCD

Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão (MEDIADOR)

Ficha síntese de produção técnica e científica

Realização do 1º Seminário Internacional de Avaliação do PNCD

Painel de experts: lacunas e avanços no programa e avaliação

5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade

Análise Lógica do PNCD

Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS

Elaboração do Projeto de Avaliação

HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD

2007 2007 2008 2008

35

Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa

Revisão das iniciativas de capacitação de médicos SES (Estado 1)

Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS

Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS

Uso dos óbitos investigados como casos clínicos p/ capacitação de médicosElaboração de material instrucional

Teste do instrumento de investigação de óbito pelo NEPI de

Hospital Geral: validação operacional

Discussão e recomendações para os diversos envolvidos:

profissionais, gerentes, coordenadores da SES –

avaliação do Projeto Unidade Sentinela

Apresentação e discussão com chefias e profissionais dos

setores relacionados aos óbitos investigados, com

encaminhamentos de mudança de condutas no serviço

Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto

HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD

2008

36

Resultados

37

EVENTOS E INSCRIÇÕES SEGUNDO OS EIXOS DE USOS E INFLUÊNCIA DAS AVALIAÇÕES

Modos de produção do conhecimento

Modelos de uso da avaliação

Avaliação com foco na utilidade

Tipos e níveis de influência da avaliação 

Os estudos realizados no processo de avaliação do PNCD considerados para o presente artigo adotaram o Modo 2 de produção do conhecimento (contextual) Eventos: (a) e (b)  

InstrumentalEventos: (d), (e) e (f)Inscrições: (1),(7), (8),(10), (13)

Eventos: (b); (d) Inscrições: (2), (3), (4), (5), (6),(7), (8),(9), (11), (12)

Momento- Imediato: (b), (c), (4), (8), (10)- Ciclos: (6), (14)- Longo:

IndividualInscrições: (5) 

Fonte- Processo: (b), (5), (6), (7), (10)- Resultado: (f), (4), (13)

InterpessoalEventos e inscrições: (d), (2), (10), (14)  

ConceitualEventos: (b)Inscrições: (6), (10)

Simbólico

Intenção- Prevista: (d), (f), (7)- Inesperada: (8)

Coletivo 

INSCRIÇÕES COMO REPRESENTAÇÃO DOS PROCESSOS DE CIRCULAÇÃO DOS FATOS PRODUZIDOS NAS AVALIAÇÕES Mobilização (1), (9), (12)

Interesse(3), (5), (10), (11) 

Alianças(2), (7)

Representação Pública(8), (13)

Nós e Vínculos(4), (6), (14)38

Obrigada!