avaliaÇÃo de desempenho - colóquio | colóquio...

65
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa Maria Margareth Mainhardt Carpes [email protected]

Upload: vuthuy

Post on 19-Jul-2018

215 views

Category:

Documents


0 download

TRANSCRIPT

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Maria Margareth Mainhardt Carpes

[email protected]

Aula 11

Apresentar o conceito de

Teoria do Programa

Apresentar os elementos da

Teoria como formas para a

avaliação

Objetivos

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Coleta sistemática de informações sobre ações,

características e os resultados de um programa,

definição de padrões de qualidade e

identificação [...] de critérios,

passíveis de serem defendidos publicamente, para determinar o

valor (mérito e relevância), a qualidade, utilidade, efetividade

ou importância do programa sendo avaliado em relação aos

critérios estabelecidos,

gerando recomendações para melhorar o

programa e as informações para prestar contas

aos públicos interno e externo.

Chianca et al (2001, p. 16), a partir de Worthen et al (1997)

1.1 Considerações sobre a AVALIAÇÃO

1. Revisão Conceito AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

2.1 Qualitativa, quantitativa (KENDALL, KNAPP e FORDER, 2006) e mista

2. Revisão Tipos

Qualitativa Quantitativa

Análise

Instrumentos

Critérios

Metodologias construtivistas e

participativas

Subjetivos

Racional

Ferramentas e conceitos modelados nas

ciências naturais de tradição positivista

Especificados e objetivos

Subjetiva

MÉTODOS MISTOS:

“a integração inteligente de ambos os

métodos [...] num único estudo avaliatório

tem agora a aceitação tão grande que parece

que o debate perdeu o sentido. [...] a maioria

dos estudiosos de avaliação acha que usar

ambos [...] faz com que esta (avaliação) se

torne mais completa”

WORTHEN, SANDERS e FITZPATRICK (2004)

ABORDAGENS MULTICRITÉRIO

(QUANTI E QUALITATIVOS)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Melhoria

2.2 Avaliação formativa x avaliação somativa (SCRIVEN, 1967)

2. Revisão Tipos

Fornece à equipe informações

visando à estruturação/melhoria do

programa, a partir de FEEDBACKs a

alimentar um ciclo virtuoso de

aperfeiçoamento)

Avaliação formativa Avaliação somativa

Fornece aos decisores e consumidores

julgamentos de valor/mérito do

programa em relação a critérios, visando

à decisão de continuidade/suspensão do

programa, a partir de MEDIÇÕES

Uso

Público

Quem faz

Foco

Medidas

Freq Coleta Dados

Amostra

Decisores e equipe

Avaliadores internos (apoio ext.)

Informações

Podem ser subjetivas

Frequente

Em geral pequena

Continuidade ou adoção/escolha (consumid.)

Decisores

Avaliadores externos (apoio int.)

Evidências

Objetivas

Não frequente

Em geral grande

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

2.3 Avaliação interna x avaliação externa (SCRIVEN, 1967)

2. Revisão Tipos

Realizada por

avaliador INTERNO ao

programa/organização

Avaliação interna Avaliação externa

Quem realiza

Vantagens

Desvantagens

Maior conhecimento do programa

Visão distorcida ou viciada

Dependência adm.-financeira

Tendenciosidade das informações

Pessoa externa ao ambiente

Visão imparcial

Independência adm.-financeira do progr.

Menor conhecimento do programa

Pessoa interna ao ambiente

Realizada por

avaliador EXTERNO ao

programa/organização

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

2.4 Combinação dos papéis da avaliação (SCRIVEN, 1967)

2. Revisão Tipos

1

FORMATIVA

interna

3

SOMATIVA interna

2

FORMATIVA

externa

4

SOMATIVA externa F

orm

ati

va

Som

ati

va

Interna Externa

Mais comuns

Legenda:

MELHORIA DECISÃO

FORMATIVA SOMATIVA

Avaliador

interno

conhece

melhor o

processo

Porém!

Pelo

entusiasmo

ou interesses

diversos,

pode ser

tendencioso!

Avaliador

externo

tende a

ignorar

influências

diversas na

avaliação

Porém!

não

conhece

tão bem

processo

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3.1 Contextualização

3. Revisão Serv/Impacto

A gestão de resultados na ação pública pode ser feita por dois critérios:

a) Serviços oferecidos mais fácil de se compreender

a) Impactos sobre o usuário Aprecia a mudança social trazida

pela ação empreendida pelo programa.

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Serviços prestados:

todos os bens e serviços produzidos pelo governo

(ou por outras organizações em seu nome)

a indivíduos ou organizações externas

3.2 Serviços Prestados

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3. Revisão Serv/Impacto

Checklist para identificar

serviços prestados: a. Deve ser prestado a clientes

externos

b. Deve ser identificado e descrito

c. Deve ser definido em termos de ações

d. Deve ajudar na realização de impactos

e. Deve haver controle ou influência pelas autoridades responsáveis

3.2 Serviços Prestados

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3. Revisão Serv/Impacto

f. Deve fornecer informações que auxiliam as decisões do governo

g. Deve ser comparável aos serviços prestados por outros prestadores

3.2 Serviços Prestados

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3. Revisão Serv/Impacto

3.3 Impactos

Impactos:

Mudanças “duradouras e sustentáveis” produzidas nos

beneficiários por meio de ações sociais tecnicamente

consistentes, realizadas com envolvimento dessas pessoas.

(Armani, 2006)

Mudanças significativas nas vidas das pessoas, ocasionadas por uma

ação ou série de ações

(Oxfam apud Roche, 2002)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3. Revisão Serv/Impacto

4.1 Impactos

Análise sistemática das

mudanças significativas nas vidas das pessoas,

ocasionadas pelas ações

empreendidas. Roche (2002)

Estudo sobre se o programa

atingiu ou não os efeitos pretendidos.

Weiss (1998)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3. Revisão Serv/Impacto

3.4 Serviços x Impactos

Enquanto os serviços entregues aos participantes de um programa são descritos

simplesmente como “serviços”,

impactos devem ser relacionados aos benefícios

obtidos por esses participantes ao receberem o serviço.

Rossi et al. (2004)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

3. Revisão Serv/Impacto

4.1 Stufflebeam (apud Worthen et al., 2004)

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

O foco da avaliação é definido

discutindo-se com quem solicitou a avaliação

Financiador, cliente, interessados ou público-alvo

o que se pretende fazer na avaliação, os

limites e o contexto da avaliação

Além disso, começa-se a identificar e

selecionar perguntas e critérios de avaliação

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4.1 Stufflebeam (apud Worthen et al., 2004)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

A coleta de informações segue um

planejamento baseado na determinação de

quais informações podem ser utilizadas para

responder cada uma das perguntas definidas

durante a fase de focalização da avaliação

Diferentes desenhos avaliatórios levarão a diferentes

necessidades de informação.

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4.1 Stufflebeam (apud Worthen et al., 2004)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

É preciso considerar quais são as fontes

apropriadas de informação, os métodos e

instrumentos mais adequados para a coleta,

bem como definir as condições apropriadas

para a realização dessa atividade.

Quem coleta, como coleta, e quando coleta as informações

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4.1 Stufflebeam (apud Worthen et al., 2004)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

As etapas de organização, análise e interpretação das

informações são tratadas conjuntamente por Worthen et al.

(2004).

Nessas etapas, é preciso definir as técnicas

de análise de dados, bem como os meios

para realizá-la

A interpretação dos dados deve ser feita de

acordo com as necessidades do

cliente da avaliação, consultando-o

para verificar de que maneira ele os

interpreta

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4.1 Stufflebeam (apud Worthen et al., 2004)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Na apresentação das informações, é preciso avaliar a forma adequada para apresentar o

relatório, de acordo com o público que utilizará a avaliação

Devem ser apresentadas: informações necessárias para responder as perguntas abordagem de coleta fontes de informação métodos e formas de coleta de dados procedimentos de análise e interpretação de dados e de

redação do relatório.

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4.1 Stufflebeam (apud Worthen et al., 2004)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Por fim, fazer um

plano de gestão da avaliação O plano de gestão: indicará quem irá gerenciar a equipe servir de ligação com clientes e stakeholders identificar e lidar com influências políticas.

Numa formulação mais completa, o

autor propõe seis atividades:

1. Focar a avaliação

2. Coletar informações

3. Organizar informações

4. Avaliar informações

5. Apresentar informações

6. Administrar a avaliação

4.1 Stufflebeam (apud Worthen et al., 2004)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

A metodologia proposta pelo autor

envolve sete etapas: 1. Decidir o foco da avaliação Quais fatores compõem o processo de avaliação

2. Formar equipe

3. Identificar interessados, perguntas e indicadores

Definir quem tem interesse no programa, quais perguntas orientam a avaliação e quais são os indicadores de resultado

4.2 Marino (2008)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

4. Levantar informações Identificar fontes, escolher métodos e

instrumentos de coleta de informações e

treinar a equipe

5. Analisar fatos e informações

6. Definir relatório e formas de

divulgação dos resultados

7. Definir as formas de utilização dos

resultados

4.2 Marino (2008)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

FOCO

FORMAÇÃO

DA EQUIPE

GRUPOS

INTERESSE

LEVANTAM.

INFO.

ANÁLISE

DE DADOS

RELATÓRIO

E DIVULGAÇÃO

DISSEMINAÇÃO

CONHECIMENTO

Objetivo, tipo de avaliação,

responsável e atribuições

Definição dos avaliadores

Beneficiários, patrocinadores e

outros interessados

Quanti e qualitativamente

Sistematização e análise

(especialista)

Conclusões e

recomendações por grupo

Para potencializar resultados e contribuir

para sua sustentabilidade/ permanência

4.2 Marino (2008)

4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

4.3 Atividades (OPERACIONAL) do planejamento da avaliação 1. Definição do tipo de questões que serão perguntadas

2. Definição do prazo de avaliação (curto ou longo)

3. Opção por um estudo qualitativo ou por um quantitativo

4. Definição do design da avaliação

Quais grupos serão estudados, quantos

elementos em cada grupo, como serão

selecionados, intervalos temporais de estudo,

tipos de comparações planejados

5. Opção por um só estudo ou por

diversos em seqüência.

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

4. Revisão Metodologia

1. Aquisições

2. Custo

3. Qualidade

4. Comunicação

5. Recursos humanos

6. Tempo

7. Escopo

8. Integração

9. Riscos

4.3 Atividades (OPERACIONAL) do planejamento da avaliação

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

4. Revisão Metodologia

Elementos concretos que medem o sucesso ou o fracasso da ação em termos dos resultados operados

São observáveis na realidade e

orientam a escolha dos métodos de coleta de dados durante a avaliação

5. Revisão Indicador

5.1 Conceito - Marino (2003)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

1. Operacionais

Indicam se os recursos foram disponibilizados em

quantidades, forma e momentos adequados às

necessidades do programa

2. Desempenho

Sinalizam se os resultados planejados foram alcançados, a

partir dos objetivos definidos

3. Efetividade Indicam efeitos dos resultados da ação sobre os

beneficiários ou usuários, como mudanças na qualidade

de vida, no comportamento e nas atitudes

4. Impacto Definem resultados de prazo mais longo e maior

alcance, em termos de objetivos de políticas sociais de

maior complexidade e abrangência. São normalmente

indicadores indiretos

5. Revisão Indicador

5.2 Tipos – Armani (2006)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

1. Validade Devem ser adequados à dimensão que está

sendo medida

2. Confiabilidade Devem ter objetividade e precisão

3. Significado Devem ter relação com a missão, as metas e

os resultados de um programa

4. Equilíbrio e abrangência Devem incluir todas as dimensões relevantes

de performance (produtos, impactos, satisfação do consumidor, qualidade do serviço), evitando privilegiar um em detrimento do outro

5. Revisão Indicador

5.3 Características – Marino (2003)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

5. Clareza com relação à direção Devem indicar quais os melhores resultados

esperados (foco no objetivo, sempre “no positivo”, p. ex.: uma percentagem maior de analfabetos é um resultado negativo, já uma taxa maior de matrículas, um resultado positivo)

6. Oportunidade e relação com a ação Devem estar disponíveis quando são mais

necessários e estar relacionados com a ação do programa

7. Resistência ao deslocamento Devem ser descritos de modo a evitar que haja

tendência dos gerentes de deslocarem sua atenção para os resultados obtidos pelos indicadores, desprezando os objetivos

8. Custo-efetividade

Devem ser definidos pela equipe de avaliação

em conjunto com gerentes e especialistas de maneira consensual!

5. Revisão Indicador

5.3 Características – Marino (2003)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

CONCEITO VARIÁVEIS INDICADORES

Preparação de profissionais para

trabalhar como técnicos em computação

Aulas de informática

Domínio de conhecimentos

Profissionais formados

% de aulas práticas

Desempenho em testes na área

% de alunos formados no

curso

Propõe transformar os conceitos em indicadores através da definição de variáveis

Exemplo: Preparação de profissionais para trabalhar como técnicos em computação

5. Revisão Indicador

5.4 Construção – Armani (2006)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Indicadores devem ser SMART! Specific (específico) Nada geral ou vago, mas prático e concreto

Measurable (mensurável) Responde às perguntas: quantos, quanto, em que medida?

Achievable (alcançável) Há recursos humanos e materiais suficientes?

Realistic (realista) É viável? É possível fazer?

Time-bound (com prazo determinado) Quais são as datas limite para alcançar os objetivos?

5. Revisão Indicador

5.5 Dica!

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

6. Revisão BSC

6.1 Balanced Scorecard – BSC

Objetivo:

Tradução da visão de futuro da

organização em objetivos estratégicos

correlacionados entre si, abrangidos por

quatro perspectivas:

Financeira

Mercadológica

Interna (processos)

Aprendizado e crescimento

Há o alinhamento de iniciativas com a estratégia da

organização em um processo de feedback e

aprendizado contínuo

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Criado por David Parmenter (2007), para:

auxiliar a tomada de decisão nas

organizações por meio de indicadores que

mensurem aspectos essenciais para o

sucesso da organização e sua

permanência.

São mais importantes do que os

de resultados, pois se referem a

processos e atividades que podem ser

modificadas para atingir o resultado

Perfazem 10% dos indicadores de uma organização!

7. Revisão KPI

7.1 Conceito KPI: key performance indicator

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

1. Não se expressam em

unidades monetárias

2. São calculados com

freqüência, ou seja, em

bases diárias

3. Ações para melhorá-los são

empreendidas pela alta

direção da organização

7. Revisão KPI

7.2 Características KPI: key performance indicator

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

4. Todo o staff da organização deve

compreender o indicador e as

ações necessárias para corrigir

eventuais problemas

5. A responsabilidade pelo indicador

cabe a indivíduos ou equipes

6. Possuem impactos significativos

sobre fatores críticos de sucesso

7. Geram impactos positivos sobre

outras medidas de desempenho

(PARMENTER, 2007).

7. Revisão KPI

7.2 Características KPI: key performance indicator

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Identificar fatores

críticos de sucesso

Para determiná-los, é preciso

definir quais aspectos são

fundamentais para a

sobrevivência de uma

organização,

como o apoio político, a existência de

pessoal capacitado para a prestação de

serviços, a garantia de um fluxo

orçamentário, as relações com a

comunidade, e assim por diante

7. Revisão KPI

7.3 Ponto Chave!

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Gestão orientada por resultados

Estrutura os fluxos de recursos,

as atividades dos programas e o uso da informação não para os processos, como é normal nas atividades governamentais, mas para os resultados

8. Gestão por Resultados

8.1 Wholey (1983)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

OBJETIVOS

9.1 Classificação segundo WORTHEN, SANDERS e FITZPATRICK (2004)

ADMINISTRAÇÃO

ESPECIALISTAS

ADVERSÁRIOS

CONSUMIDORES

PARTICIPANTES

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

Proponentes

Finalidade

Características

Usos no passado

9.2 Abordagem da avaliação centrada em OBJETIVOS

Tyler

Provus

Metfessel e Michael

Hammond

Definir objetivos mensuráveis

Usar instrumentos objetivos para coleta de

dados

Procurar discrepâncias entre objetivos e

desempenho

Determinar o grau em que os objetivos foram

alcançados

Desenvolvimento de programas

Supervisão de resultados

Estimativa de necessidades

OBJETIVOS

Poham

Taba

Bloom

Talmage

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Contribuições à conceituação Critérios para julgar as avaliações

9.2 Abordagem da avaliação centrada em OBJETIVOS

Vantagens Limitações

Fácil de usar

Foco nos resultados

Grande acessibilidade

Obriga à definição dos objetivos

Simplificação exagerada da avaliação e dos

programas

Voltada exclusivamente aos resultados

Reducionista

Mensuração do desempenho antes e depois

Esclarecimento dos objetivos

Uso de testes de objetivos e mensurações

tecnicamente sólidos

Mensurabilidade dos objetivos

Mensuração da confiabilidade e da validade

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Proponentes

Finalidade

Características

Usos no passado

9.3 Abordagem da avaliação centrada em CONSUMIDORES

Scriven

Komosk

Usar listas de verificação de critérios para

analisar produtos

Testar produtos

Informar consumidores

Dar informações sobre produtos

Ajudar na tomada de decisões sobre compras

ou escolhas de serviços

Relatórios ao consumidor

Desenvolvimento de produtos

Seleção de produtos para distribuição

CONSUMIDORES

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

9.3 Abordagem da avaliação centrada em CONSUMIDORES

Contribuições à conceituação Critérios para julgar as avaliações

Vantagens Limitações

Ênfase nas necessidades de informação do

consumidor

Influência sobre os criadores de produtos

Preocupação com a relação custo-benefício e

utilidade

Existência de listas de verificação

Custo e falta de financiamento

Pode suprimir a criatividade ou a inovação

Não é aberta ao debate nem ao exame de

pontos de vista contrários

Listas de critérios para avaliar produtos e

atividades educacionais

Referências a arquivos de estudos finalizados

Papel formativo e somativo da avaliação

Controle da tendenciosidade

Eliminação da tendenciosidade

Solidez técnica

Critérios usados para tirar conclusões e fazer

recomendações

Evidência da necessidade e efetividade

requeridas

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Proponentes

Finalidade

Características

Usos no passado

9.4 Abordagem da avaliação centrada em ESPECIALISTAS

Eisner

Grupos de acreditação

Basear juízos em conhecimentos e

experiência individual

Usar padrões de consenso

Visitas à equipe/localidade

Oferecer julgamentos profissionais de

qualidade

Auto-avaliação

Exame de acreditação feito pelo comitê

Crítica

ESPECIALISTAS

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Contribuições à conceituação Critérios para julgar as avaliações

9.4 Abordagem da avaliação centrada em ESPECIALISTAS

Vantagens Limitações

Cobertura ampla

Eficiência: fácil implementação e

pogramação

Capitaliza o juízo humano

Reprodutibilidade

Vulnerabilidade a preferências pessoais

Escassez de documentação-base para conclusões

Aberta ao conflito de interesses

Visão superficial do contexto

Uso exagerado da intuição

Confiança na qualificação dos ”especialistas”

Legitimação da crítica subjetiva

Auto-avaliação com verificação externa

Padrões

Uso de padrões reconhecidos

Qualificações dos especialistas

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Proponentes

Finalidade

Características

Usos no passado

9.5 Abordagem da avaliação centrada em ADVERSÁRIOS

Wolf

Owens

Levine

Kourilsky

Usar audiências públicas, pontos de vista

contrários

Decisões baseadas em argumentos ouvidos

durante o processo

Oferecer um exame qualificado de todos os

lados de questões controvertidas, sublinhando

tanto seus pontos fortes quanto seus pontos

fracos

Exame de questões ou programas controversos

ADVERSÁRIOS

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Contribuições à conceituação Critérios para julgar as avaliações

9.5 Abordagem da avaliação centrada em ADVERSÁRIOS

Vantagens Limitações

Cobertura ampla

Exame das declarações

Dirigida ao fechamento ou à resolução

Lança luz sobre os diferentes lados das questões

Impacto sobre o público

Uso de grande variedade de informações

Árbitros ou juízes falíveis

Elevados custos potenciais e consumo de tempo

Dependência da capacidade de investigação e

de comunicação dos apresentadores

Irrelevâncias potenciais ou polarização artificial

Limitada às informações que serão apresentadas

Uso de formas forenses e judiciais de

audiências públicas

Reexame completo da evidência

Apresentação integral de múltiplas

perspectivas

Foco nas questões e no seu esclarecimento

Equilíbrio

Equidade

Publicidade

Oportunidade de verificar pontos de vista

contrários

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Proponentes

Finalidade

Características

Usos no passado

9.6 Abordagem da avaliação centrada em PARTICIPANTES

Stake

Patton

Guba e Lincoln

Rippey

Refletir sobre realidades múltiplas

Usar o raciocínio e a conclusão indutivos

Experiência do local em primeira mão

Compreender e retratar as complexidades de

uma atividade programática, respondendo às

necessidades de informação de determinado

público

Exame de inovações ou mudanças sobre as

quais pouco se sabe

Etnografias de programas em curso

MacDonald

Parlett e Hamilton

Cousins e Earl

PARTICIPANTES

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Contribuições à conceituação Critérios para julgar as avaliações

9.6 Abordagem da avaliação centrada em PARTICIPANTES

Vantagens Limitações

Foco na descrição e no julgamento

Interesse pelo contexto

Abertura para desenvolver plano de avaliação

Pluralista

Uso de raciocínio indutivo

Uso de grande variedade de informações

Ênfase na compreensão

Não é diretiva

Tendência a ser atraída pelo bizarro ou atípico

Pode ser intensiva em termos de mão-de-obra

Pode ter custos elevados

Generalização de hipóteses

Risco de não se chegar ao fechamento

Planos de avaliação emergentes

Uso de raciocínio indutivo

Reconhecimento das múltiplas realidades

Importância de estudar o contexto

Critérios para julgar o rigor da investigação

naturalista

Credibilidade

Adequação

Auditabilidade

Confirmabilidade

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Proponentes

Finalidade

Características

Usos no passado

9.7 Abordagem da avaliação centrada em ADMINISTRAÇÃO

Stufflebeam

Alkin

Provus

Ajudar na tomada de decisão racional em

todos os estágios de criação do programa

Dar informações úteis

Ajudar na tomada de decisões

Desenvolvimento de programas

Sistemas administrativos institucionais

Planejamento de programas

Prestação de contas

ADMINISTRAÇÃO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Contribuições à conceituação Critérios para julgar as avaliações

9.7 Abordagem da avaliação centrada em ADMINISTRAÇÃO

Vantagens Limitações

Abrangência

Sensibilidade às necessidades de informação

daqueles que ocupam posições de liderança

Abordagem sistemática ao longo de todo o

processo de desenvolvimento do programa

Bem operacionalizada, com orientações

detalhadas de implementação

Uso de ampla variedade de informações

Ênfase na eficiência operacional e no modelo

de produção

Premissas de ordem e previsibilidade na

tomada de decisões

Pode ser cara para administrar e manter

Foco estreito nas preocupações dos líderes

Identificar e avaliar necessidades e objetivos

Considerar planos alternativos e avaliá-los

Supervisionar a implementação de um programa

Procurar defeitos e explicar resultados

Verificar se necessidades foram reduzidas/elimin.

Meta-avaliação

Orientações para institucionalizar a avaliação

Utilidade

Viabilidade

Propriedade

Solidez técnica

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

9. Revisão Abordag. Aval.

Conjunto de proposições a respeito de

como um programa social se

relaciona com os benefícios

sociais que se espera que

venha a produzir,

bem como a estratégia e as táticas que

o programa adota para alcançar seus

objetivos e metas

10.1 Rossi et al (2004)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

O avaliador constrói um

modelo teórico dos recursos

do programa, de seus

processos e de seu produto,

desenvolve medidas desses

elementos, recolhe e analisa dados

sobre o programa, produzindo uma

avaliação abrangente

10.2 Shadish et al (2004)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

Cada ação social é construída

por uma ou mais proposições

teóricas de causa e efeito, que

definem o funcionamento do

programa

EXEMPLO:

Um programa de combate ao uso abusivo

do álcool

Trabalha com a suposição de que as pessoas que

freqüentem as sessões de aconselhamento mudarão seu

comportamento e deixarão de beber em demasia.

10.3 Processo de construção – CONCEITO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

Porém, nem sempre essas

suposições, por mais lógicas que

pareçam, são verdadeiras!

É preciso construir uma

teoria válida, o que deve ser

feito a partir de algumas etapas,

descritas a seguir

Estimativa de avaliabilidade

10.4 Processo de construção – PRESSUPOSTO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

1. Produzir uma descrição do

modelo do programa,

definindo seus objetivos e metas

2. Estimar o quanto o programa

está bem definido e pode

ser avaliado

3. Identificar os interesses dos

stakeholders pela avaliação e

pelo uso das descobertas.

10.5 Processo de construção – Estimativa de AVALIABILIDADE

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

1. Teoria do impacto do programa

2. Plano de utilização de serviços

3. Plano organizacional do programa

10.6 Elementos da Teoria do Programa – DESCRIÇÃO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

Descreve uma seqüência

de causa e efeito entre

certas atividades e os

resultados pretendidos,

operacionalizada pelas suas

transações ou meios

Atividades pelas quais um programa produz

os efeitos pretendidos

10.7 Elementos da Teoria do Programa – TEORIA DO IMPACTO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

EXEMPLO:

Um programa de saúde usa

campanhas de mídia

(causa) para aumentar o

conhecimento das pessoas

sobre dietas saudáveis

(meios) para produzir

mudanças de hábitos

alimentares (efeitos)

Campanha

maciça na

mídia

Conhecimento

sobre dietas

Mudança de

hábitos: dietas

saudáveis

Pessoas

desconhecem

hábitos

saudáveis

Pessoas com

dietas não

saudáveis

Focaliza as suposições

críticas sobre como e por

quê a população pretendida

irá se engajar no programa e

obter serviços suficientes para que o processo de mudança

representado na teoria do impacto

seja iniciado

Esse plano descreve as transações do

programa a partir do ponto de vista

da população-alvo e dos locais e

espaços em que ela terá contato com

o programa.

10.8 Elementos da Teoria do Programa – PLANO DE UTILIZAÇÃO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

10.8 Elementos da Teoria do Programa – PLANO DE UTILIZAÇÃO

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

População com

problemas

alimentares

Assiste à campanha

na TV

Visita

nutricionistas

cadastrados

Tem orientação

alimentar

Muda sua dieta

Plano do Programa

Não assiste à

campanha na TV

Não procura

nutricionista

Não tem orientação

alimentar

Não muda sua dieta

Enfatiza atividades que levam a benefícios sociais, sob a perspectiva dos gestores do programa

Abrange as funções e atividades a serem desempenhadas, os recursos humanos, financeiros e físicos exigidos

10.9 Elementos da Teoria do Programa – PLANO ORGANIZACIONAL

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

10.9 Elementos da Teoria do Programa – PLANO ORGANIZACIONAL – exemplo!

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

Recursos

Impactos

Atividades

Prod/Serv

Iniciais Intermediários Longo prazo

Atividades previstas: Inserções na TV são veiculadas Novelas e programas de variedades abordam o tema Folders e folhetos entregues em clínicas e hospitais Nutricionistas fornecem orientações sobre alimentação saudável

Plano organizacional para campanha Recursos definidos: Agência governamental oferece recursos financeiros TVs oferecem espaço na programação Nutricionistas produzem material de divulgação Nutricionistas oferecem assistência e planos de reeducação alimentar Hospitais e clínicas identificam candidatos

10.9 Elementos da Teoria do Programa – PLANO ORGANIZACIONAL – exemplo!

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

10. Teoria do Programa

Recursos

Impactos

Atividades

Prod/Serv

Iniciais Intermediários Longo prazo

Resultado esperado (produto): Participação de pessoas no programa de reeducação alimentar

Impactos esperados: INICIAL: Pessoas com dietas mais saudáveis INTERMEDIÁRIOS: Redução de peso Melhoria na qualidade de vida LONGO PRAZO: Redução de doenças cardiovasculares

11. Questões

Revisão para a prova!

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa

12. Leituras

Recomendada: Rossi et al. (2004),

cap. 5

Adicionais:

Chen (2005), caps. 2 e 10 Weiss (1998), cap. 3 Worthen et al. (2004), cap. 13

(menção)

AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa