Diferentes Visões da Avaliação

Cap. 4 - Epistemologias objetivista X subjetivistaAvaliações utilitaristas X Intuicionistas-pluralistas

Métodos quanti X quali

Síntese das abordagens 1. Experimentação

– Desenho experimental, grupos controle, pré e pós-teste, distribuição aleatória nas condições, testes estatísticos. (Fisher, 1923)

2. Mensuração- medidas de efetividade- construção de instrumentos e aplicação critérios - registros e descrições

3. Análise Sistêmica– Exame de inter-relações de séries de variáveis– Análise de processos– Apoio a decisões

4. Abordagens Interpretativas– Interpretações descritivas– Julgamentos holísticos de problemas comple xos

Objetivismo X Subjetivismo

Objetivismo– Replicabilidade dos resultados– Intersubjetividade- Dados empíricos - Generalização

Subjetivismo- O saber é tácito- Depende das percepções e experiência do avaliador- Experiência para compreender os fenômenos

Avaliação Utilitarista X Intuicionista-Pluralista

Utilitarista- maximizar a felicidade na sociedade- o maior bem é o que beneficia mais pessoas- avaliação do impacto global de um programa sobre os beneficiários- Uso de médias ou outras estimativas do impacto em grupos- os mais interessados são gerentes e administradores de programas públicos.

Intuicionista-Pluralista- o valor do programa depende do impacto do programa em cada

indivíduo- epistemologia subjetivista- os critérios de avaliação do que é bom e certo são os sentimentos e apreensões individuais - pluralidade de critérios e juízos-avaliador descrevem diferentes valores e necessidades

Quanti-QualiQuali

– O pesquisador é o principal instrumento de coleta e análise de dados

– Foco em dados reais que ilustrem as ações do cotidiano e seu significado sob o ponto de vista dos pesquisados

– Foco em processos sociais– Adota observação

participante e entrevistas, entre outras

Quanti• Formulação e teste de hipóteses • Abordagens experimental e quase-

experimental• Registro de dados• Mensuração• Análises estatísticas• Rigor metodológico• Busca de relações de “causa e

efeito”• Valores: replicação e generalidade• Validade interna das inferências de

causalidade• Validade externa

Classificação das Abordagens de Avaliação

1. Centrada em Objetivos2. Centrada na Administração3. Centrada no Consumidor4. Centrada em Especialistas

5. Centrada no Adversário6. Centrada no Participante

Cap. 5 – Centrada em Objetivos Tyler (1942): a avaliação é um processo de determinação da medida em que os objetivos de um programa foram alcançados.

Passos: 1. Estabelecer metas ou objetivos2. Classificar objetivos3. Definir objetivos em termos comportamentais4. Escolher situações nas quais é possível demonstrar que os objetivos

foram atingidos5. Criar ou selecionar técnicas de mensuração6. Coletar dados relativos ao desempenho7. Comparar os dados do desempenho com os objetivos formulados em

termos de comportamentos (conhecimentos, habilidades e atitudes).

•Os objetivos da avaliação são localizar discrepâncias entre desempenhos e objetivos e corrigi-las. • Abordagem muito adotada em educação e treinamento. •Adoção de taxonomias de objetivos e métodos de descrição de objetivos educacionais (Mager e Mager e Pipe).

O uso de abordagens centradas em objetivos• Início na década de 30 nos EUA e em outros países.

• Refinada por Mager (1962): formulação de objetivos comportamentais com níveis desejados de desempenho, critérios de avaliação para medir o alcance do objetivo.

• Refinada por Bloom e Krathwohl (1956): Taxonomias de objetivos.

Problemas associados à abordagem: • Dificuldades dos profissionais para redigir objetivos, resistência à formulação de objetivos,

excesso de objetivos específicos e de critérios.

• Níveis de desempenho não são avaliáveis apenas por meio de taxonomias, pois complexidade é função também de características do público-alvo.

• Objetivos podem “amarrar” o programa (quando os objetivos subestimam a capacidade de geração de resultados) ou prejudicar o programa (quando os objetivos estão superestimados).

• Risco de aplicação de testes de “competência mínima”.

CONDIÇÃOCONDIÇÃO + + VERBO + OBJETO DA AÇÃOVERBO + OBJETO DA AÇÃO + + CRITÉRIOCRITÉRIO

DesempenhoDesempenho

Abordagem de Mager e PipeAbordagem de Mager e Pipe

REDAÇÃO DE OBJETIVOS EDUCACIONAISREDAÇÃO DE OBJETIVOS EDUCACIONAIS Especificar ComponentesEspecificar Componentes

Componentes essenciais

•Condição é omitida quando for óbvia.•Critérios são omitidos quando os desempenhos são complexos.

Necessidades de capacitação Objetivos instrucionais

Resultados de Aprendizagem

Conhecimentos, Habilidades e Atitudes

CONDIÇÃOCONDIÇÃO + + VERBO + VERBO + OBJETO DA AÇÃOOBJETO DA AÇÃO + + CRITÉRIOCRITÉRIO

DesempenhoDesempenho

ConhecimentoCompreensão

Aplicação

Análise

SínteseAvaliação

Taxonomias de Bloom e Colaboradores e de Simpson:

Domínio cognitivoReceptividade

Resposta

Valorização

Organização

Caracterização

Domínio Afetivo

Percepção

Posicionamento

Execuçãoacompanhada

Mecanização

Domínio Completo

Domínio psicomotor

NÍVELArranjar Definir Nomear Ordenar Duplicar ReproduzirListar Enumerar Relatar

RepetirClassificar Reconhecer DescreverDiscutir Explicar RevisarSelecionar Identificar IndicarLocalizar Falar TraduzirAplicar Operar EscolherPraticar Demonstrar PrepararDramatizar Empregar Ilustrar

UsarAnalisar Categorizar CompararCriticar Examinar QuestionarTestar Diferenciar DistinguirPlanejar Organizar ProporSintetizar Formular CriarConstruir Administrar EstabelecerAvaliar Julgar ArgumentarPredizer Estimar

Análise

Síntese

Avaliação

VERBOSConhecimento

Compreensão

Aplicação

Exemplos de Verbos: Domínio cognitivo

São feitas descrições de necessidades de acordo com os níveis das taxonomias de resultados de aprendizagem ou objetivos educacionais. São avaliados impactos a partir de objetivos e resultados de aprendizagem classificados de

acordo com hierarquias (complexidade)

Outro exemplo de Hierarquia de resultados

Enfermeiro da área cirúrgica Sem recorrer a anotações, descreve a história clínica do paciente. Nomeia os instrumentos e equipamentos necessários á extração de um pâncreas.

Arquiteto de interiores Identifica os requisitos legais associados à iluminação de ambientes de trabalho como escritórios.Lista os fatores a serem considerados na escolha de cadeiras para o cliente.

Exemplos de informações verbais

DiscriminaçõesEnfermeiro da área cirúrgica Distinguir diferentes sons provenientes do coração através de

estetoscópio. Arquiteto de interiores Distinguir diferentes variações de cores em tecidos para estofados

em móveis para escritório.

ConceitosEnfermeiro da área cirúrgica Identificar o nome dos instrumentos cirúrgicos utilizados durante a

cirurgia.Arquiteto de interiores Classificar exemplos e não exemplos de mobiliário de um

determinado estilo.Regras

Enfermeiro da área cirúrgica Interpretar ordens escritas pelo médico em gráficos sobre o estado do paciente.

Arquiteto de interiores Fornecer uma planta baixa de um escritório, determinando como muitos trabalhadores podem acomodar-se nesse espaço físico.

Regras de Ordem SuperiorEnfermeiro da área cirúrgica Determinar se um paciente no período pós-operatório requer atenção

imediata do cirurgião.

Arquiteto de interiores Elaborar um projeto de decoração para o escritório.

Exemplos de habilidades intelectuais. Fonte: Gagné e Medsker (1996)

Enfermeiro da área cirúrgica

Inventar um novo procedimento para aumentar a eficiência dos serviços de enfermagem na sala de operações. Inventar um “jingle” com rimas para relembrar os nomes de todos os músculos pertencentes aos grupos musculares do abdômen e dos membros inferiores.

Arquiteto de interiores

Inventar uma distribuição original de móveis e objetos em um ambiente de escritório que otimize o aproveitamento do espaço físico, favoreça e interação entre pessoas e, ao mesmo tempo, garanta certa privacidade a cada ocupante.

Exemplos de estratégias cognitivas Fonte: Gagné e Medsker (1996) e Abbad, 2006.

Outro exemplo de Hierarquia de resultados

Ver exemplo de uso de taxonomia na construção de itens

Aplicações das abordagens de objetivos educacionais em avaliação de programas

Aplicável em programas educacionais ou que envolvem capacitação de pessoas como condição necessária à execução das atividades do programa :

1.Avaliação da qualidade das atividades, recursos, materiais de treinamento (eficiência ) – avaliação formativa.

2.Avaliação da aprendizagem com base no alcance de objetivos (pré e pós – teste e controle) ou de proficiência.

3.Construção de itens de avaliação de impacto da capacitação (atividades educacionais ou de treinamento) sobre o desempenho do egresso (vida profissional, carreira).

4.Análise das relações entre aprendizagem e transferência da aprendizagem para o trabalho (atividades do programa).5.Viabiliza a avaliação dos efeitos da transferência da aprendizagem sobre outros níveis de resultados (valor social , valor final) .

Desafios associados à adoção de objetivos em avaliação de programas

1. Dificuldade de definir objetivos mensuráveis e realistas

2. Inexistência de objetivos precisos na documentação do programa

3. Necessidade de avaliar e ajustar objetivos (criadores, executores e outros stakeholders com o programa em andamento.

4. Necessidade de avaliar os resultados associados aos objetivos de acordo com regras (psicométricas) de mensuração e normas técnicas de definição, construção e validação de medidas de avaliação.

5. Escolha de avaliações apoiadas em métodos unicamente qualitativos de análise e avaliação.

Avaliação de objetivos – método lógico

• Exame do o poder de persuasão do argumento ou explicação de cada objetivo. Analisar a necessidade de alcançar o objetivo.

• Análise das consequências de alcançar os objetivos em termos de viabilidade (custo, aceitabilidade, sustentabilidade política, etc) do objetivo. Pesquisar a literatura para verificar resultados de tentativas anteriores de alcançar objetivo similares.

• Verificar se há conflito entre os objetivos do programas e valores, princípios morais e ideais da sociedade.

• Coletar da dados para descrever os juízos de valor sobre os objetivos.

• Conseguir especialistas, preparar audiências ou mesas redondas para avaliar objetivos potenciais.

• Realizar estudos de conteúdo em arquivos (discursos, minutas, editoriais, boletins informativos).

• Realizar estudo-piloto para verificar se é possível atingir a meta e de que maneira isto é possível (projetos de demonstração – avaliação formativa).

Avaliação de objetivos – método empírico

O paradigma de Metfessel e Michael - 1967

1. Envolver os interessados como facilitadores da avaliação do programa.

2. Formular um modelo coerente de objetivos específicos.

3. Traduzir objetivos específicos de forma comunicável.

4. Selecionar ou construir instrumentos para medir variáveis que possibilitem a avaliação da efetividade do programa.

5. Realizar observações periódicas (testes válidos de conteúdo, escalas e outras medidas de comportamento).

6. Analisar dados utilizando métodos apropriados.

7. Interpretar dados utilizando modelos de níveis desejados de desempenho.

8. Fazer recomendações para implementação, modificação e revisão posteriores de objetivos gerais e específicos.

O modelo de Provus• A avaliação acompanha os diversos estágios de um programa:

1. Definição – O foco é determinar objetivos, processos, atividades e definir recursos

necessários ao alcance dos objetivos.

2. Instalação– A concepção do programa é utilizada para julgar a operacionalidade do

programa e a sua congruência com os objetivos. Se forem encontrados desvios entre objetivos e a implementação, são sugeridos ajustes ou o encerramento das atividades.

3. Processo (produtos intermediários)– Trata-se da coleta de dados par avaliação do progresso dos participantes e

alcance de objetivos intermediários ou facilitadores. Os desvios são detectados com a finalidade de redefinir atividades ou revisá-las .

4. Produto– Trata-se de determinar se os objetivos terminais (resultados imediatos) e

objetivos últimos (resultados de longo prazo) foram atingidos.

5. Análise de custo-benefício (opcional)– Comparação de custo-benefício de programas equivalentes.

Avaliação livre de metas

• As metas também devem ser avaliadas.• o avaliador dever:

– evitar o conhecimento prévio das metas.– evitar que os objetivos estreitem o foco da

avaliação.– Identificar objetivos e metas relevantes que não

estão expressas nos objetivos – Rever a redação e ajustar os objetivos de acordo

com as idéias que originaram o programa.