parâmetros úteis para a construção de boas questões objetivas prof. dr. lucas f. de oliveira...

Parâmetros úteis para a construção de boas questões objetivas

Prof. Dr. Lucas F. de Oliveira

CECH – UCSNINE – UFRGS

Vestibular e conhecimento

Exames vestibulares Classificação dos candidatos De acordo com o conhecimento demonstrado

Conhecimento costuma ser estudado Pelas Neurociências

Investigação dos mecanismos Pela Psicologia Cognitiva

Investigação das manifestações

Conhecimento e memória

Memória declarativa Episódica

Eventos Semântica

Fatos

Rápida formação Evocação consciente Processo cognitivo serial

Memória não-declarativa Procedural

Para ações Motora

Para movimentos

Lenta formação Evocação muito eficiente Processo cognitivo

paralelo

Conhecimento e tipos de memória Memória declarativa e não-declarativa

A fronteira entre estes dois tipos Está se tornando mais tênue

Um indivíduo competente Pode operar com conhecimento semântico

De maneira não-declarativa Paralela

Conhecimento

Taxonomia dos objetivos didáticos Benjamin Bloom, 1956

Domínio cognitivo 1) Conhecimento 2) Compreensão 3) Aplicação 4, 5 e 6) Análise, Síntese e Avaliação

Os níveis iniciais dependem Da memória declarativa

Os avançados Da não-declarativa

Testagem e amostragem

Exames vestibulares Devem medir o conhecimento dos alunos

Fazem isto através de uma amostragem As questões

O escore medido com a amostragem É diferente do conhecimento real do aluno

Quanto mais fidedigna a amostragem Mais próximo o escore real é da realidade

Testagem com questões de múltipla escolha Índices úteis

Índice P Proporção de acertos

Índice de discriminação Diferença de acerto entre

Indivíduos com melhor performance E indivíduos com pior performance

Índice P Se todos acertam = 1,0 Se baseado na sorte = 0,2 Valor desejável

Em torno de 0,6

Testagem com questões de múltipla escolha

Índice de discriminação Varia entre -1,00 e +1,00 Se indivíduos de boa performance acertam questão

E os de má performance erram O índice é positivo

Se os de boa erram E os de má acertam

O índice é negativo

D > 0,4 é desejável D < 0,2 é indesejável

Testagem com questões de múltipla escolha

Testagem com questões de múltipla escolha Fator extra

Tempo por questão

Quanto mais questões Melhor a amostragem Maior a fidedignidade

Síntese deste bloco

Indivíduos compententes Operam com um sistema de memória mais eficiente

Memória não-declarativa É importante explorar este componente

O vestibular opera por amostragem Que precisa ser fidedigna

As questões devem ter bom poder de discriminação

Famílias de questões objetivas

Referência útil

“Constructing Written Test Questions for the Basic and Clinical Sciences”

Terceira Edição (Revisada)

Comissão Nacional de Examinadores Médicos Autores

Susan M. Case David B. Swanson

Famílias de questões objetivas Família da melhor

resposta “Assinale a resposta

correta” “Associe as Colunas” Escolha Estendida de

respostas (variante do “Associe as Colunas”)

Família do verdadeiro ou falso “Qual das afirmações

acima são corretas?” “Apenas I, II e IV estão

corretas”

Família do verdadeiro ou falso Identifique as afirmações corretas sobre o

Canadá I) O Canadá possui duas línguas oficiais, e o

francês é a mais falada das duas II) O Canadá foi sede das últimas Olimpíadas de

Inverno, realizadas em Vancouver III) A Rainha Elizabeth II é a chefe de estado do

Canadá

Família do verdadeiro ou falso O candidato pode acertar

Sobre duas das afirmações Mas o avaliador não sabe disso se ele errar a

questão

Há perda de informação Sobre o conhecimento real do candidato

Família do verdadeiro ou falso A família do verdadeiro ou falso

Requer a análise de todas as opções, uma a uma Caracterizando uma operação serial

Usando o sistema de memória declarativa

Ou seja, o aluno competente Capaz de utilizar um sistemas mais eficientes de

demonstração de conhecimento É obrigado a operar com o sistema mais limitado


Requer mais tempo por questão Pois opera de maneira serial

Ou seja, o número máximo de questões no teste Precisa ser menor Quanto menos questões

Pior a amostragem


Tende a produzir índices P menores Usualmente por aumento de falsos negativos

Tende a produzir índices de discriminação menores

Família do verdadeiro ou falso Conclusão

Questões de verdadeiro ou falso Devem ser evitadas

O uso de questões da Família da melhor resposta

Produz melhor discriminação Permite a aplicação de mais questões Permite a resolução através do sistema de memória

não-declarativa

melhor resposta únicaQuestões de Melhor Resposta

Este país é conhecido por ser um grande produtor de vinhos e queijos, bem como também é o principal destino turístico do planeta. Em um determinado momento da Segunda Guerra Mundial, sua capital foi invadida e ocupada por completo. Que país é este? a) Alemanha b) Itália c) França d) Noruega e) Inglaterra

Todas respostas são da mesma categoria Podem ser ordenadas de “muito errada” até “correta”

Ou seja, estão sobre o mesmo “eixo” conceitual

Melhor Resposta, questão bem-feita

Enunciado longo Respostas curtas Todas as respostas pertencem a mesma

categoria (Países, no exemplo anterior)

É possível responder a pergunta mesmo que não se saiba as alternativas! E esta tende a surgir de maneira espontânea

Indicando o uso de memória não-declarativa

Características relevantes

O que a mais importante característica da França? a) É uma grande produtora rural b) É uma das mais antigas democracias do

planeta c) Produz a maior parte da sua energia a partir de

hidroelétricas d) É uma grande produtora de vinhos e) Seu presidente é casado com uma conhecida

atriz austríaca

Melhor Resposta, questão mal-feita

O enunciado é curto As respostas são longas As respostas são sobre temas diferentes

Não estão sobre o mesmo “eixo”

Não é possível responder a pergunta sem que se leia as alternativas Ou seja, só pode ser respondido de maneira

serial

Problemas do exemplo anterior

Perguntas negativas “Assinale a alternativa abaixo que NÃO

corresponde a uma das características da França”

São mais confusas Produzem mais falsos negativos Têm menor poder de discriminação

Coisas a evitar

associe as colunasQuestões de Melhor Resposta

a) França b) Itália c) Inglaterra d) Alemanha

( ) Era a principal potência européia no início dos anos 40

( ) Sua capital foi invadida no início da Segunda Guerra Mundial

( ) Seu líder na Segunda Guerra era conhecido com Il Duce

( ) Sofreu constantes ataques da aviação inimiga no início da guerra, mas conseguiu resistir graças ao esforço intenso de seus pilotos de caça

Associe as colunas

Enunciado genérico Indicando para associar as colunas

Formato eficiente Mas substituído pelo de

Escolha Estendida

Associe as colunas

escolha estendidaQuestões de Melhor Resposta

Estrutura Tema Lista de Opções Enunciados

Escolha Estendida

Tema: países envolvidos na Segunda Guerra Mundial a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos

1) Este país entrou na Guerra apenas em 1941, após uma das ilhas de seu território ser atacada inesperadamente.

Escolha Estendida


2) Este país tinha dois outros importantes aliados, mas era militarmente inferior a estes. Sua campanha na África foi desastrosa. Foi o primeiro dos três a capitular.

Escolha Estendida


3) Este país foi invadido no período inicial da Guerra e permaneceu ocupado por vários anos. A parte sul do país manteve autonomia, mas com um governo simpático e submetido aos invasores. Um governo paralelo formou-se na Inglaterra.

Escolha Estendida

Opções curtas E pertencentes à mesma categoria (países no exemplo acima)

Enunciados longos

É o formato padrão Adotado por várias entidades de licenciamento profissional

O fato de usar mais do que cinco alternativas Requer alterações nas folhas de resposta Estudos recentes indicam que 8 alternativas é um número adequado

Características da Escolha Estendida


4) Este três países aliaram-se no início da Segunda Guerra Mundial através de um pacto de suporte político, econômico e militar com o objetivo de estabelecer uma nova ordem mundial.

Escolha Estendida com múltiplas respostas

Escolha Estendida com múltiplas respostas

Escolha estendida com múltiplas respostas Tende a ser mais difícil

Melhores formatos: Melhor Resposta Única e Escolha Estendida Formato aceitável: Associe as Colunas

Formatos não-recomendados: Verdadeiro ou Falso, Melhor Resposta Única Negativa

Enunciados longos, respostas curtas

De preferência, Ser possível responder sem ler as alternativas

Síntese até o momento

Problemas que facilitam a resolução

Elaboração

Dicas gramaticais A “chave” está melhor redigida

Uso de termos absolutos A maior parte das coisas é relativa Alternativas com “sempre”, “nunca”, “todos” e “nenhum”

normalmente estão erradas

Resposta correta é mais longa que as outras A “chave” é mais longa, melhor elaborada e mais completa

Problemas de redação que facilitam a resolução

A população da França é: a) maior que a da Itália b) menor que a da Itália c) do mesmo tamanho que a da Itália d) composta por apenas uma etnia e) composta principalmente por jovens

As três primeiras alternativas já dão conta de todas as opções

Problema: dicas lógicas

Um homem afogou-se na praia. Este tipo de acidente é chamado de: a) atropelamento b) enforcamento c) afogamento d) aliciamento e) esmagamento

O enunciado já entrega a resposta

Problema: repetição de palavra do enunciado

Estes dois países foram aliados durante a Segunda Guerra Mundial. Que países são estes? a) Inglaterra e Alemanha b) Inglaterra e Itália c) França e Alemanha d) França e Itália e) Alemanha e Itália

Os termos mais frequentes comumente são os corretos

Problema: respostas convergentes

Problemas que dificultam a resolução

Elaboração

Opções longas e complicadas Velocidade de leitura

Passa a ser um fator relevante

Inconsistência nos números Algumas alternativas com número (15, por

exemplo) Outras com faixa de números (de 10-14, por

exemplo)

Problemas de redação que dificultam a resolução sem necessidade

Uso de termos vagos para indicar freqüência “Usualmente”, “comumente”,

“frequentemente”, “raramente”

O uso da opção “Nenhuma das anteriores” Transforma todas as alternativas anteriores

em miniquestões de Verdadeiro ou Falso

Problemas de redação que dificultam a resolução sem necessidade

A Alemanha teve boas chances de sair vitoriosa da Segunda Guerra Mundial, pois suas táticas e equipamentos eram avançadíssimos para a época. Entretanto, uma série de decisões estratégicas errôneas resultou em sua derrota. Qual destas decisões erradas foi a mais importante pela derrota?

a) A Alemanha abriu uma segunda frente de batalha ao atacar a União Soviética

b) Muitas tropas foram comprometidas com a defesa da Itália c) O fornecimento de material bélico para o Japão.

As opções deveriam ser a) A abertura de uma frente de batalha contra a União Soviética b) O comprometimento de tropas com a defesa da Itália c) O fornecimento de material bélico para o Japão

Problema: linguagem não-paralela nas opções

Ordene os países com relação ao número de soldados mortos durante a Segunda Guerra Mundial do maior para o menor. I) Alemanha II) Rússia III) Inglaterra IV) Suíça V) Holanda

Opções: a) I, II, III, IV, V b) II, I, III, V, IV c) V, IV, I, III, II d) IV, V, III, I, II

O correto seria usar, nas alternativas, o nome dos países

Problema: escolha de marcadores mais complexos que o necessário

Linhas gerais

Elaborar a questão de maneira que Seja possível respondê-la mesmo sem as opções

Usar enunciados longos, respostas curtas

Evitar informação supérflua

Evitar questões desnecessariamente complexas

Linhas gerais

Cuidar a gramática de todas as opções

Elaborar distratores plausíveis e de tamanho semelhante à resposta correta

Evitar termos absolutos, como “nunca” e “sempre”

Evitar questões negativas aquelas que tem “exceto” ou “não” no enunciado se precisar utilizar uma questão deste tipo

as respostas devem ser muito curtas (uma palavra apenas preferencialmente)

Linhas gerais

parâmetros úteis para a construção de boas questões objetivas prof. dr. lucas f. de oliveira...

Documents