Aferição da qualidade das perguntas de escolha múltipla

Daniel Moura, professor de Farmacologia

e Toxicologia Médica Faculdade de Medicina da Universidade

do Porto

Aferição da qualidade das perguntas de escolha múltipla: I. Avaliar tarefas de complexidade intelectual superiores às da memorização II. Avaliação da boa construção das perguntas III. Avaliação edumétrica

Complexidade intelectual A. criar B. valorizar C. analisar D. aplicar E. compreender F. decorar

Classificação de Bloom (1956) modificada por Anderson e Krathwohl (2001)

A que género pertence o “Poema da auto-estrada” de

António Gedeão? A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico

decorar

Qual das seguintes definições se aplica melhor ao vilancete?

A. Poema de grande dimensão em torno de um assunto grandioso

B. Poema composto de um mote e de voltas que desenvolvem o mote

C. Poema de estrutura rígida com duas quadras e dois tercetos

D. Poema entusiasta em que se canta alguém ou alguma coisa

E. Poema em que se chora a morte de alguém ou se desabafa um sentimento

compreender

De que género é o poema seguinte?

Voando vai para a praia Leonor na estrada preta. Vai na brasa, de lambreta

Leva calções de pirata,(.....)

blusinha de terileno, (.....). Fuge, fuge, Leonoreta. Vai na brasa, de lambreta (-----)

já nem percebe, Leonor, se (-----) são ecos de amor

perdidos se os rugidos do motor. Fuge, fuge, Leonoreta. Vai na brasa de lambreta

A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico

aplicar

Um homem de 42 anos fez análises 1 mês depois de ter começado o tratamento da sua hipertensão arterial essencial moderada. A uricemia subiu de 4,5 g/100 ml antes do tratamento para 6,9 g/100 ml durante o tratamento anti-hipertensor. Qual dos seguintes medicamentos é a causa mais provável do aumento da concentração de ácido úrico? A. losartan B. captopril C. clorotalidona D. bisoprolol E. amilorida

aplicar

GMAT Graduate Admissions Management

Council

Se y = - (4-5), então y = ? A.-2 B.-1 C. 0 D. 1 E. 2

aplicar

Adaptado de GMAT® Premier Program (2008) Kaplan Publishing

(1) x2 - y2 = 0 (2) (x - y)2 =0 x = y? A.(1) é suficiente mas (2) é insuficiente. B.(2) é suficiente mas (1) é insuficiente. C.(1) e (2) juntos é suficiente, mas (1) é insuficiente e

(2) é insuficiente. D.(1) é suficiente e (2) é suficiente. E.(1) e (2) juntos é insuficiente.

GMAT Graduate Admissions Management

Council

Adaptado de GMAT® Premier Program (2008) Kaplan Publishing

aplicar ou analisar

Que marca de focalização interna está presente neste fragmento? De olhos postos nele (Sr.

Castro), Madalena desfiou aos poucos o seu rosário de lágrimas e canseiras. As palavras enrolavam-se na tosse do peito, e as mãos no xaile desbotado. Assim nada conseguiria, reflectiu ela. Bem o notava no rosto parado do Sr. Castro. Ou talvez se enganasse ... Devia ser o fumo acolhedor na boca do ricaço.

• O narrador sabe menos do que a personagem

• O narrador sabe mais do que a personagem

• O narrador sabe o mesmo que a personagem

Analisar ou aplicar

Qual dos seguintes seria o melhor título para o vosso texto?

A. A vida e obra do neurocirurgião Wilder Penfield B. Organização física da memória no cérebro

humano C. As funções cognitivas do lobo temporal do

cérebro D. História dos progressos para a cura da epilepsia E. Onde estão no cérebro as memórias da nossa

infância?

valorizar

Adaptado de GMAT® Premier Program

(2008) Kaplan Publishing

Complexidade intelectual das perguntas de escolha múltipla

A. criar B. valorizar C. analisar D. aplicar E. compreender F. decorar

Classificação de Bloom (1956) modificada por Anderson e Krathwohl (2001)

Alguns exemplos de boas normas de construção de

itens

Os polissacarídeos

A. São constituídos por unidades menores chamadas monossacarídeos

B. Não se encontram na aloe vera C. Formam-se durante a fotossíntese D. Têm a fórmula química CHHOH E. São lipossolúveis

Deficiência: item sem pergunta bem definida (falta de foco)

Qual dos seguintes é o local onde a síntese de polissacarídeos da parede celular das plantas é mais abundante? A. O retículo endoplasmático B. O citossol C. A membrana celular D. O complexo de Golgi E. Os amiloplastos

Que género poético usou António Gedeão, pseudónimo de Rómulo de Carvalho, poeta do século XX que se formou na Faculdade de Ciências da Universidade do Porto, no “Poema da auto-estrada”?

A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico

Deficiência: proposições irrelevantes

Que género poético usou António Gedeão no “Poema da auto-estrada”? A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico

Qual das seguintes afirmações é verdade para a doença de Crohn? A. Nunca atinge o recto B. Acompanha-se sempre de velocidade de

sedimentação alta C. Pode tratar-se com corticosteróides e

messalazina D. Nunca responde ao etarnecept E. Provoca sempre rectorragias

Deficiências: uso de indícios de resposta através de palavras como nunca, sempre, pode ...; falta de foco

Qual das seguintes é a localização mais frequente da doença de Crohn? A. Rectal B. Gástrica C. Duodenal D. Íleo-cólica E. Esofágica

Qual das seguintes causas de anemias hemolíticas é genética? A. malária B. formação de crioaglutininas C. esferocitose hereditária D. hiperesplenismo

Deficiência: indício de resposta (genética – hereditária)

Qual das seguintes causas de anemias hemolíticas é genética? A. malária B. formação de crioaglutininas C. síndroma de Minkowski–Chauffard D. hiperesplenismo

Aproveitamento das possibilidades do Moodle

Análise mais simples do item pela teoria clássica dos testes

Parâmetros da teoria clássica dos testes apresentados pelo Moodle 2

• Coeficiente de consistência interna do teste (coeficiente α de Cronbach)

• Facilidade de cada pergunta • Discriminação de cada pergunta

(correlação ponto-bisserial)

... Análise geral do teste

Alfa de Cronbach Consistência interna do

teste

α ≥ 0.9 Excelente

0.8 ≤ α < 0.9 Boa

0.7 ≤ α < 0.8 Aceitável

0.6 ≤ α < 0.7 Questionável

0.5 ≤ α < 0.6 Fraca

α < 0.5 Inaceitável

Parâmetros da teoria clássica dos testes apresentados pelo Moodle 2

• Coeficiente de consistência interna do teste (coeficiente α de Cronbach)

• Facilidade de cada pergunta • Discriminação de cada pergunta

(correlação ponto-bisserial)

27

Parâmetros da teoria clássica dos testes apresentados pelo Moodle 2

• Coeficiente de consistência interna do teste (coeficiente α de Cronbach)

• Facilidade de cada pergunta • Discriminação de cada pergunta

(correlação ponto-bisserial)

Valor do coeficiente de correlação ponto-bisserial Coerência da pergunta

α≥ 0.81 excelente

0.41 ≤ α < 0.80 boa

0.26 ≤ α < 0.40 aceitável

0.10 ≤ α < 0.25 fraca

0.00 ≤ α < 0.09 inaceitável

A pergunta 41 é deficiente (discriminação nula)

A pergunta 4 está errada (discriminação negativa) e a 55 é deficiente (descriminação nula)

reconhecimento

• Margarida Amaral (GATIUP) • Milton Severo (CEM e ISP, FMUP) • Pedro Vieira (Serviço de Informática,

FMUP) • Hugo Ribeiro (GATIUP)