A CONSISTÊNCIA INTERNA DE TESTES COM ITENS DE ESCOLHA

MÚLTIPLA E A CORREÇÃO PARA O ACERTO CASUAL

Fernando Lang da Sibeira

PROBLEMA

OS testes constituídos por itens de Escolha Múltipla sempre oferecem ao indivíduo que os responde uma chance de acerto ao acaso; mesmo que o indivíduo desconheça completamente o conteúdo do item, poderá escolher por acaso a alternativa correta. A chance de acerto ao acaso M i u i com o aumento do ninnero de alternativas nos itens; ela é máxima em itens do tipo Fal- severdadeiro.

O acerto casual é uma fonte de erro de medida, contribuindo para a diminuição da consii tbncia interna do teste (Guiiford, 1975). O coeficiente de fidedignidade do escore total em t e i tes com itens de EM aumenta com o aumento do número de alternativas nos itens (Nunndly, 1967); essa é uma conclusão de teoria das medidas pdcoeducacionais que já foi sobejamente veri. ficada em diversos experimentos.

A literatura especializada em medidas psicoeducacionais apresenta diversas propostas que visam a superar o problema do acerto casual. Entre elas encontrase uma correção do escore total no teste por descontar uma fração do número de resposias erradas nos itens (Guilford, 1975; Nunnally, 1967; Thondike, 1969; Vianna, 1973). A correção é realizada através da seguinte equação:

Tc = T -.E/(k-1)

T -Escore total bruto ou número total de itens respondidos acertadamente. E - @úmero total de itens respondidos erradamente. k - Número de alternativas nos itens. Os itens que são omitidos (ou seja, que o indivíduo deixa de responder) não são computa-

dos em E, sendo apenas considerados errados.

Tc - ESCOE total CümgidO.

* Do Instituto de Física da PUCRS; Instituto de Física da WRGS.

Essa correç%o presume que qualquer resposta errada seja o resultado da tentativa sem sues so de acerto casual e também que todas as alternativas sejam igualmente atraentes para o aluno que não conhece a resposta correta (Thomdike, 1969).

Na literatura encontram-se opiniões diversas sobre a utiiizsção ou não dessa correção. A argumentação contrária a utiiizsçH6 da correção usualmente se dá por alegar que os pressupostos (citados no parágrafo anterior) não são realmente preenchidos. Outro argumento é de que a cor- reção pode introduzir fatores indesejáveis no teste, tais como a insegurança do respondente (Guil- ford, 1975).

Nunnaüy (1967) nota que a correção tende a subestimar a chance de acerto casual pois en- tre as alternativas incorretas (distraidores) normalmente existe uma ou mais que são facilmente descartadas; ou seja, é muito difícil redigir distraidores igualmente eficientes.

Um dos argumentos a favor dautiuzação da correção é que ela combate um hábito intelec- tual pobre (Nunnaüy, 1967): o hábito do “chute”.

O presente trabdho investipa através de três experimentos se a correçXo para acerto casual afeta a consistência interna de testes de EM e Resposta única. Esses testes abrangem conteúdos de Física Geral do 3 0 p u .

l? EXPERIMENTO

Foi aplicado um teste constituídn por 24 itens de EM, com 4 alternativas por item, a 278 alunos da disciplina de Fisica Geral e Experimental I1 (Eletromwetismo) da PUCW. Desse totoal, 148 alunos responderam ao teste sendo instruidos para n%o “chutar” pois seria u a - zada a correção para acerto casual; os restantes 130 indivíduos responderam ao mesmo teste sem a instnição. Como foram envolvidas 5 turmas da referida disciplina e para evitar que possíveis di- ferenças sitemáticas entre as turmas invalidassem o experimento, os dois grupos f o m obtidos por amostragem aleatória estratifkada por turma. Em outras palavras, no grupo experimental e no gnipo de controle havia alunas das 5 turmas.

Os resultados foram submetidas a uma anPse de consistência interna, calculando-se os coeficientes de correlação item-total tanto na versá0 do teste com a correção para acerto casual, quanto na outra versão. Como o acerto casual é uma fonte de erro de medida, a correção deve afetar os coeficientes de correlação item-total, evidenciando uma consisthcia interna mais ele- vada o m o teste onde ela é aplicada. Em outras palavras, a liip6tese a ser testada com esse experi- mento pode assim ser formulâda:

O valor médio do coeficiente de correlação item-total no teste com a correção para acerto casual é mais elevado do que no teste sem a correção.

Os resultados obtidos confirmaram a hipótese pois o valor médio do coeficiente de c o m lação item-total no teste com a correção foi 0,448 e no outro 0,376. A diferença entre as duas médias é ehtatisticamente significativa em nível inferior a 0,05 pois o escore t obtido foi 2.55.

20 e 3? EXPERIMENTO

Conforme já citado anteriormente, o número de alternativas nos itens afeta a consistência interna dos testes. Se dois testes diferirem apenas no número de alternativas nos itens, deverá apresentar consisténcia interna maior aquele com o maior número de alternativas.

Para a disciplina de Física Geral 11 (Mecânica) da UNISINOS foram elaborados dois testes de EM com vinte itens. A única diferença entre os dois testes estava no número de alternativas dos itens; um possuia itens com 5 alternativas e o outro com 3 alternativas. Ambos continham a instrução para evitar o “chute” pois seria aplicada a correção para acerto casual.

O teste com itens de 5 alternativas foi respondido por 57 alunos e o outro por 59 alunos.

i3s dois grupos foram constituidos através de amostragem aleatória estraüficada por turma (3 turmas da referida discip!ina participaram do experimento).

Para a disciplina de Física Geral e Experimental I1 (Eletromagnetismo) da PUCRS também foram elaborados dois testes de EM com vinte itens. A Única diferença entre os dois testes estava no número de alternativas por item; um powía itens com 5 alternativas e o outro com 3 alterna- tivas. Em ambos havia a instrução para evitar o “chute” pois seria aplicada a ComeçEo para acerto CWd.

O teste com itens de 5 alternativas foi respondido por 82 alunos e o ouko por 72 alunos. Os dois grupos foram constituidos por amostragem aleatória estratificada por turma (3 turmas da referida disciplina participaram do experimento).

A hipótese a ser testada com esses dois experimentos pode assim ser enunciada: O d o r médio do coeficiente de correlnção itemtotal nos dois testes é o mesmo. Os coeficientes de correlação item-total médios no 10 experimento foram 0,362 (3 alterna-

tivas) e 0,358 (5 alternativas). A diferença entre as duas médias não apresentou signiiicância esta- tística pois o escore t obtido foi 0,14.

No segundo experimento os valores médios obtidos foram 0,484 (3 alternativas.) e 0,421 ( 5 alternativas). Também e m diferença não apresentou significância estatística pois o escore t obtidofoi 122.

Nota-se nos dois experimentos uma diferença a favor do teste com 3 alternativas. Apesar de não apresentar si@Xncia estatfsticii, m a diferença poderia estar indicando uma vantagem quando os itens Sgo com 3 alternativa e é aplicada a correç%o para acerto casual. Merece esse fato ser estudado em experimentos mais sensíveis, com testes constituidos por um maior número de itens.

Se realmente o teste com 3 alternativas se torna mais consistente que o teste com 5 altema- tivas nos itens, a explicação desse fato talvez se encontre na colocação feita por Nunnally de que a correção subestima a diante de acerto casual. Certamente é mais fácil redigir 2 distraidores plausíveis do que 4 distraidores plausíveis.

CQNCLUSÁQ

Os três experimentos realizados permitiram notar que a correção para acerto casual afeta positivamente a consistência interna dos testes. Sob esse aspecto parece ser váiida a utilização da correção para acerto casual.

BIBLIQGRAFLI

GUILFORD, J.P. (1Y75). Aychomemc Metltods 2? ed. Tata McGraw-W, New Deihi, 597 p& NUNNALLY, J.C. (1967). Psychometné Theoiy. McGrsw-Hill ínc., New York, 640 pág. THORNDME, R.L. e HAGEN, E. (1969). Measuretrient andEwiluation m Psychology and Edu-

ViANN.4, H.M. (1973). Testes em Educação. BRASA, São Paulo, 209 pQ. cation. 3! ed. John Wley, New York. 705 pág.

91

EDUCAÇAO E SELEÇAO

O primeiro número desta revista mo/1980), fora de comércio, reproduziu comuNcaçóes rea- lizadas em Seminsrio sob= “Acesso A Universidade: problemas de seieqTo”, realizado sob os auspfcios da Fundação Carlos chagas, em 14 e 15 de maio de 1980, conforme se vé pelo seu ín- dice, abaixo reproduzido: - APRESENTAÇÃO (Wma Fagundes Sanchez) - ACESSO A UNIVERSIDADE: seulsignificado e iniplicaçães(Ado1pho Ribeuo Netto) - ACESSO A UNIVERSIDADE E MUDANÇA EDUCACIONAL: a perspectiva do MEC (Ta.

- O VESTIBULAR NO CONTEXTO EDUCACIONAL (Manoel Luiz LeaO) - ACESSO A UNNERSiüADE: reflexão sobre problemas atuais (Heraido Marehn V i a ) - A UTILIZAÇKO DE PROVAS OBJETIVAS EM m G U A PORTUGUESA (Lygia Cméa Dias

- A LITERATURA BRASiLEIRA NOS CONCURSOS VESTIBULARES: Problemas de Avalia-

- A EWE&NCIA DA REDAÇKO NO ACESSO A UNIVERSDADE (Flávia de Barros

- AS EXPECTATIVAS DA UNIVERSIDADE E O ENSWO DE 20 GRAU ( m a Bninilda Çdo

Exempiares desse número ainda se encontram disponíveis nesta data: se o leitor se interessar em recebê-lo, basta solicitar medianie o envio do formuiário abaixo para:

císio Della Senta)

de Moraes)

ção ( h a u r i M. T. Sanchez)

Carone)

Laurito)

EDUCAÇÃO E SELEÇAO Fundação Cados Chagas Av. Rof. Francisco Morato, 1565 055 13 - São Paulo -- SP

.............................. < . . . . . . . . . _ . . . . . . . . . . . _ . . , (corte aqui)

EDUCAÇAO E SELEÇAO - Revista de estudos e pesquisas sobre seleção de recursos humanos. Desejo receber, sem qualquer despesa, o n? 1 de EDUCAÇÃO E SELEÇAO: Nome: Endesço:

Bairro: C.P. Fone: CEF? Cidade: Estado:

~ ~~

Composição, revisões tipográf~cas, arte fmal e fotolitos: Transtipo S/C Ltda. Rua Caiubi, 576 - Fone: 2624022 - CEP O5010 - Perdizes - SKo Paulo - SP. ImpressKo e acabamento: Rumo Grafca Editora Ltda. Rua Dr. Horácio da Costa, I-A. Fone: 216.9537 -Jardim V i Formosa - São Paulo - SP.

92

REVISTA de ESTUDOS e PESQUISAS sobre SELEGO de RECURSOS EiüMANOS JULHO de 1980 ANO I -

- MRESENTAÇKO ............................................................................................................ - ACESSO 2 IJNIVERSIDADE: aeu significado e implicações ...................... - ACESSO 2 UNIVERSIDADE e MUDANÇA EDUCACIONAL: a perspectiva

do M3C .......................... " ................................................................................................

Vilma Fagundes Çancher

Adolpho Ribeiro Netto

Tarcíaio Della Santa

DEBATES ................................................................................................................................ - O VESTIBULAR no CONTEXTO BDUCACXONAL .................................................. - ACESSO ?i UNIVERSIDADE: refl& aobce p m b l m atuais ....................

mnoei L U ~ E Leão

Eernldo Wirelim Vianna

DEBATES ................................................................................................................................ - A WTILIZAÇAO de PROVAS OEYETIYAS em LINGUA PORTUGUESA .......... - A LITERATURA I BRASILEIRA nos CONCURSOS VESTIBULARES: Proble-

m a de Avaliaçaa ........................................................................................................ Lygin Correa Dias de nlotaes

h u r i M.T. Sanchez

Fl6Via de Barros Carone

Ilka Brunilda Gallo Laurito

- A EXPERIENCIA de UEDAÇAü no ACESSO i UNIVERSIDADE .................... - AS EXPECTATIVAS da IJNIVERSIDAOE e o ENSINO DE 29 GRAU ..........

DEBATES ................................................................................................................................

- ~ 0 ~ ~ 1 n S a o e e k d a ç õ e s BO Seminário sobre Acesso ã Universidade .. - Participaates do Seminário sobre Acesso Wversid.de ............................

NVl

5

9

27

31

49

61

7 3

79

91

111

121

131

135 1 4 3

EDüCAÇAO E SELECAO -- nV 1 - julho de 1930

FUNDAÇsjb EARLOS CHAME DEZEMBRO 1980 NO 2

Editorial 3

A perspectiva das medidas referenciadas a critério ......................

...................................................... Vilma Fagundes Sanchez

5 Heraldo Marelim Vianna

Determina- da extensão dos testes referenciados a critérios ............. 15 Robert K. Walker

Identificação de interesses e prioridades de programas de treinamento em

Richard G. Wright, Maria Estela Da1 Pai Franco e Nilva Carmen Portal Bristoti serviço: o problema no Rio Grande do Sul ............................ 25

sidades brasileiras ............................................... 39 Aspectos metodológicos do processo de seleção para o ingresso nas univer-

Nicia M. Bessa

Seleção para residência médica: o problema em São Paulo ................ 57 G16ria Maria Ç. Pereira Lima

Seleção para programas de pós-graduação: - um projeto transnacional ...... 61 Heraldo Marelim Vianna

Entrevista: uma técnica eficaz de seleção? ............................ 65 Sílvia Cintra Franco

O computador e o ensino da prática de pesquisa em Ciências Sociais . ....... 71 David Michael Vetter

Valor real e valor proclamado da prova de redaçao no concurso vestibular .... 75 José Geraldo Teixeira

T t

FUNDAÇAO CARLOS CHAGASKAPES JULHO 81 NO 3

Apresentaç .................................................... 2

Sua Excelência, o Vestibular.. ..................................... 3 Cláudio de Moura Castro

Ponto de vista europeu sobre problemas de admissão B educação superior .... Alain Bienaymé

Centraliza& e descentraiizaçãa como determinantes da política educacional na República Federal da Alemanha.. ................................ 33 Jürgen Baumert e Dietrich Goldsrnidt

17

Projetando Programas de Pesquisa referentes ao acesso &educação superior ... 61 James A. Perkins

Educação Superior no México: desenvolvimento e acesso. ................ Esteban Hernandez Perez e Jod Manuel Trujillo Cedillo

69

Qualidade do ensino, avaliação do aprendizado e acesso B Univerdade ...... 81 Adolpho Ribeiro Neto

O vestibular como instrumento de diagnóstico e de planejamento educacional Carlos Alberto Serpa de Oliveira

Mecanismos da escolha na carreira e estrutura social da universidade ........ Sérgio Costa Ribeiro

85

93

O vestibular na Universidade Federal do Ceará - novo modelo.. ........... 105 Raimundo Alberto Normando, Viliberto Cavalcante Porto e Mauro Villar de Queiroz

Recomendações e conclusões do Seminário sobre Acesso ao Ensino Superior 11 1

%I&k para a Universidade: - informe bibliográfico .................... 113 Heraldo Marelim Viana

Relação dos participantes do Seminário sobre Acesso ao Ensino Superior.. ... 119