sistema de avaliação para testes informatizados (sapi...

PSIC - Revista de Psicologia da Vetor Editora, v. 6, nº 2, p. 51-60, Jul./Dez. 2005 51

Sistema de avaliação para testes informatizados (SAPI): estudo preliminar

Maria Cristina Rodrigues Azevedo Joly- Universidade São Francisco1

Gisele Mueller Roger Welter- Universidade São FranciscoRonei Ximenes Martins - Centro Universitário do Sul de Minas

Janete Marini - Universidade São FranciscoJosé Maria Montiel- Universidade São Francisco

Flávia Lopes- Universidade São FranciscoMarlene Ribeiro de Carvalho – Instituto de Ensino Superior Irineu Evangelista de Souza

ResumoO presente estudo visou a realizar a validação de conteúdo de um sistema de avaliação de testes informatizados.Participaram 12 especialistas, sendo seis profissionais da área de avaliação psicológica e seis de tecnologia da informação.Há o mesmo número de participantes por sexo, com idade média de 38 anos. O instrumento tem 42 perguntas, sendo21 abertas. Os itens referem-se à avaliação psicológica (18 itens ), a aspectos técnicos da informatização de testes (14itens ) e a características gerais (10 itens ). Das 26 sugestões de alterações feitas pelos juízes, 16 foram incorporadas aoinstrumento. Verificou-se uma correlação moderada significativa de 0,40 entre os juizes considerando-se todo o conjuntode itens. Identificou-se correlação alta e significativa de 0,626 entre os itens de avaliação psicológica e os gerais e muitoalta e significativa de 0,866 para itens de tecnologia e gerais. Observaram-se variações em função da idade para os itensgerais e os relativos à tecnologia.Palavras-chave: avaliação informatizada; psicometria; tecnologia.

Assessment system of computer-based test (ASCBT): preliminary study

AbstractThis study aims to search for sources of validity evidence based on test content from an assessment system ofcomputer-based tests. 12 experts were subjects on this study. Half of them were professionals in the psychologicalevaluation area and the other half were from the information technology area. The number of subjects is equally dividedinto men and women, with an average age of 38 years. The instrument consists of 42 questions, 21 of which are openedones. The items refer to the psychological evaluation (18 items), to technical aspects of the computer-based tests (14items) and to general characteristics (10 items). From 26 experts‘ suggestions, 16 were attached to the instrument.Theresults showed a significant moderate correlation of 0,40 between the experts, considering all the items. A high andsignificant correlation of 0,626 was observed between the psychological evaluation items and the technology ones. Aneven higher correlation of 0,866 appeared for technology and global items. It was also observed variations due to theage for the global items and the ones related to technology.Keywords: informatics’ evaluation; psychometric; technology.

Endereço para correspondência:1 Rua Alexandre Rodrigues Barbosa, 45 – 13251-900 Itatiba, SP – [email protected].

Considerações sobre testes informatizados

As tecnologias da informação e comunicação as-sinalaram à psicologia novas condições de testagem,usando instrumentos informatizados (Olea & Hontangas,1999). No Brasil os testes psicológicos usados em ava-liação são instrumentos de uso por excelência dospsicólogos, de acordo com a lei nº 4.119, de 1962, queregulamenta a profissão. Estes estão incluídos no pro-cesso de avaliação psicológica juntamente com as

demais informações pertinentes coletadas pelo psicó-logo.

De acordo com Olea e Hontangas (1999), as pri-meiras experiências com os testes psicológicos infor-matizados datam da década de 1930, tendo comoobjetivos agilizar a correção e determinar escores cominterpretação não contaminada pela experiência do exa-minador. Sobretudo na década de 1980 houve grandedesenvolvimento de várias versões informatizadas detestes de lápis e papel. Estudos feitos por esses autores

52 Maria C. R. A. Joly, Gisele M. R. Welter, Ronei X. Martins, Janete Marini, José M. Montiel, Flávia Lopes, Marlene R. Carvalho

PSIC - Revista de Psicologia da Vetor Editora, v. 6, nº 2, p. 51-60, Jul./Dez. 2005

demonstraram que, comparando os resultados obtidosnos testes informatizados com testes convencionais, ostestandos tendem a ser mais honestos e sinceros emrelação a temas pessoais na versão informatizada.Apesar disso, observaram que há ansiedade maior dostestandos em relação a provas de desempenho quandorealizadas na versão informatizada.

Ressalta-se, no entanto, que o grande uso que setem feito da informática não está diretamente ligado àaplicação do teste e sim ao uso dos aplicativos de cor-reção. O uso de programas para obtenção de resulta-dos estatísticos tem sido de grande valia para ospsicólogos que têm grande parte de seu trabalho re-duzido (Muñiz & Hambleton, 1999).

Para Almeida (1999), o aumento da demanda por tes-tes informatizados e a crescente sofisticação dos produ-tos nessa área, tornam cada vez mais importante oestabelecimento de diretrizes normativas para o desen-volvimento, a distribuição, o uso e a realização de testespor meio de aplicativos ou via internet. O crescente inte-resse em avaliações psicológicas informatizadas deveconsiderar tanto as questões éticas quanto as proprieda-des psicométricas dos instrumentos, de forma que os pres-supostos de medida em psicologia sejam respeitados,conferindo validade e precisão aos resultados obtidos.

Em relação aos aspectos éticos, as avaliações psi-cológicas informatizadas devem seguir as mesmasorientações de uma tradicional. Esses devem consti-tuir o referencial básico na relação social e na cons-trução da cidadania, possibilitando que as investigaçõespsicológicas tenham objetivos claros e pertinentes quepossam definir a prática profissional adequada emqualquer âmbito de atuação (Batram, 1998; CFP, 2001;International Test Commission, 2001).

Diretrizes gerais para testes informatizados

As diretrizes da International Test Comission – ITC(2005) estabelecem que os testes informatizados e viainternet devem ter adequação para diferentes usos,orientando tanto a avaliação off-line como on-line,seja ela realizada por meio do uso de aplicativo emCD-Rom ou de download de executável. Estas po-dem contemplar tanto a avaliação plena quanto par-cialmente informatizada, por solicitação de terceirosou por interesse do próprio testando.

As diretrizes do ITC (2005) específicas para tes-tes informatizados, são subdivididas por área de inte-resse. Estas levam em consideração o profissional que

desenvolve o teste, o editor do teste e o usuário doteste. Abordam questões técnicas e tecnológicas, ou-tras relativas à qualidade do teste informatizado off-line e on-line, referentes aos níveis de controle sobrea avaliação informatizada e pertinentes à segurança eprivacidade.

Quanto ao modo de aplicação, a ITC (2005) dife-rencia quatro possibilidades. A aplicação aberta queé sem supervisão humana direta durante sua realiza-ção; aplicação controlada, na qual é necessária aidentificação do usuário e senha de acesso para serrealizada e também não conta com supervisão direta;aplicação supervisionada, conta com supervisão du-rante a aplicação e implica autenticação da identida-de do testando, requerendo permissão de acesso dotestando ao teste, sua realização e conclusão; aplica-ção administrada, com elevada supervisão e contro-le sobre a situação de teste, desde o acesso até asegurança dos dados, qualificação dos aplicadores eespecificações técnicas dos equipamentos.

Na perspectiva de Kingsburry e Houser (1999),independentemente do tipo de teste informatizado quese esteja considerando – versão informatizada dos tes-tes convencionais de lápis e papel ou testes adaptati-vos – deve-se destacar que estes requerem menostempo para a aplicação, reduzem a possibilidade decópia, permitem que as condições de aplicação sejamsemelhantes para todos os avaliados, ampliam a amos-tra com facilidade de acesso, armazenam diferentestipos de informações em banco de dados e reduzemcustos. No tocante à interpretação de resultados, per-mitem-se além de descrições precisas dos dados, re-lações entre os dados por análise inferencial, sobdiferentes condições, entre outras facilidades. É im-portante salientar que um dos pontos mais relevantesé que há investigações relativas a determinados cons-trutos de difícil mensuração que só puderam vir a serfeitas pelo uso de instrumentos informatizados (Wall,2000; Bennett, 2001).

No Brasil, o número reduzido de artigos sobre oprocesso de avaliação das características e critériospsicométricos dos instrumentos, bem como de estu-dos sobre qualquer patente universitária de materialinformatizado, é apontado por Alchieri e Nachtigall(2003) Avaliam esses dados como uma situação quesugere o desconhecimento por parte dos psicólogosdas vantagens da avaliação informatizada.

Nesse mesmo sentido, Almeida (1999) consideraque a falta de estudos nessa área tende a gerar des-

Sistema de avaliação para testes informatizados (SAPI): estudo preliminar 53


confiança e descrédito quanto aos procedimentos deavaliação com suporte informatizado. Destaca a ne-cessidade de os profissionais e de os centros forma-dores em psicologia se adequarem aos processos deavaliação informatizada, acompanhando os avançostecnológicos e o desenvolvimento nas demais áreasde investigação.

Joly e Noronha (2003), em texto sobre a construçãode testes de avaliação psicológica informatizada, rela-tam que essa área tende a crescer muito rapidamente.Fazem necessários, para que se acompanhe essa ten-dência, o desenvolvimento de estudos de validação e apadronização de testes informatizados para que pos-suam a qualidade necessária para sua utilização.

Considerando, pois, que há pouca utilização dos tes-tes informatizados no Brasil, há falta de informaçãosobre tais instrumentos, além da carência de estudoscientíficos disponíveis na literatura específicos, aliadosà necessidade de caracterizarem-se os instrumentosbrasileiros disponíveis, este estudo analisa um instru-mento construído para análise de testes informatizadossegundo os padrões da International Test Commission(2001, 2005) para testes psicológicos informatizados.

Método

InstrumentoA construção da primeira versão do instrumento

denominado Sistema de avaliação de testes informa-tizados (SAPI), cujo objetivo é analisar e caracterizarinstrumentos de avaliação psicológica informatizada,foi realizada mediante consulta bibliográfica e análisepor juízes. Os materiais bibliográficos utilizados (Adá-nez, 1999; Conselho Federal de Psicologia, 2003; In-ternational Test Commission, 2001, 2005; Joly &Noronha, 2003; Lima, 2004; Muñiz, 1996; Noronha,2005; Olea, Ponsoda & Prieto,1999; Pasquali & Alves,1999; Sternberg & Grigorenko, 2002) determinamnormas e procedimentos para construção de um ins-trumento de avaliação dessa natureza.

Construção de itensA elaboração dos itens do SAPI considerou a base

conceitual e populacional para o instrumento, bem comoo contexto social de utilização. Os processos estrutu-rais lógicos implícitos na composição e seqüência deelementos estão expressos em questões e itens desti-nados à caracterização da avaliação psicológica emgeral e, em específico, para a avaliação informatizada.

Cabe ressaltar que tem como objetivo específicoabordar três aspectos de suma importância para o tipode avaliação à qual está proposta, ou seja, característi-cas psicométricas e de especificação do instrumento,questões técnicas e níveis de controle. Foram propos-tos itens para análise das qualidades psicométricas deum teste informatizado, seja ele usado off-line ou on-line, bem como a necessidade de capacitação técni-ca para o uso adequado desse tipo de avaliação.Solicitam-se informações acerca dos critérios de cor-reção, análise, interpretação e apresentação dos re-sultados, de maneira a proporcionar universalizaçãode acesso a toda população. No que se refere às ques-tões técnicas e tecnológicas há de se considerar asespecificações de hardware e software, a importân-cia do fator humano ao lidar com o teste informatiza-do e a utilização por pessoas com necessidadesespeciais. Questões relativas aos níveis de controlereferem-se às condições de aplicação, necessidadede supervisão, treino e demonstração antecipada dositens que compõem a avaliação, autenticidade da iden-tidade do avaliando e possíveis problemas relaciona-dos a fraudes e aspectos relativos à segurança e àprivacidade, como material do teste. Informações so-bre o processo de transferência de dados pessoaisgarantindo sigilo aos resultados também estão presen-tes no instrumento (International Test Commission,2005, Sternberg & Grigorenko, 2002).

Considerando-se que é necessário ter objetividadee precisão em instrumentos de avaliação, os itens sãoconstituídos por algumas questões fechadas (dicotô-micas e múltipla escolha) e outras abertas, cujas res-postas expressam a presença ou ausência doselementos avaliados. A linguagem adotada procurouser clara tanto do ponto de vista formal quanto dostermos técnicos relativos à avaliação psicológica einformática. Para tanto, cada item solicita apenas umtipo específico de informação a ser fornecida pelorespondente (Pasquali, 1999).

Dessa forma, o SAPI foi composto por 42 pergun-tas, sendo 21 abertas e de 21 fechadas. Quinze per-guntas contemplam as características gerais doinstrumento, tendo por base a resolução 002/2003 doConselho Federal de Psicologia (2003) e as orienta-ções de Lima (2004) e Pasquali (1999). Quanto a in-formações específicas sobre o instrumento (quinzeperguntas), todos os itens foram elaborados com baseem International Test Commission (2001), Joly eNoronha (2003) e Noronha (2005). Em relação às ca-



racterísticas técnicas mencionadas no instrumento, ouseja, informações referentes e relacionadas ao aspectode informatização (12 perguntas), estas foram basea-das em Adánez (1999), Butcher, Perry e Atlis (2000),International Test Commission (2005), Olea, Ponsodae Prieto (1999), Olson-Buchanan e Drasgow (1999)e Strenberg e Grigorenko (2002).

Pretende-se identificar, com base nas respostas da-das ao SAPI, tanto a forma de aplicação do instrumen-to, isto é, individual ou coletiva, quanto as modalidadeseletrônicas, realizadas pela internet, por meio do uso deaplicativo em CD-Rom ou por download executável.Estas podem contemplar tanto a avaliação plenamenteinformatizada, como aquela que é parcial (InternationalTest Commission, 2001, 2005; Pasquali, 1999).

Análise do instrumento por juízesAdánez (1999) recomenda que quando se trata de

uma primeira versão de um instrumento de avaliaçãohá necessidade de aplicação deste em uma amostrapopulacional (juízes) considerada especialista na áreapara realizar adequado julgamento dos itens do instru-mento. Isso é necessário para que se possa verificarse os itens desenvolvidos e a forma de respondê-lossão compreensivos e pertinentes aos objetivos pro-postos, possibilitando aplicação adequada. A avalia-ção por juízes visa a assegurar aspectos relevantesde validade dos instrumentos (Muñiz, 1996).

ParticipantesNo estudo participaram como juízes seis psicólo-

gos, de ambos os sexos, especialistas em área de cons-trução, padronização, validação e revisão deinstrumentos de avaliação psicológica. Contou-se tam-bém com seis especialistas em tecnologias da infor-mação e comunicação (Tabela 1).

Tabela 1 – Distribuição dos dados de identificação dos juízes

O grupo de juízes constituiu-se igualmente por ho-mens e mulheres, com idade média de 38 anos. Amaioria deles é doutor e a metade deles se distribuiigualmente entre graduados e mestres, com a partici-pação de um pós-doutor. O tempo médio de formadoé de 16 anos, com mínimo de dois anos e máximo de30 anos (DP=7,72).

Procedimento de aplicação do SAPIFoi solicitado aos juízes que analisassem os itens

do SAPI considerando a linguagem, pertinência eadequação do item ao tópico a que pertence (identifi-cação, características psicométricas, aspectos espe-cíficos e técnicos do instrumento). Os protocolos doSAPI forem entregues aos juízes que procederam àanálise individualmente. Anotaram, no próprio instru-

mento, seus comentários e sugestões. O tempo médioentre a entrega e devolução dos protocolos foi de umasemana.

Resultados e Discussão

A análise das respostas, dos comentários e dassugestões dadas pelos juízes aos protocolos do SAPIdividiram-se em três categorias: os itens específicosreferentes à avaliação psicológica, os de caráter téc-nico relacionados aos testes informatizados e os ge-rais que se referem tanto à avaliação psicológicaquanto à informatização. Usaram-se para essa clas-sificação os critérios explicitados por Adánez (1999),Olea, Ponsoda e Prieto (1999) e International TestCommission (2001, 2005).

oãçacifitnedIedsodaD N %

oxeS oninimeF 6 05onilucsaM 6 05

edadI63-52 5 5,1454-73 5 5,1455-64 2 71

odamrofedopmeT sona01étA 3 5202-01 6 05

oãçalutiT

02edsiaM 3 52odaudarG 3 52ertseM 3 52rotuoD 5 5,14rotuod-sóP 1 5,8



Os itens classificados como específicos da avaliaçãopsicológica referem-se às características de construçãodo teste e suas qualidades psicométricas. São 18 itensno total. Dos especialistas em avaliação psicológica, 14referências a alterações para 50% desses itens foramfeitas enquanto os especialistas de tecnologia da infor-mação sugeriram 10 mudanças para 38% das questões.O item que contou com mais sugestões foi o 2.5.3 - Os

itens do instrumento são de que tipo?. As alternativasde resposta são pareamento, resposta aberta, dicotomia,múltipla escolha, escala, questionário, inventário e bancode itens (Tabela 2). A principal ressalva feita pelos doistipos de especialistas foi relativa à falta de conceituaçãodas alternativas apresentadas. Tal dado reforça a posi-ção de Pasquali (1999) no tocante à objetividade da lin-guagem para descrição dos itens.

Tabela 2 – Freqüência de indicações de análises dos juízes para itens específicos referentes à avaliaçãopsicológica

Tabela 3 – Alterações sugeridas pelos juízes para itens específicos referentes à avaliação

ºNmetI

metI satsilaicepsEoãçailava

)6=N(acigólocispadaigoloncet)6=N(oãçamrofni

aretla aretlaoãn aretla aretlaoãnN % N % N % N %

5.1 ?adatpadaoãsrevamuéotnemurtsni 1 7,61 5 3,38 0 001 0 0011.5.1 lanigirootnemurtsniodemon 0 001 0 001 0 001 0 0012.5.1 lanigirootnemurtsniodoãçacilbup 0 001 0 001 0 001 0 0013.5.1 lanigirootnemurtsniodrotua 0 001 0 001 0 001 0 0014.5.1 lanigirootnemurtsniodrotide 0 001 0 001 0 001 0 0015.5.1 lanigirootnemurtsniodsíap 0 001 0 001 0 001 0 001

1.2 otnemurtsniodociróetlaicnerefer 0 001 0 001 0 001 0 0012.2 otnemurtsniodosued)s(aerá 2 3,33 4 6,66 0 001 0 0014.2 oirótaleredsopit 1 7,61 5 3,38 0 001 0 0012.5.2 otnemurtsniodsnetisoraziretcarac 1 7,61 5 3,38 2 3,33 4 6,663.5.2 otnemurtsniodsnetiedopit 3 05 3 05 2 3,33 4 6,66

8.2 otnemurtsniodoãçalupop 1 7,61 5 3,38 1 7,61 5 3,389.2 otnemurtsniodoãçerroc 0 001 0 001 1 7,61 5 3,3801.2 otnemurtsniodserocsesodoãçnetbo 0 001 0 001 2 3,33 4 6,6611.2 serocsesodoãçaterpretni 0 001 0 001 1 7,61 5 3,3821.2 otnemurtsnimocsodazilaersodutse 1 7,61 5 3,38 0 001 0 00131.2 sodazilaersodutseratic 1 7,61 5 3,38 0 001 0 0016.3 sacisífsaicnêicifededserodatroparapodatpadaotnemurtsni 2 3,33 4 6,66 1 7,61 5 3,38

metiºN ziuJ sadiregusseõçaretlA5.1 PA adizudartoãsrevarapmetirairC2.2 PA atsopseredsavitanretlasàaeráartuoratnecsercA4.2 PA soirótaleredsopitratiC2.5.2 PA snetiedsopitratsiL3.5.2 PA savitanretlasaridiviD

PA metiortuomesavitanretlasarapurgAIT avitanretlaadacrinifeD

8.2 PA 3.2metimocaicnêüqesracorT21.2 PA metiodlanifoaoãçagorretniratnecsercA

PA iesoãnatsopseredavitanretlaratnecsercA31.2 PA sodicehnocsodutsesosodotrevercseD



As sugestões dadas pelos especialistas, descritasna Tabela 3, foram incorporadas ao SAPI a fim dedar maior clareza aos itens, como propõe Pasquali(1999). Além disso, é importante garantir que haja

compreensão por parte dos respondentes de todos osconceitos presentes no instrumento a fim de evitardescrédito aos procedimentos informatizados comoenfocam Almeida (1999) e Alquieri (2003).

Tabela 4 – Freqüência de análises dos juízes para itens específicos referentes a testes informatizados

Constata-se na Tabela 4 que o item 3.4 - Há supor-te técnico operacional?, com alternativa sim ou nãode resposta, foi o único a não ter indicação de altera-ções. Os demais itens tiveram indicações dos especia-listas, sendo que no geral houve 77% de sugestões dosespecialistas de tecnologia da informação (TI) e 50%dos de avaliação psicológica (AP). O item 3.5 - Hátolerância a panes em tempo de execução como re-curso do software?, foi o que obteve o maior númerode sugestões para alteração. Pode-se notar que a preo-cupação dos juízes de TI referiu-se a aspectos técnicosda informatização do instrumento, enquanto os de APsugeriram mais alterações em itens que necessitavamde conceituação por desconhecerem terminologia técni-ca ou que se referiam à relação do testando com asituação de testagem.

Considerando-se que o item 3.4 teve indicaçõesde várias alterações, ele foi reformulado, acatando-seas sugestões dos juízes. Passou a ser enunciado comoEm caso de interrupção do processo de respostaao teste, as informações são salvas pelo progra-ma? As sugestões para os itens 3.3.2 e 3.9 foramintegralmente incorporadas ao SAPI.

Serão destacadas e justificadas as sugestões dosjuízes que não foram atendidas. No item 1.6 - Quan-to à forma de informatização, assinale a catego-ria que melhor descreve o teste, trocou-se teste porinstrumento. Não se acatou o termo psicológico por-que algumas avaliações informatizadas podem não serde caráter exclusivo psicológico, como as psicoedu-cacionais, por exemplo. Também não foi alterado oenunciado desse item, pois, se o fosse, o objetivo daquestão seria modificado.

Para os itens 1.7 - Há emissão automática delaudo?, 2.7 - Qual a condição de aplicação doinstrumento?, 3.3.1 - Quanto à disponibilidadedo instrumento para o usuário, ela é feita pormeio de rede, 3.7.1 - Qual o nível de conhecimen-to técnico requerido do usuário? e 3.8 - Quantoaos aspectos de segurança, não foram feitas alte-rações porque as indicações não eram pertinentes nempara objetivar a linguagem, nem para melhor conceituaro item (Adánez, 1999; International Test Commission2005).

Quanto aos itens 3.1 e 3.2 que se referem às ca-racterísticas de equipamento necessário para instalar

ºNmetI

metI satsilaicepsE

PAacigólocispoãçailava)6=N(

oãçamrofniadaigoloncetIT)6=N(


6.1 oãçazitamrofniedamrof 2 3,33 4 6,66 2 3,33 4 6,667.1 ?odualedacitámotuaoãssimeáH 1 7,61 5 3,38 0 001 0 0017.2 oãçacilpaedoãçidnoc 2 3,33 4 6,66 1 7,61 5 3,381.3 erawdrahedsotisiuqer-érp 1 7,61 5 3,38 0 001 0 0012.3 erawtfosedsotisiuqer-érp 1 7,61 5 3,38 0 001 0 0011.3.3 eder-oiráusuoarapedadilibinopsid 1 7,61 5 3,38 0 001 0 0012.3.3 lacol-oiráusuoarapedadilibinopsid 0 001 0 001 2 3,33 4 6,66

4.3 oãçucexeedopmetmesenapaaicnârelotáH?erawtfosodosruceromoc 2 3,33 4 6,66 3 05 3 05

5.3 ?lanoicarepoocincétetropusáH 0 001 0 001 0 001 0 0011.5.3 ocincétetropusoãçaziretcarac 1 7,61 5 3,38 2 3,33 4 6,66

7.3 oiráusuodocincétotnemicehnoc 1 7,61 5 3,38 1 7,61 5 3,381.7.3 oiráusuodocincétotnemicehnoc 1 7,61 5 3,38 0 001 0 001

8.3 açnarugesedsotcepsa 3 05 3 05 1 7,61 5 3,389.3 snetisoaatsopseradecafretni 0 001 0 001 1 7,61 5 3,38



o teste (hardware) e de programação (software),permaneceram com questões abertas, pois tais espe-cificações são próprias e típicas para cada teste. Es-ses itens são determinantes para responder os itens3.7 e 3.7.1 sobre experiência técnica requerida quetambém se mantiveram iguais.

Cabe salientar que, entre as sugestões dadas paraestes itens relativos a aspectos técnicos de informáti-ca, as de fato mais acatadas foram as dadas pelosjuízes de tecnologia da informação (Tabela 5). As de-mais, feitas por especialistas em avaliação psicológi-ca se configuraram mais como dúvidas do que como

Tabela 5 – Alterações sugeridas pelos juízes por item referente aos testes informatizados

metiºN ziuJ sadiregusseõçaretlA6.1 PA odazitamrofnietnemlaicrap;odazitamrofnietnemlatotetset-ratnecsercA

PA ovitacilpaedopitracificepsEIT socigólocispsotnemurtsniarapetsetraduMIT oirótalereodatluser,oãçerroc,oãçacilpameodazitamrofnietseTIT ropoãçazitamrofniedamrofàotnauQracorT otnemurtsniedopitoaotnauQ

ovitatpadaetsetrinifeD7.1 PA odualedavitatpooãssime:oãçporatnecsercA7.2 PA ralumrofer;airogetacamsemadresmecerapoãnsavitanretlasA

IT/PA adadajesatsopseredavitanretlaamuedsiameuqratilibissoPIT ropoiráusuracorT rodacilpa

1.3 PA sadahcefseõtseuqralumroF2.3 PA sadahcefseõtseuqralumroF1.3.3 PA siaugioãssnetisO

IT arapoiráusuoarapotnemurtsniodedadilibinopsidàotnauQedraduM otnauQoiráusuoarapotnemurtsniodoãçacilpaà

2.3.3 IT araplacoloãçalatsnIedraduM erawtfosodoãçalatsniàotnauQ4.3 PA sadivlovnesedsenapasaicnârelotsaoãssiauqranoitseuQ

PA ropenapraduM samelborpIT aicnârelotomretraduMIT metiodsovitejboracatseDIT saicnêüqesnocedesilánAIT ratnecsercA seõçamrofniedoãçarepucerededadilibissopáhIT ratnecsercA seõçamrofniedadrepededadilibissopáh

1.5.3 PA lauqratsiLPA ortuoorailixuAPA atsopseredavitanretlaomocoãçurtsniedlaunamratnecsercAIT ropetsetracorT erawtfosIT tenretnIaivotnemidneta,ocifárgeletotatnocomocsavitanretlaratnecsercAIT mébmatliam-erop;oãnuoavitaretniratnecsercA

7.3 PA ocincétotnemicehnocedopitorinifeDIT ?lanoissiforpotnemicehnoC

1.7.3 PA raretla–ovitejbusmetIPA atsopseredavitanretlaadacrautiecnoC

8.3 IT/PA atsopseredavitanretlaadacrautiecnoCPA avitanretlaratnecsercA otcepsaortuoIT atsopseredavitanretlaadacridividbuS

9.3 IT riresnI neercshcuot aletaneuqotavitanretlaadodaloasesetnêrapertne



sugestões. Isso reforça a necessidade de validaçãode conteúdo de instrumentos por especialistas paraposteriores estudos exploratórios de validação (Anas-tasi & Urbina, 2000).

Os itens indicados para alterações referem-se ainstruções relativas à instalação, aplicação, correção

e laudos. As análises referiam-se a formato e seqüên-cia de apresentação dos itens (Tabela 6). Todas assugestões dadas (Tabela 7) foram acatadas porquepossibilitaram uma padronização, uniformidade e or-ganização desses itens no instrumento, com exceçãoda indicada no item 2.6 porque este não era repetido.

Tabela 6 – Freqüência de análises dos juízes para itens gerais

Tabela 7 – Alterações sugeridas pelos juízes por item referente aos aspectos gerais de avaliação psicológicae testes informatizados

metiºN ziuJ sadiregusseõçaretlA

8.1 PA ropotnemihcneerpedseõçurtsnisAraretlA uootnemihcneerpedseõçurtsnisAoãçacilpa

PA 01.1e9.1,8.1snetisonsatsopseredsairogetacsamsemsaracoloCPA oãçazilituedseõçurtsniedotnemihcneerpedseõçurtsniraicnerefiD

PA atsen)8.1(otnemihcneerpe)9.1(oãçazilitu,)01.1(oãçalatsniedsnetisoracoloCaicnêüqes

PA edoiemropsaditbooãsotnemurtsniodotnemihcneerpedseõçurtsnisAraretlArop doiemropsadicenrofoãsotnemurtsniodoãçacilpaedseõçurtsnisA e

PA ortuo,eteuqsid,DCratnecsercaadazitamrofnioãsrevatsopseraN9.1 IT/PA 8.1metioasatsoporpatsopseredseõçposamsemsaratnecsercA

IT olepetsetodoãçazilituarapseõçurtsniedlaunaMarapraretlA rodacilpa01.1 IT ;8.1metioasatsoporpatsopseredseõçposamsemsaratnecsercA

IT ropetsetonosulcniatsopserraduM enilnoplehotamrofonerawtfosonosulcniIT ropedermelevínopsiDatsopserraduM tenretnianlevínopsiDIT rinifeD enilno aletanodargetni,aduja,

4.2 PA soirótaleredsopitratiC6.2 IT/PA 8.1oalaugi;oditepermetI

PA 8.1arapotsoporpomocsavitanretlasasadotriulcnI

ºNmetI

metI satsilaicepsE

)6=N(acigólocispoãçailava oãçamrofniadaigoloncet)6=N(


1.1 otnemurtsniodemon 0 0 6 001 0 0 6 0012.1 )se(rotua)s(odemon 0 0 6 001 0 0 6 0013.1 )se(rotide)s(odemon 0 0 6 001 0 0 6 0014.1 otnemurtsniodoãçacilbupedatad 0 0 6 001 0 0 6 0018.1 otnemihcneerpedseõçurtsni 3 05 3 05 1 7,61 5 3,389.1 oãçazilituarapseõçurtsniedlaunam 3 05 3 05 2 3,33 4 6,6601.1 oãçalatsniarapseõçurtsniedlaunam 3 05 3 05 2 3,33 4 6,664.2 sodaregsoirótaleredsopit 2 3,33 4 6,66 0 0 6 0015.2 snetiedºn 0 0 6 001 0 0 6 0016.2 otnemihcneerpedseõçurtsni 3 05 3 05 2 3,33 4 6,66



Verificou-se uma correlação moderada significati-va de 0,40 para o nível de 0,05 entre os juízes conside-rando-se todo o conjunto de itens. Não se observoucorrelação significativa por categoria de item para cadatipo de especialista. Isso pode indicar que, apesar daespecificidade dos itens referentes à informatizaçãodos testes, não se observou, para o presente estudo,relação entre a especialidade do juiz e sua avaliaçãode conteúdo do instrumento.

Identificaram-se uma correlação alta e significati-va de 0,626 (α= 0,05) entre os itens de avaliação psi-cológica e os gerais e uma muito alta e significativade 0,866 (α= 0,05) para itens de tecnologia e gerais.Esses índices revelam que provavelmente há uma re-lação entre os itens, fato a ser investigado em estudosfuturos de caráter exploratório.

A média das análises feita pelos juízes revelou varia-ções em função da idade para os itens gerais (F= 40,313;p= 0,006; gl= 8; α= 0,05) e os relativos à tecnologia (F=13,575; p= 0,028; gl= 8; α= 0,05). Para a titulação dosjuízes, observou-se uma variância marginal também paraos itens de tecnologia (F= 13,575; p= 0,083; gl= 3; α=0,05). Não se revelaram diferenças para tempo de for-mado, sexo e especialidade profissional.

Considerações finais

Tendo-se construído o SAPI com base em critérioscientíficos tanto para avaliação psicológica quantopara testes informatizados propostos especialmentepela ITC (2001a, 2001b, 2005) foi verificado, pela aná-lise de conteúdo, por juízes especialistas das duas árease a correlação, constatada entre os itens, que é viávelsua utilização. Das 26 sugestões de alterações feitaspelos juízes, 16 foram incorporadas ao SAPI, que passaa ter uma versão reformulada (Anexo I). Suas caracte-rísticas psicométricas serão exploradas em estudosfuturos. Pretende-se aplicar ao SAPI, para análise deinstrumentos informatizados disponíveis no Brasil, tan-to os que se encontram em construção quanto os quejá estão em uso.

Referências

Adánez, G. P. (1999). Procedimientos de construcción y análisede tests psicométricos. Em: S. M. Wechsler & R. S. L.Guzzo (Orgs.), Avaliação Psicológica: PerspectivaInternacional (pp. 57-100). São Paulo: Casa do Psicólogo.

Alchieri, J. C. & Nachtigall, V. B. (2003). Testes PsicológicosInformatizados: a situação brasileira. Boletim dePsicologia, 3 (119), 187-200.

Almeida, L. S. (1999). Avaliação psicológica: exigências edesenvolvimentos nos seus métodos. Em: S. M.Wechsler & R. S. L. Guzzo (Orgs.), Avaliaçãopsicológica: perspectiva internacional (pp. 41-56).São Paulo: Casa do Psicólogo.

Anastasi, A. & Urbina, S. (2000). Testagem psicológica.Porto Alegre: Artmed.

Bartram, D. (1998). The need for international guidelines onstandards for test use a review on European andinternational initiatives. European Psychologist, 3, 155-163.

Bennett, R. E. (2001). How the Internet will help large-scaleassessment reinvent itself. Education Policy AnalysisArchives. Disponível em: http://epaa.asu.edu/epaa/v9n5.html Acessado em 28/11/2005.

Butcher, J. N., Perry, J. N. & Atlis, M. M. (2000). Validity andutility of computer-based test interpretation.Psychological Assessment, 12 (1) 6-18.

Conselho Federal de Psicologia (2001). Resolução nº 25/2001 do Conselho Federal de Psicologia. Disponívelem: http://www.pol.org.br. Acessado em 15/05/2005.

Conselho Federal de Psicologia (2003). Resolução CFP nº002/2003. Disponível em: http://www.pol.org.br/.

International Test Commission – ITC (2000). ITCInternational Test Commission. Disponível em: http://www.intestcom.org/. Acessado em 23/03/2005.

International Test Commission – ITC (2001a) InternationalTest Commission. Guidelines on adapting tests.Disponível em: http://www.intestcom.org/.

International Test Commission – ITC (2001b) InternationalTest Commission. Guidelines on adapting tests.Disponível em: http://www.intestcom.org/.

International Test Commission – ITC (2005) InternationalTest Comission. Guidelines on computer-based andinternet-delivered testing. Disponível em: http://www.intestcom.org/. Acessado em 28/02/2005.

Joly, M. C. R. A. & Noronha, A. R. P. (2003). Construção deinstrumentos informatizados (manuscrito).

Kingsburry, G. G. & Houser, R. L. (1999). Developingcomputerized adaptive tests for school children. Em F.Drasqiw & J. B. Olson-Buchanan (Orgs.), Innovationsin computerized assessment (pp. 93-115). New Jersey:Laurence Erlbaum Associates, Publishers.

Lima, O. M. P. (2004). Construção de um instrumento deavaliação da qualidade de testes psicológicos.Dissertação de mestrado, Universidade São Francisco,Itatiba.

Muñiz, J. (1996). Psicometria. Madrid: Editorial Universitas.Muñiz, J. & Hambleton, R. K. (1999). Evaluación

psicométrica de los tests informatizados (pp. 23-30).Em J. Olea, V. Ponsod & G. Prieto (Orgs.), Testes



Sobre os autores:Maria Cristina Rodrigues Azevedo Joly é psicóloga, doutora em Psicologia Educacional e do Desenvolvimento Humano e docente naGraduação e Pós-graduação em Psicologia da Universidade São Francisco.Gisele Mueller Roger Welter é psicóloga, mestranda em Avaliação Psicológica pela Universidade São Francisco.Ronei Ximenes Martins é mestre em Engenharia, doutorando em Avaliação Psicológica pela Universidade São Francisco e docente daGraduação e Pós-graduação do Centro Universitário do Sul de Minas.Janete Marini é pedagoga, mestranda em Avaliação Psicológica pela Universidade São Francisco.José Maria Montiel é psicólogo, mestre e doutorando em Avaliação Psicológica pela Universidade São Francisco e bolsista CAPES.Flávia Lopes é psicóloga, mestranda em Avaliação Psicológica pela Universidade São Francisco e bolsista CAPES.Marlene Ribeiro é psicóloga, mestranda em Avaliação Psicológica pela Universidade São Francisco e docente do Instituto de EnsinoSuperior Irineu Evangelista de Souza.

Recebido em: agosto/2005Revisado em: novembro/2005Aprovado em: dezembro/2005

informatizados: fundamentos y aplicaciones (pp. 23-52). Madrid: Ediciones Pirámide.

Noronha, A. P. P. (2005). Validade dos testes psicológicos.Manuscrito não publicado. Universidade São Francisco,Itatiba.

Olea, J. & Hontangas, P. (1999). Tests informatizados deprimera generación. Em J. Olea, V. Ponsod, & G. Prieto(Orgs.), Testes informatizados: fundamentos yaplicaciones (pp. 111-126). Madrid: Ediciones Pirámide.

Olea, J., Ponsoda, V. & Prietro, G. (1999). Tests informatizados:fundamentos y aplicaciones. Madrid: Ediciones Pirámide.

Olson-Buchanan, J. B. & Drasgow, F. (1999). Innovationsin computerized assessment. New Jersey, LawrenceErlbaum Associates Publishers.

Pasquali, L. & Alves, A. R. (1999). Testes referentes aconteúdo: medidas educacionais. Em L. Pasquali (Orgs.),Instrumentos psicológicos: manual prático deelaboração (pp. 141-208). Brasília: LabPAM; IBAPP.

Sternberg, R. J. & Grigorenko, E. L. (2002). Dynamic testing.New York: Cambridge University Press.

Wall, J. E. (2000). Technology-delivered assessment:diamonds or rocks? ERIC Clearinghouse on Couselingand Students Services. (ED446325). Disponível em: http://www.ericdigests.org/2001-3/rocks.htm. Acessado em28/11/2005.

sistema de avaliação para testes informatizados (sapi...

Documents