Prof. Dr. João Carlos Alchieri

Universidade Federal do Rio Grande do Universidade Federal do Rio Grande do Norte UFRNNorte UFRN

Departamento de PsicologiaDepartamento de Psicologia

Avaliação PsicológicaAvaliação Psicológica

- Fundamentos da medida em Psicologia

- Processo de avaliação - Aspectos preliminares da análise de

dados com escalas e inventários

É possível medir? O que medir? Como se mede?

A medida em ciências decorre da compreensão do fenômeno e da necessidade de definir sua extensão;

Sua análise é vinculada a validade de sua expressão;

Nada é mais importante para ciência que a busca de uma sintaxe do fenômeno (não é reduzida a causa/efeito).

Medir é construir e, também, desmontar idéias.

Categoria Ciência Senso Comum Diferença

Teoria Construção sistemática, testada e consistente

Construção fortuita e sem preocupação de consistência interna

Consistência empírica

Teste Feito empírica e sistematicamente

Seletivo: aceita o favorável e rejeita o desfavorável

Toda a evidência disponível

Controle Eliminação de causas plausíveis rivais

Aceita o favorável mesmo sem evidência objetiva

Eliminar causas rivais

Análise da relação

Análise funcional: verificar relação constante

Aceita o que é congruente com sua crença

Relação sistemática

Explicação Observável e testável; elimina metafísica

Aceita logo explicação metafísica

Explicação natural

Pasquali, 1996

Tomamos como ponto de partida que qualquer avaliação é uma forma de comparação entre um e outro objeto, e como tal é uma mensuração.

Deve claramente representar a validade entre o fenômeno e os pressupostos do uso da linguagem matemática. Desde o início da linguagem, a representação matemática se manifestou desenvolvida e aperfeiçoada como forma universal e paralela as demais linguagens de representar o mundo.

Com o passar do tempo e pelas diversas culturas, representou um avanço do pensamento e da possibilidade de abstração.

Todas as ciências valem-se de uma forma de análise e representação de suas idéias, mediante o uso da representação matemática dos fenômenos. Assim, podem além de representar, verificar sua expressão sob o prisma das equações matemáticas, testando sua pertinência enquanto observação válida ou não, sob determinadas condições.

Os Instrumentos de medida são operações empíricas, e científicas, pelas quais se investiga o objeto de estudo.

Pasquali (1996) coloca que os instrumentos psicológicos fazem a suposição de que a melhor maneira de observar um fenômeno psicológico é através da medida. Portanto, é lícito representar os fenômenos psíquicos com base na linguagem numérica se atendidas suas definições operacionais (axiomas).

É possível representar seu fundamento mediante três axiomas dentre os postulados por Hurssel: axiomas da identidade, da ordem e da aditividade.

Em geral, as variáveis são conceitos abstratos, tal como atitudes, valores, processos cognitivos e devem ser operacionalizadas, descritas, em termos das operações e técnicas utilizadas para medi-las ou manipulá-las; formas concretas de mensuração ou manipulação.

(Morgan & Griego, 1998).

.

..

Dimensão Observacional

DimensãoRepresentativa

DimensãoInquiridora

Ações diretamente observáveis

Ações auto-avaliadas pelo

cliente

Ações representadas por meio de situações

semelhantes

Métodos de avaliação preconizadosMétodos de avaliação preconizados

1- Observação do comportamento

Observação Naturalística

Observação dirigida:

1- Listas de verificação (check list)

2- Lista de classificação

2- Medidas Questionários Aberto e Fechado Inventários Escalas Testes psicológicos

3- Entrevistas

(Baseado em Groth-Marnat, 1999)

1 -Aspectos definidores da avaliação

(indicação com base nos fundamentos

teóricos);

2 - Indicadores dimensionais (considerações

práticas);

3 - Definições técnicas e operacionais

(instrumentos);

4 – Verificação e avaliação da eficácia do

processo utilizado

Instrumentos objetivos elaborados como forma de coleta de informações do respondente e, cujo o tratamento, permite inferir determinadas qualidades a autodescrição.

14

15

16

Definição de Termos e ConceitosElaboração de Hipóteses Operacionais da Medida

Elaboração dos Itens

Ensaio Experimental

Análise dos Itens: dificuldade; discriminação; intercorrelações

Composição de Forma Final do Teste

VALIDADE PRECISÃO

Validade Lógica Validade Empírica

ConceitoConteúdo

Preditiva Concorrente

Análise FatorialConstrução

Homogeneidade:KR

Padronização

Aporte Metodológico:Teste-RetesteParalelasDuas Metades

AplicaçãoMaterial Normas Idade

Escores Padrão

Percentil

Classes Normalizadas

Etapas de Construção de um Teste

18

Validade

ValidadeLógica

ValidadeEmpírica

Conteúdo Conceito Preditiva Concorrente

ValidadeLógica

ValidadeEmpírica

Discrimina o objeto de investigação Delimita conceitos operacionais para

a investigação Define o objeto a ser investigado Responde a interrogação: Que

variáveis estão contempladas nos resultados do teste?

19

Definição do conteúdo Explicitação dos processos

psicológicos O quanto avalia cada comportamento

representado Questão: Quanto os itens do teste

representam o universo de itens do mesmo conteúdo?

20

Possui um valor quantitativo Realiza a substituição do teste por

um critério Possui um valor diagnóstico Realiza a obtenção de dados de

forma simultânea Responde a questão: Com que grau o

teste mede o que se propõe?

21

Realiza a coleta de dados de maneira intervalar (temporal)

Possui um valor quantitativo Elabora a predição do

comportamento É adequada a predição - prognóstico Responde a questão: Com que grau o

teste pode predizer tal critério?

22

23

- Correlação entre o teste N e X que medem mesmo construto Z Sujeito X N x y x2 n2 xn

1 14 18 0 3 0 9 0 2 13 11 -1 -4 1 16 4 3 12 14 -2 -1 4 1 2 4 17 18 3 3 9 9 9 5 16 16 2 1 4 1 2 6 15 15 1 0 1 0 0 7 14 13 0 -2 0 4 0 8 10 12 -4 -3 16 9 12 9 15 15 1 0 1 0 0

10 14 18 0 3 0 9 0

Média 140

14,00 150

15,00 36 58 29

90,16,310

36

N

xs

2

X 41,28,5

10

58sN

63,079,45

29

41,2x90,1x10

29

sNs

xnr

NXXN

Capacidade do instrumento, teste, medir sem flutuações dos resultados, o mesmo traço.

Utiliza-se comumente duas provas:• - correlação simples• - alphas

24

Técnica Procedimento Vantagem Desvantagem

Formas paralelas Aplica-se as duas formas em um mesmo grupo.

Um único momentoAtende diretamente o conceito.

Dificuldade de conseguir formas paralelas.

Teste reteste Aplica-se mesmo teste no mesmo grupo em tempos diferentes

Atende a equivalência Estipular intervaloVariáveis intervenientes Fadiga dos testandos.

Duas metades Após aplicação de um teste, dividi-lo e correlacionar as metades por Sperman- Brown

Somente uma aplicação

Dificuldade em garantir equivalência das partes.

25

Sx = x2 = v 112 = v 11,2 = 3,35 N 10

Sy= y2 = v 58 = v 5,8 = 2,41 N 10

r XY= xy = 65 = 65 = 0,81 Nsxsy 10 . 3,35 . 2,41 80,74

26

Sujeito T1 T2 x y x2 y2 xy1 15 18 1 3 1 9 32 10 11 -4 -4 16 16 163 12 14 -2 -1 4 1 24 20 18 6 3 36 9 185 16 16 2 1 4 1 26 14 15 0 0 0 0 07 11 13 -3 -2 9 4 68 9 12 -5 -3 25 9 159 18 15 4 0 16 0 010 15 18 1 3 1 9 3

Soma 140 150 112 58 65M 14 15

Cálculo consistência interna de um item em um teste de dez itens

Sujeitos Item 1 (X) Restante x y x2 y2 xy

1 5 45 1,5 10,5 2,25 110,25 15,752 4 40 0,5 5,5 0,25 30,25 2,753 3 35 -0,5 0,5 0,25 0,25 -0,254 2 30 -1,5 -4,5 2,25 20,25 6,755 4 40 0,5 5,5 0,25 30,25 2,756 3 40 -0,5 5,5 0,25 30,25 -2,757 2 20 -1,5 -14,5 2,25 210,25 21,758 4 30 0,5 -4,5 0,25 20,25 -2,259 5 35 1,5 0,5 2,25 0,25 0,7510 3 30 -0,5 -4,5 0,25 20,25 2,25Soma 35 345 0 0 10,5 472,5 47,5

Média 3,5 34,5

Sx = x 2 = 10,50 = 1,02 Sy = y 2 = 472,50 = 6,87 N 10 N 10 r xy = xy = 47,50 = 0,68 NSx S y 10 x 1,02 x 6,87

27

= _n_ 1- Si

2 n-1 ST 2 n = número de itens Si

2 = soma das variâncias dos itens

ST 2 = variância total dos escores do teste

28

29

Sujeitos 1 2 3 4 5 6 T tItens

1 1 1 0 1 0 0 3 -0,22 1 0 1 1 1 0 4 0,83 0 1 1 0 0 0 2 -1,24 1 1 1 1 1 1 6 2,85 1 0 0 0 0 0 1 -2,2

Soma 4 3 3 3 2 1 16

Média 0,8 0,6 0,6 0,6 0,4 0,2 3,2

Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

30

Sujeitos/Itens 1 2 3 4 5 6Itens

1 1 1 0 1 0 02 1 0 1 1 1 03 0 1 1 0 0 04 1 1 1 1 1 15 1 0 0 0 0 0

Soma 4 3 3 3 2 1

Média 0,8 0,6 0,6 0,6 0,4 0,2

Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

31

Sujeitos/Itens 1 2 3 4 5 6 T t t2Itens

1 1 1 0 1 0 0 3 -0,2 0,042 1 0 1 1 1 0 4 0,8 0,643 0 1 1 0 0 0 2 -1,2 1,444 1 1 1 1 1 1 6 2,8 7,845 1 0 0 0 0 0 1 -2,2 4,84

Soma 4 3 3 3 2 1 16 14,8

Média 0,8 0,6 0,6 0,6 0,4 0,2 3,2 2,96

Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

32

= _n_ 1- Si

2 n-1 ST 2 n = número de itens Si

2 = soma das variâncias dos itens

ST 2 = variância total dos escores do teste

ST 2 = t2 = 14,8 = 2,96 N 5 Si

2 =0,16+0,24+0,24+0,24+0,24+0,16= 1,28

= _6_ 1- 1,28 6-1 2,96 = 0,681

33

ItensSujeitos 1 2 3 4 5 6 T t t2

1 1 1 0 1 0 0 3 -0,2 0,042 1 0 1 1 1 0 4 0,8 0,643 0 1 1 0 0 0 2 -1,2 1,444 1 1 1 1 1 1 6 2,8 7,845 1 0 0 0 0 0 1 -2,2 4,84

Soma 4 3 3 3 2 1 16 14,8Média 0,8 0,6 0,6 0,6 0,4 0,2 3,2 2,96Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

alfa 0,681081 = _n_ 1- Si 2

n-1 ST 2

n = número de itens Si

2 = soma das variâncias dos itens

ST 2 = variância total dos escores do teste

= _6_ 1- 1,28 6-1 2,96 = 0,681

ST 2 = t2 = 14,8 = 2,96 N 5 Si

2 =0,16+0,24+0,24+0,24+0,24+0,16= 1,28

Material: Manutenção das

referências originais

Normas dos Resultados:1-Normas de desenvolvimento1.1 Idade Mental1.2 Série Escolar 1.3 Estágio de Desenvolvimento

2 - Normas Intra-grupo 2.1 Posto Percentílico 2.1 Escore Padrão:2.1.2 Transformações lineares 2.1.3 Classes normalizadas

34

Aplicação:• Instruções• Cuidados

1) ANTES

Procedimento - Material - Local

2) DURANTE

Procedimento - Clientes - Material -

Local

3) FINAL

Procedimento - Clientes - Protocolos

35

36

Utilizam-se modelos de comparação dos resultados com o de grupos de crianças (de mesma idade) a fim de estabelecer um padrão, a norma.

Geralmente estabelecem-se escalas intervalares em meses.

37

É um critério utilizado para testes de desempenho acadêmico em disciplinas que são oferecidas numa seqüência de várias séries escolares. As normas são estabelecidas, computando-se o escore bruto médio obtido pelos alunos em cada série, resultando num escore típico para cada série

38

 Este critério é utilizado por pesquisadores que

estudam o desenvolvimento mental e psicomotor em

termos de idades sucessivas de desenvolvimento. Gesell e colaboradores desenvolveram normas para

oito idades típicas (de 4 semanas a 36 meses) de

desenvolvimento das crianças nas áreas do

comportamento motor, adaptativo, da linguagem e

social. Piaget estudou o desenvolvimento cognitivo em

estágios sucessivos (sensório-motor, pré-operacional,

operacional concreto, operacional formal). 39

Forma não-linear de expressar os resultados, baseada na freqüência de casos.

Vantagem: Avaliação rápida e de cálculo fácilDesvantagens: Difícil manuseio para comparações,

não tem uma unidade constante.

40

1- Relacione toda a pontuação (escores) em ordem decrescente

2- Obtenha a Frequência ( F) dos escores3- Calcule a Frequência Acumulada (fa)

somando as frequências. Obs: O último posto

da fa é igual ao N4- Empregue a fórmula P = 100/N5 - Multiplique a constante da fórmula

anterior por cada um dos postos da fa6 - Efetue os arredondamentos

necessários

41

Escolaridade I GESCORES F fa P

31 1 59 99,7127 1 58 98,0226 1 57 96,3325 2 56 94,6424 3 54 91,2622 1 51 86,1921 5 50 84,5020 6 45 76,0519 3 39 65,9118 2 36 60,8417 4 34 57,4616 4 30 50,7015 2 26 43,9414 5 24 40,5613 3 19 32,1112 3 16 27,0411 1 13 21,979 1 12 20,288 1 11 18,597 3 10 16,906 1 7 11,835 1 6 10,144 2 5 8,453 2 3 5,072 1 1 1,69

Média=15,75 Coeficiente de Variabilidade CV:N=59 CV=DP/med x 100DP=6,71 I G=42,86%

42

Tem a finalidade de comparar as notas brutas individuais com a média do grupo, avaliada em unidades de desvio padrão da distribuição normal; tipicamente o z é multiplicado por um coeficiente e ao produto é agregada uma constante, utilizando a fórmula . 

Escore = a + bz

Escore ZZ= x - M/DP

Desvantagem números negativos e decimais. Escore T

T = 50 + 10 (x - M/DP)

43

Sujeito Escores Z T1 37 2,14 71,42 13 -0,88 41,23 23 0,37 53,74 10 -1,265 13 -0,886 19 -0,127 17 -0,378 27 0,88 58,89 15 -0,63

10 9 -1,3911 28 1,01 60,112 16 -0,513 12 -1,0114 17 -0,3715 26 0,75 57,516 33 1,64 66,417 21 0,12 51,218 11 -1,1319 17 -0,37 46,320 32 1,51 65,2

Processo InversoDiminuir de 50 divide por 10

Multiplicar Z pelo DP e somar com a Média

44

Vantagens: Fácil de calcular Realiza a diferenciação com base

nos resultados normalizados Possibilita uma rápida

interpretação dos resultados

Desvantagem: Necessidade de uma distribuição

normal

45

- estipula-se o número de classes - divide-se a curva pelo número de classes

(amplitude de desvio) - multiplica-se a amplitude de desvio pelo desvio

padrão da amostra (intervalo de resultados por classes)

- pela classe intermediária somamos e subtraímos a metade do intervalo a média (limite superior e inferior da média)

- fixa-se o valor do intervalo das próximas classes, sucessivamente

- as classes extremas ficam com limite de partida coincidindo com o mínimo e máximo de pontos

46

Teste X Média 40 DP 6,50 Número de classes 5 ( inferior, médio inferior,

médio, médio superior e superior) Curva dividida em 6 ( -3 DP e +3 DP) 6/5= 1,20 1,20 x 6,50= 7,80 40 + 7,80 / 2 = 43,90 40 - 7,80 / 2 =

36,10 43,90 + 7,80 = 51, 70 40 - 7,80 = 28,30

47

Classe1 Inferior < 28,3 < 28,3

2 M. Inferior 36,1 - 7,80 28,3 a 36,0

3 Médio 40 - 7,80 / 2 36,1 a 43,940 + 7,80 / 2

4 M. Superior 43,9 + 7,80 44,0 a 51,7

5 Superior > 51,7 > 51,7

48

Você entende o construto teórico que o teste supõe medir?

Os itens do teste correspondem com a descrição teórica do construto?

É o melhor instrumento (técnica) a utilizar?

Quais suas limitações?

49(Baseado em Groth-Marnat, 1999)

Se é necessário que o examinando saiba ler e escrever para responder ao teste o examinando tem o nível requerido?

O tamanho do teste é apropriado? O tempo de aplicação, correção

interpretação é conveniente as necessidades?

50

Padronização A pessoa a ser examinada possui características

semelhantes às pessoas do grupo de padronização do teste?

O tamanho do grupo de padronização é suficiente? Há normas para grupos especificios? As instruções estão suficientemente claras permitindo que a

aplicação padronizada seja efetivada Precisão Os coeficientes são altos? (maiores que 0,70, para decisões

clínicas 0,90) Quais foram os métodos usados? Validade Como o teste foi validado? O teste produzirá medidas corretas dentro contexto e para o

propósito quer você gostaria de usá-lo?

51

Os resultados são compatíveis a solicitação do processo?

Quais as principais abrangências e limitações do uso do instrumento?

Em uma re-avaliação é possível utilizar instrumentos semelhantes na medida efetuada?

Pode ser dimensionada a medida em um acompanhamento posterior?

52