prof. dr. joão carlos alchieri universidade federal do rio grande do norte ufrn departamento de...

Prof. Dr. João Carlos Alchieri

Universidade Federal do Rio Grande do Universidade Federal do Rio Grande do Norte UFRNNorte UFRN

Departamento de PsicologiaDepartamento de Psicologia

Avaliação PsicológicaAvaliação Psicológica

- Fundamentos da medida em Psicologia

- Processo de avaliação - Aspectos preliminares da análise de

dados com escalas e inventários

É possível medir? O que medir? Como se mede?

A medida em ciências decorre da compreensão do fenômeno e da necessidade de definir sua extensão;

Sua análise é vinculada a validade de sua expressão;

Nada é mais importante para ciência que a busca de uma sintaxe do fenômeno (não é reduzida a causa/efeito).

Medir é construir e, também, desmontar idéias.

Categoria Ciência Senso Comum Diferença

Teoria Construção sistemática, testada e consistente

Construção fortuita e sem preocupação de consistência interna

Consistência empírica

Teste Feito empírica e sistematicamente

Seletivo: aceita o favorável e rejeita o desfavorável

Toda a evidência disponível

Controle Eliminação de causas plausíveis rivais

Aceita o favorável mesmo sem evidência objetiva

Eliminar causas rivais

Análise da relação

Análise funcional: verificar relação constante

Aceita o que é congruente com sua crença

Relação sistemática

Explicação Observável e testável; elimina metafísica

Aceita logo explicação metafísica

Explicação natural

Pasquali, 1996

Tomamos como ponto de partida que qualquer avaliação é uma forma de comparação entre um e outro objeto, e como tal é uma mensuração.

Deve claramente representar a validade entre o fenômeno e os pressupostos do uso da linguagem matemática. Desde o início da linguagem, a representação matemática se manifestou desenvolvida e aperfeiçoada como forma universal e paralela as demais linguagens de representar o mundo.

Com o passar do tempo e pelas diversas culturas, representou um avanço do pensamento e da possibilidade de abstração.

Todas as ciências valem-se de uma forma de análise e representação de suas idéias, mediante o uso da representação matemática dos fenômenos. Assim, podem além de representar, verificar sua expressão sob o prisma das equações matemáticas, testando sua pertinência enquanto observação válida ou não, sob determinadas condições.

Os Instrumentos de medida são operações empíricas, e científicas, pelas quais se investiga o objeto de estudo.

Pasquali (1996) coloca que os instrumentos psicológicos fazem a suposição de que a melhor maneira de observar um fenômeno psicológico é através da medida. Portanto, é lícito representar os fenômenos psíquicos com base na linguagem numérica se atendidas suas definições operacionais (axiomas).

É possível representar seu fundamento mediante três axiomas dentre os postulados por Hurssel: axiomas da identidade, da ordem e da aditividade.

Em geral, as variáveis são conceitos abstratos, tal como atitudes, valores, processos cognitivos e devem ser operacionalizadas, descritas, em termos das operações e técnicas utilizadas para medi-las ou manipulá-las; formas concretas de mensuração ou manipulação.

(Morgan & Griego, 1998).

.

..

Dimensão Observacional

DimensãoRepresentativa

DimensãoInquiridora

Ações diretamente observáveis

Ações auto-avaliadas pelo

cliente

Ações representadas por meio de situações

semelhantes

Métodos de avaliação preconizadosMétodos de avaliação preconizados

1- Observação do comportamento

Observação Naturalística

Observação dirigida:

1- Listas de verificação (check list)

2- Lista de classificação

2- Medidas Questionários Aberto e Fechado Inventários Escalas Testes psicológicos

3- Entrevistas

(Baseado em Groth-Marnat, 1999)

1 -Aspectos definidores da avaliação

(indicação com base nos fundamentos

teóricos);

2 - Indicadores dimensionais (considerações

práticas);

3 - Definições técnicas e operacionais

(instrumentos);

4 – Verificação e avaliação da eficácia do

processo utilizado

Instrumentos objetivos elaborados como forma de coleta de informações do respondente e, cujo o tratamento, permite inferir determinadas qualidades a autodescrição.

14

15

16

Definição de Termos e ConceitosElaboração de Hipóteses Operacionais da Medida

Elaboração dos Itens

Ensaio Experimental

Análise dos Itens: dificuldade; discriminação; intercorrelações

Composição de Forma Final do Teste

VALIDADE PRECISÃO

Validade Lógica Validade Empírica

ConceitoConteúdo

Preditiva Concorrente

Análise FatorialConstrução

Homogeneidade:KR

Padronização

Aporte Metodológico:Teste-RetesteParalelasDuas Metades

AplicaçãoMaterial Normas Idade

Escores Padrão

Percentil

Classes Normalizadas

Etapas de Construção de um Teste

18

Validade

ValidadeLógica

ValidadeEmpírica

Conteúdo Conceito Preditiva Concorrente

ValidadeLógica

ValidadeEmpírica

Discrimina o objeto de investigação Delimita conceitos operacionais para

a investigação Define o objeto a ser investigado Responde a interrogação: Que

variáveis estão contempladas nos resultados do teste?

19

Definição do conteúdo Explicitação dos processos

psicológicos O quanto avalia cada comportamento

representado Questão: Quanto os itens do teste

representam o universo de itens do mesmo conteúdo?

20

Possui um valor quantitativo Realiza a substituição do teste por

um critério Possui um valor diagnóstico Realiza a obtenção de dados de

forma simultânea Responde a questão: Com que grau o

teste mede o que se propõe?

21

Realiza a coleta de dados de maneira intervalar (temporal)

Possui um valor quantitativo Elabora a predição do

comportamento É adequada a predição - prognóstico Responde a questão: Com que grau o

teste pode predizer tal critério?

22

23

- Correlação entre o teste N e X que medem mesmo construto Z Sujeito X N x y x2 n2 xn

1 14 18 0 3 0 9 0 2 13 11 -1 -4 1 16 4 3 12 14 -2 -1 4 1 2 4 17 18 3 3 9 9 9 5 16 16 2 1 4 1 2 6 15 15 1 0 1 0 0 7 14 13 0 -2 0 4 0 8 10 12 -4 -3 16 9 12 9 15 15 1 0 1 0 0

10 14 18 0 3 0 9 0

Média 140

14,00 150

15,00 36 58 29

90,16,310

36

N

xs

2

X 41,28,5

10

58sN

63,079,45

29

41,2x90,1x10

29

sNs

xnr

NXXN

Capacidade do instrumento, teste, medir sem flutuações dos resultados, o mesmo traço.

Utiliza-se comumente duas provas:• - correlação simples• - alphas

24

Técnica Procedimento Vantagem Desvantagem

Formas paralelas Aplica-se as duas formas em um mesmo grupo.

Um único momentoAtende diretamente o conceito.

Dificuldade de conseguir formas paralelas.

Teste reteste Aplica-se mesmo teste no mesmo grupo em tempos diferentes

Atende a equivalência Estipular intervaloVariáveis intervenientes Fadiga dos testandos.

Duas metades Após aplicação de um teste, dividi-lo e correlacionar as metades por Sperman- Brown

Somente uma aplicação

Dificuldade em garantir equivalência das partes.

25

Sx = x2 = v 112 = v 11,2 = 3,35 N 10

Sy= y2 = v 58 = v 5,8 = 2,41 N 10

r XY= xy = 65 = 65 = 0,81 Nsxsy 10 . 3,35 . 2,41 80,74

26

Sujeito T1 T2 x y x2 y2 xy1 15 18 1 3 1 9 32 10 11 -4 -4 16 16 163 12 14 -2 -1 4 1 24 20 18 6 3 36 9 185 16 16 2 1 4 1 26 14 15 0 0 0 0 07 11 13 -3 -2 9 4 68 9 12 -5 -3 25 9 159 18 15 4 0 16 0 010 15 18 1 3 1 9 3

Soma 140 150 112 58 65M 14 15

Cálculo consistência interna de um item em um teste de dez itens

Sujeitos Item 1 (X) Restante x y x2 y2 xy

1 5 45 1,5 10,5 2,25 110,25 15,752 4 40 0,5 5,5 0,25 30,25 2,753 3 35 -0,5 0,5 0,25 0,25 -0,254 2 30 -1,5 -4,5 2,25 20,25 6,755 4 40 0,5 5,5 0,25 30,25 2,756 3 40 -0,5 5,5 0,25 30,25 -2,757 2 20 -1,5 -14,5 2,25 210,25 21,758 4 30 0,5 -4,5 0,25 20,25 -2,259 5 35 1,5 0,5 2,25 0,25 0,7510 3 30 -0,5 -4,5 0,25 20,25 2,25Soma 35 345 0 0 10,5 472,5 47,5

Média 3,5 34,5

Sx = x 2 = 10,50 = 1,02 Sy = y 2 = 472,50 = 6,87 N 10 N 10 r xy = xy = 47,50 = 0,68 NSx S y 10 x 1,02 x 6,87

27

= _n_ 1- Si

2 n-1 ST 2 n = número de itens Si

2 = soma das variâncias dos itens

ST 2 = variância total dos escores do teste

28

29

Sujeitos 1 2 3 4 5 6 T tItens

1 1 1 0 1 0 0 3 -0,22 1 0 1 1 1 0 4 0,83 0 1 1 0 0 0 2 -1,24 1 1 1 1 1 1 6 2,85 1 0 0 0 0 0 1 -2,2

Soma 4 3 3 3 2 1 16

Média 0,8 0,6 0,6 0,6 0,4 0,2 3,2

Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

30

Sujeitos/Itens 1 2 3 4 5 6Itens

1 1 1 0 1 0 02 1 0 1 1 1 03 0 1 1 0 0 04 1 1 1 1 1 15 1 0 0 0 0 0

Soma 4 3 3 3 2 1

Média 0,8 0,6 0,6 0,6 0,4 0,2

Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

31

Sujeitos/Itens 1 2 3 4 5 6 T t t2Itens

1 1 1 0 1 0 0 3 -0,2 0,042 1 0 1 1 1 0 4 0,8 0,643 0 1 1 0 0 0 2 -1,2 1,444 1 1 1 1 1 1 6 2,8 7,845 1 0 0 0 0 0 1 -2,2 4,84

Soma 4 3 3 3 2 1 16 14,8

Média 0,8 0,6 0,6 0,6 0,4 0,2 3,2 2,96

Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

32

= _n_ 1- Si

2 n-1 ST 2 n = número de itens Si

2 = soma das variâncias dos itens

ST 2 = variância total dos escores do teste

ST 2 = t2 = 14,8 = 2,96 N 5 Si

2 =0,16+0,24+0,24+0,24+0,24+0,16= 1,28

= _6_ 1- 1,28 6-1 2,96 = 0,681

33

ItensSujeitos 1 2 3 4 5 6 T t t2

1 1 1 0 1 0 0 3 -0,2 0,042 1 0 1 1 1 0 4 0,8 0,643 0 1 1 0 0 0 2 -1,2 1,444 1 1 1 1 1 1 6 2,8 7,845 1 0 0 0 0 0 1 -2,2 4,84

Soma 4 3 3 3 2 1 16 14,8Média 0,8 0,6 0,6 0,6 0,4 0,2 3,2 2,96Variância 0,16 0,24 0,24 0,24 0,24 0,16 1,28

alfa 0,681081 = _n_ 1- Si 2

n-1 ST 2

n = número de itens Si

2 = soma das variâncias dos itens

ST 2 = variância total dos escores do teste

= _6_ 1- 1,28 6-1 2,96 = 0,681

ST 2 = t2 = 14,8 = 2,96 N 5 Si

2 =0,16+0,24+0,24+0,24+0,24+0,16= 1,28

Material: Manutenção das

referências originais

Normas dos Resultados:1-Normas de desenvolvimento1.1 Idade Mental1.2 Série Escolar 1.3 Estágio de Desenvolvimento

2 - Normas Intra-grupo 2.1 Posto Percentílico 2.1 Escore Padrão:2.1.2 Transformações lineares 2.1.3 Classes normalizadas

34

Aplicação:• Instruções• Cuidados

1) ANTES

Procedimento - Material - Local

2) DURANTE

Procedimento - Clientes - Material -

Local

3) FINAL

Procedimento - Clientes - Protocolos

35

36

Utilizam-se modelos de comparação dos resultados com o de grupos de crianças (de mesma idade) a fim de estabelecer um padrão, a norma.

Geralmente estabelecem-se escalas intervalares em meses.

37

É um critério utilizado para testes de desempenho acadêmico em disciplinas que são oferecidas numa seqüência de várias séries escolares. As normas são estabelecidas, computando-se o escore bruto médio obtido pelos alunos em cada série, resultando num escore típico para cada série

38

 Este critério é utilizado por pesquisadores que

estudam o desenvolvimento mental e psicomotor em

termos de idades sucessivas de desenvolvimento. Gesell e colaboradores desenvolveram normas para

oito idades típicas (de 4 semanas a 36 meses) de

desenvolvimento das crianças nas áreas do

comportamento motor, adaptativo, da linguagem e

social. Piaget estudou o desenvolvimento cognitivo em

estágios sucessivos (sensório-motor, pré-operacional,

operacional concreto, operacional formal). 39

Forma não-linear de expressar os resultados, baseada na freqüência de casos.

Vantagem: Avaliação rápida e de cálculo fácilDesvantagens: Difícil manuseio para comparações,

não tem uma unidade constante.

40

1- Relacione toda a pontuação (escores) em ordem decrescente

2- Obtenha a Frequência ( F) dos escores3- Calcule a Frequência Acumulada (fa)

somando as frequências. Obs: O último posto

da fa é igual ao N4- Empregue a fórmula P = 100/N5 - Multiplique a constante da fórmula

anterior por cada um dos postos da fa6 - Efetue os arredondamentos

necessários

41

Escolaridade I GESCORES F fa P

31 1 59 99,7127 1 58 98,0226 1 57 96,3325 2 56 94,6424 3 54 91,2622 1 51 86,1921 5 50 84,5020 6 45 76,0519 3 39 65,9118 2 36 60,8417 4 34 57,4616 4 30 50,7015 2 26 43,9414 5 24 40,5613 3 19 32,1112 3 16 27,0411 1 13 21,979 1 12 20,288 1 11 18,597 3 10 16,906 1 7 11,835 1 6 10,144 2 5 8,453 2 3 5,072 1 1 1,69

Média=15,75 Coeficiente de Variabilidade CV:N=59 CV=DP/med x 100DP=6,71 I G=42,86%

42

Tem a finalidade de comparar as notas brutas individuais com a média do grupo, avaliada em unidades de desvio padrão da distribuição normal; tipicamente o z é multiplicado por um coeficiente e ao produto é agregada uma constante, utilizando a fórmula . 

Escore = a + bz

Escore ZZ= x - M/DP

Desvantagem números negativos e decimais. Escore T

T = 50 + 10 (x - M/DP)

43

Sujeito Escores Z T1 37 2,14 71,42 13 -0,88 41,23 23 0,37 53,74 10 -1,265 13 -0,886 19 -0,127 17 -0,378 27 0,88 58,89 15 -0,63

10 9 -1,3911 28 1,01 60,112 16 -0,513 12 -1,0114 17 -0,3715 26 0,75 57,516 33 1,64 66,417 21 0,12 51,218 11 -1,1319 17 -0,37 46,320 32 1,51 65,2

Processo InversoDiminuir de 50 divide por 10

Multiplicar Z pelo DP e somar com a Média

44

Vantagens: Fácil de calcular Realiza a diferenciação com base

nos resultados normalizados Possibilita uma rápida

interpretação dos resultados

Desvantagem: Necessidade de uma distribuição

normal

45

- estipula-se o número de classes - divide-se a curva pelo número de classes

(amplitude de desvio) - multiplica-se a amplitude de desvio pelo desvio

padrão da amostra (intervalo de resultados por classes)

- pela classe intermediária somamos e subtraímos a metade do intervalo a média (limite superior e inferior da média)

- fixa-se o valor do intervalo das próximas classes, sucessivamente

- as classes extremas ficam com limite de partida coincidindo com o mínimo e máximo de pontos

46

Teste X Média 40 DP 6,50 Número de classes 5 ( inferior, médio inferior,

médio, médio superior e superior) Curva dividida em 6 ( -3 DP e +3 DP) 6/5= 1,20 1,20 x 6,50= 7,80 40 + 7,80 / 2 = 43,90 40 - 7,80 / 2 =

36,10 43,90 + 7,80 = 51, 70 40 - 7,80 = 28,30

47

Classe1 Inferior < 28,3 < 28,3

2 M. Inferior 36,1 - 7,80 28,3 a 36,0

3 Médio 40 - 7,80 / 2 36,1 a 43,940 + 7,80 / 2

4 M. Superior 43,9 + 7,80 44,0 a 51,7

5 Superior > 51,7 > 51,7

48

Você entende o construto teórico que o teste supõe medir?

Os itens do teste correspondem com a descrição teórica do construto?

É o melhor instrumento (técnica) a utilizar?

Quais suas limitações?

49(Baseado em Groth-Marnat, 1999)

Se é necessário que o examinando saiba ler e escrever para responder ao teste o examinando tem o nível requerido?

O tamanho do teste é apropriado? O tempo de aplicação, correção

interpretação é conveniente as necessidades?

50

Padronização A pessoa a ser examinada possui características

semelhantes às pessoas do grupo de padronização do teste?

O tamanho do grupo de padronização é suficiente? Há normas para grupos especificios? As instruções estão suficientemente claras permitindo que a

aplicação padronizada seja efetivada Precisão Os coeficientes são altos? (maiores que 0,70, para decisões

clínicas 0,90) Quais foram os métodos usados? Validade Como o teste foi validado? O teste produzirá medidas corretas dentro contexto e para o

propósito quer você gostaria de usá-lo?

51

Os resultados são compatíveis a solicitação do processo?

Quais as principais abrangências e limitações do uso do instrumento?

Em uma re-avaliação é possível utilizar instrumentos semelhantes na medida efetuada?

Pode ser dimensionada a medida em um acompanhamento posterior?

52