fórum jovens investigadores 2014.versão slidhare

Questionários e Escalas: como construir e adaptar

Guilhermina Lobato Miranda

[email protected]

Pedro Brás

[email protected]

Fórum Jovens Investigadores

Guilhermina L. Miranda & Pedro Brás 1

mailto:[email protected]

mailto:[email protected]

Lema deste workshop

“…se, por um lado, a construção de sistemas de observação e medida dotados de qualidades adequadas é essencial ao avanço do conhecimento, não menos indispensável é que os instrumentos sejam desenvolvidos com base numa teoria ou, pelo menos, num conjunto de princípios e objetivos claros”

[Moreira, 2004, p. 20]


O Problema da Medida nas Ciências Sociais

• Assunto controverso. Mas…

• Medir é um processo de observação e registo de informação sobre a forma de atributos que reflectem qualidades ou quantidades (Maroco, 2009)

• Processo de codificação das propriedades de um objeto (Moreira, 2004)

• A codificação assume muitas vezes a forma de números

• Níveis de medida das variáveis: nominal, ordinal, intervalar e de razão

• Nas Ciências Físicas o problema da medida também se coloca mas é mais consensual o uso de instrumentos universais.


Tipos e escalas de medida das variáveis

As variáveis podem ser qualitativas ou quantitativas e há escalas para cada tipo de variável: nominais, ordinais, intervalares e proporcionais ou de rácio (as duas primeiras são teoricamente qualitativas e as duas segundas quantitativas)

Os principais tipos de escalas usados em Psicometria são:

1. Escalas de Likert ou do tipo Likert ou modelo aditivo (1932) (escala mais usada nas ciências sociais e humanas)

Conjunto de itens bipolares, entre extremo positivo e extremo negativo, a uma afirmação, com um ponto central de resposta neutra, e.g.

Geralmente com número impar (5, 7, 9)

Mais raramente sem ponto neutro e com número par (4, 6, 8)

Soma (média) de conjunto de itens para obter score de construto, se tal fizer sentido, i.e., se a aproximação a um nível de medida intervalar for defensável. Caso contrário considerar medida ordinal e analisar com métodos apropriados (Me, Mo, mas não Me SD)

2. Escalas de Thurstone (1928), ou modelo de intervalos, primeira técnica formal para medir atitudes

3. Escalas de Guttman (1950), escalograma, escala cumulativa ou modelo ordinal[ver Moreira, 2004]


O Problema da Medida nas Ciências Sociais

• Como medir atitudes, comportamentos, emoções, representações, opiniões, inteligência, motivação… e outras variáveis (mais ou menos manifestas)?

• Estas variáveis latentes podem ser designadas de construtos

• O que é um construto (ou variável latente) e sua relação com a variável observável, o que vou medir?

É esta relação que torna a medida em Ciências Sociais única

Guilhermina Miranda& Pedro Brás 5

Operacionalizar um construto

construto Indicador(conceito ou variável latente) (variável observável)

Operacionalização

Inteligência Testes de QI / Provas Piagetianas

Atitude Escala com itens ordinais com 3 Gosto de trabalhar com

(face aos computadores ) factores ou dimensões computadores (CC até DC)


Operacionalizar um construto

1. Testes psicológicos, Escalas, QuestionáriosMedida objectiva e estandardizada de uma amostra de comportamento; muitos são auto-aplicáveis; mas de informação “limitada”

2. EntrevistaAvaliação presencial e interativa do entrevistadoInformação mais “rica”; mas sujeito a enviesamento do entrevistador

3.Observação directaRecolha de amostra do comportamento observável pelo avaliador. Problemas de amostragem, de fiabilidade e de enviesamento

4.Medidas psicofisiológicasMedidas fisiológicas/bioquímicas e comportamentos associados; problemas com validade e fiabilidade


Operacionalizar um construto por meio de uma escala /questionário

• Escalas e questionários: avaliação padronizada de comportamentos, aptidões, atitudes, ou traços, por intermédio de itens intercorrelacionados cuja manipulação algébrica (soma, subtracção, média) indica uma quantificação (intervalar) dos objectos medidos;

• e.g. Escala de suporte social; Escala de Stresse, Escala de Auto-eficácia…

• Evitam a palavra “teste” ou respostas corretas/incorretas;

[Maroco, 2009; Moreira, 2004]


http://userpage.fu-berlin.de/health/selfscal.htm

Como construir uma Escala / Questionário?

1.Que construtos se pretende medir?

2. Qual a dimensionalidade pretendida?

3. Qualidade e quantidade dos itens?

4. Instruções de preenchimento, codificação e cotação

5. Pré-teste

6. Qualidades psicométricas da escala?[in Maroco, 2009]



1. Que construtos se pretende medir?

Clarificação do conceito, construto a medirComo operacionalizar a medida? Seleção de itens do domínio em estudo: Revisão bibliográfica sobre o

construto; Que instrumentos de medida existem? Escalas, Inventários, Questionários?

Focus group (entrevistas individuais) Validade de conteúdo

2. Qual a dimensionalidade pretendida?

O construto é unidimensional, bidimensional ou multidimensional?




Tipo de itens: perguntas abertas ou fechadas?

Tipos de respostas fechadas

Itens dicotómicos

Julgamentos categoriais /listas de verificação/itens constituídos por alternativas

Julgamentos quantitativos

Respostas análogo-visuais




Segundo Maroco (2009) o número de itens por dimensão:Mínimo: 3Aconselhável: 5-20Máximo: Sem limite

Número de pontos por item:Par ou impar? Com ponto central ou sem ponto central?1- Discordo fortemente, 2-Discordo, 3-Nem concordo nem discordo, 4-Concordo; 5- Concordo fortemente



4. Instruções de preenchimento, codificação e cotação

4.1. Instruções de preenchimento

4.2. Como codificar as respostas? Códigos numéricos (facilidade de análise e criação de BD) Análise de Conteúdo nas Respostas abertas: Quantas categorias ou classes

usar? Como codificar as classes e as frequências?

4.3. Como Cotar as Respostas/Escala? Itens com codificações numéricas Itens revertidos Soma ou média dos itens faz sentido para obter um score global? Padronização dos scores (notas Z, por exemplo)

[adaptado de Maroco, 2009]



5. Pré-teste

Num estudo piloto deve avaliar-se:

Clareza e compreensão dos itens

Grau de dificuldade dos itens

Distribuição das respostas

Distribuição das não-respostas

Qualidade psicómetricas provisórias: Sensibilidade, Validade de Conteúdo, Validade de construto, Fiabilidade

A análise do pré-teste pode determinar a eliminação, reformulação e/ou adição de novos itens

[adaptado de Maroco, 2009]



6. Qualidades psicométricas da escala?

Sensibilidade: Os itens permitem diferenciar indivíduos estruturalmente diferentes na medida do construto? O poder discriminativo da escala / questionário ou prova.

Validade: A escala mede o construto que se pretendia medir? Várias dimensões de Validade (Anastasi, 1998):

• Validade relacionada como conteúdo (Validade de conteúdo; Valida de face)• Validade de construto (Validade factorial, Validade convergente, Validade discriminante)• Validade relacionada com o critério (Validade concorrente, Validade preditiva)

Fiabilidade: A escala mede o construto de forma fiável? Isto é de forma consistente e reprodutível (indivíduos com a mesma característica, ou mesmo indivíduo em dois momentos equivalentes, têm o mesmo valor na medida?)


Dois estudos de validação

1º Estudo de validação para uma amostra de estudantes portugueses: Maria Elvira Monteiro e Guilhermina Lobato Miranda

URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=06263102&tag=1

2º Estudo de validação para uma amostra de professores portugueses: Pedro Brás e Guilhermina Lobato Miranda

URL: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6615850&queryText%3DValidation,+Liaw's+Questionnaire


http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=06263102

http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=06263102&tag=1

http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6615850&queryText%3DValidation,+Liaw's+Questionnaire

http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6615850&queryText%3DValidation,+Liaw's+Questionnaire

Sensibilidade

O que é e como determinar, interpretar [e reportar] a sensibilidade de um Questionário / Escala?


Sensibilidade (3).pptx

Estatística descritiva

–Medidas de tendência central

–Medidas de dispersão

–Medidas de distribuição (forma) Sensibilidade


Medidas de distribuição (sensibilidade)

• Os itens permitem diferenciar respostas de sujeitos que são estruturalmente diferentes?

• Medidas de distribuição– Assimetria (Skewness)

Sk

– Achatamento (Kurtosis)

Ku


Como determinar a Sensibilidade dos itens de uma Escala / Questionário?

A assimetria e o achatamento definem a sensibilidade de um item.

• Um item com elevada Sensibilidade apresenta Sk(g1)≈0 e Ku(g2) ≈ 0 (A distribuição normal tem g1=0 e g2=0).

• Valores de |g1| e |g2| acima de 3 e 7 respectivamente revelam problemas graves de sensibilidade (Kline, 1998)

• Situação ideal (Sk~0 e Ku~0):

• Por outro lado, itens semelhantes devem apresentar correlações elevadas; itens dissemelhantes devem apresentar correlações baixas (mais usado para a avaliação da fiabilidade)


Como determinar a Sensibilidade dos itens de uma Escala / Questionário com o SPSS?

1. Analyze

Descriptive Statistics

(várias opções)

Frequencies ou Descriptives / Explore /Tables

2. Analyze / Descriptive Statistics / Frequencies

Seleccionar os itens 1 a 15 e passa-los para a caixa “Variable(s):”

Clicar no botão “Statistics” e seleccionar as opções: Quartils, Median, Mode, Minimum, Maximum, Skewness, Kurtosis

3. Clicar em “Charts” e seleccionar a opção: “Histograms withnormal curve”

4. Clicar “Continue” e “Ok”.


O que fazer?

• Devemos manter os itens que apresentam um moderado desvio à normalidade:

– Assimetria (|Sk|<3, ou seja, entre -3 e 3)

– Curtose ou Achatamento (|Ku|<7, ou seja, entre -7 e 7), embora alguns autores refiram |Ku|<10

• Devemos ponderar a eliminação dos itens da escala que apresentam um acentuado desvio à normalidade


Validade factorial

O que é e como determinar, interpretar e [reportar] a validade fatorial de um Questionário / Escala?


Validade (3).pptx

Como determinar a validade de uma Escala / Questionário?

Segundo Maroco (2009), Moreira (2004), entre outros:• O conceito de ‘Validade’ é um elemento chave da teoria psicométrica, um

vez que endereça a questão se o investigador/instrumento está a medir o que realmente era suposto medir.

• Um instrumento ou teste diz-se ‘válido’ se mede o que é suposto medir e se não existirem erros na interpretação dos resultados e/ou de lógica na elaboração das conclusões

• Não existe consenso sobre quantos tipos de “validade” um instrumento pode apresentar em função dos “perigos” e enviesamentos que um instrumento não-válido pode causar no processo de investigação.

• 1. Validade relacionada com o Conteúdo

• 2. Validade relacionada com o Constructo

• 3. Validade relacionada com um CritérioGuilhermina Miranda& Pedro Brás 24

Como determinar a validade de conteúdo de uma Escala / Questionário?

Validade relacionada com o Conteúdo: A validade de conteúdo avalia se os itens da escala são uma amostra representativa do domínio que a escala procura avaliar.

Como avaliar? • A validade de Conteúdo pode ser avaliada numa escala de 0 a 1 por

um painel de especialistas da área em estudo. Ou pelo método dos juízes.

• As classificações do painel de especialistas pode ser descrita por um índice de validade de conteúdo/grau de concordância.

• Não vamos explicar como se faz pois é um trabalho moroso. Por isso é sempre melhor usar um Questionário/Escala já elaborado por outros investigadores


Como determinar a validade de constructo de uma Escala / Questionário?

Se uma escala tem validade de constructo, então mede o que se propõe medir e a operacionalização dos itens no constructo permite inferir com confiança para os constructos teóricos que estão na base da construção da escala.

• O estabelecimento da validade do constructo é um processo longo e complexo. Em primeiro lugar exige uma sólida base teórica, que depois deve ser operacionalizada claramente nos itens ou indicadores que medem esse constructo. Um constructo com reduzida validade pode resultar de uma fraca operacionalização da teoria, ou da utilização de itens que medem coisas diferentes para sujeitos diferentes.

• Vamos apenas falar e aprender a Validade Factorial e usando apenas um método (AFE)


Validade (relacionada com o constructo)

– Validade Fatorial – os itens medem o fator latente que se pretende medir.

– Validade Convergente – O constructo relaciona-se positiva e significativamente com os outros constructos e os itens que o constituem apresentam correlações positivas e elevadas.

– Validade Discriminante – O constructo não se encontra correlacionado com constructos que operacionalizam fatores diferentes


Como determinar a validade de construto de uma Escala / Questionário?

Como avaliar?

• De uma forma geral, a validade de constructo avalia-se com a Análise Factorial Exploratória ou AF Confirmatória, especialmente quando a construção dos constructos e dos itens que os definem assenta numa base teórica sólida. A partir dos resultados da AF podem calcular-se (Anastasi, 1990):

Validade Factorial:

• KMO (avalia a fatorabilidade do instrumento, i.e. se as correlações entre os itens permitem definir constructos ou factores)

• Correlação entre itens

• ComunalidadesGuilhermina Miranda& Pedro Brás 28

O que é e como fazer AFE com o SPSS?

As correlações observadas entre itens ou variáveis manifestas são devidas a uma causa ou factor comum latente (não diretamente mensurável), o que designamos de constructo. Este pode ser unifatorial, bifatorail ou multifatorial

A AF pressupõe a existência de fatores comuns responsáveis pelas correlações inter-itens. Se as correlações inter-itens forem fracas não é possível extrair “fatores” comuns.

Por isso tem certos pressupostos estatísticos:

1. Teste de Esfericidade de Bartlett (rejeita-se a Ho quando p-value (sig.)

2. Medida de Kaiser-Meyer-Olkin (KMO): mais usado e fiável. Aceita-se, quer dizer, podemos partir para a AFE se valor de KMO≥0.7 (abaixo de 0.5 é inaceitável fazer AFE)


O que é e como fazer AFE com o SPSS?

Segundo Maroco (2009):

1. Reter os fatores com valores próprios (eigenvalue) acima de 1! Se a estimação dos fatores for feita com as variáveis estandardizadas, a variância de cada uma delas é 1, assim, um fator para ter algum interesse (poder explicativo) deve reter mais variância do que a variância de uma variável original, isto é, deve ter eigenvalue superior a 1.

2. Reter os fatores onde SCREEPLOT estabiliza. Um fator pode ter eigenvaluesuperior a 1,mas a retenção desse fator, pode não contribuir significativamente para explicar a variância (informação) presente nos dados.

3. Aqueles necessários para explicar 50% da Variância total, ou os factores que expliquem pelo menos 5-10% da variância total. AFE com rotação varimax: cada variável (item) procura saturar num único factor


Como fazer AFE com o SPSS?

No SPSS:

1. Analyze

Data Reduction

Factor

2. Seleccionar os itens e passá-los para a caixa “Variables” clicando no botão

3. Clicar em “Descriptives” e seleccionar “KMO and Bartlett’s test of sphericity”

4. Clicar em “Extraction” e seleccionar “Screeplot” para além das opções por default

5. Clicar em “Rotation”, seleccionar “Varimax” e “Loadingplots”

6. Clicar em “Scores”, seleccionar “Anderson-Rubin” e “Display factor score coef. Matriz”

7. Clicar em “Options”, seleccionar “Supress absolute values less than e digite “0.4”

8. Clicar “Continue” e “Ok” para obter os outputs


Validade Fatorial

• Todos os fatores têm que ter um peso fatorial estandardizado maior ou igual a 0,5

• Considerar a eliminação dos fatores cujo peso fatorial é menor que 0,5


Fiabilidade

O que é e como determinar, interpretar [e reportar] a fiabilidade de um Questionário / Escala?


Fiabilidade (3).pptx

Fiabilidade

Apesar de parecerem conceitos independentes, a Validade e a Fiabilidade são duas faces da mesma moeda (constructo): São indicadores da Qualidade Psicométrica de um instrumento de medida

Mas…“Um instrumento fiável pode não ser válido! Contudo, a fiabilidade é condição necessária (mas não suficiente) para a validade de um instrumento, i.e. um instrumento para ser válido tem que ser também fiável” (Maroco, 2009)

A Fiabilidade de um instrumento, teste ou escala é uma estimativa da capacidade do instrumento para medir de forma repetida e consistente.

Como determinar a precisão de uma escala / questionário?

A fiabilidade é “estimada”, e não “medida” uma vez que uma qualquer classificação x obtida por uma escala ou teste tem sempre duas componentes (Teoria do erro de mensuração): X = T + ex (X= score observado; T= Capacidade real latente; x= erro associado à medição)

e.g. F = 0.80 80% da variância observada nos scores do teste corresponde à variância real (latente) e 20% corresponde ao erro de medida.

A fiabilidade pode assim ser estimada pelo coeficiente de correlação de duas medições convergentes.

Existem 4 medidas comuns de fiabilidade:

1. Consistência interna (a medida mais comum e fiável é o α de Cronbach);

2.Fiabilidade de formas paralelas ou split-half;

3.Fiabilidade interavaliador;

4.Fiabilidade teste-reteste

Guilhermina L. Miranda 35

Fiabilidade

• O α deve variar entre 0 e 1. Pontuações negativas levantam problemas de codificação dos itens.

O que significa o valor de Alpha?

• Mas…

Retirado de Maroco e Garcia-Marques (2006, p.73)

Como determinar a precisão de uma escala / questionário?

No SPSS:

1. Analyze

Scale

Reliability analysis

2. Passar os itens 1 a 5 (Subescala Exaustão); proceder de modo semelhante para as outras subescalas)

3. Seleccionar Model: “Alfa”

Clicar no botão “Statistics”

e seleccionar as opções: “Item”; “Scale”; “Scale if item deleted” e “Correlations”

4. Clicar em “Continue” e “Ok”.

Guilhermina L. Miranda 38

Exemplo de Cálculo da fiabilidade

Alpha de Cronbach: um exemplo

Dimensão Itens α Fiab.

Atitude WWW 201 a 216 0,881 Boa

Atitude Comp. 217 a 232 0,917 Elevada

Uso das TIC 401 a 425 0,922 Elevada

Algumas referências

• Almeida, L. & Freire, T. (2000). Metodologia de investigação em psicologia e educação (2ª Ed.). Braga: Psiquilíbrios

• Anastasi, A. & Urbina, S. (1997). Psychological testing. NJ: Prentice-Hall

• Ghiglione, R. & Matalon, B. (2001). O Inquérito: teoria e prática. Oeiras: Celta

• Hill, M. & Hill, A. (2000). Investigação por questionário. Lisboa: Sílabo

• Maroco, J. (2007). Análise estatística com a utilização do SPSS (3ª Ed.). Lisboa: Edições Sílabo

• Moreira. J. M. (2004). Questionários: Teoria e prática. Coimbra. Almedina

• Thorndike, R. L. (Ed.). Educational measurement (2nd). Washington, DC: American Councilon Education.

• Tuckman, B. W. (2000). Manual de investigação em educação. Lisboa: Fundação Calouste Gulbenkian.
