curso gelne 2012

Introdução ao design experimental, rastreamento ocular e análise estatística em Psicolinguística

Experimental

Márcio Leitão (UFPB) José Ferrari Neto (UFPB) e Elisangela Teixeira (UFC)Mestre em Estudos da Linguagem PUC-Rio

Doutoranda em Linguística UFCBolsista de doutorado da CAPES

6 de setembro de 2012XXIV JORNADA DO GELNE - UFRN -RN

1Sunday, September 9, 2012

Introdução ao design experimental, Rastreamento ocular e análise estatística em Psicolinguística

Márcio Leitão (UFPB) José Ferrari Neto (UFPB) e Elisangela Teixeira (UFC)

Mestre em Estudos da Linguagem PUC-RioDoutoranda em Linguística UFCBolsista de doutorado da CAPES

6 de setembro de 2012XXIV JORNADA DO GELNE - UFRN -RN


ProgramaIntrodução: por que rastrear o olhar?Fisiologia da Visão: princípiosBreve histórico (De Javal a Dehaene)Rastreamento OcularAlguns exemplos de pesquisasConselhos de utilizaçãoModelos disponíveis: pronta entrega


Introdução: por que rastrear o olhar?Fisiologia da Visão: princípiosBreve histórico (De Javal a Dehaene)Rastreamento OcularAlguns exemplos de pesquisasConselhos de utilizaçãoModelos disponíveis: pronta entrega

Programa


Atividade Cognitiva Movimentos oculares estão estreitamente ligados a mecanismos atencionaisÍndice de atividade mental em tempo realExperimento com papel A4


Fisiologia da Visão: noções gerais

Células fotorreceptoras:Cones (visão detalhada colorida)Bastonetes (visão menos detalhada P&B)

Três medidas: dois movimentos oculares, indicadores de operações mentais e o tamanho da pupila:

Sacadas FixaçõesDilatação da pupila

O que o estudo da movimentação ocular pode oferecer à linguística?Medidas acerca do custo de processamento da informação que podem servir de provas indiretas sobre o modo de funcionamento mental da linguagem


Fisiologia do Olho


Campo Visual


Campo VisualZonas de processamento da informação: Campo visual

O espaço abrangido pela visão quando se fixa um ponto. Pode ser dividido em três zonas

Fóvea = capta a informação mais relevante do estímulo Na leitura corresponde a 2º de ângulo visual ( 1º equivale a cerca de 3.69 letras em fonte monaco 11 pts)

Parafóvea = capta a informação em torno do estímulo.Na leitura corresponde a 5º do campo visual (menos acuidade, mas há manutenção da capacidade de integrar informação previamente conhecida)

Periférica (perifóvea) – aquela que se vê como uma nuvem, pouco clara, de onde não se extrai informação relevante para a leitura.


Sensação Visual A luz (imagem) entra pela pupila e é projetada de forma invertida na retina, onde é convertida em impulsos elétricosOs impulsos elétricos são transportados pelo nervo óptico para o cérebro: córtex visual primário (área de Broadmann 17) e posteriormente para o córtex visual secundário (área de Broadmann 18 – áreas de associação visual); por fim para as áreas de processamento específicas.


Assimetria CognitivaRelações entre lateralidade manual e lateralidade hemisférica relativa à linguagem

Três teorias:1) As assimetrias estão ligadas ao desenvolvimento da linguagem e a assimetria manual é um epifenômeno da assimetria da linguagem.

2) As assimetrias cognitivas foram inscritas no cérebro por conta das assimetrias comportamentais iniciadas há muito tempo.

3) Dois fenômenos independentes. A lateralidade manual reflete apenas a lateralidade do controle motor


Vamos ver um filme?

Human Body. Pushing the Limits. Sight. Discovery Channel.até o minuto 10.


Louis Émile Javal, 1879

Descobriu que os olhos davam saltos durante a leitura.


Yarbus, 1969


Rayner, 1998


Dehaene, 2005

Localizou os neurônios (a região cerebral correspondente) responsáveis pela leitura.


Metodologia de Rastreamento Ocular:

o equipamento conhecido como

Eye-Tracker 19Sunday, September 9, 2012

Rastreador Ocular

Rastreador ocular

Tobii T120


Vantagens do EyeTrackerProvê uma gravação detalhada no decurso do processamento.Fixações individuaus nas palavras (muita granularidade).Exame detalhado dos diferentes grupos de fixações.Mais natural que a leitura automonitorada porque os participantes não têm necessidade de apertar um botão para que o texto apareça, além do fato de que o texto não desaparece da tela.


Sacada e Fixação ocular


Medidas capturadas


Medidas capturadasGravação de todos os movimentos sacádicos e de fixação em um dado espaço:


Medidas capturadasGravação de todos os movimentos sacádicos e de fixação em um dado espaço:

As medidas interessantes para a psicolinguística costumam ser:

Tempo da primeira, segunda, terceira fixação

Tempo médio da fixação

Tempo total de fixação

Número de fixações

Dilatação da Pupila

Desenho da trajetória ocular durante a tarefa cognitiva23Sunday, September 9, 2012

Procedimento experimentalCalibragem

Distância do participante

Fase pré-teste (treinamento e familiaridade com o experimento)

Cruz de fixação (controle da atenção)

Apresentação dos estímulos linguísticos (visuais ou auditivos)

Controle de compreensão (questionário com perguntas do tipo sim/não)

Intervalos para descanso (se o teste for longo)


Análise dos dados Por Regiões de interesse (AOIs)

Definidas em função da hipótese experimentalRodar:Programa Tobii StudioProgramas Estatísticos (SPSS, R, etc)


Atenção e Busca Visual

Maior entre curtos é mais fácil do que curtos entre

maiores

Inclinado em meio a vertical é mais fácil que o contrário

Brilhante entre opacos é mais fácil do que opacos entre

brilhantes27Sunday, September 9, 2012

Tarefas cognitivas

Testes de inteligência e estratégia cognitiva


MATERIALS AND METHODS

PARTICIPANTS

RESULTS

* *

*

* *

* * *

CONCLUSIONS Despite comparable accuracy, our results indicate that patients used different strategies than controls. Whereas controls appeared to solve the problem and check for the correct response, HD patients relied on a response elimination strategy. The fact that this strategy is used even at lower levels of complexity suggests that these differences in reasoning abilities derive from more general cognitive deficits such as visual working memory and attention difficulties instead of a reasoning problem per se.

Eye-movement measures used: a.  Response Time (RT): total time (in ms) from the first until the last fixation b.  Time on interest areas: average Time-on-Matrix, Time-on-Alternatives (TOA) and

Proportional Time-on-Alternatives (PTOA: average TOA divided by the average RT.) c.  Measures of alternation between interest areas (Number-of-Toggles): total number of

times the subject's gaze moved from one interest area to the other (from the matrix area to the alternatives area or vice versa).

d.  Measures of time distribution across the matrix cells: to examine the distribution of time spent among the nine cells of the matrix we extracted a Matrix Time Distributional Index (MTDI) to quantify whether participants need to inspect all figures in order to solve a given cognitive task. This index is calculated by subtracting the sum of the proportional fixation time spent on cells 3, 6, 7 and 8 from the sum of the proportional fixation time on cells 1, 2, 4 and 5.

(c)! !! !! !

(b)! !! !! !

(a)! !! !! !

Understanding reasoning abilities in Huntington’s Disease

Demographic information of the whole sample

(c)! !! !! !

Ruth de Diego-Balaguer 1,2,3, Elisângela N. Teixeira 4,

Anne-Catherine Bachoud-Lévi 2,3,5

1ICREA, Universitat de Barcelona and IDIBELL, Barcelona, Spain

2 INSERM U955 E01, IRBM, Université Paris-Est Créteil, France; 3 DEC, Ecole Normale Supérieure,

Paris, France 4 Universidade Federal do Ceará, Programa de Pós-

Graduação em Linguística, Fortaleza, Brasil 5AP-HP, Groupe Henri-Mondor Albert-Chenevier, Centre de référence Maladie de Huntington, Créteil and Paris

France


Mapa de Calor da Tarefa cognitiva

MATRIZES DE RAVEN


Leitura de sentenças ou de textos

Leitura natural de sentenças ou textos (pequenos) seguida de pergunta controle.


Os círculos representam as fixações, O tamanho dos círculos é relativo ao tempo de fixação em cada um dos pontos. As linhas representam os movimentos sacádicos.


Paradigma do Mundo Visual

Preferência ocular diante de uma tarefa auditiva


1. O problema sintático


Tarefa 1: Coloque o sapo no guardanapo dentro da caixa.

Trueswell et al. (1999)


2. O problema semântico


3. O problema pragmático


Ao ver a imagem do slide anterior, você:Saberia dizer para onde olhou ?Olhou para o sapo ?Para o sapo no guardanapo ?Para a caixa vazia ?Para o sapo e depois para o guardanapo ?ouVocê não tem certeza do percurso do seu olhar depois que leu a tarefa 1?


Processamento Anafórico e Ambiguidade

A tarefa 1 possui uma ambiguidade.Em que consiste esta ambiguidade?

[O sapo no guardanapo] [dentro da caixa]

Ou

* [o sapo] [no guardanapo] [dentro da caixa]42Sunday, September 9, 2012

Ops…A segunda opção não funcionou.O que nós adultos fazemos nesta situação? R.: Recalculamos o sentido da frase.O que isso quer dizer? Recalcular, reanalisar, reprocessar o primeiro sentido atribuído à frase na primeira leitura.De quantas leituras precisamos para reanalisar este sentido?Como fazemos isso? Quanto tempo levamos para fazer a reanálise?Em que lugar do cérebro ela é processada?


Just e Carpenter, 1980

1º princípio: "immediacy assumption” - uma palavra é interpretada assim que é fixada;

2º princípio: "eye-mind assumption", a permanência do olhar em uma palavra é a medida do tempo de seu processamento;

Os itens lexicais são sempre fixados;

As palavras funcionais são fixadas em apenas 35% das vezes (integradas pela parafóvea);


A freqüência de uma palavra é um fator alterador do tempo de fixação ocular (efeito cascata);

Média dos movimentos regressivos é de 15% do total de movimentos progressivos na leitura (Carreiras e Clifton, 2003);

A extensão de uma palavra altera o tempo de fixação;

A amplitude de um movimento sacádico gira em torno de 7 a 9 espaços de letra em média;

Aspectos subjetivos influenciam a motivação do leitor (objetivos de leitura e da familiaridade com o tema dos textos)



Estágios de processamento: o leitor codifica a palavra, ou seja, processa visualmente o input, transformando-o em uma forma linguística;

ocorre o acesso lexical, que é o pareamento entre a forma visual e a linguística;

o sujeito determina qual é o papel semântico deste item lexical;

Há integração do item à informação da sentença na qual está presente.



Tobii T 120


EquipamentoLiberdade de Movimento da Cabeça: A região onde pelo menos a posição de um dos olhos é captada pelo rastreador ocular. No T120 esta região é de 30 × 20 × 30 cm;

Tempo de Recuperação de Piscada de Olhos: o tempo médio levado pelo rastreador ocular para voltar a capturar o olhar após uma piscada de olhos involuntária. No T120 este tempo é de no máximo 8 ms;

Tempo de Recuperação de Rastreamento: o tempo médio levado pelo Eye Tracker após uma interrupção da captura, como quando o participante move o olhar para fora da área de captura. No T120 este tempo é de aproximadamente 300 ms;

Erro Devido ao Movimento da Cabeça: é a mudança na precisão nas bordas da tela comparado com a precisão no centro. Isso inclui movimentos da cabeça nas três dimensões. No T120 é de 0.2º.


Precisão: é definida como a diferença media entre a posicão do olhar medido pelo rastreador ocular e a posição real. No equipamento T120, o valor é de 0.5º;

Deriva: é a mudança na precisã̃o devido a mudanças de luminosidade, como quando se utilizam estímulos de muitas cores diferentes. No T120, a deriva é menor do que 0.2º;

Resolução Espacial: representa a variação do ponto do olhar entre cada quadro. No T120 este parâmetro corresponde a 0.3º;

Angulo Máximo: é o ângulo máximo entre o olhar do participante e o eixo central da tela para o qual o equipamento é capaz de capturar a posição de pelo menos um dos olhos. No T120 o angulo ma ́ximo ́e de 35º;

Latência: é o tempo médio entre a exibição do estímulo e o momento em que a primeira posição do olhar válida é a capturada pelo Eye Tracker. No T120 o tempo de latência é de no mínimo 33 ms;


Eye Link 1000 Hz (binocular)SMI 1250 Hz (monocular)

Tipos:Cabeça presaCabeça livre

ou móveis (óculos)


Referências The Mind's Eye: Cognitive and Applied Aspects of Eye Movement Research, Edited by Ralph Radach,; Jukka Hyona;Heiner Deubel.Sentence Processing (Carreiras, M., & Clifton, C., Jr. The online study of sentence comprehension: eye-tracker, ERPs and beyond. Psychology Press, USA.)The interface of language, vision, and action : eye movements and the visual world / edited by John M. Henderson and Fernanda Ferreira.


Obrigada!Meus contatos(Elis)ângela Nogueira Teixeirasites.google.com/site/teixeiraelis/twitter.com/teixeiraelisfacebook.com/[email protected]+ 55 85 99 27 32 09


http://sites.google.com/site/teixeiraelis/

http://sites.google.com/site/teixeiraelis/

http://twitter.com/teixeiraelis

http://twitter.com/teixeiraelis

http://facebook.com/apatchworkfamily

http://facebook.com/apatchworkfamily

mailto:[email protected]

mailto:[email protected]

curso gelne 2012

Education