apresentação de grupo mma - parte i

MULTIMÉDIA E ACESSIBILIDADE

Nuno Ribeiro | Nuno Lopes | Susana Castro!

TRABALHO DE GRUPO !1ª PARTE!

Programa Doutoral em Multimédia em Educação

APRESENTAÇÃO DO CASO

de# 31#MMA 1#

Proposta tecnológica integrada que permita aos alunos cegos e com baixa visão (C-BV) explorar imagens ao microscópio através do tacto. Desenvolvimento/adaptação de:

‣  Dispositivo táctil ‣  Sistema que traduza em tempo real

imagens captadas através de uma câmara num re levo tác t i l que reproduza f ie lmente a imagem observada


de# 31#MMA 2#

‣  Aumentar os níveis de interesse e auto-confiança pela aprendizagem das áreas científicas, dando as mesmas oportunidades para aprender Ciência aos alunos C-BV que aos seus colegas normovisuais.

‣  Possibilitar uma melhor percepção da realidade que os rodeia.

‣  Criar novos espaços, metodologias e materiais que possibilitem a execução de atividades práticas de Ciência, num ambiente de segurança e acessibilidade.

‣  Utilizar a Ciência como uma disciplina inclusiva, providenciando a todos os alunos (C-BV e normovisuais) novas experiências sensoriais que permitirão compreender melhor modelos complexos da Ciência.

OBJETIVOS


de# 31#MMA 3#

A microscopia é uma parte fundamental do ensino das Ciências

PORQUÊ


de# 31#MMA 4#

Uso de informação visual (imagens, esquemas, diagramas) na disciplina de Ciências é muito frequente

PORQUÊ


de# 31#MMA 5#

‣  A Ciência tem grande potencial para motivar alunos com NEE’s (Jones et al., 2006)

‣  Os materiais interativos proporcionam experiências mais significativas para os alunos que a leitura do manual (Gurganus et al., 1995)

‣  Alunos C-BV apresentam as mesmas capacidades cognitivas que os alunos normovisuais, podendo igualmente dominar conceitos científicos complexos (Jones et al., 2006)

PORQUÊ


de# 31#MMA 6#

Literacia científica é fundamental para o sucesso de alunos C-BV na integração na vida adulta e profissional (Gurganus et al., 1995)

LITERACIA CIENTÍFICA

“capacity to use scientific knowledge, to identify questions and to draw evidence-based conclusions in order to understand and help make decisions about the natural world and changes made to it through human activity” (OCDE,2003:133)


de# 31#MMA 7#



de# 31#MMA 8#


‣  Alunos Cegos e com Baixa Visão

‣  Alunos normovisuais (a sua percepção visual poderá ser enriquecida através de modelos tácteis)

PÚBLICO-ALVO

de# 31#MMA 9#

19% da população:

‣  Tem muita dificuldade em ver (892 860 cidadãos)

‣  Não consegue ver (27 659 cidadãos)

12 097 cidadãos com problemas de visão são estudantes.

PÚBLICO-ALVO

de# 31#MMA Fonte: INE [http://alturl.com/ucomx] 10#

Uma pessoa é considerada cega quando não possui potencial visual mas que pode, por vezes, ter uma percepção da luminosidade. A cegueira pode ser: ‣  Congénita (surge no 1º ano de idade)

‣  Precoce (surge entre o 1º e o 3º ano de idade)

‣  Adquirida (surge após os 3 anos de idade)

de# 31#MMA Fonte: ACAPO [http://www.acapo.pt/] 11#

PÚBLICO-ALVO

CEGUEIRA

Reduzida capacidade visual que não melhora através de correção ótica (também conhecida por ambliopia). Pode ser: ‣  Orgânica (com lesão do globo ocular ou das vias ópticas)

‣  Funcional (sem danos orgânicos)

BAIXA VISÃO

de# 31#MMA 12#

PÚBLICO-ALVO

Fonte: ACAPO [http://www.acapo.pt/]

Preconceito positivo ‣  Os cegos são excecionalmente musicais, possuem grandes

capacidades auditivas e tácteis e são altamente inteligentes

Preconceito negativo ‣  Os cegos são totalmente dependentes, preguiçosos e

pouco inteligentes Existe pouca variação quanto à sensibilidade táctil entre C-BV e normovisuais, apesar de ser razoável assumir que os C-BV confiam mais nas sensações obtidas através do tacto.

NA VERDADE…

de# 31#MMA 13#

PÚBLICO-ALVO CONCEÇÕES ERRADAS

Fonte: Way & Barner, 1997

CARATERIZAÇÃO DA PROBLEMÁTICA

de# 31#MMA 14#

A única forma que um aluno C-BV tem para aceder diretamente a informação visual é através do tacto.

ACESSO A INFORMAÇÃO VISUAL


de# 31#MMA 15#

VISÃO VS. AUDIÇÃO VS. TACTO

106#bits/seg#

Visão

104#bits/seg#

Audição

102#bits/seg#

Tacto

Uma imagem vale mais que mil palavras. Uma palavra, mais que mil toques.


de# 31#MMA 16#

RECETORES DA PELE (PERCEÇÃO)

‣  Corpúsculo de Meissner (toque, vibração)

‣  Corpúsculo de Merkel (pressão, textura)

‣  Corpúsculo de Pacini (pressão, vibração)

‣  Corpúsculo de Rufini (estiramento, calor)

‣  Corpúsculo de Krause (frio)

‣  Folículo piloso (toque, vibração)

‣  Pelo (toque ligeiro)

‣  Superfície da pele (estiramento)


de# 31#MMA 17#

LIMITAÇÕES DO TACTO

Resolução táctil da ponta do dedo

2,5 mm

0,002 mm

1,0 mm

Exploração dinâmica


de# 31#MMA 18#

ESTADO DA ARTE

de# 31#MMA 19#

‣  Dispositivos de estimulação mecânica Estimulam os corpúsculos da pele responsáveis pelas sensações de pressão, vibração e calor. Incluem:

Dispositivos baseados na pressão Dispositivos baseados na vibração Dispositivos baseados nas ondas acústicas de superfície Dispositivos eletrorreológicos ou magnetorreológicos

‣  Dispositivos de estimulação eletro-táctil Estimulam diretamente os recetores nervosos da pele através da aplicação de correntes elétricas

DISPOSITIVOS DESTINADOS À EXPLORAÇÃO TÁCTIL

ESTADO DA ARTE

de# 31#MMA 20#

DISPOSITIVOS BASEADOS NA PRESSÃO

ESTADO DA ARTE

de# 31#MMA 21#

DISPOSITIVOS BASEADOS NA PRESSÃO - OPTACON

ESTADO DA ARTE

de# 31#MMA 22#

DISPOSITIVOS BASEADOS NAS VIBRAÇÃO - STReSS

ESTADO DA ARTE

de# 31#MMA 23#

DISPOSITIVOS BASEADOS NAS ONDAS ACÚSTICAS DE SUPERFÍCIE - SAW

ness (1 mm) for creating stimuli to the finger.We placed IDTs at both ends of the substrate. To gen-

erate progressive waves, we applied an alternatingvoltage to one side of the IDTs. To generate standingwaves, we applied the voltage to both sides of the IDTsand set open-metal-strip arrays (OMSA) after the IDTsas reflectors.

In our tactile display, users can explore the substratewith a slider shown in Figures 7 and 8. The slider hasapproximately 100 steel balls with a diameter of 800 µmon a thin tape. We chose to use a slider because of the fol-lowing:

! By pressing steel balls with the finger, a driving forcecan be effectively transmitted to the finger.

! Steel balls can provide distributedpoints to which stress is appliedon the finger surface, assumingthat the tape is satisfactorily thinand soft.

PrincipleHere we describe the principle for

generating sources of shear stressthat are distributed spatially andmodulated temporally.

When users explore the substratewithout SAWs with their fingers—via the slider—kinetic friction by thesubstrate is applied to the steel balls,thus creating sources of shear stresson the fingers’ surface at the posi-tions of all the steel balls distributedspatially (Figure 9a).

By generating SAWs, we candescrease the friction between thesteel balls and the substrate com-pared to the substrate without SAWsbecause there’s a

! decrease in contact time betweenthe balls and the substrate,

! squeeze-film effect by the air thatexists between the balls and thesubstrate, and

! parallel movement of the wavecrest (only in using progressivewaves).

As a result, when we either generatea progressive or standing SAW in thesubstrate, shear stress to the skinbecomes smaller (Figure 9b) thanshear stress without a SAW. Thus, byusing a burst waves of SAW, we canmodulate the sources of shear stressapplied to the skin surface with aburst frequency. The moment whenthe wave suddenly appears corre-sponds to the moment when thestick state changes into the slip statebecause the friction suddenly

Virtual Reality

60 November/December 2001

7 Detail of theslider.

8 The SAWtactile display.

Shear stress

Direction ofthe exploration Finger

Tape Steelballs

Kinetic friction(a)

Shear stress becomes smaller

Tape Steelballs

Driving forceby the crest(b)

Squeeze force

SAW

9 Generationof sources ofshear stress thatcan be modulat-ed temporallyby burst wavesof SAW.

ness (1 mm) for creating stimuli to the finger.We placed IDTs at both ends of the substrate. To gen-

erate progressive waves, we applied an alternatingvoltage to one side of the IDTs. To generate standingwaves, we applied the voltage to both sides of the IDTsand set open-metal-strip arrays (OMSA) after the IDTsas reflectors.

In our tactile display, users can explore the substratewith a slider shown in Figures 7 and 8. The slider hasapproximately 100 steel balls with a diameter of 800 µmon a thin tape. We chose to use a slider because of the fol-lowing:

! By pressing steel balls with the finger, a driving forcecan be effectively transmitted to the finger.

! Steel balls can provide distributedpoints to which stress is appliedon the finger surface, assumingthat the tape is satisfactorily thinand soft.

PrincipleHere we describe the principle for

generating sources of shear stressthat are distributed spatially andmodulated temporally.

When users explore the substratewithout SAWs with their fingers—via the slider—kinetic friction by thesubstrate is applied to the steel balls,thus creating sources of shear stresson the fingers’ surface at the posi-tions of all the steel balls distributedspatially (Figure 9a).

By generating SAWs, we candescrease the friction between thesteel balls and the substrate com-pared to the substrate without SAWsbecause there’s a

! decrease in contact time betweenthe balls and the substrate,

! squeeze-film effect by the air thatexists between the balls and thesubstrate, and

! parallel movement of the wavecrest (only in using progressivewaves).

As a result, when we either generatea progressive or standing SAW in thesubstrate, shear stress to the skinbecomes smaller (Figure 9b) thanshear stress without a SAW. Thus, byusing a burst waves of SAW, we canmodulate the sources of shear stressapplied to the skin surface with aburst frequency. The moment whenthe wave suddenly appears corre-sponds to the moment when thestick state changes into the slip statebecause the friction suddenly

Virtual Reality

60 November/December 2001

7 Detail of theslider.

8 The SAWtactile display.

Shear stress

Direction ofthe exploration Finger

Tape Steelballs

Kinetic friction(a)

Shear stress becomes smaller

Tape Steelballs

Driving forceby the crest(b)

Squeeze force

SAW

9 Generationof sources ofshear stress thatcan be modulat-ed temporallyby burst wavesof SAW.

ESTADO DA ARTE

de# 31#MMA 24#

DISPOSITIVOS ELETRORREOLÓGICOS OU MAGNETORREOLÓGICOS

ESTADO DA ARTE

de# 31#MMA 25#

DISPOSITIVOS DE ESTIMULAÇÃO ELETRO-TÁCTIL - SmartTouch

Interactions with our surroundings make upa major part of our lives. In this relationship,

we receive information from theworld through the five major senso-ry modalities. Thus, we are funda-mentally limited by the tiny sensoryorgans in charge of these sensa-tions. Natural ambition arises, mak-ing us seek sensing abilities beyondthe usual physical limits to buildnew relationships with the world.We want to see the invisible andhear the inaudible, an ability oftenreferred to as a sixth sense.

Augmented reality1 is an engi-neer’s approach to this dream. InAR, sensors capture artificial infor-mation from the world, and existingsensing channels display it. Hence,we virtually acquire the sensor’sphysical ability as our own. Aug-

mented haptics, the result of applying AR to haptics,would allow a person to touch the untouchable. (Seethe “Related Work in Augmented Haptics” sidebar.)

Our system, SmartTouch,2 uses a tactile display anda sensor. When the sensor contacts an object, an elec-trical stimulation translates the acquired informationinto a tactile sensation, such as a vibration or pressure,through the tactile display. Thus, an individual not onlymakes physical contact with an object, but also touchesthe surface information of any modality, even those thatare typically untouchable. Figure 1 illustrates the con-cept behind SmartTouch.

SmartTouch prototype Figure 2 shows our SmartTouch prototype and a sys-

tem cross section, which shows the systems’ three layers:

! electrode layer on the front side of a thin plate, ! optical sensor layer on the plate’s reverse side, and! thin film force sensor between the first two layers

SmartTouch translates visual images captured by thesensor into tactile information and displays themthrough electrical stimulation. The system facilitatesthe recognition of printed materials through touch.

Electrical stimulationBy mounting a display directly on the skin, we can

present tactile sensations with high spatial resolution.However, because the display is separate from theobject’s contact point, some problems can arise. Con-sider the motion of a finger when it moves horizontally,as Figure 3 illustrates. The contact generates friction,which the finger perceives as a torsional moment. As thedisplay thickens—that is, as the distance between theobject and display surfaces grows—the increased dis-tance generates greater torsional moment, causing anunnatural haptic sensation. In other words, we shouldmake the system as thin as possible.

For this reason, we use electrical stimulation to dis-play tactile information. Under this paradigm, the onlypart of the system to contact the skin is a matrix of elec-

Emerging Technologies

Augmented haptics lets

users touch surface

information of any

modality. SmartTouch

uses optical sensors to

gather information and

electrical stimulation to

translate it into tactile

display.

Hiroyuki Kajimoto, Naoki Kawakami, and Susumu TachiUniversity of Tokyo

Masahiko InamiUniversity of Electro-Communications

SmartTouch:Electric Skin toTouch theUntouchable

36 January/February 2004 Published by the IEEE Computer Society 0272-1716/04/$20.00 © 2004 IEEE

Skin

Sensor

Tactile display

Receptor

Information

1 Augmented reality of skin sensations. A newfunctional layer of skin composed of a sensor anddisplay acquire and convert surface informationabout an object into tactile information for display.

trodes, which we can readily fabricate into a thin wafer.The tactile display consists of a 4 ! 4 matrix of stain-

less steel electrodes; each electrode is 1.0 mm in diam-eter. The electrodes’ longitudinal pitch is 2.5 mm; theirtransversal pitch is 2.0 mm. The electrodes apply elec-trical current pulses (0.2-ms, 100- to 300-volt, and 1.0-to 3.0-mA current controlled) to the skin to generate thetactile sensation.

Optical sensor We used a phototransistor (Sharp PT600T, 1.6 ! 1.6 !

0.8 mm) for our optical sensor. We placed the sensors justbeneath the electrodes so the horizontal displacementbetween the stimulation point and the sensing point wasless than 1.0 mm. Printed paper served as the contact

IEEE Computer Graphics and Applications 37

Finger

Object surface

Electrodes

Optical sensors

Pressure sensor

(a)

(b)

2 (a) SmartTouch prototype system in which opti-cal sensors capture a visual image (black and whitestripes) and display it through electrical stimula-tion, and (b) a cross section of the system.

F1

F1

F2 F2r

r

R

M = rF2 M = (r+R)F2

M

M

Object surface

Tactiledisplay

Finger

3 Effect of system thickness. The contact gener-ates frictional force, which the finger perceives asa torsional moment. If the distance between objectsurface and display surface increases, it generatesgreater torsional moment, creating an unnaturalhaptic sensation.

Related Work in Augmented HapticsResearchers have conducted a great deal of

work on visual-to-tactile conversion systems. Bliss1

developed the first converter system, and Collins2

employed electrical and mechanical stimulationon the skin on the back.

Optacon,3 a representative commercial productdeveloped in the 1960s, uses a video camera anda matrix of vibrating pins. It attempts to allow avisually impaired person to read printed materialrather than to augment the real world. Optaconrequires a participant to hold a video camera inone hand while tactile information is displayedonto the other. In our system, the optical sensorand the tactile display are located in practicallythe same place and work together as a new skinreceptor.

SmartTool4 and SmartFinger5 are twoaugmented haptics applications that use sensorsto capture information from an object.

SmartTool captures information with a sensorattached at the tip of the tool and conveys it to theoperator through a haptic force display. Oneproposed application is surgery. When a smartscalpel contacts a vital region such as an artery, thesensor detects surface information, and the displayproduces a repulsive force to protect the region.

SmartFinger uses a vibrating tactile display andsensor mounted on a fingernail. The vibratordrives the finger vertically, which induces forcebetween the finger and the object it contacts.Thus, SmartFinger generates skin sensationsindirectly, with natural tactile sensationsunhindered by the display.

References1. J.C. Bliss et al., “Optical-to-Tactile Image Conversion

for the Blind,” IEEE Trans. Man-Machine Systems, vol.11, no. 1, Jan.-Mar. 1970, pp. 58-65.

2. C.C. Collins, “Tactile Television—Mechanical and Elec-trical Image Projection,” IEEE Trans. Man–Machine Sys-tems, vol. 11, no. 1, Jan.-Mar. 1970, pp. 65-71.

3. D. Stein, The Optacon: Past, Present, and Future, Nat’lFederation of the Blind (NFB); http://www.nfb.org/bm/bm98/bm980506.htm.

4. T. Nojima et al., “The SmartTool: A System for Aug-mented Reality of Haptics,” Proc. IEEE Virtual RealityConf., IEEE CS Press, 2002, pp. 67-72.

5. H. Ando et al., “The Nail-Mounted Tactile Display forthe Behavior Modeling,” ACM Siggraph 2002 Conf.Abstracts and Applications, ACM Press, 2002, p. 264.

de# 31#MMA

RECOLHA BIBLIOGRÁFICA

26#

TÍTULO ANO AUTORES

2005$

Tac(le$interfaces:$a$state2of2the2art$survey$

Towards$a$Future$Internet$2$Interrela(on$between$Technological,$Social$and$Economic$Trends$

Tac(le$displays:$a$short$overview$and$recent$developments$

Use$of$a$hap(c$device$by$blind$and$sighted$people:$percep(on$of$virtual$textures$and$objects$

Teacher’s$Manual$for$Adap(ng$Science$Experiments$for$Blind$and$Visually$Impaired$Students$

Prin(ng$Out$Trees :$Toward$the$Design$of$Tangible$Objects$for$Educa(on$

2004$

2010$

2005$

1998$

2000$

Dong2Hee$Shin,$Youn2Joo$Shin,$Hyunseung$Choo,$Khisu$Beom$$

Blackman,$C.,$Brown,$I.,$Cave,$J.,$Forge,$S.,$Guevara,$K.,$Srivastava,$L.,$Tsuchiya,$M.,$et$al.$$

Chouvardas,$V.,$Miliou,$A.,$&$Hatalis,$M.$

Colwell,$C.,$&$Petrie,$H.$

Dion,$M.,$Hoffman,$K.,$&$Ma^er,$A.$

Sco^$Reardon,$and$Michael$Eisenberg$Department$of$Computer$Science$University$of$Colorado$

de# 31#MMA


27#

TÍTULO ANO AUTORES

2009$

How$to$make$tac(le$pictures$understandable$to$the$blind$reader$

Guidelines$for$the$use$of$vibro2tac(le$displays$in$human$computer$interac(on$

Hap(c$interfaces$and$devices.$Sensor$Review,$

SmartTouch:$electric$skin$to$touch$the$untouchable.$IEEE$Computer$Graphics$and$Applica(ons$

Tac(le$picture$recogni(on:$errors$are$in$shape$acquis(on$or$object$matching?$Seeing$and$perceiving$

Teaching$Science$to$Students$with$Visual$Impairments$

1999$

2002$

2004$

2004$

2012$

Eriksson,$Y.$

Erp,$J.$van$

Hayward,$V.,$Astley,$O.$R.,$Cruz2Hernandez,$M.,$Grant,$D.,$&$Robles2De2La2Torre,$G.$

Kajimoto,$H.,$Kawakami,$N.,$Tachi,$S.,$&$Inami,$M.$$

Kalia,$A.$a,$&$Sinha,$P.$

Edwards,$M.$

de# 31#MMA


28#

TÍTULO ANO AUTORES

2005$

A$experiência$da$perda$da$visão,$a$vivência$de$um$processo$de$reabilitação,$e$as$percepções$sobre$a$qualidade$de$vida$

Surface$acous(c$wave$tac(le$display$

STRESS:$A$prac(cal$tac(le$display$system$with$one$millimeter$spa(al$resolu(on$and$700$Hz$refresh$rate$

Ambient$touch:$designing$tac(le$interfaces$for$handheld$devices$

An$approach$to$Inclusion$through$Informa(on$and$Communica(on$Technology$

Blindness,$Technology$and$Hap(cs$

2004$

2001$

2003$

2002$

2009$

Maria,$S.,$&$Estêvão,$F.$

Nara,$T.,$Takasaki,$M.,$Maeda,$T.,$Higuchi,$T.,$Ando,$S.,$&$Tachi,$S.$

Pasquero,$J.,$&$Hayward,$V.$

Poupyrev,$I.,$Maruyama,$S.,$&$Rekimoto,$J.$

Ribeiro,$J.$M.,$Moreira,$A.,$&$Almeida,$A.$M.$$

Lévesque,$V.$

de# 31#MMA


29#

TÍTULO ANO AUTORES

2006$

Órgãos$dos$sen(dos$

Summary$of$tac(le$user$interfaces$techniques$and$systems$

Taking$Touch$Screen$Interfaces$Into$a$New$Dimension$

Tac(le$Displays$in$Human2Machine$Interac(on :$Four$Case$Studies.$the$Interna(onal$Journal$of$Virtual$Reality$

TACTICS:$A$tac(le$image$crea(on$system$

The$importance$of$the$sense$of$touch$in$virtual$and$real$environments.$Mul(media$

1993$

2004$

2012$

2008$

1997$

Rosenberger,$G.,$Stöber,$M.,$&$Dirksen,$G.$$

Spirkovska,$L.$$

Technology,$T.,$&$Paper,$W.$

Velázquez,$R.,$&$Pissaloux,$E.$

Way,$T.,$&$Barner,$K.$

Robles2De2La2Torre,$G.$$

1997$

Automa(c$visual$to$tac(le$transla(on22Part$II:$Evalua(on$of$the$TACTile$Image$Crea(on$System$

Automa(c$visual$to$tac(le$transla(on22Part$I:$Human$factors,$access$methods,$and$image$manipula(on$

1997$ Way,$T.$P.,$&$Barner,$K.$E.$

Way,$T.$P.,$&$Barner,$K.$E.$

ANÁLISE SWOT FORÇAS FRAQUEZAS

OPORTUNIDADES AMEAÇAS

de# 31#MMA

Período de aceitação e adaptação dos alunos à tecnologia criada pode ser longo;

Resistência dos professores à adopção de tecnologia em sala de aula;

Ausência de formação dos professores de ciências na área do ensino especial;

Ausência de formação dos professores de ensino especial na área das ciências.

30#

Tecnologia criada pode ser aplicada noutros contextos;

Capacidade desta tecnologia de tornar as aulas de ciências mais inclusivas, dando maior autonomia aos alunos C-BV;

Previsível introdução do mercado de tablets e outros dispositivos tácteis que terão a capacidade de fornecer feedback táctil ao utilizador.

Necessidade de simplificar as imagens gráficas para serem percetíveis através do tacto (limitação biológica do tacto);

Previsível custo elevado da tecnologia adotada/desenvolvida;

Pouco investigação feita na área do ensino das ciências aos alunos C-BV.

Possibilita a percepção de imagens visuais através de interfaces tácteis;

Providencia a todos os alunos (C-BV e normovisuais) novas experiências sensoriais que permitirão compreender melhor modelos complexos da

Ciência;

Capacidade que a tecnologia desenvolvida terá para aumentar a motivação dos alunos C-BV para as Ciências.

de# 31#MMA

FATORES CRÍTICOS PARA PROSSECUÇÃO DO TRABALHO

31#

‣  Dispositivos disponíveis possibilitam a representação de diagramas, no entanto, existem dificuldades em representar imagens complexas, existindo problemas técnicos associados (produção de ruído, entropia, lentidão, etc)

‣  Necessidade de simplificação das imagens visuais para serem percetíveis através do tacto através de um algoritmo/software específico

apresentação de grupo mma - parte i

Education