apresentação de grupo mma - parte ii

MULTIMÉDIA E ACESSIBILIDADE

Nuno Ribeiro | Nuno Lopes | Susana Castro

TouchViewer tecnologia inclusiva no ensino das ciências biológicas

Programa Doutoral em Multimédia em Educação

de 27 MMA 1

INTRODUÇÃO

Como permitir a um aluno cego ou com baixa visão observar ao microscópio?

de 27 MMA 2

APRESENTAÇÃO DO CASO

Proposta tecnológica integrada que permita aos alunos cegos e com baixa visão (C-BV) explorar imagens ao microscópio através do tacto.

‣  Alunos Cegos e com Baixa Visão

‣  Alunos normovisuais (a sua percepção visual poderá ser enriquecida através de modelos tácteis)

‣  43.708 alunos de educação especial nas escolas públicas no ano letivo 2010/11

PÚBLICO-ALVO

de 27 MMA 3

de 27 MMA 4

PÚBLICO-ALVO ANO LETIVO DE 2012/2013 - ESCOLA DE REFERÊNCIA NO ENSINO A C-BV ESCOLA SECUNDÁRIA RODRIGUES DE FREITAS (PORTO)

•  28 alunos C-BV, sendo 7 C e 21 BV

•  6 professores especializados nas áreas curriculares especificas:

‣  Orientação e mobilidade ‣  Terapia ocupacional ‣  Braille ‣  Programa complementar de TIC

•  Centro de recursos: computadores com acesso à internet, linha braille, leitor de ecrã, duas impressoras braille e uma máquina de imprimir relevos

‣  Rapariga de 13 anos, cega congénita, aluna do 8ºano na Escola Secundária Rodrigues de Freitas

‣  Frequenta aulas de ciências biológicas com trabalho prático laboratorial de microscopia

‣  Gosta muito das aulas e gostava de fazer muitas mais experiências

‣  Trabalho de grupo com posterior descrição oral dos colegas de grupo e do professor da observação no microscópio

‣  Não consegue descrever uma célula

ENTREVISTAS

de 27 MMA 5

PÚBLICO-ALVO

de 27 MMA 6

ENTREVISTAS ‣  Jovem de 30 anos, cega congénita, psicóloga, mestre em gestão,

trabalhadora numa instituição financeira

‣  Estudou em escolas públicas em Espinho

‣  Teve aulas de ciências biológicas com trabalho prático laboratorial de microscopia

‣  Considerava as aulas de ciências biológicas muito interessantes

‣  Trabalho de grupo com posterior descrição oral dos colegas de grupo e do professor da observação no microscópio e apoio adicional do manual que tinha imagens em relevo das observações básicas de microscopia

PÚBLICO-ALVO

“… a célula é uma roda com uma pinta, a pinta pode ser mais diferenciada dependendo do tipo de célula, pode estar mais para um lado do que para o outro, e pode ser maior ou mais pequena.”

de 27 MMA 7

DESCRIÇÃO DE UMA CÉLULA

PÚBLICO-ALVO

ENQUADRAMENTO DA PROBLEMÁTICA

de 27 MMA 8

VISÃO VS. AUDIÇÃO VS. TACTO

106 bits/seg

Visão

104 bits/seg

Audição

102 bits/seg

Tacto

Uma imagem vale mais que mil palavras. Uma palavra, mais que mil toques.

de 27 MMA 9

‣  Conjunto de experiências onde procuraram identificar as causas da dificuldade dos C - B V e m p e r c e p c i o n a r imagens tácteis

‣  Reconhecimento de imagem tácteis está correlacionado com a complexidade do estímulo, ou seja, quanto mais s i m p l e s a f o r m a , m a i s facilmente é percepcionada e reconhecida a imagem

‣  Simplificação das imagens gráficas de modo a serem perceptíveis através do tacto

Fonte: (Kalia & Sinha, 2012)

ENQUADRAMENTO DA PROBLEMÁTICA

de 27 MMA 10

ESTADO DA ARTE DISPOSITIVOS HÁPTICOS BASEADOS NA VIBRAÇÃO BASEADOS NA PRESSÃO

BASEADOS NAS ONDAS ACÚSTICAS DE SUPERFÍCIE

ness (1 mm) for creating stimuli to the finger.We placed IDTs at both ends of the substrate. To gen-

erate progressive waves, we applied an alternatingvoltage to one side of the IDTs. To generate standingwaves, we applied the voltage to both sides of the IDTsand set open-metal-strip arrays (OMSA) after the IDTsas reflectors.

In our tactile display, users can explore the substratewith a slider shown in Figures 7 and 8. The slider hasapproximately 100 steel balls with a diameter of 800 µmon a thin tape. We chose to use a slider because of the fol-lowing:

! By pressing steel balls with the finger, a driving forcecan be effectively transmitted to the finger.

! Steel balls can provide distributedpoints to which stress is appliedon the finger surface, assumingthat the tape is satisfactorily thinand soft.

PrincipleHere we describe the principle for

generating sources of shear stressthat are distributed spatially andmodulated temporally.

When users explore the substratewithout SAWs with their fingers—via the slider—kinetic friction by thesubstrate is applied to the steel balls,thus creating sources of shear stresson the fingers’ surface at the posi-tions of all the steel balls distributedspatially (Figure 9a).

By generating SAWs, we candescrease the friction between thesteel balls and the substrate com-pared to the substrate without SAWsbecause there’s a

! decrease in contact time betweenthe balls and the substrate,

! squeeze-film effect by the air thatexists between the balls and thesubstrate, and

! parallel movement of the wavecrest (only in using progressivewaves).

As a result, when we either generatea progressive or standing SAW in thesubstrate, shear stress to the skinbecomes smaller (Figure 9b) thanshear stress without a SAW. Thus, byusing a burst waves of SAW, we canmodulate the sources of shear stressapplied to the skin surface with aburst frequency. The moment whenthe wave suddenly appears corre-sponds to the moment when thestick state changes into the slip statebecause the friction suddenly

Virtual Reality

60 November/December 2001

7 Detail of theslider.

8 The SAWtactile display.

Shear stress

Direction ofthe exploration Finger

Tape Steelballs

Kinetic friction(a)

Shear stress becomes smaller

Tape Steelballs

Driving forceby the crest(b)

Squeeze force

SAW

9 Generationof sources ofshear stress thatcan be modulat-ed temporallyby burst wavesof SAW.

ELETRORREOLÓGICOS OU MAGNETORREOLÓGICOS

DE ESTIMULAÇÃO ELETRO-TÁCTIL

trodes, which we can readily fabricate into a thin wafer.The tactile display consists of a 4 ! 4 matrix of stain-

less steel electrodes; each electrode is 1.0 mm in diam-eter. The electrodes’ longitudinal pitch is 2.5 mm; theirtransversal pitch is 2.0 mm. The electrodes apply elec-trical current pulses (0.2-ms, 100- to 300-volt, and 1.0-to 3.0-mA current controlled) to the skin to generate thetactile sensation.

Optical sensor We used a phototransistor (Sharp PT600T, 1.6 ! 1.6 !

0.8 mm) for our optical sensor. We placed the sensors justbeneath the electrodes so the horizontal displacementbetween the stimulation point and the sensing point wasless than 1.0 mm. Printed paper served as the contact

IEEE Computer Graphics and Applications 37

Finger

Object surface

Electrodes

Optical sensors

Pressure sensor

(a)

(b)

2 (a) SmartTouch prototype system in which opti-cal sensors capture a visual image (black and whitestripes) and display it through electrical stimula-tion, and (b) a cross section of the system.

F1

F1

F2 F2r

r

R

M = rF2 M = (r+R)F2

M

M

Object surface

Tactiledisplay

Finger

3 Effect of system thickness. The contact gener-ates frictional force, which the finger perceives asa torsional moment. If the distance between objectsurface and display surface increases, it generatesgreater torsional moment, creating an unnaturalhaptic sensation.

Related Work in Augmented HapticsResearchers have conducted a great deal of

work on visual-to-tactile conversion systems. Bliss1

developed the first converter system, and Collins2

employed electrical and mechanical stimulationon the skin on the back.

Optacon,3 a representative commercial productdeveloped in the 1960s, uses a video camera anda matrix of vibrating pins. It attempts to allow avisually impaired person to read printed materialrather than to augment the real world. Optaconrequires a participant to hold a video camera inone hand while tactile information is displayedonto the other. In our system, the optical sensorand the tactile display are located in practicallythe same place and work together as a new skinreceptor.

SmartTool4 and SmartFinger5 are twoaugmented haptics applications that use sensorsto capture information from an object.

SmartTool captures information with a sensorattached at the tip of the tool and conveys it to theoperator through a haptic force display. Oneproposed application is surgery. When a smartscalpel contacts a vital region such as an artery, thesensor detects surface information, and the displayproduces a repulsive force to protect the region.

SmartFinger uses a vibrating tactile display andsensor mounted on a fingernail. The vibratordrives the finger vertically, which induces forcebetween the finger and the object it contacts.Thus, SmartFinger generates skin sensationsindirectly, with natural tactile sensationsunhindered by the display.

References1. J.C. Bliss et al., “Optical-to-Tactile Image Conversion

for the Blind,” IEEE Trans. Man-Machine Systems, vol.11, no. 1, Jan.-Mar. 1970, pp. 58-65.

2. C.C. Collins, “Tactile Television—Mechanical and Elec-trical Image Projection,” IEEE Trans. Man–Machine Sys-tems, vol. 11, no. 1, Jan.-Mar. 1970, pp. 65-71.

3. D. Stein, The Optacon: Past, Present, and Future, Nat’lFederation of the Blind (NFB); http://www.nfb.org/bm/bm98/bm980506.htm.

4. T. Nojima et al., “The SmartTool: A System for Aug-mented Reality of Haptics,” Proc. IEEE Virtual RealityConf., IEEE CS Press, 2002, pp. 67-72.

5. H. Ando et al., “The Nail-Mounted Tactile Display forthe Behavior Modeling,” ACM Siggraph 2002 Conf.Abstracts and Applications, ACM Press, 2002, p. 264.

Período de aceitação e adaptação dos alunos à tecnologia criada pode ser longo;

Resistência dos professores à adopção de tecnologia em sala de aula;

Ausência de formação dos professores de ciências biológicas na área do ensino especial;

Ausência de formação dos professores de ensino especial na área das ciências biológica;

Complexidade dos modelos visuais.

ANÁLISE SWOT FORÇAS FRAGILIDADES

OPORTUNIDADES AMEAÇAS

de 27 MMA 11

Tecnologia criada pode ser aplicada noutros contextos para além do educativo;

Capacidade da tecnologia para tornar as aulas de ciências biológicas mais inclusivas, dando mais autonomia aos alunos C-BV;

Previsível introdução do mercado de tablets e outros dispositivos hápticos que terão a capacidade de fornecer

feedback táctil ao utilizador.

Necessidade de simplificar as imagens gráficas para serem percetíveis através do tacto (limitação biológica do tacto);

Previsível custo elevado da tecnologia existente;

Pouca versatilidade dos dispositivos hápticos existentes;

Pouca investigação feita na área do ensino das ciências biológicas a alunos C-BV.

Possibilita a percepção de imagens visuais através de interfaces hápticos;

Providencia a todos os alunos (C-BV e normovisuais) novas experiências sensoriais que permitirão compreender melhor

modelos complexos das ciências biológicas;

Capacidade que a tecnologia desenvolvida terá para aumentar a motivação dos alunos C-BV para as Ciências.

de 27 MMA

TACTICS (TACTile Image Creation System)

12

O processo de conversão de imagens visuais em imagens tácteis é possibilitado através de três passos distintos:

‣  Aquisição

‣  Simplificação

‣  Renderização

PROPOSTA DE OTIMIZAÇÃO

Fonte: (Way & Barner, 1997)

de 27 MMA

AQUISIÇÃO

13

‣  Input visual de uma câmara de filmar que captaria, através da lente de um microscópio óptico presente nas salas de aula, o que era visualizado nesse microscópio

‣  Cada fotograma do sinal de vídeo seria então convertido em tempo real utilizando a técnica de processamento que simplifique os fotogramas


de 27 MMA

SIMPLIFICAÇÃO

14

Conjunto de algoritmos que processam imagens para produzir um conjunto vasto de efeitos:

‣  K-means ‣  Sobel ‣  Aggregate (com desfoque) ‣  Aggregate (sem desfoque)


de 27 MMA 15

‣  Os resultados demonstram que o processamento Aggregate (com desfoque) foi o mais facilmente percepcionado

‣  O processamento Aggregate (com desfoque) é conseguido através diversos algoritmos que desfocam, detetam os limites, segmentam e filtram a mediana


SIMPLIFICAÇÃO

de 27 MMA

RENDERIZAÇÃO

16

‣  Output táctil das imagens já processadas era conseguido através de papel de microcápsulas que, através da elevação dessas microcápsulas, cria relevo

‣  Impossibilidade de utilizar esta tecnologia para conversão de imagens em tempo real


Fonte: Senseg [http://senseg.com/] de 27 MMA 17


Baseia-se em três elementos: ‣  Película Tixel

‣  Módulo eletrónico

‣  Software

TECNOLOGIA E-SENSE

de 27 MMA 18


de 27 MMA 19


de 27 MMA 20


de 27 MMA 21


Vantagens do iPad: ‣  Acessibilidade do iOS (VoiceOver)

‣  Dimensão do ecrã

‣  Portabilidade

‣  Câmara de filmar/fotografar integrada

‣  Versatilidade do dispositivo

‣  Preço

de 27 MMA 22

TOUCHVIEWER

MOCKUP/PROTÓTIPO

I N S I D E

de 27 MMA 23

Imagem original Imagem processada

MOCKUP/PROTÓTIPO

de 27 27

de 27 MMA 25

Compatível com

VoiceOver

MOCKUP/PROTÓTIPO

de 27 MMA 26

TOUCHVIEWER

MOCKUP/PROTÓTIPO

de 27 MMA 27

CONCLUSÕES ‣  Desenvolver uma solução barata e integradora tendo em

consideração os princípios da inclusão e da acessibilidade

‣  Aumentar os níveis de interesse e autoconfiança do aluno pela aprendizagem dos modelos visuais

‣  Capacitar a apreensão das formas reais dos modelos observados

‣  Experienciar as imagens de um modo multissensorial, potenciando a aprendizagem e a compreensão dos modelos por parte dos alunos normovisuais

‣  Possibilitar a utilização da tecnologia em diferentes domínios do ensino que não apenas o das ciências biológicas ou fora do contexto educativo

apresentação de grupo mma - parte ii

Technology