fernando henrique vieira trindade -...

FERNANDO HENRIQUE VIEIRA TRINDADE

Estudo de técnicas de visão

computacional para auxílio à

acessibilidade

FERN

AN

DO

HEN

RIQ

UE

VIEI

RA T

RIN

DA

DE

Estu

do d

e té

cnic

as d

e vi

são

com

puta

cion

al p

ara

auxí

lio à

ace

ssib

ilida

de

Esta obra propôs-se a realizar um estudo geral sobre as principais técnicas de visão computacional e processamento de vídeo, focando na detecção e rastreamento do olhar em vídeos, com o objetivo de mostrar algumas técnicas para desenvolvimento de sistemas que proporcione a um de� ciente físico utilizar uma ferramenta tão importante que é o computador. Para tal enfoque, inicialmente, foram apresentadas informações sobre computação visual, suas características e técnicas. Em seguida, foram detalhadas as técnicas de detecção dos olhos e rastreamento do olhar em vídeos e, logo após, foram apresentados resultados obtidos com a utilização dessas técnicas em um estudo de caso. Os resultados obtidos com foram satisfatórios e atendem ao objetivo geral, porém precisa de algumas melhorias para ser utilizado como uma boa ferramenta de acessibilidade.

FERN

AN

DO

HEN

RIQ

UE

VIEI

RA T

RIN

DA

DE

Estu

do d

e té

cnic

as d

e vi

são

com

puta

cion

al p

ara

auxí

lio à

ace

ssib

ilida

de



CONSELHO EDITORIAL

Ana Maria de MenezesFábio Alves dos Santos

Jorge Carvalho do NascimentoJosé Afonso do Nascimento

José Eduardo FrancoJosé Rodorval Ramalho

Justino Alves LimaLuiz Eduardo Oliveira MenezesMartin Hadsell do Nascimento

Rita de Cácia Santos Souza

www.editoracriacao.com.br

Aracaju | 2018

ESTUDO DE TÉCNICAS DE VISÃO COMPUTACIONAL PARA

AUXÍLIO À ACESSIBILIDADE

Fernando Henrique Vieira Trindade

Editoração EletrônicaAdilma Menezes

Capa<a href=’https://br.freepik.com/vetores-gratis/design-baixo-do-cerebro--com-pontos-de-conexao_1215440.htm’>Designed by Freepik</a>

Proibida a reprodução total ou parcial, por qualquer meio ou processo, com finalidade de comercialização ou aproveitamento de lucros ou vantagens, com observância da Lei de regência. Poderá ser reproduzido texto, entre aspas, desde que haja expressa marcação do nome da autora, título da obra, editora, edição e paginação.A violação dos direitos de autor (Lei nº 9.619/98) é crime estabelecido pelo artigo 184 do Código penal.

Catalogação Claudia Stocker – CRB5-1202

Trindade, Fernando Henrique VieiraT832e Estudo de Técnicas de visão computacional para

auxílio à acessibilidade / Fernando Henrique Vieira Trindade.- Aracaju: Criação, 2018.

82 p. 21 cm ISBN on line: 978-85-8413-219-5 ISBN impresso: 978-85-8413-218-8

1. Tecnologia da informação 2. acessibilidade I. Título II. Fernando Henrique Vieira Trindade III.

Assunto

CDU 005.94:342.71

© 2018, Fernando Henrique Vieira Trindade

“Deficiente” é aquele que não consegue mo-dificar sua vida, aceitando as imposições de outras pessoas ou da sociedade em que vive, sem ter consciência de que é dono do seu destino.

Renata Vilella

http://www.pensador.info/autor/Renata_Vilella/

AGRADECIMENTOS

Agradeço a todas as pessoas que contribuíram de alguma for-ma para a concepção, elaboração e conclusão deste trabalho e em particular:

A Deus, por ter-me dado força não somente neste projeto, mas sim em todo meu curso, em minha vida.

Aos meus pais, Ernani e Jacirema, em especial minha mãe que sempre me incentivou e apoiou. Não tenho palavras para des-crever, apenas obrigado mãe.

A meu irmão, Pedro, que sempre me ajudou nesse meu trajeto acadêmico.

A minha esposa, Layanna, que sempre esteve ao meu lado, confiando no meu potencial e me apoiando em todos os mo-mentos. Obrigado.

A meu orientador, Professor Msc. Almerindo, que com todo seu profissionalismo, foi de fundamental importância para a conclusão deste meu projeto.

Ao co-orientador Carlos Alberto Pimentel pelas sugestões e correções.

Ao Dr. Bensebaa Kamel pelas sugestões e por toda atenção me respondendo e-mails e colocando-se a disposição.

Sumário

1 INTRODUÇÃO 11 1.1 Organização do Trabalho 12

2 O USO DO COMPUTADOR POR PESSOA COM DEFICIÊNCIA FÍSICA 13 2.1 Considerações Iniciais 13 2.2 Tipos de Deficiência Motora 14 2.3 Esclerose Lateral Amiotrófica (ELA) 20 2.3.1 Histórico 20 2.3.2 Principais Casos 22 2.4 Acessibilidade 23 2.5 Interação Humano-Computador (IHC) 25 2.6 Soluções de IHC e Acessibilidade 26

3 VISÃO COMPUTACIONAL, PROCESAMENTO DE IMAGENS E COMPUTAÇÃO GRÁFICA 32 3.1 Considerações Iniciais 32 3.2 Computação Gráfica 33 3.3 Processamento de Imagens 37 3.3.1 Segmentação 40 3.3.2 Transformada de Hough 41 3.4 Visão Computacional 43 3.5 Sistema Visual Humano 45

4 EYE DETECTION 51 4.1 Detecção Ativa 53 4.2 Detecção Passiva 54 4.3 Rastreamento do Olhar 57 4.3.1 Métodos 57

5 APLICAÇÕES E RESULTADOS 60 5.1 Metodologia 60 5.1.1 OpenCV 61 5.2 Protótipos 62 5.2.1 Restrições do dispositivo 64 5.2.1. Estrutura do protótipo baseado em template. 65 5.2.1.1Aquisição de dados 65 5.2.2.2 Segmentação da imagem 69 5.2.2.3. Detecção do olho 70 5.2.2.4. Rastreamento do olhar 70 5.2.2.5. Estruturas do protótipo baseado em hough. 71 5.3 Resultados 72

6 CONCLUSÃO 75 6.1 Trabalhos futuros 76

REFERÊNCIAS 78

iNTroDuÇÃo

Há algum tempo que o termo acessibilidade de sistemas tem relevância perante aos usuários e os fabricantes de

software, já que tais sistemas possibilitam que pessoas com limitações possam utilizar as mesmas funcionalidades de um computador, que uma pessoa não portadora de deficiência utiliza. Um exemplo clássico disto é que através de disposi-tivos especiais, pessoas com deficiência motora em alto grau (lesão na medula, esclerose múltipla e esclerose lateral amio-trófica) como o físico Stephen Hawking e o músico Jason Be-cker, podem desenvolver estudos avançados na área de física e compor canções complexas, respectivamente, utilizando o movimento do globo ocular.

Devido a pessoas com estes problemas, técnicas são criadas para alcançar o objetivo de possibilitar sistemas mais acessí-veis. Uma destas técnicas vem sendo bastante utilizada e tem uma boa eficácia no processo de interação humano-computa-dor, a técnica do rastreamento de olhar.

1

12 >> Fernando Henrique Vieira Trindade

Existem diversas pesquisas relacionadas ao rastreamento de olhar, como é o caso do rastreamento de olhar em vídeos de tempo real, que despertam grande interesse devido às vastas possibilidades de aplicação.

O foco deste trabalho é mostrar os resultados obtidos com a implementação de protótipos de sistema de rastreamento de olhar em vídeos de tempo real. Os protótipos consistem em um dispositivo de hardware fabricado com recursos de baixo custo e sistemas, utilizando diferentes técnicas de detecção do olho. Os protótipos foram desenvolvidos com a ajuda de uma biblioteca de processamento de imagens e visão computacio-nal, o OpenCV (AGAM, 2006).

1.1 orgaNizaÇÃo Do Trabalho

Este trabalho está dividido da seguinte forma: o capítulo 1 apresenta a introdução deste trabalho; o capítulo 2 discute de forma ampla os tipos de deficiência física e motora, acessibili-dade, interação humano-computador e soluções de acessibili-dade para os tipos de deficiência; o capítulo 3 é um referencial teórico sobre computação gráfica, processamento de imagens e visão computacional; o capítulo 4 é destinado a discutir as principais técnicas de detecção do olho e rastreamento do olhar; o capítulo 5 é mostrado a metodologia empregada na construção de protótipos de rastreamento de olhar em vídeos como também os resultados obtidos com tais protótipos; e o capítulo 6 dedicado a conclusão do trabalho.

o uSo Do ComPuTaDor PoR PESSOA COM DEFICIÊNCIA FÍSICA

O objetivo deste capítulo é mostrar algumas considerações iniciais sobre acessibilidade, usabilidade, interação hu-

mano/computador e cognição; explicar a importância desses assuntos no desenvolvimento de sistemas computacionais e mostrar como determinadas aplicabilidades em softwares tornam possível essa interação aos portadores de deficiência física e motora.

2.1 CoNSiDeraÇõeS iNiCiaiS

De acordo com o último Censo Demográfico do IBGE em 2010, o Brasil possui 45,6 milhões de portadores de necessidades especiais, o que representa um percentual de 26,9 % da popu-lação brasileira na época. A grande maioria desses portadores sofre com o processo de exclusão digital seja por motivos de baixa renda ou por limitações que dificultam o uso do com-

2


putador. Dentre essas limitações é possível citar: deficiência visual, auditiva, motora, entre outras (IBGE 2010).

Com o surgimento das novas tecnologias desenvolvidas es-pecificamente para essa parte importante da sociedade, é possível fazer com que muitas das limitações físicas e motoras não sejam mais empecilhos para o uso de sistemas computacio-nais, já que a maioria das pessoas com deficiência física possui capacidades normais de raciocínio e cognição. Para entender um pouco melhor como um deficiente pode utilizar um com-putador é preciso definir alguns conceitos básicos, tais como os principais tipos de deficiências motoras, soluções para essas deficiências acessibilidade e interação humano-computador.

2.2 TiPoS De DefiCiêNCia moTora

Atualmente existem sistemas desenvolvidos para diversos ti-pos de deficiência, tais como: visual, auditiva, motora e etc. Porém neste trabalho serão abordadas técnicas de visão com-putacional para desenvolvimento de sistemas para pessoas que sofrem com deficiência motora. Abaixo segue uma expla-nação sobre essas deficiências, segundo (WEBAIM 2009):

a) Lesão na Medula: Lesões na medula espinhal podem resultar em uma paralisia dos membros. Uma paralisia parcial, ocorri-da em apenas um par de membros (inferiores ou superiores) é chamada de paraplegia. Quando há uma paralisia em todos os membros é denominado de quadriplegia. A figura 2.1 apre-senta uma medula lesionada e, logo abaixo, é apresentada

Estudo de técnicas de visão computacional para auxílio à acessibilidade >> 15

uma estatística (WEBAIM, 2009): sobre algumas informações importantes.

Figura 2.1 - Lesão Medular

Fonte: Zinni, 2002.

• As lesões costumam ocorrer em média até os 31.7 anos.• Os homens são responsáveis por cerca de 75% das pessoas

com lesões na medula espinal. • As principais causas de lesão medular são as seguintes:

• acidentes com veículo e automotores: 44% • atos de violência: 24% • quedas: 22% • esportes: 8% • outros: 2%

Os indivíduos com paraplegia geralmente não têm qualquer dificuldade em acessar a Internet. Os indivíduos com tetraple-gia, no entanto, podem ter dificuldades significativas, depen-


dendo do tipo e da gravidade dos ferimentos. Alguns indiví-duos com tetraplegia podem fazer algum uso de suas mãos, mas não o suficiente para, digamos, manipular um mouse ou algum tipo de teclado. Apesar destas limitações, indivíduos com tetraplegia são capazes de fazer uso de tecnologias de tetraplegia que lhes permitam o acesso as funcionalidades de seus computadores.

Perda ou danos nos membros: Pessoas com Deficiência motora nos membros superiores que afetem os movimentos de uma mão ou braço ainda assim pode ter acesso e fazer uso da inter-net utilizando o teclado com apenas uma das mãos sem mui-ta dificuldade. Teclados para uso apenas com uma das mãos estão disponíveis e podem compensar com eficiência a falta de contrapartida, pelo menos quando nos referimos ao aces-so a informação em princípio. No entanto, alguém que tenha perdido ambos os membros pode ter necessidade de recorrer a outras tecnologias, como as utilizadas por indivíduos com quadriplegia (varinhas para a cabeça, bastões para a boca, sof-tware de reconhecimento de voz e etc.).

Figura 2.2 - Teclado para uso com uma mão

Fonte: Acesso Brasil


Paralisia cerebral: é uma lesão no cérebro (e por isso que o ter-mo “cerebral” é usado), resultando na diminuição do controle muscular (paralisia). A condição geralmente ocorre durante o desenvolvimento fetal, mas também pode ocorrer durante a gravidez ou após o nascimento. Características comuns de pa-ralisia cerebral incluem aperto ou espasmo muscular, e até mo-vimentos involuntários. Casos graves podem levar á paralisia.

Figura 2.3 - Caso de Paralisia


Muitas pessoas com paralisia cerebral, como na Figura 2.3 são capazes de usar computadores, mas geralmente encontram dificuldade para usar um mouse. Os movimentos dos braços muitas vezes são demasiadamente irregulares e imprevisíveis para usar um mouse de maneira eficaz. Normalmente estas pes-soas podem fazer uso de teclado, ou um teclado adaptado, em-bora mais lentamente do que indivíduos sem paralisia cerebral.


Distrofia muscular (DM): É uma doença genética em que as proteínas musculares estão danificadas. É caracterizada pela degeneração progressiva dos músculos. A Distrofia muscular pode afetar pessoas em qualquer idade, porém é mais comum em crianças. Indivíduos com leve DM podem viver uma vida normal, enquanto que os indivíduos com casos mais graves podem morrer durante a adolescência ou próximo aos 20 anos. A tecnologia de assistência utilizada pelos indivíduos com DM dependerá da gravidade da condição, mas geral-mente incluem as mesmas tecnologias Já mencionadas (vari-nhas de cabeça, bastonetes para a boca, adaptações de teclado, software de reconhecimento de voz e etc.).

Esclerose múltipla: Em indivíduos com esclerose múltipla (EM), a mielina (uma camada de tecido adiposo que envolve as fi-bras nervosas) como demonstrada na Figura 2.4 corrói, tor-nando as fibras nervosas incapazes de enviar sinais a partir do sistema nervoso central para os músculos do corpo. Os casos mais leves de EM podem resultar em um ou mais dos seguin-tes sintomas: tremores, fraqueza, dormência, caminhar instá-vel, espasticidade, rigidez muscular, ou comprometimento da memória. Casos graves podem resultar em paralisia parcial ou completa. Nem todas as pessoas com esclerose múltipla têm todos os sintomas e, curiosamente, o mesmo indivíduo pode ter diferentes conjuntos de sintomas em momentos dife-rentes. Os tipos de tecnologias utilizadas são as mesmas que para as outras Deficiências motoras (WEBAIM, 2009).


Figura 2.4 - Esclerose múltipla


Doença de Parkinson (DP): é uma desordem do sistema nervo-so central, que provoca tremores incontroláveis e/ou rigidez nos músculos. Indivíduos com casos avançados da doença de Parkinson podem não ser capaz de usar um mouse de manei-ra eficaz e alguns são incapazes de usar um teclado. As vezes a voz também pode ser afetada, de modo que um software de reconhecimento de voz não é uma boa opção, embora a maior parte das pessoas com DP possui voz facilmente compreen-dida. A Doença de Parkinson é mais provável de ocorrer em idosos, mas pode afetar indivíduos jovens também. A Figura 2.5 ilustra uma mão tremula (sintoma da DP).

Figura 2.5 - Mal de Parkinson



Dentre essas doenças, existe uma que, mesmo sendo rara, traz consequências gravíssimas para a pessoa que a possui. O tó-pico abaixo apresenta uma série mais detalhada sobre essa doença:

2.3 eSCleroSe laTeral amioTrófiCa (ela)

Segundo (TUDOSOBREELA, 2009), a ELA é uma doença crô-nica e degenerativa. Para entender a doença é necessário saber o significado de seu nome:

Esclerose significa endurecimento e cicatrização.

Lateral refere-se ao endurecimento da porção lateral da me-dula espinhal.

E amiotrófica é a fraqueza que resulta na atrofia do músculo. Ou seja, o volume real do tecido muscular diminui.

Apesar de ser uma doença rara e complexa, a ELA já era es-tudada desde o século XIX. O subtópico abaixo apresenta um histórico sobre essa doença.

2.3.1 hiSTóriCo

Os indícios de um mal que causava paralisia progressiva dos membros e da língua nas pessoas começaram a se configurar em 1830, ao ser retratado por Sir Charles Bell, famoso ana-tomista e cirurgião britânico. Já em 1848, François Aran, fa-


moso clínico e autor de textos médicos, descreveu uma nova síndrome, caracterizada por fraqueza muscular progressiva de natureza neurológica. Para a literatura médica, o ano de 1853 acenou com o primeiro caso reconhecível de ELA: o de Prosper Laconte, dono de um circo francês. Mas somente 16 anos depois, em 1869, as características essenciais para o re-conhecimento da ELA foram determinadas, após uma série de estudos realizados por dois médicos franceses: Joffroy e Jean-Martin Charcot; este, primeiro professor de neurologia na Salpêtrière. O Dr. Charcot foi o primeiro a ligar os sinto-mas com um grupo de células especificamente afetado pela doença - os neurônios motores. Também coube a Charcot a descrição da paralisia bulbar progressiva (PBP) e da esclerose lateral primária (ELP), consideradas por ele distintas da es-clerose lateral amiotrófica. Várias pesquisas foram realizadas por inúmeros médicos e cientistas, na tentativa de avançar sobre os conhecimentos da doença. Foi assim que, em 1933, Brain introduziu o termo doença do neurônio motor (DNM) para todas essas doenças aparentemente distintas. E foi tam-bém Brain, junto com outro médico de nome Walton que, em 1939, consideraram DNM e ELA sinônimos. A esclerose late-ral amiotrófica (ELA) é uma doença degenerativa. As doenças degenerativas aparecem após um período de funcionamento normal de sistema nervoso; os sintomas iniciais são tão discre-tos que muitas vezes é difícil determinar o momento exato em que a doença começou. A evolução degenerativa é lentamente progressiva, podendo durar anos (MILLER,1997).


2.3.2 PriNCiPaiS CaSoS

Apesar da ELA ser uma doença degenerativa e irreversível, existem dois casos muito importantes os quais mostram a im-portância de acessibilidade para esse tipo de deficiência.

• Stephen William Hawking – é considerado um dos maiores fí-sicos teóricos do mundo. Atualmente, Hawking é professor lucasiano de Matemática na Universidade de Cambridge (cargo ocupado por Isaac Newton) e já provou diversas te-orias focadas na física cosmológica. Stephen descobriu que era portador de ELA aos 21 anos e, em 1985, foi obrigado a fazer uma traqueostomia (após ter contraído pneumonia em decorrência do agravamento da ELA) e desde então uti-liza um sintetizador de voz para se comunicar. Perdeu os movimentos das pernas e dos braços gradualmente, assim como o resto da musculatura voluntária, incluindo a força para manter a cabeça erguida, de modo que sua mobilidade é praticamente nula (hawking.org.uk, 2009).

• Jason Becker – Guitarrista neoclássico que ganhou fama aos 16 anos como virtuoso. Desde cedo participou de várias bandas famosas como Cacophony (banda que fez muito sucesso na Europa e Japão) entre outras, descobriu a doença aos 20 anos quando apresentou uma franqueza na perna esquerda, a par-tir daí, ele foi perdendo os movimentos do corpo lentamente. Apesar disso, continuou compondo e gravando através de um programa de computador, que é controlado apenas pelo seu globo ocular (uma das únicas partes do corpo que ainda possui movimentos (BECKER, 2009).

http://www.jasonbecker.com/


2.4 aCeSSibiliDaDe

Para Acessibilidade Brasil (Sociedade Brasileira de Acessibi-lidade), esse termo representa para o nosso usuário não só o direito de acessar a rede de informações, como também o de eliminação de barreiras arquitetônicas, de disponibilidade de comunicação, de acesso físico, de equipamentos e progra-mas adequados, de conteúdo e apresentação da informação em formatos alternativos. Portanto acessibilidade é um termo usado para incluir socialmente um portador de deficiência fí-sica nas tarefas sociais que envolvem o uso de tecnologia da informação como nas demais tarefas.

Apesar do termo acessibilidade em informática ser quase sempre aplicado a web, devido a importância deste no cená-rio atual da informatização, qualquer ferramenta ou conjunto que possibilitem um usuário portador de deficiência utilizar os recursos que o computador oferece, é considerada como tecnologia de acessibilidade em informática. Nos próximos capítulos serão mostradas tecnologias que não são inerentes à internet, porém que provêm acessibilidade aos usuários.

Para produzir uma boa ferramenta de acessibilidade é preciso se preocupar em desenvolver funcionalidades especiais para tornar os sistemas acessíveis a pessoas que possuem determi-nadas dificuldades. Para isso o W3C (Consórcio para a WEB) e WAI (Iniciativa para a Acessibilidade na Rede) definiram algumas características e situações comuns que o usuário es-pecial pode encontrar e estas devem ser levadas em conside-


ração na construção de um software (mais especificamente um site), entre elas estão:

• Incapacidade de ver, ouvir ou deslocar-se, ou grande di-ficuldade - quando não a impossibilidade - de interpretar certos tipos de informação.

• Dificuldade visual para ler ou compreender textos.

• Incapacidade para usar o teclado ou o mouse, ou não dis-por deles.

• Insuficiência de quadros, apresentando apenas texto ou dimensões reduzidas, ou uma ligação muito lenta à Inter-net.

• Dificuldade para falar ou compreender, fluentemente, a língua em que o documento foi escrito.

• Ocupação dos olhos, ouvidos ou mãos, por exemplo, ao volante a caminho do emprego, ou no trabalho em am-biente barulhento.

• Desatualização, pelo uso de navegador com versão muito antiga, ou navegador completamente diferente dos habi-tuais, ou por voz ou sistema operacional menos difundido.


2.5 iNTeraÇÃo humaNo-ComPuTaDor (ihC)

Segundo [IHC BRASIL] A IHC é uma área de pesquisa dedi-cada a estudar os fenômenos de comunicação entre pessoas e sistemas computacionais. Para (Wikibook`s, 2009) é o nome dado ao conjunto de estudos que envolvem a interação entre pessoas (usuários) e equipamentos computacionais desenvol-vendo métodos e ferramentas para design, criação, implemen-tação e manutenção de sistemas computacionais adequados ao uso humano. Neste sentido, a IHC é uma matéria multidis-ciplinar com enfoque humano, e que agrega conhecimento de diversas áreas exatas e humanas além da computação (como a psicologia, a antropologia, artes, design, ergonomia, socio-logia, semiótica, linguística, e áreas afins) para mapear as ne-cessidades necessárias para desenvolvimento otimizado dos sistemas computacionais.

Desta forma, IHC busca minimizar ao máximo possível a barreira entre o usuário humano e o sistema computacional oferecendo interfaces amigáveis, de modo que este possa ser utilizado com o menor esforço e com maior capacidade possí-vel. Portanto para poder desenvolver um sistema (hardware e software) que torne possível o uso do computador por um portador de necessidades especiais é preciso levar em consi-deração o que deve ser feito, de acordo com a deficiência e quão simples de ser utilizado o sistema vai ser, logo deve-se preocupar com acessibilidade e IHC.


2.6 SoluÇõeS De ihC e aCeSSibiliDaDe

Juntamente com o avanço tecnológico cresceu a necessidade da pessoa com deficiência física em busca de informações, e consequentemente surgiram soluções tecnológicas para que possibilitassem essas pessoas a ter acesso a informações, po-der aprender, interagir e até mesmo trabalhar com o auxílio de computadores adaptados. É importante ressaltar que estas ferramentas não atendem a todos os tipos de necessidade é que muitas vezes por maior que seja o cuidado no planeja-mento e construção da ferramenta, ainda assim podem não ser muito ergonómicas, mas a maioria dela torna-se membros artificiais para pessoa com deficiência física. Algumas das fer-ramentas mais conhecidas são:

1. O “bastão de boca”: é justamente aquilo que o nome indica: um bastão que é colocado na boca. Devido à sua simplicidade e baixo custo, o “bastão de boca” é uma das mais populares tecnologias de assistência. Em muitos casos, há uma ponta de borracha no final do bastão para dar uma melhor tração, e costuma ter uma base de plástico ou borracha na outra ponta que a pessoa insere na boca. Alguém que não possa usar as mãos poderá utilizar um “bastão na boca” para escrever ou para manipular um mouse trackball, dependendo da quantidade de controle que a pessoa tem com o “bastão na boca” e ainda o quanto de paciência ela possa ter ao ver como estes movimentos são difíceis. O bastão é ilustrado na Figura 2.6.


Figura 2.6 - Bastão de boca


2. As “varinhas de cabeça”: são muito semelhantes em termos e função ao “bastão de boca”, salvo que se prende o bastão na cabeça. A pessoa faz uso deslocando a cabeça para fa-zer a varinha teclar caracteres, navegar na web através de documentos e etc. A fadiga pode ser um problema quando são necessárias várias ações para realizar uma tarefa. A varinha de cabeça é ilustrada na Figura 2.7.

Fgura 2.7 - Varinha de Cabeça



3. Um interruptor de acesso único: é usado por pessoas que têm mobilidade muito limitada, mas são capazes de uti-lizar este tipo de dispositivo. Se uma pessoa pode mo-ver apenas a cabeça, por exemplo, uma opção poderia ser colocar ao lado da cabeça, o que permitiria a pessoa clicar nele com o movimento da cabeça. Esta ação é nor-malmente interpretada por um software no computa-dor, que permite ao usuário navegar através do sistema operacional, páginas e outros ambientes. Existem alguns softwares que facilitam a digitação de palavras, usando um recurso de auto completar que tenta adivinhar o que a pessoa está digitando, e permitindo que a pessoa pos-sa escolher entre as palavras que ele deseja. Interruptor ilustrado na Figura 2.8.

Figura 2.8 - Interruptor de acesso único


Interruptor de aspirar e assoprar: Semelhantes em termos de funcionalidade para o interruptor único descrito acima, inter-ruptores de assoprar e aspirar são capazes de interpretar as ações do fluxo de ar do usuário para ligar/desligar, e pode ser utilizado para vários fins, dos de controlar uma cadeira de rodas até navegar em um computador. O hardware pode ser combinado com um software que estende a funcionalidade


deste dispositivo simples para aplicações mais sofisticadas. Interruptor ilustrado na Figura 2.9.

Figura 2.9 - Interruptor de aspirar e assoprar


Teclado virtual (uma imagem de teclado na tela): É um pequeno software que possibilita entrada de texto a partir de cliques com mouse, muito utilizado pelos bancos devido à segurança necessária para transações. O que muita gente não sabe é que é uma forma alternativa ao teclado convencional uma ferra-menta que permite a acessibilidade a pessoas com deficiência motora. Ao receber o clique a partir do mouse a imagem cli-cada é convertida para um caractere de texto, que é escrito na tela do editor. O Windows disponibiliza essa ferramenta (com um nível mínimo de funcionalidades) no menu programas/acessórios/acessibilidade.


Figura 2.10 - Teclado Virtual


Apesar de ser um avanço o teclado virtual, como o da Figura 2.10, ainda é muito limitado, através de técnica de Inteligên-cia Artificial (IA) novas tecnologias vêm sendo desenvolvidas para oferecer aos usuários métodos mais interativos, como, por exemplo, utilizar-se da linguagem do usuário e através de algoritmos de aprendizagem, escrever e oferecer o caractere ou a palavra mais provável de ser usada.

1. Software para reconhecimento de voz: É um software que per-mite a uma pessoa controlar o computador utilizando co-mandos de fala. Isto pressupõe que a pessoa possua uma voz que seja fácil compreender. Algumas pessoas com de-ficiência motora ou com paralisia cerebral, em particular, podem ter dificuldade de falar de uma maneira que o sof-tware possa entendê-las, pois os músculos que controlam a voz reagem com lentidão, e muitas vezes não é audível o suficiente, apesar destas pessoas não terem qualquer lenti-dão na sua capacidade mental.

2. Rastreio dos olhos: Os dispositivos de rastreio e monitora-mento dos olhos podem ser uma valiosa alternativa para


os indivíduos sem nenhum controle, ou apenas um domí-nio, durante os seus movimentos manuais. O dispositivo segue o movimento dos olhos e permite que a pessoa possa navegar na web com apenas movimentos oculares. Esta fer-ramenta quando vendida comercialmente pode ser muito cara, porém este trabalho vai analisar a viabilidade de cons-truir um dispositivo alternativo com tecnologia de baixo custo. O dispositivo comercial ilustrado na figura 2.11.

Figura 2.11 - Mouse ocular


ViSÃo ComPuTaCioNal, ProCeSameNTo De imageNS e

ComPuTaÇÃo gráfiCa

3.1 CoNSiDeraÇõeS iNiCiaiS

A ciência da computação apresenta atualmente três áreas destinadas à manipulação, análise ou geração de ima-

gens através do computador; estas áreas são: a computação gráfica, o processamento digital de imagens e a visão compu-tacional. Com o desenvolvimento das tecnologias de hardwa-re, principalmente de memória e processamento, estas áreas têm apresentado um grande desenvolvimento e vislumbram ainda, pelos mesmos motivos, um futuro próspero.

Apesar de terem em comum a imagem digital, como fim ou como meio, estas três áreas apresentam diferenças. A com-putação gráfica destina-se à modelagem e construção ou sin-tetização de imagens, normalmente manipulando dados na

3


forma vetorial; ao processamento digital de imagens cabe a aquisição e a manipulação da informação adquirida na forma de “pixels” (picture elements), enquanto que a visão compu-tacional é uma área voltada à análise de imagens, à interpre-tação de características e à reconstituição do modelo de um objeto ou de uma cena. A figura 3.1 apresenta um diagrama de relacionamento destas três áreas de pesquisa.

Figura 3.1 - Computação Gráfica, Processamento de Imagens e Visão Compu-tacional

Fonte: Falcão, 2003.

3.2 ComPuTaÇÃo gráfiCa

Segundo Vianna (Vianna 2009), computação gráfica trata das técnicas e dos métodos computacionais, que convertem dados (modelo da Figura 3.1) para dispositivos gráficos e vice-versa. Em uma definição mais informal pode-se definir que: “Com-putação Gráfica é o veículo de comunicação homem/máquina mais adequado à percepção humana.” A computação gráfica é responsável por apresentar imagens ao usuário de compu-


tador. Uma imagem, segundo Gonzalez (GONZALEZ, 2000) é definida como uma função de duas dimensões, f(x,y), onde x e y são coordenadas espaciais em um plano, e a amplitude de f para qualquer par ordenado (x,y) é chamado de intensidade ou nível de cinza no ponto da imagem. Quando x e y e os va-lores de amplitude são todos finitos, quantidade discreta, nós chamamos de imagem digital. O campo do processamento de imagem digital refere-se a imagens digitais produzidas por um computador. Note que uma imagem digital é composta por um número finito de elementos, cada um tem sua locali-zação e valor. Esses elementos são chamados de pixels. O pixel é um termo mais comumente usado para denominar elemen-tos de uma imagem, podendo também ser chamado de pels. A figura 3.2 denota a representação de uma imagem como uma matriz de pixels (GONZALEZ, 2000).

Figura 3.2 Matriz de pixel

Fonte: Falcão, 2003.

Uma imagem digital monocromática é simplesmente uma matriz de pixel onde cada elemento (pixel) corresponde a um


valor tipicamente de 0 à 255. Onde zero é a cor preta e 255 a cor branca e os valores intermediários são níveis de cinza como demonstra a figura 3.3.

Figura 3.3 Imagem digital representada como matriz de pixels

Fonte: Falcao, 2003

Por definição, as cores são espectros de luz que, quando frag-mentadas, apresentam um comprimento de onda e uma fre-qüência diferente. Todas as cores provêm da luz branca, na figura 3.4 é apresentado um gráfico com as ondas eletromag-néticas (a) e uma tabela com os valores do comprimento de onda e os respectivos valores (b).

Figura 3.4 - Freqüência e Comprimento de ondas

Fonte: Falcão, 2003


Analisando a figura, é notório que a frequência dos espectros de cores observados pelo olho humano, é muito pequena, com relação às das demais ondas. É visto também que as ondas de infravermelho, possuem uma frequência pouco menor que as das luzes visíveis. A ondas ou radiação de infravermelho são bastante utilizadas na computação gráfica. A radiação infra-vermelha é uma radiação não ionizante na porção invisível do espectro eletromagnético que está adjacente aos compri-mentos de onda longos, ou final vermelho do espectro da luz visível. Ainda que não seja percebida na forma de luz visível, a radiação IV(infravermelho) pode ser percebida como calor, por alguns animais, através de terminações nervosas especia-lizadas da pele, conhecidas como termo receptores.

A computação gráfica representa em cores com pixels, emi-tindo luz visível, de diferentes maneiras, contudo o padrão mais utilizado é o RGB. Esse padrão é utilizado por monito-res, imagens digitais, fotografias, entre outros e define um pi-xel como a junção de três cores principais: Vermelho (Red), Verde (Green) e Azul (Blue). Cada espectro é representado por uma quantidade de bits fixa que, quando apresentado o valor máximo para todos, o pixel apresentará a cor branca, quando forem nulos, apresentará a cor preta. A figura 3.5 apresenta uma imagem em formato RGB.


Figura 3.5 - Imagem separada em componentes R, G e B


As figuras (b), (c) e (d) representam a imagem (a) decompos-tas em suas componentes R, G e B com apenas um espectro de cores. Analisando cada figura, pode-se observar que é possí-vel destacar certas partes, já que a tonalidade (valor em bits) é maior em determinada área do que em outras.

3.3 ProCeSSameNTo De imageNS

Segundo Jain (1989): “O termo processamento digital de ima-gens refere-se ao processamento de uma imagem bidimensio-nal através de um computador digital.”

Mais detalhadamente, como processamento digital de ima-gens entende-se a análise e manipulação de imagens por computador, com a finalidade de extrair informação destas ou transformá-las, de tal modo que a informação seja mais


facilmente discernível por um analista humano. As operações realizadas com imagens podem ser classificadas em cinco ti-pos básicos (JAIN, 1989):

• Modelagem e representação da imagem;

• Realce de imagem;

• Reconstituição de imagem;

• Análise de imagem;

• Compressão de imagem.

A representação da imagem está relacionada à representati-vidade de cada pixel da figura e isto pode ser mensurado em termos de qualidade e quantidade. Uma imagem pode repre-sentar a luminosidade refletida por objetos em uma cena ou pode indicar a temperatura de uma determinada região. De forma geral, uma função bidimensional que possa armazenar informação pode ser considerada uma imagem. E um modelo de imagem descreve lógica e quantitativamente as proprieda-des desta função.

É importante que o modelo ou representação da imagem obtido seja suficientemente capaz de armazenar as informações necessárias contidas no objeto «imageado”.

O realce de imagem tem por objetivo acentuar certos aspec-tos da imagem para subsequente análise ou visualização. No


realce de imagem não são acrescidas informações à imagem e sim enfatizadas determinadas características da imagem. Um exemplo de realce é a variação de contraste, que transforma o valor de cinza de determinados pixels em valores diferentes, ressaltando determinados aspectos da imagem.

Restauração de imagem refere-se à minimização ou remoção de degradações na imagem. Normalmente esta degradação é decorrente da limitação dos sensores utilizados nos sistemas de imageamento, que podem gerar imagens nebulosas e ge-ometricamente distorcidas, entre outros problemas. Normal-mente as ferramentas geradas para correção de imagem são denominadas filtros. Um exemplo de degradação de imagem é a apresentada por imagens provenientes de satélite que, para determinadas regiões, apresentam uma deformação em função do ângulo de curvatura terrestre.

Análise de imagens é o processo de medição quantitativa de um determinado aspecto da imagem com a finalidade de ge-rar uma descrição desta. Enquanto que nos demais processos de tratamento de imagens a entrada e saída do sistema eram imagens, na análise a saída pode não ser uma imagem, mas sim um gráfico ou um valor referente à propriedade da ima-gem a que se deseja estimar. Um exemplo de análise de ima-gem é a contagem de hemácias em um determinado volume de sangue. Esta atividade vale-se de técnicas de segmentação de imagens para isolamento da característica de interesse e o processo de gerar informação a partir de uma imagem é feio na visão computacional.


Compressão de imagens, em informática, é a aplicação de compressão de dados em imagens digitais. Como efeito, o ob-jetivo é reduzir a redundância dos dados, de forma a armaze-nar ou transmitir esses mesmos dados de forma eficiente.

O tipo de compressão aplicado pode ser com ou sem perda de dados:

• A compressão sem perda de dados é normalmente aplica-da em imagens em que a qualidade e a fidelidade da ima-gem são importantes, como para um fotógrafo profissio-nal, ou um médico quanto às radiografias. São exemplos deste tipo de compressão os formatos: GIF e TIFF (apesar de algumas variantes deste terem perda de dados).

• A compressão com perda de dados é utilizada nos casos em que a portabilidade e a redução da imagem são mais impor-tantes que a qualidade, sem, no entanto menosprezar esta. É o caso das máquinas fotográficas digitais em geral, que gravam mais informação do que o olho humano detecta: alguns sistemas de compressão usam este fato, com vanta-gem, podendo por isso desperdiçar dados “irrelevantes”. O formato JPEG usa este tipo de compressão em imagens.

3.3.1 Segmentação

Segundo Pedrinni (PEDRINNI, 2000), se refere ao processo de dividir uma imagem digital em múltiplas regiões (conjunto de pixels) ou objetos, com o objetivo de simplificar e/ou mudar

http://pt.wikipedia.org/wiki/Compress%C3%A3o_de_dados

http://pt.wikipedia.org/wiki/Imagem_digital

http://pt.wikipedia.org/wiki/Compress%C3%A3o_sem_perda_de_dados

http://pt.wikipedia.org/wiki/GIF

http://pt.wikipedia.org/wiki/TIFF

http://pt.wikipedia.org/wiki/Compress%C3%A3o_com_perda_de_dados

http://pt.wikipedia.org/wiki/M%C3%A1quina_fotogr%C3%A1fica_digital

http://pt.wikipedia.org/wiki/JPEG


a representação de uma imagem para facilitar a sua análise. Segmentação de imagens é tipicamente usada para localizar objetos e formas (linhas, curvas, etc) em imagens. Uma forma de se utilizar desses conceitos é utilizando a Transformada de Hough. Hough utiliza conceitos de geometria analítica para detecção de retas, segmentos e circunferências em determina-das imagens.

3.3.2 Transformada de Hough

A transformada de Hough (HT) é um método padrão para de-tecção de formas que são facilmente parametrizadas (linhas, círculos, elipses, etc.) em imagens computacionais. Em geral, a transformada é aplicada após a imagem sofrer um pré-pro-cessamento, comumente a detecção de bordas.

O conceito principal da HT está em definir um mapeamento entre o espaço de imagem e o espaço de parâmetros. Cada borda de uma imagem é transformada pelo mapeamento para determinar células no espaço de parâmetros, indicadas pelas primitivas definidas através do ponto analisado. Essas células são incrementadas e indicarão, no final do processo através da máxima local do acumulador, quais os parâmetros correspon-dentes a forma especificada (DUDA, 1972).

A transformada de Hough consiste em mapear um pixel da imagem em uma curva no espaço de parâmetros, organizado em forma de um acumulador n dimensional, onde n corres-ponde ao número de parâmetros.


Será apresentada uma implementação sugerida por Davies (1986). Círculos são parametrizados por (x, y, r), onde (x, y) referem-se a posição de centro e r ao raio, conforme figura 3.6 abaixo.

Figura 3.6 Circulo parametrizado

Fonte: Penzo, 2005).

O algoritmo da Transformada de Hough circular pode ser im-plementado em cinco passos:

1. Quantizar o espaço de parâmetros tendo como resultado um conjunto de valores que serão utilizados como parâ-metro para os passos seguintes.

2. Zerar o arranjo acumulador M(a,b).

3. Computar a magnitude do gradiente G(x,y).

4. Para cada píxel de borda em G(x,y), incrementar todos os outros acumulados no arranjo M(a,b) ao longo da linha seguindo a equação 1.


5. Identificar o ponto máximo no arranjo acumulador, pois este corresponde ao centro do objeto circular presente na imagem.

3.4 ViSÃo ComPuTaCioNal

A capacidade humana para captar, processar e interpretar grandes volumes de dados de natureza visual estimula o de-senvolvimento de técnicas e dispositivos cada vez mais so-fisticados. Algumas aplicações requerem interação visual bastante intensa. A compreensão do sistema visual dos seres humanos, sua capacidade de aprendizagem e sua habilidade em realizar inferências e ações baseadas em estímulos visuais são de grande importância para o desenvolvimento e aprimo-ramento de técnicas para análise automática ou semiautomá-tica de informações extraídas de uma imagem ou cena com o auxílio de computador (PEDRINI, 2007).

A visão computacional procura auxiliar a resolução de pro-blemas altamente complexos, buscando imitar a cognição humana e a habilidade do ser humano em tomar decisões de acordo com as informações contidas na imagem. Entretanto, a sequência dos passos relevantes que envolvem o processa-mento e análise da de imagens, muitas vezes, é realizada por um operador humano que detém o conhecimento ou experi-ência sobre o domínio da aplicação (PEDRINI, 2007).

A análise de imagens é, tipicamente, baseada na forma, na textura, nos níveis de cinza ou nas cores dos objetos presentes


nas imagens. Uma dificuldade inerente ao processo de análise de imagens é seu caráter multidisciplinar, em que diversos domínios de conhecimento são comumente necessários para solucionar satisfatoriamente o problema, tais como geometria computacional, visualização cientifica, psicofísica, estatística, teoria da informação e muitos outros.

Para simplificar o estudo das tarefas envolvidas em visão computacional, dois níveis de abstração são normalmente es-tabelecidos: processamento de imagens (baixo nível) e análise de imagens (alto nível).

Os métodos de baixo nível geralmente utilizam pouco conhe-cimento sobre o conteúdo ou a semântica das imagens. Esses métodos envolvem operações como a redução de ruídos, o aumento de contraste, a extração de bordas e a compressão de imagens. Esse processamento utiliza imagens capturadas por equipamentos bastante variados, como tomógrafos médi-cos, câmeras de vídeo, câmeras fotográficas, satélites e outros. Para que a imagem possa ser processada em um computador, primeiro precisa ser digitalizada e convertida em um formato adequado. Uma representação comum de imagens para pro-cessamento de baixo nível é uma matriz retangular com ele-mentos correspondendo a valores de brilho da imagem.

Os métodos de alto nível envolvem tarefas como segmentação da imagem em regiões ou objetos de interesse, descrição de objetos de modo a reduzi-los a uma forma mais apropriada para representar o conteúdo da imagem e reconhecimento e


classificação desses objetos. Características comuns utilizadas para descrever objetos incluem contornos ou bordas, dimen-sões do objeto, relacionamento entre os objetos da imagem, cores, texturas e muitas outras (PEDRINI, 2007).

3.5 SiSTema ViSual humaNo

Dentre as principais capacidades sensoriais dos seres huma-nos que permitem adequada percepção do ambiente que os cerca, a visão é uma das mais importantes. A visão envolve diversas funções complexas, tais como detecção localização, reconhecimento e interpretação de objetos no ambiente.

Uma vez que a área da visão procura dotar as máquinas com capacidades visuais, torna-se fundamental compreender o funcionamento do sistema visual humano sob os diversos as-pectos psicofísicos e neurológicos. A compreensão do sistema visual humano pode auxiliar o desenvolvimento de sistemas capazes de adquirir, analisar e interpretar informações visu-ais, com o objetivo de ampliar o número de tarefas que as má-quinas podem realizar.

A figura 3.7 mostra um corte transversal do olho humano. O globo ocular possui formato aproximadamente esférico, com diâmetro de cerca de 20 mm, situado no interior de uma cavi-dade óssea, chamada órbita, sendo protegido pelas pálpebras e cílios. O globo ocular é aderido à órbita pelos músculos pe-los músculos extrínsecos, os quais lhe dão capacidade de mo-vimentação. O globo é envolvido por três membranas, uma


camada externa formada pela esclerótica e pela córnea, uma camada intermediária formada pela coroide, íris e corpo ciliar, e uma camada interna formada pela retina (PEDRINI, 2007).

Figura 3.7 - Sistema Visual Humano

Fonte: Zinni, 2002).

A esclerótica é uma camada resistente e opaca que envolve o globo ocular, protegendo as estruturas internas do globo. Na parte frontal do globo, localiza-se a córnea, que é um tecido transparente por onde a luz penetra no olho. A córnea fun-ciona como uma lente, cujo o poder de refração deve permitir que a imagem se forme em uma camada neuro sensorial, a retina.

A coroide esta localizada abaixo da esclerótica. Essa membra-na contém uma rede de vasos sanguíneos, os quais nutrem as sensíveis estruturas oculares. O revestimento da coroide é fortemente pigmentado, ajudando reduzir a quantidade de luz que entra no olho. A íris é responsável pela quantidade de luz que entra no olho. A abertura central da íris é conhecida como pupila cujo diâmetro varia de 2 a 8 mm. A pupila expan-


de ou contrai seu tamanho de acordo com a luminosidade do ambiente, regulando assim a entrada de luz no olho. Exata-mente atrás da íris está o cristalino, que é uma lente gelatinosa e elástica, cuja função é auxiliar a córnea a focalizar a luz que entra no olho para formar a imagem na retina. A distancia focal do cristalino é modificada por movimento de um anel de músculos, os músculos ciliares, permitindo ajustar a visão para objetos próximos ou distantes. Imediatamente atrás das lentes localiza-se a maior câmara do olho, a qual está preen-chida por um fluido viscoso chamado humor vítreo, produ-zido pelo corpo ciliar. O humor aquoso é um líquido incolor existente entre a córnea e o cristalino que, juntamente com o humor vítreo, é responsável pela manutenção do volume e da pressão intraocular.

A membrana mais interna do olho é revestida por uma cama-da de tecidos nervosos, chamada retina. A retina é responsá-vel pela sensação da imagem visual projetadas pelas estrutu-ras da parte frontal do olho, além de codificar essas informa-ções com sinais nervosos e transmiti-las para o cérebro. Cada olho recebe e envia ao cérebro uma imagem, no entanto, os objetos são vistos como um só, devido a capacidade de fusão das imagens. A visão binocular (com dois olhos) proporciona maior campo visual e a noção de profundidade. O ponto cego, uma pequena região da retina onde está localizado o nervo ótico, não possui fotorreceptores.

A retina é composta por células sensíveis à luz, os cones e os bastonetes. Essas células transformam a energia luminosa das


imagens em impulsos elétricos que são transmitidos ao cére-bro pelo nervo ótico.

Os cones são altamente sensíveis à cor e responsáveis pela ca-pacidade do olho de discernir detalhes nas imagens. Os cones são em número de 6 a 7 milhões em cada olho e estão localiza-dos na porção central da retina, chamada de mácula lútea. Ao centro da mácula lútea está a fóvea, uma região onde as células nervosas estão afastadas para o lado, permitindo que aluz atin-ja diretamente os receptores. Na fóvea, portanto, a acuidade visual é máxima. A visão pelos cones é chamada de fotóptica.

O número de bastonetes é muito maior, cerca de 75 a 150 mi-lhões, distribuídos na superfície periférica da retina. Os basto-netes são mais sensíveis à baixa intensidade de luz e permitem uma perceção geral da imagem captada no campo de visão. A visão pelos bastonetes é chamada de escotópica.

Alterações químicas ocorrem nos bastonetes e cones quando a luz atinge a retina. A vitamina A é o composto químico utili-zado tanto pelos cones quanto pelos bastonetes para a síntese de substâncias fotossensíveis.

Nos bastonetes, a substancia química fotossensível é chamada de rodopsina. Quando a energia luminosa atinge a rodopsina, a permeabilidade da membrana celular se modifica, alterando o potencial elétrico no interior do bastonete. Esse potencial é transmitido para extremidade do bastonete que forma sinap-ses com os neurônios retinianos. Os sinais visuais são transmi-


tidas para as células ganglionares, que dão origem às fibras do nervo ótico que levam esses sinais para o cérebro.

Nos cones ocorrem processos químicos muito semelhantes aos dos bastonetes, exceto pelo fato de que a substância fotos-sensível é chamada de fotopsina. Diferenças existente entre a proteínas que formam a fotopsina tornam os cones sensíveis a diferentes cores.

A figura 3.8 mostra a curva de absorção da rodopsina nos seres humanos. A rodopsina absorve fótons mais eficientes quando seus cumprimentos de onda estão próximos a 500nm. A retina contém três tipos de cones, cada um deles responden-do a um espectro cromático específico. A figura 3.9 ilustra esse fato, na qual são apresentados os cumprimentos de onda da luz correspondente aos três tipos de cones. A resposta repre-senta três valores máximos nos cumprimentos de onda 430, 575 e 600 nm, correspondendo às cores azul, verde-amarelada e vermelha, respetivamente.

Figura 3.8 - Curva de absorção da rodopsina nos seres humanos

Fonte: Pedrinni, 2007


Figura 3.9 - curva de absorção da rodopsina nos seres humanos em RGB

Fonte: Pedrinni, 2007

Várias semelhanças podem ser destacadas entre o sistema vi-sual humano e um sistema de sensores, tal como uma câme-ra fotográfica. O obturador da câmera possui função similar à pálpebra do olho. O diafragma de uma câmera controla a quantidade de luz que atravessa as lentes, similar à Iris no olho humano.

As lentes da câmera são análogas ao conjunto formado pelo cristalino e córnea, cujo objetivo comum é focalizar a luz para tornar nítidas as imagens que serão formadas em uma super-fície sensível. No olho humano, esta superfície sensível é a retina. Nas câmeras fotográficas, películas fotossensíveis ou filmes fotográficos são utilizados para registrar as imagens em câmeras analógicas, enquanto cartões de memórias são utilizados em câmeras digitais (PEDRINI, 2007).

4eYe DeTeCTioN

Com o surgimento da visão computacional (“fazer o com-putador enxergar” ou “entender imagens)” por volta do

final da década de 70, os pesquisadores começaram a imple-mentar técnicas de processamento de imagens. Essas técnicas foram sendo amadurecidas e subdividias em partes especifi-cas da visão computacional. Uma dessas subdivisões é a de utilizar algoritmos de processamento de imagem (filtros, limi-te dinâmico, detecção de borda, etc..) para extrair característi-cas humanas de uma imagem.

Com a utilização desses algoritmos é possível desenvolver ferramentas capazes de identificar a existência de pessoas e até suas características físicas, como, por exemplo, identificar uma face, um olho ou uma boca em uma imagem.

Recentemente começaram pesquisas sobre rastreamento de olhar, essas pesquisas consistem em passar uma imagem para


o computador e este identificar não só a face e o olho da pessoa, como também para onde a pessoa está olhando. Isso aumenta muito a capacidade de IHC (interação homem máquina) tor-nando possível o desenvolvimento de sistemas para as mais di-versas aplicabilidades. É possível, por exemplo, controlar o cur-sor do mouse, digitar um texto, emitir comandos de automação e até mesmo tentar desvendar o que o usuário está pensando, tudo isso com apenas a direção do olhar (IHC BRASIL).

Com a capacidade de processamento gráfico dos micropro-cessadores atuais é fácil conseguir processar não apenas uma imagem, mas uma sequência delas, ou seja, um vídeo. Portan-to com uma simples webcam é possível interagir com o com-putador apenas com o olhar, o que amplia sensivelmente a acessibilidade dos sistemas de computadores atuais.

Uma das subdivisões da visão computacional que tem sido muito pesquisada ultimamente é a de rastreamento. As técni-cas de rastreamento consistem em métodos capazes de, a par-tir de uma informação inicial como, por exemplo, um template ou uma base de conhecimento, conseguem identificar uma parte da imagem, selecioná-la e buscá-la em frames seguin-tes durante execução de um vídeo. Porém antes de rastrear é preciso detectar qual secção da imagem deve ser rastreada. Para isso existem técnicas que são estudadas estão em cons-tante análise para medição de eficiência e eficácia. Basicamen-te os processos de detecção do olho são divididos em duas categorias: detecção ativa (active eye detection) e a detecção pas-siva (passive eye detection) (QIANG JI, 2005).


4.1 DeTeCÇÃo aTiVa

Os métodos de detecção ativa são técnicas, que utilizam agentes facilitadores como, por exemplo, iluminação infravermelho (IR) ou padrão de piscada de olhos. O método ativo mais utilizado é o que incide-se um fecho de luz infravermelho no olho do usuário. A córnea reflete a luz, produzindo o efeito conhecido como “olhos vermelhos”, muito comum em fotos produzidas com o uso de flash. Este fenômeno produz pupi-las com alto brilho em imagens em níveis de cinza. A posição dos olhos é determinada através destas regiões de alto brilho (YOO, 2005). Esse método fornece a vantagem da precisão de detecção em vídeos. Mas possui a desvantagem de ter que usar câmera especifica para capturar luz infravermelho e um emissor de luz. A Figura 4.1 demonstra um tipo de imagem produzida com a ajuda da iluminação infravermelho.

Figura 4.1 - Retro-reflexão.

Esse efeito facilita sensivelmente o rastreamento, uma vez que destaca a pupila dos demais elementos da imagem, deixando os


pixels que preenchem sua área com alto valor. Este destaque ajuda calcular o centro da pupila, fato importante para o rastreamento.

Ao posicionar uma fonte pontual de luz infravermelha fora do eixo óptico da câmera é gerado um ponto de reflexão sobre a córnea, chamado de glint. O glint é caracterizado por possuir um alto valor de pixel em comparação com o restante dos pixels da imagem. Ele também é facilmente destacável do restante da ima-gem e produz bons parâmetros para o rastreamento de olhar. Na Figura 4.2 mostra a reflexão da córnea gerando o efeito glint.

Figura 4.2 – Representação do Glint gerada a partir de uma luz pontual de infravermelho.

4.2 DeTeCÇÃo PaSSiVa

Os métodos de detecção passiva são geralmente utilizados para detecção de olhos em imagens únicas ou em vídeos que não são em tempo real. Pode atingir maior precisão devido a quantidade de algoritmos de correção de falsas detecções. Os métodos de detecção passiva são divididos em três categorias conforme a estratégia utilizada: (a) análise de aparência, (b) aprendizagem, (c) modelos (Q.JI, H. WECHSLER, 2005).


Análise de aparência: Nesta abordagem são analisadas caracte-rísticas tais como: cores, textura e formas presentes na imagem. São utilizadas técnicas de agrupamento de cores em conjuntos de pixels criando espaços cromáticos para definir cor da pele, especialmente a do olho, como descrito PR (S. J. Schmugge, 2007). Através dos limites de diferenças de cores conseguimos definir limiares para binarização da imagem (GONZALEZ, 2000). Com o resultado da binarização da imagem, é feita uma análise de limites de regiões de pele. Regras predefinidas são aplicadas para eliminar possibilidades de falsos candidatos e determinação da real posição dos olhos. A vantagem dessa abordagem é que na maioria das vezes requer pouco recurso de processamento, devido à facilidade de cálculo que são in-variantes a rotação e escala. A principal desvantagem é ado-tar um critério satisfatório a todos os tipos de cor de pele dos olhos e que seja robusto à variação de iluminação.

Aprendizagem: Para detecção baseada em aprendizagem, um conjunto de imagens de exemplos e contra exemplos são utili-zados para treinamento de um classificador. Os sistemas que utilizam este tipo de abordagem usualmente diferem nas ca-racterísticas usadas para treinamento, nas técnicas emprega-das para extração destas características a partir das imagens e no tipo de classificador adotado, como por exemplo: Redes Neurais. Os olhos correspondem às regiões da imagem que produzem uma resposta positiva do classificador. Esta abor-dagem pode apresentar invariância a rotações, mudanças de escala e iluminação, através da geração sintética de exemplos e contra exemplos para utilização no treinamento. A dificul-


dade deste procedimento se encontra na falta de critérios es-pecíficos para geração de contra exemplos em imagens gené-ricas (TIVIVE, 2005).

Baseada em modelos: Detecção baseada em modelos procura minimizar uma função de energia, ou de custo obtida através do casamento de um dado modelo com a imagem. O padrão normalmente é composto por um círculo e duas curvas para-bólicas, desta forma modelando o aspecto de um olho. Os mé-todos que utilizam esta abordagem diferem basicamente pelo modo de encontrar a localização inicial do padrão. Na busca pelos olhos, o modelo é deslocado de acordo com um processo de minimização de uma função de energia. O deslocamento do modelo permite a detecção até mesmo de olhos rotacionados e apresenta tolerância a variações de abertura dos olhos. Algu-mas desvantagens do uso desta abordagem são as dificuldades para encontrar os pontos iniciais para encaixe do modelo e o alto custo computacional (F. H. C. TIVIVE, 2005).

Figura 4.3 - Método modelo deformável

Fonte: Redert, 1997


4.3 raSTreameNTo Do olhar

O rastreamento do olhar é feito através da estimação da di-reção do olhar do usuário. Não é necessário descobrir o ponto exato no espaço para o qual o usuário está focando sua atenção, apenas a direção do olhar, uma vez que a profundidade é cons-tante, pois o monitor para o qual ele está olhando está supos-tamente parado. Esta distância é parametrizada durante uma calibragem inicial do sistema. Pelo fato de ambos os olhos es-tarem normalmente olhando para o mesmo ponto, é suficiente rastrear apenas a posição de um dos olhos. Isso mudaria caso fosse desejado à percepção de profundidade (REDERT, 1997).

4.3.1 Métodos

Durante vários anos de pesquisa sobre a visão computacional, surgiram diversas tentativas de rastrear a direção para onde a pessoa está olhando com a ajuda de sistemas de computadores. Portanto ao longo desses anos desenvolveram-se algumas téc-nicas de rastreamento de olhar entre elas as mais utilizadas são:

Eletrodos: Espalham-se eletrodos em volta da cavidade do olho do usuário, que medem a diferença de potencial que existe entre a córnea e a retina, conseguindo assim captar movimen-tos relativos do olho. Este método é bastante preciso em sua medições, porém não capta movimentos na cabeça do usuá-rio, o que pode gerar erros bastante grandes na prática, caso a cabeça do usuário não seja mantida fixa durante a utilização do sistema, o que gera um grande desconforto. Além disso,


tal método só pode ser utilizado em laboratório e é bastante invasivo (ime.usp.br, 2009) .Como mostrado na figura 4.4, o dispositivo funciona através das seguintes etapas ilustradas no diagrama.

Figura 4.4 - Representação de um dispositivo de rastreamento de olhar baseado em eletrodos

Fonte: Redert, 1997.

Lentes de contato: É colocada no olho do usuário uma lente de contato que, através de um meio químico ou mecânico permanece fixa. Reduzindo o problema a detectar o movimento do olho relativo à lente. Porém este método é muito invasivo, interferindo inclusive no piscar do usuário, o que gera certo incômodo. Embora os outros métodos sejam muito mais usados atualmente, este método é muito preciso, o que


possibilitou o levantamento de dados reais sobre a natureza do movimento do olho humano, que foram fundamentais para o desenvolvimento de métodos menos precisos, porém menos invasivos e mais práticos (ime.usp.br, 2009).

Processamento de imagens: São os métodos que utilizam proces-samento de imagens para destacar o objeto a ser rastreado. Os métodos de detecção ativa e passiva explicados anteriormente são os mais utilizados nesse tipo de rastreamento. A figura 4.5 e a figura 4.6 ilustram dispositivos de captura de imagens para essa técnica de rastreamento.

Figura 4.5 - Óculos para rastreamento de olhar.

Figura 4.6 - Boné para rastreamento

Fonte: Acesso Brasil, [s.d.].

APLICAÇÕES E RESULTADOS

Neste capítulo será discutida a metodologia empregada na elaboração de protótipos de um mouse ocular, de

acordo com as etapas necessárias para detecção do olho e ras-treamento do olhar. Além disto, serão mostrados os resulta-dos obtidos com a experimentação, através de outro protótipo avaliador de IHC, e os desafios encontradas.

5.1 meToDologia

Neste projeto foi realizada a construção de protótipos para estimar a direção do olhar e mover o cursor do mouse para a posição na tela que mais se assemelha com a estimativa. Para isso será utilizada a linguagem C++ com a IDE Microsoft Vi-sual Studio 2005 Professional Edition, no ambiente de desenvol-vimento Visual C++ 2005 Express Edition. O protótipo foi de-senvolvido com o auxílio da biblioteca Opencv (Open Source Computer Vision Library) da Intel (opencv.org, 2009).

5


5.1.1 OpenCV

Intel Open Source Computer Vision Library, ou simplesmente, OpenCV, foi criado pelo grupo de desenvolvimento da Intel em 2000 e possui uma coleção de ferramentas poderosas para o desenvolvimento de aplicativos na área de Visão Compu-tacional. O processamento de imagens OpenCV possui mó-dulos de Processamento de Imagens e Vídeo I/O, Estrutura de dados, Álgebra Linear, GUI Básica com sistema de janelas independentes, Controle de mouse e teclado, além de mais de 350 algoritmos de Visão Computacional como: Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise estrutural, entre outros.

O OpenCV encontra-se atualmente na versão 1.1 com relea-se do dia 15/10/2008 e é totalmente livre para uso acadêmi-co e comercial seguindo a licença BSD da Intel. A biblioteca foi escrita em C/C++ e também dá suporte a programadores das linguagens: C/C++, Python e Visual Basic que desejam incorporar a biblioteca a seus aplicativos. A biblioteca está disponível para múltiplas plataformas: MS Windows (95/98/NT/2000/XP), POSIX (Linux/BSD/UNIX-like OSes), Linux, OS X, e MAC OS Básico.

Está disponível o código fonte para que seus usuários possam alterá-lo para uso próprio. Ela foi criada para desenvolver especialmente aplicativo em tempo real onde normalmente se está muito preocupado com o desempenho dos algoritmos.

http://www.intel.com/technology/computing/opencv/license.htm


Existe, também, um Web Group bem-movimentado (yahoo-groups.com/group/OpenCV), com 500 emails por mês em média, que discute sobre BUGs, dúvidas e projetos sobre a biblioteca

O OpenCV consiste nos seguintes módulos: • cv — Modulo das principais funcionalidades e algoritmos

de Visão Computacional do OpenCV.• cvaux — Modulo com algoritmos de Visão que ainda es-

tão em fase experimental.

• cxcore — Modulo de Estrutura de Dados e Álgebra Linear.

• highgui — Modulo de Controle de Interface e dispositivos de entrada.

• ml — Modulo de “Machine Learning”.

• ed — Manual de estrutura de dados e operações.

5.2 ProTóTiPoS

Os protótipos demonstrados a seguir utilizam o esquema de dispositivos de hardware demonstrado na figura 5.1.

http://tech.groups.yahoo.com/group/OpenCV/

http://www.tecgraf.puc-rio.br/%7Emalf/opencv/ref/opencvref_cv.htm

http://www.tecgraf.puc-rio.br/%7Emalf/opencv/ref/opencvref_cvaux.htm

http://www.tecgraf.puc-rio.br/%7Emalf/opencv/ref/opencvref_cxcore.htm

http://www.tecgraf.puc-rio.br/%7Emalf/opencv/ref/opencvref_highgui.htm

http://www.tecgraf.puc-rio.br/%7Emalf/opencv/ref/opencvref_ml.htm

http://www.tecgraf.puc-rio.br/%7Emalf/opencv/ref/opencvref_basicfuncs.htm


Figura 5.1 Esquema de dispositivos.

O esquema demonstra que o boné (dispositivo do mouse ocu-lar) envia sinal de rádio através de uma antena emissora, para um receptor que capta o sinal através da antena receptora. O receptor decodifica o sinal de rádio e codifica-o em sinal de vídeo. Este é transmitido por um cabo RCA para uma peque-na placa de captura que decodifica o sinal de vídeo em bits. O computador que está conectado via USB com a placa de cap-tura digitaliza os bits transformando-os em frames ou quadros para que o software do protótipo possa processá-los. Todo esse processo é muito rápido dando a sensação de resposta em tempo real.


5.2.1 Restrições do dispositivo

È importante ressaltar que neste protótipo existe restrições que devem ser tratadas em trabalhos futuros. O trabalho de experimentação parte sempre de um ambiente ideal para pos-teriormente tratar os casos mais específicos.

1. Restrição do olho esquerdo: Como a câmera é ajustada filmando sempre o olho esquerdo, admite-se que o usuá-rio não possua nenhum desvio ou trauma no globo ocular esquerdo.

2. Restrição de luminosidade: Como o dispositivo funciona com iluminação infravermelha, o ambiente deve ser con-trolado para que não haja luminosidade excessiva no es-pectro infravermelho.

3. Restrição da bateria: Por ser um dispositivo sem fio a alimentação da câmera restringe-se a uso de uma bateria e esta possui uma limitação de carga, que no caso deste protótipo é de 30 a 45 minutos com uso de bateria alcali-na. Esta restrição pode ser minimizada de várias formas como, por exemplo, uso de bateria solar ou uso de duas ou mais baterias em paralelo.

4. Restrição da movimentação da cabeça: Ao mover a cabeça o usuário muda o ângulo de visão do monitor, mudando portanto o deslocamento máximo do globo ocular, o que necessitaria de uma nova configuração de parâmetros.


5.2.1. Estrutura do protótipo baseado em template.

Para que ocorra o rastreamento do olhar é necessária a realização de numa sequência de etapas, a seguir descritas:

• Aquisição de dados, no caso imagens do olho;

• Segmentação da imagem;

• Detecção do olho;

• Rastreamento do olhar.

Cada uma destas etapas envolvidas no desenvolvimento do protótipo será discutida nas próximas subseções.

5.2.1.1Aquisição de dados

Para a fase de aquisição de dados foi utilizada uma mini câ-mera de segurança, sem fio e com infravermelho, adaptada para o experimento, Wireless A/V Câmera, que custa, em ja-neiro de 2009, R$ 80,00 (figura 5.2, figura 5.3), de 30 frames por segundo, e capacidade de transmitir vídeo em tempo real a uma distância aproximada de 50 metros (com barreiras) da câmera para o receptor, distância esta testada nesse trabalho. Os frames capturados pela câmera são enviados para um re-ceptor através de ondas de rádio e este está conectado a uma placa de captura USB (ENUTV Encore Eletronics Tv Tuner Pro), que custa, em janeiro de 2009, R$100,00 porém existe modelos


mais baratos por volta de R$60,00 ver figura 5.1. O compu-tador utilizado para a experimentação é um Dual Core Intel E2140 1.6GHz, 2GB de memória RAM, com Windows XP Pro-fessional Versão 2002 Service Pack 2.

Figura 5.2 Câmera com 4 LED´s Infravermelho.

Figura 5.3 Receptor e câmera sem fios.

A figura 5.3 mostra o esquema dos componentes necessários para utilização da câmera. A mini câmera sem fio é ligada a


uma bateria de 9v e emite um sinal de rádio através da antena ao receptor. Através de uma antena receptora o receptor, que também pode ser ligado a uma bateria de 9 v, recebe o sinal emitido pela câmera e converte este sinal em sinal de vídeo. O sinal de vídeo é enviado através de um cabo RCA para uma pequena placa de captura USB. A placa de captura alimenta o protótipo com imagens da câmera em até 30 frames por se-gundo.

A escolha dessa câmera deve-se a três motivos importantes. O primeiro é que a câmera é sem fio, ou seja, ausenta o usuário de qualquer fio já que a câmera é alimentada por uma bateria de 9v. Esse fato proporciona ao usuário, que é portador de de-ficiência motora, um conforto maior na utilização do sistema, possibilitando, por exemplo, que o usuário fique a uma dis-tância do monitor que seja confortável e que não corra o risco de alguém tropeçar em algum fio. O segundo motivo é que esta câmera possui LED´s de infravermelho embutidos, que no experimento ajuda a destacar a pupila do olho na imagem. Por fim pelo fato de ser sem fio estende a aplicabilidade, para estudos futuros, possibilitando o uso da ferramenta associada com automação ou robótica para através do globo ocular fazer com que o usuário possa mover sua própria cadeira de roda num raio de 50 metros com barreiras limite desta câmera.

Para utilizar esta câmera em experimentos com “Active Ilumi-nation” foram realizadas algumas adaptações. Primeiramente foi necessário desenroscar a lente da câmera para remover um pequeno prisma que filtra a luz no espectro infravermelho, já


que deve ser utilizado LED´s de infravermelho para destacar características do olho. Por fim deve-se colocar um filtro de luz visível para que a câmera consiga captar apenas o infra-vermelho. A figura 5.4 mostra a lente removida e o prisma destacado desta, como também um filme fotográfico “quei-mado” para filtrar a luz visível. Figura 5.4 Câmera utilizada no experimento.

Figura 5.5 Placa de captura USB.


A placa de captura da figura 5.4 é responsável por converter o sinal analógico, transmitido pelo receptor da câmera através de um cabo RCA para a placa de captura, em sinal digital. Através da placa de captura o protótipo adquire o frame ou quadrado digitalizado e realiza processamento de imagens necessário para a detecção do olho e rastreamento ocular.

Foi desenvolvido um dispositivo de IHC para que o usuário possa vesti-lo e interagir com o computador. Este dispositivo consiste em um boné, onde foi adaptado um suporte para a câmera e um compartimento para uma bateria de 9v. O usu-ário necessita de um ajudante para vestir o boné e ajustá-lo de maneira que o olho esquerdo fique no centro da imagem exibida numa janela. Como a haste do suporte que segura a câmera é flexível então esse ajuste é simples de ser realizado.

5.2.2.2 Segmentação da imagem

O processo de segmentação como explicado anteriormente tem a finalidade de destacar um objeto do restante de uma imagem. No algoritmo do protótipo baseado em template essa etapa é de fundamental importância, já que será segmentada uma parte da imagem que corresponde ao olho (template do olho) para que esta seja comparada com cada frame do vídeo em tempo real. Após o ajuste da haste da câmera o ajudante deverá clicar na pupila do usuário exibida na janela da figura 5.6. O retângulo vermelho corresponde ao template segmen-tado que fica armazenado na memória para a etapa seguinte (detecção do olho).


Figura 5.6 Representação do olho referente ao ponto central na tela.

5.2.2.3. Detecção do olho

A etapa de detecção do olho utiliza uma técnica disponível na biblioteca OpenCV chamada de Casamento de Modelos (Template Matching) usa um modelo (template) simples, adqui-rido na etapa de segmentação para examinar a imagem (frame atual no vídeo), armazenando os resultados. O objetivo desta técnica é examinar todos os pixels de uma imagem e encontrar todas as instâncias de um objeto específico descrito por um modelo.

5.2.2.4. Rastreamento do olhar

Na etapa de rastreamento do olhar utilizou-se uma técnica bem simples para estimar a direção do olhar. A técnica con-siste em armazenar a coordenada do olho no frame anterior e compará-la com a do frame atual. Se houver um deslocamen-to no eixo “x” então analisa-se a direção do deslocamento e aplica-se um deslocamento em maior proporção para a coor-


denada que o cursor do mouse que está exibido na tela, mo-vimentando este para um local semelhante ao que o usuário está olhando. A mesma análise de deslocamento é feita para o eixo “y”, assim consegue-se um deslocamento do cursor tanto no sentido vertical quanto no horizontal.

5.2.2.5. Estruturas do protótipo baseado em hough.

Para que ocorra o rastreamento do olhar é necessária a realização de numa sequência de etapas, a seguir descritas:

• Aquisição de dados, no caso imagens do olho: Para aqui-sição do olho foi utilizado o mesmo método descrito na aquisição do protótipo de template matching.

• Detecção de bordas: Para detecção de borda foi utili-zada uma função da biblioteca Opencv chamada de cvCanny, esta técnica detecta bordas em uma imagem monocromática, portanto foi necessário converter o fra-me em uma imagem monocromática. Em seguida a fun-ção binariza (GONZALEZ 2000) (imagem com pixels ou preto ou banco) a imagem deixando o fundo preto e as bordas na cor branca. A figura 5.7 ilustra as bordas do olho utilizando cvCanny com o dispositivo citado acima de active ilumination.


Figura 5.7 Bordas da pupila.

• Detecção do olho (hough círculos): Após a detecção de bordas submeteu-se imagens semelhantes a da figura 5.6 a uma função da biblioteca OpenCV chamada de cvHou-ghCircles porém os resultados obtidos não foram satisfa-tórios já que a função, mesmo com um único círculo quase perfeito de entrada na função, detectou diversos círculos, ou em alguns casos não detectou círculo algum.

• Rastreamento do olhar: Não foi possível realizar devido a imprecisão da detecção do olho.

5.3 reSulTaDoS

Nesta seção serão discutidos os testes realizados com o pro-tótipo de rastreamento baseado em templates desenvolvido juntamente com seus resultados. O protótipo foi implemen-tado para realizar o rastreamento do olhar em um vídeo de tempo real e posicionar o cursor do mouse na direção em que o usuário estiver olhando.


Para os testes com o protótipo que foi nomeado de “mouse ocular” foi utilizado outro protótipo, também desenvolvido nesse trabalho e nomeado de “medidor de usabilidade”, cuja finalidade é medir o quão usual é o mouse ocular. Para isso o medidor de usabilidade possui uma tela com diversos retân-gulos vermelhos, onde o usuário precisa manter o cursor do mouse dentro da área do retângulo durante 5 segundos até que este desapareça. Então o usuário passa a fazer o mesmo processo para um retângulo de área menor que a do anterior, até que chegue ao último e menor dos retângulos. No medi-dor foram definidos pesos para cada retângulo, quanto maior o retângulo menor o peso. A cada retângulo que o usuário consegue manter o cursor por 5 segundos até ele desaparecer da tela, acumula-se uma bonificação baseada no peso do re-tângulo, e no final do tempo total de 1 minuto após iniciar o primeiro dos retângulos, são contabilizados os bônus acumu-lados retorna para o usuário uma porcentagem de usabilida-de. A figura 5.8 ilustra uma tela do medidor de usabilidade.

Figura 5.8 Tela do medidor de usabilidade.


A seguir serão mostrados os resultados obtidos com o mouse ocular através do medidor de usabilidade. Realizaram-se três testes de usabilidade com o mouse ocular para três tamanhos de tela. Na tabela 5.1 a seguir mostra o resultado da média dos três testes para monitores de 8.9 polegadas, 17 polegadas e 32 polegadas, em uma distância de 40 cm, 1 m e 1,5 metros das respectivas telas. Os resultados das porcentagens são a quantidade máxima de bônus acumulado nos três testes em cada tamanho de tela. Já o resultado de média de retângulos é a média nos três testes de retângulos finalizados.

Tabela 1- - Tabela de resultados.

Tamanhos de telaQuantidade

média de retângulos.

Porcentagem máxima de

acerto.8.9”(utilizou-se um pequeno notebook). 1,3 30%17”(utilizou-se um monitor de LCD.) 2,6 45%32”(utilizou-se uma TV com entrada para mo-nitor). 4,3 70%

CoNCluSÃo

Este projeto demonstrou o resultado obtido com a utilização do protótipo mouse ocular. Todas as fases do processo de

rastreamento de olhar foram realizadas para chegar ao resulta-do desejado. Primeiramente foi constituída a fase de aquisição de imagens, capturando frames de vídeo em tempo real.

Depois foi realizada a etapa de segmentação da imagem, a qual foi implementada de maneira que o usuário necessita-rá de um auxílio de um ajudante para “clicar” na pupila e seccionar template do frame . Desta forma, a segmentação foi realizada manualmente utilizando click do mouse.

Na fase de detecção do olho, foi utilizada a técnica de template matching, que analisa cada pixel da imagem e compara com o template segmentado. E por fim a fase de rastreamento de olhar, a qual foi realizada utilizando uma técnica simples de calcular o deslocamento do globo ocular e propagar esse des-locamento em proporções maiores para o cursor do mouse.

6


Os resultados obtidos com os três testes em tamanhos de telas diferente mostram que quanto maior a tela, maior será o des-locamento do olho e consequentemente melhor será a usabili-dade do protótipo.

6.1 TrabalhoS fuTuroS

Seria interessante para trabalhos futuros a utilização de algo-ritmos de cálculo numérico para suavizar o deslocamento do cursor na tela, já que no protótipo atual a posição é definida de forma discreta se o usuário olhar para um lado da tela e muito rapidamente olhar para o outro, cursor aparece no pri-meiro, some e depois aparece no segundo. O ideal é que o cursor fizesse um trajeto de um lado a outro.

Também seria importante incorporar ao protótipo uma fun-cionalidade de detecção automática do olho. Primeiramente para dispensar a ajuda de um auxiliar, depois para em casos de o protótipo não detectar o olho durante o rastreamento, ele possa automaticamente se corrigir e encontrar o olho nova-mente.

Outra idéia seria que a fosse melhorado o sistema de coor-denadas do rastreamento de olhar, já que é feito de maneira muito simples e com uma precisão ainda distante da de um mouse comum controlado com a mão.

Por fim seria de fundamental importância implementar uma funcionalidade que pudesse calibrar o olho do usuário ao ta-


manho de tela, este está sendo feito na fase de implementação e não em tempo de execução. Como também atacar as restri-ções do dispositivo.

referêNCiaS

AGAM, Gady. Introduction to programming with OpenCV. Illinois Institute of Technology – Illinois, USA. 2006. Disponível na URL: http://www.cs.iit.edu/~agam/cs512/lect-notes/opencv-intro/open-cv-intro.html. Acessado dia: 21/07/2009.

DAVIES, E.R - Image Space Transform For Detecting Straight Edges in Industrial Images, Pattern Recognition Letters, 4, 185-192; 1986.

DOS SANTOS, Leandro F.; Rastreamento do Olhar. (2003). Dispo-nível na URL: http://www.ime.usp.br/~cpgmac/Disciplinas_Pas-sadas/2003ii/mac5701/-Relatorios/Leandro.dos.Santos_mono.pdf, acessado em 25/02/2009.

DUDA, R. and HART, P. Use of the Hough Transformation to Detect Lines and Curves in Pictures. Comm. of ACM 15, 1. 11-15; 1972.

FALCÃO, Alexandre X. Modelo de Imagem. (2003). Disponível na URL: http://www.dcc.unicamp.br/~cpg/materialdidatico/mo815/9802/curso/node6.-html. Acessado dia: 03/06/2009.


GLENSTRUP, John A. Eye Controlled Media: Present and Future State. University of Copehagen. Denmark. 1995. Disponível na URL: http://www.diku.-dk/hjemmesider/ansatte/panic/eyegaze/article.html. Acessado dia: 15/04/2009.

JI, Qiang; WECHSLER, Harry; DOUCOWSKI, Andrew; FLICKNER, Myron. Special Issue: Eye Detection and Tracking, Computer Vision and Image Understanding. (2005), 98 (1-3).

KAKUMANU, P., et al. A Survey of Skin-Color Modeling and Detec-tion Methods. Pattern Recognition, 40:1106–1122, 2007.

KIM, Kyungnam. Multimodal Human-Computer Interaction. 2005. Disponível na URL: http://www.umiacs.umd.edu/~knkim/multimo-dal.htm. Acessado dia: 02/01/2009.

MARIMOTO, C. H., et. al. Frame-Rate Pupil Detector and Gaze Tra-cker. Universidade de São Paulo – USP. 1999.Disponível na URL: http://www.ime-.usp.br/~hitoshi/framerate/. Acessado dia: 10/12/2008.

O que é Acessibilidade. Disponível em: http://www.acessobrasil.org.br/-index.php?itemid=45. Acessado dia: 11/03/2009.

PENZO, Matteo. Introduction to Eyetracking: Seeing Through Your Users’ Eyes. 2015. Disponível na URL: http://www.uxmatters.com/MT/archives/-000040.php. Acessado dia: 05/03/2009.

PISAREVSKY, Vadim. OpenCV Introduction. 2007. Disponível na URL: http://www.scribd.com/doc/3999508/opencv-introduction--2007June9. Acessado dia: 05/03/2009.

REDERT, Andre; et al. Accurate 3d Eye Tracking for Multi Viewpoint Systems. Proceedings of the International Workshop on Synthetic-Nat-


ural Hybrid Coding and Three Dimensional Imaging, 224 – 227p., 1997.

SCHMUGGE, S. J. et al. Objective Evaluation of Approaches of Skin Detection Using Roc Analysis. Computer Vision and Image Understanding, 108:41–51, 2007.

TIVIVE, F. H. C.; BOUZERDOUM, A. A Fast Neural-Based Eye Detec-tion System. In Proceedings of International Symposium on Intelligent Signal Processing and Communication Systems, pages 641–644, 2005.

Tutorial on Using the VR Lab’s Eyetrackers. Disponível na URL: http://www.cs.rochester.edu/research/brain/vrlab/doc/eyetra-cker_howto/eyetrac-ker_howto.html. Acessado dia: 05/03/2009.

YOO, D. H.; et al. A Novel Non-Intrusive Eye Gaze Estimation Using Cross-ratio Under Large Head Motion. Computer Vision and Image Understand. 98:25–51, 2005.

ZINNI, Juliana V. S., et al. Esclerose Lateral Amiotrófica. Universidade Camilo Castelo Branco – UNICASTELO. 2002. Disponível em: http://www-.wgate.com.br/conteudo/medicinaesaude/fisioterapia/neuro/esclerose_lat_amiotrofica.htm. Acessado dia: 21/07/2009.

15cm x 21cmBook AntiquaAdobe InDesign82100 exemplaresCriação Editora

FormatoTipografia

Software de editoraçãoNúmero de páginas

TiragemEdição



Estudo de técnicas de visão

computacional para auxílio à

acessibilidade

FERN

AN

DO

HEN

RIQ

UE

VIEI

RA T

RIN

DA

DE

Estu

do d

e té

cnic

as d

e vi

são

com

puta

cion

al p

ara

auxí

lio à

ace

ssib

ilida

de


FERN

AN

DO

HEN

RIQ

UE

VIEI

RA T

RIN

DA

DE

Estu

do d

e té

cnic

as d

e vi

são

com

puta

cion

al p

ara

auxí

lio à

ace

ssib

ilida

de



fernando henrique vieira trindade -...

Documents