1 uma aplicaÇÃo de visÃo computacional que utiliza gestos da mÃo para interagir com o computador...

1

UMA APLICAÇÃO DE VISÃO COMPUTACIONAL QUE UTILIZA GESTOS DA

MÃO PARA INTERAGIR COM O COMPUTADOR

Defesa de Dissertação

Dissertação de Mestrado Michel Alain Quintana TruyenqueOrientador: Prof. Marcelo Gattass

2

ROTEIRO

•Introdução.•Conceitos Básicos.•Trabalhos Relacionados.•Subtração de Fundo.•Detecção de Silhueta.•Reconhecimento.•Aplicações.•Conclusões.•Demonstração.

3

Introdução

•Motivação.•Interação sem restrições.

•Equipamentos Caros.•Ambiente.

•Objetivos.•Mão Limpa.•Restrições do ambiente.•Câmeras Web.

•Escopo.•Identificação de gestos predefinidos.•Localização da posição de certos dedos.

4

Conceitos Básicos.

•Sistemas Baseados em Visão.•Interfaces

•Tradicionais.•Digitais.

Bérard [1]

5

Conceitos Básicos.

•Requisitos Funcionais.•Detecção.•Identificação.•Rastreamento.

•Requisitos Não-Funcionais•Latência.•Resolução.•Estabilidade.

•Visão Computacional na Interação Humano-Computador.•Vantagens.•Desafios.

6

Trabalhos Relacionados.

•Diversas Abordagens.•Não existe nenhuma amplamente difundida.

•Baseados no Reconhecimento de Gestos.•Interação baseado no reconhecimento de alguns gestos.

•Baseado na Detecção dos Dedos.•Interação leva em conta além de gestos posições dos dedos.

7


•Baseados no Reconhecimento de Gestos.•Modelo 3D.

Regh e Kanade [30]

8


•Baseados no Reconhecimento de Gestos.•Baseado na aparência da imagem 2D.

Freeman [30] (a)Heap [12],(b)Segen [33],(c)Laptev [22]

9


•Baseados na Detecção dos Dedos.

Mackormic [26]

(a)Handenberg [11], (b)Oka[27]Queck [29]

10


• Natureza do Sistema Proposto. •Sistema Base de reconhecimento de alguns gestos.•Ambientes de trabalho convencionais.•Não existem aplicações especificas.•Sistema baseado na detecção dos dedos.

11

Subtração de Fundo

• Motivação.•Segmentação de objetos diferentes ao fundo.•Problemas na mudança e latências das fontes de iluminação.•No contexto do trabalho o objeto é a MÃO.

12


• Segmentação por Subtração de Fundo.•Existem muitos enfoques.

•Baseados na Cor, [14] [15] [6] [13] [2] [3].•Movimento [17]; Estéreo [45]; logarítmica [46]; Markov [20] •Híbridas [17][46][5].

•Requisitos para o Algoritmo.•Tempo Real.•Mudanças globais e locais ocasionadas pela fontes de iluminação.•Detecção aproximada do objeto.

13


•Algoritmos Susceptíveis a sombras.•[46][2]

•Algoritmos que lidam com sombras.•[6][13]

P

P d

d

14


•Algoritmos Robustos .•Lidam razoavelmente com as sombras.•Algoritmo de Horprasert [14](Distorção de Brilho e Cor)•Algoritmo de Cheung,Kanade[3](Medida do Angulo)

•Modelos de Cor.

θ

Ei

Ii

R

B

G

O

15


•Modelagem do Fundo.•Para o algoritmo de Cheung, Kanade [3], utiliza a media.

•Modelagem de Fundo Horprasert [14].

, , ,i i i iE s a b

[ ( ), ( ), ( )]i R G BE i i i )(),(),( iiiS BGRi

• Ei = Imagem Media.• Si = Desvio Padrão.• ai = Distorção de brilho.• bi = Distorção de Cor.

16



222

222

222

)(

)(

)(

)(

)(

)(

)(

)()(

)(

)()(

)(

)()(

)(

)()(

)(

)()(

)(

)()(min)(arg

i

i

i

i

i

i

i

iiI

i

iiI

i

iiI

i

iiI

i

iiI

i

iiI

B

B

G

G

R

R

B

BB

G

GG

R

RR

B

BiB

G

GiG

R

RiRi

2 2 2( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

R i R G i G B i Bi

R G B

I i i I i i I i iCD

i i i

(1)

(2)

17



(3)

NRMSa

N

iI

ii

0

21)(

2

0

( )( )

N

i

ii i

CDb RMS CD

N

(4)

18


•Subtração ou Segmentação.•Algoritmo Horprasert [14].

•Fundo Original (B).•Fundo com baixa iluminação ou Sombra (S).•Fundo com alta iluminação(H).•Objeto (F).

19



1ˆ

ˆ

ii

i

ii

i

a

CDCD

b

contráriocasoH

senãoS

senãoeB

senãoDCF

iMi

ii

CDi

:

,0ˆ:

,ˆˆ:

,ˆ:

)( 21

20



Ei

R

B

G

O

Ii

CDi

αiEi

d

contráriocasoH

senãoS

senãoeB

senãoouDCF

iMi

ii

loiCDi

:

,0ˆ:

,ˆˆ:

,ˆˆ:

)( 21

21


•Subtração ou Segmentação.•Algoritmo Cheung, Kanade [3].

θ

Cr

Cb

R

B

G

O

22


•Seleção dos Limiares.•Algoritmo Cheung, Kanade [3], tentativa e erro.•Algoritmo de Horprasert [14], aprendizado estatístico.

1ˆ

ˆ

ii

i

ii

i

a

CDCD

b

(a)Adaptada de [14]Estabelecer Valores Mínimos do:Desvio padrão.Distorção de Brilho.Distorção de Cor.

23


•Resultados.•320x240 pixels, câmera WebCam Logitech QuickCamPro 4000, USB, processador Pentium III de 800Mhz ,com 128 MB RAM

•Algoritmo Cheung, Kanade [3].

17.49

255UT

30qps

10LT

24


•Resultados.•Algoritmo Horprasert [14].

43qps

' 1.0 ' 0.75CD

' 0.01

14.1CD 80.5LO

25


•Resultados.•Algoritmo Horprasert [14].

60qps

' 1.0 ' 0.75CD

' 0.01

14.1CD 80.5LO

26


•Algoritmo Horprasert [14].

27

Detecção de Silhueta

•Motivação.•Quais pontos da imagem representam a silhueta.•Representação do objeto.•Extração de Feições.

•Três Etapas.•Refinamento da Segmentação.•Detecção das Bordas.•Detecção, Coleta e Estruturação do Pontos que conformam a silhueta.

28


•Refinamento da Segmentação.•Filtros Morfológicos.•Dilatação e Erosão [34].•Aplica primeiro Dilatação e depois a Erosão na imagem dilatada.•Máscara utilizada N8

29


•Refinamento da Segmentação.•Resultados.

•(a)Resultado da segmentação.•(b)Dilatação em (a).•(c)Erosão em (b).

30


•Detecção de Bordas.•Localizar os contornos internos e externos.•Diferentes abordagens.

•Abordagem.•Diferença das imagens da Dilatação e Erosão.

31


•Detecção de Bordas.

32


•Detecção de Contornos.•Relacionado com o reconhecimento.

•Duas Etapas.•Percorre e armazena as bordas.•Seleção das silhuetas.

•Representação.•Listas de Códigos (Chain Codes) [40].

33


•Percurso e Armazenamento.•Ordem pré estabelecida (anti-horária).•Utilizando 8 direções.•Um ponto de cada vez.

34


•Percurso e Armazenamento.•Caso particular.

35


•Seleção da Silhueta da Mão.•Problema de seleção.•Quais Silhuetas selecionar?•Único Objeto a Mão.

•Abordagem.•Maior Silhueta representa a silhueta externa da Mão.

36


•Sub-Amostragem•Um quinto dos pontos originalmente detectados.

1 uma aplicaÇÃo de visÃo computacional que utiliza gestos da mÃo para interagir com o computador...

Documents