Um MUm Méétodo Projetivo para todo Projetivo para CCáálculo de Dimensões de Caixas lculo de Dimensões de Caixas

em Tempo Realem Tempo Real

Leandro A. F. FernandesLeandro A. F. Fernandeslaffernandes@inf.ufrgs.br

Manuel M. OliveiraManuel M. Oliveiraoliveira@inf.ufrgs.br

(orientador)

Grupo de Computação Gráfica e Processamento de Imagens

2

MediMediçções a Partir de Imagensões a Partir de Imagens

1

2

3

4

5

6

7

8

9

10

11

12

13

0

1

2

3

4

5

6

7

8

9

10

11

12

13

0

1

2

3

4

5

6

7

8

9

10

11

12

13

0

1

2

3

0

1 2 30

1

2

3

0

1

2

3

0

1 2 30 1 2 30

3

Caixas Estão em Toda ParteCaixas Estão em Toda Parte

Companhias ACompanhias Aééreasreas

CorreiosCorreios

ArmazArmazéénsns

4

Desafios da PesquisaDesafios da Pesquisa

•• MMéétodo para calcular de dimensões de caixastodo para calcular de dimensões de caixas

•• RequisitosRequisitos

–– AutomAutomááticotico

–– Tempo realTempo real

–– MediMediçções a partir de ões a partir de uma uma úúnica imagemnica imagem

–– RobustoRobusto àà presenpresençça dea de textura nas caixastextura nas caixas e e oclusões parciaisoclusões parciais

–– MaisMais acuradoacurado e e precisopreciso posspossíívelvel

5

6

ContribuiContribuiççõesões

•• Algoritmo para o Algoritmo para o ccáálculo das dimensõeslculo das dimensões de caixasde caixas

–– A partir de imagens, automA partir de imagens, automáático e em tempo realtico e em tempo real

•• Algoritmo para Algoritmo para extraextraçção de silhuetasão de silhuetas de caixasde caixas

–– Que trata a oclusão parcial das caixasQue trata a oclusão parcial das caixas

•• Modelo estatModelo estatíístico para stico para detecdetecçção do fundo da cenaão do fundo da cena

–– Independente das condiIndependente das condiçções de iluminaões de iluminaççãoão

•• Esquema de votaEsquema de votaççãoão para a transformada de Houghpara a transformada de Hough

–– Mais rMais ráápido que o mpido que o méétodo convencionaltodo convencional

7

Estrutura da ApresentaEstrutura da Apresentaççãoão

•• Abordagem DesenvolvidaAbordagem Desenvolvida

–– TTéécnica Propostacnica Proposta

–– RemoRemoçção do Fundoão do Fundo

–– Transformada de HoughTransformada de Hough

•• ResultadosResultados

•• ConclusõesConclusões

•• Trabalhos FuturosTrabalhos Futuros

22aa parteparte

11aa parteparte

8

•• Como calcular as dimensões de caixasComo calcular as dimensões de caixas

•• Como eliminar a Como eliminar a ambigambigüüidade projetivaidade projetiva??

•• Como identificar a Como identificar a silhuetasilhueta e os e os vvéértices da caixartices da caixa??

Abordagem DesenvolvidaAbordagem Desenvolvida

Plano de ImagemPlano de Imagem

d

E

F

G

H

W

X

Y

Z

CaixaCaixa

CâmeraCâmeraPinholePinhole

d’ e’f’

g’

h’

x

y

z

9

Inserindo uma Distância ConhecidaInserindo uma Distância Conhecida

Z

Normal da Face

Câmera

Feixes de Laser

X

α

α

dld

dlb

Caixa

L

NL

Vista SuperiorVista Superior

MarcaçõesLaser

P1P0

3D

10

•• MarcaMarcaçções laser na imagemões laser na imagem

Encontrando as MarcaEncontrando as Marcaçções Laserões Laser

P1P0P1P0

11

Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa

•• Objetos sobrepostos e texturas arbitrObjetos sobrepostos e texturas arbitrááriasrias

Cor Conhecida

12

Marcações

Sen

tido

do C

onto

rno

Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa

•• Contorno dos objetos em cenaContorno dos objetos em cena [Gauch, 2003][Gauch, 2003]

13

Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa

•• Subdivisão do contorno Subdivisão do contorno [Lowe, 1987][Lowe, 1987]

Segmentos de reta mais perceptSegmentos de reta mais perceptííveisveis

a

l

k

j

o

n

m

p

e

q

d

g

bc

f

r

i

h

14

•• Removendo os segmentos nos limites da imagemRemovendo os segmentos nos limites da imagem

Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa

a

l

k

j

o

n

m

p

e

q

d

g

bc

f

r

15

Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa

o

p

e

q

d

c

•• Removendo os segmentos não visRemovendo os segmentos não visííveis pelas marcaveis pelas marcaçções laserões laser

16

Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa

•• Agrupando segmentos candidatos para a silhuetaAgrupando segmentos candidatos para a silhueta

BA

17

Encontrando os VEncontrando os Véértices na Silhuetartices na Silhueta

•• Linhas suporte para arestas na silhuetaLinhas suporte para arestas na silhueta

e0

e1

e2

e3

e4

e5

18

Encontrando os VEncontrando os Véértices na Silhuetartices na Silhueta

•• VVéértices na silhuetartices na silhueta

v1

v2

v3

v4

v5

v0

e0

e1

e2

e3

e4

e5

19

Estimando o VEstimando o Véértice Internortice Interno

•• VVéértice internortice internoPonto de Fuga

e0

e1

e2

e3

e4

e5

v1

v2

v3

v4

v5

m0

v0

Vértice Próximoao Ponto de Fuga

20

Linha de Fuga

Linhas e Pontos de FugaLinhas e Pontos de Fuga

ω2

ω1

λ1

Ponto de Fuga

Ponto de Fuga

21

Estimando o VEstimando o Véértice Internortice Interno

•• VVéértice internortice interno

e0

e1

e2

e3

e4

e5

v1

v2

v3

v4

v5

m0

v0

22

Estrutura da ApresentaEstrutura da Apresentaççãoão

•• Abordagem DesenvolvidaAbordagem Desenvolvida

– Técnica Proposta

–– RemoRemoçção do Fundoão do Fundo

– Transformada de Hough

• Resultados

• Conclusões

• Trabalhos Futuros

23

RemoRemoçção do Fundoão do FundoColorColor MattingMatting

[Smith & [Smith & BlinnBlinn 1996]1996]

ACM SIGGRAPHACM SIGGRAPH

Modelo por PixelModelo por Pixel[[HorprasertHorprasert et al. 1999]et al. 1999]

IEEE ICCVIEEE ICCV

Modelo de Modelo de SegmentaSegmentaçção ão

PropostoProposto

24

Estrutura da ApresentaEstrutura da Apresentaççãoão

•• Abordagem DesenvolvidaAbordagem Desenvolvida

– Técnica Proposta

– Remoção do Fundo

–– Transformada de HoughTransformada de Hough

• Resultados

• Conclusões

• Trabalhos Futuros

25

ρθθ =+ )sin()cos( yx

•• Explora Explora dualidade entre pontos e linhasdualidade entre pontos e linhas

•• EquaEquaçção normalão normal da retada reta

e0

e1

e2

e3

e4

e5

Transformada de HoughTransformada de Hough[Duda & Hart, 1972][Duda & Hart, 1972]Comm. of the ACMComm. of the ACM740 740 citacitaçções ões ((GoogleGoogle Scholar)Scholar)

Linhas suporte para arestas na silhuetaLinhas suporte para arestas na silhueta

26

ρθθ =+ )sin()cos( yx

•• Explora Explora dualidade entre pontos e linhasdualidade entre pontos e linhas

•• EquaEquaçção normalão normal da retada reta

Transformada de HoughTransformada de Hough

EspaEspaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros

x

y

ρ

θ

r

r’p

qs

s’

p’ q’

[Duda & Hart, 1972][Duda & Hart, 1972]Comm. of the ACMComm. of the ACM740 740 citacitaçções ões ((GoogleGoogle Scholar)Scholar)

27

Mapa de VotosMapa de Votos

EspaEspaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros

Transformada de Hough ConvencionalTransformada de Hough Convencional[Duda & Hart, 1972][Duda & Hart, 1972]

28

Transformada de Hough ConvencionalTransformada de Hough Convencional[Duda & Hart, 1972][Duda & Hart, 1972]

MMéétodo de Votatodo de Votaçção Eficienteão Eficiente

EspaEspaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros

MMéétodo Propostotodo Proposto

E

G

D

H

F

B

A

C

+E

G

D

HF

B

A

+C

VotaVotaçção por Pixelão por Pixel VotaVotaçção por Grupo de Pixelsão por Grupo de Pixels

10x mais r10x mais ráápido!pido!

29

Outras ImagensOutras Imagens

1280

×96

0

960×

960

512×

512

1280

×96

0

960×

960

512×

512

1600

×12

00

960×

960

512×

512

1280

×96

0

960×

960

512×

512

768×

1024

768×

768

512×

512

1024

×76

8

768×

768

512×

512

869×

1167

800×

800

512×

512

0

50

100

150

200

250

300

350

BeachBuildingChurchBoardWallChess Road

VotePeaks

LinkSubdivideKernelVotePeaks

GHT

KHT

Tim

e (m

s)

33

30

Estrutura da ApresentaEstrutura da Apresentaççãoão

• Abordagem Desenvolvida

– Técnica Proposta

– Remoção do Fundo

– Transformada de Hough

•• ResultadosResultados

•• ConclusõesConclusões

•• Trabalhos FuturosTrabalhos Futuros

31

ResultadosResultados

•• Foi construFoi construíído o do o protprotóótipo de um scannertipo de um scanner

–– Uma câmera firewire coloridaUma câmera firewire colorida

–– Dois apontadores laser paralelosDois apontadores laser paralelos

–– Um mUm móódulo de softwaredulo de software

•• ~39 ~39 fpsfps em um computador de 2.8 GHz, em um computador de 2.8 GHz,

imagens com resoluimagens com resoluçção de 640x480ão de 640x480

32

ValidaValidaçção do Protão do Protóótipotipo

Caixa Sintética

Caixa de Madeira

Caixas Convencionais

AnAnáálise Estatlise Estatíísticastica

•• Comprimento MComprimento Méédiodio

•• Intervalo de ConfianIntervalo de Confianççaa

•• Erro RelativoErro Relativo

33

γ = 99,5%tγ = 3,038n = 30

0,40 ≤ σ ≤ 4,31

AnAnáálise Estatlise Estatíísticastica

•• Intervalo de confianIntervalo de confiançça para caixas reaisa para caixas reais

a a a

b

b

b

c

c

c

a

b

c

d

d

d

e

ee

d

e

34

AnAnáálise Estatlise Estatíísticastica

•• Erro relativo para caixas reaisErro relativo para caixas reaisx → Valor estimadoxv→ Valor verdadeiro

MMéédia dos Erros Relativosdia dos Erros Relativos3,81%3,81%

Caixas DeformadasCaixas Deformadas

35

PropagaPropagaçção da Incertezaão da Incerteza

•• Incerteza nas variIncerteza nas variááveis de entrada propagam para resultadosveis de entrada propagam para resultados

MediMediççõesões++

IncertezaIncerteza

DadosDados

IncertezaIncerteza

DadosDados

IncertezaIncerteza

+

+ Transformações

Transformações

36

PropagaPropagaçção da Incertezaão da Incerteza

•• Incerteza com base em Incerteza com base em uma uma úúnica imagemnica imagem

•• Evita amostragemEvita amostragem

•• Intervalos de confianIntervalos de confiançça equivalentes aos amostraisa equivalentes aos amostrais

37

•• Aumento dos erros em funAumento dos erros em funçção da distânciaão da distância

CondiCondiçções Desfavorões Desfavorááveisveis

±± 1,321,32 ±± 1,611,61±± 1,291,29 ±± 1,331,33±± 1,321,32 ±± 1,581,58±± 1,361,36 ±± 1,661,66±± 1,261,26 ±± 1,341,34±± 1,211,21 ±± 1,381,38

Distância: ~ 1,8 metrosDistância: ~ 1,8 metros Distância: ~ 3,5 metrosDistância: ~ 3,5 metros

38

•• Aumento dos erros em funAumento dos erros em funçção da inclinaão da inclinaçção das arestasão das arestas

CondiCondiçções Desfavorões Desfavorááveisveis

Vista Superior Vista Superior

X

Z

X

Z

Caixa

Caixa

39

ConclusõesConclusões

•• OtimizaOtimizaççãoão dos procedimentos de medidos procedimentos de mediççãoão

•• VantagensVantagens

–– Scanner de Scanner de ffáácil utilizacil utilizaççãoão

–– MMéétodo todo automautomááticotico e em e em tempo realtempo real

–– MMéétodo todo acuradoacurado ee precisopreciso

–– Cenas complexasCenas complexas são tratadassão tratadas

•• RestriRestriççãoão

–– Fundo de cor conhecidaFundo de cor conhecida

40

PublicaPublicaççõesões

•• SIBGRAPISIBGRAPI’’20052005

•• JBCS 12:2, SBC, 2006JBCS 12:2, SBC, 2006

•• ACM SIGGRAPHACM SIGGRAPH’’2006 (Sketch)2006 (Sketch)

•• CTDCTD’’20072007

•• PR 41:1, PR 41:1, ElsevierElsevier, 2008, 2008

•• WTD SIBGRAPIWTD SIBGRAPI’’20072007

•• CSDA, CSDA, ElsevierElsevier

41

Trabalhos FuturosTrabalhos Futuros

•• Transformada de Hough otimizada para Transformada de Hough otimizada para detecdetecçção de curvasão de curvas

•• Tratamento de cenas com Tratamento de cenas com fundo arbitrfundo arbitrááriorio

42

Perguntas?Perguntas?

Leandro A. F. FernandesLeandro A. F. Fernandeslaffernandes@inf.ufrgs.br