LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

Deteccao de quedas em robos moveis

com visao monocular linear

Nicolau L. Werneck Flavio S. TruzziAnna H. R. Costa

LTI — PCS — PoliUniversidade de Sao Paulo

WVC20093/09/2009

1 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

Sumario

1 IntroducaoObjetivosRevisaoVisao Monocular

2 Funcionamento

3 Experimentos

4 Conclusao

2 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoObjetivos

Criar uma tecnica para detectar obstaculos no caminhode um robo movel com visao monocular. Condicoes:

Obstaculos podem ser positivos (paredes, colunas),suspensos (traves, tampos de mesa, prateleiras), ounegativos (degraus, borda de mesa).

Considera-se que o robo esta andando em MRU.

Obstaculos devem ser visualmente distinguıveis.

3 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoCenario de aplicacao

Nosso trabalho e direcionado para robos domesticos eambientes internos em geral, onde visao monocularcostuma ser uma boa alternativa de sensor.

Figura: Roomba, Papero, Nao, um helicoptero indoor,Pioneer, SRV-1 e um robo vestıvel. 4 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoLocalizacao de obstaculos

A localizacao de obstaculos locomotores eidentificacao de objetos sao muito relevantespara a Robotica Movel.

Existem diversos tipos de sensor, adequadospara diferentes cenarios.(Radar, sonar, laser, acelerometro, wi-fi,termometro, camera)

Cameras possuem muitas vantagens: varremplanos, multiplos canais, baixo custo. Mas osoftware pode ser complexo, dificultando a im-plementacao e impondo custos computacionais.

5 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoVisao Multiocular

A estereoscopia tradicional e adotada em muitasaplicacoes roboticas.

Figura: Stanford cart, e a hazcam das MER.

6 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoVisao Multiocular

Um problema importante em RM e o da localizacao emapeamento simultaneos: SLAM.

Figura: Grades de ocupacao.

7 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoVisao Monocular

Uma forma simples de realizar visao monocular e suporobstaculos nao-supensos e um chao plano e homogeneo.

Obstaculos suspensos → paredes afastadas.

Nao e possıvel diferenciar desenhos no chao.

Nao ha evidencias de obstaculos negativos.

Figura: Robo de Howard e Kitchen (1997)

8 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

IntroducaoMonoSLAM

Ja existe SLAM mono com mapas mais genericos.A estereoscopia se mistura ao resto do mapeamento.

Figura: Sistemas de Davison et alii (2007), Gee et alii (2008).9 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

FuncionamentoImagens

(Inspiracao: Muraka et alii, 2008.)

A entrada sao imagens obtidas em um deslocamentosobre o eixo otico. O ambiente tambem e rico em bordas.

10 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

FuncionamentoEstereoscopia

O sistema proposto funciona como muitas outrasaplicacoes de estereoscopia, porem:

As imagens sao obtidas em dois momentos.Os epipolos se localizam no centro das imagens.Apenas uma linha de pixels da imagem e analisada.

h

d

z

XaXb

f

Figura: Variaveis envolvidas no processo de triangulacao.11 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

FuncionamentoEquacoes

A partir da geometria podemos derivar as equacoes:

z = dxb

(xb− xa)h =

zxa

f=

xaxb

f (xb− xa)

h

d

z

XaXb

f

12 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

FuncionamentoGeometria

Em MRU as coordenadas na imagem de um pontoseguem uma trajetoria hiperbolica.

O inverso destas coordenadas segue uma simples reta.Inclinacao → profundidade, posicao → distancia.

Figura: Coordenadas de pontos em imagens ao longo dotempo, e as retas formadas pelos valores recıprocos.

13 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

FuncionamentoProcessamento de sinais

Foram analizadas as metades inferiores da colunacentral de cada imagem.Pontos de interesse sao picos de variacao.Correlacao obtida entre uma janela e uma regiao debusca no vetor da imagem seguinte.

14 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

ExperimentosImagens

Bancos de imagens para analise:

CG — sala com mesa, chao, parede e rodape.

Camera sobre trilhos em uma sacada.

15 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

ExperimentosSimulacao

Em cada grafico, cada ponto identificado deveriacorresponder a:

1 segmentos de 3 retas: fim da mesa e rodape.2 pontos nas coordenadas dos objetos, aquem de

fatores de escala.

16 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

ExperimentosCamera real

Objetos em cena: 2 descansos dos trilhos, fim do chao,trave do parapeito e fundo da cena (lixeira, etc).

17 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

ExperimentoCamera real

10 20 30 40 50 60 70 80 90Afastamento

0

10

20

30

40

Pro

fundid

ade

Pontos estimados (experimento)

18 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

Conclusao

Foi criado um sistema simples que produz evidenciasde obstaculos relevantes para robos moveis.

Obstaculos suspensos e negativos sao muitodesprezados, mas foram considerados aqui.

Estas evidencias podem ser utilizadas para inferircaracterısticas mais precisas do ambiente.

19 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

1–Introducao

Objetivos

Revisao

Visao Mono

2–Funcionamento

3—Experimentos

4—Conclusao

c©N. Werneck

ConclusaoProximos Passos

Criar algoritmo que analisa as oclusoes.

Deteccao ativa. Otimizar movimento e amostragem.

Bundle adjustment.

Realizar SLAM (Kalman...) Permitir aceleracao.

20 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

Fim

Referencias

c©N. Werneck

FIM

21 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

Fim

Referencias

c©N. Werneck

Referencias Bibliograficas

Davison, Andrew J., Reid, Ian D., Molton, Nicholas,& Stasse, Olivier. 2007.MonoSLAM: Real-Time Single Camera SLAM.IEEE Transactions on Pattern Analysis and MachineIntelligence, 29(6), 1052–1067.doi://10.1109/TPAMI.2007.1049.

Gee, Andrew P., Chekhlov, Denis, Calway, Andrew,& Mayol-Cuevas, Walterio W. 2008.Discovering Higher Level Structure in Visual SLAM.IEEE Transactions on Robotics, 24(5), 980–990.doi://10.1109/TRO.2008.2004641.

22 / 20

LTI–PCS–EPUSP

Quedas RM

N. Werneck

Fim

Referencias

c©N. Werneck

Moravec, Hans Peter. 1980.Obstacle avoidance and navigation in the real worldby a seeing robot rover.Ph.D. thesis, Stanford University, Stanford, CA,USA.http://www.frc.ri.cmu.edu/users/hpm/

project.archive/robot.papers/1975.cart/

1980.html.thesis/index.html.

Murarka, Aniket, Sridharan, Mohan, & Kuipers,Benjamin. 2008.Detecting obstacles and drop-offs using stereo andmotion cues for safe local motion.Pages 702–708 of: IROS.IEEE.doi:///10.1109/IROS.2008.4651106.

23 / 20