sbia 2010-tutorial-slides-part-ii

29/10/2010

1

SBIA 2010

# 1

Desafios da Inteligência Artificial: Desafios da Inteligência Artificial: Pesquisa e Desenvolvimento de Robôs Pesquisa e Desenvolvimento de Robôs

Móveis e Veículos AutônomosMóveis e Veículos Autônomos

Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco

Universidade de São Paulo – USP - ICMC

Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER

Laboratório de Robótica Móvel - LRM

INCT – Sistemas Embarcados Críticos

2

Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco

Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER

Laboratório de Robótica Móvel - LRMINCT – Sistemas Embarcados Críticos

Laboratório de Robótica Móvel – ICMC/USP

Desafios da Inteligência Artificial:Desafios da Inteligência Artificial:Pesquisa e Desenvolvimento de Pesquisa e Desenvolvimento de

Robôs Móveis e Veículos AutônomosRobôs Móveis e Veículos Autônomos

Parte II

29/10/2010

2

SBIA 2010

# 3

Localização e Mapeamento em Ambientes Urbanos

Problemas:• Complexidade

• Escala

• Irregularidade do terreno

• Difícil representação

SBIA 2010

# 4

Plataforma Experimental

29/10/2010

3

SBIA 2010

# 5

Localização – Monte Carlo

Solução:

• Grande número de partículas

• Criação de áreas semi-ocupadas.

• Obtenção de pitch e roll por uma unidade de medida inercial

• Depois de localizar o robô, estima-se a trajetória utilizando o filtro de partículas no sentido contrário.

SBIA 2010

# 6

Localização – Monte Carlo

29/10/2010

4

SBIA 2010

# 7

Localização - Resultados

SBIA 2010

# 8

Localização – Filtro de Partículas e GPS

• Cada partícula representa uma possível trajetória completa do robô

• É atribuído um peso a cada partícula de acordo com sua proximidade do GPS.

• Partículas que divergem do GPS recebem peso baixo e são eliminadas.

Pontos do GPS

partículas

29/10/2010

5

SBIA 2010

# 9

Mapeamento - Resultados

SBIA 2010

# 10


29/10/2010

6

SBIA 2010

# 11


Parte do campus da USC

SBIA 2010

# 12

Mapeamento – Aquisição de dados

29/10/2010

7

SBIA 2010

# 13

SBIA 2010

# 14

Projeto: Veículo Autônomo

Objetivo principal:

Desenvolver um sistema de direção autônoma/assistida

para veículos em ambientes urbanos

Objetivos secundários:

• Localização precisa em ambientes urbanos

• Identificação de via de transito utilizando visão computacional

• Mapeamento 3D de terreno utilizando sensor laser

• Planejamento de trajetória em tempo real em ambientes

complexos

29/10/2010

8

SBIA 2010

# 15

Principais motivações:• Reduzir o número de acidentes rodoviários• Aumentar a eficiência do transito• Aumentar a mobilidade de idosos e portadores de necessidades especiais


SBIA 2010

# 16

Outras aplicações:• Agricultura• Segurança e defesa• Automação do transporte de cargas


29/10/2010

9

SBIA 2010

# 17

• IP addresses and the port numbers of the components.

Causas de acidentes

SBIA 2010

# 18

Acidentes Rodoviários

18

“According to WHO, road traffic crashes leading cause of death among young people.”

“Unless more comprehensive global action is taken, the number ofdeaths and injuries is likely to rise significantly. Road traffic collisions costan estimated US$ 518 billion globally in material, health and otherexpenditure.”

“The first global assessment of road safety finds that almost half of the estimated1.27 million people who die in road traffic crashes every year are pedestrians,motorcyclists and cyclists. While progress has been made towards protectingpeople in cars, the needs of these vulnerable groups of road users are not beingmet.”

World Health Organization, 2009

29/10/2010

10

SBIA 2010

# 19

Falhas na sinalização e pouca visibilidade

Lombada

Causas de acidentes

SBIA 2010

# 20

They didn't tell me this hole could be so

huge!!

Causas de acidentes

Má conservação das vias

29/10/2010

11

SBIA 2010

# 21

Causas de acidentes

Falta de educação no trânsito

SBIA 2010

# 22

Campanhas do governo

29/10/2010

12

SBIA 2010

# 23

Utilizar apenas GPS?

Condução autônoma: desafios…

Robótica Móvel - Desenvolvimento

Simulação Testes em robôs

de pequeno porte

Testes em robôs

de grande porte

29/10/2010

13


Simulação

Validação inicial dos algoritmos desenvolvidos utilizando simuladores de robôs e sensores.

Vantagens:

- Possibilidade irrestrita de experimentos

- Economia de tempo de desenvolvimento

- Evita danos aos robôs e sensores


Testes em robôs de pequeno porte

Validação do sistema em ambientes reais de escala reduzida.

Vantagens:

- Ambientes e informações reais para validação dos sistemas desenvolvidos

- Facilita a logística dos experimentos

- Diminui a chance de danos aos robôs e sensores

29/10/2010

14


Testes em robôs de grande porte

Validação do sistema em ambientes esituações reais.

Características:

- Ambientes e informações reais para validação dos sistemas desenvolvidos

- Logística complexa

- Possibilidade de danos aos robôs e sensores

SBIA 2010

# 28

Player

SerialCanbus>

PlayerPlayerPlayerPlayerA imagem não pode ser exibida. Talvez o computador não tenha memória suficiente para abrir a imagem ou talvez ela esteja corrompida. Reinicie o computador e abra o arquivo novamente. Se ainda assim aparecer o x vermelho, poderá ser necessário excluir a imagem e inseri-la novamente. CameraLaserSonarOdometriaMotores

Programa Programa Programa Programa do usuáriodo usuáriodo usuáriodo usuárioAquisiçãode dadosdos sensoresComandospara omotorPCIUSBSerial>

PlanejamentoDeslocamentodesejado

29/10/2010

15

SBIA 2010

# 29

Abstração de hardware

Programado usuárioServidorServidorServidorServidorPlayerPlayerPlayerPlayer BibliotecaBibliotecaBibliotecaBibliotecaCliente doCliente doCliente doCliente doPlayerPlayerPlayerPlayerC/C++C#JavaTclPythonRubyLispOctave

SimuladorRobôPioneerVeículo ServidorServidorServidorServidorPlayerPlayerPlayerPlayerServidorServidorServidorServidorPlayerPlayerPlayerPlayer

Gazebo - Simulação 3D

Robô Pioneer 3 AT

29/10/2010

16


Veículo de testes


Veículo e ambiente de testes

29/10/2010

17

SBIA 2010

# 33

Percepção Planejamento Atuação

Notificação do condutor

Sistema de conduçãoautônoma / assistida

SBIA 2010

# 34

• Identificação de via utilizando visão computacional• Identificação de via/obstáculos utilizando sensor laser

• Estimação da posição do veículo utilizando fusão de sensores (GPS, IMU, Compass, Odometer)




29/10/2010

18

SBIA 2010

# 35

• Planejamento de trajetória• Desvio de obstáculos


PlanejamentoPercepção Atuação


SBIA 2010

# 36

• Controle de velocidade• Controle de esterçamento


AtuaçãoPercepção Planejamento


29/10/2010

19

SBIA 2010

# 37

• Presença de obstáculos e depressões

• Risco de colisão• Indicação de via de trânsito

• Sugestão Esterçamento / Freio




SBIA 2010

# 38

Plataformas Robóticas Utilizadas

29/10/2010

20

SBIA 2010

# 39

Robô Pioneer 3 AT

Sensor laser

GPS, IMU, eBússola

Câmera

SBIA 2010

# 40

Sensores laser

Câmera

GPS, IMU, eBússola

Processamento das informações

Veículo de testes

29/10/2010

21

SBIA 2010

# 41

Veículo Elétrico

Sensores laser

Câmera

GPS, IMU, e Bússola

Sensores

SBIA 2010

# 42

Veículo Elétrico

Motor DC

Atuadores: Esterçamento

Encoder

Controlador

Acoplamento

29/10/2010

22

SBIA 2010

# 43

Veículo Elétrico

SBIA 2010

# 44

Veículo Elétrico

Atuadores: Aceleração

Acelerador

Encoder(Odometria)

29/10/2010

23

SBIA 2010

# 45

Identificação e desvio de obstáculosExperimentos iniciais – março de 2009


SBIA 2010

# 46

Posição do veículo

Trajetória planejada

Obstáculos

Dados do laser

Dados da câmera


29/10/2010

24

SBIA 2010

# 47


SBIA 2010

# 48

Detecção de obstáculos e notificaçãoTestes experimentais – Outubro de 2009


29/10/2010

25

SBIA 2010

# 49

Mapeamento de terreno usando laser

z

x

H

lz

d

10°o

D

SBIA 2010

# 50


29/10/2010

26

SBIA 2010

# 51


SBIA 2010

# 52

Mapeamento em grid

Desvantagens dos mapas 3D:

• Grande quantidade de dados

• Requer alta capacidade computacional

• Dados esparsos

Solução proposta:

• Mapa de navegabilidade 2D

29/10/2010

27

SBIA 2010

# 53

Mapa de Navegabilidade

Utilizando Redes Neurais para a

Classificação do Terreno

• Altitude Relativa

•Altitude Absoluta

Input

• Navegável• Parcialmente

Navegável• Não Navegável

Output

MultilayerPerceptronMultilayer

Perceptron

SBIA 2010

# 54

IP addresses and the port numbers of the components.


29/10/2010

28

SBIA 2010

# 55

Navegação baseada emvisão computacional

Extração de atrbutos

Classificação

SBIA 2010

# 56


Image( 320 x 240 )

RGBHSVYUV

HistogramMean

Entropy

pixel-block

( 10 x 10 )

29/10/2010

29

SBIA 2010

# 57


Pixel Block Classifier

Feature 1

Feature 2

Feature 3

Feature 5

Output

Classifier (ANN)

Feature 4

if (output < 0.3) non-navigable

else if (output > 0.7)navigable

elseundefined

SBIA 2010

# 58


Frames used in training step5 feature combinations (ANN) selected

29/10/2010

30

SBIA 2010

# 59


SBIA 2010

# 60


Expected ANN 1 ANN 2

ANN 3 ANN 4 ANN 5

29/10/2010

31

SBIA 2010

# 61


Expected ANN 1 ANN 2

ANN 3 ANN 4 ANN 5

SBIA 2010

# 62

Identificação da via usandovisão computacional

Safe path identification

Confidence level

29/10/2010

32

SBIA 2010

# 63


SBIA 2010

# 64


29/10/2010

33

SBIA 2010

# 65


SBIA 2010

# 66

Navegação autônomausando visão computacional

29/10/2010

34

SBIA 2010

# 67

Navegação e desvio de obstáculosusando visão computacional

SBIA 2010

# 68

Navegação autônoma utilizando GPS

29/10/2010

35

SBIA 2010

# 69

Navegação autônoma utilizando GPS

SBIA 2010

# 70

DARPA Grand Challenge 2004

70

106 equipes inscritas e 25 finalistas

Premio de US$1.000.000,00

Desafio: Percorrer 224km

no deserto de forma autônoma

Melhor resultado: Red team (12km)

“Nobody won.

Nobody even came close” - CNN

29/10/2010

36

SBIA 2010

# 71


Blue Team

Video 1Video 2Video 3Video 4

SBIA 2010

# 72


Premio de US$2.000.000,00

195 equipes inscritas,

23 finalistas

5 terminaram o percurso

Vencedor:Stanley

(Stanford University)

6h 53m

29/10/2010

37

SBIA 2010

# 73

DARPA Urban Challenge 2007

SBIA 2010

# 74

DARPA Urban Challenge 2007

“none of the winning teams had taken any demerits for traffic violations, and that the winners had all been

selected based on their finishing times “

“Tartan's vehicle averaged about 14 miles per hour throughout the course, which covered about 55 miles.

Stanford averaged about 13 miles per hour, and Virginia Tech averaged a bit less than that “

Junior NOVA

29/10/2010

38

SBIA 2010

# 75

ELROB 2009

ELROB 2009

SBIA 2010

# 76

Avanços Recentes...

Beam me up

Sliding Parking

Google car

29/10/2010

39

SBIA 2010

# 77

OBRIGADO!

Laboratório de Robótica Móvel

www.lrm.icmc.usp.br

Denis Fernando Wolf – [email protected]

Fernando Santos Osório - [email protected]

Kalinka R. J. C. Branko - [email protected]

SBIA 2010

# 78

Veículos Aéreos Não Tripulados

• Projeto

ARARA

29/10/2010

40

SBIA 2010

# 79

VANTs – Veículos Aéreos Não Tripulados

LRM – ICMC – USP / INCT-SEC

AGPlaneAGX Tecnologia

Projeto ARARAYouTube: Search AGPLANE - MEMBECA 2008

INCT-SEC: Veículo Aéreo Autônomo

Veículos Aéreos Autônomos

SBIA 2010

# 80

29/10/2010

41

AGplane 2 - Especificações

� Características operacionais

� Motor 40cc, 2T, 5HP, AVGAS

� Peso máximo de decolagem: 20kg

� Carga útil: 3kg

� Autonomia de vôo: 4h

� Velocidade de cruzeiro: 100km/h

� Velocidade de estol: 40km/h

� Sistema autônomo ou remotamente

pilotado

� Pára-quedas de emergência

� Gerador de energia/motor de

partida

� Estação de controle móvel

� Decolagem automática

SBIA 2010

# 81

AGplane 2 - Especificações

� Sensores instalados a bordo

� Receptor GPS

� Câmera fotográfica

� Sistema de vídeo em tempo

real

� Altímetro

� Velocímetro (velocidade

aerodinâmica)

� Temperatura

� Sensor de atitude baseado em

GPS

� etc.

SBIA 2010

# 82

29/10/2010

42

Tiriba

SBIA 2010

# 83

Tiriba

• Objetivo: sistema portátil para tomada de imagens aéreas• Início: fev 2009• Conclusão: 2010

• Características:• Decolagem: lançamento manual• Pouso automático: pára quedas• Missão autônoma, estação de solo baseada em celular• Propulsão elétrica: 1,2 KW• Peso máximo de decolagem: 3Kg• Payload: 700g• Autonomia: 40min (2horas, futuro)• Velocidade de cruzeiro: >80Km/h• Montagem: 10min

SBIA 2010

# 84

29/10/2010

43

Tiriba

Placa do Piloto Placa do Piloto Automático do Automático do

TiribaTiriba

SBIA 2010

# 85

Tiriba

Protótipo do Tiriba em Vôo Protótipo do Tiriba em Vôo ––Teste da Unidade Inercial e Teste da Unidade Inercial e

BarométricaBarométrica

SBIA 2010

# 86

29/10/2010

44

SBIA 2010

# 87

OBRIGADO!


www.lrm.icmc.usp.br




SBIA 2010

# 88

OBRIGADO!


www.lrm.icmc.usp.brwww.inct-sec.org




http://www.slideshare.net/Search: CLEI 2010 TutorialSearch: SBIA 2010 Tutorial

sbia 2010-tutorial-slides-part-ii

Technology