clei 2010 tutorial - slides parte iii
DESCRIPTION
Tutorial CLEI 2010 - Assuncion - Paraguay Outubro 2010 LRM - ICMC - USP São Carlos INCT-SEC Titulo: "Robôs Móveis e Veículos Autônomos: Pesquisa, Desenvolvimento e Desafios na área da Inteligência Artificial"TRANSCRIPT
19/10/2010
1
CLEI 2010
# 1
Robôs Móveis e Veículos Autônomos: Robôs Móveis e Veículos Autônomos: Pesquisa, Desenvolvimento e Desafios Pesquisa, Desenvolvimento e Desafios
na área da Inteligência Artificialna área da Inteligência Artificial
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco
Universidade de São Paulo – USP - ICMC
Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRM
INCT – Sistemas Embarcados Críticos
2
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco
Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRMINCT – Sistemas Embarcados Críticos
Laboratório de Robótica Móvel – ICMC/USP
Desafios da Inteligência Artificial:Desafios da Inteligência Artificial:Pesquisa e Desenvolvimento de Pesquisa e Desenvolvimento de
Robôs Móveis e Veículos AutônomosRobôs Móveis e Veículos Autônomos
Parte III
19/10/2010
2
CLEI 2010
# 3
Projeto: Veículo Autônomo
Objetivo principal:
Desenvolver um sistema de direção autônoma/assistida
para veículos em ambientes urbanos
Objetivos secundários:
• Localização precisa em ambientes urbanos
• Identificação de via de transito utilizando visão computacional
• Mapeamento 3D de terreno utilizando sensor laser
• Planejamento de trajetória em tempo real em ambientes complexos
CLEI 2010
# 4
Principais motivações:• Reduzir o número de acidentes rodoviários• Aumentar a eficiência do transito• Aumentar a mobilidade de idosos e portadores de necessidades especiais
Projeto: Veículo Autônomo
19/10/2010
3
CLEI 2010
# 5
Outras aplicações:• Agricultura• Segurança e defesa• Automação do transporte de cargas
Projeto: Veículo Autônomo
CLEI 2010
# 6
• IP addresses and the port numbers of the components.
Causas de acidentes
19/10/2010
4
CLEI 2010
# 7
Acidentes Rodoviários
7
“According to WHO, road traffic crashes leading cause of death among young people.”
“Unless more comprehensive global action is taken, the number ofdeaths and injuries is likely to rise significantly. Road traffic collisions costan estimated US$ 518 billion globally in material, health and otherexpenditure.”
“The first global assessment of road safety finds that almost half of the estimated1.27 million people who die in road traffic crashes every year are pedestrians,motorcyclists and cyclists. While progress has been made towards protectingpeople in cars, the needs of these vulnerable groups of road users are not beingmet.”
World Health Organization, 2009
CLEI 2010
# 8
Falhas na sinalização e pouca visibilidade
Lombada
Causas de acidentes
19/10/2010
5
CLEI 2010
# 9
They didn't tell me this hole could be so
huge!!
Causas de acidentes
Má conservação das vias
CLEI 2010
# 10
Causas de acidentes
Falta de educação no trânsito
19/10/2010
6
CLEI 2010
# 11
Campanhas do governo
CLEI 2010
# 12
Utilizar apenas GPS?
Condução autônoma: desafios…
19/10/2010
7
Robótica Móvel - Desenvolvimento
Simulação Testes em robôs
de pequeno porte
Testes em robôs
de grande porte
Robótica Móvel - Desenvolvimento
Simulação
Validação inicial dos algoritmos desenvolvidos utilizando simuladores de robôs e sensores.
Vantagens:
- Possibilidade irrestrita de experimentos
- Economia de tempo de desenvolvimento
- Evita danos aos robôs e sensores
19/10/2010
8
Robótica Móvel - Desenvolvimento
Testes em robôs de pequeno porte
Validação do sistema em ambientes reais de escala reduzida.
Vantagens:
- Ambientes e informações reais para
validação dos sistemas desenvolvidos
- Facilita a logística dos experimentos
- Diminui a chance de danos aos robôs e
sensores
Robótica Móvel - Desenvolvimento
Testes em robôs de grande porte
Validação do sistema em ambientes esituações reais.
Características:
- Ambientes e informações reais para
validação dos sistemas desenvolvidos
- Logística complexa
- Possibilidade de danos aos robôs e sensores
19/10/2010
9
CLEI 2010
# 17
Abstração de hardware
Programado usuárioServidorServidorServidorServidorPlayerPlayerPlayerPlayer BibliotecaBibliotecaBibliotecaBibliotecaCliente doCliente doCliente doCliente doPlayerPlayerPlayerPlayerC/C++C#JavaTclPythonRubyLispOctave
SimuladorRobôPioneerVeículo ServidorServidorServidorServidorPlayerPlayerPlayerPlayerServidorServidorServidorServidorPlayerPlayerPlayerPlayer
Gazebo - Simulação 3D
Veículo de testes
19/10/2010
10
Gazebo - Simulação 3D
Veículo e ambiente de testes
CLEI 2010
# 20
Percepção Planejamento Atuação
Notificação do condutor
Sistema de conduçãoautônoma / assistida
19/10/2010
11
CLEI 2010
# 21
• Identificação de via utilizando visão computacional• Identificação de via/obstáculos utilizando sensor laser
• Estimação da posição do veículo utilizando fusão de sensores (GPS, IMU, Compass, Odometer)
Sistema de conduçãoautônoma / assistida
Percepção Planejamento Atuação
Notificação do condutor
CLEI 2010
# 22
• Planejamento de trajetória• Desvio de obstáculos
Sistema de conduçãoautônoma / assistida
PlanejamentoPercepção Atuação
Notificação do condutor
19/10/2010
12
CLEI 2010
# 23
• Controle de velocidade• Controle de esterçamento
Sistema de conduçãoautônoma / assistida
AtuaçãoPercepção Planejamento
Notificação do condutor
CLEI 2010
# 24
• Presença de obstáculos e depressões
• Risco de colisão• Indicação de via de trânsito
• Sugestão Esterçamento / Freio
Sistema de conduçãoautônoma / assistida
Notificação do condutor
Percepção Planejamento Atuação
19/10/2010
13
CLEI 2010
# 25
Plataformas Robóticas Utilizadas
CLEI 2010
# 26
Robô Pioneer 3 AT
Sensor laser
GPS, IMU, eBússola
Câmera
19/10/2010
14
CLEI 2010
# 27
Sensores laser
Câmera
GPS, IMU, eBússola
Processamento das informações
Veículo de testes
CLEI 2010
# 28
Veículo Elétrico
Sensores laser
Câmera
GPS, IMU, e Bússola
Sensores
Câmera Térmica
19/10/2010
15
CLEI 2010
# 29
Veículo Elétrico
Motor DC
Atuadores: Esterçamento
Encoder
Controlador
Acoplamento
CLEI 2010
# 30
Veículo Elétrico
19/10/2010
16
CLEI 2010
# 31
Veículo Elétrico
Atuadores: Aceleração
Acelerador
Encoder(Odometria)
CLEI 2010
# 32
Identificação e desvio de obstáculosExperimentos iniciais – março de 2009
Sistema de conduçãoautônoma / assistida
19/10/2010
17
CLEI 2010
# 33
Posição do veículo
Trajetória planejada
Obstáculos
Dados do laser
Dados da câmera
Sistema de conduçãoautônoma / assistida
CLEI 2010
# 34
Sistema de conduçãoautônoma / assistida
19/10/2010
18
CLEI 2010
# 35
Detecção de obstáculos e notificaçãoTestes experimentais – Outubro de 2009
Sistema de conduçãoautônoma / assistida
CLEI 2010
# 36
Mapeamento de terreno usando laser
z
x
H
lz
d
10°o
D
19/10/2010
19
CLEI 2010
# 37
Mapeamento de terreno usando laser
CLEI 2010
# 38
Mapeamento de terreno usando laser
19/10/2010
20
CLEI 2010
# 39
Mapeamento em grid
Desvantagens dos mapas 3D:
• Grande quantidade de dados
• Requer alta capacidade computacional
• Dados esparsos
Solução proposta:
• Mapa de navegabilidade 2D
CLEI 2010
# 40
Mapa de Navegabilidade
Utilizando Redes Neurais para a
Classificação do Terreno
• Altitude Relativa
•Altitude Absoluta
Input
• Navegável• ParcialmenteNavegável
• Não Navegável
Output
MultilayerPerceptronMultilayerPerceptron
19/10/2010
21
CLEI 2010
# 41
IP addresses and the port numbers of the components.
Mapeamento de terreno usando laser
CLEI 2010
# 42
Navegação baseada emvisão computacional
Extração de atrbutos
Classificação
19/10/2010
22
CLEI 2010
# 43
Navegação baseada emvisão computacional
Image( 320 x 240 )
RGBHSVYUV
HistogramMeanEntropy
pixel-block
( 10 x 10 )
CLEI 2010
# 44
Navegação baseada emvisão computacional
Pixel Block Classifier
Feature 1
Feature 2
Feature 3
Feature 5
Output
Classifier (ANN)
Feature 4
if (output < 0.3) non-navigable
else if (output > 0.7)navigable
elseundefined
19/10/2010
23
CLEI 2010
# 45
Navegação baseada emvisão computacional
21 features and 4 ANN topologies tested (27.890 combinations)
training image evaluation image
5976 combinations selected (95% classification accuracy)
CLEI 2010
# 46
Navegação baseada emvisão computacional
Off-road classification in magentaOn-road classification in cyanUndefined classification in yellow
Correct classification in green
False-negative in blue
False-positive in red
Undefined classification in yellow
Best Result Evaluation
19/10/2010
24
CLEI 2010
# 47
Navegação baseada emvisão computacional
Frames used in training step
5 feature combinations (ANN) selected
•ANN 1: B average, RGB entropy, V entropy, S variance, S energy.
•ANN 2: B average, HSV entropy, S entropy, V entropy, S energy.
•ANN 3: R average, B average, H average, V entropy, HSV energy.
•ANN 4: R average, G average, H average, V entropy, HAS entropy.
•ANN 5: R average, H average, H entropy, V entropy
CLEI 2010
# 48
Navegação baseada emvisão computacional
19/10/2010
25
CLEI 2010
# 49
Navegação baseada emvisão computacional
Expected ANN 1 ANN 2
ANN 3 ANN 4 ANN 5
CLEI 2010
# 50
Navegação baseada emvisão computacional
Expected ANN 1 ANN 2
ANN 3 ANN 4 ANN 5
19/10/2010
26
CLEI 2010
# 51
Identificação da via usandovisão computacional
Safe path identification
Confidence level
CLEI 2010
# 52
Identificação da via usandovisão computacional
19/10/2010
27
CLEI 2010
# 53
Identificação da via usandovisão computacional
CLEI 2010
# 54
Identificação da via usandovisão computacional
19/10/2010
28
CLEI 2010
# 55
Navegação autônomausando visão computacional
CLEI 2010
# 56
Navegação e desvio de obstáculosusando visão computacional
19/10/2010
29
CLEI 2010
# 57
Navegação autônoma utilizando GPS
CLEI 2010
# 58
DARPA Grand Challenge 2004
58
106 equipes inscritas e 25 finalistas
Premio de US$1.000.000,00
Desafio: Percorrer 224km
no deserto de forma autônoma
Melhor resultado: Red team (12km)
“Nobody won.
Nobody even came close” - CNN
19/10/2010
30
CLEI 2010
# 59
DARPA Grand Challenge 2004
Blue Team
Video 1
Video 2
Video 3
Video 4
CLEI 2010
# 60
DARPA Grand Challenge 2005
Premio de US$2.000.000,00
195 equipes inscritas,
23 finalistas
5 terminaram o percurso
Vencedor:Stanley
(Stanford University)
6h 53m
19/10/2010
31
CLEI 2010
# 61
DARPA Urban Challenge 2007
CLEI 2010
# 62
DARPA Urban Challenge 2007
“none of the winning teams had taken any demerits for traffic violations, and that the winners had all been
selected based on their finishing times “
“Tartan's vehicle averaged about 14 miles per hour throughout the course, which covered about 55 miles. Stanford averaged about 13 miles per hour, and
Virginia Tech averaged a bit less than that “
Junior NOVA
19/10/2010
32
CLEI 2010
# 63
ELROB 2009
ELROB 2009
CLEI 2010
# 64
Avanços Recentes...
Beam me up
Sliding Parking
Google car
19/10/2010
33
CLEI 2010
# 65
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
Denis Fernando Wolf – [email protected]
Fernando Santos Osório - [email protected]
Kalinka R. J. C. Branko - [email protected]