mestrado - sistema neural reativo para o estacionamento paralelo com uma Única manobra em veículos...

Universidade de São Paulo

Escola de Engenharia de São Carlos

Grupo de Mecatrônica

Laboratório de Robótica Móvel

Sistema Neural Reativo para o

Estacionamento Paralelo com uma única

Manobra em Veículos de Passeio

Kléber de Oliveira Andrade

Orientador

Marcelo Becker

São Carlos

Agosto/2011

Universidade de São PauloEscola de Engenharia de São Carlos

Grupo de MecatrônicaLaboratório de Robótica Móvel

Súmario

Introdução

Estado da Arte

Modelagem e Simulação

Aprendizado Supervisionado e Redes Neurais

Abordagem do Estacionamento Paralelo

Sistema Neural Desenvolvido

Resultados Simulados

Conclusões e Perspectivas Futuras

Súmario

Introdução

Estado da Arte

Introdução (Ficção)

Introdução (Realidade)

Honda (2011) Sahin e Guvenc (2007) Sony (2011)

iRobot (2011) Krebs et al. (2008) NÃO (2011)

Introdução (Robótica Móvel)

• Robótica Móvel

• Avanços tecnológicos

– Ex: Sistemas inteligentes embarcados em veículos

– Duas abordagens:

i. Sistemas assistivos

ii. Veículos autônomos inteligêntes

• Desafio

– Capacidade de aprender e adaptar as novas situações

Siegwart et al. (2011)

Vlacic et al. (2001)

Medeiros (1998)

Introdução (Iniciativas)

• Iniciativas civis e militares– Campetição (EUA)

• Darpa Grand Challenge

• Urban Challenge

• Competições (EUROPA) – M-ELROB e C-ELROB

Thrun et al. (2006)

Backer e Dolan. (2009)

Stanley – Stanford (2005) Tartan – Carnegie Mellon (2007)

Motivação

• Indústria automobilistica– Muitas técnologias embarcas sem reduzir os acidentes fatais

• Laboratório de Robótica Móvel (LabRoM)– Sistema Embarcado de Navegação autônoma (SENA)

Navalha (2005) Gisa (2009)

Mapa Conceitual (Projeto SENA)

Carros

inteligentesMotivação

Segurança e

Conforto

Pode ser

descritos como

Veículo capaz de perceber o

ambiente e transformar as

informações em ações

Abordagens

Semi- Autônomo Autônomo

Cinemática

Dinâmica

Tem a modelagem definida pela

Modelo bicicleta

Modelo triciclo

Modelo completo

Análise em 2D

Análise em 3D

Mapa Conceitual (Veículos semi-autônomos)

Semi- Autônomo

Utiliza as tecnologias

Informativa Assistiva

Exemplos

UtilizaInterface Sonora,

visual e/ou háptica

Aviso de

Mudança de faixa

ExemplosControle ativo de

cruzeiro

Assistente de

estacionamento

Controle de

estabilidade

Sistemas pré-

Colisão

Assistente de

permanência na

Capaz apenas de

informar o usuário,

não há processo de

atuação

Definida como

Usa da tecnologia informativa para avisar

o motorista, entretanto quando necessário,

é capaz de atuar no veículo

Definida como

Mapa Conceitual (Veículos autônomos)

Autônomo

Atuadores

Deliberativas

Híbridas

Reativas

Possíveis arquiteturas

de controle

Sensores

Precisam de

Ações são planejadas, passando

ou não por uma representação

interna do mundo ao redor

Ações baseadas

EXCLUSIVAMENTE nos

dados dos sensores

Basicamente

União das duas técnicas

RapidezPonto Forte

Capaz de solucionar

problemas mais

complexos

Ponto Forte

Usa os pontos fortes

das duas técnicas de

controle

Ponto Forte

Podem ser

Internos Externos

Usando

estrutura

fabricada

Não invade

o espaço do

motorista

Invade o

espaço do

motorista

Proprioceptivos

Medem o

estado interno

do veículo

Encoders

Exteroceptivos

Percebem o

ambiente no

entorno

Bússola

LIDAR Única camada

Multiplas camadas

Camera Monocular

Estéreo

Cilíndrica

Omnidirecional

Ultrassom

Mapa Conceitual (Desafios)

DESAFIOS Percepção

Algoritmos robustos de

Visão.

Fusão Sensorial

GPS+IMU

LIDAR+Camera

Encoders + bússola +

Navegação

Algoritmos robustos de

SLAM – Simultaneous

Localisation and Mapping

ReativaDeliberativa

Gerador de

trajetórias

Trajetórias livres de colisões

Trajetórias

permitidas livre de

colisão

Controle

deliberativo

Controle

Híbrido

Comunicação entre os módulos

deliberativos e reativos

Manobras

especiais

Curvas em U

Estacionamento

Paralelo

Garagem

Vagas anguladas

Representação do

conhecimento

Armazenamento e reuso

das informações

eficientemente

Tomada de Decisão

Modelagem das Regras de

Trânsito

Baseado em Regras

Baseado em

experiências

Algoritmos de

aprendizado robusto

Objetivo

• Objetivo Geral:– Estudo e desenvolvimento de um sistema neural que seja capaz

de fazer com que um veículo, em um ambiente simuladobidimensional, realize a manobra de estacionamento paralelo deforma autônoma entrando na vaga com uma única manobra.

• Objetivos Específicosi. Estudar o estado da arte do problema de estacionamento

ii. Estudar e analisar a trajetória do veículo durante a manobra

iii. Estudar e aplicar técnicas de Aprendizado de Máquina (AM) -Redes Neurais Artificiais (RNA)

iv. Simular o sistema desenvolvido

Súmario

Introdução

Estado da Arte

• Três categorias: diagonal, garagem e paralelo

Estado da Arte (indústria)

• PAS

• VolksWagen

• IPAS

• Toyota

• Parking Aid

• Bosch

• Park4U

• Valeo

Estado da Arte (Trabalhos Acadêmicoss)

• Muitos trabalhos investigados de 1994 à 2011– Técnicas de Inteligência Artificial

– Calculos númericos

– Trajetórias e controles

• Principais trabalhos relacionados– Heinen et al. 2001 (AF com 6 sonares)

– Heinen et al. 2006a (MLP aprender o AF)

– Cabrere a-Cosetl et al. 2009 (CLMR com ultra-som e bússola neuro-fuzzy em Matlab/Simulink))

– Dermili e Khoshnejad 2009 (3 sonares neuro-fuzzy em ambiente simulado com polinômio de quinta ordem)

– Grupta et al. 2010 (AF e 4 sonares)

Aprox. 38 trabalhos

foram investigados

Súmario

Introdução

Estado da Arte

• Modelos

– Modelos do Ambiente

– Modelo do Veículo (Cinemático)

– Modelo Sensorial

• Encoders

• Sensor Laser (Hokuyo URG-04LX)

• Sensor Inercial (IG-500N)

• Simulação

– Simuladores de Robôs Móveis

– Simulador desenvolvido

Modelo do Ambiente

• Representação do ambiente (Mapas)1. Mapa métrico

i. grades

ii. geométrico

2. Mapa topológico

3. Mapa híbridos (Buschka e Saffioti, 2004)

Mapa Métrico (grids) Mapa topológico (grafos) Mapa geométrico

(Chatila e Laumond, 2985)

Thrun (2002)

Modelo do Veículo (Cinemática)

• Restrições:

• Modelo cinemático

Zhu e Rajamani, 2006

Siegwart et al., 2011

Kochem et al. 2003

Mini-veículo protótipo

• HELVIS (Hybrid Electric Vehicle in Low Scale)

Symbol Value

θ -30º / 30º

W 260 mm

Rmin 580 mm

l 335 mm

L 480 mm

b 65 mm

Sampaio et al. (2011)

Sensores

• Estimar a configuração do ambiente

– Planejar e realizar as tarefas

• Existem muitos sensores

• Os sensores são classificados em:

1. Proprioceptivos e exteroceptivos (meio em que

efetua a medição)

2. Passivo ou ativo (capturam os sinais)

Siegwarts e Nourbakhsh (2004)

Encoders

• Encoders (ou codificadores rotativos)– Medição da posição angular ou velocidade angular.

• Erros de odometria:– Sistemáticos (imperfeições)

– Não-sistemáticos (interação)

Borenstein et al., 1996

Sensor Laser (Hokuyo URG-04LX)

• Light Detection and Ranging (LIDAR)

– Hokuyo URG-04LX

• Método de medição: tempo de vôo

Lee e Ehsani, 2008

Sensor Inercial (IMU IG-500N)

Simulação

• As pesquisas pode ser iniciadas em ambientes virtuais.

• Os simuladores são uma ferramenta importante para os pesquisadores.

Vantagens Desvantagens

Custo usualmente inferior quando

se trata da implementação de

sistemas complexos que utilizam

alta tecnologia

Custo computacional para

reproduzir fenômenos e

comportamentos reais.

Repetibilidade dos experimentos

facilita a análise e a comparação

de algoritmos

Não consegue modelar

precisamente todos os elementos

do mundo real

Law e Kelton, 2000

Simuladores de Robôs Móveis

• Simuladores disponíveis:– Microsoft Robotics Studio (Morgan, 2008);

– Player / Stage / Gazebo (Player, 2011; Rusu et al., 2007);

– SimRob3D (Heinen 2002).

SEVA 2D (Osório et al. 2002) SEVA 3D (Heinen et al. 2006b)

Simulador Desenvolvido

• Implementação do Simulador– Orientação à Objetos

– Linguagem C#

– Visual C# 2008

– RNA

• Matlab (DLL)

Simulador Desenvolvido

• Interface do Simulador

Súmario

Introdução

Estado da Arte

Aprendizado Supervisionado e

Redes Neurais

• Aprendizado de Máquina (AM)

– O Sistema deve ser capaz de tomar decisões, atuar e

aprender com o resultado de suas ações.

• O AM classifica os métodos de aprendizagem

em três tipos:

– Aprendizagem supervisionada

– Aprendizagem não-supervisionada

– Aprendizagem por reforço (punição ou recompensa)

Russel e Norvig (2004)

Redes Neurais Artificiais

• São modelos matemático-computacional inspirados no sistema

nervoso dos seres vivos e que possuem capacidade de adquirir

conhecimento através de experiências.

ii bxwgy1

Haykin (2001)

Arquiteturas de RNAs

Feedfoward de camada simples Feedfoward de múltiplas simples

Redes recorrentes Redes reticuladas

Aspectos Topológicos da RNA

• Validação cruzada (5-fold cross-validation)

Aspectos Topológicos da RNA

• Overfitting e Underfitting

• Parada antecipada (early stopping)

Arquitetura de Aprendizado

• Aprendizado supervisionado

• Algoritmos– Resilient Propagation (RPROP)

– Levenberg-Marquardt (LM)

Dan Foresee e Hagan (1997)

Riedmiller e Braun (1993)

Súmario

Introdução

Estado da Arte

Abordagem do

Estacionamento Paralelo

• Três importântes etapas:

Dermili e Khoshnejad (2009)

1.Detectar vaga

2.Posicionar o veículo

3.Manobrar o veículo

1. Detectar a vaga

Wd 57,1

2. Posicionar o veículo

Trajetória para manobrar o veículo

Hoyle (2003)

Herrmann (2003)

Roth (2009)

bbLRWp 2)^(2

3. Manobrar o veículo

Súmario

Introdução

Estado da Arte

• Controlador Neural

Osório et al. (2002)

Geração da base de dados

Região estacionável

LP 67,1minWy 05,0

Amostra da base de dados

• 55 manobras (em média 320 pontos)

– Total de 17.625 exemplos [17.625 x 12]

• Pré-processamento dos dados [-1 1]

Autômato Finito

• Facilita e agiliza a coleta de dados

• Fácil de implementar

Heinen et al. (2006a)

Topologias candidatas (Estratégia 1)

Topologias candidatas (Estratégia 2)

Avaliação de desempenho

• Topologias candidatas da 1ª estratégia (4 casos)– 20 topologias usando RPROP e 20 usando LM

– Total = 160 topologias

• Topologias candidatas da 2ª estratégia (4 casos)– 60 topologias usando RPROP e 60 usando LM

– Total = 480 topologias

• Total de topologias treinadas = 640

• Avaliação do desempenho– MAPE (Mean Absolute Percentage Error)

Controlador Neural I

• Topologia candidata (estratégia 1)

– Sensores sem ruído

– Sem parede de auxílio

Controlador Neural II

– Sensores sem ruído

– Com parede de auxílio

Caso fácil

Controlador Neural III

– Sensores com ruído

Caso difícil

Controlador Neural IV

– Sensores com ruído

Controlador Neural V

• Topologia candidata (estratégia 2)– Sensores sem ruído

Controlador Neural VI

• Topologia candidata (estratégia 2)– Sensores sem ruído

Caso fácil

Controlador Neural VII

• Topologia candidata (estratégia 2)– Sensores com ruído

Caso difícil

Controlador Neural VIII

• Topologia candidata (estratégia 2)– Sensores com ruído

Súmario

Introdução

Estado da Arte

Demonstração da manobra (vídeo)

http://youtu.be/5_476rG03CE

Medida de Similaridade

• Como avaliar o quão bem um veículo está estacionado na vaga?– Não existe nada na literatura.

Medida de Similaridade

Controlador III:

1º 53/55 = 96%

2º Pior = 85,4%

2º Melhor = 98,6%

Controlador VII

1º 54/55 = 98%

2º Pior = 97,5%

3º Melhor = 99,0%

Súmario

Introdução

Estado da Arte

Recapitulando e concluíndo

• Objetivo– Estudo e desenvolvimento de um sistema neural que seja capaz de fazer com que um

veículo, em um ambiente simulado bidimensional, realize a manobra deestacionamento paralelo de forma autônoma entrando na vaga com uma únicamanobra

• Estudo do estado da arte– Indústria e acadêmia

• Modelagem e simulações– Modelos (ambiente, sensores, veículo)

– Simulações (simuladores de robôs móveis e desenvolvimento de um novo)

• Aprendizado de Máquina– Redes Neurais Artificiais (Perceptron Multi-Camadas)

• Abordagem e análise da trajetória do estacionamento paralelo– Três etapas usando trajetória em S

Considerações Finais

• Simulações dos controladores neurais – Resultados satisfatório

– Medida de similaridade (região de contorno)

• Limitações – Simulador bidimensional (resultados simulados)

– Modelagem cinemática

– Estacionamento à direita

– Veículos geométricamente quadrados

Contribuições:

1. Estudo detalhado da manobra de estacionamento paralelo;

2. Sistema neural para realizar a manobra (Projeto SENA);

3. Simulador bidimensional para testes dos algoritmos de estacionamento.

Perspectivas Futuras

• Simulador tridimensional (C++, Ogre e Bullet)– Alunos da EEP (TCC) e da EESC (IC)

• Testes no mini-veículo HELVI (Equipar o veículo)– Aluno da EESC (Estágio)

• Estudo dos outros dois tipos de estacionamento– Garagem e diagonal

• Estudo de outras técnicas de IA– Algoritmos genéticos

– Lógica nebulosa (Fuzzy)

– Híbridos

• Localização de vagas (Matlab)– Aluno da EESC (IC)

Em andamento

Universidade de São Paulo

Escola de Engenharia de São Carlos

Grupo de Mecatrônica

Laboratório de Robótica Móvel

Sistema Neural Reativo para o

Estacionamento Paralelo com uma única

Manobra em Veículos de Passeio

Kléber de Oliveira Andrade

Orientador

Marcelo Becker

São Carlos

Agosto/2011

mestrado - sistema neural reativo para o estacionamento paralelo com uma Única manobra em veículos...

Technology

manual reativo

mobilizaÇÃo neural na lombociatalgia neural ......esses...

rede neural

manobra radical 17.12

funÇÃo neural

hanseniase neural primaria

mapa neural 2

diferenciação do tubo neural

dispositivos manobra

david vinyes - terapia neural

neurulação e crista neural

terapia neural

catÁlogo consumÍveis - neural

sinalização neural

termo de...

planejamento profa. helenita. comportamento empresarial...

comparaÇÃo da compensaÇÃo de reativo entre...

ead manobra emb

manobra do navio

ni semana7 neural