sbia 2010-tutorial-slides-part-i

24/10/2010

1

SBIA 2010# 1

Desafios da Inteligência Artificial: Desafios da Inteligência Artificial:

Pesquisa e Desenvolvimento de Robôs Pesquisa e Desenvolvimento de Robôs

Móveis e Veículos AutônomosMóveis e Veículos Autônomos

Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco

Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER

Laboratório de Robótica Móvel – LRM – Http://www.lrm.icmc.usp.br/INCT – Sistemas Embarcados Críticos – Http://www.inct-sec.org/

Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco

Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER

Laboratório de Robótica Móvel - LRMINCT – Sistemas Embarcados Críticos

SBIA

SBRN

JRI-LARS

SBIA 2010# 2

Laboratório de Robótica Móvel – ICMC/USP

Robôs Móveis e Veículos Autônomos: Robôs Móveis e Veículos Autônomos:

Pesquisa, Desenvolvimento e Desafios Pesquisa, Desenvolvimento e Desafios

na área da Inteligência Artificialna área da Inteligência Artificial

24/10/2010

2

SBIA 2010# 3

Robôs Móveis e Veículos Autônomos:Pesquisa, Desenvolvimento e Desafios na área da I.A.

• Parte I: Domingo, 24 de Outubro de 2010

Introdução à Robótica Móvel Inteligente

História, Evolução, Sensores e Atuadores, Arquit. de Controle

Técnicas e Algoritmos aplicados em Robôs Inteligentes

Localização, Mapeamento, Navegação e Controle

• Parte II: Domingo, 24 de Outubro de 2010

Desenvolvimento de Projetos de Robótica Inteligente

Mapeamento de Terrenos, Visão Computacional

Veículos Móveis Autônomos: Terrestre e Aéreo

Apresentação de Aplicações de Robótica Inteligente

SBIA 2010# 4

Introdução a Robótica

• Robôs: O Início... RUR (Rossum's Universal Robots)

Ficção Científica

24/10/2010

3

SBIA 2010# 5


• Robôs Manipuladores de Base Fixa:

Braços Manipuladores – Aplicações Industriais

Robôs SoldadoresRobôs de PinturaExemplos: PUMA, KUKA, CanadaARM

Robix

SBIA 2010# 6



Braços Manipuladores – Aplicações Industriais

Tic-Tac-Toe

Scripts deControle do Braço Robótico

24/10/2010

4

SBIA 2010# 7



Braços Manipuladores – Tele-Operados

Justin (Nasa)“copiando movimentos”

Não é tão fácil como parece:-Visão 3D (profundidade)- Tato (feed-back / “haptic”)

Robonaut / Justin Nasa

SBIA 2010# 8


• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente

* Robôs Móveis Tele-Operados, Guiados por Marcações (AGV)

* Robôs Móveis Semi-Autônomos

1912 - Electric Dog: http://davidbuckley.net/DB/HistoryMakers.htm

Mars RoversAGV – Automated Guided VehiclesRobôs Submarinos

24/10/2010

5

SBIA 2010# 9



* Robôs Móveis Tele-Operados

1997 Mars Rover:

Soujourner / PathFinder

Ooops!!!

SBIA 2010# 10



* Robôs Móveis Tele-Operados

Data Glove – Redes Neural Artificial para Reconhecer GestosControle Remoto do Veículo (apenas comandos)

24/10/2010

6

SBIA 2010# 11

Introdução a Robótica• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente

Em busca do desenvolvimento de Robôs Móveis Autônomos e Inteligentes

History: http://davidbuckley.net/DB/HistoryMakers.htm

Nova Geração: Pioneer, iRobot Roomba, Boston Dynamics Big Dog, Sony Aibo, Honda Asimo, Aldebaran NÃO

Asimo - Blooper

SBIA 2010# 12

Introdução a Robótica• Robôs Móveis: Robôs com capacidade de deslocamento no ambiente

Em busca do desenvolvimento de Robôs Móveis Autônomos e Inteligentes

Darpa Grand Challenge

Robot Nao from Aldebaran

Darpa Urban Challenge

Nao

24/10/2010

7

SBIA 2010# 13

Robôs MóveisScientific American - January 2007

A Robot in Every HomeThe leader of the PC revolution predicts that the next hot field will be roboticsBy Bill Gates

Imagine being present at the birth of a new industry. It is an industry based on groundbreaking new technologies, wherein a handful of well-established corporations sell highly specialized devices for business use and a fast-growing number of start-up companies produce innovative toys, gadgets for hobbyists and other interesting niche products. But it is also a highly fragmented industry with few common standards or platforms. Projects are complex, progress is slow, and practical applications are relatively rare. In fact, for all the excitement and promise, no one can say with any certainty when--or even if--this industry will achieve critical mass. If it does, though, it may well change the world.

Of course, the paragraph above could be a description of the computer industry during the mid-1970s, around the time that Paul Allen and I launched Microsoft.

SBIA 2010# 14

Elementos dos Robôs Móveis• Robô Móvel: Agente capaz de PERCEBER o ambiente e

AGIR sobre este ambiente

Percepção: Sensores

Ação: Atuadores

Agente: Comportamento

DecisãoControle

24/10/2010

8

SBIA 2010# 15

• Robô Móvel: Agente capaz de PERCEBER o ambiente e

AGIR sobre este ambiente

Elementos dos Robôs MóveisPercepção: Sensores

SBIA 2010# 16


Tipos de Sensores: Sensores usados no LRM

24/10/2010

9

SBIA 2010# 17

Tipos de Sensores


Encoder

Bumper

Sonar

SBIA 2010# 18

Tipos de SensoresSensores LASER (Lidar - Light Detection and Ranging)


Wikipedia: Lidar

24/10/2010

10

SBIA 2010# 19


Tipos de Sensores: Veículos do LRM Instrumentados com Sensores

Sensores:Laser Sick (x2), GPS, Bússola, Câmera Vídeo, Câmera Termal, Câmera Estéreo,

Encoders (roda e barra da direção), Acelerômetro (Unidade Inercial - IMU)

http://www.lrm.icmc.usp.br/

SBIA 2010# 20

Sensores: Laser SICK, GPS, Câmera de Vídeo Adicional: Bússola, IMU (Inercial)


Tipos de SensoresSensores LASER (Lidar) + GPS + Câmera

Veículo equipado com Laser SICK LMS2xx Resolução: ~10 mmDistância Máxima: 80 mts - Varredura: 180º de 0.5 em 0.5 graus

Sw-Demo

Projeto Sena

24/10/2010

11

SBIA 2010# 21

Posição do veículo

Trajetória planejada

Obstáculos

Dados do laser

Dados da câmera

Sistema de conduçãoautônoma / assistida

SBIA 2010# 22


24/10/2010

12

SBIA 2010# 23


A Driving Assistance System for Navigation in Urban Environments

Leandro C. Fernandes, Maurício A. Dias, Fernando S. Osório, Denis F. Wolf

IBERAMIA 2010

SBIA 2010# 24


Tipos de SensoresSensores LASER (Lidar) – Hokyuo + Base Giratória

24/10/2010

13

SBIA 2010# 25


Tipos de SensoresSensores LASER (Lidar) – Hokyuo + Base Giratória

Modelo VRML 3D criado usando Laser Hokuyo

SBIA 2010# 26


Tipos de Sensores: Câmera Estéreo

Videri STOC (Stereo-on-a-Chip) Video Camera :Fornece o mapa de disparidade (depth field)

24/10/2010

14

SBIA 2010# 27


Tipos de Sensores: Camera Termal (PathFindIR Flir)

SBIA 2010# 28

Tipos de AtuadoresAtuadores mais comuns...

• Servo Motor

• Motor DC

• Motor de Passo (Step-Motor) Servomotor


24/10/2010

15

SBIA 2010# 29

Tipos de Atuadores: Veículo Elétrico Autônomo (LRM-ICMC)


SBIA 2010# 30

Tipos de AtuadoresAtuadores: Robôs Móveis

C0

C1

C2 C3

C4

C5

C7 C6

M1 M2

θ

X

Y

φ

Elementos dos Robôs MóveisAção:

Atuadores

24/10/2010

16

SBIA 2010# 31

Robótica Móvel

Sistemas Robóticos Móveis Inteligentes• Localização: Onde estou e para onde vou?

•Mapas: • Criação: Mapeamento

• Manutenção: Adicionar, Remover elementos

• Uso: Planejamento de Trajetórias

• Localização e Mapeamento Simultâneo (SLAM)

•Planejamento e Comportamentos

• Navegação : Executa tarefa e evita obstáculos

SBIA 2010# 32

Comportamentos: Controle de Robôs

Arquiteturas de Controle

Robôs Móveis: Agentes Autônomos dotados de SENSORES e ATUADORES

Integração Sensorial-Motora

Como Agir?

Como Interpretar as Percepções?

Como Tomar Decisões?

24/10/2010

17

SBIA 2010# 33

ARQUITETURAARQUITETURA


ReativaPURA

DeliberativaPURA

MISTA

Múltiplos Comportamentos

Hierárquica Horizontal

Hierárquica Vertical

Híbrida

SBIA 2010# 34

Arquitetura REATIVA [Pura]


Reativo:Reativo: Percepção => Ação

- Reage diretamente aos estímulos externos;

- Esquema sensorio-motor;

Comportamentos Típicos: Reactive Behaviour

- Vagar pelo ambiente, evitando colisões e obstáculos;

- Acompanhar uma parede ou corredor;

- Comportamento direcionado pela luz;

- Ir em direção a uma determinada orientação

Composição de Comportamentos: Direção x Obstáculo

24/10/2010

18

SBIA 2010# 35

• Reativo: Integração Sensorial-Motora

IF S1 < Limite andS2 < Limite andS3 < Limite andS4 < Limite

THEN Action (Go_Forward)

IF S1 < Limite andS2 < Limite andS3 > Limite andS4 > Limite

THEN Action(Turn_Left)

IF S2 > Limite andS3 > Limite andS2 > S3 andS1 > S4

THEN Action(Turn_Right)

Controle Reativo

Evitar colisões e obstáculos Sensorial-Motor: Sentir => Agir

S0

S1

S2 S3

S4

S5

S7 S6

M1 M2

Arquitetura REATIVA [Pura]


SBIA 2010# 36

Simulador do Khepera Robô Khepera

> 2 DC brushed servo motors with incremental encoders> 8 infrared proximity and ambient light sensors (SFH900)

Arquitetura de Controle: Reativo

24/10/2010

19

SBIA 2010# 37

Campos Potencias

SBIA 2010# 38

Arquitetura de Controle: Reativo

Aplicações práticas comerciais:

Reativo

24/10/2010

20

SBIA 2010# 39

Arquitetura DELIBERATIVA [Pura]


Deliberativo:Deliberativo: Planejamento => Seqüência de Ações

- Possui conhecimento sobre a situação do robô e do ambiente;

- Usualmente baseado no uso de mapas e planejamento de trajetórias.

Comportamentos Típicos: Deliberative Behaviour

- Execução de scripts de ações planejadas previamente;

- Executar uma seqüência de ações previamente determinada;

- Seguir trajetórias especificadas com uso de mapas;

- Execução de Tarefas de Alto Nível;

SBIA 2010# 40



SIMROB2D - Referência: Farlei Heinen (Orientador: Fernando Osório )Robótica Autônoma: A integração entre planificação e comportamento reativo. 2000.

Robô tipo Khepera: Sensores: 5 IR / Atuadores: 2 motores (diferencial)

SIMROB2DDeliberativo

24/10/2010

21

SBIA 2010# 41


DELIBERATIVO: SIMROB2D - Referência: Farlei Heinen (Orientador: Fernando Osório )

MAPA DO AMBIENTE - Geometrico Espaço de Configuração

Grafo de Visibilidade

SBIA 2010# 42



A*: mapas métricos (grid)

24/10/2010

22

SBIA 2010# 43

Arquiteturas de ControleA* Search: [Tutorial SBGames07SBGames07]Busca Heurística de Caminhos

[Lester 2004, 2007]

Março 2010

SBIA 2010# 44


# 44

CSBC 2009 - JAI

Arquiteturas

CONTROLECONTROLE: : ArquiteturasArquiteturas ReativasReativas

Solução?

Buscar aproveitar o que de melhor tem cadauma das duas abordagens...

ARQUITETURA HIERÁRQUICAARQUITETURA HÍBRIDA

CONTROLECONTROLE: : ArquiteturasArquiteturas DeliberativasDeliberativas

Ambas possuem Ambas possuem problemas e limitações!problemas e limitações!Abordagens “puras”

24/10/2010

23

SEVA3D – Simulador de Estacionamento de Veículos Autônomos 3D

Veículos Autônomos: Simulação

de Estacionamento

Sensores: Sonar (configurável pelo usuário) e OdômetroAtuadores: Cinemática AckermanUsual: 6 sonares com posições específicas, odômetro, controle de velocidade e de giro da direção

SBIA 2010# 45

Arquitetura de Controle Híbrida

SEVA3D – Simulador de Estacionamento de Veículos Autônomos 3D

Aprendizado de um autômato (FSA) usando uma Rede Neural Artificial

Sensores: Sonar (configurável pelo usuário) e Odômetro Atuadores: Cinemática Ackerman (velocidade e giro da direção)

Searching Parking Space Positioning Outside Entering

Positioning Inside Aligning

SBIA 2010# 46


24/10/2010

24

Atributos de entrada da rede: seis sensores e uma indicação do estado atual (FSA)

Valores de saída da rede neural: estado dos atuadores (velocidade e direcionamento), indicação do próximo estado do processo de estacionamento

Aprendizado: Exemplos de uma pessoa controlando o estacionamento do veículo

Sensores de Proximidade [0..5]

Estado Inicial

RNA

Giro daDireção

Velocidade Próximo Estado

SBIA 2010# 47

IJCNN 2006

InfocompJournal 2007

M.HeinenF.Osório


Desvio de obstáculos

Vector Field Histogram - VFH

24/10/2010

25

SBIA 2010# 49

Robótica Móvel

Sistemas Robóticos Móveis Inteligentes• Localização: Onde estou e para onde vou?

•Mapas: • Criação: Mapeamento

• Manutenção: Adicionar, Remover elementos

• Uso: Planejamento de Trajetórias

• SLAM

•Planejamento e Comportamentos

• Navegação : Executa tarefa e evita obstáculos

SBIA 2010# 50

Localização

Destino

???

Estimar a posição do robô em um ambiente

previamente conhecido, utilizando

informações obtidas por sensores.

24/10/2010

26

SBIA 2010# 51

Propagação do Erro de Localização

SBIA 2010# 52

Localização – Tipos de problemas

Tracking• Posição inicial é conhecida

• Busca local (correção de odometria)

Localização global• Posição inicial não é conhecida

• Busca global

24/10/2010

27

SBIA 2010# 53

Localização - Soluções

Representação da posição do robô

• Distribuição Normal (Filtro de Kalman)

•Malha de células (Grid / Markov)

• Partículas/Amostras (Monte Carlo)

Framework básico: Filtro de Bayes

SBIA 2010# 54

Localização – Filtro de Kalman (EKF)

Atuação (movimento do robô): aumento de incerteza

Percepção (sensores): diminuição da incerteza

Sebastian Thrun

24/10/2010

28

SBIA 2010# 55

Filtro de Partículas

SBIA 2010# 56

Filtro de Partículas - Exemplo

Sebastian Thrun

24/10/2010

29

SBIA 2010# 57

Controle Híbrido Robusto Controle Híbrido Robusto –– COHBRA / SimRob3DCOHBRA / SimRob3D


Controle

HíbridoArquiteturaCOHBRA

F. OsórioF. HeinenHIS 2002SBC JAI 2005

SBIA 2010# 58



Arquitetura COHBRA

MAPAS DO AMBIENTE: Métrico / Topológico

- Mapa Métrico do tipo GRADE (Grid, Mapa de Ocupação)

- Mapa Métrico do tipo GEOMÉTRICO (Geometria do Ambiente)

24/10/2010

30

SBIA 2010# 59

Controle Híbrido Robusto Controle Híbrido Robusto

COHBRA / SimRob3DCOHBRA / SimRob3D


Arquitetura COHBRACOntrole HíBrido de Robôs Autônomos

SBIA 2010# 60



Controle Híbrido – TAREFAS:

- Localização: MCL (Monte-Carlo Localization)

- Planejamento de Trajetórias: A* (A Star)

- Controle e Navegação: Campos Potenciais

- Uso de Mapas do Ambiente:

� Mapa de Ocupação (Grid)

� Mapa Geométrico (Poligonal)

� Mapa de Conectividade (Topológico)

- Alteração dos Mapas:

� Inclusão de Obstáculos (Construçaõ de Mapas)

� Exclusão de Obstáculos (Adaptação de Mapas)

24/10/2010

31

SBIA 2010# 61

Navegação e Localização Simultâneas

FastSLAM

FastSLAM Odometria

Sebastian Thrun

SBIA 2010# 62

Localização e Mapeamento – Robô Guia de Museu

24/10/2010

32

SBIA 2010# 63

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Robôs Móveis: Monitoramento e Segurança

Robôs Móveis Tele-Operados

Robôs Móveis Autônomos

APLICAÇÕESAPLICAÇÕES

SBIA 2010# 64

INCTINCT--SEC / LRMSEC / LRM

GT 1 GT 1 -- RobôsRobôs TáticosTáticos parapara AmbientesAmbientes InternosInternos

� OBJETIVOS:

� Patrulhamento Indoor: Monitoramento de Ambientes

� Navegação em Ambientes Internos:

* Tele-Operado com Supervisão

* Controle Autônomo

� Detecção de Intrusos e de Situações Anômalas

� Sistemas de Visão para Navegação e Patrulhamento

� Estratégias em Sistemas Multirrobóticos

24/10/2010

33

SBIA 2010# 65

Equipe de Robôs para Missões TáticasRobôs de serviço/segurança – Principais objetivos:Patrulhar ambientes internos para detectar,identificar e reagir em situações de risco (invasão, fogo e ocorrências suspeitas)

Modos de controle: - Tele-Operação: Controlado remotamente por um usuário

(desviando de obstáculos)- Semi-Autônomo: A rota é definida por um usuário

(desviando de obstáculos)- Autônomo: Patrulhamento autônomo-Multi-Robô: Patrulhamento autônomo cooperativo

Funções principais:- Detectar: obstaculos, movimentos, fogo, situações anormais;- Inspecionar e Informar: link de áudio e vídeo bidirecional;- Reagir: evitar a exposição de pessoas a situações de risco;- Recarga autônoma: retorno à base de recarga de maneira autônoma

SBIA 2010# 66

Robôs MóveisRobôs Móveis e Sensores

• Pioneer DX and AT• Erratic Robot• SRV1 Blackfin• ASR Labs Robot (em desenvolvimento em São Carlos)

• Laser SICK LMS• Laser Hokuyo• On-board Cameras com pan-tilt• Stereo Vision (STOC – Stereo on a Chip)• Wireless Camera

Erratic – Era Mobi

Pioneer DX

SRV1

24/10/2010

34

SBIA 2010# 67

Teleoperação <=> Autonomia

Teleoperação:

• Controle remoto de Robôs Pioneer

Robôs localizados em São Carlos, SP (ICMC/USP)Controle localizado em Porto Alegre, RS (PUC/RS)

• Envio de dados de sensores (Video, Sonar, Laser)• Recepção de comandos de controle(Move, Turn, Stop)

Experimento:

Setembro de 2009

Curso a distância: Programação de robôs móveis usando as ferrametas Player/StageICMC/USP e PUC/RS

SBIA 2010# 68

Teleoperação: Resultados

- Teleoperação: Controle humano- Controle remoto autônomo: seguir paredes

sensor laser


24/10/2010

35

SBIA 2010# 69

Teleoperação: Problemas

- Teleoperação: Controle humano- Controle remoto autônomo: seguir paredes

>> Internet - Lag: Atraso no envio e recepção de dados e comandos>> Internet - Connection Lost: Perda de conexão com o ponto de acesso>> Internet – Falta de segurança na transmissão de dados

Atraso:

Evitar colisões (supervisão local)

Conexão:

IP Móvel / Handover


Navegação Topológica: Algoritmo Proposto e Simulação

RNA

FSM

D. Sales, F. Osório, D. Wolf

Navegação Autônoma Topológica

SBIA 2010# 70

24/10/2010

36

Navegação Topológica: Experimento Real


SBIA 2010# 71

Detecção de Intrusos: Experimento RealCâmera Térmica

FLIRPathFindIR


SBIA 2010# 72

24/10/2010

37

Navegação por Imagens: Experimento Real

SRV1

ArtigoPublicado IEEE LARS2010

Navegação Autônoma por Visão

SBIA 2010# 73

D. Sales, P. Shinzato,F. Osório, D. Wolf

SBIA 2010# 74

OBRIGADO!

Laboratório de Robótica Móvel

www.lrm.icmc.usp.br

www.inct-sec.org

Denis Fernando Wolf – [email protected] Santos Osório - [email protected] R. J. C. Branko - [email protected]

24/10/2010

38

SBIA 2010# 75

OBRIGADO!

Laboratório de Robótica Móvel

www.lrm.icmc.usp.br

www.inct-sec.orgDenis Fernando Wolf – [email protected] Santos Osório - [email protected] R. J. C. Branko - [email protected]

http://www.slideshare.net/

Search: CLEI 2010 Tutorial

Search: SBIA 2010 Tutorial

SBIA 2010# 76

Continua...

SBIA 2010 Tutorial

sbia 2010-tutorial-slides-part-i

Documents