X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 205

DOKBOT: UM AVATAR SEMI-AUTONOMO PARA APLICACOES TELE IMERSIVAS

Kayran G. R. S. Domingos∗, Otavio C. Borges∗, Marcos A. M. Vieira∗, Luiz Chaimowicz∗,

Mario F. M. Campos∗

∗Universidade Federal de Minas Gerais

Belo Horizonte, MG, Brasil

Emails: kayrangandhi@gmail.com, otavio.car.borges@gmail.com, mmvieira@dcc.ufmg.br,

chaimo@dcc.ufmg.br, mario@dcc.ufmg.br

Resumo— Este artigo descreve o projeto e a implementacao de um sistema robotico para aplicacoes em tele

imersao, denominado na literatura como avatar. O sistema desenvolvido e semi-autonomo e e tele-operado por

um usuario remotamente localizado. Para melhor percepcao do ambiente remoto, o avatar envia ao usuario audio

e vıdeo streams provenientes de um par de cameras. O sistema possui a capacidade de desviar-se de obstaculos,

evitar queda em degraus provendo ao usuario a sensacao de estar imerso no ambiente remoto. O sistema foi

testado e utilizado em ambientes internos com cobertura wi-fi.

Palavras-chave— Tele-presenca, Tele-imersao, streaming de vıdeo e audio, semi-autonomo

1 Introducao

Este artigo descreve um sistema de tele-presencasemi-autonomo que utiliza um avatar robotico de-nominado DOKbot. Tais avatares roboticos saocontrolados remotamente por um usuario, alem deenviarem e receberem vıdeo e audio para prover aousuario a percepcao de estar imerso no ambienteonde o robo se encontra. Todas essas caracterısti-cas permitem que o avatar proporcione ao usuarioa possibilidade de participar e interagir em umambiente remoto.

O objetivo do projeto foi construir um sistemaque permita tele-presenca, Composto de duas par-tes, o cliente operado localmente pelo usuario,transmite audio e vıdeo capturados em seu com-putador e os transmite pela rede sem fio para oavatar robotico. O servidor, no caso o proprioDOKbot, em paralelo, envia audio do local e ima-gens de duas webcams instaladas na plataforma.Essas imagens compoem um sistema estereosco-pico possibilitando ao usuario visualizar-las em3D. O robo tambem obedece a comandos do usua-rio como mudar sua posicao, ser capaz de evitardegraus, evitando quedas e automaticamente des-viar de obstaculos em sua trajetoria. Tudo issopermite uma maior interacao do usuario com o lo-cal fısico onde esta o avatar robotico. O DOKbot,mostrado na Figura 1 foi construıdo com o obje-tivo de investigar a area de avatares roboticos.As principais motivacoes do projeto sao montarum avatar robotico que possa caminhar sobre lo-cais ligeiramente irregulares, alem da presenca dasimagens 3D, que proporcionam uma maior imer-sao do usuario.

Na proxima secao, descrevemos os componen-tes de hardware e software do sistema de tele-presenca, incluindo o DOKbot. Depois, a co-municacao e discutida na secao 4. A navegacaosemi-autonoma e descrita na secao 5. Na secao 6,apresentamos alguns resultados do sistema de tele-

Figura 1: DOKBot

presenca no mundo fısico. Os trabalhos relacio-nados sao apresentados na secao 2. Finalmente,fechamos com a conclusao na secao 7.

2 Trabalhos Relacionados

Observa-se um grande desenvolvimento na areade tele-presenca. Podemos citar projetos similaresdesde os primeiros modelos comerciais InTouch

Health que simplesmente aliavam videoconfe-rencias a mobilidade ate recente o Texai, umsistema de telepresenca produzido pela Willow

Garage, que tambem implementa a navegacaosemi-autonoma atraves de sensores laser mon-

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 206

tados no robo. A semi-autonomia mostra-seuma ferramenta importante para reduzir a cargacognitiva do usuario (Lee et al., 2008) e viabilizaruma navegacao em ambientes com densa distri-buicao de obstaculos (Takayama et al., 2011).Aempresa Anybots vende desde 2010 o roboQB (Anybots - Your Personal Avatar, 2011)capaz de movimentar-se na forma de um penduloinvertido, e que possui ainda um laser que per-mite ao usuario apontar objetos em cena. Outrosprojetos nesta area realizam a tele presenca semo envio de vıdeo do usuario, como a webcammovel Rovioe o avatar TEROOS.Diferentementedos robos citados acima, a intencao do projetonao foi a criacao de uma plataforma comercialpara telepresenca, mas a criacao de um sistemareconfiguravel permita a maxima abstracaopor parte dos usuarios e interlocutores. Nasinteracoes humanas, posicao sentada ou de pee importante e em geral pessoas se sentem des-confortaveis de pe quando outros estao sentadose vice-versa (Jouppi and Thomas, 2005). Destemodo, montou-se um robo que em poucos minutostorna-se similar ao usuario em termos de altura eexpressao facial. A configuracao adotada permiteao usuario maior transparencia por reproduzirseu rosto com tamanho similar ao real. Diversostrabalhos relacionam o tamanho da tela ao nıvelde presenca percebido pelos usuarios.

A estabilidade de avatares e diretamente rela-cionada a altura (Lazewatsky and Smart, 2010).Para minimizar este problema e aumentar a mo-bilidade do sistema a base escolhida foi o Pioneer

3, um robo robusto e apto a ambientes externos.Parte da oscilacao do avatar foi minimizada com aaceleracao e desaceleracao via software, com para-metros estabelecidos empiricamente (Lazewatskyand Smart, 2010).

3 O DOKBot

3.1 Componentes de Software

Por apresentar diversos processos simultaneos, fo-ram desenvolvido tres aplicacoes :

• DOKserver : software que e executado no net-book junto ao avatar robotico. Este softwarelida com os streams de audio e vıdeo prove-nientes do computador do usuario. Alem decapturar e enviar pela rede os streams dasduas webcams e do microfone embutido nonetbook.

• DOKclient : software executado no computa-dor do usuario e apresenta uma interface gra-fica para facilitar seu manuseio. E respon-savel por reproduzir as duas imagens adqui-ridas pelas webcams montadas no robo. Osoftware tambem processa o audio capturado

pelos microfones, permite ao cliente configu-rar algumas opcoes do modo como e feito ostream, tais como qualidade de audio e vıdeoe numero de cameras no robo.

• Navilaservfh: software instalado no computa-dor do cliente que transmite os comandos deposicao e de velocidade para o netbook mon-tado no robo. A aplicacao tambem monitoraremotamente os sinais dos sensores instala-dos no avatar para protecao contra escadas edepressoes no solo e desvio de obstaculos, einforma ao usuario se ha condicao de perigoe os detalhes desta condicao.

Abaixo apresenta-se uma descricao mais de-talhada do funcionamento dos modulos presentesnos programas utilizados.

Figura 2: Diagrama para DOKBot

Figura 3: Diagrama para Usuario

4 Comunicacao

Para implementar a transmissao bilateral de au-dio e vıdeo utilizou-se a biblioteca Gstreamer,(Taymans, 2011), por estar presente nativamente

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 207

na maioria das distribuicoes Linux e, dentre as op-coes procuradas, como OpenCV e JACK, foi a quese mostrou mais completa.

Por meio da criacao de pipelines pode-setransmitir audio ou vıdeo pela rede utilizando oencapsulamento UDP. No DOKserver sao inicia-dos dois pipelines para recebimento de audio e vı-deo do usuario e logo apos sao iniciados tres pipe-lines para o envio das imagens de ambas webcamse o audio capturado pelo microfone do netbook.

As cameras Logitech Webcam Pro 9000 tam-bem possuem microfones embutidos, modificando-se um dos streams para capturar o audio de am-bos microfones e colocando cada um dos sinais emcanais separados, esquerdo e direito, seria possıvelcriar uma recepcao de som estereo que aumentariaa imersao do usuario no ambiente em que o robo seencontra sem a necessidade de grandes mudancana aplicacao DOKserver.

As variaveis do stream como fonte, destino,qualidade, formato e compactacao, podem serconfiguradas no Gstreamer pelas Factorys. Aposdefinidos os parametros, o stream e iniciado.

Utilizou-se para a transmissao de vıdeo a for-matacao Theora com resolucoes de 320 por 640pixeis cuja qualidade pode ser ajustada pelo usua-rio. Para o audio utilizou-se a formatacao Vorbis

com uma taxa de amostragem de 44100Hz.Uma conexao UDP e estabelecida entre cli-

ente e servidor para troca de mensagens. Essaconexao possibilita a sincronizacao entre os pro-cessos, alem de enviar ao servidor as preferenciaspara o stream escolhido pelo usuario.

5 Navegacao Semi-Autonoma

Nesta secao e descrito o sistema de navegacao.O usuario tele-opera o avatar robotico indicandopara onde ele deve se locomover. Porem, o sis-tema de tele-presenca deve ser seguro, ja que oavatar robotico interage com seres humanos e podeser utilizado em ambientes que possuam escadase obstaculos. Portanto, o sistema de navegacaopossui um algoritmo para evitar degraus e um al-goritmo para evitar obstaculos, descritos a seguir.

5.1 Prevencao de quedas

Para se evitar possıveis quedas em escadas, umsensor laser Hokuyo URG-04LX-UG01 foi insta-lado a frente do robo. Sua principal finalidade eservir como sensor para deteccao de depressoes nopiso a frente do robo. O laser faz leituras em umsetor de 240o retorna valores de distancias de refle-xao associados ao angulo de cada medida. O laserutilizado e um modelo de baixo custo, que tema vantagem de nao utilizar fonte energia externa,mas apenas a fornecida pela porta USB a qual estaconectado. Porem, foi suficiente para uma detec-cao segura de escadas a uma velocidade de 0.6m/s

com o feixe posicionado a 60 mm a frente do robo.

Cada varredura do laser retorna 682 valores dedistancia, cada um associado a um ındice. Para aestimativa do estado do piso a frente do robo, foinecessario realizar um pos-processamento que, apartir dos angulos maximos e mınimos de leiturado laser, permite calcular a separacao angular en-tre pontos vizinhos. Visto que a leitura do laserbaseia-se no tempo necessario a reflexao de umfeixe de luz infravermelha, este trabalho utilizouapenas as medidas referentes ao setor correspon-dente aos 90o frontais do laser. A partir desteangulo, o feixe laser e a superfıcie de reflexao saomenos ortogonais, de modo que sao geradas maisleituras incorretas pois o angulo de incidencia pro-porciona a reflexao total do feixe laser que toca osolo.

Figura 4: Reflexao total do laser Hokuyo para an-gulos maiores que 45o.

O plano da leitura em 90o permite que a faixade piso coberta seja duas vezes a distancia entre osolo e o sensor, de modo que 70cm de distancia en-tre o laser e o chao permitem que seja coberta umalargura de 1, 40m no plano do laser. Nos experi-mentos, essa configuracao se mostrou adequadapara um robo-base de 51cm de largura. Para queas medidas do laser pudessem ser utilizadas paramonitoramento do piso, foi necessaria a transfor-macao das duplas distancia-angulo para o sistemacartesiano explicitadas nas equacoes 1 e ilustradona Figura 5, retirada de (Macharet, 2009).

[

xi

yi

]

= ri

[

cos(ρi)sin(ρi)

]

(1)

Figura 5: Esquema de leitura do laser.

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 208

5.1.1 Desvio de Obstaculos

Desvio de obstaculos e uma das principais funcoesdo sistema. A literatura registra um grande nu-mero de tecnicas: desde algoritmos basicos, quedetectam um obstaculo por proximidade e paramo robo, ate metodos sofisticados que realizam amanobra entre diversos obstaculos. Esses algo-ritmos sao mais complexos, pois requerem comoentrada as dimensoes do proprio robo, bem comoa medida das dimensoes do obstaculo, e subse-quentemente a manobra do robo em torno ou paralonge dos obstaculos. Nessa categoria, estao os al-goritmos que realizam a deteccao das bordas dosobstaculos, porem ao custo de demandar que orobo permaneca imovel para que realize as medi-coes, que sao diretamente influenciadas pela pre-cisao dos sensores utilizados.

Em um robo dotado de sonares, a angulo devisada restrita dos sensores faz com que os obs-taculos sejam mal definidos, e quaisquer medidasfalsas sejam igualmente consideradas obstaculos,visto que esses metodos nao constroem um mo-delo do mundo baseado em multiplas medicoes.

Em outra abordagem, Khatib (Khatib, 1985)propos que forcas imaginarias podem agir sobre orobo, resultando numa resultante que representaa direcao de movimento do robo para um determi-nado instante. Para tanto, um calculo previo atri-bui ao objetivo uma forca atrativa para o robo, en-quanto obstaculos sao relacionados a forcas repul-sivas. Neste campo de forcas potenciais, em cadamomento uma forca resultante e calculada, cau-sando entao a aceleracao do robo na direcao destaforca. Este conjunto de metodos tem a grandedesvantagem de trabalhar com a suposicao de queo mundo e previamente conhecido.

Em busca de uma maior flexibilidade nosmeios possıveis para uso deste avatar robotico,neste sistema o desvio de obstaculos e implemen-tado usando-se o algoritmo de navegacao localVFH+, atraves do driver vfh do Player. Trata-sede um metodo que roda em tempo real de desviode obstaculos que utiliza uma grade com um his-tograma de probabilidades de obstaculos como omodelo do mundo (Borenstein and Koren, 1991).Esse modelo e continuamente ajustado com basenas leituras de um sensor de perımetro, como umranger laser ou um conjunto de sonares. A seguir,a partir da grade cartesiana utilizado e construıdoum grid polar entorno do robo, de modo que cadasetor neste histograma polar contem um valor cor-respondente a densidade de obstaculos naquela di-recao. Esta densidade e utilizada para a escolhadinamica do setor mais adequado para a passa-gem do robo, que e entao manobrado na direcaoescolhida. A implementacao utilizada, (Ulrich andBorenstein, 1998), tem ainda a vantagem de uti-lizar uma histerese na determinacao das direcoesbloqueadas, de modo que o movimento do robo

torna-se suave, sem a possibilidade de um mo-vimento oscilatorio observado no uso de campospotenciais.

O driver VFH do Player utiliza o driver po-

sition2d, a partir da posicao desejada para robo.Apos receber uma posicao-objetivo, as velocida-des necessarias para este objetivo sao calculadase passadas ao driver position2d. No nosso sistemaas posicoes a serem seguidas pelo VFH+ sao de-terminadas como deslocamentos infinitesimais nadirecao escolhida. Antes do envio dessa posicaodesejada para o servidor player no robo, ocorrea verificacao do resultado do algoritmo de detec-cao de depressoes. O algoritmo retorna um valorbinario para a possibilidade de queda, e este va-lor e utilizado diretamente no calculo do possıveldeslocamento, desabilitando-o caso necessario.

6 Resultados

Foram executados experimentos em ambiente reale coletado dados de latencia e resposta dos pro-gramas em execucao na plataforma.

6.1 Comunicacao

Ao se iniciar os programas DOKclient e DOKser-ver no computador do usuario e netbook presenteno robo, respectivamente, notou-se que os streams

de vıdeo e audio funcionavam corretamente, po-rem quando a distancia entre servidor e clienteaumentava as aplicacoes apresentavam lentidao epausa nos streams. Como foi utilizada uma redesem fio a causa mais provavel seria ou latencia darede ou diminuicao de banda, que aumentam pro-porcionalmente com a distancia entre roteador ecomputador.

Foi testada a latencia da rede sem os pro-gramas rodando, a cada distancia foram adquiri-das 40 amostras de latencia obtidas pelo comandoping. Os resultados obtidos estao mostrados nografico 6, os pontos de amostragem estao destaca-dos na Figura 8. Analisando o grafico do Grafico 6podemos observar que a distancia nao influenciousignificativamente a latencia da rede, para todosos pontos observados a latencia nao ultrapassou20ms.Porem ao executar as aplicacoes DOKserver eDOKclient, exemplificadas no grafico da Figura7. Utilizando tambem os pontos de amostra-gem da Figura 8 pode-se observar um aumentomuito grande nas latencias para todas as distan-cias. Logo e provavel que o programa utilizadono DOKbot para transferencia de audio e vıdeorequisita muita banda da rede.

Apesar de, apos uma certa distancia, o Han-

doff da rede se tornar um problema e as apli-cacoes DOKserver e DOKclient serem muito pe-sadas, ainda pode-se testar a execucao da plata-forma e todos os streams funcionaram, na Figura

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 209

Figura 6: Grafico Latencia Media com distanciasrelativas com roteador sem carga na rede.

Figura 7: Grafico Latencia Media com distanciasrelativas com roteador com carga na rede.

9 podemos visualizar as aplicacoes em execucao,chama-se atencao para as imagens estereoscopicasque permitem ao usuario visualizar o ambiente em3D.

6.2 Navegacao

Nesta secao descrevemos os resultados da partede navegacao semi-autonoma, que inclui desviode obstaculos e prevencao de quedas, presente nosoftware Navilaservfh.

Apos a realizacao de cada medida, a distan-cia no eixo X entre o laser e o solo e obtida earmazenada em um vetor. Durante a inicializacaodo programa de navegacao, assume-se que o pisoa frente do robo e plano, para que seja medida amedia das distancias no eixo X. Este valor serautilizado para analise de pontos que correspondama potenciais depressoes. O programa de navega-cao monitora, a cada momento, quantos pontosa frente do avatar encontram-se a uma distanciaalem do limiar definido anteriormente, e avisa ooperador do sistema no caso do numero de pontosindicar uma depressao, alem de desabilitar a pos-sibilidade de mover o robo para frente. Nessa situ-acao o usuario so pode girar o robo ou recuar, po-rem deve-se observar que nao ha monitoramentodo piso atras do robo.

Para ilustrar o funcionamento do algoritmo,a seguir estao algumas das condicoes de paradaobservadas, bem como o conjunto de leituras do

Figura 8: Mapa com pontos de amostragem usa-dos no teste.

Figura 9: Programa DOKclient em execucao.

laser em cada momento. Na Figura 11 ve-se orobo alinhado aos degraus da escada, a Figura 12tem-se o robo parado oblıquo aos degraus, em 13a parada defronte obstaculos irregulares e na Fi-gura 10 frente a um plano sem depressoes. Logo,pode-se perceber que, para a deteccao de degrau,o programa Navilaservfh funcionou como o espe-rado.

7 Conclusoes

Um sistema de tele-presenca que utiliza um ava-tar robotico foi projetado. O sistema possui nave-gacao semi-autonoma, permitindo o usuario tele-operar o avatar robotico e tambem inclui funciona-lidades como prevencao de obstaculos e deteccaode depressao. Com base nos testes para deteccaode degraus, pode-se concluir que o programa Na-

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 210

Figura 10: Parada do robo em um plano sem de-pressao.

Figura 11: Parada do robo alinhado ao degrau.

vilaservfh impede a queda do sistema caso hajauma depressao a sua frente.

O sistema de transmissao de audio e vıdeomostrou ser estavel para pequenas distancias, per-mitindo a interacao do usuario com o mundo fı-sico.

No futuro pretendemos investigar o refina-mento das aplicacoes DOKclient e DOKserverpara que estas possam ajustar a qualidade dosstreams em tempo real, assim com menor dispo-nibilidade de banda a qualidade seria reduzida,impedindo o atraso no vıdeo e audio.

Referencias

Anybots - Your Personal Avatar (2011). http:

//www.anybots.com/. Acessado em Junhode 2011.

Borenstein, J. and Koren, Y. (1991). The vectorfield histogram - fast obstacle avoidance formobile robots, pp. 278–288.

Jouppi, N. P. and Thomas, S. (2005). Telepre-sence systems with automatic preservation ofuser head height, local rotation, and remotetranslation.

Figura 12: Parada do robo em posicao obliqua.

Figura 13: Parada do robo com obstaculos irregu-lares.

Khatib, O. (1985). Real-time obstacle avoi-dance for manipulators and mobile robots.,pp. 500–505.

Lazewatsky, D. A. and Smart, W. D. (2010). Aninexpensive robot platform for teleoperationand experimentat.

Lee, J. K., Toscano, L., Stiehl, W. D. and Bre-azeal, C. (2008). The design of a semi-autonomous robot avatar for family commu-nication and education.

Macharet, D. (2009). Localizacao e mapeamentoem terrenos irregulares utilizando robos mo-veis, pp. 34–41.

Takayama, L., Marder-Eppstein, E., Harris, H.and Beer, J. M. (2011). Assisted driving of amobile remote presence system: System de-sign and controlled user evaluation.

Taymans, W. (2011). Gstreamer application de-velopment manual (0.10.32).

Ulrich, I. and Borenstein, J. (1998). VFH+: Reli-able Obstacle Avoidance for Fast Mobile Ro-bots, pp. 1572–1577.