Ambientes Colaborativos de Realidade Virtual e

Aumentada Denise Filippo, Alberto Raposo

Markus Endler, Hugo Fuksdenise@inf.puc-rio.br, abraposo@tecgraf.puc-rio.br,

endler@inf.puc-rio.br, hugo@inf.puc-rio.br

PUC-RioDepartamento de Informática

Objetivos

• Apresentar os ambientes colaborativos de RV e RA sob a ótica da Colaboração

• Apresentar o que as tecnologias de RV e RA agregam aos ambientes colaborativos

Sumário

• Conceitos básicos da Colaboração• Ambientes colaborativos de RV• Ambientes colaborativos de RA• Conclusão e Tendências

Colaboração

• Colaborando, pelo menos potencialmente, pode-se produzir melhores resultados de que individualmente– complementação de capacidades, conhecimentos e

esforços– mais capacidade de gerar criativamente alternativas

• Área de estudo interessada no trabalho em conjunto de grupos de pessoas com a ajuda de computadores

• Leva em consideração fatores humanos do trabalho em grupo para auxiliar o projeto e especificação do suporte computacional a este processo

• Tema multidisciplinar: computação, sociologia, psicologia social, teoria organizacional, educação, design etc

Computer Supported Cooperative Work (CSCW)

• Groupware ou Sistemas Colaborativos– sistemas computacionais que auxiliam grupos de pessoas engajadas em uma tarefa (ou objetivo) comum e que provêm uma interface para um ambiente compartilhado

• Área mais técnica, voltada para o desenvolvimento de software que auxilie no trabalho em grupo

Groupware(Sistemas Colaborativos)

CSCW x Groupware• CSCW

– área de pesquisa que busca entender a natureza e as características do trabalho cooperativo com o objetivo de projetar tecnologias computacionais adequadas

• Groupware– software para trabalho em grupo– investigação de algoritmos e arquiteturas para dar suporte a aplicações de trabalho em grupo

feedback

Classificação de serviços em função do espaço-tempo

I nte ra ções fa ce - a - fa ce

S a la d e re u n iã oFerram enta de B rains torm ing

I nte ra çõ es a ss íncrona sloca is

Q u a d ro d e a v is o sFerram enta de Pos t- I t Notes

I nte ra çõe s s íncrona s

T e le fo n eB ate- papo

V ideoconferência

I nte ra çõ es a ss íncrona sdis tr ibuída s

C o rre io tra d icio n a lCorreio e letrônico

Fórum

m esm o tem po(síncrono)

tem po diferente(ass íncrono)

m esm o lugar( local)

local diferente(distr ibuído)

TEMPO

ESPA ÇO

[DeSanctis e Gallupe, 1987]

Extensão no Espaço

Presencial Não-presencialVirtualmente presencial Localmente remota

Sentimento de presença crescente

Semelhante à presencial, apenas não exigindo que

usuários estejam fisicamentepróximos. Necessita de recursos para simular a

presença de participantes externos em tempo real.

Não simula a presença de usuários

externos, mas permite bom nível de interação

com eles, através docompartilhamento de espaços de trabalho,

por exemplo.

Nenhum sentimento

de presença(e-mail,

por exemplo).

RV / RA

Modelo 3C de Colaboração

COMUNICAÇÃO

COORDENAÇÃOCOOPERAÇÃO

com um + açãoAção de tornar com um

co + ordem + açãoAção de organizar

em conjunto

co + operar + açãoAção de operar

em conjunto

Comunicação

• ação de trocar mensagens para que haja entendimento comum das idéias discutidas

• troca de idéias e negociação tomada de decisão e compromissos

Coordenação

• Para o atendimento dos compromissos gerados pela Comunicação é necessário que haja Coordenação do trabalho

• As tarefas atribuídasaos participantes sãorealizadas na ordem eno tempo previstos e de acordo com os objetivos e restriçõesdeterminados

• Sem Coordenação,boa parte do esforçode Comunicação é perdido

Cooperação

• Produção conjunta dos membros do grupo no espaço compartilhado a fim de que as atividades possam ser realizadas

• Ao cooperarem, os participantes do grupo produzem, modificam e utilizam de maneira compartilhada um conjunto informações e artefatos reais ou virtuais

Percepção(awareness)

• Em CSCW, perceber é adquirir informação, por meio dos sentidos, do que está acontecendo e do que os colegas estão fazendo

• Informações de percepção auxiliam os indivíduos a avaliar o andamento do trabalho e redirecionar suas atividades, se necessário

• Serviços de comunicação– e-mail, lista de discussão, fórum, mensagem instantânea,

chat, áudio e vídeoconferência

• Serviços de coordenação– workflow, agenda compartilhada, sistemas de apoio à

reunião, sistemas de apoio à decisão, votação, avisos

• Serviços de cooperação– editores colaborativos, sistemas para controle de versões,

quadro branco, repositório para troca de arquivos

Classificação de serviços em função do modelo 3C

Classificação de serviços em função do modelo 3C

baseado em Borghoff e Schlichter (2000); Teufel et al. (1995)

• Alguns exemplos

Adoção de Groupware

• Massa crítica de usuários

• Exemplos bem-sucedidos: telefone, Web

Não adotam o groupwareAdotam o groupware

No de usuáriosN*

Groupware x RV/RA

• Apesar da crescente popularidade, sistemas colaborativos de RV e RA ainda apresentam uma série de desafios em seu desenvolvimento, por exemplo– processamento gráfico em tempo real – sincronização de visão entre usuários– integração com grandes bases de dados – segurança– estes temas não serão tratados

• Foco: análise dos ambientes de RV e RA segundo a ótica do modelo 3C

Ambientes Colaborativos de RV

• Collaborative Virtual Environment (CVE)– Simulação em tempo real de um mundo real ou

imaginário, onde usuários estão simultaneamente presentes e podem navegar e interagir com objetos e outros usuários [Hagsand 1996]

CVE = Realidade Virtual + Colaboração

CVEs: características

• Avatares– usuários são representados como objetos do

ambiente• Visão do estado atual

– mudança contínua em todos os aspectos: usuários entrando e saindo, movendo-se, mudando estado dos objetos etc.

CVEs: características

• CVEs para usuários remotos– são mais comuns, tanto para uso de forma síncrona

como assíncrona

• CVEs para usuários co-localizados– nos últimos anos, têm sido realizados trabalhos no

sentido de desenvolver ambientes “fisicamente compartilhados”

I nte ra çõe s fa ce - a - fa ce

sistem as de projeçãom ulti- usuár io ( I llusion Hole)

I nte ra çõe s a ss íncrona sloca is

I nte ra ções s íncrona s

C V E típ ico

I nte ra çõe s a ss íncrona sdis tr ibu ída s

C V E com m ensagem paraparticipantes ausentes

m esm o tem po(síncrono)

tem po diferente(assíncrono)

m esm o lugar( local)

local diferente(distr ibuído)

TEMPO

ESPA ÇO

CVE e o Modelo 3C

• Comunicação– CVEs voltados para Comunicação são plataformas de

interação social, onde os usuários normalmente se encontram casualmente e se comunicam

• Coordenação – dentre as 3 dimensões da colaboração, é a menos

explorada nos CVEs

• Cooperação– faz parte da própria natureza dos CVEs, que são

literalmente espaços de trabalho compartilhados

CVE e Comunicação

• Geralmente síncrona– chat, no caso de ambientes mais simples– áudio e vídeo-conferência, no caso de ambientes

mais sofisticados

• Comunicação não-verbal – gestos – expressões faciais – postura do avatar– aproximação

CVE e Comunicação

• Noção de espaço e metáfora de mundo real – oferece possibilidades de percepção que não são

triviais em aplicações de desktop– ex: movimentação dos avatares antecipa intenções

dos usuários e revela a expectativa que os demais usuários têm a seu respeito

• Exemplos– Active Worlds [2007] – FreeWalk

[Nakanishi et al. 2004]

Active Worlds

CVE e Coordenação

• Simulações militares e jogos multi-usuários são exemplos de CVEs usados para fins de coordenação

• Ex: SAVE [Holm et al. 2002]

CVE e Cooperação

• A Cooperação está sempre materializada no espaço virtual, onde ocorrem as interações entre os usuários

• CVEs estão mais próximos da representação do mundo real – noção de contexto compartilhado e percepção mútua

entre os usuários direciona ações futuras – representação dos avatares e recursos de visualização

no espaço 3D ampliam a capacidade de entender o que os outros usuários estão fazendo

CVE e Cooperação

• Ex: Walkinside Viewer [VRContext 2007]

CVE e Cooperação• Primeiro CVE que pode

chegar à massa crítica:

Second Life

• Algumas razões do sucesso:– CVE com boa edição de avatares

Second Life

• Algumas razões do sucesso:– Eficiente para as velocidades da Web

residencial– Busine$$

Second Life

• Algumas razões do sucesso:– De acordo com muitas “lições”de CSCW

• Bom suporte a awareness• Suporte ao contato informal (quem está por perto

e disponível? Devo contactar?)

Second Life

• Algumas razões do sucesso:– Mixed reality (virtualidade aumentada)

Second Life

• Outras razões do sucesso:– Reproduçao do mundo (quase) real ou

idealização do mundo real

RV: usuários co-localizados

• IllusionHole

RV: usuários co-localizados• Displays holográficos

Ambientes Colaborativos de RA

• Usuários colaboram com apoio de objetos virtuais misturados a seus ambientes reais

Ambientes Colaborativos de RA: características

• Natureza “sem cortes” da interface RA• Diferentes visões do espaço • Necessidade de garantir um entendimento

comum sobre o espaço compartilhado e de evitar “colisões”

• Os ambientes para usuários co-localizados são os mais comuns

• Vários ambientes fazem uso de computação móvel

• Uso de capacetes ou óculos do tipo vídeo-through impede que os usuários vejam os olhos uns dos outros

Ambientes Colaborativos de RA e o Modelo 3C

• Comunicação– dentre as 3 dimensões da colaboração, é a menos

explorada

• Coordenação – ocorre quando os objetos virtuais são utilizados para

orientar o usuário nas atividades do seu trabalho– serviços direcionados para a Coordenação em ambientes

de RA diferem dos serviços de coordenação típicos de desktops (workflow, agenda compartilhada,…)

• Cooperação– RA é, por definição, fortemente direcionada para a

apresentação e manipulação de objetos virtuais, prestando-se naturalmente ao compartilhamento destes objetos e, consequentemente, ao suporte à Cooperação

Ambientes Colaborativos de RA e Comunicação

• Nestes ambientes geralmente a comunicação é síncrona e não faz uso de objetos virtuais– quando usuários estão co-localizados, a comunicação

é realizada sem mediação do computador – quando usuários estão remotos, faz-se uso de áudio

e vídeo-conferência

• Comunicação com RA: usuários representados como objetos virtuais ou objetos virtuais que ofereçam suporte para a comunicação (ex: post-it)

Ambientes Colaborativos de RA e Comunicação

• Exemplos: filmes de ficção científica, Real World Conference AR Communication [Billinghurst et al 2002]

Real World Conference AR Communication

ficção

Ambientes Colaborativos de RA e Coordenação

• Serviços ou funcionalidades de coordenação usualmente são oferecidos em conjunto com outros serviços

• Objetos virtuais são utilizados para orientar e direcionar os usuários

• Uso de protocolo social através de comunicação direta ou vídeo e áudio-conferência

Ambientes Colaborativos de RA e Coordenação

• Exemplos: – OCAR - Outdoor Collaborative Augmented Reality

System [Feiner 2004]

– MARS - Mobile Augmented Reality System [Höllerer 1999]

MARS OCAR

Ambientes Colaborativos de RA e Cooperação

• Dimensão da colaboração mais explorada nos ambientes colaborativos de RA – usuários vêem-se uns aos outros ao mesmo tempo

em que interagem e compartilham objetos virtuais em meio a eles

– ex: The Invisible Train [Wagner et al 2006] Construct 3D [Kaufmann 2006]

• Predominância do sentido da visão– a maioria dos ambientes oferece o aumento do

sentido da visão em cenários síncronos co-localizados ou remotos

Ambientes Colaborativos de RA e Cooperação

• Visão dos objetos virtuais pelo grupo– todos vêem como se o objeto estivesse no mesmo

espaço físico ou– cada usuário vê o objeto através de tela de vídeo– usuários diferentes podem ter visões diferentes– com tecnologia de projeção, pode-se “apagar” um

objeto real

• Ambientes remotos, é preciso transmitir tanto as imagens reais e quanto as virtuais

Ambientes Colaborativos de RA e Cooperação

The Invisible

Train

Construct 3D

Vídeos• Ambientes Colaborativos de RA

Conclusão• O grande potencial dos ambientes colaborativos

de RV e RA está no suporte à cooperação • Ambientes colaborativos de RV também são

muito usados para prover suporte à comunicação• Interação no ambiente real ou através de

simulações de ambientes tridimensionais favorecem a percepção mútua e o compartilhamento de contexto, fatores importantes para que a colaboração se realize

Conclusão

• A tendência é que um grande número dos ambientes de Realidade Aumentada se tornem ambientes de Realidade Aumentada Ubíqua– Realidade Virtual e Computação Ubíqua, áreas

opostas na visão de Mark Weiser (1991), se aproximam com o uso de sistemas de Realidade Aumentada Ubíqua

• Com a possibilidade de mobilidade dos usuários, outra tendência dos ambientes de RV e RA é o das aplicações sensíveis à localização– Höllerer (1999): o mundo é a interface– Spohorer (1997): hipertexto/web ancorado no mundo

real (World Board)

Referências• Publicações referentes a esta apresentação

– Filippo, D., Raposo, A. B., Endler, M., Fuks,H. (2007) Ambientes Colaborativos de Realidade Virtual e Aumentada. em Realidade Virtual e Aumentada: Conceitos, Projetos e Aplicações. Claudio Kirner, Robson Siscoutto (Eds), capítulo 9, no prelo

– Filippo, D., Endler, M., Fuks,H. Colaboração Móvel com Realidade Aumentada. Monografias em Ciência da Computação n.01/05. PUC-Rio, jan.2005

• Referências desta apresentação– Active Worlds (2007) http://www.activeworlds.com/ Acesso em Jan/2007– Billinghurst, M. Cheok, A. Prince, S. Kato, H. (2002) Real world teleconferencing.

Computer Graphics and Applications, IEEE, v.22, n.6, Nov/Dez, ISSN: 0272-1716, pp 11-13

– Billinghurst, M. and Kato, H. (2002) Collaborative Augmented Reality. Communications of the ACM, Vol. 45, No. 7, July, ISSN:0001-0782, pp.64 – 70

– Borghoff, U.M.; Schlichter, J.H. (2000) Computer-Supported Cooperative Work: Introduction to Distributed Applications, Springer, USA.

– DeSanctis, G. e Gallupe, B. (1987) A foundation for the study of group decision support systems, Management Science, v. 33, n. 5, pp. 589-609

– Feiner, S.; Höllerer T.; Gagas, E.; Hallaway, D.; Terauchi T.; Güven, S.; MacIntyre B. MARS – Mobile Augmented Reality System. Disponível em: http://www1.cs.columbia.edu/graphics/projects/mars, Acesso em Jan/2007

– Fuks, H., Raposo, A. e Gerosa, M.A. (2002) Engenharia de Groupware: Desenvolvimento de Aplicações Colaborativas, XXI Jornada de Atualização em Informática, Anais do XXII Congresso da Sociedade Brasileira de Computação, v.2, Cap. 3, ISBN 85-88442-24-8, pp 89-128

Referências– Fuks, H., Gerosa, M.A. e Pimentel, M. (2003) Projeto de Comunicação em Groupware:

Desenvolvimento, Interface e Utilização, XXII Jornada de Atualização em Informática, Anais do XXIII Congresso da Sociedade Brasileira de Computação, v.2, cap. 7, ISBN 85-88442-59-0, pp. 295-338.

– Hagsand, O. (1996) Interactive Multiuser VEs in the DIVE System, IEEE Multimedia, 3(1):30-39. Spring

– Höllerer T.; Feiner S.; Terauchi T.; Rashid, G.; Hallaway, D. (1999) Exploring MARS: developing indoor and outdoor user interfaces to a mobile augmented reality system. In: Computers and Graphics, 23(6), Elsevier Publishers, p. 779-785, dezembro

– Holm, R., Priglinger, M. , Stauder, E., Volkert, J., Wagner. R. (2002) A Combined Immersive and Desktop Authoring Tool for Virtual Environments”. IEEE Virtual Reality 2002, USA, pp. 93-100.

– Kaufmann, H. (2006) The potential of augmented reality in dynamic geometry education, 12th International Conference On Geometry and Graphics (ISGG), Ago 6-10, Salvador, Brasil

– Nakanishi, H. (2004) FreeWalk: a social interaction platform for group behaviour in a virtual space. International Journal of Human-Computer Studies, v.60, n.4, April, pp. 421-454.

– Raposo, A. e Fuks, H. (2002) Defining Task Interdependencies and Coordination Mechanisms for Collaborative Systems. in: Blay- Fornarino, M., Pinna-Dery, A. M., Schmidt, K. & Zaraté, P.; Cooperative Systems Design (vol 74 of Frontiers in Artificial Intelligence and Applications), ISBN 1-58603-244-5 IOS Press, Amsterdam, pp 88-103

Referências– Second Life - www.secondlife.com– Spohrer, J. (1997) What comes after the WWW?. ISITalk 1997 Disponível em:

http://www.worldboard.org/pub/spohrer/wbconcept/default.html, Acesso em: 19.jan.2005– VRContext. Walkinside (2007) Visualization for the Industry. http://www.walkinside.com,

Acesso em Jan/2007– Wagner, D., Schmalstieg, D., Billinghurst, M.. (2006) Handheld AR for Collaborative

Edutainment. In Proceedings of the 16th International Conference on Artificial Reality and Telexistence (ICAT 2006), Nov, 29 – Dec,1, Hangzhou, China.

– Weiser M. (1991) The computer for the twenty-first century. Scientific American, pp. 94-100, Setembro