ambiente de realidade virtual imersivo para visualizac¸ao ... · a soluc¸` oes baseadas em rv de...

Ambiente de Realidade Virtual Imersivo para Visualizacao de Dados Biologicos

Paulo Roberto TrenhagoLaboratorio Nacional de Computacao Cientıfica - LNCC

Ministerio da Ciencia e Tecnologia - MCTAv. Getulio Vargas, 333, SL 1F-05

Petropolis - Rio de janeiro - RJ, [email protected]

Jauvane C. de OliveiraLaboratorio Nacional de Computacao Cientıfica - LNCC

Av. Getulio Vargas, 333, SL 2A-31Petropolis - Rio de janeiro - RJ, Brasil

[email protected]

Abstract

In this paper we describe a peculiar CAVE setup, whichhas much lower cost than traditional CAVEs, whilst main-taining the imersiveness sensation similar to those. We fur-ther describe some biological applications that we devel-oped for the CAVE, as well as the software infrastructureimplemented.

1. Introducao

Neste artigo propomos o desenvolvimento de com-ponentes logicos de controle para tornar operacional oAmbiente de Realidade Virtual Imersivo ( Cave AutomaticVirtual Environment) [11], montado no Laboratorio,e apresentar uma solucao para visualizacao de dadosbiologicos estruturais, incluindo os modelos relacionados amorfologia, modelos de proteınas e modelos de partıculasvirais. Proteınas e vırus nao podem ser visualizadosdiretamente porque seus tamanhos estao entre a escalananometrica e micrometrica, portanto estao fora do alcanceda visao humana natural. Estes sistemas biologicos pos-suem conformacoes tridimensionais complexas no espaco,alem de uma dinamica especıfica no tempo. Estes detalhesda estrutura tridimensional de uma proteına podem serexploradas como alvos para encaixe com outras moleculasque podem controlar sua atividade biologica, e assim novosmedicamentos podem ser desenvolvidos [6].

O ambiente CAVE e constituıdo de 4 paredes de

projecao: esquerda, frontal e direita com dimensoes de1,85 x 2,45 metros e piso com 1.38 x 1,85 metros, 8 pro-jetores DLP, filtros de polarizacao circular da luz, 4 es-pelhos, 5 computadores, 1 switch gigabit ethernet e umsistema para rastreamento de movimentos da cabeca e damao do usuario Ascension Nest of Birds [1]. Este ambientepode permitir aos pesquisadores e estudantes de biologiaa visualizacao tridimensional e estereoscopica, de modelosde sistemas biologicos, alem de permitir a imersao total dousuario na realidade virtual descrita pelos dados biologicos.A visualizacao de dados com recurso para estereoscopiapodem ser implementados utilizando-se monitores conven-cionais com alta taxa de atualizacao mas o grau de imersaovisual proporcionado ao usuario e comparativamente menordo que o sistema descrito neste trabalho, pois o tamanho dasimagens de um (ou dois) monitor(es) nao preenche todo ocampo de visao humano.

Ambientes de Realidade Virtual (RV) imersıveis degrande escala como CAVEs ( Cave Automatic Virtual En-vironment e RAVEs (Reconfigurable Virtual Environment),possuem um elevado custo de software, se comparadoa solucoes baseadas em RV de mesa ou mesmo as queutilizam dispositivos nao convencionais de imersao comoface/head mounted displays. O sistema de visualizacao de-senvolvido apresenta estereoscopia em cores a um custoinferior ao de uma solucao equivalente realizada com es-tereoscopia ativa, uma resolucao de aproximadamente 10pontos por polegada de imagem projetada, e foi implemen-tado de modo que Mundos Virtuais desenvolvidos em X3Dou VRML podem ser instanciado no sistema sem qualquermodificacao.

XII Symposium on Virtual and Augmented Reality Natal, RN, Brazil - May 2010

222

2. Materias e Metodos

2.1. Estrutura fısica do CAVE

O sistema fısico do CAVE foi projetado e construido pelaequipe de trabalho do nosso laboratorio. A disposicao dosprincipais componentes ao final da montagem esta ilustradapela Figura 1. Os numeros 1 a 8 referem-se ao projetores eos numeros 9 a 12 aos espelhos.

Figura 1. Planta baixa do CAVE: Disposicaodos componentes como telas de projecao,espelhos, usuario, projetores, emissor dotracker e computadores PCs.

Empregamos tres telas do tipo Stewart Disney Black paraprojecao por tras nas paredes, com 2,46 m de altura por 1,85m de largura e uma tela Silver Screen para projecao direta,no piso, de 1,85 m de largura por 1,38 m de altura. A carac-terıstica principal destas telas e a preservacao da polarizacaoda luz [7] que permite a separacao das imagens do olho es-querdo daquelas do olho direito, mediante o uso adequadode filtros oticos. O arranjo dos planos de projecao formadospelas telas esta ilustrado na Figura 2. Devido a restricao dealtura na sala de montagem do CAVE acarretou reducao nasuperficie util deste plano e alem disso tivemos que inclinaro plano a fim de diminuir as distorcoes.

Para a fixacao das telas construımos uma estrutura comtubos PVC rosqueaveis de uso comum em instalacoeshidraulicas residenciais, alem de uma base de madeira.

Utilizamos oito projetores de DLP NEC LT245 [2] comresolucao nativa DE 1024x768 pixels, frequencia verticalmaxima de 120Hz e brilho 2200 Lumens, nıvel de contrasteajustavel 2000:1 montados em suportes de alumınio e provi-dos de filtros oticos polarizadores. Este modelo de projetor

Figura 2. Arranjo espacial dos quatro planosde projecao do CAVE. Note a singularida natela do piso.

foi escolhido durante o projeto do CAVE, devido a aberturado feixe de luz o qual e suficiente para cobrir o espaco detela de projecao. Para permitir um ajuste fino dos feixes deluz dos projetores nas telas foram desenhados dois conjun-tos de suportes.

Quatro suportes em alumınio foram confeccionados paraacomodar dois projetores e dois filtros oticos cada. Os su-portes para os projetores referentes as telas da direita, centroe esquerda possuem a estrutura ilustrada na Figura 3. Paraa projecao na tela do piso os projetores foram fixados noteto como mostra a Figura 4. Tres conjuntos de projetorestiveram que ser montados na posicao vertical para melhoraproveitar a area util disponıvel.

Para cada parede de projecao sao sintetizadas, pelo sis-tema de renderizacao, duas imagens e projetadas ao mesmotempo, uma destinada ao olho esquerdo e outra destinadaao olho direito. O emprego de filtros oticos de polarizacaocircular garantem o correto enderecamento das imagens aosolhos e permite ao usuario a liberdade de inclinar a cabecasem prejuızo para as filtragens. Um filtro e montado juntoao projetor, e seu conjugado, no formato de um oculos, eposicionado proximo ao olho do usuario.

O espaco destinado a montagem do CAVE nao permi-tia o posicionamento dos projetores a uma distancia ade-quada das telas, obrigando-nos a utilizar espelhos, Figura 1.Entretanto para preservar a polarizacao circular da luz foinecessario empregar espelhos planos de metal polido mon-tados em suportes ajustaveis confeccionados em alumınio.A luz polarizada circular, ao ser refletida, sofre inversao nosentido de rotacao do vetor que descreve o campo eletrico[8]. Este fenomeno nao apresenta um problema e para a


223

Figura 3. Suporte dos projetores das telas docentro, da esquerda e da direita. Distanciasem mm.

Figura 4. Suporte dos projetores da tela dopiso, fixado no teto.

correcao simplesmente utilizamos pares de filtros conju-gados, isto e, para recuperar a imagem produzida por umfiltro de polarizacao circular direita usamos um filtro parapolarizacao esquerda. A Figura 1 tambem ilustra a posicaode cada espelho, indicados por 9, 10, 11 e 12.

Para otermos o desempenho desejado optamos pela mon-tagem de um cluster de cinco computadores interconecta-dos por uma rede gigabit. Os computadores possuem asseguintes configuracoes: processadores Intel Core 2 Quadde 3Ghz, 4 Gbytes de memoria RAM, placa de rede Gi-gabit Ethernet e duas placas graficas NVIDIA 9800 GTX+ligadas em SLI, Figura 5.

Figura 5. Estrutura computacional com mlti-plos projetores para o CAVE.

Os rastreadores de posicoes e orientacoes (Trackers)permitem monitorar a posicao e a orientacao de sensorescolocados no corpo de um usuario. Trackers tambem saochamados de dispositivos com 6-graus-de-liberdade, (6-degree-of-freedom 6-DOF) porque sao capazes de informara posicao referentes as coordenadas x, y, z, bem como ainclinacao referente a cada um dos eixos x, y, z em relacaoa um referencial fixo.

Quando um usuario desloca sua cabeca dentro do am-biente do CAVE um processo de correcao nas images deveocorrer. A Figura 6 ilustra o processo, se um usuario estiverna posicao P1 a imagem correspondente a renderizacao doobjeto arvore O e I1 e quando o ele se encontra na posicaoP2 a imagem deve estar na posicao I2.

Figura 6. Transformaes na imagem provo-cada pelo deslocamento do observador.


224

Outro detalhe importante da construcao e o correto ali-nhamento das imagens nas telas de projecao. Para ali-nhar os feixes de luz dos projetores as suas correspondentestelas, dois detalhes basicos foram respeitados. Alinhar demodo a preencher totalmente as telas com as imagens eajustar os eixos verticais e horizontais paralelamente. Autilizacao do recurso de keystone que permite posicionar oprojetor em angulo sobre a superfcie de projecao por meioda compressao em parte da imagem. entretanto, este re-curso provoca distorcao nas imagens e, devido ao desloca-mento no posicionamento entre os projetores de cada tela.A solucao encontrada foi posicionar as projecoes conformea Figura 7-c. Este arranjo provoca perda de resolucao, masevita as deformacoes nas imagens, apenas a intersecao entreas projecoes e utilizavel.

Figura 7. Alinhamento fısico das projecoes:(a) projecoes nao alinhadas; (b) eixos hor-izontais e verticais perpendiculares, alin-hamento parcial; (c) condicao final para o al-inhamento fısico.

2.2. Componentes de Software

O sistema para o controle de todos os processos rela-tivos a renderizacao dos mundos virtuais no CAVE segiu oparadigma da utilizacao de multiplas linguagens centrandono Extensible 3D Graphics (X3D)[9] . A Figura 8 ilus-tra os elementos logicos e suas relacoes para o CAVE.Os elementos estao organizados em uma estrutura de da-dos do tipo grafo, dividido em dois subgrafos com funcoesdistintas Engine e Scene. O player de X3D utlizadofoi o InstantReality[5] o qual tem suporte para sistemasdistribuıdos por meio de um componente chamado En-gine. Engine contem os elementos logicos que controlama renderizacao das imagens de modo coerente nas quatrotelas, gerando imagens do mundo virtual de quatro perspec-tivas distintas, alem do controle da comunicacao e o bal-anceamento de carga de processamento entre as maquinas,e do monitoramento da posicao do usuario dentro do ambi-ente. Todos os elementos constituintes do bloco Engine pre-

cisam completar suas respectivas tarefas a cada atualizacaoda imagem nas telas. O subgrafo Scene contem todosos elementos que nao sao necessarios para o controle derenderizacao e o player de X3D cria um processo separadopara seu processamento.

Figura 8. Componentes do software de con-trole para o CAVE, as linhas finas represen-tam os ROUTEs.

O sistema de projecao e formado por quatro servidoresde telas com resolucao de 2048x768 pixel cada e um clienteo qual controla todas as operacoes dos servidores. Toda aarquitetura e baseada no recurso de Clustering do Instant-Player atraves do no X3D ClusterWindow que permite es-tender a resolucao a 8192x768, Figura 9, e balancear a cargade renderizacao entre as maquinas quando necessario.

Figura 9. Arranjo das areas de telas dosservidores obtendo uma maior resolucao.

Uma condicao para que a estereoscopia funcione ade-quadamente e a correspondencia, pixel a pixel, dos pon-tos das duas imagem em cada tela de projecao. Para exe-cutar este alinhamento foi desenvolvido um programa em


225

Java que permite deslocar e redimensionar imagens padraopara alinhamento. Foram utilizadas duas imagens, umavermelha e outra verde, ambas com detalhes de linhasem preto, vide Figura 10-c. Quando estas duas imagensencontravam-se alinhadas formava-se uma imagem de coramarela com os detalhes apenas em preto. Segmentos deimagens vermelhas ou verdes indicavam divergencias entreos alinhamentos do par de projetores correspondente a umadas parede do CAVE.

Figura 10. Alinhamento das areas de ima-gens: (a) alinhamento e dimensionamentodas areas de imagens no espaco de tela dosservidores; (b) imagens projetadas nas pare-des do CAVE, ja com as posicoes individu-ais (esquerda e direita) para cada parede al-inhadas.

Os modelos de cameras e seus parametros sao crıticospara um sistema CAVE. Para entendermos melhor o mod-elo de camera usado devemos deixar claro a existencia dedois espacos: o espaco natural ou real onde o usuario eos componentes fısicos do CAVE estao presentes; o espacovirtual e uma entidade abstrata armazenada no computadoronde estao presentes objetos virtuais visıveis e nao visıveis,como por exemplo as cameras. O volume de visualizacao, oplano de projecao e o centro de projecao sao elementos domundo virtual definidos no modelo de camera, Figura 11,e possuem elementos correspondente no espaco real, porexemplo:o plano de projecao corresponde a tela e o cen-tro de projecao ao centro dos olhos. A Figura 11 ilustra aconfiguracao da camera estereo para o piso do CAVE, as

demais sao analogas.

Figura 11. Frustum 4 ajustado para a tela dopiso.

3. Resultados e Discussoes

Descrever de uma maneira efetiva os aspectos relativosaos resultados de um sistema que prove a imersao fısicae mental de um humano em um mundo virtual baseadoem texto e imagens e uma tarefa complexa. Ate mesmoa utilizacao de vıdeos nao se mostra adequado. O quepodemos fazer e apresentar os parametros tecnicos e car-acterısticas visuais que podem prejudicar a qualidade dasensacao de imersao do usuario, por exemplo: a resolucaodas imagens nas telas e diferencas de brilho. Os aspectostecnicos podem ser aferidos subjetivamente por fotos dasprojecoes nas telas, as quais constituem grande parte dosresultados aqui expostos.

3.1. Resolucao maxima por parede deprojecao

A resolucao nativa dos projetores empregados e de 1024pixels horizontais por 768 pixels vertical, 1024x768 pix-els. Para um melhor aproveitamento desta resolucao grafica,os seis projetores foram dispostos na posicao vertical, dev-ido as dimensoes das telas de projecao, altura maior que alargura (veja Figura 2). Pela Tabela 1 temos que o menorponto de imagem possıvel nas telas e da ordem de 3mm nasimagens geradas pelos projetores 1 a 6 e de 1,8 mm para osprojetores 7 e 8.

As perdas de resolucao sao devidas a dois fatores prin-cipais: os projetores nao tem o recursos de shift image, isto


226

Tabela 1. Densidade de pontos de imagemnas telas.

Densidade pixels/polegada (px/in)Proj. Parede/Olho Horizontal Vertical Perda1 Frente/E 9,679 8,632 25,0%2 Frente/D 9,734 8,622 24,7%3 Esquerda/D 8,911 8,828 29,4%4 Esquerda/E 8,938 8,838 29,1%5 Direita/E 9,130 9,127 25,2%6 Direita/D 9,185 9,127 24,7%7 Baixo/D 13,757 11,89 22,4%8 Baixo/E 13,757 12,327 13,7%

e, capacidade de deslocamento da imagem pelo menos nosentido vertical, sem provocar distorcoes e ao alinhamentofısico dos projetores em relacao as telas e entre eles. OAlinhamento logico corrige o alinhamento fısico entretantoprovoca perdas, veja Figura 10-a e b.

O resultado obtido de mais de 9 px/in e aceitavel secomparado ao custo de um CAVE com maior resolucao.No centro de Pesquisas em Bioinformatica de Calgary [3],4DBioinformatics, o qual possuem um CAVE tem uma den-sidade horizontal de 13,47 px/in e na vertical de 10,77 px/inuniforme nas quatro paredes.

Uma significante melhora na resolucao do sistema podeser alcancada com algumas medidas. Remontar o CAVEem uma sala maior afim de permitir acomodar melhor ossuportes de projetores e espelhos. Substituir os projetoresNEC LT245 pelos NEC XT5100/SX6000 ou por outros comrecursos similares. Estes projetores suportam resolucao daordem de 1600x1200 pixels, possuem deslocamento hori-zontal e vertical da imagem por meio de motores que podemser controlados via software, o que tornariam o processode alinhamento dos projetores mais preciso e elevando aresolucao para 18 px/in nas telas da esquerda, frontal e di-reita.

3.2. Brilho e Cor entre as Telas

A qualidade da sensacao de imersao depende tambemde um baixo desvio na intensidade do brilho entre as telas.Diferencas de luminosidade nas paredes de projecao con-fundem nossa visao e ajudam o cerebro a perceber anormal-idades rapidamente. Um correto ajuste de brilho entre telasnem sempre e possıvel e e um problema comum no desen-volvimento de sistemas deste tipo. Na Figura 12-a temos oresultado final do melhor ajuste de brilho para o CAVE por

nos obtido. A Figura 12-b deixa evidente que existe uma

(a) (b)

Figura 12. Diferencas de brilho e de cor nasquatro telas de projecao: (a) parede da es-querda apresenta um nıvel de brilho relativa-mente baixo; (b) tela do piso responde mel-hor a faixa do espectro correspondente aovermelho.

diferenca na tonalidade das cores na tela do piso. Este re-sultado e devido a natureza do material da tela do piso, quee diferente das demais. A distorcao de cor poderia ser re-duzida baixando-se o brilho e alterando-se as configuracoesde cores de todos os projetores. Entretanto estes dois proje-tores estao relativamente mais proximos a tela o que preju-dica o ajuste de cor. Na Figura 12, nao efetuamos nenhumtipo de ajuste de cor de modo que esta situacao e a extremapara o nosso sistema.

3.3. Sincronismo espacial

Usamos aqui o termo sincronismo espacial nao apenaspara nos referirmos as emendas de juncoes de imagens mastambem ao controle da paralaxe das juncoes de duas ima-gens. A Figura 13-a mostra um resultado para emendas decinco juncoes de imagens para o olho esquerdo, e a Figura13-b as cinco juncoes para o olho direito. Tambem podemosver estas emendas nas Figuras 12-a e 12-b.

3.4. Rastreamento da posicao da cabeca dousuario

A sequencia de imagens da Figuras 14 ilustra astransformacoes que ocorrem nas imagem para o olho es-querdo quando o usuario desloca a cabeca dentro do ambi-ente CAVE. Para uma melhor avaliacao da eficiencia desterecurso veja o vıdeo tracker.mov em anexo.


227

(a) (b)

Figura 13. Juncoes das imagens nas quatrotelas, emendas das imagens nas bordas dastelas: (a) emendas das imagens referentes aoolho esquerdo; (b) emendas das imagens ref-erentes ao olho direito.

(a) (b)

(c) (d)

Figura 14. Sequencia de imagens que ilus-tra as transformacoes nas projecoes em re-sposta ao movimento da cabeca do usuario:(a),(b),(c),(d) sao instantes de tempo distin-tos.

3.5. Visualizacao de dados Biologicos

A descricao geometrica em VRML de quatro tecidos docranio da Leptobrachella mjobergi que e uma especie deanfıbio da famılia Megophryidae foi utilizada para testespreliminares no ambiente CAVE. Para produzir um cenarioque possibilitasse alguma interacao do usuario com o mod-elo da larva como alterar transparencia dos componentes

e melhorar a navegacao foi adicionado ao VRML originalos nos IOSensor, NavigationInfo, ScreenTextOverlay, Scripte um novo no, chamado de HUD, foi desenvolvido paramostrar um painel com informacoes sobre a larva diante doobservador. A Figura 15 ilustra esta aplicacao.

Figura 15. Aplicacao para visualizacao da es-trutura morfologica do cranio de uma larva.

A visualizacao de proteınas e uma tarefa importante empesquisa biologica, e ja e efetuada em CAVEs ha algumtempo [13], [10], [12]. Desenvolvemos um programa querecupera o arquivo que descreve as posicoes dos atomosde proteınas, um arquivo PDB classico, converte medi-ante um componente de terceiros [4] em uma descricaogeometrica 3D no formato VRML apresentando o resultadoda renderizacao dentro do CAVE, Figura 16.

(a) (b)

(c) (d)

Figura 16. Exemplo de aplicacao:(a) menu deinteracao; (b) modelo de esferas e astes; (c)modelo no estilo ribbon e (d) modelo da su-perfıcie.


228

3.6. Conclusao

Ambientes de Realidade virtual Imersiveis ainda saoraros aqui no Brasil. O sistema apresentado neste artigopossui um custo relativamente mais baixo quando com-parado as arquiteturas classicas, o qual apresentou umaeconomia de 80%. Quanto a sensacao de imersao o nossoCAVE deixou muitos visitantes, academicos e da industria,impresionados com o desempenho.

Um grande desafio nao apenas na area de Biologiamas em todo o ambito da Modelagem Computacional e avisualizacao de grande quantidade de dados, seja prove-niente de sensores ou de simulacoes numericas. Arquivosda ordem de GBytes a TBytes, de altas dimensoes precisamser visualizados na sua totalidade sem perdas relevantes deinformacoes por humanos adaptados para ver em tres di-mensoes e com um campo de visao limitado. O CAVE de-scrito neste artigo representar um ponto de partida no desen-volvimento de uma infraestrutura para a criacao de aplica-tivos de visualizacao de grande escalas de dados.

Para finalizar, acreditamos que a renderizacao estere-oscopica colorida em ambiente imersıvos de modelos gera-dos a partir de animais e plantas, seja por cortes histologicosseriados ou equipamentos de aquisicao de imagem, podeser uma ferramenta valiosa aos biologos nos estudos deevolucao, fisiologia, paleontologia, embriologia e desen-volvimento de medicamentos.

Referencias

[1] ”ascension techology corporation”. http://www.ascension-tech.com/realtime/RTnestofBirds.php (acessado em20/06/2009).

[2] Nec portable projectors lt245 and lt265.http://www.necvisualsystems.com/cms/documents/ColorBrochures/NEC090450.pdf (Acessado em25/11/2008).

[3] Sun center of excellence for visual genomics.http://www.visualgenomics.ca/index.php?option=com content&task=view&id=120&Itemid=207 (acessado em02/03/2009).

[4] Ucsf chimera : an extensible molecular modeling system.http://www.cgl.ucsf.edu/chimera/ (Acessado 24/11/2008).

[5] instantreality, 2008. http://www.instantreality.de/home/(acessado em 24/11/2008).

[6] A. Anderson and Z. Weng. VRDD: Applying virtual real-ity visualization to protein docking and design. JOURNALOF MOLECULAR GRAPHICS MODELLING, 17(3-4):180,1999.

[7] M. Born and E. Wolf. Principles of Optics. CambridgeUniversity, 1999.

[8] C. Brosseau. Fundamentals of Polarized Light: A StatisticalOptics Approach. Wiley-Interscience, 1998.

[9] D. Brutzman and L. Daly. X3D EXTENSIBLE 3D GRAPH-ICS FOR WEB AUTHORS. Morgan Kaufmann, April 2007.

[10] C.-N. C., L. R., and B. P.A. Vibe: a virtual biomolecularenvironment for interactive molecular modeling. AppliedMathematics and Computation, 20:469–477, 1996.

[11] C. Cruz-Neira, D. J. Sandin, T. A. DeFanti, R. V. Kenyon,and J. C. Hart. The cave: audio visual experience automaticvirtual environment. Commun. ACM.

[12] M. Husak, C. Anthes, and P. Heinzlreiter. Mce-cave pro-gram for interactive visualization of electron density mapswithin the cave virtual-reality environment. Journal of Ap-plied Crystallography, 36(6):1484–1485, Dec 2003.

[13] J. N. Stromer, G. T. Quon, P. M. Gordon, A. L. Turinsky,and C. W. Sensen. Jabiru: harnessing java 3d behaviors fordevice and display portability. Computer Graphics and Ap-plications, IEEE, 25(2):70–80, March-April 2005.


229

ambiente de realidade virtual imersivo para visualizac¸ao ... · a soluc¸` oes baseadas em rv de...

Documents