FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO

Realidade Virtual para ReabilitaçãoNeurocognitiva

Abel Dantas

Mestrado Integrado em Engenharia Informática e Computação

Orientador: António Fernando Vasconcelos Cunha Castro Coelho (Doutor)

Co-orientadora: Artemisa Agostinha Monteiro da Rocha Dores (Doutora)

Julho de 2013

Realidade Virtual para Reabilitação Neurocognitiva

Abel Dantas

Mestrado Integrado em Engenharia Informática e Computação

Aprovado em provas públicas pelo júri:

Presidente: Nuno Honório Rodrigues Flores (Doutor)

Vogal Externo: Leonel Morgado (Doutor)

Orientador: António Fernando Vasconcelos Cunha Castro Coelho (Doutor)

Julho de 2013

Resumo

A inovação nas tecnologias de informação (TI) está a contribuir para uma abordagempersonalizada e integrada na área da saúde. O aumento do rácio entre pacientes e terapeu-tas a partir do século XX e a emergência das TI pavimentou o caminho para uma relaçãoprofícua entre estas e a área da saúde.

No contexto da reabilitação neurocognitiva, a Realidade Virtual tem vindo a ser utili-zada no tratamento de pessoas com défice nas funções cognitivas, nomeadamente por viade Jogos Sérios. Tipicamente o paciente, fruto de Traumatismo Cranio-Encefálico (TCE)e/ou doenças neurológicas, sofre de défice cognitivo ao nível das funções executivas, vi-suoespaciais, da atenção e/ou da memória. A imersão do paciente num ambiente queemula a realidade pode reduzir custos e proporcionar um ambiente seguro para o treinode atividades de reabilitação que normalmente exigiriam a presença de um terapeuta oupelo menos melhorar a diversidade de exercícios disponibilizados na sua presença.

No âmbito desta Dissertação foi desenvolvido um Jogo Sério em que o paciente éimerso num ambiente onde realiza atividades do quotidiano. A progressão é feita atravésde níveis de crescente dificuldade, onde o paciente realiza uma planificação de atividadesque, de seguida, deve executar.

Este projeto decorre de outro previamente desenvolvido, um módulo Cidade Virtualonde o paciente planifica e realiza atividades do dia a dia numa cidade 3D com recurso atransportes públicos e onde é possível a re-configuração de parâmetros que direcionam ajogabilidade.

Os objetivos deste projeto são implementar o módulo Cidade Virtual, incorporar mé-todos de avaliação de desempenho do paciente e avaliar a usabilidade tanto ao nível dosperiféricos como ao nível da interface gráfica. Espera-se que o protótipo desenvolvidoconstitua uma plataforma de Realidade Virtual para efeitos de reabilitação neurocogni-tiva.

Palavras-chave: Reabilitação neurocognitiva, Jogos Sérios, Realidade Virtual

1

2

Abstract

Innovation in Information Technologies (IT) is evolving to a personalized integratedapproach on healthcare. The rise of patient / therapist ratio since the 20th century and theemergence of IT has paved the way for a fruitful relationship between these and health-care.

In the context of neurocognitive rehabilitation, Virtual Reality is being used to helppeople with impaired cognitive functions, namely through Serious Games. Commonly thepatient, who has suffered Traumatic Brain Injury (TBI) or has some neurological disorder,has limited executive, visuospatial, attention or memory functions. The immersion of thepatient in an environment that mimics reality can reduce costs and provide a safe settingfor performing activities that would generally require the presence of a therapist or at leastan higher diversity of exercises.

In the scope of this Dissertation a Serious Game was produced, where the patient isimmersed in an environment where he can carry out activities of daily life. Progressionis assured through levels of increasing difficulty, where the patient must first arrange andsecondly perform a set of activities.

This project is based on a Virtual City module where the patient plans and undertakesdaily activities in a 3D city, navigating the city recurring to public transportation. In thisproject it is possible to reconfigure the gameplay.

The objectives of this project is to implement the Virtual City, devise methods to assessthe performance of the patient and evaluate the usability both to the level of peripheralsand graphical interface. It is expected that the prototype will work as a Virtual Realityplatform for neurocognitive rehabilitation.

Keywords: Cognitive Rehabilitation, Serious Games, Virtual Reality

3

4

Conteúdo

1 Introdução 11.1 Enquadramento e Motivação . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Descrição do Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.4 Resultados Esperados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.5 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.6 Estrutura do Documento . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Jogos 52.1 Indústria dos Videojogos . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 Jogos Sérios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.3 Jogos Sérios na Reabilitação . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3.1 Abordagem Tradicional . . . . . . . . . . . . . . . . . . . . . . 82.3.2 PESCO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82.3.3 PREVIRNEC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.3.4 Virtual Life Skills . . . . . . . . . . . . . . . . . . . . . . . . . . 102.3.5 Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3 Ferramentas 133.1 Motores de Jogo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133.2 NeoAxis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153.3 Unity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163.4 Periféricos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.4.1 Dispositivos de entrada . . . . . . . . . . . . . . . . . . . . . . . 183.4.2 Dispositivos de saída . . . . . . . . . . . . . . . . . . . . . . . . 20

3.5 Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4 Cidade Virtual 234.1 Conceitos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234.2 Mecânica do Jogo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244.3 Arquitetura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.3.1 Base de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.4 Jogabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.4.1 Picking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274.4.2 Métricas de Performance . . . . . . . . . . . . . . . . . . . . . . 274.4.3 Sistema de autocarros . . . . . . . . . . . . . . . . . . . . . . . 274.4.4 Cálculo do percurso mais rápido . . . . . . . . . . . . . . . . . . 28

5

CONTEÚDO

4.4.5 Modos de interface . . . . . . . . . . . . . . . . . . . . . . . . . 284.4.6 Iluminação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284.4.7 Sons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.4.8 Monobehaviours e Gameobjects . . . . . . . . . . . . . . . . . . 30

4.5 Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

5 Interface Gráfica 335.1 Modos de interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

5.1.1 Implementação . . . . . . . . . . . . . . . . . . . . . . . . . . . 345.2 Botões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5.2.1 Implementação . . . . . . . . . . . . . . . . . . . . . . . . . . . 365.3 Menus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

5.3.1 Implementação . . . . . . . . . . . . . . . . . . . . . . . . . . . 375.4 Cursores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.4.1 Interação com os edifícios . . . . . . . . . . . . . . . . . . . . . 375.5 Fontes e Legibilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385.6 Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

6 Avaliação de Usabilidade 416.1 Controladores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416.2 Interface Gráfica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426.3 Perfil dos Participantes . . . . . . . . . . . . . . . . . . . . . . . . . . . 436.4 Testes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

6.4.1 Estrutura dos Níveis de Teste . . . . . . . . . . . . . . . . . . . . 446.4.2 Dados a recolher . . . . . . . . . . . . . . . . . . . . . . . . . . 446.4.3 Questionário . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

6.5 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456.5.1 Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

7 Conclusão e Trabalho Futuro 47

Referências 49

A Anexos da Cidade Virtual 55

B Questionário SUS 59

C Gráficos de análise de dados 61

6

Lista de Figuras

2.1 Pergunta de uma bateria de testes WAIS, a resposta é 1/3/6. . . . . . . . . 82.2 Sistema de configuração da PREVIRNEC, extraido de [TGF+98] . . . . . 92.3 Exercício onde o paciente deve regular a temperatura do fogão, extraído

de [TGF+98] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.4 Módulos do Virtal Life Skills [Bro98] . . . . . . . . . . . . . . . . . . . 11

3.1 Arquitetura de um motor de jogo modular com networking, adaptado de[LJ02] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2 Scene graph que representa parte do sistema solar, adaptado de [Hom] . . 143.3 Organização das entidades do protótipo desenvolvido numa estrutura de

scene graph. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153.4 Joystick com três graus de liberdade e com controlador de POV . . . . . . 183.5 Movimentos num rato 3D, adaptado de [3Dc] . . . . . . . . . . . . . . . 203.6 Síntese de uma imagem estereoscópica num sistema de polarização de

imagem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.1 Planta bidimensional da Cidade Virtual, cores representam lotes diferentes 244.2 Menu de planeamento relativo ao quarto nível, com limite temporal. . . . 254.3 Diagrama de pacotes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.4 Screenshot antes das otimizações de luminosidade. . . . . . . . . . . . . 294.5 Screenshot depois das otimizações de luminosidade. . . . . . . . . . . . . 294.6 Screenshot onde é visível o nevoeiro. . . . . . . . . . . . . . . . . . . . . 30

5.1 Botões relativos aos patamares. . . . . . . . . . . . . . . . . . . . . . . . 355.2 Cursor de navegação, seleção e interação, respetivamente. . . . . . . . . . 38

6.1 Diagrama das preferências dos participantes, azul representa a preferênciado joystick enquanto vermelho representa a preferência do teclado e rato. . 45

A.1 Diagrama de Fluxo de atividades da Cidade Virtual, adaptado de [Mir12] 56A.2 Arquitetura da Base de Dados, extraído de [Mir12] . . . . . . . . . . . . 57A.3 Arquitetura da Base de Dados - Autocarros, extraído de [Mir12] . . . . . 57

B.1 Questionário apresentado aos participantes. . . . . . . . . . . . . . . . . 60

C.1 Preferência de interface de acordo com a experiência de interação comcomputadores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

C.2 Preferência de interface de dois grupos etários de igual distribuição. . . . 62C.3 Preferência de interface dos dois sexos. . . . . . . . . . . . . . . . . . . 63

7

LISTA DE FIGURAS

C.4 Comparação dos valores médios das métricas de performance de acordocom a experiência de interação com computadores. . . . . . . . . . . . . 64

C.5 Comparação dos valores médios das métricas de performance em doisgrupos etários de igual distribuição. . . . . . . . . . . . . . . . . . . . . 65

C.6 Comparação dos valores médios das métricas de performance por sexo. . 66C.7 Comparação dos tempos médios de cada fase de acordo com a experiência

de interação com computadores. . . . . . . . . . . . . . . . . . . . . . . 67C.8 Comparação dos tempos médios de cada fase em dois grupos etários de

igual distribuição. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68C.9 Comparação dos tempos médios de cada fase por sexo. . . . . . . . . . . 69

8

Lista de Tabelas

2.1 Análise do Estado da Arte e comparação com o projeto foco desta Disser-tação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

9

LISTA DE TABELAS

10

Abreviaturas e Símbolos

AVD Atividades de Vida DiáriaLCA Lesão Cerebral AdquiridaTCE Traumatismo Cranio-EncefálicoIT Tecnologias da InformaçãoAVE Acidentes Vasculares EncefálicosWAIS Escala de Inteligência Wechsler para AdultosIDE Ambiente de Desenvolvimento IntegradoAPI Interface de Programação de AplicaçõesWYSIWYG What You See Is What You GetHDR High Dynamic RangePOV Point of ViewLCS Liquid Crystal ShutterLCD Liquid Crystal DisplayFOV Field of Vision, Campo de VisãoSDK Software Development Kit, Kit de Desenvolvimento de SoftwareFPP First-Person Perspective, Perspetiva de Primeira PessoaGUI Graphical User Interface, Interface Gráfico de UtilizadorCSV Comma Separated ValuesSUS System Usability Scale

11

ABREVIATURAS E SÍMBOLOS

12

Capítulo 1

Introdução

1.1 Enquadramento e Motivação

Nos países industrializados verifica-se uma elevada incidência de lesões cerebrais[RBR05]. Estas podem ser fruto de uma doença congénita ou anomalia genética, casocontrário, se forem adquiridas após o nascimento denominam-se Lesões Cerebrais Ad-quiridas (LCA). Neste caso as causas são variadas, nomeadamente Traumatismos Cranio-Encefálicos (TCE) e Acidentes Vasculares Encefálicos (AVE).

As LCA são uma das principais causas de morte ou incapacidade de desempenhar ta-refas essenciais para assegurar autonomia e independência nas atividades de vida diária(AVD) [DMC+12]. Os TCE ocorrem com especial frequência em jovens adultos, comoconsequência de acidentes de viação ou de trabalho. Independentemente da causa, estaslesões provocam frequentemente dificuldades em todas as áreas da vida e sequelas mui-tas vezes permanentes de ordem física, cognitiva, emocional, psicossocial e vocacional[SLPJ95, LHL04]. As sequelas de longa duração são de tal ordem que se verificam altastaxas de desemprego(40%-50%) e isolamento social (50%-60%) [HGVD00].

Devido aos avanços da tecnologia e das técnicas médicas, a mortalidade por via destaslesões diminuiu [SLPJ95], o que significa que frequentemente os pacientes são subme-tidos a um processo de reabilitação. A reabilitação neurocognitiva pretende avaliar eestimular os sujeitos com LCA de forma a melhorar a sua qualidade de vida e minimizaro impacto deste flagelo a nível social.

A avaliação neuropsicológica envolve a utilização de testes neuropsicológicos, comopor exemplo, a Escala de Inteligência Wechsler para Adultos (WAIS), que é uma bateriade testes que afere a capacidade do paciente agir, pensar e de se relacionar eficazmentecom o ambiente [Wec39]. No entanto, está documentado que o bom desempenho em

1

Introdução

testes neuropsicológicos não implica um igual nível de funcionamento no que diz res-peito à execução de tarefas do quotidiano em contexto real, no que concerne às funçõesexecutivas [HW05].

Outro método baseia-se no acompanhamento do paciente num contexto real, no en-tanto, esta abordagem apresenta vários fatores limitativos, tal como o caso de a proficiên-cia física do paciente não o permitir, a necessidade de alocação exclusiva de um terapeutapara acompanhamento in loco e as ameaças do contexto real à integridade do paciente.Dada a natureza das limitações cognitivas, e por vezes também físicas, a adaptação dosexercícios ao perfil e à evolução do paciente é indispensável para evitar a sua desmotiva-ção, o que não é possível no formato "papel e lápis". De facto, a motivação do paciente éum elemento essencial para o desenrolar do processo de reabilitação e fator determinanteno sucesso da integração social.

Deste modo, o contexto da reabilitação justifica a incorporação de métodos e ferra-mentas inovadoras para que o acompanhamento abranja uma maior parcela da população,se possível de uma forma mais personalizada, uma vez que se verifica uma elevada espe-cificidade nos problemas de cada paciente.

A evolução tecnológica testemunhada nas últimas décadas permite que hoje seja pos-sível aplicar Realidade Virtual ao campo da reabilitação [DCB+11b]. É possível desen-volver um ambiente onde o paciente é estimulado e avaliado sem os custos e riscos asso-ciados com as mesmas atividades no mundo real. Os pacientes podem ainda beneficiarcom o facto dos ambientes puderem ser desenhados de acordo com as especificidades dassuas patologias e evolução durante o processo de intervenção.

As tecnologias de informação têm assim o potencial de transformar continuamentea área da saúde. A indústria dos videojogos mostrou que é possível envolver pessoasna resolução de tarefas intelectualmente complexas de uma forma aprazível. Num JogoSério aplicam-se o mesmo tipo de ferramentas com finalidades além do entretenimento.[MOJ11]

Este projeto visa o apoio à reabilitação de pessoas com LCA, com recurso aos JogosSérios e à Realidade Virtual. Pretende-se a imersão do paciente num ambiente que emulaa realidade, permitindo o acompanhamento de profissionais no decorrer de atividadesdo quotidiano. Foi desenvolvido, no decorrer desta Dissertação um protótipo com estafinalidade.

1.2 Descrição do Problema

O problema consiste no desenvolvimento de uma ferramenta que simultaneamentemotive os pacientes para o processo de reabilitação, colmate a necessidade de feedback eadapte desafios de acordo com a situação clínica, perfil e evolução do paciente. Adicio-nalmente é importante que esta ferramenta tenha uma interface gráfica e física ajustada às

2

Introdução

necessidades dos pacientes e possibilite uma terapia remota (i.e., os pacientes realizam assuas sessões em casa, sendo os dados acessíveis aos terapeutas). Ao nível da implemen-tação, este projeto assenta sobre outro previamente desenvolvido: O projeto de mestrado“Jogo Sério para a Reabilitação Neurocognitiva: Cidade Virtual” [Mir12] neste foi desen-volvido, em Unity, um ambiente 3D relativo à cidade de Gaia e do Porto. Outro projetodesenvolvido neste âmbito foi um Supermercado Virtual [DCB+11a], implementado emNeoaxis, mas que nesta fase de desenvolvimento não foi integrado na Cidade Virtual.

1.3 Objetivos

O objetivo principal deste projeto é o desenvolvimento de um Jogo Sério (ambientede realidade virtual) de apoio à reabilitação neurocognitiva.

Em termos de implementação tomou-se como base o projeto Cidade Virtual, sobre oqual se realizaram melhoramentos e otimizações, nomeadamente a inclusão de patamares(conjuntos de níveis, com requisitos semelhantes e grau de dificuldade crescente), me-lhor articulação do sistema de transportes ao nível da base de dados e melhoramento dainterface gráfica e física.

Procedeu-se ao desenvolvimento de métodos de avaliação de desempenho do utiliza-dor com base na sua prestação no Jogo Sério (i.e. estatísticas da prestação nos níveis, porexemplo, o quão rápido foi o jogador na execução do nível em relação ao mínimo tempopossível no patamar de “Horário de Funcionamento”). Com esta funcionalidade espera-seque a informação relativa ao desempenho venha a estar acessível ao terapeuta para queeste tenha conhecimento da evolução do utilizador ao longo das várias sessões.

Outro desafio deste projeto é o estudo de periféricos que aumentem o grau de imersãodo utilizador (por exemplo, monitores 3D) e que facilitem a interação com o jogo (porexemplo, ratos 3D, joystick), dado que muitas vezes os utilizadores poderão ter dificulda-des em utilizar os equipamentos tradicionais.

1.4 Resultados Esperados

Nesta Dissertação foi desenvolvido um protótipo de um jogo sério de apoio à rea-bilitação neurocognitiva adaptado à realidade portuguesa e segundo os objetivos acimaidentificados. Adicionalmente realizaram-se testes de usabilidade ao nível da interfacegráfica e dos periféricos para validar o sistema desenvolvido.

Assim a nossa contribuição neste projeto será ao nível da construção de uma ferra-menta terapêutica que aumentará a eficácia das práticas clínicas e a análise da usabilidadeda solução desenvolvida, estabelecendo um conjunto de regras ou princípios para o de-senvolvimento de aplicações informáticas para este tipo de pacientes.

3

Introdução

1.5 Metodologia

A metodologia adotada iniciou-se pela pesquisa do estado da arte, foram estudados ostrabalhos relacionados para caracterizar o domínio do projeto e identificar falhas e déficesa serem colmatados. Adicionalmente foram identificadas as tecnologias e ferramentasúteis ao contexto do desenvolvimento do projeto (parte significativa deste documento).

Numa segunda fase procedeu-se à fase de implementação, teste e avaliação do protó-tipo de uma forma iterativa e incremental. Os requisitos funcionais foram documentadosem casos de uso que foram gradualmente validados no sistema. Por último, procedeu-sea testes e elaboração deste documento.

1.6 Estrutura do Documento

O presente documento está dividido em seis capítulos: Introdução, Jogos, Ferramen-tas, Cidade Virtual, Interface Gráfica, Avaliação de Usabilidade, Conclusão e TrabalhoFuturo.

A Introdução contextualiza e define sumariamente o problema. O capítulo Jogos con-textualiza os Jogos Sérios no domínio da reabilitação neurocognitiva e apresenta algunsexemplos de trabalhos relacionados. No capítulo Ferramentas identificam-se e comparam-se as ferramentas mais adequadas ao desenvolvimento deste projeto. No capítulo CidadeVirtual, expõem-se sumariamente as características do protótipo. De seguida explora-sea Interface Gráfica e realiza-se a Avaliação de Usabilidade do sistema desenvolvido. Porfim temos a Conclusão e Trabalho Futuro.

4

Capítulo 2

Jogos

Um jogo é baseado num conjunto de regras onde é possível quantificar o esforçodo jogador. Através de um conjunto de desafios, este fica emocionalmente afeiçoadoao resultado do seu esforço na tentativa de atingir a vitória. Os jogos apelam à esferaneuropsicológica, sociocognitiva e cultural, possivelmente devido à aptidão evolutiva doHomem para interagir competitivamente [Jul05].

2.1 Indústria dos Videojogos

“...specific kind of digital entertainment in which the gamer interacts with adigital interface and is faced with challenges of different kinds.”[ZW12]

A indústria dos videojogos catapultou o desenvolvimento de mais e melhores equipa-mentos e ferramentas, de tal forma que hoje estão disponíveis de forma generalizada ea preços acessíveis. Adicionalmente esta indústria tornou popular diversas tecnologiasque hoje podem fácilmente ser aplicadas a Jogos Sérios. O sucesso da indústria dos vi-deojogos é inegável, em 2011 ultrapassou os 48 mil milhões de euros, ultrapassando aindústria do cinema [Reu11]. No entanto, não basta o avanço tecnológico, é necessáriouma orientação cultural e económica que permita a difusão das novas tecnologias.

2.2 Jogos Sérios

Jogos Sérios são jogos cujo propósito se estende para lá do mero entretenimento. Autilização de Jogos pode ocorrer nas mais variadas áreas, por exemplo, treino militar,educação, saúde e formação empresarial [SJB07]. Uma das vantagens dos Jogos Sériosé ser possível reproduzir uma experiência sem o custo e limitações relacionadas com omundo real (e.g., segurança, orçamento, tempo) [Cor06]. De acordo com um estudo de

5

Jogos

mercado recente [Res10] o setor dos Jogos Sérios tem boas perspetivas de crescimento,assegurando atualmente lucros anuais que rondam os 1.5 mil milhões de euros, com umcrescimento anual até 2015 de 47%.

Os Jogos Sérios podem contribuir para o desenvolvimento de diferentes tipos de ap-tidões, como as capacidades analíticas, espaciais, estratégicas, aumentar a perspicácia,memória, proficiência psicomotora, atenção visual seletiva, aliviar o stress e aumentara motivação para a aprendizagem [MSS04]. Este último fator é devido à aprendizagemdecorrer num contexto que é significativo para o jogador. O jogador está de tal formaenvolvido emocionalmente com as circunstâncias do jogo que a aprendizagem é maiseficaz.

As vantagens da aplicação dos Jogos à formação e à área da saúde, documentadas porEnochsson et al. [EIT+04] foram aferidas através de uma experiência que relaciona aaptidão para videojogos com simulações de endoscopia em alunos de medicina. Os alu-nos mais experientes em jogos obtiveram melhores resultados, especialmente no que dizrespeito à perceção tridimensional. Um estudo realizado por Hong e Liu [HL03] comparajogadores casuais com experientes e revela que os últimos têm maior tendência para re-solver problemas de forma analítica, enquanto os jogadores casuais são mais propensos arecorrer ao método de tentativa e erro.

Os Jogos Sérios para uso militar são tipicamente simulações de combate, operação dehelicópteros, tanques, treino individual e em grupo. Um exemplo notável é o jogo Ame-rica’s Army, desenvolvido pelo Exército dos Estados Unidos da América, do tipo FirstPerson Shooter (FPS), em que o jogador está imerso num ambiente altamente realista edeve coordenar-se com os outros elementos do seu esquadrão para levar a cabo missõesde índole militar [Arm]. Nestes jogos os jogadores treinam a coordenação visuomotora eespacial, a capacidade de realizar várias tarefas simultaneamente (multitasking), compe-tências de trabalho em equipa com comunicação reduzida e proatividade [MC06].

No meio empresarial os Jogos Sérios são essencialmente para treino profissional. Po-dem ser muito específicos dependendo da atividade da empresa. Estas aplicações podemajudar quando a atividade da empresa é complexa e dinâmica, como é o caso da aplica-ção Virtual Training Bank uma ferramenta de análise financeira e gestão de risco. NesteJogo Sério os registos do banco virtual têm pistas de atividade fraudulenta, o jogador deveentrevistar o pessoal, examinar os registos e seguir o capital até à fonte [Gam].

Existem também aplicações de Jogos Sérios no domínio da educação, no entanto asua utilização ainda não é generalizada, principalmente devido a atrito institucional, li-mitação de recursos (nem todas as escolas possuem computadores aptos para todos osalunos e professores se familiarizarem com os jogos) e falta de métodos para determinara relevância de um jogo para a área de aprendizagem [SUFR06].

Finalmente quanto aos Jogos Sérios na área da saúde, estes estão a popularizar-serapidamente, principalmente devido à vasta gama de aplicações [SJB07], nomeadamente:

6

Jogos

• Treino de profissionais de saúde, por exemplo, simuladores de cirurgia.

• Jogos que motivam o exercício físico. Várias consolas de nova geração possuemtítulos e equipamentos direcionados para este tipo de atividade (e.g. Wii Fit [Ninb]).

• Rastreio e diagnóstico de doenças do foro psicológico/psiquiátrico, por exemplo,perturbação de stress pós traumático em veteranos de guerra.

• Educação orientada à saúde, por exemplo, aplicações que ensinam a ter melhoreshábitos alimentares.

• Terapia de distração, por exemplo, ajudando doentes crónicos a alhearem-se de tra-tamentos desagradáveis.

• Reabilitação, tanto ao nível das funções motoras como cognitivas. Novas aplica-ções podem acompanhar sessões de terapia convencionais no sentido de acelerar oprocesso de recuperação.

2.3 Jogos Sérios na Reabilitação

A utilização de Jogos Sérios no contexto da reabilitação apresenta diversas vantagens.Por vezes a natureza da aplicação permite que o paciente possa continuar a terapia emcasa; permite a configuração para melhor adequação à situação e perfil do paciente; ge-rir dinamicamente o tipo de desafios a propor ao paciente, maximizando o seu sucessoe motivação; disponibilizar informações pertinentes sobre o rendimento do paciente aoterapeuta [CPLC03].

As primeiras aplicações para apoio à reabilitação neurocognitiva foram adaptações detestes neuropsicológicos [DCG+09]. Mais tarde evoluíram para aplicações de RealidadeVirtual, geralmente com motores gráficos 3D e periféricos adaptados às necessidades doutilizador, simulando a presença física deste num determinado Ambiente Virtual (AV).Estas aplicações são utilizadas no tratamento de um variado leque de perturbações do foropsicológico/psiquiátrico como por exemplo ansiedade, fobias, perturbações obsessivo-compulsivas, autismo, esquizofrenia e parkinson [Men10].

Quanto às funções executivas (envolvem planeamento, regulação e verificação deações), que frequentemente ficam afetadas em pacientes com LCA, o contacto com umAV permite detetar défices de forma mais eficaz que os testes neuropsicológicos tradicio-nais e desenvolver intervenções de reabilitação.[SHR02]

Nesta secção são apresentados trabalhos relacionados com esta área, ou seja aplica-ções ou ferramentas atualmente utilizadas na reabilitação neurocognitiva.

7

Jogos

Figura 2.1: Pergunta de uma bateria de testes WAIS, a resposta é 1/3/6.

2.3.1 Abordagem Tradicional

Apesar de não se tratar de um Jogo Sério, importa mencionar a abordagem tradicional,para que possamos traçar paralelos entre esta e a aplicação a desenvolver.

Uma das abordagens é o uso de testes neuropsicológicos, para avaliação do funcio-namento cognitivo, como é o caso da escala Wechsler Adult Intelligence Scale (WAIS),em que o paciente desempenha um conjunto de tarefas, responde a perguntas de culturageral, problemas aritméticos, testes de vocabulário e ordenação e interpretação de figuras[Wec58]. A Figura 2.1 é um exemplo de uma pergunta de um teste WAIS.

2.3.2 PESCO

A PESCO (Plataforma de Estimulação Cognitiva) é um projeto desenvolvido por umgrupo de investigadores da Universidade de Granada. A aplicação é constituída por umconjunto de exercícios que o paciente deve realizar em sessões de 40 minutos, num totalde 12 sessões [Gua].

É feita uma avaliação antes e depois dos exercícios de estimulação. Os exercíciostreinam as funções afetadas e são dinamicamente ajustados no decorrer das sessões. Trei-nam a memória de curto e longo prazo, de trabalho e visual, capacidades de planificaçãoe atenção. A execução dos exercícios é realizada exclusivamente ao nível mental, semrecurso a nenhuma ajuda externa (e.g. anotação em papel). A aplicação funciona emambiente Linux e é gratuita. Está em espanhol e preparada para interfaces táteis.

8

Jogos

Figura 2.2: Sistema de configuração da PREVIRNEC, extraido de [TGF+98]

Se compararmos esta plataforma com o sistema que se espera deste projeto, verifi-camos que não é um sistema distribuído (não permite terapia em casa), não tem umacomponente imersiva e tem algum grau de adaptação à evolução do paciente.

2.3.3 PREVIRNEC

PREVIRNEC (Plataforma de Telereabilitação Neuropsicológica) é um sistema distri-buído de telereabilitação cognitiva open-source baseada em AVs [TGF+98], Figura 2.2.Este sistema é constituído por um conjunto de exercícios 2D e 3D que são altamenteparametrizáveis por terapeutas, permitindo grande personalização e intensidade dos exer-cícios. Os pacientes podem realizar a reabilitação a partir de casa. De acordo com asmétricas de performance o sistema reajusta a dificuldade dos exercícios.

A principal vantagem deste sistema em relação a outros é o seu grau de configuração,os neuropsicólogos podem alterar o sistema a muitos níveis. Os terapeutas acedem a umaaplicação web, desenvolvida em Java e com recurso a Ajax, onde podem aceder ao histó-rico dos pacientes, aos programas de reabilitação e aos seus resultados. Adicionalmenteé possível definir os exercícios de reabilitação a serem executados e o respetivo intervalo

9

Jogos

Figura 2.3: Exercício onde o paciente deve regular a temperatura do fogão, extraído de [TGF+98]

de tempo. A partir desta configuração inicial, o sistema reajustará a dificuldade de acordocom os resultados, sendo sempre possível o terapeuta intervir caso seja necessário. Osrelatórios gerados pelo sistema sobre a performance do paciente são essenciais para queo terapeuta tome uma decisão correta relativa a reabilitação do paciente. Outra mais valiaé a fácil adição de novas tarefas, devido à arquitetura modular da aplicação.

O AV consiste numa cozinha ( Figura 2.3 ) onde o paciente pode executar váriastarefas, apanhar comida, preparar pratos e pôr a mesa. O AV inclui estímulos sonorospara indicar eventos ao jogador, por exemplo, o telefone toca, indicando que é supostoir atender o telefone. Os objetos são de quatro tipos diferentes: interativos (e.g. fogão),binários (e.g., interruptores), móveis (e.g., utensílios de cozinha) e transformáveis (e.g.,um copo de água, que se pode encher mais ou menos).

Uma diferença essencial entre o PREVIRNEC e o sistema a desenvolver com basenesta Dissertação é o facto do primeiro ser baseado numa estrutura de tarefas, reduzindosignificativamente a imersão, ou seja, não proporciona uma experiência contínua em 3Duma vez que tem tarefas também em 2D. As tarefas 3D consistem num AV onde os pa-cientes podem navegar e interagir com objetos. O objetivo é reproduzir atividades doquotidiano onde sejam utilizadas capacidades cognitivas como a atenção, memória, asfunções executivas e a linguagem.

2.3.4 Virtual Life Skills

O projeto Virtual Life Skills é composto por um conjunto de AVs que o paciente podeexplorar enquanto se depara com situações da vida quotidiana. O projeto é formado por

10

Jogos

(a) Módulo Supermercado (b) Módulo Café (c) Módulo Casa

Figura 2.4: Módulos do Virtal Life Skills [Bro98]

quatro AVs: Casa, Supermercado, Autocarro e Café [Bro98]. Nos vários AVs o pacienterealiza tarefas procedimentais, que requerem interações numa ordem específica.

O Supermercado (Figura 2.4a) foi modelado com base num supermercado real nazona de Nottingham (Reino Unido). Neste módulo o paciente cria uma lista de compras,procura e seleciona produtos das prateleiras de acordo com a lista e paga o seu carrinhode compras. No Café (Figura 2.4b) o paciente deve levar a cabo algumas tarefas simples,por exemplo, sentar-se numa mesa do café. O paciente tem de perceber a instrução “finda table” (comunicação), deslocar-se para a mesa (navegação) e selecionar a mesa para sesentar (interacção) [NCW00]. Finalmente no módulo Casa (Figura 2.4c) o paciente deve:orientar-se na casa, movimentar-se com o joystick, ativar objetos na casa e perceber o queé suposto fazer mediante a tarefa proposta [CNR98].

Adicionalmente ainda há um módulo de transportes utilizado para articular os dife-rentes módulos, os autocarros são modelados de acordo com a realidade da cidade deNottingham. A aplicação tem suporte para algumas interfaces físicas que facilitam a in-teração de pessoas com incapacidade.

O principal objetivo deste projeto é estimular a autonomia dos pacientes de uma formamotivadora. Este projeto não se adapta à evolução e perfil do utilizador e não é um sistemadistribuído (não permitindo a terapia em casa).

2.3.5 Sumário

Neste capítulo introduziram-se os Jogos Sérios e o seu papel na reabilitação, assimcomo se estudaram diversos projetos desenvolvidos nesta área. De acordo com o que foireferido no capítulo anterior (Secção 1.3) foi identificado um conjunto de característicaspara o sistema a desenvolver: acesso ao histórico de performance do utilizador no sistema,ser imersivo, dinamicamente adaptável ao perfil e evolução do utilizador, integração comperiféricos e adaptado à realidade portuguesa. A Tabela 2.1 mostra a caracterização dasaplicações discutidas neste capítulo segundo essas características.

11

Jogos

Tabela 2.1: Análise do Estado da Arte e comparação com o projeto foco desta Dissertação

12

Capítulo 3

Ferramentas

Este capítulo explora as diferentes ferramentas no âmbito dos problemas levantadosno capítulo introdutório. São enquadrados os motores de jogo no contexto do desenvol-vimento de Jogos Sérios. De seguida são apresentados dois motores de jogo, o Unityutilizado na Cidade Virtual e o Neoaxis utilizado no Supermercado Virtual do projetoCARP-VR [DCB+11a]. Por fim, são analisados vários periféricos que podem ser úteispara aumentar a imersão e facilitar a interação com a aplicação a desenvolver.

3.1 Motores de Jogo

Figura 3.1: Arquitetura de um motor de jogo modular com networking, adaptado de [LJ02]

Um motor de jogo é um conjunto de módulos que apesar de não especificarem ocomportamento de um jogo (lógica de jogo), nem o seu ambiente (informações sobreos níveis), contribuem para o funcionamento deste [LJ02]. Estes módulos podem serresponsáveis por um variado leque de funcionalidades: gestão de input, rendering 3D e

13

Ferramentas

2D, motor de física, sons, inteligência artificial, deteção de colisões, gestão de memória,networking, streaming, threading, etc. Um motor de jogo é uma framework que aumentaa abstração do programador, permitindo que este se dedique mais aos aspetos específicosdo jogo que está a implementar.

Na Figura 3.1 está representada a arquitetura de um jogo desenvolvido num motor dejogo com uma componente distribuída.

Redesenhar componentes para um jogo não é nem necessário nem eficiente em termosde custos. No entanto, os motores de jogo estão geralmente direcionados para um certotipo de jogabilidade, i.e., um motor de jogo para um simulador de voo pode não ser útilno desenvolvimento de um Shooter (jogo de tiro) [BEW+98].

Há motores de jogo com diversos níveis de abstração, alguns apenas disponibilizamfuncionalidades de rendering 3D, neste caso o programador deve implementar os módulosem falta. Estes motores de jogo denominam-se motores gráficos ou motores de rendering.Tipicamente os motores de jogo e os motores gráficos disponibilizam um scene graph, ougrafo de cena, uma estrutura de dados que permite a representação, organização e acessodos objetos do AV.

Figura 3.2: Scene graph que representa parte do sistema solar, adaptado de [Hom]

A Figura 3.2 mostra um scene graph de um AV 3D, neste caso representando parte dosistema solar. Contém a Terra e Marte em orbita do Sol, e a Lua em orbita da Terra. Hánós do grafo que representam os pontos pivô dos planetas (a vermelho). Os modelos dosplanetas (a verde) são nós filhos dos seus pivôs espaciais, estes modelos ficam centradosna posição do seu pivô. A rotação do pivô do Sol causa a movimentação dos planetas, omesmo acontece com a Terra e a Lua. Os scene graphs são um artefacto básico ao nível

14

Ferramentas

da computação gráfica, mas nem sempre utilizados em todos os motores de jogo. O motorde jogo utilizado no desenvolvimento do protótipo, o Unity faz uso desta lógica extensi-vamente. No painel Hierarchy visível na Figura 3.3 são visíveis alguns dos elementos doscene graph do protótipo desenvolvido.

Figura 3.3: Organização das entidades do protótipo desenvolvido numa estrutura de scene graph.

3.2 NeoAxis

Neoaxis é um motor de jogo 3D com ambiente de desenvolvimento integrado, baseadono motor gráfico Ogre [Ogr] para o desenvolvimento de jogos, simulações, Jogos Sérios esistemas de realidade virtual [Eng]. Este foi o motor de jogo utilizado no desenvolvimentodo módulo Supermercado Virtual no projeto CARP-VR [DCB+11a].

Vários jogos sérios foram desenvolvidos em Neoaxis. Um exemplo é um programade simulação da Yamaha para motociclistas, onde com recurso a 5 projetores à volta de

15

Ferramentas

uma mota é criado um AV dinâmico onde o rendering reage à velocidade da mota [Aca].Outro exemplo é um software para treino de profissionais de saúde para lidar com pessoascom limitações físicas, Emergency Medical Services for the disabled Virtual Environment(EMSAVE) onde o jogador lida com situações de emergência envolvendo pessoas comdeficiências [oUSC]. O jogo decorre num AV Open World, isto é, num ambiente 3D ondeo jogador pode explorar o cenário livremente.

Do ponto de vista técnico o Neoaxis permite o desenvolvimento de jogos para Mi-crosoft Windows e Apple Mac OS X. O programador tem à sua disposição um conjuntode ferramentas (Toolset) integrado num IDE (Ambiente de Desenvolvimento Integrado),com um editor WYSIWYG (What you see is what you get), permitindo a manipulação dosoftware por meios visuais. A programação é feita com base numa API (Interface de Pro-gramação de Aplicações) .NET, e a linguagem de programação é C# apesar de ser possívela utilização de C e C++. O Neoaxis tem suporte para desenvolvimento de aplicações emjanela, sendo as bibliotecas WinForms[Mon] e WPF [Win] suportadas.

Adicionalmente o Neoaxis possui um módulo de inteligência artificial que permite es-pecificar comportamentos de agentes, assim como um sistema de pathfinding (procura depercurso). Possui também um módulo de sincronização de objetos de jogo na rede e umavariada gama de classes tipicamente utilizadas no desenvolvimento de jogos, por exem-plo, manipulação de superfícies líquidas, gestor de fações, portas, interruptores, câmaras,entre muitas outras funcionalidades.

O motor gráfico do Neoaxis baseado em Ogre, com suporte para OpenGL e DirectX11, permite High Dynamic Range (HDR) rendering a 64 bit com efeitos de brilho, adapta-ção da exposição e mapeamento de tons, possui também efeitos pós-processamento (e.g.Profundidade de Campo (DoF) e Luminosidade Volumétrica (God Rays), suporte paravários tipos de animação, um sistema de partículas e inúmeras funcionalidades de lumi-nosidade e sombras. Quanto ao motor de física, este assenta sobre o PhysX Engine[NVIb]da NVIDIA. A nível de GUI (Interface Gráfico de Utilizador) existe um sistema de inter-face expansível optimizado com um editor que permite a criação de menus, diálogos,janelas, HUD (heads-up display) e GUIs 3D. O Neoaxis está também preparado para umavariada gama de periféricos, nomeadamente Kinect [XBo] e Joysticks, permitindo aindapor via de uma framework a configuração de periféricos não convencionais.

Vale a pena referir que o Neoaxis é gratuito apenas para fins não comerciais.

3.3 Unity

Unity é um motor de jogo e ambiente de desenvolvimento, da autoria da Unity Tech-nologies, para a produção de jogos para Web, Desktops, consolas e dispositivos móveis[Tecb]. Este foi o motor de jogo utilizado no desenvolvimento da Cidade Virtual.

16

Ferramentas

As ferramentas de edição do Unity, à semelhança das do Neoaxis, operam segundouma lógica WYSIWYG, com diferentes vistas configuráveis para manipulação do AV. Umadas principais vantagens do Unity é a abordagem à gestão de recursos de jogo (Assets).Estes podem ser modelos 3D, texturas, materiais, sons, scripts, etc. Estão disponíveisatravés de um sistema de gestão, onde é possível organizar, pesquisar e partilhar assetscom o resto da equipa de desenvolvimento.

O Unity presta ainda um serviço através do editor que permite a comercialização eaquisição de assets, a Asset Store. Este serviço vai no sentido de uma democratizaçãodo desenvolvimento de jogos, uma vez que ajuda à articulação dos vários intervenientesno processo. É possível, por exemplo, um ilustrador disponibilizar texturas que serãoutilizadas por um programador no seu jogo indie (jogo desenvolvido por uma pessoaou por um grupo pequeno de pessoas sem apoio financeiro). Como na Asset Store estãodisponíveis modelos 3D e outros recursos de qualidade gratuitamente, foi possível utilizá-la no decorrer deste projeto. Outras vantagens do Unity é o grande número de plug-insdesenvolvidos pela comunidade, como é o exemplo do CityEngine [Zur], um software demodelação 3D para a geração de ambientes urbanos, utilizado na Cidade Virtual.

Graficamente o Unity suporta OpenGL e DirectX 11, permite rendering HDR e ou-tros efeitos, assim como extensiva configuração do rendering através de uma interfacede baixo nível para as funções base de desenho. Possui também mais de 100 shaders(módulos de software para fazer o ajuste de luz e efeitos visuais). No que diz respeitoàs luzes, uma das funcionalidades mais interessantes é uma ferramenta de lightmappingque transforma luzes estáticas em texturas para melhor performance. Há também outrasfuncionalidades de luz como dual lightmapping, sombras em tempo real e UV Unwrap-ping automático. Quanto aos efeitos especiais, há uma vasta gama de efeitos de pós-processamento, manipulação de líquidos, efeitos de render para texturas (útil para porexemplo ver o reflexo num espelho) e criação e manipulação de partículas. O motor defísica, à semelhança do Neoaxis é o PhysX Engine da NVIDIA.

Com recurso à biblioteca FMOD [Teca], o Unity permite a manipulação de áudio,através de aplicação de filtros ou alteração de tom, distorção, reverberação e eco. O áudiopode mudar dinamicamente de acordo com a distância do ouvinte à fonte do som ou podeser dinamicamente configurado através de scripts.

Há também ferramentas para a edição de terreno, que é tridimensional de perto masmapeado como uma textura quando ao longe. Pincéis para aplicação de arbustos ou relva euma ferramenta de criação de árvores são apenas algumas das funcionalidades. O módulode inteligência artificial permite pathfinding (procura de caminhos), adicionalmente, anova versão (Unity 4) possui métodos que permitem que os agentes reajam a ambientesdinâmicos.

Quanto à programação, pode ser feita em UnityScript (uma linguagem especificado Unity com uma sintaxe semelhante a Javascript), C# ou Boo (sintaxe semelhante a

17

Ferramentas

Python).A versão gratuita do Unity não permite desenvolvimento de software por empresas

com um volume de negócios anual superior a 75.000e, nem o desenvolvimento paraplataformas móveis.

3.4 Periféricos

Devido às limitações físicas frequentes nas pessoas que sofrem de LCA as ferramentasde interação convencionais (rato e teclado) podem não ser as mais eficazes. Adicional-mente por via de novos dispositivos de saída pode-se aumentar o grau de imersão no AV.Nesta secção exploram-se diferentes dispositivos de entrada e saída, no sentido de aferirquais os mais adequados para a interação necessária no âmbito deste projeto.

3.4.1 Dispositivos de entrada

Um dispositivo de entrada é um periférico que disponibiliza informação sobre a in-teração do utilizador a um sistema informático. Os dispositivos podem ser classificadossegundo o tipo de interação (mecânica, visual, áudio, etc) e pelos graus de liberdade queproporcionam. Um rato tradicional possui dois graus de liberdade, o utilizador manipulaas coordenadas x e y do cursor.

3.4.1.1 Joystick

Figura 3.4: Joystick com três graus de liberdade e com controlador de POV

O Joystick foi inicialmente inventado por um oficial da marinha dos Estados Unidosda América para pilotagem remota de aeronaves não tripuladas [Lab11]. Há uma variada

18

Ferramentas

gama de joysticks com diversas características técnicas. No âmbito desta Dissertação sãode interesse os joysticks com pelo menos três graus de liberdade como o representadona Figura 3.4. O joystick representado também possui um controlador de POV (Point ofView), um sensor analógico que permite o controlo de mais dois graus (indicado com o 2na Figura 3.4).

Comparativamente a um rato convencional, o joystick proporciona uma interação maissimples uma vez que pode ser operado por pessoas com pouca destreza manual, possuimais graus de liberdade aumentando a imersão, é suportado pelos motores de jogo emquestão e é de fácil aquisição e baixo custo.

3.4.1.2 Controladores Convencionalmente Utilizados em Consolas

Estes dispositivos são tipicamente sensores de movimentos, que permitem uma vari-ada gama de interações com o software e promovem uma dinâmica imersiva. São muitopopulares nas consolas da atualidade, PlayStation Move [Ame] da PlayStation 3, Wii Re-mote [Nina] da Nintendo Wii e Kinect [Mic] da Xbox 360.

As diferenças entre estes dispositivos são: o Wii Remote é o dispositivo mais simples efácil de utilizar com muitos acessórios; o PlayStation Move tem uma bateria recarregávele é muito preciso; o Kinect não requere controlador uma vez que funciona unicamentecom uma câmara que deteta os movimentos do jogador sem ser necessário o recurso aotoque, deteta também caras através de um software de reconhecimento facial.

As vantagens destes interfaces são a facilidade de aprendizagem, devido à proximi-dade à interação na realidade, a velocidade adquirida na interação e o grau de imersãoproporcionado [Zha98]. No entanto, se utilizados da forma convencional, apresentamuma série de problemas que impossibilitam a aplicação na área da reabilitação, nomeada-mente originar fadiga ou mesmo a impossibilidade do utilizador ter o braço suspenso noar, devido a limitações físicas. A configuração destes aparelhos e adaptação ao AV não étrivial.

3.4.1.3 Rato 3D

Estes dispositivos são ratos com seis graus de liberdade, são precisos, suaves, estáveise não necessitam a deslocação física do rato [Zha98]. No entanto, são muito sensíveise é necessário uma interação minuciosa com grande recurso aos dedos, o que à partidainvalida sua utilização no âmbito desta Dissertação.

Estes dispositivos têm vantagens, especialmente no domínio do desenho assistido acomputador e modelação 3D. Estudos mostram que mais de 84% dos utilizadores afirmamter melhorias ao nível dos produtos desenvolvidos, um ganho de produtividade médio de21%, com um curva de aprendizagem média de menos de um mês [Gro08]. Outra mais

19

Ferramentas

valia é o decréscimo nas dores e desconforto relacionados com a utilização excessiva dorato [ME05].

Figura 3.5: Movimentos num rato 3D, adaptado de [3Dc]

A Figura 3.5 mostra as ações possíveis, o rato possui 6 graus de liberdade, três rotaçõese três translações.

3.4.2 Dispositivos de saída

Um dispositivo de saída é uma componente de hardware utilizada para comunicaro resultado do processamento de um sistema informático, o dispositivo de saída gráficoconvencional é o monitor. No entanto, novos equipamentos permitem um maior grau deimersão.

3.4.2.1 Sistemas 3D

Na atualidade existem dois sistemas de visualização 3D de vídeo no mercado, o sis-tema Active Shutter (persiana ativa, em português) e o sistema de polarização, ambos ossistemas 3D são baseadas em visualização estereoscópica de imagens, i.e., são mostradasduas imagens com perspetivas ligeiramente diferentes a cada olho [WY06]. Ambos ossistemas requerem óculos e um monitor.

O sistema de polarização de imagens, também denominado 3D passivo explora ascaracterísticas da luz para controlar o que é visualizado em cada olho. O LCD possuium filtro polarizado com duas orientações, uma para o olho direito e uma para o olhoesquerdo, de acordo com as linhas pares e impares do LCD. Com a utilização de óculospolarizados, o utilizador filtra as linhas do olho contrário, vendo duas imagens diferentesem cada olho [Wol12]. Este processo está representado na Figura 3.6.

No sistema Active Shutter (ou sistema de sequenciação alternada de frames), o uti-lizador usa uns óculos LCS (Liquid Crystal Shutter) [TH86, Edw09]. Cada lente destesóculos contém um cristal líquido transparente que se torna escuro quando submetido avoltagem. As lentes escurecem alternadamente em sincronia com a frequência de atuali-zação do LCD, produzindo a sensação de tridimensionalidade.

A NVIDIA lançou recentemente o Nvidia 3D Vision, um kit para jogos estereoscópi-cos que consiste num par de óculos LCS e drivers que permitem que a placa gráfica façao render em 3D para qualquer jogo com Direct3D [NVIa]. No entanto, os fabricantes

20

Ferramentas

Figura 3.6: Síntese de uma imagem estereoscópica num sistema de polarização de imagem

estão divididos. A Mitsubishi, Panasonic, Samsung e Sharp optaram pelo sistema Ac-tive Shutter, enquanto a LG promove o sistema de polarização, a Toshiba e a Vizio têmequipamentos de ambas as tecnologias [Sil].

As vantagens do sistema Active Shutter são proporcionar uma resolução de imagemduas vezes superior à do sistema de polarização. A desvantagem é que pode causar des-conforto devido ao piscar das persianas que pode ser detetado por alguns utilizadores,adicionalmente é mais dispendioso, os óculos são mais pesados e requerem carregamentoda bateria. No âmbito desta dissertação qualquer um dos sistemas poderia ser integrado,apesar de por uma questão de conforto fosse melhor optar pelo sistema de polarização. Aintegração seria possível uma vez que o Unity (Seção 3.3) tem suporte para este tipo dedispositivos.

3.4.2.2 Oculus Rift

O Oculus Rift [VR] é um dispositivo híbrido, de entrada e saída de informação. Ape-sar de estar apenas disponível por pré-reserva, é relevante no contexto desta dissertaçãodevido ao carácter inovador e ao elevadíssimo nível de imersão que proporciona. É umcapacete que faz rendering 3D estereoscópico num campo de visão (FOV) vertical de110o e horizontal de 90o, com sensor de movimento da cabeça com 6 graus de liberdadecom uma latência negligenciável. O SDK (Software Development Kit) vai ter integraçãocom o Unity [Kic, VR]. Uma série de títulos da indústria dos videojogos já confirmaramversões compatíveis com o Oculus Rift.

21

Ferramentas

A utilização deste dispositivo no domínio desta dissertação seria interessante, devidoà imersão que proporciona e porque resolve um problema verificado no uso de joystickspara a orientação no AV, a fadiga resultante de ter o braço levantado durante um períodoprolongado.

3.5 Sumário

O estudo das diferentes ferramentas tanto ao nível dos periféricos como ao nível dosmotores de jogo é importante para melhor escolha da combinação de tecnologias para odesenvolvimento do projeto.

No âmbito desta Dissertação será utilizado o motor Unity. Após a análise do Unityconclui-se que é uma ferramenta completa e de rápida produção. A Asset Store pode vir amostrar-se útil na aquisição gratuita de recursos que podem melhorar a qualidade do JogoSério e minimizar o tempo despendido em desenvolvimento.

A utilização dos periféricos de entrada cingir-se-á à utilização do joystick e do tecladoe rato. Quanto a dispositivos de saída, a integração é possível uma vez que o Unity éaltamente compatível com dispositivos de reprodução 3D.

22

Capítulo 4

Cidade Virtual

O projeto Cidade Virtual foi iniciado no âmbito da Dissertação de Mestrado “JogoSério para a Reabilitação Neurocognitiva: Cidade Virtual”, por Maria João Pinto LuísMiranda [Mir12]. No decorrer dessa Dissertação recolheram-se e documentaram-se re-quisitos (na forma de casos de uso), desenhou-se a arquitetura, estabeleceu-se a base dedados e criou-se a representação tridimensional da Cidade Virtual (através do CityEngine[Zur]). Já no âmbito desta Dissertação implementou-se o funcionamento e jogabilidadebase em Unity. Este capítulo tem como propósito apresentar a estrutura e algumas dasfuncionalidades implementadas.

4.1 Conceitos

O protótipo desenvolvido consiste numa cidade tridimensional onde uma pessoa quesofre de LCA deve planificar e realizar uma série de tarefas. Nesta seção serão abordadasalgumas das entidades e conceitos definidos no âmbito do projeto Cidade Virtual.

Cenário É uma representação tridimensional das cidades de Gaia e Porto, a Figura 4.1mostra o mapa numa vista bidimensional. O cenário é composto por lotes de váriascategorias.

Lote É uma área do cenário, os lotes estão divididos em categorias: Comércio (padaria,florista, mercearia), Serviços (banco e correios), Lazer (jardins) e Social(residênciae café). Os lotes implementados são os jardins, correios e residência.

Transportes São uma forma de o jogador se movimentar rapidamente na Cidade Virtual.Os transportes previstos são: carro pessoal, táxi, metro, comboio e autocarro. Oúnico transporte implementado foi o autocarro. O carro apenas se poderá deslocar

23

Cidade Virtual

de casa até um parque de estacionamento, os restantes transportes movimentam-seentre paragens e estações.

Sessão Uma sessão é uma utilização isolada da aplicação por parte do paciente. Há apossibilidade deste iniciar uma nova sessão ou retomar uma sessão anterior. Umasessão pode incluir vários níveis e vários patamares. Uma sessão começa num pa-tamar à escolha do utilizador, assumindo que este o desbloqueou.

Patamar É um conjunto de níveis com o mesmo desafio. Os patamares são retroativa-mente cumulativos, i.e., um patamar exige os conhecimentos adquiridos no patamaranterior, desta forma a dificuldade é incremental. Os patamares previstos são: Ho-rário de Funcionamento, Grau de Importância, Caminho mais Curto, Transportes,Orçamento Limitado, Contra-relógio e Procura de Soluções.

Feedback Informação sobre a performance num nível. Pode ser de três tipos: instantâneo(na sequência da ação) periódico (tipicamente no final de cada nível, patamar ousessão) e requisitado (consulta de informações adicionais e análise do progresso dojogador). Em termos de implementação apenas existem os feedbacks instantâneos eperiódicos através de elementos de interface.

Figura 4.1: Planta bidimensional da Cidade Virtual, cores representam lotes diferentes

4.2 Mecânica do Jogo

A Figura A.1 no Anexo A mostra o fluxo de atividades do sistema e descreve os even-tos possíveis na mecânica final do jogo. A azul encontram-se as ações implementadas

24

Cidade Virtual

neste momento. Ou seja, é possível iniciar sessões de tratamento com diferentes utiliza-dores, planificar as tarefas dos diversos níveis e executa-las. A sequenciação dos diversosníveis e a progressão temporal também está funcional.

Inicialmente é apresentado um menu ao jogador, a Figura 4.2 mostra um exemplo deum desses elementos de interface, onde são facultadas informações sobre como planear astarefas específicas do conjunto nível/patamar atual, onde o jogador deve ordenar as tarefasde acordo com esse(s) critério(s). Após a ordenação correta, o jogador entra no modo deOpen World numa perspetiva de primeira pessoa (FPP), usando as teclas direcionais paramovimentação do avatar e o rato para orientar o movimento da câmara.

Figura 4.2: Menu de planeamento relativo ao quarto nível, com limite temporal.

Neste momento é possível a seleção dos lotes por via de um clique no botão esquerdodo rato. Isto despoleta uma janela de interface onde o jogador deve confirmar se o loteselecionado corresponde à tarefa a realizar. Esta ação dá origem a um feedback, que nocaso afirmativo permite o jogador prosseguir para a realização da próxima tarefa. Duranteeste processo é possível consultar o mapa bidimensional da cidade.

No âmbito desta Dissertação foi necessário adicionar vários módulos de interface,como é o caso da gestão de utilizadores. É ainda necessário implementar consulta dasinformações e performance dos jogadores de forma a que essas informações sejam aces-síveis ao utilizador.

25

Cidade Virtual

4.3 Arquitetura

Figura 4.3: Diagrama de pacotes

Foi necessário estudar a arquitetura do sistema para melhor perceber de que formaintegrar as novas funcionalidades de uma forma modular. A Figura 4.3 mostra as classese relações do sistema agrupadas em pacotes. O bloco “Interação” é responsável pela con-figuração e gestão das interações com o utilizador (i.e. rato e teclado). Existem tambémclasses responsáveis pelo Graphical User Interface (GUI).

O armazenamento e manipulação dos dados resultantes do decorrer dos níveis/pata-mares é feito com a utilização das classes do bloco “BD_ Acesso”.

Os módulos de “Nível” e “Sessão” são responsáveis pela implementação da estruturae regras do jogo, servindo muitas vezes de componente de ligação entre o acesso à basede dados e os outros blocos.

4.3.1 Base de Dados

A Cidade Virtual usa uma base de dados em mySQL. As figuras A.2 e A.3 apresentama organização da base de dados.

A listagem com a explicação das entidades da base de dados encontra-se detalhada-mente documentada [Mir12], como tal, não se justifica especificar nesta Dissertação. Noentanto, há uma entidade que requer especial atenção, a entidade “performance”, associ-ada às sessões (“sessions”) e aos níveis (“levels”) que guarda apenas o tempo decorrido euma string(sequência de caracteres) com a prestação qualitativa.

A comunicação entre a base de dados mySQL e o Unity é feita via http por intermédiode um servidor php.

26

Cidade Virtual

4.4 Jogabilidade

O desenvolvimento do protótipo implicou a preocupação com pormenores que na tota-lidade contribuem para proporcionar uma jogabilidade imersiva. Nesta seção expõem-sesumariamente algumas dessas funcionalidades.

4.4.1 Picking

Picking é a implementação do ato do jogador selecionar um objeto no AV. Para con-cretizar uma tarefa é necessário selecionar o lote respetivo, i.e., para realizar a tarefa“Comprar flores” o jogador deve deslocar-se e selecionar um edifício do tipo “Florista”.Para selecionar um edifício é necessário estar nas imediações deste, esta limitação é evi-dente por intermédio do interface, quando a distancia não permite interação, esta é exibidaa vermelho.

4.4.2 Métricas de Performance

O sistema tem um mecanismo de adaptação à evolução do paciente. Se o jogadorobtiver uma classificação igual ou superior a 80% na execução das tarefas três vezesconsecutivas, passa automaticamente para o patamar seguinte.

Está previsto que quanto à avaliação do patamar “Caminho mais Curto”, ao longo dopercurso do jogador sejam introduzidos num array as posições do jogador para calcularo desvio do caminho realizado em relação ao percurso em linha reta entre as diferentestarefas. Em termos de implementação é ainda necessário introduzir essas informações nabase de dados.

4.4.3 Sistema de autocarros

O sistema de autocarros serve de modelo para a implementação dos outros transpor-tes. Não é visível a deslocação do autocarro, este aparece e desaparece. A atribuição deparagens aos autocarros pode ser feita diretamente na base de dados.

O desenvolvimento do comboio e do metro deverão seguir uma estrutura semelhanteao transporte por autocarro. Para o transporte por táxi será introduzido um elemento deinterface que permita chamar o táxi e o transporte no carro pessoal terá de permitir aseleção, no mapa da cidade, do parque de estacionamento que se pretende utilizar, alter-nativamente poder-se-á escolher o nome do parque numa lista.

27

Cidade Virtual

4.4.4 Cálculo do percurso mais rápido

Um dos patamares prevê o cálculo do percurso mais rápido. A solução anteriormenteproposta foi a instanciação de objetos dummy invisíveis, do tipo “prefab placer” (que têmpor default uma tag de flag o que permite o seu acesso através de pesquisa por flag).

O problema era em termos de desempenho do sistema, esses objetos eram instancia-dos num loop Update de um script em javascript. Isto quer dizer que o cliente de jogoestaria constantemente a instanciar entidades, um cliente que execute em hardware comespecificações técnicas superiores instanciará mais entidades do que um cliente com es-pecificações mais modestas. Adicionalmente, se o jogador se encontrar parado o clientecontinuaria a instanciar entidades. Um cliente que executasse o jogo durante mais tempoteria o cenário de jogo densamente povoado destas entidades.

A solução adotada que é a mais eficaz em termos de performance foi introduzir ascoordenadas do avatar do jogador num container (array) à medida que o tempo decorre(de segundo a segundo). Os cálculos podem assim ser baseados nos valores desse arraysem comprometer a performance do cliente de jogo.

4.4.5 Modos de interface

Existe um script de interface, em C#, responsável por manter o modo de interface ativoque se encontra no diretório “/GUI”. Há dois modos de interface, o modo navegação ondeo avatar e a câmara se movimentam e o modo interface onde o jogador seleciona elemen-tos de interface e objetos visíveis na área de visão da câmara. Foi criada esta distinçãouma vez que, sem estes modos a simples ação de carregar num botão (e.g., o botão deum menu de jogo) orientaria a câmara num determinado sentido. Por norma em qualquerFPS a interação com um menu de jogo desativa a possibilidade de movimentar a câmara,um exemplo comum é na aquisição de armas (como no caso de um jogo de combate)surgir um cursor que normalmente não está visível e ser desativada a possibilidade demovimentar a câmara.

A ativação é feita através da ativação de uma tecla ou botão de joystick. Como estaserá a tecla mais utilizada, foi escolhida a tecla de espaço que é a de mais fácil acessopara pessoas com limitações motoras.

4.4.6 Iluminação

A iluminação é um aspeto essencial em computação gráfica. Em Unity é possívelconfigurar vários tipos de luzes. A sua configuração altera significativamente a aspeto docenário como é visível nas Figuras 4.4 e 4.5.

Para atingir o efeito visível na figura 4.5 foi necessário definir as normais dos modelosdos edifícios, caso contrário a luz apenas seria refletida verticalmente.

28

Cidade Virtual

Figura 4.4: Screenshot antes das otimizações de luminosidade.

Figura 4.5: Screenshot depois das otimizações de luminosidade.

O efeito de luz alcançado foi possível através da colocação de um ponto de luz dire-cional, de cor branca que simula o Sol e pela configuração uma luz ambiente através dosrendering settings do Unity.

Também se adicionou nevoeiro, o resultado é visível na Figura 4.6.

29

Cidade Virtual

Figura 4.6: Screenshot onde é visível o nevoeiro.

4.4.7 Sons

O protótipo inclui três tipos de sons. Música ambiente, que numa fase posterior podeser substituída por som ambiente de uma cidade. Sons do avatar cujo objetivo é aumentara imersão, estes são o som da respiração e dos passos do jogador. E sons de interface, quesão tocados quando o jogador ativa um elemento de interface (e.g., um botão). A gestãodos sons é feita a partir da classe SoundManager.cs.

4.4.8 Monobehaviours e Gameobjects

Muitos dos scripts utilizados no desenvolvimento do protótipo foram monobehavi-ours, em Unity a utilização de monobehaviours não deve ser feita através da instanciaçãoconvencional (linha 1 da listagem abaixo), deve antes ser feita através da atribuição a umcomponente (linha 2 da listagem abaixo).

1 SomeClass foo = new SomeClass ( ) ;2 MyClass b a r =

( MyClass ) someGameObject . AddComponent ( t y p e o f ( MyClass ) ) ;

Isto porque um monobehaviour descreve um comportamento de um gameobject.

Um gameobject representa uma entidade de uma cena em Unity. O acesso a gameob-jects pode ser feito de várias formas. A forma mais comum, especialmente para iniciados

30

Cidade Virtual

em Unity, é passar os gameobjects como argumento. Ou seja, num determinado gameob-ject (gameobject pai) coloca-se um script com um campo público, onde se tem controlosobre outro gameobject (gameobject filho) que é passado como argumento.

Esta abordagem funciona, mas não torna os scripts modulares, ou seja, se colocarmoso gameobject pai numa cena diferente será necessário fazer a atribuição manualmenteporque o gameobject filho já não se encontra em cena no inicio da execução do script dogameobject pai. Uma abordagem programática e modular é fazer uma pesquisa pela tagdo objeto desejado. Essa foi a abordagem adotada no desenvolvimento do protótipo.

4.5 Sumário

A nível gráfico, a modelação da cidade estava realista e permitia uma experiênciaimersiva de acordo com a realidade portuguesa. Foram documentados requisitos, arquite-tura e desenho da base de dados ao ponto de estabelecer uma base para a persecução dosobjetivos desta Dissertação.

O desenvolvimento de um jogo com as características especificadas é um projeto degrande magnitude, onde prevalecem detalhes de implementação que podem dificultar asua utilização pelo público alvo. O principal objetivo desta Dissertação foi a implemen-tação da Cidade Virtual, de forma a obter um protótipo usável para que fosse possívelconduzir testes de usabilidade.

31

Cidade Virtual

32

Capítulo 5

Interface Gráfica

Uma interface gráfica de utilizador (GUI) corresponde a uma interface que permite ainteração com aparelhos eletrónicos com recurso a elementos visuais. Muitos aspetos dodesenvolvimento de GUIs para jogos são conhecidos e difundidos na indústria, apesar deser um tema latente na literatura. A diferença entre uma interface de excelência e umaimprovisada no final de um projeto não se cinge ao domínio estético, para o utilizador, aaplicação é a interface,isto porque para ele, é a camada de interação mais externamentevisível de qualquer sistema de software, e onde mais frequentemente se tornam evidentespossíveis fragilidades.

No campo da reabilitação neurocognitiva, por norma, a falta de familiarização comGUIs e dispositivos de interação convencionais por parte dos utilizadores, aliada a possí-veis limitações físicas, visuais e cognitivas, tornam a tarefa de desenvolver uma GUI umdesafio exigente.

Nos jogos digitais, um elemento fundamental na GUI é o Heads-Up Display (HUD),uma camada de GUI que se sobrepõe ao ambiente de jogo de uma forma persistente,permitindo um acesso constante à informação do jogo sem comprometer a sua fluidez,i.e., sem gerar interrupções para disponibilizar a informação ao utilizador.

A utilização de HUDs é discutível devido ao facto de haver um elemento de inter-face que constantemente obstrui a visibilidade do mundo de jogo podendo constituir umaconstante lembrança que se está a interagir num ambiente virtual. Adicionalmente umHUD excessivamente complexo tem a desvantagem de poder intimidar o jogador maisinexperiente.

Neste caso, as desvantagens de usar um HUD são ultrapassadas pelas vantagens, i.e.,transmitir informação essencial ao jogador, como por exemplo, as tarefas a realizar, osnomes dos edifícios e a hora no mundo de jogo. No entanto, prevê-se a ocultação opcionaldestes elementos, permitindo uma experiência mais realista.

33

Interface Gráfica

5.1 Modos de interface

No jogo desenvolvido a perspetiva gráfica utilizada é na primeira pessoa, i.e., o joga-dor vê o mundo de jogo através dos olhos da personagem de jogo (avatar). Em termosde estilos convencionais, o jogo aproxima-se mais de um Role-Playing Game (RPG), ouseja, um jogo em que o jogador assume o papel do avatar que deve levar a cabo uma mis-são ou conjunto de tarefas, cujo sucesso ou insucesso são determinados por um sistemade regras e diretrizes. No caso do protótipo desenvolvido, os objetivos a concretizar sãoexplícitos, i.e., as tarefas a realizar são conhecidas do jogador.

Há, portanto, estas duas dimensões, navegação no mundo de jogo e gestão das tarefasa realizar. Na indústria dos videojogos existem vários RPGs com perspetiva na primeirapessoa, que ao nível do fluxo de jogo e da interface podem servir de inspiração.

No entanto, como o fluxo do jogo desenvolvido não está sujeito a constantes eventosde ação, foi decidido incorporar dois modos de interface distintos:

Modo Navegação A câmara e o avatar movimentam-se.

Modo Seleção A câmara e o avatar permanecem estáticos e é possível interagir com ele-mentos de interface com recurso ao cursor.

Em ambos os modos é possível inspecionar e interagir com o mundo de jogo, porexemplo, é possível selecionar um edifício que consta na lista de tarefas a realizar. A razãopara a incorporação do modo de seleção prende-se essencialmente com a necessidade de“reduzir o ritmo” do jogo, e permitir que o jogador com toda a calma e atenção inspecioneos elementos do mundo de jogo, sem ter que lidar com a movimentação da câmara. Esteé um aspeto que raramente se encontra num jogo tradicional deste tipo.

A alternação dos modos de jogo é feita pela tecla de espaço quando se utiliza o teclado(por ser a tecla de mais fácil acesso devido à sua dimensão) e por um botão dependenteda configuração em joystick).

5.1.1 Implementação

O estado atual do jogo é registado num enum que é utilizado no decorrer da aplicaçãopara aferir o seu estado:

1 p r i v a t e enum S t a t e { load , l o g i n , p lan , n a v i g a t e ,s e l e c t } ;

2 p r i v a t e S t a t e s t a t e ;

No ciclo de atualização do jogo, na classe Game, de acordo com o estado desse enumé verificado o estado dos periféricos quanto à comutação entre os dois modos de jogo.

34

Interface Gráfica

Figura 5.1: Botões relativos aos patamares.

Quando o evento do periférico decorre para ativar o modo de navegação, o cursor é blo-queado no centro do ecrã, e ativam-se os Monobehaviours responsáveis pela movimen-tação do avatar e da câmara associados ao gameobject do avatar - FPSInputController,MoveCamera, CharacterMotor.

Os diferentes modos também implicam diversas alterações no resto do programa, porexemplo, o tipo de cursor que é exibido.

5.2 Botões

Um botão é um elemento de interface que permite despoletar um evento. A caracterís-tica mais importante num botão é parecer um botão, isto é, deixar claro pela sua aparênciaque despoleta um evento. Como no caso do jogo desenvolvido os utilizadores poderão terdificuldades adicionais foi tomada a decisão de usar botões de grande dimensão, paraaumentar a visibilidade e facilitar a sua seleção.

Também é importante que os botões sejam responsivos, i.e., quando se pressiona umbotão, espera-se que algo aconteça. Este feedback é essencial para proporcionar maiorsensação de interatividade e evitar a confusão do jogador.

No jogo desenvolvido utilizaram-se vários elementos visuais, os botões têm duas apa-rências que inequivocamente identificam o estado do botão (pressionado ou não, comoé visível na Figura 5.1) e utilizam-se também elementos sonoros, por exemplo, apenas épossível jogar após o planeamento, se o planeamento não for válido o clique no botão dejogar produz um som de inação.

No caso específico dos botões relativos aos patamares do jogo foi necessário identifi-car qual o patamar atual, i.e., o patamar que o jogador ainda não completou na totalidade,assim como, deixar claro quais os patamares que ainda não foram desbloqueados. Nafigura 5.1 os três primeiros patamares estão desbloqueados, os dois primeiros foram ter-minados, o segundo está selecionado, os três últimos estão bloqueados.

35

Interface Gráfica

5.2.1 Implementação

Alguns botões foram implementados com utilização direta da classe GUI.Button doUnity. Outros não são implementados de forma trivial, por exemplo, o desenho dos botõesde patamar está definido na classe BlockButton:

1 p u b l i c vo id OnGUI ( ) {2 BlockType u s e r B l o c k =

userManager . g e t U s e r ( ) . g e t B l o c k ( ) ;3 i n t userBlockN = u s e r B l o c k . t o I n t ( ) ;4 i n t blockN = b l o c k . t o I n t ( ) ;56 i f ( userBlockN >=blockN ) {7 s t r i n g s u f f i x = p r e s s e d ? " p r e s s e d " : " normal " ;8 i f ( GUI . Bu t ton ( box , " " ,

s k i n . G e t S t y l e ( " b l o c k " + b l o c k . t o I n t ( ) +" _ " + s u f f i x ) ) ) {

9 soundManager . p l a y C l i c k ( ! p r e s s e d ) ;10 p r e s s e d = ! p r e s s e d ;11 }12 i f ( u s e r B l o c k != b l o c k ) {13 GUI . DrawTexture ( cupBox , cup ) ;14 }15 } e l s e {16 GUI . Bu t ton ( box , " " , s k i n . G e t S t y l e ( " b l o c k "

+ b l o c k . t o I n t ( ) + " _ d i s a b l e d " ) ) ;17 }18 }

Nas linhas 8 e 16 os botões são criados com base num GUIStyle de Unity (é o terceiroargumento da chamada ao método Button) de acordo com o seu estado. A vantagemdesta abordagem é a possibilidade de mudar completamente o aspeto visual dos elementosde interface, apenas por manipulação ou substituição do ficheiro do GUIStyle, sem sernecessário alterar o código, separando a lógica da apresentação.

5.3 Menus

Um menu é um elemento de interface utilizado para organizar informação. Ao entrarno jogo o jogador depara-se com um menu onde deve selecionar o seu utilizador e opatamar em que pretende jogar (menu Login). De seguida são mostrados os detalhesrelativos ao nível a levar a cabo, onde o jogador planifica e ordena as tarefas a realizar,

36

Interface Gráfica

com base em informação sobre as mesmas (menu Plan). Neste último o jogador altera aordem das tarefas com recurso a setas. As setas são de cores diferentes para facilitar asua distinção. Se a posição de uma tarefa corresponder ao fim ou início da lista, as setasficam cinzentas para representar a impossibilidade de mudar a sua ordem na lista.

5.3.1 Implementação

Cada menu tem uma classe responsável pelo seu desenho e gestão. Essas classesnão são Monobehaviours, implementam o interface IMenu, que foi definido da seguinteforma:

1 i n t e r f a c e IMenu {2 void OnGUI ( ) ;3 bool i sDone ( ) ;4 }

Nos construtores destas classes inicializam-se as posições dos elementos de interface,tipicamente sob a forma da estrutura de Unity para definir retângulos, Rec. O construtorguarda entre outras estruturas, a GUISkin a utilizar neste menu, onde são definidos todosos elementos gráficos a utilizar. De seguida no método OnGUI desenham-se os elementosde interface. Este método deve ser evocado no método OnGUI da classe Game. O métodoisDone devolve verdadeiro quando o menu termina, por exemplo, quando no menu Planas tarefas foram ordenadas corretamente e se carregou no botão “Jogar”.

5.4 Cursores

Os cursores do rato são um elemento importante para proporcionar feedback das açõesdo jogador, especialmente em relação ao tipo de elemento ou ação que será despoletadaapós o clique do rato. Foram implementados três tipos de cursor, como é visível na Figura5.2. O primeiro é o cursor do modo de navegação, o segundo é o do modo de seleção eo terceiro surge quando o jogador se encontra a uma distância que permita interação como edifício (o jogador não pode interagir com um edifício assim que este seja visível, deveaproximar-se até estar em alcance do edifício) e indica a passagem desse edifício para alista de tarefas à direita.

Houve especial cuidado em representar os cursores em tamanho grande para reconhe-cimento inequívoco, uma vez que os jogadores poderão apresentar défices a nível visual.

5.4.1 Interação com os edifícios

A interação com os edifícios é possível em ambos os modos de interface. Um dosproblemas com que nos deparados, nos testes de usabilidade foi a dificuldade de informar

37

Interface Gráfica

Figura 5.2: Cursor de navegação, seleção e interação, respetivamente.

de uma forma clara e não intrusiva qual o edifício que selecionado e que ação o clique dorato despoletará. Por abordagem intrusiva quer-se dizer, por exemplo, o aparecimento deuma janela de interface sobreposta ao mundo de jogo ou outra abordagem que diminua aimersão.

Uma análise sui generis de jogos comerciais com o mesmo tipo de dinâmica revelouque a melhor alternativa seria exibir o nome do objeto ou edifício sobre o qual se passa orato. Um exemplo recente de um jogo onde se usa esta técnica é o Skyrim [Sof].

Adicionalmente é exibida a distância do edifício alvo, no sentido de deixar claro aojogador que a interação não será possível a menos que se aproxime. Os números sãovermelhos quando a uma distância inválida e verdes quando é possível interagir com oedifício.

Em termos de feedback auditivo, a seleção (clique do rato) de um edifício a umadistância inválida, de um edifício a uma distância válida mas que não corresponde aosobjetivos ou de um edifício a uma distância válida e que corresponde aos objetivos, pro-duzem sons diferentes. Mais uma vez pretende-se, deste modo, dar a conhecer ao jogadoras implicações das suas ações.

5.5 Fontes e Legibilidade

Pela mesma razão apontada acima as fontes utilizadas foram no sentido de facilitar aleitura. O tipo de letra escolhido foi Futura e num tamanho de letra grande. A escolhadeste tipo de letra prende-se com os tipos de letra sem serifa, como é o caso deste, serempreferidos pelos utilizadores [BLM05]. Além disso, utilizou-se sempre grande contraste,as letras são brancas e usa-se um fundo cinza escuro, uma sombra ou contorno preto paragarantir a legibilidade.

O tipo de letra é especificado na GUISkin. O contorno das letras é possível através dautilização de um script disponibilizado pela comunidade do Unity.

38

Interface Gráfica

5.6 Sumário

No desenvolvimento da interface deste projeto dedicou-se especial atenção a uma sériede aspetos relativos à implementação de interfaces. Destacam-se:

• Separação da lógica e da apresentação, i.e, possibilitar que um designer altere oaspeto da aplicação sem ter de mergulhar no código. Esta é uma tarefa difícil tendoem conta a estrutura do Unity, não sendo possível mudar a posição dos elementos deinterface, apenas é possível mudar o seu aspeto através de alterações à GUISkin. Emtermos de código também se dividiu a forma da função, através de classes distintas.

• Legibilidade do conteúdo, ou seja, não deve haver dificuldades de leitura do con-teúdo exibido.

• Feedback, o jogador deve ter completa consciência das consequências das suasações, i.e., deve saber o que está a fazer e que efeitos vai produzir. Se uma açãonão é possível, deve através de elementos gráficos e sonoros ser claro que não épossível. Por exemplo, quando o tempo acaba deve ser exibida uma mensagem ex-plicando o porquê do seu término. Isto é muito importante, porque um utilizadorque não tem feedback fica confuso e age erraticamente no sistema, alterando osregistos de performance.

• Desenho modular, é importante desenhar as funcionalidades para que estas sejamaplicadas a qualquer contexto, i.e., o mesmo menu pode ser utilizado várias vezesou em diferentes jogos com pouca ou nenhuma configuração necessária.

39

Interface Gráfica

40

Capítulo 6

Avaliação de Usabilidade

A usabilidade é a facilidade de utilização e de aprendizagem de uma ferramenta, sejaesta um objeto, por exemplo o rato ou o joystick, ou um software como é o caso do pro-tótipo desenvolvido. Assim, é possível no contexto desta Dissertação diferenciar a usabi-lidade da interface física (controladores) da usabilidade da interface gráfica. No entanto,importa salvaguardar que frequentemente estes sistemas estão de tal forma integrados quea sua distinção do ponto de vista da dinâmica e do fluxo da aplicação pode não ser possí-vel. Por outras palavras, a distinção entre estas interfaces pode não ser ontologicamenteválida e por vezes é difícil aferir o seu grau de usabilidade individual.

Contudo, neste trabalho analisa-se a usabilidade dos controladores e do resto da apli-cação, apresenta-se a estrutura dos testes realizados com base no protótipo desenvolvido,analisam-se os dados obtidos e discutem-se as limitações desse tipo de análise.

6.1 Controladores

Quando se fala da utilização de controladores ou interfaces físicas em AVs o conceitocentral é a navegação. Nesta dissertação a movimentação é limitada ao espaço tridimen-sional da Cidade Virtual.

Uma das dificuldades deste projeto é a adequação das interfaces a indivíduos com po-tenciais limitações físicas (frequentemente consequência de LCA). Tomemos como exem-plo a limitação de apenas ser possível a utilização de um braço, será que os dispositivostradicionais possibilitam a navegação no AV?

No protótipo, a manipulação da câmara é feita através de dois eixos e a movimentaçãodo avatar é possível em quatro direções (para a frente, para trás, para a esquerda, paraa direita), no entanto, é possível movimentar o avatar usando apenas a direção frontal,orientando a câmara no caminho desejado, o que possibilita a utilização de apenas um

41

Avaliação de Usabilidade

braço. Assim, é viável a navegação em AVs exclusivamente com o rato, atribuindo aobotão direito o caminhar em frente, enquanto a deslocação bidimensional do rato controlaa orientação da câmara. É também possível a navegação com apenas um braço com oscontrolos tradicionais (i.e., rato para movimentar a câmara e setas para deslocar o avatar),desde que o indivíduo alternadamente ajuste a câmara e a posição do avatar. Não é umcontrolo ótimo ou intuitivo, mas é possível.

Para caminhar no sentido de atenuar as possíveis limitações físicas dos utilizadorestambém se implementou no protótipo controlos de joystick. O objetivo é fazer a análisede usabilidade destes dois controlos.

6.2 Interface Gráfica

Quando se submete um programa como o protótipo desenvolvido a uma análise deusabilidade da interface gráfica deve levar-se em consideração a diferença entre uma GUIe uma interface gráfica de um AV.

Há dois tipos de classificação de métodos de análise de usabilidade neste domínio.Com base na análise da interação de um grupo de utilizadores com o sistema [HSG+99],ou com base na revisão e inspeção por parte de um especialista de usabilidade [ST98].Este assunto é controverso porque neste domínio, a priori, “os avaliadores (condutores dasanálises de usabilidade) não podem fazer suposições acerca da capacidade de um novatoentender ou usar uma determinada tecnologia de informação ou dispositivo”[BGH06].

Num esforço para melhor compreender as especificidades da avaliação de usabilidadede AVs, Bowman et al. caracteriza-as de acordo com diferentes métodos que podem serusados em combinação[BGH06]:

Passo a Passo Uma abordagem que implica imitar o comportamento esperado do utili-zador realizando as tarefas que este realizaria e avaliar a capacidade da interface emresponder de acordo.

Avaliação Formativa (formal ou informal) Uma abordagem em que se observa o com-portamento de um grupo de utilizadores e a subsequente resposta do interface.

Avaliação Heurística de Especialistas Um método em que um ou vários especialistasseparadamente avaliam a usabilidade de uma interface, aplicando linhas orientado-ras que acham relevantes. Os resultados são combinados e priorizados de forma acorrigir os défices de usabilidade.

Questionário Pos-hoc Um questionário utilizado para obter informações sobre o per-fil dos utilizadores após a participação numa avaliação formal. A principal vanta-gem dos questionários é levantar informação tipicamente subjetiva, adicionalmente

42

Avaliação de Usabilidade

é mais fácil de tratar a informação do que numa entrevista e é também mais práticode realizar.

Entrevista Obter informação relevante através da inquisição direta. Uma entrevista éeficaz para obter informação que dificilmente seria possível de outra forma. Porvezes, será aconselhado o recurso a uma demonstração de um protótipo para facilitara discussão sobre o interface.

Avaliação Comparativa Uma comparação estatística de duas ou mais configurações deinterfaces.

No caso desta dissertação considera-se que foi feita uma avaliação do tipo formativacom questionário pos-hoc e entrevista após o protótipo estar na fase final de desenvolvi-mento, avaliação essa sobre a qual incidem as próximas seções. No entanto, ao longo dodesenvolvimento foram feitas algumas avaliações de cariz informal mais difíceis de clas-sificar. De facto, derivado da elevada gama de requisitos dos AVs ao nível da interface,torna-se complicada a adoção de métodos de usabilidade sistemáticos, i.e., sem que sejafeita uma aproximação à especificidade de cada AV e fase de desenvolvimento.

6.3 Perfil dos Participantes

O perfil dos participantes condiciona a avaliação da usabilidade do sistema [MDFC11].

No caso dos testes conduzidos, devido a limitação temporal, os participantes foramindivíduos sem limitações cognitivas. No entanto, houve o cuidado de selecionar umgrupo de teste com proficiência variada no que diz respeito à interação com computadorese à navegação em AVs.

Dos 20 participantes 9 tinham experiência em AVs, 8 eram mulheres e os restantes12 eram homens. No entanto, não foi possível encontrar mulheres com experiência emAVs, esta situação poderá contaminar alguns dos resultados recolhidos, assumindo que hácorrelação entre a performance no protótipo e experiência em AVs. Esta situação é con-sequência do défice de mulheres com experiência em AVs, facto que à partida dificultaráqualquer análise deste tipo.

Como seria de prever o condutor dos testes ajudou nas situações em que os participan-tes não tinham um nível de utilização de computadores que permitisse total autonomia,apesar de em todos os casos ter sido contabilizado o período de estabilização e nos outrosparâmetros recolhidos. Escolheu-se esta abordagem em detrimento de limitar o grupo departicipantes aos mais familiarizados com este tipo de tecnologia, de forma a nos apro-ximarmos mais de um contexto de reabilitação real, onde também há uma distribuiçãodifusa de competências e onde frequentemente não há nenhum grau de adaptação a AVs.

43

Avaliação de Usabilidade

Quanto ao número de participantes, foram seleccionados vinte, dado que a literaturadetermina que com um grupo de dez participantes criteriosamente selecionados são dete-tados 90% dos erros de usabilidade [Nie12]. A média de idades foi de 34 com um desviopadrão de 12. A escolaridade dos participantes variou entre o 7o grau de escolaridade e ograu de Mestre.

6.4 Testes

Relativamente aos testes começamos por nos perguntar de que forma é possível avaliara facilidade de navegação proporcionada pelos controladores? A abordagem convencio-nal é submeter o utilizador a um conjunto de tarefas, registando o seu grau de satisfação[MDFC11]. Como será discutido mais a frente este método é limitado, portanto optou-sepor fazer uma análise mista, ou seja realizou-se um teste SUS e uma análise de perfor-mance ad hoc.

Os testes realizados compreendem duas fases de recolha de dados: enquanto o par-ticipante testa o programa são recolhidos dados de performance e no final é feito umquestionário. As duas seções abaixo correspondem aos dois levantamentos de informa-ção.

6.4.1 Estrutura dos Níveis de Teste

O teste em si é composto por cinco níveis de dificuldade crescente. Em todos o obje-tivo é o mesmo, chegar aos sítios (e.g., banco) dentro do seu horário de funcionamento,ou seja, nas horas em que estão abertos. Essa informação é disponibilizada nos menus deplaneamento como é visível na Figura 4.2 no Capítulo Cidade Virtual.

6.4.2 Dados a recolher

Enquanto o participante realiza as tarefas em questão, ou seja leva a cabo os diferentesníveis, o condutor levanta uma série de dados e coloca-os numa folha de cálculo:

Estabilização Corresponde ao tempo que o participante despende a assimilar os contro-los e elementos de interface.

Preparação Corresponde ao tempo que o participante despende nos menus e na fase deplaneamento dos vários níveis a levar a cabo.

Tempo de jogo Tempo total de jogo.

Erros cometidos Situações não ótimas para o avanço no nível.

44

Avaliação de Usabilidade

Demonstrações de confusão Situações em que o participante demonstrou não perceberexatamente o que era suposto fazer e/ou demonstrou não perceber algum aspeto dainterface.

Pedidos de ajuda Situações em que o participante pediu ajuda de forma expressa ou pordemonstrar confusão excessiva.

Estes critérios foram definidos com base na natureza muito especifica do protótipo de-senvolvido, apesar de terem tido como base conceitos presentes na literatura [MDFC11].

6.4.3 Questionário

Para colmatar a dificuldade de comparação da usabilidade do sistema com a de outrossistemas optou-se por realizar um questionário usando a System Usability Scale(SUS)[LS09].Esta escolha deve-se ao facto desse sistema ser gratuito e ainda assim apresentar bons re-sultados de fidelidade com grupos de participantes de pequena dimensão. A avaliação doprotótipo com base no SUS foi de 82. O questionário é visível no Anexo B Figura B.1.

6.5 Resultados

No Anexo C encontram-se os gráficos relativos às informações recolhidas. Como seriade esperar (ver Capítulo Jogos, Seção 2.2, Parágrafo 3) os indivíduos com experiência emAVs foram os que obtiveram melhores resultados em termos de performance. No que dizrespeito às preferências em termos da interface física, estas são visíveis na Figura 6.1.

Figura 6.1: Diagrama das preferências dos participantes, azul representa a preferência do joystickenquanto vermelho representa a preferência do teclado e rato.

45

Avaliação de Usabilidade

6.5.1 Sumário

Neste capítulo foi abordada a questão da usabilidade do sistema, foi feita uma aná-lise e estabeleceu-se uma referência para futuros testes. Essa análise feita através de umquestionário SUS cujo resultado foi 82 e do registo da performance dos participantes.

Em relação à preferência de interfaces físicas (i.e., joystick ou teclado e rato), umadas conclusões dos dados recolhidos foi que perguntar aos utilizadores o que preferemé uma abordagem limitada porque implica resultados ambíguos uma vez que há muitosfatores que influenciam a preferência dos utilizadores. Um exemplo é o novelty effect,neste contexto é a tendência para favorecer uma interface baseada numa tecnologia maisrecente, não por apresentar vantagens, mas por ser diferente. De facto alguns participan-tes demonstram a preferência do joystick simplesmente por este ser mais divertido que oteclado e rato. Também, na área da reabilitação neurocognitiva, a motivação é um ele-mento essencial. É necessário encontrar o equilíbrio entre as preferências do utilizador eaquilo que, por meios menos ambíguos, se descobre que este precisa. Assim, é fundamen-tal adequar as métricas de avaliação de usabilidade deste tipo de software contabilizandoíndices de entretenimento sendo estes essenciais para a motivação dos pacientes. Nessesentido, uma abordagem mais experimental poderia ser testar o efeito de jogos convenci-onais sobre as funções cognitivas e o bem estar de pessoas que sofreram LCA.

46

Capítulo 7

Conclusão e Trabalho Futuro

O estudo do estado da arte foi essencial para a identificação de soluções para a proble-mática da reabilitação neurocognitiva com recurso à inovação tecnológica. O estudo dasferramentas disponíveis (Unity e NeoAxis), dos trabalhos relacionados e do projeto queantecedeu o desta Dissertação, permitiram implementar um protótipo usável ao nível dareabilitação.

O protótipo desenvolvido nesta Dissertação constitui uma uma ferramenta de Reali-dade Virtual para efeitos de reabilitação neurocognitiva. Sendo algumas das funcionalida-des desenvolvidas no âmbito desta Dissertação a navegação no AV com vários periféricos,a seleção de tarefas, a progressão temporal, a estrutura de patamares, interface e lógica dejogo. O prótotipo desenvolvido estabelece uma sólida base para desenvolvimento futuro.

Adicionalmente foi avaliada a usabilidade do sistema e estudaram-se os diferentesdispositivos de interação o que incrementou a índole inovadora desta Dissertação.

Tendo em conta a quantidade de funcionalidades a implementar e o grande desafioque é conciliar a informática e a neuropsicologia na persecução de um objetivo comumcentrado no utilizador final, a especificidade e complexidade de projetos deste tipo tornamo envolvimento de uma equipa multi-disciplinar imprescindível e essencial.

Como trabalho futuro é essencial testar com pessoas que sofreram de LCA para melhorredesenhar e documentar os requisitos dos utilizadores finais. Adicionalmente, numa faseposterior poder-se-ia criar uma aplicação web que exibi-se as métricas de performancedos pacientes para consulta por parte dos terapeutas.

47

Conclusão e Trabalho Futuro

48

Referências

[3Dc] 3Dconnexion. What is a 3d mouse? disponível em http://www.3dconnexion.com/products/what-is-a-3d-mouse.html.

[Aca] Yamaha Riding Academy. Riding simulation project. Disponível em http://www.neoaxis.com/forum/viewtopic.php?f=10&t=5299, acedidoa última vez em 10 de Janeiro de 2013.

[Ame] Sony Computer Entertainment America. Playstation move. Disponível emhttp://us.playstation.com/ps3/playstation-move/, acedido aúltima vez em 19 de Janeiro de 2013.

[Arm] Americas Army. Department of the Army or the Department of Defense.

[BEW+98] L. Bishop, D. Eberly, T. Whitted, M. Finch e M. Shantz. Designing a PCGame Engine. Computer Graphics and Applications IEEE, 18, 46-53, Ja-neiro 1998.

[BGH06] D. Bowman, J.L. Gabbard e D. Hix. A Survey of Usability Evaluation inVirtual Environments: Classification and Comparison of Methods. 2006.

[BLM05] M. Bernard, C.H. Liao e M. Mills. The Effects of Font Type and Size on theLegibility and Reading Time of Online Text by Older Adults. 2005.

[Bro98] D. Brown. Development and evaluation of the Virtual City. InternationalJournal of Virtual Reality, 1998.

[CNR98] S.V.G. Cobb, H.R. Neale e H. Reynolds. Evaluation of virtual learning en-vironments. Electronic Journal of e-Learning, 1, 11-20, 1998.

[Cor06] K. Corti. Games-based learning: a serious business application. 2006.

[CPLC03] G. Castelnuovo, C.L. Priore, D. Liccione e G. Cioffi. Virtual Reality ba-sed tools for the rehabilitation of cognitive and executive functions: the V-STORE. PsychNology Journal, 1, pp. 310-325, 2003.

[DCB+11a] A.R. Dores, I.P. Carvalho, F. Barbosa, I. Almeida, S. Guerreiro, B. Oliveira,L. Sousa e A. Castro-Caldas. Computer-assisted rehabilitation program –virtual reality (carp-vr): A program for cognitive rehabilitation of executivedysfunction. ViNOrg’11, Communications in Computer and InformationScience, pages 90–101, 2011.

49

REFERÊNCIAS

[DCB+11b] A.R. Dores, I.P. Carvalho, F. Barbosa, I. Almeida, S. Guerreiro, B. Oliveira,L. Sousa e A. Castro-Caldas. Neuropsychological assessment. ViNOrg’11,Communications in Computer and Information Science, 2011.

[DCG+09] A.R. Dores, I. Carvalho, S. Guerreiro, I. Almeida, L. Romero, C. Abreu,J. Nunes, M. Leitão, Barbosa J. e A. Castro-Caldas. New Answers for OldQuestions in the Domain of Cognitive Rehabilitation. IHCI2009: IADISInternational Conference on Interfaces and Human Computer Interaction,Janeiro 2009.

[DMC+12] A.R. Dores, M.J. Miranda, I.P. Carvalho, L. Mendes, F. Barbosa, A. Coe-lho, L. Sousa e A.C. Caldas. Virtual city: Neurocognitive rehabilitation ofacquired brain injury. SGaMePlay 2012 - Second Iberian Workshop on Se-rious Games and Meaningful Play and 7th CISTI - Iberian Conference onInformation Systems and Technologies 20th Madrid, Spain, Junho 2012.

[Edw09] L. Edwards. Active shutter 3d technology for hdtv, Setembro 2009. http://phys.org/news173082582.html.

[EIT+04] L. Enochsson, B. Isaksson, R. Tour, A. Kjellin, L. Hedman, T. Wredmarke L. Tsai-Fellander. Visuospatial skills and computer game experience in-fluence the performance of virtual endoscopy. Journal of GastrointestinalSurgery 874–880, 2004.

[Eng] Neoaxis Engine. Wiki. Disponível em http://www.neoaxis.com/wiki/, acedido a última vez em 19 de Janeiro de 2013.

[Gam] Break Away Games. vbank -virtual training bank. Federal Deposit InsuranceCorporation FDIC.

[Gro08] Technology Assessment Group. The Economic Payback of 3D Mice forCAD Design Engineers: Research Findings. 2008.

[Gua] Guadalinfo. Pesco - plataforma de estimulación cognitiva. Disponível emhttp://www.tecnoaccesible.net/content/pesco, acedido a últimavez em 22 de Dezembro de 2012.

[HGVD00] D. Hoofien, A. Gilboa, E. Vakil e P.J. Donovick. Traumatic brain in-jury (TBI) 10-20 years later: a comprehensive outcome study of psychia-tric symptomatology, cognitive abilities and psychosocial functioning. NewYork: Oxford University Press, Julho 2000.

[HL03] J. Hong e M. Liu. A study on thinking strategy between experts and novicesof computer games. Computers in Human Behavior, pages 245–258, 2003.

[Hom] Homura. A high level game development tool and framework. Dispo-nível em http://java.cms.livjm.ac.uk/homura/, acedido a últimavez em 19 de Janeiro de 2013.

[HSG+99] D. Hix, J.E. Swan, J.L. Gabbard, M. McGee, J. Durbin e T. King. User-centered design and evaluation of a real-time battlefield visualization virtualenvironment. In Virtual Reality, 1999. Proceedings., IEEE, pages 96–103,1999.

50

REFERÊNCIAS

[HW05] P.W. Halligan e D.T. Wade. The Effectiveness Of Rehabilitation For Cogni-tive Deficits. Open University Press, 2005.

[Jul05] J. Jull. Half-Real: Video Games between Real Rules and Fictional Worlds.MIT Press, 2005.

[Kic] Kickstarter. Oculus rift: Step into the game. Disponívelem http://www.kickstarter.com/projects/1523379957/oculus-rift-step-into-the-game, acedido a última vez em 19de Janeiro de 2013.

[Lab11] United States Naval Research Laboratory. Designing a PC Game Engine.NRL Review, Janeiro 2011.

[LHL04] M. D. Lezak, D. B. Howieson e D. W. Loring. Neuropsychological assess-ment. New York: Oxford University Press, 2004.

[LJ02] M. Lewis e J. Jacobson. Game engines in scientific research. Communicati-ons of the ACM, Vol. 45, No. 1, Janeiro 2002.

[LS09] J.R. Lewis e J. Sauro. The factor structure of the system usability scale.5619:94–103, 2009.

[MC06] D. Michael e S. Chen. Serious games: Games that educate, train, and in-form. Boston, MA.: Thomson Course Technology., 2006.

[MDFC11] L. Morgado, C. Dias, O. Fernandes e A. Cunha. Planning of a usability testfor 3d controllers in second life / opensimulator virtual worlds. In SeriousGames and Applications for Health (SeGAH), 2011 IEEE 1st InternationalConference on, pages 1–4, 2011.

[ME05] VSI Risk Management e Ergonomics. Reducing Physical Discomfort andPain Among 3D Computer Users: Research Results . 2005.

[Men10] L.P.V. Mendes. Aplicações da Realidade Virtual na Reabilitação da lesãocerebral adquirida: Estudo das potencialidades de ambientes virtuais na re-abilitação de sinistrados: Revisão sistemática. Psychologica, 3, pp. 45-70,2010.

[Mic] Microsoft. Kinect. Disponível em http://www.xbox.com/en-US/KINECT, acedido a última vez em 19 de Janeiro de 2013.

[Mir12] M.J. Miranda. Virtual City – Jogo Sério para a Reabilitação Neurocog-nitiva: Cidade Virtual. PhD thesis, FEUP - Faculdade de Engenharia daUniversidade do Porto, Julho 2012.

[MOJ11] M. Ma, A. Oikonomou e L.C. Jain. Serious games and edutainment appli-cations. Springer, 2011.

[Mon] Mono. Winforms. Disponível em http://www.mono-project.com/WinForms, acedido a última vez em 19 de Janeiro de 2013.

51

REFERÊNCIAS

[MSS04] A. Mitchell e C. Savill-Smith. The use of computer and video games forlearning: A review of literature. London: Learning and Skills DevelopmentAgency. Learning and Skills Development Agency, 2004.

[NCW00] H. R. Neale, S.V.G. Cobb e J.R. Wilson. Designing virtual learning environ-ments for people with learning disabilities: usability issues. 2000.

[Nie12] J. Nielsen. Usability 101: Introduction to usabi-lity, 2012. http://www.nngroup.com/articles/usability-101-introduction-to-usability/.

[Nina] Nintendo. Wii. Disponível em http://www.nintendo.com/wii, ace-dido a última vez em 19 de Janeiro de 2013.

[Ninb] Nintendo. Wii fit. Disponível em http://wiifit.com/, acedido a últimavez em 19 de Janeiro de 2013.

[NVIa] NVIDIA. Game with nvidia 3d vision. Disponível em http://www.nvidia.com/object/3d-vision-games.html, acedido a última vezem 19 de Janeiro de 2013.

[NVIb] NVIDIA. Physx engine. Disponível em https://developer.nvidia.com/physx, acedido a última vez em 19 de Janeiro de 2013.

[Ogr] Ogre. Object-oriented graphics rendering engine. Disponível em http://www.ogre3d.org/, acedido a última vez em 19 de Janeiro de 2013.

[oUSC] University of Udine’s Scientific Campus. "emergency medical services forthe disabled"virtual environment. Disponível em http://www.neoaxis.com/neoaxis/clients_and_titles/non_game_projects/emsave,acedido a última vez em 10 de Janeiro de 2013.

[RBR05] F.D. Rose, Barbara M. Brooks e Albert A. Rizzo. Virtual reality in braindamage rehabilitation: review. Cyberpsychology & behavior : the impact ofthe Internet, multimedia and virtual reality on behavior and society, Junho2005.

[Res10] IDATE Consulting & Research. Serious games: A 10 billion euro market in2015, 2010. Disponível em http://tinyurl.com/sg-profit, acedidoa última vez em 19 de Janeiro de 2013.

[Reu11] L.B. Baker Reuters. Factbox: A look at the $65 billion video games industry,2011. Disponível em http://tinyurl.com/vg-industry, acedido aúltima vez em 19 de Janeiro de 2013.

[SHR02] M.T. Schultheis, J. Himelstein e A.A. Rizzo. Virtual Reality and Neuropsy-chology: Upgrading the Current Tools. Journal of Head Trauma and Reha-bilitation, pp. 378-394, Outubro 2002.

[Sil] R. Silva. Home theater guide: 3d glasses overview - passivepolarized glasses vs active shutter 3d glasses. disponível emhttp://hometheater.about.com/od/televisionbasics/a/

52

REFERÊNCIAS

3d-Glasses-Passive-Polarized-Vs-Active-Shutter-3d-Glasses.htm.

[SJB07] T. Susi, M. Johannesson e P. Backlund. Serious games – an overview. 2007.

[SLPJ95] R.J. Sbordone, J.C. Liter e P. Pettler-Jennings. Recovery of function fol-lowing severe traumatic brain injury: a retrospective 10-year follow-up.Brain Injury, 9, pp. 285-99, 1995.

[Sof] Bethesda Softworks. Elder scrolls v: Skyrim. Disponível em http://www.elderscrolls.com/skyrim, acedido a última vez em 6 de Maio de 2013.

[ST98] A. Steed e J. Tromp. Experiences with the evaluation of cve applications.1998.

[SUFR06] R. Sandford, M. Ulicsak, K. Facer e T. Rudd. Teaching with games: Usingcommercial off-the-shelf computer games in formal education. Futurelab,2006.

[Teca] Firelight Technologies. Fmod. Disponível em http://www.fmod.org/,acedido a última vez em 19 de Janeiro de 2013.

[Tecb] Unity Technologies. Unity official website. Disponível em http://unity3d.com, acedido a última vez em 19 de Janeiro de 2013.

[TGF+98] D. Tost, S. Grau, M. Ferré, P. García, J. Maria Tormos, A. García e T. Roig.PREVIRNEC: a cognitive telerehabilitation system based on Virtual Envi-ronments. Virtual Rehabilitation International Conference, 2009, 1998.

[TH86] T.L. Turner e R.F. Hellbaum. Lc shutter glasses provide 3-d display forsimulated flight. Inf. Disp., 2(9):22–24, September 1986.

[VR] Oculus VR. Oculus rift headset. Disponível em http://www.oculusvr.com, acedido a última vez em 19 de Janeiro de 2013.

[Wec39] D. Wechsler. The Measurement of Adult Intelligence. Baltimore (MD):Williams & Witkins, 1939.

[Wec58] D. Wechsler. The Measurement and Appraisal of Adult Intelligence. Willi-ams & Wilkins Co., 1958.

[Win] Microsoft Windows. Windows presentation foundation. Disponí-vel em http://msdn.microsoft.com/en-us//library/ms754130.aspx, acedido a última vez em 19 de Janeiro de 2013.

[Wol12] D. Woligroski. 3d display technology: Passive polarized vs. ac-tive shutter, Julho 2012. http://www.tomshardware.com/reviews/2311-gt-passive-3d-review,3242-2.html.

[WY06] A.J. Woods e K.L. Yuen. Compatibility of LCD Monitors with Frame-Sequential Stereoscopic 3D Visualisation . The 6th International Meetingon Information Display and The 5th International Display ManufacturingConference Digest, pg 98-102, Agosto 2006.

53

REFERÊNCIAS

[XBo] Microsoft XBox. Kinect. Disponível em http://www.xbox.com/en-US/KINECT, acedido a última vez em 19 de Janeiro de 2013.

[Zha98] S. Zhai. User Performance in Relation to 3D Input Device Design. ComputerGraphics, November 1998.

[Zur] Esri R&D Center Zurich. Cityengine. Disponível em http://www.esri.com/software/cityengine, acedido a última vez em 19 de Janeiro de2013.

[ZW12] Zackariasson e T. Wilson. The Video Game Industry: Formation, PresentState, and Future. Routledge, first edition, 2012.

54

Anexo A

Anexos da Cidade Virtual

55

Anexos da Cidade Virtual

Figura A.1: Diagrama de Fluxo de atividades da Cidade Virtual, adaptado de [Mir12]

56

Anexos da Cidade Virtual

Figura A.2: Arquitetura da Base de Dados, extraído de [Mir12]

Figura A.3: Arquitetura da Base de Dados - Autocarros, extraído de [Mir12]

57

Anexos da Cidade Virtual

58

Anexo B

Questionário SUS

59

Questionário SUS

Figura B.1: Questionário apresentado aos participantes.

60

Anexo C

Gráficos de análise de dados

Figura C.1: Preferência de interface de acordo com a experiência de interação com computadores.

61

Gráficos de análise de dados

Figura C.2: Preferência de interface de dois grupos etários de igual distribuição.

62

Gráficos de análise de dados

Figura C.3: Preferência de interface dos dois sexos.

63

Gráficos de análise de dados

Figura C.4: Comparação dos valores médios das métricas de performance de acordo com a expe-riência de interação com computadores.

64

Gráficos de análise de dados

Figura C.5: Comparação dos valores médios das métricas de performance em dois grupos etáriosde igual distribuição.

65

Gráficos de análise de dados

Figura C.6: Comparação dos valores médios das métricas de performance por sexo.

66

Gráficos de análise de dados

Figura C.7: Comparação dos tempos médios de cada fase de acordo com a experiência de interaçãocom computadores.

67

Gráficos de análise de dados

Figura C.8: Comparação dos tempos médios de cada fase em dois grupos etários de igual distri-buição.

68

Gráficos de análise de dados

Figura C.9: Comparação dos tempos médios de cada fase por sexo.

69