Relatório Final - ee06243/documentos/pdi/RelatorioFinal.pdf · INOVA+ que tem como objetivo a criação…

Download Relatório Final - ee06243/documentos/pdi/RelatorioFinal.pdf · INOVA+ que tem como objetivo a criação…

Post on 07-Feb-2019

216 views

Category:

Documents

0 download

TRANSCRIPT

Plataforma de apoio terapia de reabilitao e manuteno de doentes de Parkinson

Relatrio Final

Preparao da Dissertao

Filipe Daniel Magalhes Vieira

060503243

Mestrado Integrado em Engenharia Eletrnica e de Computadores: Telecomunicaes,

Eletrnica e Computadores

Orientador Interno: Prof. Miguel Velhote Correia

Orientador na Empresa: Eng. Joo Correia

Para os meus Pais e irm

Filipe Vieira, 2012

Plataforma de apoio terapia de reabilitao

e manuteno de doentes de Parkinson

Trabalho de Preparao da Dissertao realizada no mbito do

Mestrado Integrado em Engenharia Eletrotcnica e de Computadores

Ramo Telecomunicaes, Eletrnica e Computadores

Orientador Interno: Prof. Miguel Velhote Correia

Orientador na Empresa: Eng. Joo Correia

FEUP - Faculdade de Engenharia da Universidade do Porto

Porto 2012

i

Resumo

Esta proposta de dissertao surge na sequncia de uma solicitao da empresa

INOVA+ que tem como objetivo a criao de uma plataforma de apoio terapia de reabilitao

e manuteno de doentes de Parkinson atravs de um ambiente virtual com interao

utilizando o Kinect, para computadores pessoais.

Graas ao avano tecnolgico na rea de captura de movimento (MOCAP), surgiram no

mercado novos equipamentos de captura de movimentos para o uso domstico, mais

concretamente para interao com jogos de vdeo. Assim, obter um destes equipamentos

tornou-se algo acessvel e pouco dispendioso. Neste sentido, a INOVA+ decidiu criar uma

aplicao que possa no s ser usada nas sesses de fisioterapia de paciente com doena de

Parkinson mas tambm pelos familiares e amigos de pessoas que sofram desta doena.

A aplicao um sistema complexo com vrias opes de uso, entre as quais existir

uma opo de jogos ldicos que proporcionem ao paciente a prtica de atividade fsica.

neste contexto que se focar a minha dissertao. Assim, o objetivo principal do projeto

consiste em criar um ou mais jogos ldicos que permitam ao utilizador, pessoa que sofra da

doena de Parkinson, jogar atravs de movimentos do seu corpo.

Palavras-chave: Eletrotcnica, computadores, MOCAP, Kinect, jogos didticos,

tecnologia, fisioterapia e doena de Parkinson

ii

iii

Abstract

This proposal is in response to a request from the INOVA+ Company whose objective is

to create a platform to support rehabilitation and maintenance therapy of Parkinson patients

through a virtual environment with interaction using the Kinect from Microsoft, for personal

computers.

Due to technological advances in the motion capture (MOCAP) area, several new

motion capture equipment to domestic use appeared on the market, specifically for

interacting with videogames. To buy one of these devices has become affordable and

inexpensive. Considering this, INOVA+ decided to create an application that can be used not

only in physical therapy sessions but also in the home with help of the family members and

friends of people that have that disease.

The application will include multiple options of use, among which there will be a choice

of didactic games that provides entertainment and physical activity to the patient. That will be

the focus of dissertation. The main objective of this project is to create one or more didactic

games that allow the patient to play through his/her body movements.

Keywords: Electrical engineering, computers, MOCAP, Kinect, didactic games, technology,

physical therapy and Parkinsons disease

iv

v

Agradecimentos

Este espao dedicado queles que muito contriburam e apoiaram para que este

trabalho fosse realizado. A todos eles deixo o meu agradecimento sincero.

Quero agradecer em primeiro lugar INOVA+ e especialmente ao Eng. Joo Correia

por me terem concedido a oportunidade de realizar esta dissertao.

Ao meu orientador Prof. Miguel Velhote Correia pela sua disponibilidade e orientao,

pelas suas sugestes, criticas e todo o apoio prestado.

Agradeo minha famlia todo o apoio incondicional em todas as decises da minha

vida e pela sua enorme pacincia. Agradeo-lhes com todo o meu amor e carinho pela

educao que me deram e sobretudo pelo seu esforo para que meus objetivos fossem

atingidos. graas a eles que me tornei na pessoa que sou hoje.

Por ltimo, mas no menos importantes, agradeo a todos os meus amigos que fazem

parte da minha vida.

Muito obrigado,

Filipe Vieira

vi

ndice

Resumo ........................................................................................................................................... i

Abstract ........................................................................................................................................ iii

Lista de Figuras ............................................................................................................................ viii

Lista de Tabelas ............................................................................................................................. ix

Abreviaturas e Smbolos................................................................................................................ x

Captulo 1 ...................................................................................................................................... 1

Introduo ..................................................................................................................................... 1

1.1 Contexto ........................................................................................................................ 1

1.2 Objetivos ....................................................................................................................... 2

1.3 Motivao ...................................................................................................................... 2

1.4 Estrutura do documento ............................................................................................... 2

Captulo 2 ...................................................................................................................................... 3

Reviso Bibliogrfica e Estado da Arte .......................................................................................... 3

2.1 MOCAP Captura de Movimentos ............................................................................... 3

2.2 Fisioterapia na Doena de Parkinson ............................................................................ 4

2.3 Projetos Similares .......................................................................................................... 5

Captulo 3 ...................................................................................................................................... 6

O Projeto ....................................................................................................................................... 6

3.1 O problema.................................................................................................................... 6

3.2 Soluo proposta ........................................................................................................... 6

3.3 Arquitetura do sistema ................................................................................................. 7

Captulo 4 ...................................................................................................................................... 8

Meios e Mtodos .......................................................................................................................... 8

4.1 Tecnologias e ferramentas ............................................................................................ 8

4.1.1 Kinect ..................................................................................................................... 8

4.1.2 Linguagens de programao ............................................................................... 11

4.1.3 Ambientes de desenvolvimento ......................................................................... 11

4.1.4 Formatos ............................................................................................................. 14

Captulo 5 .................................................................................................................................... 15

Experincias e Resultados ........................................................................................................... 15

vii

Captulo 6 .................................................................................................................................... 16

Concluses e Trabalho Futuro ..................................................................................................... 16

6.1 Plano de Trabalho ....................................................................................................... 16

6.1.1 Preparao da Dissertao, 2 Semestre 2011/2012: ........................................ 16

6.1.2 Dissertao, 1 Semestre 2012/2013: ................................................................. 16

6.2 Concluso .................................................................................................................... 17

Referncias .................................................................................................................................. 18

viii

Lista de Figuras

Figura 1 - Arquitetura do sistema ................................................................................................. 7

Figura 2 - Viso geral do sensor Kinect para Windows ................................................................. 8

Figura 3 - Sensores de profundidade 3D [3D Depth Sensors] ....................................................... 9

Figura 4 - Distncias suportadas pelo sensor de profundidade .................................................... 9

Figura 5 - Microfones e Motor Tilt do Kinect ............................................................................. 10

Figura 6 - Esquema do funcionamento de uma aplicao em XNA ............................................ 12

Figura 7 - Arquitetura do .NET framework ................................................................................. 13

Figura 8 - Fluxograma do jogo prottipo .................................................................................... 15

Figura 9 - Metodologia a adotar.................................................................................................. 17

ix

Lista de Tabelas

Tabela 1: Formatos suportados pelo XNA ................................................................................... 14

x

Abreviaturas e S mbolos

Lista de abreviaturas

API Application Programming Interface CLR Common Language Runtime

FEUP Faculdade de Engenharia da Universidade do Porto IDE Integrated Development Environment IV Infravermelhos JIT Just In Time Compiler

MIEEC Mestrado Integrado em Engenharia Eletrotcnica e de Computadores MOCAP Motion capture Captura de movimentos

UML Unified Modeling Language WPF Windows Presentation Foundation XML Extensible Markup Language

xi

1

Captulo 1

ntrodua o

Este captulo apresenta os objetivos do trabalho proposto, a motivao e interesse que

justificam a realizao deste projeto e a estrutura e organizao do documento.

O trabalho realizado foi desenvolvido na empresa Inovamais Servios de

Consultadoria em Inovao Tecnolgica, Lda, em parceria com a Faculdade de Engenharia da

Universidade do Porto.

1.1 Contexto

A doena de Parkinson uma das doenas neurolgicas mais comuns dos dias de hoje,

atingindo principalmente pessoas idosas. As suas caractersticas so prprias de cada doente e

por vezes encontramos todos os graus de deteriorao e o doente no apresenta um conjunto

de sintomas tpico. Os principais sintomas verificam-se ao nvel fsico, provocando nos doentes

limitaes nos movimentos. , portanto, importante introduzir na rotina diria dos doentes de

Parkinson atividades fsicas, incluindo acompanhamento com fisioterapia.

O trabalho desenvolvido pelos fisioterapeutas tem sido crucial para um melhoramento

nos movimentos dos pacientes, contudo nem sempre possvel aos fisioterapeutas aplicarem

os seus mtodos fora das sesses de tratamento. A aplicao que se pretende desenvolver

tem esse objetivo, isto , de auxiliar no trabalho dos fisioterapeutas, quer durante as sesses

de fisioterapia quer fora destas.

Com o surgimento de plataformas de interface natural como o Kinect, tornou-se claro

que esta plataforma ofereceria um ambiente de interao que proporcionaria a atividade

fsica, sem necessidade de utilizar outros acessrios, como um comando ou o teclado para

interagir.

Assim, pretende-se que a aplicao use o Kinect como meio de interao que permita

ao utilizador a prtica de exerccio fsico de uma forma descontrada e apreciativa.

2

1.2 Objetivos

O primeiro objetivo do trabalho o estudo e anlise da Doena de Parkinson e das

suas limitaes, assim como os principais movimentos que auxiliem na fisioterapia.

importante conhecer e entender como esta doena afeta as pessoas e como estas interagem

com o mundo real. Apesar da complexidade da doena e dos seus sintomas, esta compreenso

permitir que se possa adaptar esse conhecimento ao mundo digital, adaptando a interao

entre o utilizador e o computador.

O passo seguinte consiste em estudar e conhecer todas as tecnologias a usar para que

se possa tirar o mximo partido destas.

A ltima etapa ser o desenvolvimento de um ou mais jogos ldicos que sero

introduzidos na plataforma de apoio terapia de reabilitao e manuteno de doente de

Parkinson. Esta plataforma permitir executar os jogos e usar um sistema de base de dados

em XML para gravar e/ou carregar dados do progresso de cada utilizador. Esta informao ser

importante para determinar o nvel de dificuldade dos jogos, assim como servir para o

fisioterapeuta acompanhar a progresso e estatsticas da progresso dos pacientes.

1.3 Motivao

Na rea da sade tem sido forte a aposta nas novas tecnologias e com a contnua

melhoria da tecnologia surgem novos projetos e plataformas que ajudam nesse sentido. Usar o

Kinect a mais recente novidade da Microsoft com imenso potencial, na rea da sade como a

fisioterapia, faz todo o sentido e o desafio no podia ser maior.

Colocar-se-o assim em prtica as capacidades adquiridas ao longo da formao

acadmica e principalmente fazendo parte de um projeto inovador e com enorme potencial

que servir para ajudar a melhorar a vida de pessoas com limitaes, como o caso de

doentes de Parkinson.

1.4 Estrutura do documento

Este relatrio encontra-se dividido em 4 captulos. O captulo 1, j introduzido

anteriormente, serve de introduo para que o leitor se enquadre no contexto do trabalho

realizado. No captulo 2 apresentada a reviso da literatura e o levantamento do estado da

arte. No captulo 3 caracterizado os problemas a tratar e as solues propostas, assim como

a arquitetura do projeto. No captulo 4 apresenta-se o plano de trabalho e as tecnologias e

ferramentas a usar.

3

Captulo 2

Revisa o Bibliogra fica e Estado da Arte

Este captulo pretende apresentar o estado da arte que contm conceitos e ideias

fundamentais para uma melhor compreenso do assunto a tratar. Nesse sentido,

documentado o estado atual das tecnologias neste campo, assim como toda a investigao

feita at ao momento na rea.

2.1 MOCAP Captura de Movimentos

Motion capture, ou simplesmente MOCAP, um termo usado para descrever o

processo de gravao de movimentos humanos ou de objetos e transp-los num modelo

digital 2D ou 3D. A captura de movimentos uma tcnica cada vez mais usada nas mais

diversas reas e que tem evoludo bastante nos ltimos anos. Devido sua reproduo realista

de movimentos e sua, cada vez maior preciso, tem-se verificado uma grande utilizao de

tcnicas de captura de movimento nas mais variadas reas, tais como o entretenimento,

produes cinematogrficas, aplicaes mdicas, militarismo, etc.

Existem diferentes tipos de sistemas de captura de movimento, que podem ser

divididos em trs princpios fsicos bsicos: mecnico, tico e eletromagntico.

No sistema mecnico, a pessoa que realiza os movimentos a ser capturados, utiliza um

equipamento com formato humano, constitudo por peas metlicas, que acompanha os

movimentos dessa pessoa. Tambm podem ser utilizadas luvas, braos mecnicos ou modelos

articulveis. As principais vantagens deste sistema so o grande intervalo de captura, o baixo

custo comparado a outro tipo de sistemas, o facto de no haver interferncia da luz ou campos

magnticos, captura em tempo real, portabilidade e incorporao de vrias capturas em

simultneo. No entanto torna-se um sistema complexo devido quantidade de detalhes dos

equipamentos e necessidade de os calibrar com frequncia o que limita os movimentos de

captura.

Quanto ao sistema tico, so colocados marcadores refletores na pessoa que executa

os movimentos. Os movimentos da pessoa so seguidos por vrias cmaras e a informao

obtida por triangulao entre elas. Estes marcadores so fontes de luz, geralmente LEDs. Este

sistema distingue-se pela sua elevada preciso, no existem cabos logo o utilizador pode

executar movimentos mais complexos e permite uma rea de captura maior que outros

sistemas. Os seus pontos fracos so principalmente o seu elevado custo, est propenso a

interferncia de luz e a captura tem de ser feita em ambiente controlado sem muitos

marcadores de reflexo para evitar interferncia nos resultados.

O sistema eletromagntico utiliza campos magnticos gerados por emissores

localizados nas junes do corpo. Esses campos so comparados ao campo magntico da Terra

4

no local onde est a ser medido. Para isso, antes de comear a seo de captura tem-se

sempre que calibrar o equipamento. A informao obtida em tempo real, possvel capturar

movimento de vrias pessoas e relativamente mais barato que o sistema tico. No entanto

no to bom como o tico pois tem menor rea de captura, os movimentos esto limitados

por cabos e esto suscetveis interferncia de campos magnticos. [1],[2],[3]

2.2 Fisioterapia na Doena de Parkinson

A fisioterapia uma rea da sade que procura promover, reduzir e/ou manter o

movimento corporal com o objetivo de minimizar os problemas motores, ajudando o paciente

a manter a independncia para realizar as atividades de vida diria, melhorando a sua

qualidade de vida.

Para os doentes de Parkinson a fisioterapia um complemento muito importante

terapia farmacolgica. Ela promove o exerccio fsico, mantem ativos os msculos e preserva a

mobilidade, o que a torna benfica com a progresso da doena que tende a provocar

sedentarismo e inatividade nos doentes. Com o exerccio, o aumento da mobilidade pode de

facto modificar a progresso da doena e impedir contraturas, alm de ajudar a retardar a

demncia.

Como a Doena de Parkinson progressiva, a prtica de fisioterapia deve ser de longo

prazo, deve mesmo tornar-se parte do estilo de vida dirio. A sua interveno deve comear

to cedo quanto o estabelecimento do diagnstico de modo a prevenir a atrofia muscular, a

fraqueza e a capacidade de exerccio reduzida. A prtica de exerccios repetidos numa fase

inicial da doena permite um controlo motor mais prximo do fisiolgico e adequado quando

houver maior deteriorao na evoluo da doena. [4]

Existem atividades motoras de diferentes graus de dificuldade de execuo que

devero ser levadas em conta e que se consideram importantes para a conceo do jogo. Por

exemplo, mais fcil subir escadas ou andar de bicicleta do que caminhar em terreno plano.

Alguns gestos so particularmente difceis, como o caso de vestir um casaco, sair de um

automvel, virar na cama, assim como efetuar gestos rotativos ou alternados (por exemplo,

mexer uma colher numa tigela, lavar os dentes, limpar os ps em cima de uma esteira, etc.).

Outra grande dificuldade est no fazer duas coisas em simultneo, como transportar objetos e

caminhar, mesmo sendo objetos de pequenas dimenses, ou falar e caminhar. O doente deve

por isso concentrar-se em cada tarefa individualmente e evitar fazer mais que uma ao ao

mesmo tempo. [5]

Mas nem s a atividade fsica pode criar dificuldades ao doente. O humor tem um

papel importante na atividade fsica e na capacidade de execuo de movimentos. Em casos de

depresso os sintomas motores da doena podem aumentar entre 20% a 30%. Outro fator que

considero particularmente importante e que pode ser aproveitado no conceito do jogo a

motivao. A motivao influncia os desempenhos motores, por isso importante

estabelecer objetivos e criar um ambiente apelativo e agradvel para que a tarefa seja do

agrado do paciente. [5]

5

2.3 Projetos Similares

Com o aparecimento de tecnologias de captura de movimento mais acessveis, como o

Kinect, e a disponibilizao das suas API comearam a surgir diversas ideias e projetos em

diferentes reas de aplicao. Apesar de haver algumas aplicaes e jogos destinados ao

suporte na fisioterapia de reabilitao e promoo de atividade fsica, no existe nenhum

projeto publicado focado em auxiliar os doentes de Parkinson. Focar-se- essencialmente na

rea de aplicao de fisioterapia em geral atravs do uso do Kinect.

Na University of Southern California esto a desenvolver um projeto para reabilitao

de pacientes atravs de jogos. A aplicao faz uso da cmara da Microsoft, o Kinect, e tem o

objetivo de promover a atividade fsica em pessoas que tenham sofrido um acidente vascular

cerebral ou uma leso cerebral. Tem uma interface apelativa e simples, atravs de grficos 2D

e 3D. [6]

Outra aplicao surgiu no trabalho conjunto da Microsoft, Avanade e Accenture que

desenvolveram uma maneira de os pacientes interagirem com os seus mdicos, em qualquer

lugar do mundo, sem necessidade de contacto fsico. O objetivo aumentar o nmero de

pacientes dirios dos mdicos e evitar deslocaes que podem comprometer a qualidade de

vida dos pacientes. O paciente faz uso de uma cmara Kinect para que toda a informao

relevante possa ser enviada para os mdicos que podem assim visualizar e analisar sintomas

de forma interativa e tridimensional. Os dados dos pacientes so armazenados de forma

segura para futura referncia. [7]

A Virtualware em colaborao com a Fundao Esclerose Mltipla de Biscaia, Espanha,

desenvolveu o produto VirtualRehab, um sistema de reabilitao que combina ambientes

virtuais 3D e a cmara Kinect para doentes de esclerose mltipla. Esta aplicao contm um

sistema de anlise e registo para elaborao de relatrios que permite ao fisioterapeuta

observar e controlar o progresso de cada paciente. [8]

Alm destas aplicaes existem outros projetos com ideias e propsitos semelhantes

mas que esto apenas em desenvolvimento em projetos e trabalhos universitrios.

6

Captulo 3

O Projeto

3.1 O problema

A doena de Parkinson atualmente uma das doenas neurolgicas mais comuns, que

se caracteriza principalmente por limitao de movimentos e rigidez muscular. Para pessoas

que sofram desta doena, o seu dia-a-dia uma luta constante. Qualquer atividade diria por

mais bsica que possa parecer como andar, levantar da cama ou de uma cadeira, falar, vestir,

escrever, beber gua, etc. pode tornar-se um grave problema para estas pessoas. Por essa

razo indispensvel juntar a fisioterapia como apoio ao tratamento farmacolgico da doena

de Parkinson.

Atravs da fisioterapia o doente torna-se mais ativo e independente, o que diminui os

riscos de complicaes, como as quedas, oferecendo uma melhor qualidade de vida. No

entanto, por diversos motivos, nem todos os doentes de Parkinson podem participar nestas

sesses ou participar tantas vezes como gostariam. neste sentido que a INOVA+ prope a

criao e desenvolvimento de uma aplicao que suporte os fisioterapeutas neste processo

mas que tambm permita que qualquer pessoa com um computador pessoal possa ajudar os

seus familiares e/ou amigos que sofram de doena de Parkinson.

3.2 Soluo proposta

Pretende-se com esta dissertao a criao de jogos ldicos, para computadores

pessoais com sistema operativo Windows, que proporcionem e influenciem a atividade fsica

aos seus utilizadores, atravs da interao natural que o Kinect oferece. Estes jogos devero

ser integrados na plataforma de apoio terapia de reabilitao e manuteno de doentes de

Parkinson, que est a ser desenvolvida pela empresa INOVA+, com diferentes nveis de

dificuldade e que permitam guardar informao relativa ao progresso de cada

paciente/utilizador.

7

3.3 Arquitetura do sistema

Como j referido anteriormente, estes jogos devero ser lanados a partir da aplicao

de apoio terapia de reabilitao e manuteno de doentes de Parkinson. A figura seguinte

apresenta a arquitetura do sistema a ser desenvolvido.

Figura 1: Arquitetura do sistema

Como se pode verificar na figura 1, o jogo lanado atravs da interface da aplicao

de apoio terapia de reabilitao e manuteno de doentes de Parkinson. Esta aplicao alm

de lanar o jogo pretendido, tambm ter a capacidade de configurar o grau de dificuldade do

mesmo ou at ver dados guardados de sesses de fisioterapia anteriores e evoluo do

paciente. Para isso, acede a um ficheiro XML, que por sua vez alterado pelo jogo conforme o

paciente v jogando e progredindo. O paciente interage com o jogo atravs do Kinect, no

entanto a pessoa responsvel, neste caso representada como fisioterapeuta, tem controlo

sobre a aplicao atravs de um teclado e rato.

8

Captulo 4

Meios e Me todos

4.1 Tecnologias e ferramentas

Esta dissertao tem como caracterstica principal o uso do Kinect da Microsoft e

portanto ser desenvolvido sobre algumas das principais plataformas de desenvolvimento de

jogos da Microsoft. Nesta seco so apresentadas essas tecnologias, assim como linguagens

de programao, principais formatos a usar e software complementar com diferentes

objetivos no trabalho.

4.1.1 Kinect

O Kinect um dispositivo para a consola Microsoft Xbox 360 e para o sistema

operativo Windows que permite interagir com o ambiente grfico usando a movimentao do

corpo ou por comandos de voz sem a necessidade de usar teclado, rato, comando ou outro

tipo de controlo tradicional. Assemelha-se a uma WebCam com um formato em barra

horizontal. Contm uma cmara de vdeo RGB de alta resoluo, um conjunto de microfones,

dois sensores infravermelhos de profundidade e um motor tilt que controla o angulo de

inclinao do Kinect.

Figura 2: Viso geral do sensor Kinect para Windows

9

Recentemente a Microsoft lanou o Kinect para Windows que apesar de ser baseado

na mesma tecnologia que o anterior (Kinect para Xbox 360), a sua firmware foi ajustada para

que o seu sensor de profundidade fosse mais abrangente. Este sensor responsvel pela

deteo do corpo esqueletal dos utilizadores, permitindo assim no s a captura de

movimentos como a distino entre vrios utilizadores.

Como se pode verificar na figura 4, o Kinect contm dois sensores de profundidade 3D,

ou 3D Depth Sensors. O projetor de infravermelhos, ou IR Projector, que projeta um campo de

pontos para o cenrio capturado e a cmara de infravermelhos, ou IR Camera, que v esses

pontos no cenrio. O Kinect usa a informao desses pontos para elaborar um mapa de

profundidade de uma imagem para definir a distncia de cada elemento dessa imagem.

Figura 1: Sensores de profundidade 3D [3D Depth Sensors]

No entanto existem algumas limitaes relativas aos sensores de profundidade. Essas

limitaes tm sobretudo a ver com as distncias relativamente ao Kinect. A figura 5 mostra as

distncias que a cmara de profundidade suporta para os seus dois diferentes modos de

execuo.

Figura 2: Distncias suportadas pelo sensor de profundidade

10

Quando os objetos esto muito prximos dos sensores, os pontos criados pelo projetor

de infravermelhos ficam demasiado juntos e o Kinect no consegue medir essas distncias. Isto

tambm ocorre porque os sensores esto em duas posies diferentes. O mesmo acontece se

os objetos estiverem demasiado longe, pois esses pontos tero um maior espaamento entre

si e menor ser a preciso dos sensores. Alm disto, a resoluo de 320x240 pixis.

O Kinect contm tambm uma cmara de vdeo que fornece imagens de alta resoluo

at 1280x1024 pixis. Contm ainda quatro microfones colocados estrategicamente no

dispositivo e um motor que controla a inclinao entre -27 e +27 graus, como se pode observar

na figura 6. [9][10]

Figura 3: Microfones e Motor Tilt do Kinect

11

4.1.2 Linguagens de programao

C#

C Sharp, ou simplesmente C#, uma linguagem de programao da Microsoft

orientada a objetos e com tipagem segura, criada para o desenvolvimento de aplicaes que

executam sobre a arquitetura .NET Framework.

Mais frente neste documento encontra-se explicado e representado como o .NET

Framework se relaciona com o C#.

XML

O XML, Extensible Markup Language, uma linguagem de marcao que define um

conjunto de regras para a codificao de documentos num formato legvel por mquinas e

humanos. A sua principal caracterstica a criao de uma infraestrutura nica para diversas

linguagens. O XML um formato que permite a definio de tags ou delimitadores que

caracterizam os dados e a sua formatao, no depende das plataformas de hardware ou

software e cria documentos de forma hierrquica.

O objetivo de usar o XML neste projeto ser de criar uma base de dados para que seja

possvel guardar informao do progresso e evoluo dos pacientes/utilizadores.

4.1.3 Ambientes de desenvolvimento

Visual Studio 2010

um IDE (Integrated Development Environment) da Microsoft ideal para desenvolver

aplicaes para Windows, especialmente dedicadas ao .NET framework e linguagem C#. o

programa onde ser escrito, compilado e testado a aplicao.

Kinect SDK v1.5

Fornece ferramentas que permitem desenvolver aplicaes com reconhecimento de

gestos e voz, atravs do sensor Kinect e um computador com Windows 7 ou superior. A sua

mais recente verso oferece uma melhoria substancial na deteo do esqueleto,

reconhecimento de voz melhorada, nova API (Application Programming Interface) e a

capacidade de suportar at quatro sensores Kinect conectados a um computador. [11]

XNA

XNA um framework desenvolvido pela Microsoft direcionado para a criao de jogos,

quer para Windows, Xbox 360 e Windows Phone 7. Est atualmente na verso 4.0 e suporta a

linguagem C#.

Tem como classe principal a classe Game e a sua estrutura j inclui quatro mtodos de

raiz: Initialize, LoadContent, Update, UnloadContent e Draw. O esquema seguinte mostra o

funcionamento desses mtodos.

12

Figura 4: Esquema do funcionamento de uma aplicao em XNA

Cada um destes mtodos tem uma funo especfica qual se deve ter em ateno no

momento de estruturao do cdigo da aplicao a desenvolver. De seguida resume-se cada

um dos mtodos.

O primeiro, Initialize, onde ficam todas as operaes de inicializao do jogo, como por

exemplo variveis e outros objetos. O LoadContent chamado aps a execuo do mtodo

Initialize ou em qualquer outro momento que seja necessrio recarregar objetos grficos.

Neste mtodo devero ser carregadas imagens, modelos 3D, sons, etc. O Update um mtodo

que fica em repetio durante a execuo do jogo. o local ideal para colocar toda a lgica do

jogo, como por exemplo, verificar o estado do teclado, mover objetos, etc. O mtodo Draw

semelhante ao Update, mas com o objetivo de fazer a apresentao grfica no ecr. Por fim

temos o UnloadContent que tem como objetivo destruir o contedo carregado

anteriormente e que j no seja necessrio.

.NET Framework 4.0

um componente integral do Windows que inclui um sistema de execuo virtual

chamado Common Language Runtime (CLR) e um conjunto unificado de bibliotecas de classes

que inclui ADO.NET, ASP.NET, Windows Forms e Windows Presentation Foundation (WPF).

[12][13] A verso a ser utilizada ser a mais recente, ou seja, a verso 4.0.

Esta plataforma baseia-se num dos princpios utilizados em Java (Just In Time Compiler

JIT), onde os programas desenvolvidos so duplamente compilados, isto , uma primeira

compilao na distribuio, gerando um cdigo conhecido como bytecodes, e outra na

execuo da aplicao. Para o caso em estudo, pretende-se que a aplicao a ser criada seja

um executvel, na primeira compilao obtm-se um arquivo em Assembly de baixo nvel com

extenso EXE. [14] Quando o programa executado, o arquivo em Assembly carregado para

o CLR que pode tomar vrias opes com base nas informaes nele contido. Se os requisitos

de segurana forem aprovados, o CLR executa a compilao JIT para converter o cdigo em

13

instrues de mquina. A figura 8 ilustra de uma forma resumida as relaes entre o tempo de

compilao e execuo do cdigo fonte C#, bibliotecas do .NET Framework e o CLR. [15]

Figura 5: Arquitetura do .NET framework

Blender

Tambm conhecido por blender3d, um programa computacional que permite a

criao de uma gama diversificada de contedo 2D e 3D. O Blender oferece um amplo espetro

de modelagem, animao, texturizao, composio e edio de vdeo.

Esta aplicao ser usada essencialmente para a criao de objetos tridimensionais a

incluir no jogo.

14

4.1.4 Formatos

Uma vez que a base do projeto ser desenvolvida sobre o XNA, os formatos a utilizador

sero os suportados por esta plataforma. A tabela seguinte mostra os tipos de arquivos

suportados para os diferentes contedos.

Tipo de contedo Tipo de arquivo (formato)

Modelos 3D .x, .fbx

Textura / imagens .bmp, .dds, .dib, .hdr, .jpg, .pfm, .png, .ppm, .tga

udio .xap, .wma, .mp3, .wav

Fontes (texto) .spritefont

Efeitos .fx

Tabela 1: Formatos suportados pelo XNA

15

Captulo 5

Experie ncias e Resultados

Durante o perodo de preparao da dissertao foi possvel criar um prottipo de um

jogo em XNA com interao atravs do Kinect, que foi importante para aprendizagem e

aprofundamento do conhecimento sobre as tecnologias e ferramentas a utilizar.

O jogo tem como objetivo incentivar o utilizador a mover as mos de forma a interagir

com os objetos. Esses objetos so flores que caem do topo do ecr e o jogador deve tocar

nelas de forma a recolher o mximo de flores possvel antes que saiam fora do limite do ecr.

contabilizado o nmero de flores que o utilizador recolhe, isto , toca. De modo a que seja

percetvel ao jogador saber a posio das suas mos feita uma representao com duas

imagens da mo direita e esquerda nas respetivas posies. Quando ocorrem colises so

reproduzidos diferentes sons conforme ocorra com a mo esquerda ou direita.

Est implementado um mtodo de reconhecimento do estado do Kinect, isto , se est

ligado ou no e consequente aviso grfico no ecr.

O seguinte fluxograma descreve o funcionamento do jogo.

Figura 6: Fluxograma do jogo prottipo

16

Captulo 6

Concluso es e Trabalho Futuro

6.1 Plano de Trabalho

De modo a garantir o cumprimento dos principais objetivos do projeto, apresenta-se

de seguida o planeamento dos trabalhos divididos em duas fases: a primeira fase a decorrer ao

longo do 2 semestre de 2012 na unidade curricular de Preparao da Dissertao e a segunda

fase a decorrer inteiramente inserida na Dissertao no ano letivo seguinte, 2012/2013.

6.1.1 Preparao da Dissertao, 2 Semestre 2011/2012:

Primeiros contatos com a empresa e com ambos os orientadores de modo

a analisar e planificar o projeto

Criao do website para a tese

Estudo da Doena de Parkinson e principais limitaes fsicas provocadas

pela doena

Estudo da linguagem C#

Introduo e estudo do Kinect

Introduo ao XNA

Reviso da literatura e estado da arte

6.1.2 Dissertao, 1 Semestre 2012/2013:

Incio de trabalhos na empresa e ambientao ao novo ambiente de

trabalho

Introduo ao ambiente grfico 3D

Continuao ao desenvolvimento da plataforma

Implementao dos jogos na aplicao

Testes finais da aplicao

Desenvolvimento do documento final da dissertao

17

6.2 Concluso

Foi feito um estudo relativo doena de Parkinson e s principais limitaes fsicas

provocadas nos doentes. Este estudo foi realizado atravs de pesquisa em websites

apropriados e destinados divulgao e tratamento da doena, e de leitura de artigos

cientficos. Compreendida melhor a doena de Parkinson, deu-se introduo ao estudo

aprofundado das tecnologias a utilizar, nomeadamente linguagens de programao, software

e familiarizao com o prprio Kinect. Aps estas duas fases de inicializao e compreenso do

problema, aplicaram-se os conhecimentos adquiridos e desenvolveu-se um jogo prottipo que

utiliza o Kinect para interagir com um ambiente grfico a 2D, para assim compreender melhor

as ferramentas a utilizar. Aps esta fase, abordou-se a tecnologia 3D, a sua modelao e

aplicao em XNA. O desafio seguinte consiste em movimentar um avatar, figura

tridimensional, atravs da interao natural do Kinect.

Posteriormente pretende-se produzir um jogo ldico com grficos tridimensionais que

proporcionem aos utilizadores uma experincia fsica, influenciando de forma positiva a sua

fisioterapia.

A estratgia de abordagem ao problema est representada na figura seguinte:

Figura 7: Metodologia a adotar

18

Refere ncias

[1] Maureen Furniss, MIT Communications Forum. Motion Capture. Disponvel em:

http://web.mit.edu/comm-forum/papers/furniss.html, acedido a ltima vez em 7 de Maio de

2012.

[2] Joo Victor Boechat Gomide, David Lunardi Flam, Daniel Pacheco , Arnaldo de Albuquerque

Arajo (2009). Captura de Movimento e Animao de Personagens em Jogos. Faculdade de

Cincias Empresariais, Universidade FUMEC, Belo Horizonte, Brasil.

[3] Wikipedia, Motion capture (2012). Disponvel em:

http://en.wikipedia.org/wiki/Motion_capture, acedido a ltima vez em 7 de Maio de 2012.

[4] Medeiros, R. (2011). O Tratamento Fisioteraputico na Doena de Parkinson. Trabalho

realizado no Laboratrio de Fisiologia do Exerccio do Centro Universitrio Metodista IPA,

Porto Alegre, Brasil.

[5] Associao Portuguesa de Doentes de Parkinson, ed. lit.; Sociedade Portuguesa de

Neurologia, ed. lit.; Levy, Alice, trad.; Ferreira, Joaquim, trad. (2005). Manual do Doente de

Parkinson. Lisboa.

[6] USC - Institute for Creative Technologies, Microsoft Kinect/Primesense Sensing Systems for

Virtual Rehabilitation. Disponvel em: http://ict.usc.edu/events/belinda-lange-skip-rizzo-tamar-

weiss-microsoft-kinectprimesense-sensing-systems-for-virtual-rehabilitation/, acedido a ltima

vez em 15 de Maio de 2012.

[7] Accenture, Accenture and Avanade Solutions Showcase at Microsoft. Disponvel em:

http://www.showcase.avanade.com/TopicDetail.aspx?TopicID=6ecbc380-18e0-47d8-87a8-

3f3c6631a446, acedido a ltima vez em 20 de Maio de 2012.

[8] VirtualRehab, Patient Rehabilitation Using Kinect Technology. Disponvel em:

http://virtualrehab.info/en/product/, acedido a ltima vez em 20 de Maio de 2012.

[9] Miles, R. (2012). Using Kinect for Windows with XNA, Edition 1.1.

[10] Pires, B. (2012). Kinect Hack, Programar. 33: 6-7.

[11] Microsoft, Kinect for Windows. Disponvel em:

http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspx, acedido a ltima

vez em 22 de Junho de 2012.

[12] MSDN, Microsoft Developer Network, .NET Framework 4. Disponvel em:

http://msdn.microsoft.com/en-us/library/w0x726c2.aspx, acedido a ltima vez em 26 de

Junho de 2012.

[13] MSDN, Microsoft Developer Network, .NET Framework Conceptual Overview. Disponvel

em: http://msdn.microsoft.com/pt-br/library/zw4w595w, acedido a ltima vez em 26 de

Junho de 2012.

http://web.mit.edu/comm-forum/papers/furniss.htmlhttp://en.wikipedia.org/wiki/Motion_capturehttp://ict.usc.edu/events/belinda-lange-skip-rizzo-tamar-weiss-microsoft-kinectprimesense-sensing-systems-for-virtual-rehabilitation/http://ict.usc.edu/events/belinda-lange-skip-rizzo-tamar-weiss-microsoft-kinectprimesense-sensing-systems-for-virtual-rehabilitation/http://www.showcase.avanade.com/TopicDetail.aspx?TopicID=6ecbc380-18e0-47d8-87a8-3f3c6631a446http://www.showcase.avanade.com/TopicDetail.aspx?TopicID=6ecbc380-18e0-47d8-87a8-3f3c6631a446http://virtualrehab.info/en/product/http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspxhttp://msdn.microsoft.com/en-us/library/w0x726c2.aspxhttp://msdn.microsoft.com/pt-br/library/zw4w595w

19

[14] Wikipedia, Microsoft .NET. Disponvel em: http://pt.wikipedia.org/wiki/Microsoft_.NET,

acedido a ltima vez em 26 de Junho de 2012.

[15] MSDN, Microsoft Developer Network, Introduction to the C# Language and the .NET

Framework. Disponvel em: http://msdn.microsoft.com/library/z1zx9t92, acedido a ltima

vez em 12 de Junho de 2012.

http://pt.wikipedia.org/wiki/Microsoft_.NEThttp://msdn.microsoft.com/library/z1zx9t92

Recommended

View more >