Relatrio Final - ee06243/documentos/pdi/RelatorioFinal.pdf INOVA+ que tem como objetivo a criao

Download Relatrio Final - ee06243/documentos/pdi/RelatorioFinal.pdf INOVA+ que tem como objetivo a criao

Post on 07-Feb-2019

212 views

Category:

Documents

0 download

TRANSCRIPT

Plataforma de apoio terapia de reabilitao e manuteno de doentes de Parkinson Relatrio Final Preparao da Dissertao Filipe Daniel Magalhes Vieira 060503243 Mestrado Integrado em Engenharia Eletrnica e de Computadores: Telecomunicaes, Eletrnica e Computadores Orientador Interno: Prof. Miguel Velhote Correia Orientador na Empresa: Eng. Joo Correia Para os meus Pais e irm Filipe Vieira, 2012 Plataforma de apoio terapia de reabilitao e manuteno de doentes de Parkinson Trabalho de Preparao da Dissertao realizada no mbito do Mestrado Integrado em Engenharia Eletrotcnica e de Computadores Ramo Telecomunicaes, Eletrnica e Computadores Orientador Interno: Prof. Miguel Velhote Correia Orientador na Empresa: Eng. Joo Correia FEUP - Faculdade de Engenharia da Universidade do Porto Porto 2012i Resumo Esta proposta de dissertao surge na sequncia de uma solicitao da empresa INOVA+ que tem como objetivo a criao de uma plataforma de apoio terapia de reabilitao e manuteno de doentes de Parkinson atravs de um ambiente virtual com interao utilizando o Kinect, para computadores pessoais. Graas ao avano tecnolgico na rea de captura de movimento (MOCAP), surgiram no mercado novos equipamentos de captura de movimentos para o uso domstico, mais concretamente para interao com jogos de vdeo. Assim, obter um destes equipamentos tornou-se algo acessvel e pouco dispendioso. Neste sentido, a INOVA+ decidiu criar uma aplicao que possa no s ser usada nas sesses de fisioterapia de paciente com doena de Parkinson mas tambm pelos familiares e amigos de pessoas que sofram desta doena. A aplicao um sistema complexo com vrias opes de uso, entre as quais existir uma opo de jogos ldicos que proporcionem ao paciente a prtica de atividade fsica. neste contexto que se focar a minha dissertao. Assim, o objetivo principal do projeto consiste em criar um ou mais jogos ldicos que permitam ao utilizador, pessoa que sofra da doena de Parkinson, jogar atravs de movimentos do seu corpo. Palavras-chave: Eletrotcnica, computadores, MOCAP, Kinect, jogos didticos, tecnologia, fisioterapia e doena de Parkinson ii iii Abstract This proposal is in response to a request from the INOVA+ Company whose objective is to create a platform to support rehabilitation and maintenance therapy of Parkinson patients through a virtual environment with interaction using the Kinect from Microsoft, for personal computers. Due to technological advances in the motion capture (MOCAP) area, several new motion capture equipment to domestic use appeared on the market, specifically for interacting with videogames. To buy one of these devices has become affordable and inexpensive. Considering this, INOVA+ decided to create an application that can be used not only in physical therapy sessions but also in the home with help of the family members and friends of people that have that disease. The application will include multiple options of use, among which there will be a choice of didactic games that provides entertainment and physical activity to the patient. That will be the focus of dissertation. The main objective of this project is to create one or more didactic games that allow the patient to play through his/her body movements. Keywords: Electrical engineering, computers, MOCAP, Kinect, didactic games, technology, physical therapy and Parkinsons disease iv v Agradecimentos Este espao dedicado queles que muito contriburam e apoiaram para que este trabalho fosse realizado. A todos eles deixo o meu agradecimento sincero. Quero agradecer em primeiro lugar INOVA+ e especialmente ao Eng. Joo Correia por me terem concedido a oportunidade de realizar esta dissertao. Ao meu orientador Prof. Miguel Velhote Correia pela sua disponibilidade e orientao, pelas suas sugestes, criticas e todo o apoio prestado. Agradeo minha famlia todo o apoio incondicional em todas as decises da minha vida e pela sua enorme pacincia. Agradeo-lhes com todo o meu amor e carinho pela educao que me deram e sobretudo pelo seu esforo para que meus objetivos fossem atingidos. graas a eles que me tornei na pessoa que sou hoje. Por ltimo, mas no menos importantes, agradeo a todos os meus amigos que fazem parte da minha vida. Muito obrigado, Filipe Vieira vi ndice Resumo ........................................................................................................................................... i Abstract ........................................................................................................................................ iii Lista de Figuras ............................................................................................................................ viii Lista de Tabelas ............................................................................................................................. ix Abreviaturas e Smbolos................................................................................................................ x Captulo 1 ...................................................................................................................................... 1 Introduo ..................................................................................................................................... 1 1.1 Contexto ........................................................................................................................ 1 1.2 Objetivos ....................................................................................................................... 2 1.3 Motivao ...................................................................................................................... 2 1.4 Estrutura do documento ............................................................................................... 2 Captulo 2 ...................................................................................................................................... 3 Reviso Bibliogrfica e Estado da Arte .......................................................................................... 3 2.1 MOCAP Captura de Movimentos ............................................................................... 3 2.2 Fisioterapia na Doena de Parkinson ............................................................................ 4 2.3 Projetos Similares .......................................................................................................... 5 Captulo 3 ...................................................................................................................................... 6 O Projeto ....................................................................................................................................... 6 3.1 O problema.................................................................................................................... 6 3.2 Soluo proposta ........................................................................................................... 6 3.3 Arquitetura do sistema ................................................................................................. 7 Captulo 4 ...................................................................................................................................... 8 Meios e Mtodos .......................................................................................................................... 8 4.1 Tecnologias e ferramentas ............................................................................................ 8 4.1.1 Kinect ..................................................................................................................... 8 4.1.2 Linguagens de programao ............................................................................... 11 4.1.3 Ambientes de desenvolvimento ......................................................................... 11 4.1.4 Formatos ............................................................................................................. 14 Captulo 5 .................................................................................................................................... 15 Experincias e Resultados ........................................................................................................... 15 vii Captulo 6 .................................................................................................................................... 16 Concluses e Trabalho Futuro ..................................................................................................... 16 6.1 Plano de Trabalho ....................................................................................................... 16 6.1.1 Preparao da Dissertao, 2 Semestre 2011/2012: ........................................ 16 6.1.2 Dissertao, 1 Semestre 2012/2013: ................................................................. 16 6.2 Concluso .................................................................................................................... 17 Referncias .................................................................................................................................. 18 viii Lista de Figuras Figura 1 - Arquitetura do sistema ................................................................................................. 7 Figura 2 - Viso geral do sensor Kinect para Windows ................................................................. 8 Figura 3 - Sensores de profundidade 3D [3D Depth Sensors] ....................................................... 9 Figura 4 - Distncias suportadas pelo sensor de profundidade .................................................... 9 Figura 5 - Microfones e Motor Tilt do Kinect ............................................................................. 10 Figura 6 - Esquema do funcionamento de uma aplicao em XNA ............................................ 12 Figura 7 - Arquitetura do .NET framework ................................................................................. 13 Figura 8 - Fluxograma do jogo prottipo .................................................................................... 15 Figura 9 - Metodologia a adotar.................................................................................................. 17 ix Lista de Tabelas Tabela 1: Formatos suportados pelo XNA ................................................................................... 14 x Abreviaturas e S mbolos Lista de abreviaturas API Application Programming Interface CLR Common Language Runtime FEUP Faculdade de Engenharia da Universidade do Porto IDE Integrated Development Environment IV Infravermelhos JIT Just In Time Compiler MIEEC Mestrado Integrado em Engenharia Eletrotcnica e de Computadores MOCAP Motion capture Captura de movimentos UML Unified Modeling Language WPF Windows Presentation Foundation XML Extensible Markup Language xi 1 Captulo 1 ntrodua o Este captulo apresenta os objetivos do trabalho proposto, a motivao e interesse que justificam a realizao deste projeto e a estrutura e organizao do documento. O trabalho realizado foi desenvolvido na empresa Inovamais Servios de Consultadoria em Inovao Tecnolgica, Lda, em parceria com a Faculdade de Engenharia da Universidade do Porto. 1.1 Contexto A doena de Parkinson uma das doenas neurolgicas mais comuns dos dias de hoje, atingindo principalmente pessoas idosas. As suas caractersticas so prprias de cada doente e por vezes encontramos todos os graus de deteriorao e o doente no apresenta um conjunto de sintomas tpico. Os principais sintomas verificam-se ao nvel fsico, provocando nos doentes limitaes nos movimentos. , portanto, importante introduzir na rotina diria dos doentes de Parkinson atividades fsicas, incluindo acompanhamento com fisioterapia. O trabalho desenvolvido pelos fisioterapeutas tem sido crucial para um melhoramento nos movimentos dos pacientes, contudo nem sempre possvel aos fisioterapeutas aplicarem os seus mtodos fora das sesses de tratamento. A aplicao que se pretende desenvolver tem esse objetivo, isto , de auxiliar no trabalho dos fisioterapeutas, quer durante as sesses de fisioterapia quer fora destas. Com o surgimento de plataformas de interface natural como o Kinect, tornou-se claro que esta plataforma ofereceria um ambiente de interao que proporcionaria a atividade fsica, sem necessidade de utilizar outros acessrios, como um comando ou o teclado para interagir. Assim, pretende-se que a aplicao use o Kinect como meio de interao que permita ao utilizador a prtica de exerccio fsico de uma forma descontrada e apreciativa. 2 1.2 Objetivos O primeiro objetivo do trabalho o estudo e anlise da Doena de Parkinson e das suas limitaes, assim como os principais movimentos que auxiliem na fisioterapia. importante conhecer e entender como esta doena afeta as pessoas e como estas interagem com o mundo real. Apesar da complexidade da doena e dos seus sintomas, esta compreenso permitir que se possa adaptar esse conhecimento ao mundo digital, adaptando a interao entre o utilizador e o computador. O passo seguinte consiste em estudar e conhecer todas as tecnologias a usar para que se possa tirar o mximo partido destas. A ltima etapa ser o desenvolvimento de um ou mais jogos ldicos que sero introduzidos na plataforma de apoio terapia de reabilitao e manuteno de doente de Parkinson. Esta plataforma permitir executar os jogos e usar um sistema de base de dados em XML para gravar e/ou carregar dados do progresso de cada utilizador. Esta informao ser importante para determinar o nvel de dificuldade dos jogos, assim como servir para o fisioterapeuta acompanhar a progresso e estatsticas da progresso dos pacientes. 1.3 Motivao Na rea da sade tem sido forte a aposta nas novas tecnologias e com a contnua melhoria da tecnologia surgem novos projetos e plataformas que ajudam nesse sentido. Usar o Kinect a mais recente novidade da Microsoft com imenso potencial, na rea da sade como a fisioterapia, faz todo o sentido e o desafio no podia ser maior. Colocar-se-o assim em prtica as capacidades adquiridas ao longo da formao acadmica e principalmente fazendo parte de um projeto inovador e com enorme potencial que servir para ajudar a melhorar a vida de pessoas com limitaes, como o caso de doentes de Parkinson. 1.4 Estrutura do documento Este relatrio encontra-se dividido em 4 captulos. O captulo 1, j introduzido anteriormente, serve de introduo para que o leitor se enquadre no contexto do trabalho realizado. No captulo 2 apresentada a reviso da literatura e o levantamento do estado da arte. No captulo 3 caracterizado os problemas a tratar e as solues propostas, assim como a arquitetura do projeto. No captulo 4 apresenta-se o plano de trabalho e as tecnologias e ferramentas a usar. 3 Captulo 2 Revisa o Bibliogra fica e Estado da Arte Este captulo pretende apresentar o estado da arte que contm conceitos e ideias fundamentais para uma melhor compreenso do assunto a tratar. Nesse sentido, documentado o estado atual das tecnologias neste campo, assim como toda a investigao feita at ao momento na rea. 2.1 MOCAP Captura de Movimentos Motion capture, ou simplesmente MOCAP, um termo usado para descrever o processo de gravao de movimentos humanos ou de objetos e transp-los num modelo digital 2D ou 3D. A captura de movimentos uma tcnica cada vez mais usada nas mais diversas reas e que tem evoludo bastante nos ltimos anos. Devido sua reproduo realista de movimentos e sua, cada vez maior preciso, tem-se verificado uma grande utilizao de tcnicas de captura de movimento nas mais variadas reas, tais como o entretenimento, produes cinematogrficas, aplicaes mdicas, militarismo, etc. Existem diferentes tipos de sistemas de captura de movimento, que podem ser divididos em trs princpios fsicos bsicos: mecnico, tico e eletromagntico. No sistema mecnico, a pessoa que realiza os movimentos a ser capturados, utiliza um equipamento com formato humano, constitudo por peas metlicas, que acompanha os movimentos dessa pessoa. Tambm podem ser utilizadas luvas, braos mecnicos ou modelos articulveis. As principais vantagens deste sistema so o grande intervalo de captura, o baixo custo comparado a outro tipo de sistemas, o facto de no haver interferncia da luz ou campos magnticos, captura em tempo real, portabilidade e incorporao de vrias capturas em simultneo. No entanto torna-se um sistema complexo devido quantidade de detalhes dos equipamentos e necessidade de os calibrar com frequncia o que limita os movimentos de captura. Quanto ao sistema tico, so colocados marcadores refletores na pessoa que executa os movimentos. Os movimentos da pessoa so seguidos por vrias cmaras e a informao obtida por triangulao entre elas. Estes marcadores so fontes de luz, geralmente LEDs. Este sistema distingue-se pela sua elevada preciso, no existem cabos logo o utilizador pode executar movimentos mais complexos e permite uma rea de captura maior que outros sistemas. Os seus pontos fracos so principalmente o seu elevado custo, est propenso a interferncia de luz e a captura tem de ser feita em ambiente controlado sem muitos marcadores de reflexo para evitar interferncia nos resultados. O sistema eletromagntico utiliza campos magnticos gerados por emissores localizados nas junes do corpo. Esses campos so comparados ao campo magntico da Terra 4 no local onde est a ser medido. Para isso, antes de comear a seo de captura tem-se sempre que calibrar o equipamento. A informao obtida em tempo real, possvel capturar movimento de vrias pessoas e relativamente mais barato que o sistema tico. No entanto no to bom como o tico pois tem menor rea de captura, os movimentos esto limitados por cabos e esto suscetveis interferncia de campos magnticos. [1],[2],[3] 2.2 Fisioterapia na Doena de Parkinson A fisioterapia uma rea da sade que procura promover, reduzir e/ou manter o movimento corporal com o objetivo de minimizar os problemas motores, ajudando o paciente a manter a independncia para realizar as atividades de vida diria, melhorando a sua qualidade de vida. Para os doentes de Parkinson a fisioterapia um complemento muito importante terapia farmacolgica. Ela promove o exerccio fsico, mantem ativos os msculos e preserva a mobilidade, o que a torna benfica com a progresso da doena que tende a provocar sedentarismo e inatividade nos doentes. Com o exerccio, o aumento da mobilidade pode de facto modificar a progresso da doena e impedir contraturas, alm de ajudar a retardar a demncia. Como a Doena de Parkinson progressiva, a prtica de fisioterapia deve ser de longo prazo, deve mesmo tornar-se parte do estilo de vida dirio. A sua interveno deve comear to cedo quanto o estabelecimento do diagnstico de modo a prevenir a atrofia muscular, a fraqueza e a capacidade de exerccio reduzida. A prtica de exerccios repetidos numa fase inicial da doena permite um controlo motor mais prximo do fisiolgico e adequado quando houver maior deteriorao na evoluo da doena. [4] Existem atividades motoras de diferentes graus de dificuldade de execuo que devero ser levadas em conta e que se consideram importantes para a conceo do jogo. Por exemplo, mais fcil subir escadas ou andar de bicicleta do que caminhar em terreno plano. Alguns gestos so particularmente difceis, como o caso de vestir um casaco, sair de um automvel, virar na cama, assim como efetuar gestos rotativos ou alternados (por exemplo, mexer uma colher numa tigela, lavar os dentes, limpar os ps em cima de uma esteira, etc.). Outra grande dificuldade est no fazer duas coisas em simultneo, como transportar objetos e caminhar, mesmo sendo objetos de pequenas dimenses, ou falar e caminhar. O doente deve por isso concentrar-se em cada tarefa individualmente e evitar fazer mais que uma ao ao mesmo tempo. [5] Mas nem s a atividade fsica pode criar dificuldades ao doente. O humor tem um papel importante na atividade fsica e na capacidade de execuo de movimentos. Em casos de depresso os sintomas motores da doena podem aumentar entre 20% a 30%. Outro fator que considero particularmente importante e que pode ser aproveitado no conceito do jogo a motivao. A motivao influncia os desempenhos motores, por isso importante estabelecer objetivos e criar um ambiente apelativo e agradvel para que a tarefa seja do agrado do paciente. [5] 5 2.3 Projetos Similares Com o aparecimento de tecnologias de captura de movimento mais acessveis, como o Kinect, e a disponibilizao das suas API comearam a surgir diversas ideias e projetos em diferentes reas de aplicao. Apesar de haver algumas aplicaes e jogos destinados ao suporte na fisioterapia de reabilitao e promoo de atividade fsica, no existe nenhum projeto publicado focado em auxiliar os doentes de Parkinson. Focar-se- essencialmente na rea de aplicao de fisioterapia em geral atravs do uso do Kinect. Na University of Southern California esto a desenvolver um projeto para reabilitao de pacientes atravs de jogos. A aplicao faz uso da cmara da Microsoft, o Kinect, e tem o objetivo de promover a atividade fsica em pessoas que tenham sofrido um acidente vascular cerebral ou uma leso cerebral. Tem uma interface apelativa e simples, atravs de grficos 2D e 3D. [6] Outra aplicao surgiu no trabalho conjunto da Microsoft, Avanade e Accenture que desenvolveram uma maneira de os pacientes interagirem com os seus mdicos, em qualquer lugar do mundo, sem necessidade de contacto fsico. O objetivo aumentar o nmero de pacientes dirios dos mdicos e evitar deslocaes que podem comprometer a qualidade de vida dos pacientes. O paciente faz uso de uma cmara Kinect para que toda a informao relevante possa ser enviada para os mdicos que podem assim visualizar e analisar sintomas de forma interativa e tridimensional. Os dados dos pacientes so armazenados de forma segura para futura referncia. [7] A Virtualware em colaborao com a Fundao Esclerose Mltipla de Biscaia, Espanha, desenvolveu o produto VirtualRehab, um sistema de reabilitao que combina ambientes virtuais 3D e a cmara Kinect para doentes de esclerose mltipla. Esta aplicao contm um sistema de anlise e registo para elaborao de relatrios que permite ao fisioterapeuta observar e controlar o progresso de cada paciente. [8] Alm destas aplicaes existem outros projetos com ideias e propsitos semelhantes mas que esto apenas em desenvolvimento em projetos e trabalhos universitrios. 6 Captulo 3 O Projeto 3.1 O problema A doena de Parkinson atualmente uma das doenas neurolgicas mais comuns, que se caracteriza principalmente por limitao de movimentos e rigidez muscular. Para pessoas que sofram desta doena, o seu dia-a-dia uma luta constante. Qualquer atividade diria por mais bsica que possa parecer como andar, levantar da cama ou de uma cadeira, falar, vestir, escrever, beber gua, etc. pode tornar-se um grave problema para estas pessoas. Por essa razo indispensvel juntar a fisioterapia como apoio ao tratamento farmacolgico da doena de Parkinson. Atravs da fisioterapia o doente torna-se mais ativo e independente, o que diminui os riscos de complicaes, como as quedas, oferecendo uma melhor qualidade de vida. No entanto, por diversos motivos, nem todos os doentes de Parkinson podem participar nestas sesses ou participar tantas vezes como gostariam. neste sentido que a INOVA+ prope a criao e desenvolvimento de uma aplicao que suporte os fisioterapeutas neste processo mas que tambm permita que qualquer pessoa com um computador pessoal possa ajudar os seus familiares e/ou amigos que sofram de doena de Parkinson. 3.2 Soluo proposta Pretende-se com esta dissertao a criao de jogos ldicos, para computadores pessoais com sistema operativo Windows, que proporcionem e influenciem a atividade fsica aos seus utilizadores, atravs da interao natural que o Kinect oferece. Estes jogos devero ser integrados na plataforma de apoio terapia de reabilitao e manuteno de doentes de Parkinson, que est a ser desenvolvida pela empresa INOVA+, com diferentes nveis de dificuldade e que permitam guardar informao relativa ao progresso de cada paciente/utilizador. 7 3.3 Arquitetura do sistema Como j referido anteriormente, estes jogos devero ser lanados a partir da aplicao de apoio terapia de reabilitao e manuteno de doentes de Parkinson. A figura seguinte apresenta a arquitetura do sistema a ser desenvolvido. Figura 1: Arquitetura do sistema Como se pode verificar na figura 1, o jogo lanado atravs da interface da aplicao de apoio terapia de reabilitao e manuteno de doentes de Parkinson. Esta aplicao alm de lanar o jogo pretendido, tambm ter a capacidade de configurar o grau de dificuldade do mesmo ou at ver dados guardados de sesses de fisioterapia anteriores e evoluo do paciente. Para isso, acede a um ficheiro XML, que por sua vez alterado pelo jogo conforme o paciente v jogando e progredindo. O paciente interage com o jogo atravs do Kinect, no entanto a pessoa responsvel, neste caso representada como fisioterapeuta, tem controlo sobre a aplicao atravs de um teclado e rato. 8 Captulo 4 Meios e Me todos 4.1 Tecnologias e ferramentas Esta dissertao tem como caracterstica principal o uso do Kinect da Microsoft e portanto ser desenvolvido sobre algumas das principais plataformas de desenvolvimento de jogos da Microsoft. Nesta seco so apresentadas essas tecnologias, assim como linguagens de programao, principais formatos a usar e software complementar com diferentes objetivos no trabalho. 4.1.1 Kinect O Kinect um dispositivo para a consola Microsoft Xbox 360 e para o sistema operativo Windows que permite interagir com o ambiente grfico usando a movimentao do corpo ou por comandos de voz sem a necessidade de usar teclado, rato, comando ou outro tipo de controlo tradicional. Assemelha-se a uma WebCam com um formato em barra horizontal. Contm uma cmara de vdeo RGB de alta resoluo, um conjunto de microfones, dois sensores infravermelhos de profundidade e um motor tilt que controla o angulo de inclinao do Kinect. Figura 2: Viso geral do sensor Kinect para Windows 9 Recentemente a Microsoft lanou o Kinect para Windows que apesar de ser baseado na mesma tecnologia que o anterior (Kinect para Xbox 360), a sua firmware foi ajustada para que o seu sensor de profundidade fosse mais abrangente. Este sensor responsvel pela deteo do corpo esqueletal dos utilizadores, permitindo assim no s a captura de movimentos como a distino entre vrios utilizadores. Como se pode verificar na figura 4, o Kinect contm dois sensores de profundidade 3D, ou 3D Depth Sensors. O projetor de infravermelhos, ou IR Projector, que projeta um campo de pontos para o cenrio capturado e a cmara de infravermelhos, ou IR Camera, que v esses pontos no cenrio. O Kinect usa a informao desses pontos para elaborar um mapa de profundidade de uma imagem para definir a distncia de cada elemento dessa imagem. Figura 1: Sensores de profundidade 3D [3D Depth Sensors] No entanto existem algumas limitaes relativas aos sensores de profundidade. Essas limitaes tm sobretudo a ver com as distncias relativamente ao Kinect. A figura 5 mostra as distncias que a cmara de profundidade suporta para os seus dois diferentes modos de execuo. Figura 2: Distncias suportadas pelo sensor de profundidade 10 Quando os objetos esto muito prximos dos sensores, os pontos criados pelo projetor de infravermelhos ficam demasiado juntos e o Kinect no consegue medir essas distncias. Isto tambm ocorre porque os sensores esto em duas posies diferentes. O mesmo acontece se os objetos estiverem demasiado longe, pois esses pontos tero um maior espaamento entre si e menor ser a preciso dos sensores. Alm disto, a resoluo de 320x240 pixis. O Kinect contm tambm uma cmara de vdeo que fornece imagens de alta resoluo at 1280x1024 pixis. Contm ainda quatro microfones colocados estrategicamente no dispositivo e um motor que controla a inclinao entre -27 e +27 graus, como se pode observar na figura 6. [9][10] Figura 3: Microfones e Motor Tilt do Kinect 11 4.1.2 Linguagens de programao C# C Sharp, ou simplesmente C#, uma linguagem de programao da Microsoft orientada a objetos e com tipagem segura, criada para o desenvolvimento de aplicaes que executam sobre a arquitetura .NET Framework. Mais frente neste documento encontra-se explicado e representado como o .NET Framework se relaciona com o C#. XML O XML, Extensible Markup Language, uma linguagem de marcao que define um conjunto de regras para a codificao de documentos num formato legvel por mquinas e humanos. A sua principal caracterstica a criao de uma infraestrutura nica para diversas linguagens. O XML um formato que permite a definio de tags ou delimitadores que caracterizam os dados e a sua formatao, no depende das plataformas de hardware ou software e cria documentos de forma hierrquica. O objetivo de usar o XML neste projeto ser de criar uma base de dados para que seja possvel guardar informao do progresso e evoluo dos pacientes/utilizadores. 4.1.3 Ambientes de desenvolvimento Visual Studio 2010 um IDE (Integrated Development Environment) da Microsoft ideal para desenvolver aplicaes para Windows, especialmente dedicadas ao .NET framework e linguagem C#. o programa onde ser escrito, compilado e testado a aplicao. Kinect SDK v1.5 Fornece ferramentas que permitem desenvolver aplicaes com reconhecimento de gestos e voz, atravs do sensor Kinect e um computador com Windows 7 ou superior. A sua mais recente verso oferece uma melhoria substancial na deteo do esqueleto, reconhecimento de voz melhorada, nova API (Application Programming Interface) e a capacidade de suportar at quatro sensores Kinect conectados a um computador. [11] XNA XNA um framework desenvolvido pela Microsoft direcionado para a criao de jogos, quer para Windows, Xbox 360 e Windows Phone 7. Est atualmente na verso 4.0 e suporta a linguagem C#. Tem como classe principal a classe Game e a sua estrutura j inclui quatro mtodos de raiz: Initialize, LoadContent, Update, UnloadContent e Draw. O esquema seguinte mostra o funcionamento desses mtodos. 12 Figura 4: Esquema do funcionamento de uma aplicao em XNA Cada um destes mtodos tem uma funo especfica qual se deve ter em ateno no momento de estruturao do cdigo da aplicao a desenvolver. De seguida resume-se cada um dos mtodos. O primeiro, Initialize, onde ficam todas as operaes de inicializao do jogo, como por exemplo variveis e outros objetos. O LoadContent chamado aps a execuo do mtodo Initialize ou em qualquer outro momento que seja necessrio recarregar objetos grficos. Neste mtodo devero ser carregadas imagens, modelos 3D, sons, etc. O Update um mtodo que fica em repetio durante a execuo do jogo. o local ideal para colocar toda a lgica do jogo, como por exemplo, verificar o estado do teclado, mover objetos, etc. O mtodo Draw semelhante ao Update, mas com o objetivo de fazer a apresentao grfica no ecr. Por fim temos o UnloadContent que tem como objetivo destruir o contedo carregado anteriormente e que j no seja necessrio. .NET Framework 4.0 um componente integral do Windows que inclui um sistema de execuo virtual chamado Common Language Runtime (CLR) e um conjunto unificado de bibliotecas de classes que inclui ADO.NET, ASP.NET, Windows Forms e Windows Presentation Foundation (WPF). [12][13] A verso a ser utilizada ser a mais recente, ou seja, a verso 4.0. Esta plataforma baseia-se num dos princpios utilizados em Java (Just In Time Compiler JIT), onde os programas desenvolvidos so duplamente compilados, isto , uma primeira compilao na distribuio, gerando um cdigo conhecido como bytecodes, e outra na execuo da aplicao. Para o caso em estudo, pretende-se que a aplicao a ser criada seja um executvel, na primeira compilao obtm-se um arquivo em Assembly de baixo nvel com extenso EXE. [14] Quando o programa executado, o arquivo em Assembly carregado para o CLR que pode tomar vrias opes com base nas informaes nele contido. Se os requisitos de segurana forem aprovados, o CLR executa a compilao JIT para converter o cdigo em 13 instrues de mquina. A figura 8 ilustra de uma forma resumida as relaes entre o tempo de compilao e execuo do cdigo fonte C#, bibliotecas do .NET Framework e o CLR. [15] Figura 5: Arquitetura do .NET framework Blender Tambm conhecido por blender3d, um programa computacional que permite a criao de uma gama diversificada de contedo 2D e 3D. O Blender oferece um amplo espetro de modelagem, animao, texturizao, composio e edio de vdeo. Esta aplicao ser usada essencialmente para a criao de objetos tridimensionais a incluir no jogo. 14 4.1.4 Formatos Uma vez que a base do projeto ser desenvolvida sobre o XNA, os formatos a utilizador sero os suportados por esta plataforma. A tabela seguinte mostra os tipos de arquivos suportados para os diferentes contedos. Tipo de contedo Tipo de arquivo (formato) Modelos 3D .x, .fbx Textura / imagens .bmp, .dds, .dib, .hdr, .jpg, .pfm, .png, .ppm, .tga udio .xap, .wma, .mp3, .wav Fontes (texto) .spritefont Efeitos .fx Tabela 1: Formatos suportados pelo XNA 15 Captulo 5 Experie ncias e Resultados Durante o perodo de preparao da dissertao foi possvel criar um prottipo de um jogo em XNA com interao atravs do Kinect, que foi importante para aprendizagem e aprofundamento do conhecimento sobre as tecnologias e ferramentas a utilizar. O jogo tem como objetivo incentivar o utilizador a mover as mos de forma a interagir com os objetos. Esses objetos so flores que caem do topo do ecr e o jogador deve tocar nelas de forma a recolher o mximo de flores possvel antes que saiam fora do limite do ecr. contabilizado o nmero de flores que o utilizador recolhe, isto , toca. De modo a que seja percetvel ao jogador saber a posio das suas mos feita uma representao com duas imagens da mo direita e esquerda nas respetivas posies. Quando ocorrem colises so reproduzidos diferentes sons conforme ocorra com a mo esquerda ou direita. Est implementado um mtodo de reconhecimento do estado do Kinect, isto , se est ligado ou no e consequente aviso grfico no ecr. O seguinte fluxograma descreve o funcionamento do jogo. Figura 6: Fluxograma do jogo prottipo 16 Captulo 6 Concluso es e Trabalho Futuro 6.1 Plano de Trabalho De modo a garantir o cumprimento dos principais objetivos do projeto, apresenta-se de seguida o planeamento dos trabalhos divididos em duas fases: a primeira fase a decorrer ao longo do 2 semestre de 2012 na unidade curricular de Preparao da Dissertao e a segunda fase a decorrer inteiramente inserida na Dissertao no ano letivo seguinte, 2012/2013. 6.1.1 Preparao da Dissertao, 2 Semestre 2011/2012: Primeiros contatos com a empresa e com ambos os orientadores de modo a analisar e planificar o projeto Criao do website para a tese Estudo da Doena de Parkinson e principais limitaes fsicas provocadas pela doena Estudo da linguagem C# Introduo e estudo do Kinect Introduo ao XNA Reviso da literatura e estado da arte 6.1.2 Dissertao, 1 Semestre 2012/2013: Incio de trabalhos na empresa e ambientao ao novo ambiente de trabalho Introduo ao ambiente grfico 3D Continuao ao desenvolvimento da plataforma Implementao dos jogos na aplicao Testes finais da aplicao Desenvolvimento do documento final da dissertao 17 6.2 Concluso Foi feito um estudo relativo doena de Parkinson e s principais limitaes fsicas provocadas nos doentes. Este estudo foi realizado atravs de pesquisa em websites apropriados e destinados divulgao e tratamento da doena, e de leitura de artigos cientficos. Compreendida melhor a doena de Parkinson, deu-se introduo ao estudo aprofundado das tecnologias a utilizar, nomeadamente linguagens de programao, software e familiarizao com o prprio Kinect. Aps estas duas fases de inicializao e compreenso do problema, aplicaram-se os conhecimentos adquiridos e desenvolveu-se um jogo prottipo que utiliza o Kinect para interagir com um ambiente grfico a 2D, para assim compreender melhor as ferramentas a utilizar. Aps esta fase, abordou-se a tecnologia 3D, a sua modelao e aplicao em XNA. O desafio seguinte consiste em movimentar um avatar, figura tridimensional, atravs da interao natural do Kinect. Posteriormente pretende-se produzir um jogo ldico com grficos tridimensionais que proporcionem aos utilizadores uma experincia fsica, influenciando de forma positiva a sua fisioterapia. A estratgia de abordagem ao problema est representada na figura seguinte: Figura 7: Metodologia a adotar 18 Refere ncias [1] Maureen Furniss, MIT Communications Forum. Motion Capture. Disponvel em: http://web.mit.edu/comm-forum/papers/furniss.html, acedido a ltima vez em 7 de Maio de 2012. [2] Joo Victor Boechat Gomide, David Lunardi Flam, Daniel Pacheco , Arnaldo de Albuquerque Arajo (2009). Captura de Movimento e Animao de Personagens em Jogos. Faculdade de Cincias Empresariais, Universidade FUMEC, Belo Horizonte, Brasil. [3] Wikipedia, Motion capture (2012). Disponvel em: http://en.wikipedia.org/wiki/Motion_capture, acedido a ltima vez em 7 de Maio de 2012. [4] Medeiros, R. (2011). O Tratamento Fisioteraputico na Doena de Parkinson. Trabalho realizado no Laboratrio de Fisiologia do Exerccio do Centro Universitrio Metodista IPA, Porto Alegre, Brasil. [5] Associao Portuguesa de Doentes de Parkinson, ed. lit.; Sociedade Portuguesa de Neurologia, ed. lit.; Levy, Alice, trad.; Ferreira, Joaquim, trad. (2005). Manual do Doente de Parkinson. Lisboa. [6] USC - Institute for Creative Technologies, Microsoft Kinect/Primesense Sensing Systems for Virtual Rehabilitation. Disponvel em: http://ict.usc.edu/events/belinda-lange-skip-rizzo-tamar-weiss-microsoft-kinectprimesense-sensing-systems-for-virtual-rehabilitation/, acedido a ltima vez em 15 de Maio de 2012. [7] Accenture, Accenture and Avanade Solutions Showcase at Microsoft. Disponvel em: http://www.showcase.avanade.com/TopicDetail.aspx?TopicID=6ecbc380-18e0-47d8-87a8-3f3c6631a446, acedido a ltima vez em 20 de Maio de 2012. [8] VirtualRehab, Patient Rehabilitation Using Kinect Technology. Disponvel em: http://virtualrehab.info/en/product/, acedido a ltima vez em 20 de Maio de 2012. [9] Miles, R. (2012). Using Kinect for Windows with XNA, Edition 1.1. [10] Pires, B. (2012). Kinect Hack, Programar. 33: 6-7. [11] Microsoft, Kinect for Windows. Disponvel em: http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspx, acedido a ltima vez em 22 de Junho de 2012. [12] MSDN, Microsoft Developer Network, .NET Framework 4. Disponvel em: http://msdn.microsoft.com/en-us/library/w0x726c2.aspx, acedido a ltima vez em 26 de Junho de 2012. [13] MSDN, Microsoft Developer Network, .NET Framework Conceptual Overview. Disponvel em: http://msdn.microsoft.com/pt-br/library/zw4w595w, acedido a ltima vez em 26 de Junho de 2012. http://web.mit.edu/comm-forum/papers/furniss.htmlhttp://en.wikipedia.org/wiki/Motion_capturehttp://ict.usc.edu/events/belinda-lange-skip-rizzo-tamar-weiss-microsoft-kinectprimesense-sensing-systems-for-virtual-rehabilitation/http://ict.usc.edu/events/belinda-lange-skip-rizzo-tamar-weiss-microsoft-kinectprimesense-sensing-systems-for-virtual-rehabilitation/http://www.showcase.avanade.com/TopicDetail.aspx?TopicID=6ecbc380-18e0-47d8-87a8-3f3c6631a446http://www.showcase.avanade.com/TopicDetail.aspx?TopicID=6ecbc380-18e0-47d8-87a8-3f3c6631a446http://virtualrehab.info/en/product/http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspxhttp://msdn.microsoft.com/en-us/library/w0x726c2.aspxhttp://msdn.microsoft.com/pt-br/library/zw4w595w19 [14] Wikipedia, Microsoft .NET. Disponvel em: http://pt.wikipedia.org/wiki/Microsoft_.NET, acedido a ltima vez em 26 de Junho de 2012. [15] MSDN, Microsoft Developer Network, Introduction to the C# Language and the .NET Framework. Disponvel em: http://msdn.microsoft.com/library/z1zx9t92, acedido a ltima vez em 12 de Junho de 2012. http://pt.wikipedia.org/wiki/Microsoft_.NEThttp://msdn.microsoft.com/library/z1zx9t92

Recommended

View more >