ARPHYSIO: USANDO REALIDADE AUMENTADA PARA ANÁLISE DO MOVIMENTO HUMANO

João Paulo Silva do Monte Lima1, Alessandra Silva do Monte Lima2, Veronica Teichrieb1,

Judith Kelner1, Alberto Galvão de Moura Filho2 1Universidade Federal de Pernambuco, Centro de Informática

CEP 50732-970, C.P. 7851, Recife - PE Brasil

e-mail: {jpsml;vt;jk}@cin.ufpe.br 2Universidade Federal de Pernambuco, Centro de Ciências da Saúde, Departamento de Fisioterapia

CEP 50670-901, Avenida Professor Moraes Rego, 1235, Cidade Universitária, Recife - PE Brasil

e-mail: {alessandra.mlima;agmoura}@ufpe.br

Resumo – Este artigo tem como objetivo apresentar o

ARPhysio, um sistema de suporte ao trabalho dos

fisioterapeutas no âmbito da análise do movimento humano.

Para tal fim, são utilizadas técnicas de Realidade

Aumentada para capturar imagens do paciente, rastrear a

evolução dos movimentos realizados por ele e então fazer a

sobreposição à imagem, em tempo real, de informações

relativas à atividade realizada. A arquitetura e as

funcionalidades do sistema são detalhadas e um estudo de

caso sobre uma análise do movimento da articulação do

tornozelo é apresentado.

Palavras-Chave – Análise do movimento, ARToolKit, rastreamento óptico, realidade aumentada. Abstract – This paper aims to present ARPhysio, a system

that supports the work of the physiotherapists in human

movement analysis. To achieve this, Augmented Reality

techniques are used to capture images of the patient, track

the evolution of the movements executed by him and then

superimpose over the image, in real time, information

relative to the executed task. The architecture and the

features of the system are detailed and a case study related

to an analysis of the ankle movement is presented.

Keywords - ARToolKit, augmented reality, movement analysis, optical tracking.

1. INTRODUÇÃO

A área de Realidade Aumentada (RA) vem crescendo vertiginosamente nos últimos anos, tendo suas técnicas aprimoradas e participando de várias maneiras no cotidiano humano, como em sistemas de suporte à medicina e em jogos de computadores [1]. Um dos desafios dos profissionais do ramo no momento é encontrar novas aplicações sofisticadas para a tecnologia desenvolvida até então.

O objetivo deste artigo é apresentar o ARPhysio, um sistema que explora as técnicas de RA, aplicado na área de fisioterapia, em especial no tocante à análise do movimento humano, verificando informações relevantes como velocidade, aceleração e angulação do movimento articular e gerando informações que possibilitem avaliar a evolução do paciente. A análise do movimento humano é bastante

empregada, por exemplo, em casos de reabilitação de enfermidades que prejudicam a locomoção, como lesão ligamentar, acidente vascular cerebral (AVC) e doença de Parkinson [2].

O ARPhysio detecta de forma automática, a partir simplesmente de imagens fornecidas por uma webcam, o movimento realizado pelo paciente. Os dados obtidos pelo sistema são mostrados ao usuário em tempo real, dando a oportunidade de o movimento ser alterado enquanto ainda está em execução. Além disso, a apresentação das informações se dá de forma que facilite o entendimento das mesmas, sendo exibidas sobrepostas à imagem do paciente. Desta forma, utilizando uma infra-estrutura de baixo custo, o profissional especializado pode dispor de uma aplicação que apresenta todos os dados necessários para uma avaliação precisa no exato momento em que o paciente acabou de realizar o movimento, provendo maior interatividade ao processo.

A seção 2 detalha a análise do movimento humano, assim como os sistemas existentes atualmente para dar suporte à realização dessa tarefa. A seção 3 se dedica à proposta do sistema, sua arquitetura e as funcionalidades da aplicação. Os resultados obtidos são ilustrados na seção 4 através de um estudo de caso. Por fim, a seção 5 traz as dificuldades enfrentadas no desenvolvimento desse sistema.

2. ANÁLISE DO MOVIMENTO HUMANO

A área que trata da análise e estudo do movimento dos seres vivos é chamada de biomecânica [2]. O tipo de análise possível depende da ferramenta utilizada. A natureza, o tipo e a magnitude dos dados são limitados pela ferramenta que é escolhida. Muitas são as ferramentas disponíveis para o estudo do movimento, tais como sensores magnéticos e exoesqueletos mecânicos [3]. Entretanto, os sistemas ópticos são os mais utilizados, pois eles apresentam vantagens como maior precisão, menor suscetibilidade a interferências e a possibilidade de sincronizar a imagem do paciente com gráficos adicionais em uma tela, o que é possível por meio de uma imagem dividida ou efeitos especiais. Além disso, pode-se fazer a transmissão direta e imediata da imagem para um computador, tornando o sistema capaz de fornecer feedback imediato para quem executa o movimento e para quem o analisa [2].

Existe uma gama de sistemas ópticos disponíveis comercialmente, que utilizam câmeras de alta resolução e elevada taxa de quadros, como o citado em [4]. As câmeras reconhecem marcadores luminosos posicionados sobre o corpo do indivíduo, que são eletronicamente identificados e localizados no espaço. Tais sistemas apresentam informações precisas sobre o movimento realizado, contudo seu custo é bastante elevado.

Devido a isso, vários esforços têm sido feitos para se criar sistemas ópticos que possuam uma precisão aceitável e que tenham um custo menor. Vários recursos de diferentes naturezas são utilizados, como múltiplas câmeras de resolução moderada [5], sistemas distribuídos [6], marcadores fiduciais mais simples [3], técnicas de reconstrução 3D [7] e métodos estatísticos [8]. Muito embora o custo desses sistemas seja bem menor quando comparado com as soluções comerciais, eles ainda são muitas vezes inacessíveis aos profissionais da área de fisioterapia.

Deve-se levar em conta também o compromisso entre o custo da solução e a precisão dos dados fornecidos. Muitos sistemas conseguem atender o requisito do preço final do produto sacrificando a acurácia do rastreamento do movimento, o que é um fator indesejado para a aplicação em questão.

Uma outra característica de tais sistemas é que nem sempre os resultados são apresentados em tempo real, pois se torna necessário um processamento mais prolongado do vídeo capturado. Com isso, o fisioterapeuta é impedido de realizar um acompanhamento da atividade do paciente enquanto a mesma ainda está sendo realizada.

3. VISÃO GERAL DO SISTEMA ARPHYSIO

O ARPhysio utiliza uma ferramenta de RA baseada em vídeo para capturar imagens do paciente realizando um movimento através de uma webcam e propicia a análise desse movimento em tempo real. Para isso, marcadores são afixados nos pontos anatômicos de referência, permitindo a obtenção das posições dos mesmos. Desta forma, torna-se possível acompanhar a evolução da tarefa e deduzir informações tais como velocidade, força, torque e angulação das diferentes articulações corporais. O cálculo de algumas dessas variáveis é feito utilizando os dados antropométricos do paciente, que são medidas de tamanho das partes do corpo. Tais dados devem ser fornecidos previamente ao sistema.

3.1. Arquitetura

Os diferentes componentes do sistema são descritos na Figura 1. A captura da imagem do paciente é feita através de uma webcam, que envia o fluxo de vídeo para o módulo de detecção de marcadores, onde é feito o processamento da imagem e são inferidas a presença e posição dos marcadores na cena.

Depois disso, é possível calcular as informações físicas dos pontos anatômicos de referência. As informações são armazenadas em um banco de dados, para posterior consulta. A imagem original da câmera, juntamente com gráficos relativos à análise do movimento realizado, são desenhados na interface gráfica do sistema com o usuário.

Fig. 1. Arquitetura do sistema ARPhysio.

3.2. Funcionalidades

Com a utilização dos marcadores e uma biblioteca de RA, torna-se possível obter a posição dos pontos de referência durante a evolução do movimento. A partir dessas informações, calculam-se os dados físicos referentes às articulações analisadas. São gerados gráficos tridimensionais a partir dessas informações, com vetores indicando a direção e sentido de grandezas vetoriais como força e torque, assim como números indicando o módulo dos vetores e os valores das grandezas escalares como velocidade e aceleração. Esses gráficos são sobrepostos à imagem oriunda da câmera, de tal forma que a posição dos vetores e dos dados numéricos seja coerente com o respectivo ponto de referência.

Além disso, é possível utilizar os dados calculados pelo sistema para gerar gráficos de comparação entre duas ou mais grandezas para os vários pontos anatômicos. A oscilação do gráfico pode ser visualizada no exato momento que o paciente realiza o movimento, e gráficos relativos a diferentes dados e partes do corpo podem ser gerados simultaneamente.

3.3. Benefícios

Por ser um sistema de RA, as informações sobrepostas à imagem do paciente são plotadas em tempo real, o que permite ao profissional da área de análise do movimento interagir com o paciente, acompanhando o exercício enquanto ele ainda está acontecendo e direcionando adequadamente o mesmo.

O fato de as informações relativas aos diferentes pontos anatômicos de referência serem desenhadas sobre a imagem de maneira fiel à posição de cada marcador faz com que a visualização dos dados seja mais intuitiva.

Além disso, o custo do sistema como um todo é bastante baixo, principalmente quando comparado com os sistemas ópticos existentes de análise de movimento, visto que a infra-estrutura de hardware necessária se resume a um computador desktop simples e uma webcam comum, além de que as bibliotecas de RA que utilizam esse tipo de recurso de hardware são na sua grande maioria gratuitas.

4. ESTUDO DE CASO E RESULTADOS

A fim de validar as funcionalidades do ARPhysio, foi implementada uma aplicação cujo objetivo é analisar o movimento da articulação do tornozelo, ou talocrural, que é do tipo dobradiça, formada por superfícies articulares da tíbia, do maléolo medial e do maléolo lateral, que se articulam com o tálus. O tálus é o segundo maior osso do tarso e o principal osso de apoio de peso da articulação, ligando a perna ao pé. A forma relativamente quadrada do tálus permite ao tornozelo apenas dois movimentos quando visto de perfil: a dorsiflexão e a flexão plantar [9]. A dorsiflexão refere-se ao movimento de aproximação do dorso do pé à perna, enquanto a flexão plantar refere-se ao afastamento. Para se medir a dorsiflexão, o joelho deve estar flexionado, pois a tensão promovida pelo músculo gastrocnêmio na extensão do joelho pode limitar a amplitude de movimentação da dorsiflexão [10]. São os movimentos de dorsiflexão e flexão plantar que serão estudados na aplicação, embora o tornozelo e o pé ainda realizem, em outros planos, movimentos de inversão e eversão, abdução e adução, pronação e supinação.

A câmera usada no estudo de caso foi uma A4Tech ViewCam Pro, modelo PK-635M, resolução de 640 x 480 pixels, taxa de quadros máxima de 30 quadros por segundo. O computador usado possui processador Intel Pentium 4 2.80GHz, 512 MB de RAM, adaptador de vídeo Intel 82865G com 64 MB de memória e resolução de tela de 1024 x 768 pixels. O ambiente de desenvolvimento utilizado foi o Microsoft Visual Studio 2005 Professional Edition.

A detecção de marcadores foi realizada utilizando a biblioteca de código aberto ARToolKit [11], bastante popular nas áreas de realidade aumentada e visão computacional. O ARToolKit utiliza como marcador a imagem de um quadrado de bordas pretas, cujo interior possui um desenho. O algoritmo de detecção de marcadores rastreia a imagem em busca dos padrões, retornando quais foram encontrados e suas respectivas posições na cena. Os marcadores utilizados no estudo de caso são ilustrados na Figura 2. Os padrões foram impressos em pedaços de papel e afixados ao paciente utilizando fita adesiva.

Fig. 2. Marcadores utilizados na aplicação.

A biblioteca DsVideoLib [12], que possui uma integração com o ARToolKit, foi utilizada para a captura das imagens da câmera. A renderização dos elementos gráficos da aplicação foi feita usando OpenGL [13].

Fig. 3. Configuração dos marcadores.

Como pode ser visto na Figura 3, foram afixados marcadores sobre os pontos anatômicos de referência do membro inferior esquerdo do paciente, nas regiões do pé (cabeça do quinto metatársico), do tornozelo (maléolo lateral) e do joelho (côndilo femoral lateral). À medida que o paciente começa a realizar o movimento, a mudança de posição dos marcadores é percebida pela aplicação e a posição das articulações pode ser estimada. A partir desses dados, é possível calcular a velocidade e a aceleração das articulações, assim como o ângulo do movimento do tornozelo. Os resultados são desenhados sobre a imagem, próximos à articulação correspondente, como mostra a Figura 4.

Fig. 4. Tela do ARPhysio na análise do movimento da articulação

do tornozelo.

Os textos em verde claro, rosa e azul se referem aos dados do pé, do tornozelo e do joelho, respectivamente. Os eixos da perna e do pé são desenhados em verde escuro, e o texto em letras negras indica o ângulo formado pelos eixos, assim como a classificação do movimento, no caso uma dorsiflexão.

5. DIFICULDADES ENCONTRADAS

A biblioteca de rastreamento de marcadores fiduciais utilizada no estudo de caso desenvolvido, no caso o ARToolKit, possui algumas limitações que prejudicaram a implementação da aplicação descrita neste artigo. Uma delas é a dificuldade em se detectar marcadores de tamanho reduzido na imagem. Com isso, é preciso prestar uma atenção especial à distância dos marcadores em relação à câmera, pois quanto mais longe eles estiverem, menores eles irão aparecer na imagem. Na aplicação desenvolvida, é necessário que toda a região da perna do paciente esteja no campo de visão da câmera, requerendo-se que esta esteja então a uma distância considerável do paciente, e conseqüentemente dos marcadores. Tal fato implicou na utilização de marcadores relativamente grandes, de aproximadamente 5 cm de lado, o que é uma característica indesejável, visto que introduz erro na estimativa de posição do ponto anatômico de referência, que acaba sendo menor que o marcador. Além disso, o tamanho dificulta a colocação dos marcadores sobre o corpo do paciente.

Outro problema existente na biblioteca ARToolKit é o fato de ela ser muito sensível à iluminação do ambiente onde a imagem é capturada. Marcadores inseridos em ambientes com pouca ou muita luz não são detectados pela biblioteca. Embora seja possível ajustar os parâmetros de detecção para se obter melhores resultados, tal processo é manual e precisa ser indicado pelo usuário. Existem propostas de extensão do ARToolKit para que ele se adapte automaticamente à iluminação do ambiente [14].

A movimentação dos marcadores também é um fator complicador no rastreamento dos mesmos. Como foi utilizada na aplicação uma câmera com taxa de quadros moderada, quando o marcador é movimentado rapidamente observa-se o efeito de motion blur, que consiste num embaçamento da imagem. Este efeito faz com que o marcador não seja detectado pelo ARToolKit.

Por fim, as estimativas de posição fornecidas pelo ARToolKit apresentam erros de precisão de acordo com [15], fazendo-se necessária a implementação de um filtro que corrija tais falhas.

6. CONCLUSÕES E TRABALHOS FUTUROS

Este artigo apresentou o sistema ARPhysio, que utiliza a tecnologia de RA para auxiliar a análise do movimento humano. A aplicação mostrou ser bastante interessante no que diz respeito ao baixo custo e ao alto valor agregado, visto que utiliza uma infra-estrutura acessível e provê informações que facilitam o trabalho do fisioterapeuta.

Como trabalho futuro, pretende-se superar as dificuldades apresentadas na seção anterior. Os recursos gráficos da aplicação serão aprimorados, assim como serão implementadas novas funcionalidades que não estavam presentes no estudo de caso, como a plotagem de gráficos comparativos e o cálculo de uma maior quantidade de informações relativas ao movimento. Finalmente, será feita uma avaliação mais detalhada da precisão do sistema, assim

como a realização de testes com um número maior de usuários, para validar a aplicação.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] R.T. Azuma, “A survey of augmented reality”, Presence: Teleoperators and Virtual Environments, vol. 6, no. 4, pp 355-385. Agosto 1997.

[2] M.J. Adrian, J.M. Cooper, Biomechanics of Human

Movement, Brown & Benchmark, 2ª edição, Madison, 1995.

[3] A.C. Sementille, L. Escaramuzi Jr., J.R.F. Brega, I.A. Rodello, “A motion capture system using passive markers”, in Proceedings of ACM SIGGRAPH

International Conference on Virtual Reality Continuum

and its Applications in Industry, pp. 440-447, 2004. [4] Motion Capture Systems from Vicon. Disponível em:

site da Vicon. URL: http://www.vicon.com, visitado em Agosto 2006.

[5] Q. Cai, J.K. Aggarwal, “Tracking human motion in structured environments using a distributed-camera system”, Transactions on Pattern Analysis and Machine

Intelligence, vol. 21, no. 12, pp. 1241-1247, Novembro 1999.

[6] S.L. Dockstader, A.M. Tekalp, “Multiple camera tracking of interacting and occluded human motion”, Proceedings of the IEEE, vol. 89, no. 10, pp. 1441-1455, Outubro 2001.

[7] F. Marzani, E. Calais, L. Legrand, “A 3-D marker-free system for the analysis of movement disabilities-an application to the legs”, IEEE Transactions on

Information Technology in Biomedicine, vol. 05, no. 01, pp. 18-26, Março 2001.

[8] N. Howe, M. Leventon, W. Freeman, “Bayesian reconstruction of 3D human motion from single-camera video”, Advances in Neural Information Processing

Systems, vol. 12, pp. 820-826, 2000. [9] W.E. Prentice, M.L. Voight, Técnicas em Reabilitação

Musculoesquelética, Artmed, 1ª edição, Porto Alegre, 2003.

[10] F.P. Kendall, E.K. McCreary, P.G. Provance, Músculos:

Provas e Funções, Manole, 4ª edição, São Paulo, 1995. [11] H. Kato, M. Billinghurst, “Marker tracking and HMD

calibration for a video-based augmented reality conferencing system”, in Proceedings of International

Workshop on Augmented Reality, pp. 85-94, 1999. [12] DsVideoLib. Disponível em: site SourceForge.net. URL:

http://sourceforge.net/projects/dsvideolib, visitado em Julho 2006.

[13] OpenGL – The Industry Standard for High Performance Graphics. Disponível em: OpenGL site. URL: http://www.opengl.org, visitado em Julho 2006.

[14] T. Pintaric, “An adaptive thresholding algorithm for the augmented reality toolkit”, in Proceedings of Augmented

Reality Toolkit Workshop, pp. 71, 2003. [15] P. Malbezin, W. Piekarski, B. Thomas, “Measuring

ARToolKit accuracy in long distance tracking experiments”, in Proceedings of Augmented Reality

Toolkit Workshop, 2002.