Profa Dra Ludmila Pimentel

Escola de Dança da Universidade Federal da Bahia (UFBA), Programa de Pósgraduaçao em Dança (PPGDAN) e Programa

de Pósgraduaçao em Artes Visuais (PPGAV)/Elétrico – Grupo de Pesquisa em Ciberdança, CNPq, Brasil

AS TECNOLOGIAS MOTION TRACKING E MOTION CAPTURE : POÉTICAS E CIBERNÉTICAS

• O Elétrico – Grupo de Pesquisa em Ciberdança do Programa de Pós-graduação em Dança da Escola de Dança da Universidade Federal da Bahia (UFBA, Brasil), desde 2000 investiga as interfaces entre a linguagem da dança contemporânea e as tecnologias digitais, visando produzir conhecimentos específicos nessa área ainda recente de pesquisa, observando, mas também produzindo essas novas formas híbridas contemporâneas; inserindo e contextualizando a Escola de Dança da UFBA no ambiente tecnológico e digitalizado que vivemos contemporaneamente. O Elétrico tem como objetivo principal fomentar a produção teórica e artística relacionada à questões emergentes da Cibercultura e Ciberdança.

ABSTRACT

• Entre os anos de 1982 a 1990, o artista David Rokeby pioneiramente desenvolveu o Very Nervous System (VNS), plataforma essa que permitia que os movimentos e dados obtidos a partir do corpo do performer pudessem, através de câmeras e de sensores de movimento, alimentar a programação do software e produzir outputs gráficos ou sonoros. O VNS foi o primeiro sistema a nos oferecer a possibilidade de produzirmos performances e instalações artísticas de qualidade interativa em tempo real, e esse estado da arte muito nos interessa pois propomos aqui que a História e surgimento da tecnologia Motion tracking se entrelaça e faz derivar a também contemporânea tecnologia chamada Motion capture (Mocap), propondo-as aqui como protocolos derivados da mesma família cibernética.

• Considerando que o sistema criado por Rokeby se fundamenta na Teoria da Ciência Cibernética, ou a chamada Primeira Cibernética de Norbert Wiener, publicada por primeira vez em 1948, e que ainda nos influencia contemporaneamente, já que o performer gera dados que alimentam ao sistema, através de inputs, e que após processamento no sistema esses dados geram outputs diversos,

• também podemos afirmar que o experimento/sistema de Rokeby é coerente com a Cibernética de 2a. ordem, ou Cibernética da Cibernética de Heinz von Foerster (1960), em sua proposição quanto à circularidade, autonomia e auto-referencia do sistema, já que com o VNS o performer produzia novas respostas ao software a partir dos outputs gerados, estabelecendo a circularidade e retroalimentação do sistema, que também possui protocolos de auto-organização regulando eventos que o perturbem.

• A palavra “cibernética” foi cunhada por Norbert Wiener em 1948 na tentativa de que um único termo compreendesse o complexo de idéias que abarcavam “o estudo das mensagens como meios de dirigir a maquinaria e a sociedade, o desenvolvimento de máquinas computadoras e outros autômatos que tais, certas reflexões acerca da psicologia e do sistema nervoso, e uma nova teoria conjectural do método científico” (WIENER, 1954, p.15).

Cibernética de 1a ordem (Norbert Wiener, 1948)

INPUT Processamento OUTPUTS

Cibernética de 2a ordem (Heinz von Foerster, 1960)

INPUT

Processamento

Output/Feedback

• Refletindo que as tecnologias Motion Tracking e Motion capture como ainda recentes na História da Media Art, propomos tecer interfaces e intercessoes entre as especificidades técnicas dessas tecnologias, apresentando-as como tecnologias cibernéticas, e observando alguns exemplos, aqui usados como rastros para delinearmos esse panorama instaurado na Contemporaneidade, apreciando também suas aplicaçoes no campo da Performance de Dança,

• Em última instância nos interessa observar essas tecnologias cibernéticas para refletirmos sobre a poética gerada pelas mesmas, traçando algumas primeiras variáveis de observação sobre o fenômeno.

INDEX TERMS

• Media Art

• Tecnologia

• Motion capture

• Motion tracking

• Cibernética

INTRODUÇAO

• 1º. Evento da tecnologia Motion tracking: Very Nervous System

VERY NERVOUS SYSTEM

Copyright davidrokeby

• David Rokeby«Very Nervous System»

• »The first major interactive work I created is called «Very Nervous System» and was started in 1982. I use video cameras, image processors, computers, synthesizers and a sound system to create a space in which the movements of one's body create sound and/or music. The computer as a medium is strongly biased and so my impulse while using the computer was to work solidly against these biases. Because the computer is purely logical, the language of interaction should strive to be intuitive. Because the computer removes you from your body, the body should be strongly engaged. Because the computer's activity takes place on the microscopic scale of silicon wafers, the encounter with the computer should take place in human-scaled physical space. And because the computer is objective and disinterested, the experience should be intimate.The result is an interactive space in which the public uses their bodies as the active element of the interface. Body movement is rich, complex, and full of subtlety and ambiguity. Early computer art used random number generators to provide variety and complexity. I replaced the random number generator with the complexity of sentient human response.«(Source: David Rokeby, Lecture for Kwangju Biennale)

VERY NERVOUS SYSTEM (1982-1990)

• Propomos que o sistema criado por Rokeby se fundamenta na Teoria da Ciência Cibernética, ou a chamada Primeira Cibernética de Norbert Wiener [1], publicada por primeira vez em 1950, e que nos influencia contemporaneamente, já que o performer gera dados que alimentam ao sistema através de inputs, que após processamento do sistema gera outputs diversos

• E é coerente com a Cibernética de 2a. ordem, ou Cibernética da Cibernética de Heinz von Foerster [2], em sua proposição quanto à circularidade, autonomia e auto-referencia do sistema, já que com o VNS o performer produzia novas respostas ao software a partir dos outputs gerados, estabelecendo a retroalimentação do sistema, que também possui protocolos de auto-organização que regulam eventos que o perturbem.

DIFERENÇAS TÉCNICAS

• Motion tracking significa traqueio, captura visual, de movimento através de câmeras, exemplos de software de Motion tracking: Isadora, Eyecon

• Motion capture é a captura de dados através de sensores, marcas reflexivas, marcas passivas para sua posterior aplicaçao a modelos em 3D e avatares

DIFERENÇAS TÉCNICAS

• A tecnologia Mocap é extremamente sofisticada e exige pré e pós-produção, gera produtos finais nao interativos

• enquanto a tecnologia Motion tracking se destina a produtos finais que necessitam de interatividade em tempo real, a tecnologia Mocap se destina a coleta de dados para sua posterior utilização em outros softwares de animação 3D

• A tecnologia Motion tracking, é mais imediata em gerar produtos finais, ou seja, os dados após captura são utilizados e geram outputs após seu rápido processamento pelo software,

• A tecnologia Mocap é extremamente cara, já a tecnologia Motion tracking sempre possuiu preços extremamente acessíveis

GRETCHEN SCHILLER MOTION CAPTURE BODY, 2007 AMUC (ASSOCIATED MOTION CAPTURE USER CATEGORY) PROJECT

Copyright Dave Green,Culture Lab New, Castle University

ANTECEDENTES HISTÓRICOS

• Segundo Alberto Menache (2011), Midori Kitagawa e Brian Windsor (2008):

• As pesquisas utilizando a tecnologia Mocap começaram em torno do ano de 1970, com finalidade médica e aplicações militares

• Sao pioneiros do sistema Mocap algumas tecnologias e aparatos criados no século XIX e XX: o zoopraxiscópio de Muybridge, o esfigmógrafo e a câmera cronofotográfica inventados por Etiene-Jules Marey.

• Marey pode ser considerado um grande revolucionário e mentor pré-histórico na história do Mocap, inclusive pelos trajes especiais que criou ainda em 1884

MOCAPSUIT,ETIENNE-JULES MAREY,1884

SISTEMAS DE MOCAP

• sistemas ópticos, consiste na utilização de 4 a 32 câmeras e um computador que controla as câmeras, capturam as marcas colocadas nos objetos, e essas marcas podem ser entendidas como ou reflexivas (passivas) ou marcas emissoras de luz (ativas)

• sistemas magnéticos ou rastreadores magnéticos, se utilizam de 12 a 20 sensores magnéticos que são colocados no objeto a ser capturado, esses sensores de rastreamento geram dados de saída (output) das traduções e orientações geradas pelo objeto

• sistemas mecânicos ou exo-esqueleto e medem os ângulos das articulações do corpo a ser capturado, é necessário usar um aparato articulado com potenciómetros e hastes nas articulações do corpo, que possuem a função de medir os ângulos entre as articulações quando o objeto/sujeito se move

EXEMPLO DE SISTEMA ÓPTICO DE MOCAP

TRAJE E SALA ESPECÍFICA PARA MOCAP

CÂMERA DO SISTEMA ÓPTICO

EXEMPLO DE MOTION TRACKING COM O SOFTWARE ISADORA: DOTSDANCE(2004) BY LUDMILA PIMENTEL AND FLOR LIBERATO

O SENSOR XBOX 360 GRAUS É UM EXEMPLO HÍBRIDO, JÁ QUE PODE FUNCIONAR COMO COMPONENTE DE UM SISTEMA ELETROMAGNÉTICO DE MOCAP (CONTROLE WII E SEUS 3 ACELERÓMETROS), E TAMBÉM COMO COMPONENTE DE UM SISTEMA DE MOTION TRACKING SE UTILIZANDO APENAS O SENSOR XBOX 360O PARA FAZER RASTREAMENTO DO MOVIMENTO ATRAVÉS DA CÂMERA.

CONSTELACIONES (2011) DE MARIANA CARRANZA, UTILIZANDO O SENSOR XBOX 360(KINECT) E SOFTWARE PROCESSING

AS TECNOLOGIAS MOTION TRACKING E MOCAP: POÉTICAS E CIBERNÉTICAS

- Contemporaneamente, a dança pode se atualizar e se redimensionar em seus suportes, mídias, metodologias e formatos através das tecnologias digitais de Mocap e Motion tracking, que aqui são considerados como protocolos da mesma família cibernética e que provocam a construção de novas poéticas no atual estado da arte.

- As tecnologias Motion tracking e Mocap se entrelaçam e se ramificam em possibilidades e formas, configurando-as como artefatos tecnológicos contemporâneos que dialogam e que ciberneticamente se retroalimentam já que o desenvolvimento de novas técnicas e softwares em uma dessas linguagens tecnológicas subsequentemente contamina e influencia o estado da arte da outra.

- Diversos artistas e investigadores se utilizam dessas tecnologias para seus estudos e obras, portanto não seria diferente no campo da Dança, que em interface com essas recentes tecnologias se redimensiona e se atualiza na Contemporaneidade, ampliando estrategicamente seus territórios.

- Nossa intenção é de registrar e de anotar historicamente esses fatos refletindo sobre eles embasados na Teoria Cibernética de Wiener (1948) e de Foerster (1995) e ainda contar com a contribuição de autores contemporâneos como Laurence Louppe (2000) que se dedicam a analisar poéticas contemporâneas e emergentes, aplicando em nosso caso específico a Dança Digital.

- Na área da Dança em interface com as tecnologias digitais, a poética emergente das tecnologias Mocap e Motion tracking assumem uma possibilidade contemporânea e inovadora que ao utilizar os recursos digitais e criar relações cibernéticas também com o corpo humano, esse mais complexo sistema cibernético, numa última instância criar novas formas de arte, atualizando e redimensionando os fazeres da dança e estrategicamente amplia os territórios da Dança.

I(NTERACTIVE) ARCH BODIES (2007-2010) BY LUDMILA PIMENTEL AND MARIANA CARRANZA

I(NTERACTIVE) ARCH BODIES (2007-2010) BY LUDMILA PIMENTEL AND MARIANA CARRANZA

I(NTERACTIVE) ARCH BODIES (2007-2010) BY LUDMILA PIMENTEL AND MARIANA CARRANZA

CONCLUSOES

• As tecnologias Motion tracking e Mocap se entrelaçam e se ramificam em possibilidades e formas, se configurando como artefatos tecnológicos contemporâneos que dialogam e que ciberneticamente se retro-alimentam

• O desenvolvimento de novas técnicas e softwares em uma dessas linguagens tecnológicas subsequentemente influencia o estado da arte da outra

• Estarmos propondo que as tecnologias Motion Tracking e Mocap como emergências poéticas (Louppe) para a Dança

• A Dança em interface com essas recentes tecnologias se redimensiona e se atualiza na Contemporaneidade, ampliando estrategicamente seus territórios

Motion Tracking Motion Capture

Cibernéticas •

Poéticas

Bibliografia

 

KITAGAWA, M. WINDSOR B., Mocap for Artists: workflow and Techniques for Motion Capture, USA: Elsevier Inc, 2008. 

LOUPPE, Laurence, Poetique de la Danse contemporaine, Paris: Deuxième Edition, 2000. MENACHE, Alberto, Understanding Motion capture for Computer Animation, USA: Elsevier Inc., 2011. von FOERSTER, Heinz. Understanding Understanding: Essays on Cybernetics and Cognition, New York: Spring-Verlag, 2003. von FOERSTER, Heinz. Cybernetics of Cybernetics: The control of control and the communication of communication, Mineapolis: Future Systems Inc., 1995. (1a ediçao em 1974). WECHSLER, R. “Motion Trackings: a pratical guide for performing arts”, In: http://www.palindrome.de (Consulta em 12/07/2011). WIENER, Norbert, Cibernética e sociedade: o uso humano de seres humanos, São Paulo: Editora Cultrix, 1954.

http://www.gretchen-schiller.org/amuc.html