palestra kinect - teched review

REVIEW

Liberte as mãos com o Kinect

Gesmar Júnior[MSP] [Célula Iles/Ulbra.net | Guará.net]Sócio /Diretor da Agis Intelicodehttp://www.agis-ic.net

gesmar.junior@studentpartners.com.br @gesmarjunior gesmarjunior@gmail.com http://gesmarjunior.wordpress.com

REVIEW

Agenda

• Vamos aprender o que é o Kinect;

• Arquitetura básica;• Falar sobre o princípios de

funcionamento;• Demonstrar ferramentas de

desenvolvimento e o SDK oficial.• Comentar sobre aplicações e

projetos.

REVIEW

Público-alvo da palestra

• Pessoal da computação em geral;

• Interessados em robótica;• Desenvolvedores de jogos;• Pesquisadores e

desenvolvedores interessados no futuro dos sistemas de informação;

• Educadores (gesture based learning).

O que é o Kinect?

Dispositivo de interação natural;

Microsoft; XBOX 360 (jogos); Lançamento: 4/11/2010; 8 milhões vendidos em 60

dias (recorde); 10 milhões até março de

2011;5 12/04/2023

REVIEW

Onde começou

“O Projeto Natal descarta joysticks convencionais e demais apetrechos (invariavelmente controlados por meio das mãos). Ele permite que o jogador controle as ações do game através de comandos de voz e movimentos do seu próprio corpo.” Alex Kipman

REVIEW

Porque Kinect

“kínésis” = movimentar ou mover

“connect” = em inglês se refere ao ato de conectar

REVIEW

E a Microsoft fez o quê?

Decifrar a imagem Detectar a posição do corpo a partir da

imagem 3D vinda do Kinect Algoritmo de aprendizado de máquina Microfones direcionais Um bom sistema de reconhecimento de

voz

REVIEW

Motivação para criação do Kinect

Sucesso do Wii;

10 12/04/2023

Wii / Kinect não são tão pioneiros!Dispositivos de interface natural

Trabalhos de Myron Krueger (Video Place), Activator, EyeToy, Track IR, projetos finais;

Problemas sempre foram: performance e reconhecimento facial.

11 12/04/2023

Kinect não vai ser o único dispositivo futuro de interface natural

Windows 8/9; iOs 6;

12 12/04/2023

Projeto Natal - Origem Forte P&D; Alex Kipmann - Diretor de

incubação da Microsoft; PrimeSense; 3DV Systems.

13 12/04/2023

14 12/04/2023

Se você sabe mover-se você sabe usar o Kinect

Arquitetura do Kinect

15 12/04/2023

Arquitetura do Kinect

16

Projetor de Luz Infravermelha (invisível)

Câmera RGB (“comum”)

Câmera infravermelha

Conjunto de microfones

Motor

Arquitetura do Kinect

Arquitetura do KinectImage Stream

Cada pixel representa uma cor; 640x480 (30 fps) OU 1280x1024 (máximo 15 fps);

18 12/04/2023

Arquitetura do KinectAudio Stream

4 microfones; Anula ruído e eco. Permite gravação de audio; Excelente reconhecimento de fala (em inglês);

Arquitetura do Kinect Motor

27 graus para cima ou para baixo;

Não chamar com muita freqüencia;

SDK limita em 15 vezes a cada 20 segundos.

Sensor de profundidade 3d do Kinect

Projetor de Luz Infravermelha

Câmera infravermelha

Sensor de Profundidade 3D

Princípio de funcionamento do sensor de profundidade 3D

Medição de um “padrão” invisível projetado no corpo;

Observação: não é uma câmera estereoscópica!

Informações de esqueleto dos jogadores

Detecta até 6 jogadores; Obtém informação de

esqueleto de 2 jogadores;

Dá para obter a qualidade da captura;

Este é o grande destaque do Kinect na área de Machine Learning.

Desenvolvendo para o Kinect Drivers abertos (Open Kinect):

Windows XP, Vista, 7; MacOS X; Linux; Open Source;

OpenNI (PrimeSense): Windows, Linux, Mac OS X;

Kinect SDK: Oficial da Microsoft; Apenas para Windows 7;

Desenvolvendo para o KinectDrivers abertos

Após o lançamento foi “hackeado” em poucos dias;

Ele é um dispositivo USB não criptografado!

Microsoft já estava prevendo usos fora do XBOX;

Desenvolvendo para o KinectOpenNI

Wrappers para linguagens diversas: C, C++, Processing, Java, Scratch;

Fácil de integrar com o FAAST; O FAAST permite a criação de

programas para o Kinect sem saber programar para o Kinect.

Desenvolvendo para o Kinect SDK oficial

13/junho/2011 Windows 7; 2GB RAM; DirectX 9.0c; Dual Core 2.66 GHz; Versão Beta;

Licença não-comercial (cuidado!!);

27 12/04/2023

DEMOS do QuickStart do Kinecthttp://channel9.msdn.com/Series/KinectSDKQuickstarts/

1)Instalação do Sensor / Download do SDK; 2) Configurando o ambiente; 3) Criando um projeto Kinect no Visual Studio; 4) Exibindo a imagem da câmera; 5) Alterando o ângulo de elevação da câmera; 6)

Trabalhando com a informação de profundidade;

7) Obtendo informações do esqueleto

1)Instalação do Sensor

O Kinect que vem no Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte);

Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB;

Verifique a versão do Windows (64 / 32 bits). 29 12/04/2023

2) Configurando o ambiente Instalar Visual Studio (pode ser o Express); Instalar DirectX SDK – Junho 2010; Instalar Runtime do DirectX; Se quiser usar o reconhecimento de voz:

Speech Runtime 10.2; Kinect Speech Platform; Speech SDK;

30 12/04/2023

3) Criando um projeto Kinect no Visual Studio

31 12/04/2023

3) Criando um projeto Kinect no Visual Studio

32 12/04/2023

3) Criando um projeto Kinect no Visual Studio

33 12/04/2023*

4) Exibindo a imagem da câmera

Ver eventos VideoFrameReady e DepthFrameReady;

34 12/04/2023

5) Alterando o ângulo de elevação da câmera

nui.NuiCamera.ElevationAngle = (int)slider1.Value;

Máximo de 15 mudanças em 20 segundos;

-27 a +27 graus;

36 12/04/2023

6) Trabalhando com informação de profundidade

Cálculo da distância em milímetros: Depth Image Type;

Bitshift o segundo byte por 8; Distância = (int) Bits[0] | Bits[1] << 8;

DepthAndPlayerIndex Type: Bitshift do primeiro por 3 e do segundo por 5;

Distância = (int) Bits[0] | Bits[1] << 5;

O Player Index indica o jogador que está contido naquele ponto;

Máximo de 6 jogadores;37 12/04/2023

7) Obtendo informações do esqueleto

38 12/04/2023

Evento SkeletonFrameReady.

7) Obtendo informações do esqueleto

Cada joint retorna: X – Posição horizontal entre -1 e 1 Y – Posição vertical entre -1 e 1 Z – Distância até o Kinect em metros

Cada joint tem um estado associado: Tracked; Not Tracked: raro; Inferred: oclusão, cortado, baixa

confiança.

39 12/04/2023

Aplicações e possibilidades do Kinect

Controle de dispositivos através das mãos (Minority Report);

40 12/04/2023

Aplicações e possibilidades do Kinect

Controle robótico: Kits que eram $28.000 agora são

$500; Exemplo com quadricóptero;

41 12/04/2023

Aplicações e possibilidades do Kinect

Video conferência 3D;

42 12/04/2023

Aplicações e possibilidades do Kinect

Scanner 3D (melhor ainda se integrado com uma impressora 3D);

43 12/04/2023

Aplicações e possibilidades do Kinect

Kinect + Realidade Aumentada

44 12/04/2023

Aplicações e possibilidades do Kinect

Kinect Shopping

45 12/04/2023

Aplicações e possibilidades do Kinect Trocar canal da TV; Adaptação de jogos normais para

Kinect; Ensino de idiomas; Ensino em geral; Sistema de navegação para carros; Música; Aplicações médicas; Controle de Apresentação

(PowerPoint);

46 12/04/2023

Mas, não precisa usar o Kinect para tudo...

Cliente Twitter usando o Kinect;

47 12/04/2023

Links Recomendados

Kinect SDK:http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/-Portal oficial da Microsoft sobre desenvolvimento para o Kinect;

Coding4Fun Kinect Toolkit:http://c4fkinect.codeplex.com/-Bibliotecas extras úteis para uso com o SDK.Tutoriais Channel 9http://channel9.msdn.com/series/KinectSDKQuickstarts/Microsoft Speech Platformhttp://www.microsoft.com/download/en/details.aspx?id=10208

4812/04/2023

Links Recomendados

• OpenKinect:– http://openkinect.org/wiki/Main_Page– Download dos drivers open source - libfreenect;

• OpenNI:– http://www.openni.org/– Download dos drivers da PrimeSense.

4912/04/2023

REVIEW

Links RecomendadosKinect Hacks:

http://kinecthacks.net/Portal que centraliza aplicativos e testes com o Kinect.

Kinect Education:http://www.kinecteducation.com/Usos do Kinect na educação;

Dúvidas

?

Obrigado!

© 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after

the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.