palestra kinect - teched review
DESCRIPTION
Palestra Sobre KinectTRANSCRIPT
REVIEW
Liberte as mãos com o Kinect
Gesmar Júnior[MSP] [Célula Iles/Ulbra.net | Guará.net]Sócio /Diretor da Agis Intelicodehttp://www.agis-ic.net
[email protected] @gesmarjunior [email protected] http://gesmarjunior.wordpress.com
REVIEW
Agenda
• Vamos aprender o que é o Kinect;
• Arquitetura básica;• Falar sobre o princípios de
funcionamento;• Demonstrar ferramentas de
desenvolvimento e o SDK oficial.• Comentar sobre aplicações e
projetos.
REVIEW
Público-alvo da palestra
• Pessoal da computação em geral;
• Interessados em robótica;• Desenvolvedores de jogos;• Pesquisadores e
desenvolvedores interessados no futuro dos sistemas de informação;
• Educadores (gesture based learning).
O que é o Kinect?
Dispositivo de interação natural;
Microsoft; XBOX 360 (jogos); Lançamento: 4/11/2010; 8 milhões vendidos em 60
dias (recorde); 10 milhões até março de
2011;5 12/04/2023
REVIEW
Onde começou
“O Projeto Natal descarta joysticks convencionais e demais apetrechos (invariavelmente controlados por meio das mãos). Ele permite que o jogador controle as ações do game através de comandos de voz e movimentos do seu próprio corpo.” Alex Kipman
REVIEW
Porque Kinect
“kínésis” = movimentar ou mover
“connect” = em inglês se refere ao ato de conectar
REVIEW
E a Microsoft fez o quê?
Decifrar a imagem Detectar a posição do corpo a partir da
imagem 3D vinda do Kinect Algoritmo de aprendizado de máquina Microfones direcionais Um bom sistema de reconhecimento de
voz
REVIEW
Motivação para criação do Kinect
Sucesso do Wii;
10 12/04/2023
Wii / Kinect não são tão pioneiros!Dispositivos de interface natural
Trabalhos de Myron Krueger (Video Place), Activator, EyeToy, Track IR, projetos finais;
Problemas sempre foram: performance e reconhecimento facial.
11 12/04/2023
Kinect não vai ser o único dispositivo futuro de interface natural
Windows 8/9; iOs 6;
12 12/04/2023
Projeto Natal - Origem Forte P&D; Alex Kipmann - Diretor de
incubação da Microsoft; PrimeSense; 3DV Systems.
13 12/04/2023
14 12/04/2023
Se você sabe mover-se você sabe usar o Kinect
Arquitetura do Kinect
15 12/04/2023
Arquitetura do Kinect
16
Projetor de Luz Infravermelha (invisível)
Câmera RGB (“comum”)
Câmera infravermelha
Conjunto de microfones
Motor
Arquitetura do Kinect
Arquitetura do KinectImage Stream
Cada pixel representa uma cor; 640x480 (30 fps) OU 1280x1024 (máximo 15 fps);
18 12/04/2023
Arquitetura do KinectAudio Stream
4 microfones; Anula ruído e eco. Permite gravação de audio; Excelente reconhecimento de fala (em inglês);
Arquitetura do Kinect Motor
27 graus para cima ou para baixo;
Não chamar com muita freqüencia;
SDK limita em 15 vezes a cada 20 segundos.
Sensor de profundidade 3d do Kinect
Projetor de Luz Infravermelha
Câmera infravermelha
Sensor de Profundidade 3D
Princípio de funcionamento do sensor de profundidade 3D
Medição de um “padrão” invisível projetado no corpo;
Observação: não é uma câmera estereoscópica!
Informações de esqueleto dos jogadores
Detecta até 6 jogadores; Obtém informação de
esqueleto de 2 jogadores;
Dá para obter a qualidade da captura;
Este é o grande destaque do Kinect na área de Machine Learning.
Desenvolvendo para o Kinect Drivers abertos (Open Kinect):
Windows XP, Vista, 7; MacOS X; Linux; Open Source;
OpenNI (PrimeSense): Windows, Linux, Mac OS X;
Kinect SDK: Oficial da Microsoft; Apenas para Windows 7;
Desenvolvendo para o KinectDrivers abertos
Após o lançamento foi “hackeado” em poucos dias;
Ele é um dispositivo USB não criptografado!
Microsoft já estava prevendo usos fora do XBOX;
Desenvolvendo para o KinectOpenNI
Wrappers para linguagens diversas: C, C++, Processing, Java, Scratch;
Fácil de integrar com o FAAST; O FAAST permite a criação de
programas para o Kinect sem saber programar para o Kinect.
Desenvolvendo para o Kinect SDK oficial
13/junho/2011 Windows 7; 2GB RAM; DirectX 9.0c; Dual Core 2.66 GHz; Versão Beta;
Licença não-comercial (cuidado!!);
27 12/04/2023
DEMOS do QuickStart do Kinecthttp://channel9.msdn.com/Series/KinectSDKQuickstarts/
1)Instalação do Sensor / Download do SDK; 2) Configurando o ambiente; 3) Criando um projeto Kinect no Visual Studio; 4) Exibindo a imagem da câmera; 5) Alterando o ângulo de elevação da câmera; 6)
Trabalhando com a informação de profundidade;
7) Obtendo informações do esqueleto
1)Instalação do Sensor
O Kinect que vem no Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte);
Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB;
Verifique a versão do Windows (64 / 32 bits). 29 12/04/2023
2) Configurando o ambiente Instalar Visual Studio (pode ser o Express); Instalar DirectX SDK – Junho 2010; Instalar Runtime do DirectX; Se quiser usar o reconhecimento de voz:
Speech Runtime 10.2; Kinect Speech Platform; Speech SDK;
30 12/04/2023
3) Criando um projeto Kinect no Visual Studio
31 12/04/2023
3) Criando um projeto Kinect no Visual Studio
32 12/04/2023
3) Criando um projeto Kinect no Visual Studio
33 12/04/2023*
4) Exibindo a imagem da câmera
Ver eventos VideoFrameReady e DepthFrameReady;
34 12/04/2023
5) Alterando o ângulo de elevação da câmera
nui.NuiCamera.ElevationAngle = (int)slider1.Value;
Máximo de 15 mudanças em 20 segundos;
-27 a +27 graus;
36 12/04/2023
6) Trabalhando com informação de profundidade
Cálculo da distância em milímetros: Depth Image Type;
Bitshift o segundo byte por 8; Distância = (int) Bits[0] | Bits[1] << 8;
DepthAndPlayerIndex Type: Bitshift do primeiro por 3 e do segundo por 5;
Distância = (int) Bits[0] | Bits[1] << 5;
O Player Index indica o jogador que está contido naquele ponto;
Máximo de 6 jogadores;37 12/04/2023
7) Obtendo informações do esqueleto
38 12/04/2023
Evento SkeletonFrameReady.
7) Obtendo informações do esqueleto
Cada joint retorna: X – Posição horizontal entre -1 e 1 Y – Posição vertical entre -1 e 1 Z – Distância até o Kinect em metros
Cada joint tem um estado associado: Tracked; Not Tracked: raro; Inferred: oclusão, cortado, baixa
confiança.
39 12/04/2023
Aplicações e possibilidades do Kinect
Controle de dispositivos através das mãos (Minority Report);
40 12/04/2023
Aplicações e possibilidades do Kinect
Controle robótico: Kits que eram $28.000 agora são
$500; Exemplo com quadricóptero;
41 12/04/2023
Aplicações e possibilidades do Kinect
Video conferência 3D;
42 12/04/2023
Aplicações e possibilidades do Kinect
Scanner 3D (melhor ainda se integrado com uma impressora 3D);
43 12/04/2023
Aplicações e possibilidades do Kinect
Kinect + Realidade Aumentada
44 12/04/2023
Aplicações e possibilidades do Kinect
Kinect Shopping
45 12/04/2023
Aplicações e possibilidades do Kinect Trocar canal da TV; Adaptação de jogos normais para
Kinect; Ensino de idiomas; Ensino em geral; Sistema de navegação para carros; Música; Aplicações médicas; Controle de Apresentação
(PowerPoint);
46 12/04/2023
Mas, não precisa usar o Kinect para tudo...
Cliente Twitter usando o Kinect;
47 12/04/2023
Links Recomendados
Kinect SDK:http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/-Portal oficial da Microsoft sobre desenvolvimento para o Kinect;
Coding4Fun Kinect Toolkit:http://c4fkinect.codeplex.com/-Bibliotecas extras úteis para uso com o SDK.Tutoriais Channel 9http://channel9.msdn.com/series/KinectSDKQuickstarts/Microsoft Speech Platformhttp://www.microsoft.com/download/en/details.aspx?id=10208
4812/04/2023
Links Recomendados
• OpenKinect:– http://openkinect.org/wiki/Main_Page– Download dos drivers open source - libfreenect;
• OpenNI:– http://www.openni.org/– Download dos drivers da PrimeSense.
4912/04/2023
REVIEW
Links RecomendadosKinect Hacks:
http://kinecthacks.net/Portal que centraliza aplicativos e testes com o Kinect.
Kinect Education:http://www.kinecteducation.com/Usos do Kinect na educação;
Dúvidas
?
Obrigado!
© 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after
the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.