desenvolvimento livre no kinect

IFSPCampus Salto

Um pouco sobre mim!

Pesquisador Corollarium Technologies

CNPq Desenv/Porte Sistemas para Multi Projeo p/ RV Orientador: Dr. Marcelo de Paiva Guimares (IFSP)

Coordenador Geral do FliSol Salto SP (2 anos)

Mercado Livre na rea de preveno a Fraude.

Colaborador do projeto Debian GNU/Linux

Membro do GUD SP planeta.debian-sp.org

Colaborador do projeto DebianZine.org (alpha)

Fiz parte do projeto Hackerteen da 4Linux

Roteiro

Evoluo das interfaces de usurios

Evoluo dos dispositivos de games

O que Kinect?- Como funciona o Kinect?- Possibilidades

Desenvolvimento livre- Middlewares e frameworks- Samples e cdigos -Comparaes de frameworks

Evoluo das interfaces de usurio

interface de linha de comandointerface grfica de usurio

Interface natural de usurioFonte: http://en.wikipedia.org/wiki/Natural_user_interface

Interface de Linha de Comando

Imagem: Google Imagens http://www.google.com.br/imghp - Keyboard

Imagem: Google Imagens http://www.google.com.br/imghp - Mouse

Interface Grfica de Usuriohttp://upload.wikimedia.org/wikipedia/commons/thumb/2/2a/JauntyGUI.png/800px-JauntyGUI.png - JauntyGUI

Imagem: Google Imagens http://www.google.com.br/imghp - Minority Report

Interface Natural de Usurio

Design fcil de utilizao

Design simples e natural

Controle de interface por deteco de gestos

Controle de interface por deteco de fala

Design de aplicaes NUI se resume

TouchScreens

Sensores de movimento (acelerometros)

Cmeras de profundidade (3D)

Sensores de udio

Dispositivos

Evoluo dos dispositivos dos games

Vdeo da evoluo dos dispositivos de controle para consoles

http://vimeo.com/18743950 - History of Gaming - by Florian Smolka

O Controle do Wii abriu possibilidades

Ele chegou !! vamos se movimentar!

http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1

O que ele ?

Kinect um dispositivo

Hardware com vrios componentes

Cmera RGB 640x480 - (Polarizao em software de 1200x600) - VNA38209015

IR cmera 320x240 - OG12 / 0956 / D306 / JG05A

IR Projetor - Diodo laser de 830 nm - OG12 / 0956 / D306 / JG05A

LED



Motor vertical


Microfones


Como funciona a captura de udio

Sinal de entrada de udio O Kinect capaz de captar udio por dois microfones

Sinal de entrada de udio O Kinect est equipado com quatro microfones que so colocados em uma fileira. A matriz de microfones capaz de determinar a direo da fonte em relao ao Kinect.

Processamento de sinal de udio Primeiro, o sinal de udio convertido a partir de um sinal analgico para um sinal digital. Em seguida, o sinal processado

O processador

The PrimeSensor Reference Design - http://www.primesense.com/?p=514

O verdadeiro Kinect

The PrimeSensor Technology

The PrimeSensor Technology - http://www.primesense.com/?p=487

O Kinect da ASUS para o PC

http://event.asus.com/wavi/http://us.estore.asus.com/index.php?l=product_detail&p=3397

Preos

Brasil R$599 EUA = $149.99

Consulta data 23/06/2011

EUA = $189.00

EUA $200.00

Kinect e possibilidades

Aproveitar suas caractersticas os benefcios so amplos, pode se aplicar em reas como ;

Robtica

Realidade virtual

Vigilncia

Educao (fisioterapia etc..)

Captura de movimento de pessoas ou objetos

Rastreamento

Captura de vdeo ou imagem 3D.

Pode ser usado para desenvolvimento de aplicaes NUI

Possibilidades

http://www.youtube.com/watch?v=gu5Ywwb4RaU - 3D models built with Kinect style depth camera

http://www.youtube.com/watch?v=YH58u_057Ac - 3D Reconstruction with Kinect

http://www.youtube.com/user/nicolasburrus#p/u/0/Cldf7UdFq1k - RGBDemo 0.5.0: Improved scene reconstruction

http://www.youtube.com/watch?v=ho8KVOe_y08 - 12 BEST Kinect HACKS

http://www.youtube.com/watch?v=2Gp3E7IwLRQ - Kinect Robot Hack

O Kinect tem melhor desempenho no XBOX 360*

O Kinect s funciona no XBOX 360*

O Kinect queima se ligar o USB no PC*

Mito: O Kinect tem melhor desempenho no XBOX 360Explicao:O Kinect no possui melhor desempenho, ele dispositivo de hardware comum, voc pode desenvolver ele da maneira que desejar e usar toda sua eficincia a diferena que a Microsoft possui desenvolvedores que se focam a desenvolver uma SDK para empresas de desenvolvimento de jogos, assim elas focam em deixar um framework para o XBOX perfeito com todas suas funcionalidades.Mito: O Kinect s funciona no XBOX 360Explicao:Como dito no mito anterior ele um dispositivo de hardware comum, se voc possui o driver e mdulos, ele funciona aonde voc quiser.Mito: O Kinect queima se voc ligar o USB em qualquer outra plataforma que no seja o XboxExplicao:Outro mito que pelo que foi dito anteriormente se resume a mito

OpenKinect uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect em computadores e outros dispositivos criando bibliotecas livres para que a Kinect seja utilizada em diferentes plataformas

O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC Hctor Martin liberou o cdigo da libfreenect no Github Primeiro commit em 10 Novembro de 2010 17 de dezembro j foi implementado libfreenect plataforma win32

Cdigo fonte disponvel em: https://github.com/OpenKinect/libfreenect

Google Groups: OpenKinect#openkinect - Freenode

Imagens de profundidade e RGB

Motor (posio de orientao vertical)

Acelermetro

LED

udio (mais no implementado)

Wrappers (C#, C++ , Python, Java , AS3)

Suporte nas plataformas Windows, GNU/Linux e Mac OS X

libfreenect

PrimeSense reconhece o interesse e as realizaes da comunidade de cdigo aberto

Surgi um ms depois da libfreenect ser lanada em 09 de dezembro 2010

Lana seus drivers do PrimeSensor em (LGPLv3+)

Surgi fork do PrimeSensor para o Kinect (SensorKinect by Avin2)

Lana sua OpenNI framework (LGPLv3+)

Promove iniciativas, sem fins lucrativos de utilizao da NUI

Google Groups: OpenNI

Rastreamento de Esqueleto

Z do Kinect

Y

Pontos do esqueleto (x,y,z)

http://www.openclipart.org/people/harmonic/Vitruvian_Man.svg

NiUserTracker

(C++)

Demonstrao e cdigo!

TuxSinbad (OpenNI+Ogre)

https://github.com/ttair/TuxSinbad

Reconhecimento gestos da mo

Demonstrao e cdigo!

FrameworksOpenKinectOpenNIMicrosoft Kinect SDK Beta

LicenaLGPLv3+LGPLv3+Proprietria e no uso comercial

Driver (mdulo)libfreenectSensorKinect Avin2 / CL NUI*

Windows,GNU/Linux e Mac OSX SimSimNo

Suporte para cmeras referncia da PrimeSense(Asus WAVI Xtion)NoSimNo

Uso de vrios KinectsSimSimSim

Cmera RGBSimSimSim

Cmera InfravermelhoSimSimSim

Projetor InfravermelhoSimsimSim

LEDSimSimNo

Motor verticalSimNoSim

udioImplementado (no default)NoSim

Deteco de gestosExemplo de uso OpenCV que possui mdulos de processamento de imagem.NITE Middleware (Baseado em OpenCV)*

Deteco do EsqueletoNoSimSim

Deteco da Mo (Click, movimento e circulo)NoSimNo

Analisador de CenasNoSimNo

Referncias

http://openkinect.org OpenKinect.org

https://github.com/OpenKinect/libfreenect- libfreenect

http://openkinect.org - OpenKinect. is an open community of people interested in making use of the amazing Xbox Kinect hardware with our PCs and other devices. We are working on free, open source libraries that will enable the Kinect to be used with Windows, Linux, and Mac

http://www.primesense.com - PrimeSense. PrimeSense has delivered an important component to the technology, helping us deliver revolutionary controller-free entertainment experiences

http://opencv.willowgarage.com/wiki/ - OpenCV

http://www.primesense.com/?p=514- PrimeSense Reference Design

http://event.asus.com/wavi/ - WAVI Xtion. Intuitive living room experience

http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/ - Microsoft Kinect Teardown

http://www.xbox.com/pt-br/kinect -Microsoft Kinect for Xbox360.

http://www.hitl.washington.edu/artoolkit/ - ARToolKit

http://en.wikipedia.org/wiki/Natural_User_Interface - Natural user interface

http://bit.ly/i045ty - RGBDemo 0.5.0: Improved scene reconstruction

Perguntas?

Twitter: @gustavojordanIdenti.ca: !gustavojordanPlaneta Debian-SP : planeta.debian-sp.orgsoftwarelivre.org/jordanSite/Blog: http://andarilhovirtual.com.brBlog: http://blog.andarilhovirtual.com.br

[email protected]