delphiconferencebrasil2011 delphi + kinect

Integrando Delphi XE2com Kinect

Victory Fernandes

Victory Fernandes

• Engenheiro, Diretor Técnico da TKS Software• Autor da ActiveDelphi, TheClub e ClubeDelphi• Autor de componentes para– Sintegra, SPED, Nfe, Cte, FCONT, SEF...

• Colaborador do projeto TKinect• Edição 88 da ActiveDelphi

Quem jogou XBOX360 com Kinect?

Quem já integrou Kinect com PC?

Project Natal lançado nos EUA em 04.11.2010

lançado nos Brasil em 18.11.2010

R$350 US$110

R$1.100 US$300

Especificações do Hardware

• Câmera de vídeo RGB (Red-Green-Blue)– Imagens RGB em alta resolução (1600x1200 pixels)

• Hardware de scanner 3D– Imagens com informação de profundidade (640x480 pixels)– Resolução de 3mm; 1cm de precisão a 2m de distância

• Sensores acelerômetros– Detecta movimentação e inclinação (eixos X, Y e Z)

• Microfones– Reconhecimento e controle de voz

• Ajustes de altura com servo-motor instalado na base• Controle do LED frontal

+

=

Por dentro do Kinect...

• PrimeSense (www.primesense.com) – Empresa Israelense; Patente americana: 2010/0118123-A1

Produto equivalente...

• D-IMager (Panasonic)– US$1,967.00 (digikey.com)

• Wavi Xtion (Asus)– US$189.00 (us.estore.asus.com)

Kinect muito além do XBOX360...

Real Time Lightsaberhttp://youtu.be/3EeJCln5KYg

Stanford ‘JediBot’http://youtu.be/VuSCErmoYpY

Humanoid Robot by Kinecthttp://youtu.be/w8BmgtMKFbY

Kinect muito além do XBOX360...

Kinect muito além do XBOX360...

NAO Robot + Kinecthttp://youtu.be/TmTW61MLm68

Quadrocopter Ball - ETH Zurichhttp://youtu.be/3CR5y8qZf0Y

Kinect muito além do XBOX360...

? ?

Kinect muito além do XBOX360...

• Inspeção 3D em planta industrial• Manipulação Hands-Free– Ambiente industrial– Mídia Publicitária

Kinect + PC

• 06.11.2010 na semana do lançamento...– AlexP é o primeiro a hackear o Kinect no Windows– KinectHacks (http://kinecthacks.net/)– Ladyada (http://ladyada.net/learn/diykinect/)

• Algumas semanas depois...– Code Labs libera CLNUI - drivers estáveis para Windows– Aleks da IT Security Lab divulga videos (http://itsecuritylab.eu/)– Simons J. Stuart converte Headers em C para Delphi e libera

TKinect v1.00– 29.12.2010 – Andreano e ActiveDelphi noticiam no Brasil

Kinect + Delphi = TKinect

• Download CLNUI– http://codelaboratories.com/nui/

• Download .NET Redistributable – http://www.microsoft.com/download/en/details.aspx?id=65

• Download TKinect– Freeware, Opensource– www.simonjstuart.com/delphi-stuff/tkinect/

CLNUI self-test

+ +

TKinect v1

TKinect v1

TKinect v1

TKinect v1

01: Conectando DelphiXE2 e Kinect

• Conexão com múltiplos Kinects

• Controle de LEDs– MyKinect.Motor.LEDColor– TKinectLEDColor = (klcOff, klcGreen, klcRed, klcOrange,

klcBlinkGreen, klcBlinkRedOrange);

• Controle de Motor– myKinect.Motor.SetPosition()

02: Imagens e acelerômetro

• Imagens– myKinect.Camera.RGB.Output.Bitmap– myKinect.Camera.Depth.Output.Bitmap– myKinect.Camera.Start;– myKinect.Camera.RGB.GrabFrame;– myKinect.Camera. Depth.GrabFrame;

• Acelerômetro– myKinect.Accelerometer.Update– myKinect.Accelerometer.X;– myKinect.Accelerometer.Y;– myKinect.Accelerometer.Z;

03: Processamento das imagens

• Detecção de mãos e dedos• Movimento do Mouse e Clicks• Controle de sliding

TKinect v2 – Futuro Próximo...

• Integração SDK oficial Microsoft– http://kinectforwindows.org/– Atenção: Incompatível com CLNUI; Não executa em VMachines

• Acesso a Stream de dados para RGB, 3D e Audio• Recursos de Joint e Skeletal Tracking

C:\Users\Public\Documents\

C:\Program Files (x86)\

06: DelphiXE2 Skeletal Viewer

TKinect v2 – Futuro Próximo...

• Joint e Skeletal Tracking funcionais • Problemas na captura de imagens em formato Stream• Dificuldades na conversão Headers em C# para Delphi

TKinect v2 – Futuro Próximo...

• Disponível na próxima semana para download (AS-IS)– www.simonjstuart.com

• Componente nativo no Delphi XE3?– Empowering new hands free UI

• The Kinect Accelerator Project– Ten Startups. Three Months in Seattle. $20,000– www.microsoft.com/bizspark/kinectaccelerator/

Perguntas?

• Referências– ActiveDelphi - Edição 88

www.activedelphi.com.br/mostra_edicao.php?ed=88

• Exemplos utilizados na palestra– www.igara.com.br/delphiconference

• Slides na EDN–Embarcadero Developer Network– http://edn.embarcadero.com/br

• Favor preencher ficha de avaliação

Obrigado!

Victory Fernandesvictory@igara.com.brwww.igara.com.br/victory@victoryjorge