delphiconferencebrasil2011 delphi + kinect

39
Integran do Delphi XE2 com Kinect Victory Fernandes

Upload: vic-fernandes

Post on 24-May-2015

953 views

Category:

Documents


0 download

DESCRIPTION

Apresentação realizada na Delphi Conference Brasil 2011 em São Paulo, demonstrando a integração do Delphi com o Kinect.

TRANSCRIPT

Page 1: DelphiConferenceBrasil2011 Delphi + Kinect

Integrando Delphi XE2com Kinect

Victory Fernandes

Page 2: DelphiConferenceBrasil2011 Delphi + Kinect

Victory Fernandes

• Engenheiro, Diretor Técnico da TKS Software• Autor da ActiveDelphi, TheClub e ClubeDelphi• Autor de componentes para– Sintegra, SPED, Nfe, Cte, FCONT, SEF...

• Colaborador do projeto TKinect• Edição 88 da ActiveDelphi

Page 3: DelphiConferenceBrasil2011 Delphi + Kinect

Quem jogou XBOX360 com Kinect?

Page 4: DelphiConferenceBrasil2011 Delphi + Kinect

Quem já integrou Kinect com PC?

Page 5: DelphiConferenceBrasil2011 Delphi + Kinect

Project Natal lançado nos EUA em 04.11.2010

lançado nos Brasil em 18.11.2010

Page 6: DelphiConferenceBrasil2011 Delphi + Kinect

R$350 US$110

Page 7: DelphiConferenceBrasil2011 Delphi + Kinect

R$1.100 US$300

Page 8: DelphiConferenceBrasil2011 Delphi + Kinect
Page 9: DelphiConferenceBrasil2011 Delphi + Kinect

Especificações do Hardware

• Câmera de vídeo RGB (Red-Green-Blue)– Imagens RGB em alta resolução (1600x1200 pixels)

• Hardware de scanner 3D– Imagens com informação de profundidade (640x480 pixels)– Resolução de 3mm; 1cm de precisão a 2m de distância

• Sensores acelerômetros– Detecta movimentação e inclinação (eixos X, Y e Z)

• Microfones– Reconhecimento e controle de voz

• Ajustes de altura com servo-motor instalado na base• Controle do LED frontal

Page 10: DelphiConferenceBrasil2011 Delphi + Kinect
Page 11: DelphiConferenceBrasil2011 Delphi + Kinect
Page 12: DelphiConferenceBrasil2011 Delphi + Kinect

+

=

Page 13: DelphiConferenceBrasil2011 Delphi + Kinect

Por dentro do Kinect...

• PrimeSense (www.primesense.com) – Empresa Israelense; Patente americana: 2010/0118123-A1

Page 14: DelphiConferenceBrasil2011 Delphi + Kinect

Produto equivalente...

• D-IMager (Panasonic)– US$1,967.00 (digikey.com)

• Wavi Xtion (Asus)– US$189.00 (us.estore.asus.com)

Page 15: DelphiConferenceBrasil2011 Delphi + Kinect

Kinect muito além do XBOX360...

Real Time Lightsaberhttp://youtu.be/3EeJCln5KYg

Stanford ‘JediBot’http://youtu.be/VuSCErmoYpY

Page 16: DelphiConferenceBrasil2011 Delphi + Kinect

Humanoid Robot by Kinecthttp://youtu.be/w8BmgtMKFbY

Kinect muito além do XBOX360...

Page 17: DelphiConferenceBrasil2011 Delphi + Kinect

Kinect muito além do XBOX360...

NAO Robot + Kinecthttp://youtu.be/TmTW61MLm68

Quadrocopter Ball - ETH Zurichhttp://youtu.be/3CR5y8qZf0Y

Page 18: DelphiConferenceBrasil2011 Delphi + Kinect

Kinect muito além do XBOX360...

Page 19: DelphiConferenceBrasil2011 Delphi + Kinect

? ?

Page 20: DelphiConferenceBrasil2011 Delphi + Kinect

Kinect muito além do XBOX360...

• Inspeção 3D em planta industrial• Manipulação Hands-Free– Ambiente industrial– Mídia Publicitária

Page 21: DelphiConferenceBrasil2011 Delphi + Kinect

Kinect + PC

• 06.11.2010 na semana do lançamento...– AlexP é o primeiro a hackear o Kinect no Windows– KinectHacks (http://kinecthacks.net/)– Ladyada (http://ladyada.net/learn/diykinect/)

• Algumas semanas depois...– Code Labs libera CLNUI - drivers estáveis para Windows– Aleks da IT Security Lab divulga videos (http://itsecuritylab.eu/)– Simons J. Stuart converte Headers em C para Delphi e libera

TKinect v1.00– 29.12.2010 – Andreano e ActiveDelphi noticiam no Brasil

Page 22: DelphiConferenceBrasil2011 Delphi + Kinect

Kinect + Delphi = TKinect

• Download CLNUI– http://codelaboratories.com/nui/

• Download .NET Redistributable – http://www.microsoft.com/download/en/details.aspx?id=65

• Download TKinect– Freeware, Opensource– www.simonjstuart.com/delphi-stuff/tkinect/

Page 23: DelphiConferenceBrasil2011 Delphi + Kinect

CLNUI self-test

+ +

Page 24: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v1

Page 25: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v1

Page 26: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v1

Page 27: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v1

Page 28: DelphiConferenceBrasil2011 Delphi + Kinect

01: Conectando DelphiXE2 e Kinect

• Conexão com múltiplos Kinects

• Controle de LEDs– MyKinect.Motor.LEDColor– TKinectLEDColor = (klcOff, klcGreen, klcRed, klcOrange,

klcBlinkGreen, klcBlinkRedOrange);

• Controle de Motor– myKinect.Motor.SetPosition()

Page 29: DelphiConferenceBrasil2011 Delphi + Kinect

02: Imagens e acelerômetro

• Imagens– myKinect.Camera.RGB.Output.Bitmap– myKinect.Camera.Depth.Output.Bitmap– myKinect.Camera.Start;– myKinect.Camera.RGB.GrabFrame;– myKinect.Camera. Depth.GrabFrame;

• Acelerômetro– myKinect.Accelerometer.Update– myKinect.Accelerometer.X;– myKinect.Accelerometer.Y;– myKinect.Accelerometer.Z;

Page 30: DelphiConferenceBrasil2011 Delphi + Kinect

03: Processamento das imagens

• Detecção de mãos e dedos• Movimento do Mouse e Clicks• Controle de sliding

Page 31: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v2 – Futuro Próximo...

• Integração SDK oficial Microsoft– http://kinectforwindows.org/– Atenção: Incompatível com CLNUI; Não executa em VMachines

• Acesso a Stream de dados para RGB, 3D e Audio• Recursos de Joint e Skeletal Tracking

Page 32: DelphiConferenceBrasil2011 Delphi + Kinect

C:\Users\Public\Documents\

Page 33: DelphiConferenceBrasil2011 Delphi + Kinect

C:\Program Files (x86)\

Page 34: DelphiConferenceBrasil2011 Delphi + Kinect
Page 35: DelphiConferenceBrasil2011 Delphi + Kinect

06: DelphiXE2 Skeletal Viewer

Page 36: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v2 – Futuro Próximo...

• Joint e Skeletal Tracking funcionais • Problemas na captura de imagens em formato Stream• Dificuldades na conversão Headers em C# para Delphi

Page 37: DelphiConferenceBrasil2011 Delphi + Kinect

TKinect v2 – Futuro Próximo...

• Disponível na próxima semana para download (AS-IS)– www.simonjstuart.com

• Componente nativo no Delphi XE3?– Empowering new hands free UI

• The Kinect Accelerator Project– Ten Startups. Three Months in Seattle. $20,000– www.microsoft.com/bizspark/kinectaccelerator/

Page 38: DelphiConferenceBrasil2011 Delphi + Kinect

Perguntas?

• Referências– ActiveDelphi - Edição 88

www.activedelphi.com.br/mostra_edicao.php?ed=88

• Exemplos utilizados na palestra– www.igara.com.br/delphiconference

• Slides na EDN–Embarcadero Developer Network– http://edn.embarcadero.com/br

• Favor preencher ficha de avaliação

Page 39: DelphiConferenceBrasil2011 Delphi + Kinect

Obrigado!

Victory [email protected]/victory@victoryjorge