Interao com ambientes de realidade virtual por gestos corporais

Download Interao com ambientes de realidade virtual por gestos corporais

Post on 07-Nov-2014

739 views

Category:

Technology

0 download

DESCRIPTION

Interao com ambientes de realidade virt

TRANSCRIPT

  • 1. Interao com ambientesde realidade virtual por gestoscorporaisGustavo Jordan Castro BrasilAo meu anjo da guarda
  • 2. laviic.dc.ufscar.br 2ndiceEvoluo das interfaces deusurio e de seusdispositivosCLIGUINUIOUIDispositivos de captura degestos baseados emimagens de profundidadeComo funcionaDispositivos AtuaisPossibilidades de usoDesenvolvimentoFramework e MiddlewaresAplicaes prticas
  • 3. laviic.dc.ufscar.br Interface de usurio o sistema pelo qual as pessoas(usurios) interagem com uma mquina. Interface do usurio inclui hardware (fsico) e software(lgico) componentes. Entrada: permitindo que os usurios manipulem um sistema Sada: permitindo que o sistema para indicar os efeitos da manipulaodos utilizadores3DesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvoluo das interfaces de usurio e de seusdispositivos
  • 4. laviic.dc.ufscar.br 4Humanos possuem a capacidade de comunicao pela linguagem corporalGestos do corpo podem representar algum tipo de significadoDesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvoluo das interfaces de usurio e de seusdispositivos
  • 5. laviic.dc.ufscar.br 5Como representar os gestos do corpo humano para uma interface que possainterpretar por meio de dispositivos computacionais?DesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvoluo das interfaces de usurio e de seusdispositivos
  • 6. laviic.dc.ufscar.br 6CLIEstticaDesconectada(abstrata)Baixo-nvelEstritaDiretaDifcilGUI Responsiva Indireta Exploratria LimitadaNUIEvocativaImediata (direta)ContextualInterativaIntuitivaOUI Fluida Extensiva Antecipada SintticaDesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvoluo das interfaces de usurio e de seusdispositivos
  • 7. laviic.dc.ufscar.br 7Segundo Weiyuan (2010), a NUI possu as seguintes caractersticasDesigncentradono usurioLargura debanda altaMulti canalSimples enaturalInteraobaseadaporimagensInteraobaseadapor vozInteraobaseadanocomportamentoDesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvoluo das interfaces de usurio e de seusdispositivos
  • 8. laviic.dc.ufscar.br 8 A evoluo dos computadores e das suas interfaces permitiram que o serhumano possa se comunicar cada vez mais de uma maneira intuitiva enatural. O desenvolvimento de ferramentas e solues para que essa comunicaose torne efetiva tem sido o foco de pesquisas nos ltimos anos. A capacidade de monitorar e reconhecer os movimentos de uma pessoapode ser alcanado atravs de vrios sensores. Com o surgimento de cmeras de luz estruturada com informao dedistncia/profundidade (Z-buffer) e no apenas cor (RGB) foi possvelrealizar esta tarefa Gnecco et al (2012).DesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvoluo das interfaces de usurio e de seusdispositivos
  • 9. laviic.dc.ufscar.br 9 Modelagem tridimensional por luz estruturada So padres de luz com caractersticas conhecidas que so projetadossobre a superfcie do objeto e um instrumento sensor captura a imagemdos padres que so distorcidos pela superfcie de projeo. Pela medio desta distoro e pelo conhecimento das caractersticasgeomtricas (e/ou radiomtrica) dos padres que so projetados se faz adeterminao das coordenadas de pontos que compem a superfcie doobjeto.DesenvolvimentoEvoluo das interfaces de usurio e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  • 10. laviic.dc.ufscar.br 10 Dispositivos referncia PrimeSenseDesenvolvimentoEvoluo das interfaces de usurio e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  • 11. laviic.dc.ufscar.br 11 Dispositivos referncia PrimeSenseDesenvolvimentoEvoluo das interfaces de usurio e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  • 12. laviic.dc.ufscar.br 12 Dispositivos referncia PrimeSenseDesenvolvimentoEvoluo das interfaces de usurio e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidadePRO LIVEUS 199,00PROUS 150,00for WindowsUS 240,00for Xbox 360US 110,00
  • 13. laviic.dc.ufscar.br 13 Dispositivos referncia PrimeSenseDesenvolvimentoEvoluo das interfaces de usurio e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidadeCARMINE1.08CARMINE1.09CARMINE1.25
  • 14. laviic.dc.ufscar.br Suas caractersticas e benefcios so amplos, podendo seraplicados em reas como : Robtica Realidade virtual Vigilncia Educao (fisioterapia etc..) Captura de movimento de pessoas ou objetos Rastreamento Captura de vdeo ou imagem 3D14DesenvolvimentoEvoluo das interfaces de usurio e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  • 15. laviic.dc.ufscar.br Existem diversas ferramentas dedesenvolvimento para dispositivosreferncia PrimeSense, cada uma comsuas caractersticas.15Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 16. laviic.dc.ufscar.br 16Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 17. laviic.dc.ufscar.br 17 O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC Hctor Martin liberou o cdigo da libfreenect no Github Primeiro commit em 10 Novembro de 2010 17 de dezembro j foi implementado libfreenect plataforma win32 A libfreenect compe classes de desenvolvimento para acesso ao hardware do dispositivo. OpenKinect uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect emcomputadores e outros dispositivos criando bibliotecas livres para que o Kinect seja utilizada emdiferentes plataformasGoogle Groups: OpenKinect#openkinect - FreenodeCdigo fonte disponvel em: https://github.com/OpenKinect/libfreenectDispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 18. laviic.dc.ufscar.br 18 Captura de histogramas para gerao de imagens de profundidade e RGB Controle do Motor (posio de orientao vertical) Captura de dados do Acelermetro LED de status udio Bindings (C#, C++ , Python, Java , AS3) Suporte nas plataformas Windows, GNU/Linux e OS XDispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 19. laviic.dc.ufscar.br 19 No possui integrao com a NITE (middleware NUI) Derivada da engenharia reversa do driver oficial doKinect A OpenKinect no um framework A libfreenect apenas um modulo (driver), uma API paraacesso ao hardware do dispositivo Microsoft KinectDispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 20. laviic.dc.ufscar.br 20Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 21. laviic.dc.ufscar.br 21Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 22. laviic.dc.ufscar.br 22Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento PrimeSense reconhece o interesse e as realizaes da comunidadede cdigo aberto Surgi um ms depois da libfreenect ser lanada em 09 de dezembro2010 Lana seus drivers do PrimeSensor em (LGPLv3+) Surgi fork do PrimeSensor para o Kinect (SensorKinect by Avin2) Lana sua OpenNI framework, atualmente 2.(LGPLv3+) Promove iniciativas, sem fins lucrativos de utilizao da NUI
  • 23. laviic.dc.ufscar.br um framework que fornece uma API para odesenvolvimento de aplicaes que necessitam deinterao natural. API abrange a comunicao com dispositivos de baixonvel (por exemplo, sensores de viso e udio), bemcomo solues de alto nvel (por exemplo, oacompanhamento visual utilizando viso computacional). O framework est escrito e distribudo sob a GNU LesserGeneral Public License (LGPL)23Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 24. laviic.dc.ufscar.br 24Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 25. laviic.dc.ufscar.br 25Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 26. laviic.dc.ufscar.br O NITE um middleware usado pela interface OpenNI, edesenvolvido pela PrimeSense. Apesar de possuir cdigo fechado, gratuito e pode serusado comercialmente. Responsvel por identificar os usurios nas imagens deprofundidade e rastrear seus movimentos, alm deprover uma API que detecta gestos. Modos de operao: Rastrear mos, com deteco de gestos em particular Rastrear o corpo todo (esqueleto)26Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 27. laviic.dc.ufscar.br 27Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimentoCaptura e rastreia o centro da mo e oferece coordenadas X, Y e Z do planocartesiano em tempo real. Deteco de gestos (Push, swipe, steady, wave, circle)
  • 28. laviic.dc.ufscar.br 28Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimentoCaptura e rastreia 15 joints (juntas) e oferece coordenadas X, Y e Z do plano cartesiano do corpoem tempo real.
  • 29. laviic.dc.ufscar.br 29Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 30. laviic.dc.ufscar.br 30Dispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento O Microsoft Kinect SDK 1.0 para Windows Destinado aos sistemas operacionais Windows 7 e WindowsEmbedded Standard O SDK fornece suporte para os componentes de hardware dodispositivo Kinect. um SDK proprietrio, sendo a distribuio de licena, para o usocomercial, vinculada ao somente ao dispositivo Microsoft Kinectpara Windows.
  • 31. laviic.dc.ufscar.br 31OpenKinect OpenNI Microsoft Kinect SDK v1.0Licena LGPLv3+ LGPLv3+(Nite tem cdigo fechado masque pode ser usadocomercialmente)Proprietria e uso nocomercial para o MicrosoftKinect para Xbox360.Hardware Microsoft Kinect paraXbox360 e Microsoft Kinectpara WindowsQualquer compatvel compadro OpenNIMicrosoft KinectDriver libfreenect SensorKinect Avin2 Microsoft Kinect SDK v1.0Multiplataforma de S.O Sim Sim NoMltiplos Kinects Sim Sim SimCmera RGB Sim Sim SimCmera Infravermelho Sim Sim SimProjetor Infravermelho Sim Sim SimLED de estatus Sim Sim NoMotor de inclinao vertical Sim No SimVetor de microfones Implementado No SimDeteco de gestos Implementao a partir doOpenCVSim, pelo middleware *Deteco do esqueleto No Sim, pelo middleware SimDeteco da mos emdulos dereconhecimento de gestosNo Sim, pelo middleware NoAnlisador de cena No Sim No
  • 32. laviic.dc.ufscar.br 32DispositivoMicrosoft Kinect XBOX 360Framework/MiddlewareOpenNI 1.X/NITELinguagem de programaoDispositivos de captura de gestos baseadosem imagens de profundidadeEvoluo das interfaces de usurio e de seusdispositivosDesenvolvimento
  • 33. laviic.dc.ufscar.brAgradecimentosRefernciasTrabalho FuturosConclusoLies Aprendidas33GNECCO, B. B. ; BRASIL, G. J. C. ; DIAS, D. R. C. ; GUIMARES, M. P. . Desenvolvimento de InterfaceNaturais de Interao usando o hardware Kinect. Tendncias e Tcnicas em Realidade Virtual eAumentada, v. 2, p. 1-264, 2012.Weiyuan Liu. Natural user interface- next mainstream product user interface.Computer-AidedIndustrial Design & Conceptual Design (CAIDCD), IEEE 11th International Conference on , vol.1, no.,pp.203-205, 17-19 Nov. 2010.OpenNI Documentation. http://openni.org/Documentation/OpenKinect. http://openkinect.orgKinect SDK EULA. http://www.microsoft.com/en-us/kinectforwindows/develop/sdkeula.aspxPrimeSense. PrimeSense has delivered an important component to the technology, helping usdeliver revolutionary controller-free entertainment experiences. http://www.primesense.comWAVI Xtion. Intuitive living room experience. http://event.asus.com/wavi/
  • 34. laviic.dc.ufscar.brPerguntas?gustavojcbrasil@gmail.comgustavo.brasil@dc.ufscar.brhttp://laviic.dc.ufscar.br34

Recommended

View more >