campus party 2010 - robo realm & opencv

ITA

Daniel Lélis Baggio

Processamento de Imagens: RoboRealm e OpenCV

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 2

Agenda RoboRealm

– Tracking por cor– Segmentação do horizonte– Ponto de fuga– Reconhecimento de formas– Processamento de marcadores– Fluxo óptico

OpenCV– Camshift– Head Tracking

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 3

Como os computadores veem?

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 4

Como os computadores veem?

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 5

RoboRealm

Ferramenta poderosa para análise e processamento de imagens

Interface intuitiva Excelente para fazer protótipos de algoritmos antes da

implementação no OpenCV Comercial U$89,00 ~ R$ 160,00 Extensão por scripts Comunicação por TCP/IP Trial de 30 dias:

– http://www.roborealm.com/registration/index.php

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 6

RoboRealm – Interface gráfica

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 7

RoboRealm – Hands On - Tracking Baixar pacote do workshop em COLOCAR AQUI Segmentação por cor Blob detection Centro de gravidade Scripting Controle de servo

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 8

RoboRealm – Segmentação do Horizonte

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 9

RoboRealm – Ponto de Fuga

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 10

RoboRealm – Reconhecimento de Formas

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 11

RoboRealm - Fluxo Óptico

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 12

RoboRealm - Processamento do ARToolkit

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 13

OpenCV Biblioteca open source de visão computacional

http://sourceforge.net/projects/opencvlibrary/ Desenvolvida e mantida pela Intel Escrita em C e C++, roda em Linux, Windows e Mac

OS X com interfaces para Python, Ruby, Matlab e outras linguagens. Otimizada para aplicações em tempo real (> 15 fps)

Prover infra-estrutura para aplicações de visão computacional de fácil utilização: mais de 500 funções

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 14

OpenCV Composta por 4 sub-módulos:

CVProcessamento de imagens

Algoritmos de visão

MLLClassificadores estatísticos

Ferramentas de clusterização

HighGUIGUI, entrada e saídade imagens e vídeos

CXCoreestruturas básicas e

algoritmos, suporte a XML, funções de desenho

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 15

Camshift - Continuously Adaptive Mean Shift Algorithm

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 16

Cascata de classificadores – Viola Jones Detecção de feições Face tracking

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 17

Features Retângulos Fáceis de serem calculados

– Áreas brancas são subtraídas das áreas pretas– Integral Image – Representação especial que torna a

extração da feature mais rápida

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 18

Principais features identificadas

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 19

Principais features identificadas

Classificador extremamente rápido (60 microinstruções) Ajustado para detectar 100% das faces, com 40% de falsos positivos no

primeiro estágio

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 20

Face Tracker Onde encontrar o software?

– Programas de demonstração da biblioteca OpenCv• /usr/local/share/opencv/samples/c/facedetect

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 21

Agradecimentos

Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 22

Dúvidas?