visão computacional e aplicações joão do e. s. batista neto instituto de ciências matemáticas...

Visão Computacional e Aplicações

João do E. S. Batista Neto

Instituto de Ciências Matemáticas e de Computação – ICMC-USP

São Carlos, Junho de 2009

Domício PinheiroAgência Estado

Visã

o C

ompu

taci

onal Processamento de Imagens

Computação Gráfica

Visualização Científica

Análise de Imagens

Processamento de imagens

Modelagem de dados(processamento de dados)

Visão(análise de imagem)

Visualização(computação gráfica,síntese de imagem)

DADOS

IMAGEM

Imagem – Á

reas Corre

latas

Modelagem de dados

(visualização)

Curvas, superfícies, etc

Rendering: processo de geração de imagem a partir de um modelo. Em português: visualização

Computação Gráfica

2D

Computação Gráfica

3D

Segmentação de um tumor em momografia

Processamento de Imagens

Leandro Gerhardiger, 2006

Processamento de Imagens

O que é visão computacional?É a ciência que desenvolve as bases teóricas e algoritmicas pelas quais informações úteis são automaticamente extraídas de imagens por meio de computadores

O que precisamos saber para ter sucesso na construção de um sistema

de visão artificial ?

• Aspectos Cognitivos: combinação dos aparelhos sensoriais e comportamento psico-biológico: neurociências, IA, filosofia, psicologia, lingüística.

• Aspectos fisiológicos do cérebro.

Aspectos Cognitivos

Exemplo 3: ilusão cognitiva (ambigüidade)

Exemplo 3: ilusão cognitiva (ambigüidade)

Exemplo 4: ilusão cognitiva (distorção)

Tamanho, comprimento, curvatura

Exemplo 5: ilusão cognitiva (distorção)

Exemplo 6: ilusão cognitiva (Paradoxo)

Exemplo 7: percepção visual – aspectos culturais

Mostre estas figuras para um árabe e um zulu...

Exemplo 8: percepção visual – especialização

Movimento sacádico

Aspectos Fisiológicos

Visão Natural: sistema super paralelo

Macro

Micro

Intermediário

Visão Natural: o olho humano

http://www.yorku.ca/eye/thejoy.htm

Blid Spot: Ponto Cego

Feche seu olho direito. Foque no número 3. Avance e recue.Ou foque nos nros à direita ou esquerda !

Bastonetes: Alta sensibilidade à luminosidade, não percebem corCones: Alta sensibilidade a cor, alta quantidade na fóvea

Cones: (sens.) C C M L M C

Os córtex visuais

Córtex Inferotemporal Córtex Parietal

V4(comp. de onda; orientação; disparidade)

Cor e forma com cor

V5(direção; orientação; disparidade)

Movimento

V3(direção; orientação; disparidade)

Formas dinâmicas

Faixas finas(comp. de onda; orientação; disparidade)

Pálidas(comp. de onda)

Faixas grossas(direção; orientação; disparidade)

blobs(comp. de onda)

interblobs(comp. de onda;

orientação; disparidade

4B(direção;

orientação; disparidade)

Cones Bastonetes

V2

V1

LGN magnocelularLGN parvocelular

Córtex Inferotemporal Córtex Parietal

V4(comp. de onda; orientação; disparidade)

Cor e forma com cor

V5(direção; orientação; disparidade)

Movimento

V3(direção; orientação; disparidade)

Formas dinâmicas

Faixas finas(comp. de onda; orientação; disparidade)

Pálidas(comp. de onda)

Faixas grossas(direção; orientação; disparidade)

blobs(comp. de onda)

interblobs(comp. de onda;

orientação; disparidade

4B(direção;

orientação; disparidade)

Cones Bastonetes

V2

V1

LGN magnocelularLGN parvocelular

A região A é mais escura que B, certo ? Isso não é uma pegadinha

Exemplo 1: fisiologia

Resposta

• Contraste local

Este é um exemplo da excelente qualidade de nosso sistema visual, certo?

Certo !

• Algo claro, rodeado por algo mais escuro, tende a parecer mais claro do que é. E vice-versa !

Exemplo 2: fisiologia

Explicação: campos receptivos da retina

Visão Computacional/Artificial

• VISÃO é o processo de descobrir, a partir de imagens, o que está presente no mundo e onde está localizado

• Disciplinas relacionadas– Processamento de Imagens

– Computação Gráfica

– Reconhecimento de Padrões

– Robótica

– Inteligência artificial

Um sistema de visão computacional para indústria

Três níveis de atuação

Melhorar qualidade da

imagemPouca

inteligência

Extrair e caracterizar componentes

Alguma inteligência

ReconhecimentoAlta Inteligência

Exemplo: um sistema de visão para reconhecer digitais

Reconhecimento de Digitais - padrões

Bifurcações

Terminações

Típico sistema de visão

Cena

Pré-processamentoProcessamento de Imagens

1

Aquisição

2 3

456

Análise de ImagensExtração de característicasIA / reconhecimento de padrões

Cena 1 2 3

456

Passo 1 - Aquisição

Aquisição

Cena 1 2 3

456

Passo 2 - Pré-processamento

Pré-processamento

Cena 1 2 3

456

Passo 3 - Processamento de Imagens

Processamento de Imagens

Cena 1 2 3

456

Passo 4 - Análise de Imagens

Análise de Imagem

1- Procurar todos e marcar:

- bifurcações

- terminações

Análise de Imagem

2 - Determinar as orientações:

- bifurcações

- terminações

Cena 1 2 3

456

Passo 5 - Extração de Características

Extração de Características: Modelo Matemático

Modelo Matemático

- Semelhança de Triângulos

Combinar as marcações 3 a 3

Cena 1 2 3

456

Passo 6 - IA / Reconhecimento de padrões

IA / Reconhecimento de padrões

Armazenar o modelo matemático de todos os triângulos

Base de conhecimento

IA / Reconhecimento de padrões

Armazenar o modelo matemático de todos os triângulos

Base de conhecimento

IA / Reconhecimento de padrões

Base de conhecimento Padrão reconhecido, digital

identificada

Comparar com modelos treinados

É fácil emular a visão humana ?

Reconhecimento

Importância da cor

Importância da Textura

The role of shape

Importância do agrupamento

Auxílio da matemática

• Sistemas mais antigos empregavam métodos heurísticos• Hoje recorremos à matemática, às vezes um pouco pesada !

– Cálculo– Algebra Linear– Probabilidade e estatística– Processamento de Sinais– Projeção Geométrica– Geometria Computacional– Otimização

• Boa notícia: muita computação !

Aplicações

• Inspeção industrial/Controle Qualidade

• Segurança

• Reconhecimento Facial

• Reconhecimento Gestos

• Aplicações espaciais

• Análise de imagens médicas

• Veículos autônomos

• Agro-negócio

André Balan, 2004

Identificação de pássaros para controle de poluição ambiental

Leandro Gerhardiger, 2006

Segmentação por Campos Aleatórios de Markov em multi escala

Segmentação de um tumor em momografia

Recuperação de conteúdo em grandes BD por imagem

Desirée Dias, 2005

Identificação de Ferrugem de Cana – Casa Branca

Criação de mosaica em plantações de eucalipto

Mosaico criado automaticamente, sem nenhum georeferenciamento

Localização de contornos por “snakes”

Perguntas ?

Obrigado !

jbatista@icmc.usp.br