instituto de ciências matemáticas e de computação –...
TRANSCRIPT
Visão Computacional e Aplicações
João do E. S. Batista Neto
Instituto de Ciências Matemáticas e de Computação – ICMC-USP
Domício PinheiroAgência Estado
Visã
o C
ompu
taci
onal Processamento de Imagens
Computação Gráfica
Visualização Científica
Análise de Imagens
Áreas Relacionadas
Modelagem Visualização Computacional
Computação Gráfica Síntese de Imagens
Processamento de Imagens Visão Computacional
Processamento de imagens
Modelagem de dados(processamento de dados)
Visão(análise de imagem)
Visualização(computação gráfica,síntese de imagem)
DADOS
IMAGEM
Imagem – Á
reas Corre
latas
Modelagem
Cena: lista de objetos + condições de iluminação Objetos: características geométricas
Forma Maneira como interagem com a luz incidente.
Ambos os tipos de características podem ser descritos através de modelos Grau variável de sofisticação -> realismo ! Modelagem geométrica Especificação de características óticas (material, cor,
transparência, etc). Muita estrutura de dados !!!!
Cena realista -> requer muito trabalho
Modelagem de dados
(visualização)
Curvas, superfícies, etc
Métodos p/ Modelagem
Métodos Analíticos ou Algébricos: representação
de curvas, superfícies.
Métodos Analíticos ou Algébricos: representação
de curvas, superfícies.
Computação Gráfica
síntese de imagens técnicas para gerar representações visuais a partir
de especificações geométricas e de atributos visuais dos seus componentes modelagem e rendering
objetivo: ‘mundo’ 3D no computador cena descrita em termos de sua geometria e
atributos visuais para o ‘rendering’, até obter matriz de pixels
Sistemas Gráficos: Características
sistemas altamente interativos usuário controla o conteúdo, a estrutura e a
aparência dos objetos e imagens visualizadas na tela, usando dispositivos de interação
forte relação com HCI - Interação Usuário Computador
Rendering: processo de geração de imagem a partir de um modelo. Em português:
visualização
Quer Ficar Rico ?
2D
Computação Gráfica
3D
Rendering
Real ou Imaginário
Processamento de Imagens
técnicas de transformações de imagens descritas na forma de uma ‘matriz’ de pixels
objetivo: melhorar características visuais (aumentar contraste, melhorar foco, reduzir ruído, eliminar distorções), extrair elementos de interesse; ou mesmo ‘transformar’ a imagem, criando efeitos visuais
cena: matriz de ‘pixels’
Segmentação de um tumor em momografia
Processamento de Imagens
Leandro Gerhardiger, 2006
Processamento de Imagens
André Balan, 2004
O que é visão computacional?É a ciência que desenvolve as bases teóricas e algoritmicas pelas quais informações úteis são automaticamente extraídas de imagens por meio de computadores
O que precisamos saber para ter sucesso na construção de um sistema
de visão artificial ?
• Aspectos Cognitivos: combinação dos aparelhos sensoriais e comportamento psico-biológico: neurociências, IA, filosofia, psicologia, lingüística.
• Aspectos fisiológicos do cérebro.
Aspectos Cognitivos
Exemplo : ilusão cognitiva (distorção)
Tamanho, comprimento, curvatura
Exemplo : percepção visual – aspectos culturais
Mostre estas figuras para um árabe e um zulu...
Exemplo : percepção visual – especialização
Movimento sacádico
Aspectos Fisiológicos
Visão Natural: sistema super paralelo
Macro
Micro
Intermediário
Visão Natural: o olho humano
http://www.yorku.ca/eye/thejoy.htm
Blid Spot: Ponto Cego
Feche seu olho direito. Foque no número 3. Avance e recue.Ou foque nos nros à direita ou esquerda !
Bastonetes: Alta sensibilidade à luminosidade, não percebem corCones: Alta sensibilidade a cor, alta quantidade na fóvea
Cones: (sens.) C C M L M C
O córtex visual
Córtex Inferotemporal Córtex Parietal
V4(comp. de onda; orientação; disparidade)
Cor e forma com cor
V5(direção; orientação; disparidade)
Movimento
V3(direção; orientação; disparidade)
Formas dinâmicas
Faixas finas(comp. de onda; orientação; disparidade)
Pálidas(comp. de onda)
Faixas grossas(direção; orientação; disparidade)
blobs(comp. de onda)
interblobs(comp. de onda;
orientação; disparidade
4B(direção;
orientação; disparidade)
Cones Bastonetes
V2
V1
LGN magnocelularLGN parvocelular
Córtex Inferotemporal Córtex Parietal
V4(comp. de onda; orientação; disparidade)
Cor e forma com cor
V5(direção; orientação; disparidade)
Movimento
V3(direção; orientação; disparidade)
Formas dinâmicas
Faixas finas(comp. de onda; orientação; disparidade)
Pálidas(comp. de onda)
Faixas grossas(direção; orientação; disparidade)
blobs(comp. de onda)
interblobs(comp. de onda;
orientação; disparidade
4B(direção;
orientação; disparidade)
Cones Bastonetes
V2
V1
LGN magnocelularLGN parvocelular
A região A é mais escura que B, certo ? Isso não é uma pegadinha
Exemplo 1: fisiologia
Errado !
Resposta
• Contraste local
Este é um exemplo da excelente qualidade de nosso sistema visual, certo?
Certo !
• Algo claro, rodeado por algo mais escuro, tende a parecer mais claro do que é. E vice-versa !
Exemplo 2: fisiologia
Explicação: campos receptivos da retina
Visão Computacional/Artificial
• VISÃO é o processo de descobrir, a partir de imagens, o que está presente no mundo e onde está localizado
• Disciplinas relacionadas– Processamento de Imagens– Computação Gráfica– Reconhecimento de Padrões– Robótica– Inteligência artificial
Um sistema de visão computacional para indústria
Três níveis de atuação
Melhorar qualidade da
imagemPouca
inteligência
Extrair e caracterizar componentes
Alguma inteligência
ReconhecimentoAlta Inteligência
Exemplo: um sistema de visão para reconhecer digitais
Reconhecimento de Digitais - padrões
Bifurcações
Terminações
Típico sistema de visão
Cena
Pré-processamentoProcessamento de Imagens
1
Aquisição
2 3
456
Análise de ImagensExtração de característicasIA / reconhecimento de padrões
Cena 1 2 3
456
Passo 1 - Aquisição
Aquisição
Cena 1 2 3
456
Passo 2 - Pré-processamento
Pré-processamento
Cena 1 2 3
456
Passo 3 - Processamento de Imagens
Processamento de Imagens
Cena 1 2 3
456
Passo 4 - Análise de Imagens
Análise de Imagem
1- Procurar todos e marcar:
- bifurcações
- terminações
Análise de Imagem
2 - Determinar as orientações:
- bifurcações
- terminações
Cena 1 2 3
456
Passo 5 - Extração de Características
Extração de Características: Modelo Matemático
Modelo Matemático
- Semelhança de Triângulos
Combinar as marcações 3 a 3
Cena 1 2 3
456
Passo 6 - IA / Reconhecimento de padrões
IA / Reconhecimento de padrões
Armazenar o modelo matemático de todos os triângulos
Base de conhecimento
IA / Reconhecimento de padrões
Armazenar o modelo matemático de todos os triângulos
Base de conhecimento
IA / Reconhecimento de padrões
Base de conhecimento Padrão reconhecido, digital
identificada
Comparar com modelos treinados
É fácil emular a visão humana ?
Reconhecimento
Importância da cor
Importância da Textura
The role of shape
Importância do agrupamento
Auxílio da matemática
• Sistemas mais antigos empregavam métodos heurísticos
• Hoje recorremos à matemática, às vezes um pouco pesada !– Cálculo– Algebra Linear– Probabilidade e estatística
– Processamento de Sinais
– Projeção Geométrica
– Geometria Computacional– Otimização
• Boa notícia: muita computação !
Aplicações
• Inspeção industrial/Controle Qualidade
• Segurança
• Reconhecimento Facial
• Reconhecimento Gestos
• Aplicações espaciais
• Análise de imagens médicas
• Veículos autônomos
• Agro-negócio
André Balan, 2004
Identificação de pássaros para controle de poluição ambiental
Leandro Gerhardiger, 2006
Segmentação por Campos Aleatórios de Markov em multi escala
Segmentação de um tumor em momografia
Recuperação de conteúdo em grandes BD por imagem
Desirée Dias, 2005
Identificação de Ferrugem de Cana – Casa Branca
Criação de mosaica em plantações de eucalipto
Mosaico criado automaticamente, sem nenhum georeferenciamento