introdução ao processamento de imagensprofessor.unisinos.br › ltonietto › jed › pgr ›...

Introdução ao Processamento de Introdução ao Processamento de Imagens Imagens

Cláudio Rosito Jung

IntroduçãoIntrodução• Processamento de Imagens: processamento de sinais bidimensionais

(ou n-dimensionais).

• Aplicações:- reconstrução de tomografias;

- compressão (imagens e vídeos);

- reconhecimento automático de impressões digitais;

- identificação automática de estruturas em imagens aéreas;

- quantificação de vegetacão e queimadas em imagens de satélite;

- medição automática de formas e tamanhos de órgãos (medicina);

- detecção de falhas em cicuitos impressos;

- sistemas de apoio ao motorista;

- detecção de eventos suspeitos em sistemas de vigilância;

- outras.

ExemplosExemplos de de ImagensImagens

Aérea

Satélite Ressonância Magnética

Câmera fotográfica

SAR Sensor capacitivo

Formação de Imagens ÓticasFormação de Imagens Óticas1. Luz é emitida por uma fonte;

2. Luz é refletida pelos objetos

3. Luz é captada pelo olho humano ou sensor.

Percepção de ImagensPercepção de Imagens

- Luminância: relação com intensidada de luz refletida.

- Brilho: luminância percebida (com relação à vizinhança).

Efeito de Mach: relação

luminância x brilho percebido

IlusõesIlusões VisuaisVisuais

http://www.michaelbach.de/ot/index.html

Espaços de CoresEspaços de Cores

Espaço RGBEspaço HSV

3 componentes: Hue, Saturation, Value

3 componentes: Red, Green, Blue

Espaço CIE L*a*b*

Criado em 1976, com o objetivo de ser aproximadamente uniforme

com relação à distância Euclideana.

( ) ( ) ( )2*2*2** baLEab ∆+∆+∆=∆

)Difference Noticeable(Just JND um a ecorrespond 3.2*≈∆ abE

Há vários outros: HSI, L*u*v*, YUV, XYZ, etc.

http://www.couleur.org/

Amostragem e QuantizaçãoAmostragem e Quantização

),( yxf

],[1 nmg

],[2 nmg

Amostragem

Quantização

4 tons de cinza 10 tons de cinza

Transformações de ImagensTransformações de Imagens

DFT2

DFT

DWT2

Outras: Seno, Coseno, Haddamard, Slant, SVD

Objetivo:Objetivo: representar a imagem em uma “base” diferente.

““Realce” de ImagensRealce” de Imagens

Equalização de histograma:Equalização de histograma:

histograma

histograma

Imagem CBERS original

Imagem CBERS equalizada

Objetivo:Objetivo: Modificar características da imagem para melhorar sua visualização ou posterior análise.

Filtragem Linear de Imagens:Filtragem Linear de Imagens:

-- ConvoluçãoConvolução::

∑∑∈

−−=∗Wlk

lkglnkmfnmgf),(

],[],[],)[(

],[ nmf

W],[ nm

33010

141

010

8

1

x

g

=

Exemplo:

Filtro da média ponderada

- Filtros passa-baixas: deixam passar componentes de baixa freqüência,e bloqueiam componentes de alta freqüência. Usados para remoção de ruído. Problema: causam borramento na imagem.

Imagem peppers original Imagem peppers ruidosa Filtrada pela média

- Filtros passa-altas: deixam passar componentes de alta freqüência,e bloqueiam componentes de baixa freqüência. Usados para detecção e realce de bordas. Problema: sensibilidade ao ruído.

usharp mask

Combinação de Redução de Ruído e RealceCombinação de Redução de Ruído e Realce

Imagens originais Imagens filtradas/realçadas

Restauração de ImagensRestauração de ImagensObjetivo:Objetivo: desfazer/atenuar as degradações introduzidas pelo sensor na aquisição/transmissão de imagens.

Imagem house original Imagem house borrada (movimento) Imagem house restaurada (Wiener)

Imagem house ruidosa (salt & pepper) Imagem house restaurada (filtro da mediana)

Compressão de Imagens e VídeoCompressão de Imagens e VídeoObjetivo:Objetivo: diminuir o tamanho da imagem/vídeo para facilitar o armazenamento/transmissão.

- Compressão sem perda: imagem reconstruída e idêntica a original. Importante no

arquivamento de imagens medicas, ou de satélite.

- Compressão com perda: imagem reconstruída apresenta diferenças com relação

a original (as vezes imperceptíveis). Uso para imagens em geral (Web, fotografias

digitais, etc.)

Principais abordagens:

•• DCT (Transformada Discreta do Cosseno)

• VQ (Vector Quantization)

• DWT (Transformada Wavelets Discreta)

• Compressão Fractal

Padrão JPEG (Joint Photographic Experts Groups): compressão com perda, baseada na DCT (Transformada Discreta do Cosseno).

Padrão JPEG2000: baseado em wavelets

BMP (sem compressão) - 92 KB

( 153 x 204 x 3 bytes)JPEG - 6 KB

Imagem 153 x 204

JPEG - 3 KB JPEG - 2 KB

Padrão MPEG (Moving Picture Experts Groups): extensão para vídeos de JPEG.

• MPEG-1:1.5 Mbit/sec, adequado para internet

• MPEG-2: 1.5 – 15 Mbit/sec, padrão para TV digital e DVD

• MPEG-4: compressão baseada em objetos, escalável

Detecção de BordasDetecção de Bordas

Objetivo:Objetivo: detectar as fronteiras entre os objetos (bordas);

Caracterização matemática: bordas são normalmente representadas por máximos locais de derivadas primeiras, ou cruzamentos de zero de derivadas segundas.

Principais Abordagens:- calculo do gradiente digital (diferenças nas direções x e y);- cruzamentos de zero do Laplaciano (derivada segunda);- morfologia matemática.;

Problema: imagens ruidosas e/ou textura dificultam a

detecção de bordas de baixo contraste.

Exemplo 1DExemplo 1D

-10 -5 5 10

-1.5

-1

-0.5

0.5

1

1.5

-10 -5 5 10

0.2

0.4

0.6

0.8

1

-10 -5 5 10

-0.6

-0.4

-0.2

0.2

0.4

0.6

Perfil de uma borda Derivada primeira Derivada segunda

Exemplo 2DExemplo 2D

Imagem house original Diferenças verticais (Dx) Diferenças horizontais (Dy) Módulo do Gradiente

Operador de Sobel Operador de Prewitt Operador de Canny

SegmentaçãoSegmentação de de ImagensImagens

Objetivo:Objetivo: isolar os diferentes objetos que compõem uma cena.

Algumas Abordagens:- limiarização;

- watersheds (morfologia matemática);

- modelos deformáveis (snakes);

- region growing;

Questão: a segmentação ótima normalmente depende

da aplicação, e dois humanos podem segmentar a

mesma imagem de maneiras diferentes.

Histograma

T1 = 70 T2 = 150

Limiarização

ExemplosExemplos

Imagem SAR filtrada

Histograma

Histograma

Imagem SAR original

Limiar

Limiarização

Imagem cameraman original

Módulo do Gradiente (T=.05)

Módulo do Gradiente (T=0.2) Imagem segmentada

Imagem segmentada

Watersheds

Watersheds

Bubbles Snakes

http://iacl.ece.jhu.edu/projects/gvf/http://www.lems.brown.edu/~tek/research/2d-bubbles/

wmatter2d-gif.html

Wavelets & Watersheds

Análise de Imagens (Visão Análise de Imagens (Visão Computacional)Computacional)

Objetivo:Objetivo: extrair e/ou interpretar informações de imagens ou vídeos

Aplicações:

• Reconhecimento de caracteres

• Análise de imagens médicas

• Robótica

• Cartografia

• Sensoreamento remoto

• outros

Algumas AplicaçõesAlgumas Aplicações

Exemplo:Exemplo: lanelane detectiondetection andand lanelane departuredeparture

BR 116 (Novo Hamburgo – São Leopoldo)

Freeway

Exemplo:Exemplo: reconhecimento de impressões digitaisreconhecimento de impressões digitais

Imagem original Imagem binarizada Crest lines Minuteae

http://www.intranet-acces.ro/fingerprint_en.html

Exemplo:Exemplo: classificação de imagens de satéliteclassificação de imagens de satélite

Imagem de satélite Imagem classificada

http://www.ag.unr.edu/serdp/mcagcc.htm

Exemplo:Exemplo: realce de realce de mamografiasmamografias

Mamografia original Mamografia realçada

Exemplo:Exemplo: InpaintingInpainting digitaldigital

Remoção de texto Reparação de perda digital

Reparo em fotografia Correção guiada

Trabalho de mestrado de Ubiratã Ignácio - PIPCA

Exemplo:Exemplo: Síntese de texturasSíntese de texturas

Trabalho de Leandro Tonietto - UNISINOS

Exemplo:Exemplo: reconstrução 3D automática de imagens aéreasreconstrução 3D automática de imagens aéreas

Exemplo:Exemplo: detecção automática de tumoresdetecção automática de tumores

MRI do cérebro Tumor segmentado

Imagem aérea e objetos 3D detectados

Moon et al, 2002

Huertas e Ascona, 1997.

Exemplo:Exemplo: reconhecimento de caracteresreconhecimento de caracteres

Imagem adquirida (caracteres segmentados)Classificação

http://www.industrialvision.co.uk/case_studies/char_recognition.htm

Exemplo:Exemplo: controle de qualidadecontrole de qualidade

Medição da porosidade em uma solda

http://www.swri.org/4org/d10/autoeng/mvision/example.htm

Exemplo:Exemplo: acompanhamento de pessoasacompanhamento de pessoas

Sistema detecta que a pessoa está entrando em uma sala

(http://www.cim.mcgill.ca/~clark/papers/jjclark_vi_2002.pdf)

Trabalho de Júlio C. S. Jacques Jr

(PIPCA)Trabalho de Leandro Dihl (PIPCA)

Exemplo:Exemplo: detecção de trajetórias nãodetecção de trajetórias não--usuaisusuais

Trabalho de Júlio C. S. Jacques Jr (PIPCA)

Exemplo:Exemplo: detecção de pele por cordetecção de pele por cor

http://crl-download.crl.hpl.hp.com/vision/humansensing/skin/default.htm

Exemplo:Exemplo: realidade aumentadarealidade aumentada

Imagem original e objetos gerados por computação gráfica superpostos

Exemplo:Exemplo: mosaico de imagensmosaico de imagens

http://www.sgi.com/grafica/merge/index.html

Exemplo:Exemplo: uum sm sistema de visão embarcado

http://www-2.cs.cmu.edu/~cmucam/gallery.html

Comentários FinaisComentários Finais

• Processamento de imagens pode ser utilizado em qualquer aplicação que envolva sinais com duas ou mais dimensões.

• Diversas aplicações práticas;

• Tarefas triviais para o olho humano podem ser extremamente difíceis para a máquina.

• Muita matemática e computação envolvidas (real-time).

• Muitos problemas em aberto.

Bibliografia BásicaBibliografia BásicaLivros:• A. K. Jain. Fundamentals of Digital Image Processing. Prentice-Hall, 1989.

• R. C. Gonzalez and R. E. Woods. Digital Image Processing. Addison-Wesley,

1992.

Periódicos:• IEEE Transactions on Image Processing

• IEEE Transactions on Pattern Analysis and Machine Intelligence

• Pattern Recognition

• Pattern Recognition Letters

• Computer Vision and Image Understanding

• Image and Vision Computing

• Journal of Electronic Imaging

• International Journal of Computer Vision

Conferências:• SIBGRAPI (Simpósio Brasileiro de Computação Gráfica e Processamento de

Imagens)

• ICIP (International Conference on Image Processing)

• ICCV (International Conference on Computer Vision)

• ECCV (European Conference on Computer Vision)

• CVPR (Computer Vision and Pattern Recognition)

• ICPR (International Conference on Pattern Recognition)