processamento e análise de imagens parte 1 • câmera de orifício ( pinhole camera ) • século...

Processamento e análise de imagensParte 1

Guaraci J. ErthalINPE – Instituto Nacional de Pesquisas Espaciais

DPI – Divisão de Processamento de Imagenswww.dpi.inpe.br

[email protected]

Abril / 2011

Abril/2011 IP-PR (Guaraci J Erthal) 2

Roteiro

• Parte 1

• Imagens

• Imagens digitais

• Imagens de satélite

• Processamento digital de imagens

• Parte 2

• Classificação de imagens

• Análise de imagens


Sensores

• Visão

• Audição

• Olfato

• Tato

• Paladar

( Picasso, 19?? )


Aprisionar a luz

• Câmera de orifício (pinhole camera)

• Século 4 AC – gregos

• Século 10 DC – Ibn al-Haytham

• Câmera escura (dark chamber)

• Giovanni Baptista Della Porta, 1558

(G&W-07)

(Wiki-08)


Fotografia

• Joseph Nicéphore Niépce (1765-1833)

• Heliografia (gravar com o sol)

View from the Windowat Le Gras(1826)


Primeira imagem digital (?)

• Russel Kirsch - 1957

• Standards Eastern Automatic Computer (SEAC),

• National Bureau of Standards (NBS)

( Hoje: National Institute of Standards and Technology – NIST ).

• 176×176 píxeis e 5cm × 5cm

http://www.nist.gov/public_affairs/techbeat/tb2007_0524.htm


PDI : O início

• Anos 60

• Computadores suficientemente poderosos

• Programa espacial americano

• JPL – Jet Propulsion Laboratory

• Imagens da Lua pelo Ranger-7

Ranger-7 (jul,1969)


Câmeras digitais


Satélites

• LANDSAT 80, 60 / 30 / 15 m landsat.gsfc.nasa.gov/

• SPOT-5 20 / 10 m , 5 / 2.5 m http://www.spot.com/home

• Ikonos 4 / 1 m http://www.spaceimaging.com

• Quickbird 2.4 / 0.6 m

• WorldView-1 0.5 m

• WorldView-2 1.84 / 0.46 m

• GeoEye-1 1.65 / 0.41 m

(ex-Orb view)

• ...

Spot-5 2.5 m Trípoli


Sistema de classificação

(Schowengerdt, 97)


Aquisição de imagens

•

(G&W-08)



• Cena contínua

Perfil A-B contínuo

Perfil A-B discreto

Perfil A-B digital

(G&W-08)



•

Níveis de quantização típicos: 1, 8, 11 bits / píxel

Píxel com valor 7

7

0

M

(G&W-08)

3 bits/píxel



• Maneiras de arranjar os sensores

Arranjo unitário

Arranjo linear

Arranjo matricial

(G&W-08)



• Função de espalhamento pontual

(Point spread function)

Píxel recebe energia dos píxeis vizinhos.

Distribuição não é uniforme.

(ad

ap.H

ua

ng

-02)

Distribuição: Modelo gaussiano



• Efeitos devido à ótica e eletrônica (Simulação TM)

Ótica, GIFOV, eletrônica

Simulação

TM

Imagem áerea (2m)

(adap.Schowengerdt-03)

> Restauração de imagens


Espectro eletromagnético

• Espectro visível – olho humano



•

(G&W-07)

380 nm – 750 nm



•

(Wikipedia-nov09)


Curvas espectrais

(G&W-07)

Bandas do Landsat - TM



• Imagens

• Escala de tons de cinza

• Binárias

• Colorida RGB

• Cores falsas

• Banda larga ( pancromáticas) 400 nm 1 canal

• Multiespectral 50-100 nm 3-7 canais

• Hiperespectral 5-10 nm 200 canais

• Temática

• Sensores não óticos

• SAR

• http://en.wikipedia.org/wiki/Digital_image


Escala de tons de cinza

• LANDSAT-5 Washington-DC band 4

(G&W-08)

Infravermelho próximo

0.76-0.90 µm

(8 bits/píxel)


Binárias

• 1 bit por píxel

0 – preto

1 – branco


Binárias

• Imagem com grãos de arroz

(G&W-08)

Imagem em tons de cinza Imagem binária

Objeto (1) Fundo (0)Imagem binária obtida a partir de

operações morfológicas e limiarização


Colorida

• LANDSAT-5 Washington-DC (R,G,B) → (3,2,1)

True color

Vermelho

Verde

Azul

R

G

B


Cores falsas


False color

Infravermelho médio

Infravermelhopróximo

Vermelho

R

G

B


Cores falsas


Infravermelho próximo

Vermelho

Verde

R

G

B


Multiespectral

• Imagem LANDSAT-TM

(G&W-07)


Multiespectral

• Bandas LANDSAT-TM

(G&W-07)


Hiperespectral

(Wikipedia)


Temática

• Imagem em pseudo-cor (mapeamento de tom de cinza para cor)

Quickbird pan+multiespectral (0.6/2.4m)

Imagem temática (classificação maxver)

Pseudo color


4 Dimensões da resolução

• Espacial

• Espectral

• Radiométrica

• Temporal

• http://en.wikipedia.org/wiki/Remote_sensing

m30m15

LANDSAT – TM


Imagens de satélite

•


Imagens de satélite

• CBERS• WFI 260 m 0,63 - 0,69 µm (vermelho)

0,77 - 0,89 µm (infra-vermelho) • CCD 20 m 0,51 - 0,73 µm (pan)

0,45 - 0,52 µm (azul)0,52 - 0,59 µm (verde)0,63 - 0,69 µm (vermelho)0,77 - 0,89 µm (infravermelho próximo)

• IRMSS 80 m 0,50 - 1,10 µm (pancromática)1,55 - 1,75 µm (infravermelho médio)2,08 - 2,35 µm (infravermelho médio)10,40 - 12,50 µm (infravermelho termal) (160 m)

• HRC 2,7 m 0,50 - 0,80 µm (pancromática)

• Descrição : http://www.cbers.inpe.br/?content=cameras1e2e2b

• Download : http://www.dgi.inpe.br/CDSR/ (e LANDSAT)

(G&W-07)

Wide Field Imager

Infrared MultispectralScanner

High Resolution Camera


CBERS - HRC

•

http://www.dgi.inpe.br/pesquisa2007/galeria/linux_E_galeria/galeriaCD.html


Processamento de imagens

• Calibração radiométrica• Balanceamento entre detetores

• Remoção de ruído• Falha no detetor

• Calibração geométrica• Registro entre bandas

Normalmente realizadas pelo produtor da imagem



• Calibração radiométrica• Balanceamento entre detetores

• Remoção de ruído• Falha no detetor

• Calibração geométrica• Registro entre bandas



• Registro de imagens• Visa sobrepor 2 ou mais imagens da mesma cena e que foram obtidas

em:– Tempos diferentes,– Pontos de visada diferentes, e/ou– Sensores diferentes

• Fundamental para a análise de imagens que envolvem várias fontes de dados:

• Fusão de imagens

• Detecção de mudanças

• Mosaico de imagens


Registro

Exemplos de registro de imagens de sensoriamento remoto

(Schowengerdt 03)

Sensores diferentes

Mesmo sensor


Registro

• Relação entre geometrias

Referência Ajuste

(u,v) = T (x,y)

(x,y) (u,v)


Registro

• Passo 1 : deteção de feições

• Regiões, linhas, pontos

( Zitova 03 )


Registro

• Passo 2 : casamento de feições

( Zitova 03 )


Registro

• Passo 3 : Estimação dos parâmetros de transformação

• Transformação polinomial

• Transformação afim

∑∑=

−

=

=n

i

in

j

jiij yxau

0 0∑∑

=

−

=

=n

i

in

j

jiij yxbv

0 0

ybxbbv

yaxaau

011000

011000

++=++= Translação, escala-h, escala-v,

rotação, cisalhamento, reflexão

( Zitova 03 )


Registro

• Passo 3 : Estimação dos parâmetros de transformação

=

02

20

11

01

10

00

22

23

233333

22

222222

21

211111

3

2

1

1

1

1

1

a

a

a

a

a

a

yxyxyx

yxyxyx

yxyxyx

yxyxyx

u

u

u

u

mmmmmmm

L

L

M

M

Wau =uWWWa tt 1)( −=

Matriz pseudo-inversauWa +=

tt WWWW 1)( −+ =

u W a


Registro

• Passo 4 : Transformação e reamostragem

1 2 3 4

5 6 7 8

9 10 11 12

13 14 15 16

),(),( yxTvu =

Referência Ajuste

),( vu),( yx

( Zitova 03 )


Registro - questões

• Tipo de feição é apropriado?

• Feição existe em ambas as imagens?

• Qual a transformação adequada?

• Técnica de reamostragem

• Acurácia × complex. computacional


Registro

• Uma aplicação: morphing

(Wolberg, 98)



• Operações pontuais• Realce de contraste

• Operações aritméticas

• Índice de vegetação

• Operações contextuais• Filtragem por convolução

• Filtragem no domínio de Fourier

• Extração de atributos• Espaço de cores – I H S

• Vegetação em áreas urbanas

• Componentes principais – PCA

• Redução de dimensionalidade

• Fusão de dados – multiespectral + pancromático

• Seleção de atributos• Redução de dimensionalidade

REDNIR

REDNIRNDVI

+−=

offsetIgainI inout +×=

Passa baixa: Suavização

Passa alta: Realce de bordas


Elementos

• Padrão• Objeto a ser classificado.

• Atributo• Quantia mensurável obtida de um objeto / padrão.

• Um padrão é representado por um conjunto de atributos.• Exemplos:

• Carro: { cor, peso, comprimento, preço, consumo_comb }

• Pessoa : { altura, peso, sexo, time, cerveja, …}

• Alvos numa imagem de satélite:

• Floresta: { b1, b2, b3, b4, b5, b6, b7 } Landsat

• Pasto: { … }

• Cidade: { … }

• Água: { … }

feature, measurement

Resposta de um pixel nas 7 bandas

pattern


Elementos

• Atributo – escalas de medidas

(Kuncheva, 04)


Elementos

• Atributo

• Conjunto de atributos

• Vetor de atributos (padrão)

[ ] ),...,(,..., 11

1

lT

l

l

xxxx

x

x

==

= Mx

{ }lxx ,...,1

lR∈x

feature vector

featureix

feature setDimensão:l

pattern vector

=

b

ax

1x

2x

x

a

b

1x

2x

x

a

b

Ex.

1xx

1x

x

Caso 1D Caso 2D

Vetor Ponto

Vetor

Ponto


Elementos - Espaço de atributos :Iris data

Iris

Se

tosa

Iris

Ve

rsic

olo

rIr

is V

irg

inic

a

Fo

nte:

http

://ho

me.

pac

bel

l.net

/ke

nw

w/m

y_ir

is/w

ater

_l

ovi

ng/w

ater

_lo

vin

g.ht

m

{ }321 ,, ωωω

x

∆ � ο1ω

2ω

3ω


Espaço da imagem × Espaço de atributos

canal banda atributo

ix

=

=32

25

10

3

2

1

x

x

x

x

1x

2x

3x

10

25

32

x

feature space, measurement space

vetor de atributos

image space

2x3x

102532

1x

lc

atr


Espaço de atributos

• exTwo-dimensional feature space plots of four pairs of LandsatTM data of Charleston, SC.

a) TM bands 1 and 3, b) TM bands 2 and 4, c) TM bands 3 and 4, and d) TM bands 4 and 5.

The brighter a particular pixelis in the display, the morepixels within the scene having that unique combination ofband values.

( de: Jensen, 2007 )


universo

Coleta / Extração / Seleção de atributos

•

[ ]87654321 xxxxxxxxT =x

EXTRAÇÃO SELEÇÃO

y z

SELEÇÃO

COLETApR∈y

lR∈x

qR∈z

q < l

q < p

p < l ou p > l

Redução de dimensionalidade

Redução de dimensionalidade

Redução/aumento de dimensionalidade

z é subconjunto de x e/ou y


Extração de atributos de cor

• Transformação IHS

• Características para distinguir cores:

• Intensidade brilho da luz

• Tom comprimento de onda dominante

• Saturação pureza

(quantidade de luz branca misturada a um tom)

(de: G&W, 2008)


Transformação IHS

Espaço RGB Espaço IHS

(de: G&W, 2008)


IHS – Extração de atributos

• Usos da transformação:

• Classificação com base no atributo tom (hue)

• Elimina efeitos de sombreamento.

• Fusão de dados

RGB → RGB → IHS → PHS → R’G’B’

Imagem multiespectral (RGB)

Ex. TM 5-4-3 (30m)

Imagem pancromática (P)

Ex. TM pan (15m)

Troca o canal Ipela banda panP

30m 15m

30m

15m

15m

Imagem original

Imagem fusionada


Fusão Quickbird

• ff

(de: Ling et al., 2007)

Pan MS

Pancromática 0.61 m Multiespectral 2.44 m

IHS PCA

QuickBird Pan 0.45 0.90 µm

QuickBird XS

Band 2: 0.52–0.60 µm

Band 3: 0.63–0.69 µm

Band 4: 0.76–0.85 µm


Componentes Principais

• Transformação que gera canais não correlacionados.

• Transformação: y = PT x

• Onde P: matriz cujas colunas são os vetores próprios de ∑ x

• Hipótese: dados com média nula

=Σ

nnnn

n

n

σσσ

σσσσσσ

L

MOMM

L

L

21

22221

11211

x

=Σ

nλ

λλ

L

MOMM

L

L

00

00

00

2

1

y

Canais originais x ∈∈∈∈ Rn Canais transformados y ∈∈∈∈ Rn

( ∑ : matriz de covariâncias )


Componentes Principais

• Representação gráfica para 2 canais.

1x

2x

+

1y2y


Componentes Principais – exemplo

•

(Jensen,96)



• Matriz de Coeficientes de correlação

1.000.950.760.840.760.727

1.000.880.710.610.565

1.000.810.780.660.660.580.566

1.000.530.440.394

1.000.960.953

1.000.962

1.001

6754321Banda

(Jensen,96)



• Variâncias dos componentes

Componente p

99.9999.8999.7199.3898.8295.6784.68% acum.

0.10 0.180.330.563.1510.9984.68%

--0.931.772.7730.8893.59879.72Diferença

1.242.173.956.7337.60131.201010.92λλλλp

6754321

(Jensen,96)


Extração de atributos

• Outras abordagens:

• NDVI – índice de vegetação normalizado,

• MNF – fração mínima de ruído

• MDS – escalonamento multi-dimensional.

• GLCM – Matrizes de co-ocorrência (Haralick)

• Filtragem com base em transformadas

• Transformada de Fourier

• Passa-baixa / alta / faixa

• Gabor (banco de filtros)

• Transformada Wavelet

Atributos de textura


Seleção de atributos

• Dado um conjunto de l atributos, selecionar

o subconjunto de tamanho q < l e que maximiza a

separabilidade entre classes.

seleção

extração

mundo

x1 x2 x3 x4

x5 x6 x7

x5 x6


Referências

Image Processing, Patten Recognition

Pattern Recognition


Referências

Image Processing, Pattern Recognition, Remote Sensing

Edição em portugues


• Pattern Recognition:• Theodoridis & Koutroumbas -Pattern Recognition. 4th ed., 2008. • Bishop -Pattern Recognition and Machine Learning. 1st ed., Springer, 2006.

• Image Processing, Pattern Recognition, Remote Sensing:• Schowengerdt -Remote sensing: models and methods for image processing. 3rd ed., 2006. • Mather -Computer processing of remotely-sensed images: an introduction. 4th ed., 2011. • Tso & Mather -Classification Methods for Remotely Sensed Data. 2nd ed., 2009.• Jensen -Remote Sensing of the Environment: An Earth Resource Perspective. 2nd ed., 2006.

• Image Processing, Pattern Recognition:• Gonzalez &Woods -Digital Image Processing. 3rd ed., 2007. • Zhang -Image Engineering - Processing, Analysis, and Understanding. 1st ed., 2008.• Sonka & Hlavac & Boyle -Image Processing, Analysis and Machine Vision. 3rd ed., 2007.

• Outros:• Lu & Weng - A survey of image classification methods and techniques for improving classification

performance. IJRS, 28 (5), mar, 2007.• Ling & Ehlers & Usery & Madden. FFT-enhanced IHS transform method for fusing high-resolution

satellite images. ISPRS Journal of Photogrammetry & Remote Sensing, 61 (6): 381–392, feb, 2007.• Wikipedia: informações gerais• Zitova & Flusser - Image registration methods: a survey. IVC, 21 (11) 2003.• Wolberg - Image morphing: a survey. The Visual Computer, 14 (8/9) 1998.• Short - The Remote Sensing Tutorial. NASA, http://rst.gsfc.nasa.gov/ em: 28/6/2010.

Referências


Fim – parte 1

processamento e análise de imagens parte 1 • câmera de orifício ( pinhole camera ) • século...

Documents