desaﬁos da morfologia matemática para imagens coloridasjbflorindo/teaching/2018/mt530/t12.pdf ·...

Desafios da Morfologia Matemáticapara Imagens Coloridas

MT 530 / MS 960 – Álgebra de Imagens

Marcos Eduardo Valle

8 de Junho de 2018

Marcos Eduardo Valle Morfologia Matemática 8 de Junho de 2018 1 / 50

Introdução

A morfologia matemática (MM) é um conjunto de ferramentasmatemáticas utilizada para análise e processamento de imagens.

A palavra morfologia tem suas origens no estudo das formas.

Com efeito, a MM usa conceitos geométricos e topológicos.

A MM foi desenvolvida inicialmente por Georges Matheron e JeanSerra nos anos 60s para a análise de imagens binárias (preto ebranco).

Uma imagem binária A pode ser vista como um subconjunto de umdomínio D, em que D ⊆ R2 ou D ⊆ Z2.


Exemplo de Imagem Binária

Imagem binária de tamanho 1200× 1200.

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Operadores Elementares da MM

Os dois operadores elementares da morfologia matemática são adilatação e a erosão.

Outros operadores são obtidos combinando os dois operadoreselementares.

Ambos dilatação e erosão extraem informações geométricasusando um elemento estruturante (SE) S, em que S ⊆ Z2 ouS ⊆ R2, tal como o domínio da imagem D.


Erosão

A erosão de uma imagem binária A por um SE S é o conjunto detodos os pontos nos quais S “cabe” em A.

Formalmente, a erosão de A por S é

εS(A) = {x : Sx ⊆ A},

em queSx = {s + x : s ∈ S},

denota a translação de S por x .


Exemplo – Erosão

Erosão (vermelho) da imagem binária (preto) pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Formulação Alternativa para Erosão

Usando a teoria dos conjuntos, podemos mostrar que:

x ∈ εS(A) ⇐⇒ Sx ⊆ A⇐⇒ x + s ∈ A, ∀s ∈ S⇐⇒ x ∈ A−s, ∀s ∈ S

⇐⇒ x ∈⋂s∈S

A−s.

A erosão corresponde a intersecção de translações da imagem A.

Essa formulação, além da contribuição teórica, é particularmenteútil do ponto de vista computacional.


Dilatação

A dilatação é o conjunto de todos os pontos nos quais o elementoestruturante S “acerta” a imagem binária A.

Em termos matemáticos, a dilatação de A por S é

δS(A) = {x : Sx ∩ A 6= ∅}.

Equivalentemente, a dilatação corresponde à união de translaçõesda imagem A:

δS(A) =⋃s∈S

A−s.

A dilatação é também obtida “carimbando” o elemento estruturanterefletido:

δS(A) =⋃a∈A

Sa, em que S = {−s : s ∈ S}.


Exemplo – Dilatação

Dilatação (azul) da imagem binária (preto) pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Dualidade: Complemento e Adjunção

Usando a leis de De Morgan, concluímos que a erosão e a dilataçãosão duais com respeito ao complemento:

[εS(Ac)]c

=

[⋂s∈S

(A−s

)c

]c

=⋃s∈S

A−s = δS(A).

Dilatação e erosão não são operadores inversos, mas formam umaadjunção:

δS(A) ⊆ B ⇐⇒ A ⊆ εS(B).

Obs: O conceito de adjunção está relacionado ao conceito deconexão de Galois da álgebra.


Abertura e Fechamento

Os demais operadores da morfologia matemática são obtidoscombinando dilatações e erosões.

A abertura e o fechamento de uma imagem binária A por umelemento estruturante S são

γS(A) = δS

(εS(A)

)e φS(A) = εS

(δS(A)

).

A abertura pode ser reformulada como

γS(A) =⋃{Sx : Sx ⊆ A},

ou seja, a abertura é obtida “carimbando” o elemento estruturante Squando ele “cabe” na imagem A.

Interpretação semelhante vale para o fechamento.Marcos Eduardo Valle Morfologia Matemática 8 de Junho de 2018 11 / 50

Exemplo – Abertura

Abertura (vermelho) da imagem binária (preto) pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Abertura e Fechamento

A abertura e o fechamento são operadores idempotentes:

γS

(γS(A)

)= γS(A) e φS

(φS(A)

)= φS(A)

e satisfazemγS(A) ⊆ A ⊆ φS(A).

O fecho e o interior, relacionados a topologia usual do Rn, tambémsatisfazem propriedades semelhantes!

Com efeito, obtemos uma topologia considerando a família dospontos fixos de γS, ou seja,

{A : γS(A) = A},

é uma topologia definida pelo elemento estruturante.Marcos Eduardo Valle Morfologia Matemática 8 de Junho de 2018 13 / 50

Imagens em Tons de Cinza

Uma imagem em tons de cinza é uma função f : D → T, em que• D ⊆ Z2 ou D ⊆ R2 é o domínio da imagem.• T = [0,1] ou T = {0,1, . . . ,255} é o conjunto de tons de cinza.

Exemplo:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


MM para Imagens em Tons de Ciza

Os operadores elementares da MM para imagens em tons de cinzasão obtidos fazendo cortes na imagem f .

O limiar de nível α de f é o conjunto

[f ]α = {x ∈ D : f (x) ≥ α}.

A imagem f pode ser obtida “empilhando” os limiares de f :

f (x) = sup{α ∈ T : x ∈ [f ]α}.


Limiares de Nível

Imagem em tons de cinza f :

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Limiares de Nível

Limiar de Nível α = 1:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Limiares de Nível


200 400 600 800 1000 1200

200

400

600

800

1000

1200


Dilatação e Erosão em Tons de Cinza

Dado um elemento estruturante S, definimos a erosão e a dilataçãode f por S “empilhando” a erosão e a dilatação dos limiares de nível.

Em termos matemáticos, temos

εS(f )(x) = sup{α : x ∈ εS([f ]α)},

eδS(f )(x) = sup{α : x ∈ δS

([f ]α)}.


Exemplo – Erosão e Dilatação em Tons de Cinza


200 400 600 800 1000 1200

200

400

600

800

1000

1200



Erosão da imagem em tons de cinza pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Dilatação da imagem em tons de cinza pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Formulação Alternativa para Erosão e Dilatação

Sabemos que

x ∈ εS([f ]α)⇐⇒ Sx ⊆ [f ]α

⇐⇒ x + s ∈ [f ]α, ∀s ∈ S⇐⇒ f (x + s) ≥ α, ∀s ∈ S

Logo,

εS(f )(x) = sup{α : x ∈ εS([f ]α)}

= sup{α : f (x + s) ≥ α, s ∈ S}= inf

s∈S{f (x + s)}.

Analogamente, temos:

δS(f )(x) = sups∈S{f (x + s)}.


Dualidade com respeito à Negação

A negação de uma imagem em tons de cinza f é a imagemf c : D → T dada por

f c(x) = tmax − f (x), ∀x ∈ D,

em que tmax representa o maior valor de T:

tmax =

{1, T = [0,1],

255, T = {0,1, . . . ,255}.

A erosão e a dilatação em tons de cinza são duais com respeito ànegação:

[εS(f c)]c

= tmax − infs∈S{tmax − f (x + s)} = sup

s∈S{f (x + s)} = δS(f ).


Abertura e Fechamento em Tons de Cinza

Operadores da morfologia matemática em tons de cinza tambémsão obtidos combinando dilatações e erosões.

A abertura e o fechamento de uma imagem em tons de cinza f porum elemento estruturante S são

γS(f ) = δS

(εS(f )

)e φS(f ) = εS

(δS(f )

).

Pode-se mostrar que esses operadores são operadoresidempotentes

γS

(γS(f )

)= γS(f ) e φS

(φS(f )

)= φS(f )

e satisfazem a relação

γS(f )(x) ⊆ f (x) ⊆ φS(f )(x), ∀x ∈ D.


Exemplo – Abertura e Fechamento


200 400 600 800 1000 1200

200

400

600

800

1000

1200



Abertura da imagem em tons de cinza pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Fechamento da imagem em tons de cinza pela bola:

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Analogias entre as Abordagens

A erosão e a dilatação para imagens binárias

εS(A) =⋂s∈S

A−s e δS(A) =⋃s∈S

A−s,

dependem da intersecção e da união.

A erosão e a dilatação para imagens em tons de cinza

εS(f )(x) = infs∈S{f (x + s)} e δS(f )(x) = sup

s∈S{f (x + s)},

dependem do máximo e do mínimo.

De um modo geral, a MM pode ser muito bem conduzida numaestrutura matemática chamada reticulado completo.


Reticulado Completo

Um reticulado completo L é um conjunto parcialmente ordenado emque todo subconjunto (finito ou infinito) possui supremo e ínfimo.

Exemplo 1

Tanto o intervalo [0,1] como o conjunto discreto {0,1, . . . ,255} sãoreticulados completos com a ordem usual. Contudo, o conjunto dosnúmeros reais R não é um reticulado completo!

Exemplo 2

O conjunto das partes de D, P(D), é um reticulado completo emque o supremo é a união e o ínfimo é a intersecção.

O Exemplo 2 mostra que o espaço de todas as imagens binárias éum reticulado completo!


Exemplo 3

Seja T um reticulado completo. A família de todas as funçõesf : D → T é um reticulado completo com a ordem parcial induzida

f ≤ g ⇐⇒ f (x) ≤ g(x), ∀x ∈ D.

O ínfimo e o supremo de uma família de funções F , são dados por

(inf F) (x) = inf{f (x) : f ∈ F} e (supF) (x) = sup{f (x) : f ∈ F}.

O Exemplo 3 mostra que o espaço de todas as imagens em tons decinza é um reticulado completo!

Podemos definir os operadores da morfologia matemática em umreticulado completo usando o conceito de adjunção!


Morfologia Matemática em Reticulados Completos

Definição 4 (Adjunção, Erosão e Dilatação)

Seja L um reticulado completo. Dizemos que dois operadoresε : L → L e δ : L → L formam uma adjunção se

δ(x) ≤ y ⇐⇒ x ≤ ε(y).

Nesse caso,• ε é uma erosão.• δ é uma dilatação.

Além disso, pode-se mostrar que as composições

γ = δ ◦ ε e φ = ε ◦ δ,

representam respectivamente uma abertura e um fechamento.Marcos Eduardo Valle Morfologia Matemática 8 de Junho de 2018 26 / 50

Teorema 5A erosão binária e a dilatação binária formam uma adjunção:

δS(A) ⊆ B ⇐⇒ A ⊆ εS(A).

Demonstração:

δB(A) ⊆ B ⇐⇒⋃s∈S

A−s ⊆ B,

⇐⇒ As ⊆ B,∀s ∈ S⇐⇒ a + s ∈ B, ∀s ∈ S,∀a ∈ A,⇐⇒ a ∈ B−s, ∀s ∈ S, ∀a ∈ A,

⇐⇒ a ∈⋂s∈S

B−s,∀a ∈ A,

⇐⇒ a ∈ εS(B),∀a ∈ A,⇐⇒ A ⊆ εS(B).


Teorema 6A erosão e a dilatação em tons de cinza formam uma adjunção:

δS(f ) ≤ g ⇐⇒ f ≤ εS(g).

Demonstração:

δS(f ) ≤ g ⇐⇒ δS(f )(x) ≤ g(x), ∀x ∈ D⇐⇒ sup

s∈S{f (x + s)} ≤ g(x),∀x ∈ D

⇐⇒ f (x − s) ≤ g(x), ∀s ∈ S,∀x ∈ D⇐⇒ f (y) ≤ g(y + s), ∀s ∈ S,∀y ∈ D⇐⇒ f (y) ≤ inf

s∈Sg(y + s),∀y ∈ D

⇐⇒ f (y) ≤ εS(g)(y),∀y ∈ D⇐⇒ f ≤ εS(g).


Morfologia Matemática para Imagens Coloridas

Uma imagem coloria é uma função f : D → C, em que• D ⊆ Z2 ou D ⊆ R2 é o domínio da imagem.• C, geralmente um subconjunto de R3, é o espaço (ou conjunto)

das cores. Aqui, focaremos no espaço RGB.

A morfologia matemática em reticulados completos permite definiroperadores para imagens coloridas como segue:

εS(f )(x) = infs∈S{f (x + s)} e δS(f )(x) = sup

s∈S{f (x + s)}.

O maior desafio da morfologia matemática colorida é encontraruma ordem apropriada de modo que o espaço das cores seja umreticulado completo!


Espaço RGB

No espaço RGB, denotado por CRGB = [0,1]× [0,1]× [0,1], umacor c = (cr , cg , cb) ∈ CRGB é escrita em termos das primitivas:• Vermelho (R, red),• Verde (G, green),• Azul (B, blue).


Ordem Marginal

Podemos definir a seguinte ordem parcial em CRGB:

c ≤M c′ ⇐⇒ cr ≤ c′r , cg ≤ c′g e cb ≤ c′b.

Nesse caso, o ínfimo e o supremo de um conjunto de cores édeterminado componente-a-componente.

Exemplo 7

infM{ (1,1,0)︸︷︷︸amarelo

, (1,0,1)︸︷︷︸magenta

} = (1,0,0)︸︷︷︸vermelho

,

esupM{ (1,1,0)︸︷︷︸

amarelo

, (1,0,1)︸︷︷︸magenta

} = (1,1,1)︸︷︷︸branco

.


Erosão e Dilatação Marginal

A erosão e a dilatação de uma imagem colorida com a ordemmarginal é determinada aplicando os operadores em tons de cinzaem cada canal de cor.

Formalmente, tem-se

εS(f )(x) =

(infs∈S{fr (x + s)}, inf

s∈S{fg(x + s)}, inf

s∈S{fb(x + s)}

),

e

δS(f )(x) =

(sups∈S{fr (x + s)}, sup

s∈S{fg(x + s)}, sup

s∈S{fb(x + s)}

).


Exemplo – Erosão e Dilatação Marginal

Imagem colorida f :

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Erosão da imagem colorida.

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Dilatação da imagem colorida.

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Comentários:

• A abordagem marginal não leva em consideração a correlaçãoentre os canais de cores!

• A abordagem marginal pode introduzir “cores falsas”, isto é,cores que não pertencem a imagem original!


Abordagem Lexicográfica

Na abordagem lexicográfica, as cores são ordenadassequencialmente como segue:

c ≤L c′ ⇐⇒

cr < c′r ,cr = c′r e cg < c′g ,cr = c′r , cg = c′g e cb ≤ c′b.

Exemplo 8

infL{ (1,1,0)︸︷︷︸amarelo

, (1,0,1)︸︷︷︸magenta

} = (1,0,1)︸︷︷︸magenta

,

esupL{ (1,1,0)︸︷︷︸

amarelo

, (1,0,1)︸︷︷︸magenta

} = (1,1,1)︸︷︷︸amarelo

.


Exemplo – Erosão e Dilatação Lexicográfica

Imagem colorida f :

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Erosão da imagem colorida.

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Dilatação da imagem colorida.

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Comentários:

A ordem lexicográfica é uma ordem total, isto é, sempre podemoscomparar duas cores.

Numa ordem total, tanto o supremo como o ínfimo de um conjuntofinito é um elemento do conjunto.

Uma ordem total, incluindo a ordem lexicográfica, não introduzcores falsas!

Por outro lado, a ordem lexicográfica prioriza muito o primeiro canalde cor!


Abordagem Baseada em Distância

Na abordagem baseada em distância, as cores são ordenadasusando a distância à uma certa cor de referência r e seguida deuma cascada lexicográfica para evitar ambiguidades:

c ≤r c′ ⇐⇒

{d(r , c) > d(r , c′),d(r , c) = d(r , c′) e cr ≤L c′r .

Note que a cor maior é aquela mais próxima da referência r .

A ordem baseada em distância é uma ordem total. Logo, nãointroduz cores falsas!


Exemplo 9

Considere r = (0,1,0) (verde).Note que

d(

(1,1,0)︸︷︷︸amarelo

, (0,1,0)︸︷︷︸verde

)= 1 e d

((1,0,1)︸︷︷︸

magenta

, (0,1,0)︸︷︷︸verde

)=√

3.

Logo,infr{ (1,1,0)︸︷︷︸

amarelo

, (1,0,1)︸︷︷︸magenta

} = (1,0,1)︸︷︷︸magenta

,

esupr{ (1,1,0)︸︷︷︸

amarelo

, (1,0,1)︸︷︷︸magenta

} = (1,1,1)︸︷︷︸amarelo

.


Exemplo – Erosão e Dilatação em Distância

Imagem colorida f :

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Dilatação da imagem colorida com r = (1,0,0) (vermelho).

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Dilatação da imagem colorida com r = (1,0.65,0) (laranja).

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Dilatação da imagem colorida com r = (0,0,1) (azul).

200 400 600 800 1000 1200

200

400

600

800

1000

1200



Erosão da imagem colorida com r = (0,0,1) (azul).

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Comentários:

• A abordagem baseada em distância permite uma flexibilidademaior dos operadores da MM para imagens coloridas.

• Porém, requer a escolha apropriada da cor de referência!

• A dilatação baseada em distância expande objetos da cor dareferência r .

• A erosão, porém, não possui uma interpretação simples porque édifícil caracterizar os elementos mais distantes da referência r .

• Nas abordagens binária e em tons de cinza, a erosão e adilatação são duais com respeito ao complemento ou à negação.

• A dualidade com respeito a negação não é trivial na abordagembaseada em distância. De fato, falamos apenas emquase-dualidade porque ela não existe para algumas cores dereferência!Marcos Eduardo Valle Morfologia Matemática 8 de Junho de 2018 41 / 50

Ordem Total-h

A ordem baseada em distância pode ser vista como uma casoparticular de uma ordem reduzida total definida como segue.

Considere uma função contínua h : C→ T que transforma o espaçode cores num reticulado completo com a ordem natural de R.A ordem total-h “≤h” é definida como segue para c, c′ ∈ C:

c ≤h c′ ⇐⇒

{h(c) < h(c′)h(c) = h(c′) e c ≤L c′.

Na ordem baseada em distância temos hr (c) = κ(c, r), em que κ é afunção de base radial Gaussiana dada equação abaixo para σ > 0:

κ(c, r) = exp

(−d2(c, r)

2σ2

).


Ordem-h Supervisionada

Em muitas situações, estamos interessados em discriminar coresde frente (foreground) e fundo (background).

A ordem-h supervisionada, introduzida por Velasco-Forero eAngulo, generaliza a ordem baseada em distância permitindo aousuário informar conjuntos de cores de frente e fundo.

Especificamente, sejam

F = {f1, f2, . . . , fK} e B = {b1,b2, . . . ,bM},

conjuntos de cores de referência de frente e fundo. Numa ordem-hsupervisionada, espera-se que h : C→ T satisfaça as condições

h(fi) = tmax, ∀i = 1, . . . ,K , e h(bj) = tmin, ∀j = 1, . . . ,M,

em que tmax e tmin denotam o maior e o menor elemento de T.Marcos Eduardo Valle Morfologia Matemática 8 de Junho de 2018 43 / 50

Ordem-h Supervisionada Fuzzy

A função hr : C → [0,1] dada por hr (c) = κ(c, r) pode serinterpretada como uma função de pertinência de uma cor fuzzy.Nesse caso, o valor hr (c) representa o valor com que c écompatível com a cor de referência r .

No caso supervisionado, definimos a função de pertinência noforeground caracterizado pelas cores F = {f1, f2, . . . , fK} como

F (c) = κ(c, f1) ∨ κ(c, f2) ∨ . . . ∨ κ(c, fK ), ∀c ∈ C.

Em palavras, F (c) representa compatibilidade da cor c com f1 oucom f2 ou ... ou com fK .

Analogamente, a função de pertinência no backgroundcaracterizado pelas cores B = {b1,b2, . . . ,bM} é

B(c) = κ(c,b1) ∨ κ(c,b2) ∨ . . . ∨ κ(c,bM), ∀c ∈ C.


Finalmente, podemos definir a função hfuzzy : C→ [0,1] comosendo o grau de veracidade da afirmação:

“a cor c é uma cor de frente mas não é uma cor de fundo”.

Em termos matemáticos, temos

hfuzzy(c) = F (c) ∧ (1− B(c)), ∀c ∈ C.

Observe que o supremo e o ínfimo no reticulado completo(C,≤hfuzzy) possuem uma interpretação direta com respeito aosconjuntos de cores de frente (foreground) e fundo (background).


Exemplo – Erosão e Dilatação com a Ordem-hfuzzyImagem colorida f . Escolhemos F = {�,�} e B = {�,�}.

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Exemplo – Erosão e Dilatação com a Ordem-hfuzzyErosão com F = {�,�} e B = {�,�}.

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Exemplo – Erosão e Dilatação com a Ordem-hfuzzyDilatação com F = {�,�} e B = {�,�}.

200 400 600 800 1000 1200

200

400

600

800

1000

1200


Exemplo – Imagem Natural e a Ordem-hfuzzyImagem colorida f . Escolhemos F = {�,�,�,�,�} e B = {�,�}.


Exemplo – Imagem Natural e a Ordem-hfuzzyDilatação com F = {�,�,�,�,�} e B = {�,�}.


Exemplo – Imagem Natural e a Ordem-hfuzzyErosão com F = {�,�,�,�,�} e B = {�,�}.


Exemplo – Imagem Natural e a Ordem-hfuzzyFechamento com F = {�,�,�,�,�} e B = {�,�}.


Exemplo – Imagem Natural e a Ordem-hfuzzyAbertura com F = {�,�,�,�,�} e B = {�,�}.


Irregularidade de uma Ordem Total

Uma ordem total não introduz cores falsas. Contudo, a topologiainduzida por uma ordem total não reproduz a topologia natural deum espaço métrico:

Teorema 10 (Chevallier e Angulo, 2016)

Seja (C,d) um espaço métrico equipado com uma ordem total ≤.Se existem τ > 0 e três pontos c1, c2, c3 ∈ C tais que d(ci , cj) > τpara todo i 6= j e o complemento Bc(ci , ε) da bolas B(ci , ε) sãoconexos, então existem pontos x , y , z ∈ C tais que

x ≤ y ≤ z mas d(x , z) < d(x , y).


Desafios da Morfologia Matemática Colorida

• É possível medir, usando teoria da medida, a irregularidade deuma ordem total num espaço métrico?

• No caso afirmativo, existe uma ordem total que minimiza airregularidade?

• Vale um teorema semelhante para ordens parciais?


Considerações Finais

Desafios semelhantes são encontrados para outros tipos deimagens multivaloradas, por exemplo, imagens multi-espectrais.

Como o fundo (background) da apresentação é branco, trocamos adilatação pela erosão, e vice-versa, em todas as abordagens excetona baseada em distância!

Uma das imagens coloridas usada nessa apresentação foi obtida de0melapics / Freepik e está disponível emhttp://www.freepik.com.

Muito grato pela atenção!


http://www.freepik.com

desaﬁos da morfologia matemática para imagens coloridasjbflorindo/teaching/2018/mt530/t12.pdf ·...

Documents