seminário introdução à visão computacional

SeminárioSeminárioIntrodução à Visão Introdução à Visão ComputacionalComputacional

- The Cyclops Project - CPGCC - INE -UFSC

Domínio do Espaço - Parte IIDomínio do Espaço - Parte II

2. Domínio do EspaçoParte II - Operações sobre RegiõesE4. Crescimento de Regiões Simples

• E4.1 Crescimento de Regiões com Medidas Simples

• E4.2 Split & Merge

E4’ O Funcional de Mumford & Shah• E 4.3 Mumford & Shah

E3’’ O Método do Divisor de Águas• E 4.4 Watershed

Segmentação de Regiões

A simplificação da imagem é uma questão central na visão computacional, o que pode ser feito reduzindo-se as informações da imagem para regiões mais ou menos homogêneas.

O resultado é uma “caricatura” da realidade onde somente a parte importante está presente, sendo que os detalhes desnecessários e ruídos são extraídos.

Aplicações:• Controle de qualidade• Inspeção automatizada de peças em fábricas• Visão robótica

Existem métodos simples para segmentar a imagem, como:

•Threshold•Filtros de Frequência• Histograma•etc.

Mas esses métodos deixam restos de informações desnecessárias ou perdem informações.

Threshold

Segmentação de Segmentação de RegiõesRegiões

• Para superar essas limitações de métodos no domínio do valor, foram desenvolvidos métodos que operam no domínio do espaço e utilizam informações sobre:• vizinhança de pixel

• variação de valor de pixel em uma vizinhança

• estatísticas sobre agrupamentos de pixel

...para gerar uma imagem resultante dividida em regiões.

ExemplosExemplos

E4.1. Crescimento de Regiões com E4.1. Crescimento de Regiões com Medidas SimplesMedidas Simples

Crescimento de regiões

• Conecção simples

• Conecção híbrida

E4.1. Crescimento de Regiões com E4.1. Crescimento de Regiões com Medidas Simples - Medidas Simples - Conecção simplesConecção simples

Pixels similares são unificados em regiões: Princípios de similaridade

• Normalização.• Valor absoluto da diferença com os seus vizinhos.

• Diferença da média quadrática dos píxels da imagem.

• Desvio padrão• Região vai crescendo e se permite que cresça até o

desvio padrão de valores em seu interior ultrapassar um limiar.

E4.1. Crescimento de Regiões com E4.1. Crescimento de Regiões com Medidas Simples - Medidas Simples - Conecção simplesConecção simples

E4.1. Crescimento de Regiões com E4.1. Crescimento de Regiões com Medidas Simples - Medidas Simples - Conecção híbridaConecção híbrida

Utiliza-se como auxiliar uma imagem de bordas (gradientes):

• Cada píxel possui uma propriedade vetorial que depende de sua vizinhança K x K (máscara), indicando a direção da borda.

• Os píxels marcados como bordas são conectados por um arco/polígono.

• Uma região não pode ser considerada um segmento enquanto sua fronteira estiver aberta.

• A qualidade da técnica depende dos algoritmos de detecção de bordas utilizados.

• Dentro de uma região definida por uma borda usa-se um dos métodos anteriores. A região pode ser subdividida.

E4.1. Crescimento de Regiões com E4.1. Crescimento de Regiões com Medidas Simples - Medidas Simples - Conecção híbridaConecção híbrida

Para facilitar a montagem dos polígonos pode-seutilizar uma dilatação ou um fechamento após uma limiarização...

E4.2. Split & MergeE4.2. Split & Merge

Família de Métodos que utiliza duas técnicas muito parecidas:

• Dividir (Split)

• Unir (Merge)

Nos dois métodos inicia-se criando agrupamentos (clusters) de pixel similares.

União

União se baseia em igualar grupos próximos, do mesmo grupo ou de grupos separados. É uma técnica iterativa, com 2 estágios:

Primeiro - Quantas cores RGB ou tons de cinza

Para cada pixel na imagem

Se o valor não foi visto antes

Adiciona uma nova cor na lista de cores já

obtida e indique que a cor somente foi

vista uma vez antes

Senão

Adiciona uma cor para o total de

pixels vistos por cada cor

Fim se

Fim para.

Segundo – Calcula distância mínima Inter-Cluster e grava os agrupamentos produzidos e ao mesmo tempo calcula a distância média inter-cluster.

Loop

Calcule a distância mínima inter-cluster e grave

os dois agrupamentos i e j, que ele produzir

Calcule a média da distância inter-cluster

Se (mínimo < peso % média )

Unir agrupamento i e j

Senão

Sair do loop

Fim se

Fim loop.

ImplementaçãoO método de agrupamento por união para imagens a cores foi implementado pelas duas seguintes medidas de distância para determinar a “proximidade” dos dois agrupamentos , isto é , distância euclidiana e absoluta . para dois agrupamentos centrais send: C= (R G B) e C= (R G B)

a distância euclidiana pode ser calculada como:

√ (R - R)² + (G - G ) ² + (B - B)²

a distância absoluta pode ser calculada como:

|R - R| + | G - G| + | B - B|

Para imagens em tons de cinza, utiliza-se simplesmente a diferença absoluta.

Aplicação: Nos dois algoritmos descritos , por divisão e por união, há um quantificador desconhecido “peso” que determinará o número de agrupamentos no resultado final da segmentação.

Então os procedimentos como descritos não são totalmente automatizados.

Então nós podemos submeter este problema a experiências com diferentes valores para cada peso assim encontraremos seu valor ótimo.

Média do centro de blocos e Distância Euclidiana

Original peso = 0.3 peso = 0.4 peso = 0.5

Conclusão Para o método de agrupamento por união, o peso de aproximadamente 0.4 parece ser um ótimo resultado para o ponto de segmentação vista. Então se o peso é fixado no valor 0.4 , nós temos de fato alcançado nosso objetivo com a técnica de segmentação totalmente automatizada que também determina o número de agrupamentos presentes na imagem

Divisão

Equalizar cada pixel pertencente a um grupo particular, sendo o critério a da variância do pixel central no agrupamento.Grupo inicial sendo a variância neste agrupamento

Loop

Calcule a máxima variância e grave o agrupamento i, que o produziu

Se (máxima > peso x inicial)

Divida agrupamento i

Senão

Exit loop

Fim se

Designe novamente todos os pixels dos seus centros de agrupamento mais interno

End loop

Implementação para Imagens Coloridas

Este método foi implementado por permitir duas representações diferentes de centro de agrupamento , média e amostragem, no cálculo da variância da de um agrupamento particular representado pelo agrupamento central C= (R G B) nós usamos a seguinte equação:

N° de pixels no agrupamento C

x é o vetor (xR,xG,xB)

Quando dividimos um agrupamento nós levamos em conta todos os três componentes R G e B, dado o agrupamento C mostrado acima nós queremos dois novos agrupamentos C’ =( R’ G’ B’) e C” =( R” G” B”), nós dividimos o agrupamento C para criar dois novos valores pra cada componente que são centralizados em volta do valor central do agrupamento . A seguinte equação mostra o formato geral do procedimento de divisão:

Média entre

(Ri – minR) e (maxR - Ri)

Média do centro de blocos , Distância Euclidiana e variância média

peso = 0.10 peso = 0.15 peso = 0.20 peso = 0.25

Conclusão O peso 0.15 para o método de agrupamento por divisão produz o melhor resultado de segmentação, e fixando o peso neste valor, resulta no processo totalmente automatizado.

Conclusão Geral:Os métodos split e merge são técnica bem simples , que podem ter grandes aplicações com respeito a seqüência de imagens médicas por exemplo, encontrando anomalias que podem ser agrupadas como um agrupamento separado. Também pode ser usado para imagens multiespectrais, sendo muito fácil para estender esta técnica a alguma dimensionalidade.

E4.3. O Funcional de Mumford & ShahEste é um método mais preciso para a segmentação, baseado na equação funcional da energia de Mumford-Shah.

)(*),(2

/

2KldxdyudxdyguKuE

K

Ao lado temos uma sequência de imagens segmentadas pelo método Mumford-Shah. Na primeira imagem, cada ponto representa uma região. Na primeira segmentação, os pontos vizinhos foram agrupados numa mesma região segundo o critério de menor energia. O valor do nível de cinza dos pontos desta nova região é a média dos pontos agrupados.

)(*),(2

/

2KldxdyudxdyguKuE

K

Equação Funcional de Mumford-Shah:

E(,K) - Energia funcional de Mumford-Shah em função de e da fronteira KFunção g(x,y) - tom de cinza de um pixel determinado

- Domínio da imagem, geralmente um retângulo

- Decomposição da imagem em “pedaços”i

Kn ...21

K - fronteira entre as regiões

)(*),(2

/

2KldxdyudxdyguKuE

K

g(x,y) - é suave dentro de cada região g(x,y) - é descontínua no cruzamento com as bordas

i

)(Kl - comprimento dos arcos das bordas

- função diferenciavél dentro de

- aproximação de g(x,y), esse valor constante será a média dos valores de intensidade g(x,y) de cada ponto da região.

in

i

1

)(*),(2

/

2KldxdyudxdyguKuE

K

dxdygu2

- Mede se u é uma boa aproximação de g

dxdyuK

2

/

- Variação mínima de u em cada região

)(* Kl - Penaliza o comprimento das fronteiras

Energia Funcional Simplificada de Mumford-Shah

u - Função constante- Média dos valores de g em cada região

)(*)(2

\

KldxdyguKEK

Critérios de Junção

)(*)(2

\

KldxdyguKEK

Oi - Área da região Oi

) , ( \ ) , ( )' ,' (Oj Oi K u K u ),()','( KuEKuE

),(***

)),(\(2

OjOilujuiOjOi

OjOiOjOiKE

Critério de Junção

Variação de • Linear• Exponencial

Quando não for mais possível juntar nenhuma região, deve-se aumentar o valor de lambda

Imagem Original Lambda 1-800

Lambda 1-10.000 Lambda 1-100.000

E4.4. Watershed: O Divisor de ÁguasE4.4. Watershed: O Divisor de Águas

• Cálculo do gradiente para toda a imagem.

• Utilizando o valor absoluto do gradiente, monta-se uma espécie de "topografia".

• Segmentos são organizados em ordem crescente de valores.

• Regiões homogêneas compõem as regiões planas da "topografia".

E4.4. Watershed: O Divisor de ÁguasE4.4. Watershed: O Divisor de Águas

• Watershed segmentation gets its name from the manner in which the algorithm segments regions into catchment basins.

• If a function f is a continuous height function defined over an image domain, then a catchment basin is defined as the set of points whose paths of steepest descent terminate at the same local minimum of f.

• The choice of height function depends on the application and the basic watershed algorithm is independent of the choice of height function.

• For intensity-based image data, you might typically use some sort of gradient magnitude calculation for the input to the algorithm

E4.4. Watershed: O Divisor de ÁguasE4.4. Watershed: O Divisor de Águas

Linha divisora de águas Bacias hidrográficas

Imagem de gradientes

E4.4. Watershed: ExemploE4.4. Watershed: Exemplo

• Tomamos uma imagem qualquer

E4.4. Watershed: ExemploE4.4. Watershed: Exemplo

• Calculamos seus gradientes usando Sobel, Roberts, Canny ou outro....

E4.4. Watershed: ExemploE4.4. Watershed: Exemplo

• Agrupamos pixels vizinhos de gradiente (praticamente) nulo....

E4.4. Watershed: ExemploE4.4. Watershed: Exemplo

• Agrupamos regiões elevando o nível da água (função f)....

E4.4. Watershed: ExemploE4.4. Watershed: Exemplo

• Agrupamos mais as regiões elevando mais o nível da água....

E4.4. Watershed: O Divisor de ÁguasE4.4. Watershed: O Divisor de Águas

Possíveis melhorias:

• Adicionar Critério de inhomogeneidade:• Além de verificar se uma bacia passa por cima de um limiar

para outra região ou não, antes de unir as duas regiões utilizar algum dos critérios de inhomogeneidade vistos anterioremente para saber se se une ou não as duas regiões.

• Duas regiões com um gradiente pequeno entre elas podem na verdade ser relativamente diferentes.

• Duas regiões que não se conseguiu unir podem na verdade ser bastante similares, a água só não subiu o suficiente por pouco.

• Critério de inclinação: • A água passa mais fácil sobre fronterias menos íngremes.

• Possibilita unir grandes regiões com um gradiente constante.

TrabalhosTrabalhos

E3. Detecção de Bordas com Convolução Simples (1)• E3.1 Roberts, E3.2 Sobel, E3.3 Robinson

E3’ Operadores Avançados de Detecção de Bordas (2)• E 3.4 Canny

E3’’ Detecção de Estruturas Salientes (2)• E 3.5 Sha’aShua

E4. Crescimento de Regiões Simples (1)• E4.1 Crescimento de Regiões Simples E4.2 Split & Merge

E4’ O Funcional de Mumford & Shah (2)• E 4.3 Mumford & Shah

E4’’ O Método do Divisor de Águas (2)• E 4.4 Watershed