prof. dr. kamel bensebaa tópicos avançados em processamento de imagens e aula 2

38
Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Upload: caio-varejao-klettenberg

Post on 07-Apr-2016

219 views

Category:

Documents


3 download

TRANSCRIPT

Page 1: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Prof. Dr. Kamel Bensebaa

Tópicos Avançados em Processamento

de Imagens e

Aula 2

Page 2: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro de Imagens Registro de imagens é um processo de

casamento entre duas imagens, que possuem informações referentes a uma mesma área. A imagem tomada como base de registro é chamada de imagem de referência e a imagem a ser registrada é chamada de imagem de ajuste.

O processo de registro de imagens é uma das etapas mais importantes na seqüência de processamentos de imagens de sensoriamento remoto.

Page 3: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro de Imagens Na área de sensoriamento remoto, o registro

(mosaico ou casamento) de imagens é utilizado como base de várias aplicações, como por exemplo, integração da informação adquirida por diferentes sensores, análise de mudanças, mosaico de imagens, etc.

– Conjunto de fotografias com superposição, cujas margens são, em geral, aparadas, cortadas, e unidas entre si, visando à formação de uma representação fotográfica contínua, ou seja, formando uma única imagem a partir de várias fotos. Podem ser fotos aéreas, formando uma representação do terreno a partir de várias fotografias adjacentes.

Page 4: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro de Imagens

Page 5: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro de Imagens

Imagem com segmentos detectados

50 100 150 200 250

50

100

150

200

250

Imagem com segmentos detectados

50 100 150 200 250

50

100

150

200

250

Imagem de Referência Imagem do frame

Page 6: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro de Imagens Geralmente, o registro é feito manualmente. Neste

caso o operador escolhe uma feição pontual, visualmente interessante, em uma imagem e tenta encontrar a mesma feição correspondente na outra imagem. Este par de pontos é chamado de pontos de controle. Com a indicação de vários pontos de controle nas imagens, consegue-se modelar a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste.

Esta tarefa é bastante lenta, árdua e sujeita a erros, justamente porque possui o fator humano, que muitas vezes não tem experiência suficiente para realizá-la.

Page 7: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro de Imagens Existem três métodos de realizar o

registro de imagens

– Manual

– semi-automático

– Automático

Page 8: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Manual Geralmente, o registro é feito manualmente.

Neste caso o operador escolhe uma feição pontual, visualmente interessante, em uma imagem e tenta encontrar a mesma feição correspondente na outra imagem. – Este par de pontos é chamado de pontos de controle.– Com a indicação de vários pontos de controle nas

imagens, consegue-se modelar a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste.

– Esta tarefa é bastante lenta, árdua e sujeita a erros, justamente porque possui o fator humano, que muitas vezes não tem experiência suficiente para realizar-la.

Page 9: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro semi-automático Com o aumento da utilização das imagens

digitais (em várias aplicações de sensoriamento remoto, imagens medicas, imagens aéreas) e a grande quantidade de dados provenientes de diferentes sensores, o desenvolvimento de métodos de registro mais rápidos e com boa precisão tem sido necessário.– Um sistema de registro interessante seria aquele que

fornecesse um conjunto de ferramentas necessárias para realizar o processo de registro de forma mais rápida e com boa precisão.

– Um sistema deste tipo pode ser chamado de sistema de registro semi-automático, pois existe a interação do especialista com o processo de registro.

Page 10: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro automático Os métodos automáticos existentes atualmente são

desenvolvidos para tipos específicos de imagens e podem retornar resultados errados ou imprecisos quando utilizados com dados não apropriados.

A interação do usuário, mesmo mínima, pode guiar o algoritmo a fazer um registro de qualidade.

Por exemplo, o especialista pode informar ao sistema qual o tipo de imagens que estão sendo usadas (radar, sensor óptico, imagens aéreas, etc.), se as imagens contém objetos com contornos fechados bem definidos, e assim por diante.

Page 11: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

TÉCNICAS DE REGISTRO DE IMAGENS

Registro de imagens é um processo de casamento de duas imagens, que possuem uma área em comum, de forma que os pontos com coordenadas correspondentes nas duas imagens correspondem à mesma região física.

O processo de registro pode ser realizado, basicamente, em três etapas:– Obtenção de pontos de controle;– Determinação da função de

transformação;– Sobreposição das imagens;

Page 12: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

TÉCNICAS DE REGISTRO DE IMAGENS

O processo de obtenção de pontos de controle inclui duas etapas (1) a extração de feições (cantos, linhas, contornos) e (2) o casamento das feições extraídas.

Obtido os pontos de controle, a transformação espacial que modela as distorções entre as imagens é calculada e o registro é realizado através de um método de interpolação

A função de transformação é calculada usando o conjunto de pontos de controle obtidos na fase anterior.

Page 13: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Métodos de registro de imagens

Os métodos de registro podem ser classificados em duas categorias:– Registro Imagem - Imagem (matriz de

pontos);– Registro Imagem - Mapa (imagens vetoriais).

No registro Imagem-Mapa, a imagem é colocada dentro de um sistema de coordenadas planas de um certo sistema de projeção cartográfica, tal como o Universal Transverse mercator (UTM) ou o Polar Stereographic (OS). Neste caso dizemos que a imagem está geo-referenciada ou geo-codificada.

Page 14: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro automático Os algoritmos de registro baseiam-se

em um dos seguintes métodos:

1) Baseado em área;

2) Baseado em feições;

3) Baseado em contornos;

Page 15: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro automático O primeiro método não é adequado para registro

Imagem-Mapa. Neste caso, o mais indicado é o método baseado em feições definido posteriormente.

Vários métodos em uma fase inicial de processamento, necessitam de um registro grosseiro que consiste em estimar os parâmetros de rotação e translação de forma grosseira: com erro de vários pixels. O registro grosseiro pode ser realizado de maneira automática ou manual. O usuário pode escolher manualmente 2 ou 3 pontos de controle que serão usados para estimar a rotação e translação. A rotação entre duas imagens pode também ser estimada usando o método de estimação da direção de iluminação ou determinando a rotação entre contornos presentes nas imagens.

Page 16: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área

Este método proporciona um registro de boa precisão, porém é lento e deve ser usado somente em casos em que as imagens a serem registradas sejam geometricamente e radiometricamente semelhantes.

Uma pequena janela Sij na imagem de referência é estatisticamente comparada com várias janelas Wz do mesmo tamanho na imagem de ajuste. Assim, a janela Wz mais parecida com Sij define um ponto em comum nas duas imagens.

Consideremos que as janelas possuem K linhas e L colunas.

Page 17: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Imagem de referência Imagem de ajuste

Registro Baseado em Área

Page 18: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área Para comparar as janelas são utilizados

métodos estatísticos como a Correlação cruzada normalizada, Coeficiente de correlação, Detecção de similaridade seqüencial, etc.

Estes métodos são chamados de medidas ou critérios de similaridade.

O método de Correlação Cruzada Normalizada é definido por:

– Sij – Janela da imagem de referência;– Wz – Janela da imagem de ajuste;

Page 19: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área

As janelas mais parecidas possuem o máximo valor R(i, j)

O método Coeficiente de correlação retorna o valor em escala absoluta normalizado entre [-1, 1] :

Onde:– μw - média da janela Wz

– μs - média da janela Ws

Page 20: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área

Os dois métodos apresentados acima requerem um tempo de processamento grande.

Uma alternativa menos custosa computacionalmente é o algoritmo de Detecção de similaridade seqüencial:

A medida de similaridade E(i, j) é acumulada para valores de pixels da janela até um certo limite, que pode ser estabelecido dependendo da qualidade e velocidade do teste.

O número de pixels revisados é guardado como taxa do teste, e a janela com a maior taxa é considerada a melhor

Aplicando o algoritmo de Correlação Cruzada Normalizada para a janela indicada na Figura 2.2 podemos construir o mapa de similaridade, apresentado na Figura 2.4 (b),com as janelas tomadas na imagem da Figura 2.4 (a).

Page 21: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área

Aplicando o algoritmo de Correlação Cruzada Normalizada para a janela indicada na Figura abaixo podemos construir o mapa de similaridade, apresentado na Figura (b),com as janelas tomadas na imagem da Figura (a).

Page 22: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área

No mapa de similaridade, as áreas brancas indicam as áreas em que as janelas apresentam a maior similaridade. Dentro da área branca pode ser visto um ponto preto, indicado com uma seta, é um ponto mais claro escurecido para melhor visualização e é o ponto mais similar ao ponto indicado na Figura da imagem de referência, no canto superior esquerdo da janela.

Page 23: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Área

Sobrepondo as imagens podemos ver o resultado do mosaico

Page 24: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Feições

Em situações em que a resolução e/ou a informação espectral das imagens a serem registradas é diferente ou as imagens são obtidas por diferentes sensores, o método de registro baseado em feições é o mais adequado.

Por definição, feições são objetos na imagem que são visualmente interessantes, destacáveis, tais como pontos salientes em bordas, regiões, linhas, extremidades, curvaturas, etc.

Page 25: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Feições

Feições de pontos ou feições pontuais são extraídas de maneira mais fácil mas não são adequadas para serem utilizadas para registrar imagens obtidas por diferentes tipos de sensores.

Um ponto identificado em uma cena óptica não necessariamente terá um conjugado em uma imagem SAR ou em um banco de dados vetorial.

Feições de linhas, especialmente interseções, podem ser encontradas, de forma mais fácil, em dados diferentes. Em sistemas de registro, em que um registro grosseiro é realizado em uma etapa inicial, feições de linhas podem ser usadas para refinar o registro final.

Feições do tipo polígonos podem ser utilizadas para realizar um registro inicial automático.

Page 26: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Feições

As curvaturas das linhas ou das bordas dos objetos podem ser chamados de feições de curvaturas. As feições de curvaturas são mais confiáveis que extremidades ou gradientes porque são independentes das mínimas variações de rotação e escala.

Para cada feição pode-se extrair um conjunto de parâmetros. Por exemplo, o polígono pode ser caracterizado por atributos de tamanho, forma, área, centróide, etc.

Um algoritmo simples pode utilizar um dos atributos para realizar o casamento das feições encontradas, assim como os algoritmos baseados em múltiplas feições utilizam vários atributos ao mesmo tempo.

Page 27: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Registro Baseado em Feições

Pode-se usar regiões (polígonos) no processo de registro devido à qualidade e à quantidade de atributos extraídos.

O problema é que este tipo de feição não é facilmente encontrada em todos os tipos de dados. Exemplos de feições do tipo polígonos seriam corpos de água, florestas, plantações de culturas agrícolas.

Após o processo de extração, as feições que são identificadas nas duas imagens são relacionadas de tal forma que haja correspondência entre elas. Este processo é chamado de casamento de feições.

As feições casadas determinam os pontos de controle. No caso de polígonos, os seus centróides são tomados como pontos de controle.

Page 28: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mapeamento de Imagens As imagens a serem registradas

podem ser relacionadas através de funções de transformação simples se a geometria das imagens é semelhante.

Neste caso, transformações como translação, rotação e escala podem ser utilizadas.

Page 29: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mapeamento de Imagens Sejam g e G as imagens de ajuste e

de referência, respectivamente. As imagens são relacionadas pela

transformação de distorção geométrica T: g=G°T.

Então, tem-se que:

onde

Page 30: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mapeamento de Imagens As transformações mais simples são: Translação

Rotação, escala e translação

Onde: r, Θ, dx e dy são parâmetros de escala, rotação e de translação,

Page 31: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mapeamento de Imagens Se a geometria das imagens é diferente, as

transformações podem ser aproximadas utilizando uma função polinomial cujos parâmetros são determinados a partir das coordenadas dos pontos de controle.

O desempenho deste modelo depende de uma boa distribuição dos pontos de controle, da precisão das coordenadas dos pontos de controle e, o mais importante, da adequação da função polinomial escolhida ao que se pretende modelar.

Page 32: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mapeamento de Imagens Polinômio de primeiro grau:

O polinômio de primeiro grau também é chamado de função Afim que é a função mais utilizada para registro de imagens. Para facilitar a utilização usa-se a seguinte representação matricial:

Polinômio de primeiro grau:

Page 33: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mapeamento de Imagens Uma vez determinados os n pontos de controle, um

sistema de 2n equações é montado para determinar 6 ou 12 parâmetros, dependendo do polinômio ser de 1° ou 2° grau.

O número mínimo de pontos de controle representa a situação de um sistema de equações determinado.

Entretanto, como as coordenadas medidas dos pontos de controle estão sujeitas a erros, convém usar um número de pontos maior que o número mínimo, o que define um sistema de equações sobre-determinado.

O sistema tem mais equações que incógnitas e permite tratar os erros de medição dos pontos de controle.

Uma vez definido o tipo de distorção existente entre as imagens, os parâmetros da transformação podem ser estimados através do conjunto de pontos de controle.

Page 34: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Mosaico de Imagens Mosaico de imagens é um produto gerado a partir

de técnicas de registro de imagens. Um mosaico de imagens consiste em uma

composição de imagens adquiridas de diferentes pontos de vista para construir uma imagem maior, dando uma visão global da cena.

O processo de geração de mosaico de imagens é um problema complexo, pois envolve um conjunto de procedimentos. Inicialmente o registro da imagem de referência com a imagem de ajuste é obtido e em seqüência uma imagem de combinação das duas é gerada. Assim, pode-se combinar sucessivamente outras imagens até que seja obtida uma imagem que cubra a área de interesse.

Page 35: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

EXTRAÇÃO DE PONTOS DE CONTROLE

A fase mais crítica do processo de registro é a determinação dos pontos de controle

Os pontos de controle são usados para estimar a transformação que será utilizada no processo de mapeamento.

Se o modelo de mapeamento escolhido é adequado, a precisão de registro é garantida pela identificação correta dos pontos de controle.

O processo de identificação dos pontos de controle, normalmente, é realizado em dois passos: (1) extração de feições e (2) casamento das feições extraídas no passo anterior.

Page 36: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Extração de Feições Existem vários métodos de extração destas

feições. Normalmente para extração de cada tipo de feição e cada tipo de dado existe um algoritmo mais adequado.

Para extração de feições de polígonos podem ser utilizados métodos de segmentação e diferentes métodos de segmentação podem extrair as mesmas feições de dados diferentes.

Para imagens radiometricamente parecidas as feições pontuais são bastante eficientes.

Page 37: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Extração de feições utilizando o processo de

segmentação As feições podem ser extraídas utilizando técnicas

de segmentação que podem ser divididas em três grupos: (1) crescimento de regiões, (2) detecção de bordas e (3) combinação das duas anteriores.

A técnica de crescimento de regiões particiona a imagem em regiões homogêneas e as rotula.

A técnica de detecção de bordas identifica as fronteiras entre regiões homogêneas e gera um mapa de bordas.

Existem muitos algoritmos de segmentação mas, geralmente, cada um é mais adequado para um determinado tipo de dados.

Page 38: Prof. Dr. Kamel Bensebaa Tópicos Avançados em Processamento de Imagens e Aula 2

Refinamento dos Pontos de Controle Utilizando sua

Geometria Após o processo de casamento das

feições ainda podem permanecer alguns pontos casados errados.

Para superar este problema e eliminar os pontos casados errados um procedimento baseado na geometria dos pontos de controle deve ser utilizado.

Existem vários algoritmos para este procedimento, um deles e o algoritmo de RANSAC.