sistema semi-automÁtico de registro e mosaico de imagens dmitry fedorov dr. leila m. g. fonseca...

SISTEMA SEMI-AUTOMÁTICO DE REGISTRO E MOSAICO DE

IMAGENS

Dmitry Fedorov

Dr. Leila M. G. Fonseca

INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2003.

Sistema de registro

Registro

Mosaico

Verificação de consistência eedição dos pontos de controle.

Escolha do método de mosaico

Escolha o método de registro.

RESULTADO Avaliação do resultado.

SISTEMA USUÁRIO

Ima

ge

ns

Ima

ge

m

Pontos de controleTransformação associada

Resultados de testes de aceitação

Registro

Mosaico

Verificação de consistência eedição dos pontos de controle.

Escolha do método de mosaico

Escolha o método de registro.

RESULTADO Avaliação do resultado.

SISTEMA USUÁRIO

Ima

ge

ns

Ima

ge

m

Pontos de controleTransformação associada

Resultados de testes de aceitação

Sistema de registro

Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg)

Foi enfatizada a utilização em plataformas diferentes

Três métodos de registro automático foram implementados:

• método baseado em optical flow e geometria

• método baseado na transformação wavelet

• método baseado em contornos

Método padrão

Optical Flow

imagem1 imagem 2

Extração de pontos utilizando máximos locais

pontos 1 pontos 2

Casamento preliminar utilizando janelas rotacionadas enormalizadas

pontoscasados

Refinamento dos casamentos utilizando geometria

imagem 1 imagem 2

Optical Flow

imagem1 imagem 2

Extração de pontos utilizando máximos locais

pontos 1 pontos 2

Casamento preliminar utilizando janelas rotacionadas enormalizadas

pontoscasados

Refinamento dos casamentos utilizando geometria

imagem 1 imagem 2

O método baseado em optical flow e geometria

É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada

Método baseado em wavelets

Pré-processamento

imagensde

entrada

Decomposição waveletn=1,...,L

L

n Extração de feições

Extração de feições

Casamento de feições

Verificação deconsistência dos

casamentos

Função de transformaçãoinicial

Casamento inicial


Refinamento deparâmetros do modelo de

distribuição

Função de transformaçãofinal

Interpolação

Imagens registradas

Pré-processamento

imagensde

entrada

Decomposição waveletn=1,...,L

L

n Extração de feições

Extração de feições


Verificação deconsistência dos

casamentos

Função de transformaçãoinicial

Casamento inicial


Refinamento deparâmetros do modelo de

distribuição

Função de transformaçãofinal

Interpolação

Imagens registradas

O método baseado em wavelets é importante para o registro de imagens de radar onde identifica uma boa quantidade de pontos de controle

Apresenta melhor precisão e eficiência de registro do que o método padrão

O método baseado em contornos

Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos

É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral

imagem1 imagem 2

Extrair contornos utilizando código em cadeia

contornos1

contornos2

Casar contornos utilizando código em cadeia

Refinar os casamentos utilizando geometria

contornos casados

Extrair pontos utilizando centroides dos contornos

pontoscasados

contornos casados

LoG

imagem 1 imagem 2

imagem1 imagem 2

Extrair contornos utilizando código em cadeia

contornos1

contornos2

Casar contornos utilizando código em cadeia

Refinar os casamentos utilizando geometria

contornos casados

Extrair pontos utilizando centroides dos contornos

pontoscasados

contornos casados

LoG

imagem 1 imagem 2

Interface gráfica do sistema

Três passos lógicos:

1) Dados e pre-processamento

2) Busca de pontos de controle

3) Geração da imagem resultante

Controle das janelas


1) Identificação de pontos(auto, semi-auto, manual)

2) Transformação(translação, RST, afim, etc.)

3) Identificar pontos!

Busca de pontos de controle


1) Imagem resultado(mosaico, registro separado)

2) Sobreposição(normal, interlaçado, blended)

3) Interpolação (vizinho mais próximo, Bilinear)

Geração da imagem resultante

4) Equalização

Ferramentas do sistema

Pre-processamento:

Modificar resolução, escolher a banda, realçar...

Edição de pontos de controle:

Remover, gravar ou carregar, mostrar nas imagens...

Ferramentas do sistema

Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador

Testes do sistema

O sistema foi testado operacionalmente por vários pesquisadores em:

• Instituto Nacional de Pesquisas Espaciais

• Universidade da Califórnia, Santa Barbara

• Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia

Testes exaustivos foram executados com imagens:

• Radar

• Multi-sensores

• Alta resolução

• Seqüências de vídeo

Testes do sistema

Imagens Método wavelets Método padrão

Radar, JERS-1(10/10/95) + (08/13/96)Amazônia, floresta(512*512)(512*512)

Tempo: 3185ms C.P.: 53RMSE: 0.7648

Tempo: 6099msC.P.: 6 (de 300)RMSE: 1.0000

SPOT band 3 + TM band 4(08/08/95) + (06/07/94)Cidade Brasília(512*512)(512*512)

Tempo: 3325ms C.P.: 29RMSE: 0.8710


TM band 5(06/07/92) + (07/15/94)Amazônia, floresta (512*512)(512*512)

Tempo: 3104msC.P.: 188RMSE: 0.5359


Comparação entre os métodos padrão e wavelets:

Testes do sistema

Comparação entre os métodos padrão e contornos:

Imagens Método contornos

Método padrão

Landsat, composição 3,4,5Litoral(1390*1500)(1200*1650)

Tempo: 2604msC.P.: 3RMSE: 0.8165


Fotos aéreasÁrea urbana, Bay area, Califórnia(1283*2352)(1547*2284)

Tempo: 4566msC.P.: 32RMSE: 1.4790

Tempo: 9183ms C.P.: 22 (de 128)RMSE: 2.0226

Fotos aéreas coloridasÁrea urbana, Santa barbara, Califórnia(306*386)(335*472)

Tempo: 521ms C.P.: 6RMSE: 0.4082


Imagens de florestas

Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

Imagens de Radar

Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996

Imagens do CBERS

Mosaico de 4 imagens CBERS-IRMMS de datas diferentes

Imagens Landsat

Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos

Detalhe do registro

Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos

Imagens do LANDSAT 7 PAN - CBERS CCD

R: PAN

G,B: CCD 4

Registro automático usando retângulos

Composição colorida das imagens registradas R-PAN, G-4CCD, B-3CCD

Imagens do radar RADARSAT-1, SAR

Mosaicos de seqüências de vídeo

seqüência de 100 imagens IR gerado em 20 segundos

Mosaicos de seqüências de vídeo

Mosaicos registrados das seqüências de

640x480 pixels

14 visíveis

6 termais

Mosaico de imagens Ikonos

_

Fotografia digital

Método Blending para fotografia digital

Conclusão

• O sistema foi implementado e testado

• Existem binários para Windows, Linux, Solaris Sparc

• Desenvolvida a página WEB do sistema:http://regima.dpi.inpe.br/

• Desenvolvida a versão demo para WEB:http://regima.dpi.inpe.br/demo/http://nayana.ucsb.edu/registration/

Trabalhos futuros

• Pretende-se continuar o desenvolvimento do sistema:

• Adicionar suporte de georeferenciamento e estender suporte de GeoTiff para todos os resultados

• Adicionar técnicas avançadas de equalização e geração de mosaico de imagens

• Melhorar os métodos automáticos

Agradecimentos

Várias instituições participaram no desenvolvimento:

• Divisão de Processamento de Imagens, INPE• Divisão de Sensoriamento Remoto, INPE• Vision Lab, Universidade da Califórnia, Santa Barbara• China Lake Naval Air Warfare Center, Califórnia

O trabalho foi financiado pelas instituições:

• CAPES• SELPER Brasil• Office of Naval Research, China Lake Naval Air Warfare Center• CalTrans

Demonstração do sistema

Regeemy

sistema semi-automÁtico de registro e mosaico de imagens dmitry fedorov dr. leila m. g. fonseca...

Documents