SISTEMA SEMI-AUTOMÁTICO DE REGISTRO E MOSAICO DE

IMAGENS

Dmitry Fedorov

Dissertação de Mestrado em Computação Aplicada,

orientada pela Dr. Leila M. G. Fonseca.

INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2002.

Sistema de registro

Registro

Mosaico

Verificação de consistência eedição dos pontos de controle.

Escolha do método de mosaico

Escolha o método de registro.

RESULTADO Avaliação do resultado.

SISTEMA USUÁRIO

Imag

ens

Imag

em

Pontos de controleTransformação associada

Resultados de testes de aceitação

Sistema de registro

Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg)

Foi enfatizada a utilização em plataformas diferentes

Três métodos de registro automático foram implementados:

• método baseado em optical flow e geometria

• método baseado na transformação wavelet

• método baseado em contornos

Método padrão

Optical Flow

imagem1 imagem 2

Extração de pontos utilizando máximos locais

pontos 1 pontos 2

Casamento preliminar utilizando janelas rotacionadas enormalizadas

pontoscasados

Refinamento dos casamentos utilizando geometria

imagem 1 imagem 2

O método baseado em optical flow e geometria

É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada

Método baseado em wavelets

Pré-processamento

imagensde

entrada

Decomposição waveletn=1,...,L

L

n Extração de feições

Extração de feições

Casamento de feições

Verificação deconsistência dos

casamentos

Função de transformaçãoinicial

Casamento inicial

Casamento de feições

Refinamento deparâmetros do modelo de

distribuição

Função de transformaçãofinal

Interpolação

Imagens registradas

O método baseado em wavelets é importante para o registro de imagens de radar onde identifica uma boa quantidade de pontos de controle

Apresenta melhor precisão e eficiência de registro do que o método padrão

O método baseado em contornos

Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos

É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral

imagem1 imagem 2

Extrair contornos utilizando código em cadeia

contornos1

contornos2

Casar contornos utilizando código em cadeia

Refinar os casamentos utilizando geometria

contornos casados

Extrair pontos utilizando centroides dos contornos

pontoscasados

contornos casados

LoG

imagem 1 imagem 2

Ferramentas do sistema

Pre-processamento:

Modificar resolução, escolher a banda, realçar...

Edição de pontos de controle:

Remover, gravar ou carregar, mostrar nas imagens...

Ferramentas do sistema

Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador

Testes do sistema

O sistema foi testado operacionalmente por vários pesquisadores em:

• Instituto Nacional de Pesquisas Espaciais

• Universidade da Califórnia, Santa Barbara

• Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia

Testes exaustivos foram executados com imagens:

• Radar

• Multi-sensores

• Alta resolução

• Seqüências de vídeo

Testes do sistema

Imagens Método wavelets Método padrão

Radar, JERS-1(10/10/95) + (08/13/96)Amazônia, floresta(512*512)(512*512)

Tempo: 3185ms C.P.: 53RMSE: 0.7648

Tempo: 6099msC.P.: 6 (de 300)RMSE: 1.0000

SPOT band 3 + TM band 4(08/08/95) + (06/07/94)Cidade Brasília(512*512)(512*512)

Tempo: 3325ms C.P.: 29RMSE: 0.8710

Tempo: 5889msC.P.: 6 (de 300)RMSE: 1.8257

TM band 5(06/07/92) + (07/15/94)Amazônia, floresta (512*512)(512*512)

Tempo: 3104msC.P.: 188RMSE: 0.5359

Tempo: 2914msC.P.: 4 (de 128)RMSE: 0.7071

Comparação entre os métodos padrão e wavelets:

Testes do sistema

Comparação entre os métodos padrão e contornos:

Imagens Método contornos

Método padrão

Landsat, composição 3,4,5Litoral(1390*1500)(1200*1650)

Tempo: 2604msC.P.: 3RMSE: 0.8165

Tempo: 6008msC.P.: 5 (de 128)RMSE: 1.3416

Fotos aéreasÁrea urbana, Bay area, Califórnia(1283*2352)(1547*2284)

Tempo: 4566msC.P.: 32RMSE: 1.4790

Tempo: 9183ms C.P.: 22 (de 128)RMSE: 2.0226

Fotos aéreas coloridasÁrea urbana, Santa barbara, Califórnia(306*386)(335*472)

Tempo: 521ms C.P.: 6RMSE: 0.4082

Tempo: 1392msC.P.: 21 (de 128)RMSE: 1.2536

Imagens de florestas

Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

Imagens de Radar

Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996

Imagens do CBERS

Mosaico de 4 imagens CBERS-IRMMS

Imagens Landsat (nuvens)

Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos

Detalhe do registro

Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos

Imagens do LANDSAT-CBERS

Composição colorida das imagens registradas Landsat 7 – PAN e CBERS CCD: R-PAN, G-4CCD, B-3CCD.

Fotografia digital

Demonstração do método de blending

Motivação

seqüência de 100 quadros gerado em 20 segundos

Mosaico

Mosaicos de seqüências de 14

imagens visíveis e 6 termais de 640x480

pixels

Conclusão

• O sistema foi implementado e testado

• Existem binários para Windows, Linux, Solaris Sparc

• Desenvolvida a página WEB do sistema:http://regima.dpi.inpe.br/

• Desenvolvida a versão demo para WEB:http://regima.dpi.inpe.br/demo/http://nayana.ucsb.edu/registration/

Congressos

Trabalhos publicados e apresentados em congressos nacionais e internacionais: • SPIE 9th International Symposium on Remote Sensing, Crete, Greece, 2002

• IEEE International Geoscience and Remote Sensing Symposium - IGARSS02, Toronto, Canada, 2002

• 29th International Symposium on Remote Sensing of Environment, Buenos Aires, Argentina, 2002

• Worcap I, INPE, 2001

Interesse por instituições externas

Várias instituições demonstraram interesse no sistema:

1. Dr. Ralf Dunkel, General Atomics, San Diego, California;2. Timothy Klassen, Avvida Systems Inc., Waterloo, Canada;3. Ross Cobb, Aerials, Inc & Pan American Surveys, Inc, Miami,

Florida;4. Kristof Ostir, Scientific Research Centre of SASA, Ljubljana,

Slovenia;5. Veljko M. Jovanovic, Jet Propulsion Laboratory, Pasadena,

Califórnia;6. Dr. G. Louis Smith, Langley Research Centre, NASA, Hampton,

Virginia;7. Leonard John Otten, Kestrel Corporation, Albuquerque, New

Mexico;8. André R. S. Marçal, Observatório Astronômico, Universidade

de Porto, Portugal.

Trabalhos futuros• Pretende-se continuar o desenvolvimento do sistema:

• Adicionar suporte de georeferenciamento e estender suporte de GeoTiff para todos os resultados

• Adicionar técnicas avançadas de equalização e geração de mosaico de imagens

• Melhorar os métodos automáticos

Agradecimentos

Várias instituições participaram no desenvolvimento:

• Divisão de Processamento de Imagens, INPE• Divisão de Sensoriamento Remoto, INPE• Vision Lab, Universidade da Califórnia, Santa Barbara• China Lake Naval Air Warfare Center, Califórnia

O trabalho foi financiado pelas instituições:

• CAPES• SELPER Brasil• Office of Naval Research, China Lake Naval Air Warfare Center• CalTrans

Demonstração do sistema

Regeemy