metodologias para identificaÇÃo de faces em imagens: introduÇÃo e exemplos de resultados...
Post on 21-Apr-2015
107 Views
Preview:
TRANSCRIPT
METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS:INTRODUÇÃO E EXEMPLOS DE RESULTADOS
Fernando Carvalho, João Manuel R. S. Tavares
ISEP – Instituto Superior de Engenharia do PortoFEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental
Introdução:
• Em Visão Computacional, uma das áreas que tem tido elevado interesse, por parte dos seus investigadores, é a das imagens de faces;
• Nesta apresentação, são resumidamente indicadas várias aplicações e sumariamente descritas três das metodologias existentes;
• Para cada metodologia considerada são apresentados alguns resultados experimentais, obtidos a partir do uso da plataforma de desenvolvimento Matlab.
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
As metodologias existentes, no domínio das imagens de faces, são usualmente utilizadas em Visão Computacional para:
• Detecção de faces;
• Extracção de características faciais;
• Reconhecimento e seguimento temporal de faces;
• Classificação/análise de expressões faciais;
• Geração de faces virtuais;
• Simulação do estado emocional nas faces;
• Simulação do efeito do envelhecimento nas faces; etc.
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Metodologias consideradas:
1. Correlação Cruzada;
2. Detecção de zonas de Pele;
3. Modelos Protótipos Deformáveis.
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Descrição :
• Permite a detecção de uma sub-imagem (Template), relativa a uma dada característica facial, como o olho, a boca, etc;
• Consiste na determinação da transformada de Fourier, da Imagem com a face e da sub-imagem, seguida da correlação cruzada entre as transformadas;
• Os coeficientes de correlação são obtidos pela transformada Inversa de Fourier;
•As coordenadas correspondentes ao valor máximo dos coeficientes de correlação, corresponde à potencial localização da sub-imagem.
Método de Correlação Cruzada
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Imagem com a face e sub-imagem do olho: imagens originais (em cima),após a normalização (em baixo) e respectivos histogramas (ao lado).
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Imagem original com a sinalização, a vermelho, da correspondente localização da
sub-imgem
“Mapa” dos Coeficientes de Correlação
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
• Exemplo de resultados
Imagens de Faces: Exemplos de Metodologias e Aplicações
Descrição:
• Conversão do formato RGB para o formato YCRCB, permite: A eliminação do efeito da luminosidade; A implementação de um modelo de probabilidade que segue uma distribuição normal ou Gaussiana;
• É calculada a Média e a Covâriancia do modelo de probabilidade, a partir de um conjunto de amostras de pele, convertidas no formato YCRCB, de vários indivíduos;
• O algoritmo, tendo como referência a Média e a Covâriancia das amostras, procede à determinação da probabilidade de dado pixel, de dada imagem em análise, pertencer a uma dada zona de pele;
• Por último, faz a segmentação da imagem pelas zonas de pele encontradas, e procede à respectiva representação binária dessas mesmas zonas.
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Método de Detecção de Zonas de Pele
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
• Conversão do Formato RGB para o Formato YCRCB
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
RCr
R G BB
CbR G B
Imagem original, Componente Y - intensidade, Cb – Componente azul, Cr – Componente vermelha. (da
esquerda para a direita)
• Amostras de pele
Imagem com 32 amostras de pele, extraídas da face de indivíduos de raça branca, e de ambos
os sexos
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
• Modelo de probabilidade da distribuição normal
Função de probabilidade obtido das amostras de pele consideradas
Consideremos as variáveis aleatóriassão representadas por:
Cr , cuja média e
T
E x
C E x x
T
x Cr Cb
pode-se definir a função de probabilidade da distribuição Gaussiana como:
11
2,T
x C xF Cr Cb e
e a co-variância C
e atendendo que:
Cb
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Imagem de probabilidade erespectiva binarização (daesquerda para a direita).
• Resultado obtido a partir do detector de zonas de pele
• Verificação dos segmentos correspondentes a Faces:
Utiliza-se o algoritmo de correlação cruzada;
A sub-imagem é um modelo facial adequado;
A imagem a correlacionar, de níveis de cinzento, corresponde a uma dada zona de pele a verificar;
É determinado o ângulo de inclinação da zona a verificar, sendo este atribuído ao modelo facial (aumenta-se a eficácia da correlação);
É estabelecido um limiar nos coeficientes de correlação, cerca de 0.6, que permite considerar ou não o segmento como face.
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Segmento facial, níveis de correlação e modelo facial (da esquerda para a direita)
• Exemplos de resultados
Face circunscrita por um rectângulo
Sequência de detecção, commúltiplas faces
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Método dos Modelos Protótipos Deformáveis
Descrição:
• Permitem a detecção de faces e a extracção de características;
• Modelos parametrizados, os parâmetros conferem-lhe o comportamento deformável;
• Considera-se o principio da Minimização de Energia para actualização dos parâmetros (por exemplo, pelo método do gradiente descendente);
• É necessário aplicar um pré-processamento à imagem em análise, de forma a realçar a característica facial pretendida (por exemplo, detector de orlas);
• O processamento correspondente ao ajuste dinâmico do modelo à característica facial, é dividido por épocas (processo iterativo). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Imagem de Intensidade, vales de Intensidade,Picos de Intensidade, Orlas de intensidade
(da esquerda para a direita e de cima para baixo)
cMin E f##############
1 2, , , , , , , ,c ef x x p p r a b c ##########################################
Modelo paramétrico, definido por 11 parâmetros
• Exemplos de resultados
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
• Exemplo de modelo protótipo para o olho
Imagens de Faces: Exemplos de Metodologias e Aplicações
Primeira época:
É usado o campo de energia correspondente aos vales de Intensidade, permite encontrar o centro da íris;
Coordenadas do ponto inicial P a vermelho (ponto (30, 35) – ponto dado);
Coordenadas do ponto final Q a verde (ponto (38 ,21) – ponto obtido).
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
• Exemplos de resultados, determinação da íris
Imagem com ponto inicial a vermelho, percurso iterativo a azul e ponto final a verde
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Imagem com representação da íris através de uma circunferência, a vermelho o contorno final, a azul os contornos das sucessivas iterações
Segunda época:
São usados os campos de energia correspondentes aos vales de intensidade e intensidade da imagem, permite encontrar a orla correspondente à íris.
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
(Raio inicial: 20 pixels,Raio final: 9,3 pixels)
Imagens de Faces: Exemplos de Metodologias e Aplicações
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
Imagem com a representação da íris através de um circunferência, a vermelho o contorno final, a azul os
contornos das sucessivas iterações durante o ajuste fino
Terceira época:
É usado o campo correspondente às orlas de intensidade, permitindo um ajuste fino à orla da íris.
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
(Raio inicial: 9,3 pixels,Raio final: 10,3 pixels)
Imagens de Faces: Exemplos de Metodologias e Aplicações
• O algoritmo de correlação cruzada é eficiente, embora por vezes não apresente resultados conclusivos (por exemplo quando a imagem em estudo é bastante distinta da usada para extrair a sub-imagem usada na correlação).
• O Algoritmo de detecção de zonas de pele apresenta bons resultados ao nível da detecção da face, no entanto a existência de outras zonas de pele, correspondentes a distintas partes do corpo na imagem, implica que as mesmas sejam também detectadas.
• O Algoritmo dos modelos protótipos deformáveis apresenta boas características de detecção, contudo o valor de algumas constantes associadas aos níveis de energia têm de ser obtidos experimentalmente (pesos a usar).
Conclusões
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Imagens de Faces: Exemplos de Metodologias e Aplicações
•Determinar a rotação da face a partir dos segmentos de pele obtidos;
•Continuação dos ensaios experimentais usando modelos protótipos deformáveis mais complexos;
•Aplicação do método dos protótipos deformáveis ao seguimento de características faciais em sequências de Imagens (por exemplo usando em conjunto com o filtro de Kalman).
Trabalho Futuro
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
| IIntroduçãontrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro
Obrigado!
Congreso de Métodos Numéricos en Ingeniería 2005 Fernando
Carvalho, João Tavares
top related