presentation sbrt 2009

26
ITJRSC COPPE/Poli/UFRJ Sum´ ario Introdu¸ ao Sistema de Reconhecimento de Faces Discuss˜ ao Um Sistema de Autentica¸ ao por Faces Usando Filtros de Correla¸ ao em V´ ıdeos Jos´ e F. L. de Oliveira Eduardo A. B. da Silva Manuel A. P. Cardoso Axel G. Hollanda [email protected] [email protected] [email protected] [email protected] XXVII Simp´ osio Brasileiro de Telecomunica¸ oes Jos´ e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸ ao por Faces – SBrT 2009 1:26

Upload: aghiwulf

Post on 13-May-2015

174 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Um Sistema de Autenticacao por Faces UsandoFiltros de Correlacao em Vıdeos

Jose F. L. de Oliveira Eduardo A. B. da SilvaManuel A. P. Cardoso

Axel G. Hollanda

[email protected] [email protected]

[email protected]

[email protected]

XXVII Simposio Brasileiro de Telecomunicacoes

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 1:26

Page 2: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

1 IntroducaoObjetivosTopicos Abordados

2 Sistema de Reconhecimento de FacesDeteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

3 DiscussaoResultadosConclusoes

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 2:26

Page 3: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

ObjetivosTopicos Abordados

Reconhecimento de Faces e Objetos

Criar um sistema portatil de reconhecimento de faces eobjetos para deficientes visuais

Implementar algoritmos estado-da-arte em reconhecimento defaces e objetos

Avaliar os resultados em termos de desempenho

Propor novos algoritmos e/ou metodos para melhorar odesempenho dos algoritmos testados

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 3:26

Page 4: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

ObjetivosTopicos Abordados

Sistema de Reconhecimento de Faces

Deteccao de faces: Viola-Jones

Reconhecimento de faces

Elastic Bunch Graph Matching – EBGMClass-dependence Feature Analysis – CFAScale-invariant Feature Transform – SIFT

Um sistema de reconhecimento VJ-CFA

Metodos e tecnicas desenvolvidos para aumentarconfiabilidade do reconhecimento do sistema VJ-CFA

Normalizacao da posicao da face com o auxılio do VJSelecao das imagens de treinamentoInterpretacao do vetor de picos de correlacaoEstabilizacao do vetor de picos de correlacao

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 4:26

Page 5: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Viola-Jones

Deteccao e rapida eeficiente.

Baixıssima taxa de falsospositivosFAR – False Accept Rate

Altıssima taxa deverdadeiros positivosTAR – True Accept Rate

A normalizacao da posicao efeita a partir do retangulo,fornecido pelo VJ, quecontem a face

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 5:26

Page 6: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

CFA

Implementacao simples (EBGM e SIFT complexas)

Os filtros de correlacao possuem forma analıtica fechadaTreinamento:

h = T−1X(XTT−1X)−1c (1)

Identificacao:c = x · h (2)

Processo de reconhecimento rapido (EBGM e SIFT maisdemorado)

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 6:26

Page 7: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

CFA: Treinamento

I1

I2

IN

Estágio de Registro

.

.

.

Imagens de

Projeto do Filtro

Algoritmo de

Filtro de

FFT

Treinamento

Correlação

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 7:26

Page 8: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

CFA: Identificacao

Positiva

Negativa

Identificação

Estágio de Reconhecimento

Teste

Imagem de

FFT

Correlação

Filtros de

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 8:26

Page 9: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Diagrama de Blocos: Treinamento

CâmeraVJ

Treinamento

Detecção

Detecção

Armazenamento

Normalizaçãoda Posição

Imagens

ImagensArmazenadas

Atraso

Seleção das

CFAdos FiltrosObtenção

Banco de Filtros de Correlação

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 9:26

Page 10: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Diagrama de Blocos: Identificacao

CâmeraVJ

Reconhecimento

Detecção

Rejeitado Reconhecido

DecisãoLimiares

Detecção

Filtros de

ClassificaçãoCFA

Normalizaçãoda Posição

Estabilizaçãodos Picos

Correlação CorrelaçãoPicos de

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 10:26

Page 11: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Normalizacao da Posicao: Problema

De forma geral, os algoritmos usados para o reconhecimento(CFA) precisam normalizar a posicao e a iluminacao das faces

Reduzir ao maximo a influencia, normalmente negativa, desuas variacoes durante o reconhecimento

A normalizacao da posicao de uma face emprega, usualmente,as coordenadas dos olhos por serem pontos de facil localizacao

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 11:26

Page 12: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Normalizacao da Posicao: Problema

Uma vez que se tenha suas coordenadas, uma translacaoseguida de uma transformacao de escala e rotacao e osuficiente para normalizar a posicao

Para imagens estaticas, a localizacao nao automatica destespontos nao representa um problema serio

Na identificacao dinamica de imagens das faces geradas pelawebcam, este procedimento nao pode ser adotado na pratica

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 12:26

Page 13: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Normalizacao da Posicao: Solucao

Para contornar este problema, o detector de Viola-Jones eutilizado para obter as coordenadas automaticamente

O detector VJ determina as coordenadas aproximadas dosolhos

As coordenadas dos olhos das imagens do banco de dados detreinamento sao obtidas pelo mesmo processo

O erro da aproximacao e parcialmente compensado

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 13:26

Page 14: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Selecao das Imagens de Treinamento: Problema

Para se obter filtros que permitam um reconhecimentosatisfatorio, as imagens devem ser o mais representativaspossıvel para cada classe, ou seja, que as imagenscorrespondentes a cada classe estejam, se possıvel, em regioesdo RN sem intersecao

Na pratica, isto pode nao ocorrer, como no caso de sosias egemeos, o que se pode fazer e tentar reduzir estas regioes deintersecao

Ocorrencia de imagens muito semelhantes dentro de umamesma classe: nao representa um problema para odesempenho do reconhecimento, mas acarreta um aumentodesnecessario do tempo de treinamento

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 14:26

Page 15: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Selecao das Imagens de Treinamento: Solucao

Um metodo bem simples para reduzir estes problemas utiliza oangulo entre duas imagens definido por

cos(θ) =U · V|U||V|

. (3)

Seja θs o angulo selecionado de separacao das imagens. Entao,{se θ ≤ θs ⇒ imagens sao semelhantesse θ > θs ⇒ imagens nao sao semelhantes.

(4)

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 15:26

Page 16: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Selecao das Imagens de Treinamento: Solucao

θs

Classe BClasse A

Figura: Reduzindo a redundancia da lista de imagens de treinamento.

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 16:26

Page 17: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Selecao das Imagens de Treinamento: Solucao

Classe BClasse A

Figura: Reduzindo a redundancia da lista de imagens de treinamento.

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 17:26

Page 18: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Selecao das Imagens de Treinamento: Solucao

Classe BClasse A

Figura: Reduzindo a redundancia da lista de imagens de treinamento.

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 18:26

Page 19: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Interpretacao do Vetor de Picos de Correlacao: Problema

Pico de Correlação

1 2 3 6 7 10 11 12 ID954 8

1

E preciso definir o que sera considerado um pico de correlacaosignificativo

Sempre havera um maximo, mesmo que a face nao estejacadastrada

e preciso fazer com que o mesmo corresponda a umaidentificacao positiva estavel e confiavel

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 19:26

Page 20: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Interpretacao do Vetor de Picos de Correlacao: Solucao

Um contador, C , armazena quantas vezes seguidas o maximoprincipal, mp, recai sobre um determinado indivıduo

Se o indivıduo muda ou se o maximo secundario, ms , e maiorque o valor b, o contador e zerado

Considera-se que ha uma mudanca de indivıduo quando adeteccao da face e interrompida

Se ms ≤ a, considera-se que o indivıduo foi identificado comum unico quadro

Se a < ms ≤ b e C ≥ NF considera-se que o indivıduo foiidentificado apos NF ou mais quadros consecutivos

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 20:26

Page 21: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Interpretacao do Vetor de Picos de Correlacao: Solucao

Pico de Correlação

1 2 3 6 7 10 11 12

a

b

ID954 8

1

Máximo Secundário Máximo Primário

Figura: Heurıstica para a identificacao de faces com CFA.

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 21:26

Page 22: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Estabilizacao do Vetor de Picos de Correlacao: Problema

Os maximos secundarios, com valores acima do limiar b, dovetor de picos de correlacao ocorrem aleatoriamente entre asclasses

Enquanto o maximo principal permanece estavel

Faz com que o contador C seja zerado frequentemente

Dificulta a identificacao do indivıduo

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 22:26

Page 23: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

Deteccao de FacesReconhecimento de FacesUm Sistema de Reconhecimento VJ-CFAMetodos Desenvolvidos para o Sistema VJ-CFA

Estabilizacao do Vetor de Picos de Correlacao: Solucao

Seja c[n] = [c0[n], c1[n], . . . , cj [n], . . . , cNC−1[n]] o vetor depicos de correlacao para o quadro n

Obter o pico de correlacao, cj [n], ao longo do tempo paracada indivıduo do banco

O vetor c[n −m], n ≥ m, e multiplicado por λm, λ < 1

Isto controla a influencia dos quadros passados sobre c[n]

c[n] =

NW−1∑m=0

λmc[n −m]

maxj

{NW−1∑m=0

λmc[n −m]

} , (5)

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 23:26

Page 24: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

ResultadosConclusoes

Sistema VJ-CFA

Tabela: Tempo de treinamento Tt e de pre-processamento Tp em funcaodo angulo de separacao θs utilizado na otimizacao da lista de imagens detreinamento. NI (%) e o percentual do numero total de imagensdisponıvel para treinamento que foi efetivamente utilizado.

θs(◦) Tp/T ∗

p Tt/T ∗t Tp+t/T ∗

p+t Tt/Tp NI (%)0 0,14 1,00 1,00 39,19 10045 1,00 0,21 0,39 1,13 5750 0,81 0,13 0,27 0,84 4555 0,62 0,07 0,18 0,61 3560 0,45 0,03 0,11 0,56 2465 0,31 0,01 0,07 0,20 13

O sımbolo“*”denota o valor maximo assumido pela variavel.

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 24:26

Page 25: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

ResultadosConclusoes

Desempenho do Sistema

Os metodos desenvolvidos propiciaram:

a utilizacao do detector de faces de Viola-Jones para obtencaorapida e automatica das coordenadas aproximadas dos olhos,permitindo a normalizacao automatica da posicao

a reducao da redundancia do conjunto de treinamento,levando a uma reducao significativa do tempo de treinamentode cerca de 80%, sem impactar o reconhecimento

a determinacao da significancia de um pico de correlacao,aumentando a confiabilidade da identificacao

a estabilizacao do vetor de picos de correlacao, permitindo,com isto, que a identificacao ficasse mais estavel

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 25:26

Page 26: Presentation SBRT 2009

ITJRSC COPPE/Poli/UFRJ

SumarioIntroducao

Sistema de Reconhecimento de FacesDiscussao

ResultadosConclusoes

Consideracoes Finais

O sistema permanece funcional para posicoes de face naofrontais e com pequenas variacoes na intensidade dailuminacao

Mudancas um pouco mais acentuadas na iluminacao (posicaoda fonte de iluminacao) podem dificultar o reconhecimento

E necessario retreinar os filtros de correlacao para acomodaras novas variacoes (aquisicao e treinamento) o que pode serconsiderado uma desvantagem do uso do algoritmo CFA

Trocar a camera que fez a aquisicao das imagens detreinamento por outra de caracterısticas diferentes e umexperimento que tambem precisa ser feito (o filtro continuafuncional?)

Jose, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autenticacao por Faces – SBrT 2009 26:26