Reconhecimento Facial Baseado em Eigenfaces e na PCA com

Múltiplos Thresholds

Por

PAULO QUINTILIANO DA SILVA

Orientador: Prof. Dr. ANTÔNIO NUNO DE CASTRO SANTA ROSA

Universidade de Brasília

IE – Departamento de Ciência da Computação

• Papel do Reconhecimento Facial

• O relacionamento entre as pessoas está baseado no Reconhecimento Facial

02

• Histórico do Reconhecimento Facial

• Em 1878, Sir Francis Galton escreveu artigo apresentando a sua Composite Portraiture

03

A idéia de comparação de medidas de Galton é utilizada em pesquisas atuais na Ciência da Computação

04

Objetivos deste trabalho

• Modelo de Reconhecimento Facial, baseado na PCA e nas eigenfaces

• Projeção da face questionada no espaço de faces

• O Reconhecimento Facial é determinado pela mínima distância euclideana dentro do threshold de uma classe

05

BIOMETRIA

06

• Definição

• Histórico

• Princípio do Threshold

• O corpo é a própria chave

• Aplicações

• Qual sistema de biometria é o melhor?

Biometria

07

Reconhec. Facial na Psicologia

• Níveis do reconhecimento da face:

• Reconhecimento em nível de entrada; e

• Reconhecimento do em nível subordinado

• O cérebro tem regiões específicas para o Reconhecimento Facial

08

Etapas do Reconhecimento Facial

• Representação Facial

• Template-based

• Feature-based

• Appearance-based

• Detecção Facial

• Reconhecimento Facial

09

Fatores que interferem no desempenho do RF

• Expressões Faciais

• Iluminação inadequada

• Disfarces

• Escala

• Posição da Face

10

Expressões Faciais

Iluminação inadequada

11

Disfarces

Escala

12

Posição da Face

13

Técnicas Utilizadas no RFA

• Uso das Características Geométricas da Face

• Uso de templates

• Redes Neurais Artificiais

• Hidden Markov Models

• Eigenfaces

14

Banco de Dados de Faces utilizado para avaliação

• The Yale Face DataBase• 15 classes

• 11 imagens p/classe: centerlight, withglasses, happy, leftlight, noglasses, normal, rightlight, sad, sleepy, surprised e wink

15

Banco de Dados de Faces

16

Modelo Proposto para o Reconhe- cimento Facial Automático

• Baseia-se na PCA e nas eigenfaces, autovalores e autovetores.

• projeção da face questionada no espaço das eigenfaces.

• Encontra a distância euclideana mínima dentro do threshold de uma classe 17

Implementação

• Linguagem Matlab, versão 5.0

• 10 mil linhas de fonte

• Todas as imagens são submetidas aos algoritmos

• Compaq Presario 5170, PII-350 MHz, 128 MB RAM

• 30 minutos para a execução18

Detecção Facial utilizada

• Grande intervenção Manual

19

Autovalores e Autovetores

0 IW Autovalores de W

0 ii xIW Autovetores de W

ix

20

Para )0( ix

),...,1,;,...,1( 2',1, NkjNikji

• As M imagens de faces são convertidas em vetores coluna

• Calcula-se a Face Média

M

iiM 1

1

21

Face Média

22

23

• Novo conjunto de imagens, “O Espaço ”, obtido da diferença entre as imagens originais e a face média.

),...,1( Miii

24

Montagem da matriz A

1 3 4 M2

)( 2xMN

1,;, ijjiA

25

Montagem da matriz C

1 3 4 2

)( 22xNN

2N TAAC

26

Montagem da matriz L

1 3 4 M2

)(MxM

AAL T

27

Montagem da matriz V

)(MxM

Autovetores da matriz L1v 2v 3v 4v Mv

28

Montagem da matriz U

)( 2xMN

Autovetores da matriz C1u 2u 3u 4u Mu

29

Cálculo dos Autovetores de C

M

kklkl Mlvu

1

),...,1(,

)()( 2 MxMxMNVAU

30

 

     

          

 

MMvvvvu ,133,122,111,11 .....

MMvvvvu ,233,222,211,22 .....

MMvvvvu ,333,322,311,33 .....

MMvvvvu ,433,422,411,44 .....

MMMMMMM vvvvu ,33,22,11, ....

Cálculo dos Autovetores de C

31

Cálculo dos Autovetores de C

MMxM tttT ...21)(

Md

d

d

D.2

1

M

iii tdTD

1

Sejam e

Será mostrado que é verdadeira.

MMMMM

MMM

MM

MMMMM

M

M

dtdtdt

dtdtdt

dtdtdt

d

d

d

ttt

ttt

ttt

TD

....

.............

.............

....

....

...

...

....

...............

...............

....

....

2211

222121

1212111

2

1

21

22221

11211

32

Cálculo dos Autovetores de C

Colocando-se em evidência os escalares d, teremos:

MM

M

M

M

MM t

t

t

d

t

t

t

d

t

t

t

dTD

.

....

.

.

.

.2

1

2

22

12

2

1

21

11

1

M

iiiMM tdtdtdtdTD

12211 ...Logo:

33

.,...,1),( NciU iT

i

Treinamento do modelo de RF

Imagens usadas: withglasses, happy, noglasses e sleepy.

34

Representação das faces a partir das eigenfaces

      

2, 5, 10, 20, 30 e 50 maiores autovalores. 

    

Autovalores de 2, de 5, de 10, de 20, de 30 e de 50 até 128.

35

Reconhecimento de faces a partir das eigenfaces

)( TU

),...,1(,22 Nciii

Cálculo da distância euclideana

36

Cálculos dos thresholds

),...,1,(}max{1

Ncjik jii

• Foram usados fatores k de 1 a 10

• Uso dos autovetores com os maiores autovalores

• Corte hard. Usando-se apenas os 5, 10, 20, 30 e 50 maiores autovalores 37

Tabela dos thresholds

38

CLASSES E SEUS RESPECTIVOS THRESHOLDS EM FUNÇÃO DO FATOR "K"Fator

"k"01 02 03 04 05 06 07 08 09 10 11 12 13 14 15

1 3.65 4.75 4.24 5.02 4.80 4.95 5.03 4.52 4.37 4.63 4.73 5.01 4.69 4.59 4.49

2 1.82 2.37 2.12 2.51 2.40 2.47 2.51 2.26 2.18 2.31 2.36 2.50 2.34 2.29 2.24

3 1.21 1.58 1.41 1.67 1.60 1.65 1.67 1.50 1.45 1.54 1.57 1.67 1.56 1.53 1.49

4 0.91 1.18 1.06 1.25 1.20 1.23 1.25 1.13 1.09 1.15 1.18 1.25 1.17 1.14 1.12

5 0.73 0.95 0.84 1.00 0.96 0.99 1.00 0.90 0.87 0.92 0.94 1.00 0.93 0.91 0.89

6 0.60 0.79 0.70 0.83 0.80 0.82 0.83 0.75 0.72 0.77 0.78 0.83 0.78 0.76 0.74

7 0.52 0.67 0.60 0.71 0.68 0.70 0.71 0.64 0.62 0.66 0.67 0.71 0.67 0.65 0.64

8 0.45 0.59 0.53 0.62 0.60 0.61 0.62 0.56 0.54 0.57 0.59 0.62 0.58 0.57 0.56

9 0.40 0.52 0.47 0.55 0.53 0.55 0.55 0.50 0.48 0.51 0.52 0.55 0.52 0.51 0.49

10 0.36 0.47 0.42 0.50 0.48 0.49 0.50 0.45 0.43 0.46 0.47 0.50 0.46 0.46 0.44

Ob.: Valores divididos por 1.0e+015

Resultados ObtidosUso das 120 imagens bem

iluminadasN. Auto-vetores

Erros Acertos1º lugar

Acertos1º e 2º

Acertos1º 2º 3º

05 23,22% 49,17% 64,17% 76,67%

10 11,67% 63,33% 77,50% 88,33%

20 6,67% 81,67% 89,17% 93,33%

30 3,33% 87,50% 92,50% 96,67%

50 1,67% 88,33% 94,17% 98,33%

39

 

Resultados ObtidosUso de todas as 165 imagens

N. Auto-vetores

Erros Acertos1º lugar

Acertos1º e 2º

Acertos1º 2º 3º

05 46,67% 33,33% 44,85% 53,33%

10 35,15% 43,64% 57,58% 64,85%

20 25,45% 64,24% 71,52% 74,55%

30 20,61% 68,48% 76,36% 79,39%

50 16,36% 72,12% 76,97% 83,64%

40

Técnicas de Simetrização

• Melhora as condições de iluminação e a performance do algoritmo

Pode também ser usado em:

• Imagens de faces semi-oclusas

• Imagens de faces em perfil 41

Técnicas de Simetrização

Simples

(>=2/3)

Média com a inversa

(< 2/3) 42

Resultados da aplicação da Simetrização

43

CLASSES EM QUE FORAM FEITOS OS BATIMENTOSIMA-

GEM

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15

04A 1.26 0.93 1.03 1.26 0.85 1.03 1.35 0.82 0.83 0.84 1.25 0.93 1.18 0.89 0.93

26A 1.73 0.97 1.23 1.23 1.17 1.09 1.10 0.97 1.02 1.00 1.54 0.92 1.01 1.07 1.16

04D 0.42 1.33 1.19 1.51 1.30 1.42 1.71 1.02 1.06 1.30 0.89 1.51 1.37 1.11 1.08

26D 0.95 1.03 0.68 1.15 1.17 1.22 1.38 0.75 0.87 1.02 1.04 1.29 0.77 0.81 0.86

Ob.: Valores divididos por 1.0e+015

Resultados Obtidos

Uso das 45 imagens com problemas de iluminação Simetri- zação

Erros 1º Lugar

1º e 2º 1º 2º 3º

Sem 57,77% 24,44% 31,11% 42,22%

Com 40,00% 42,22% 46,66% 60,00%

44

Expansão das Eigenfaces em Eigenmouth e Eigennose

45

Expansão das Eigenfaces em Eigenmouth e Eigennose

46

Expansão das Eigenfaces em Eigeneyes (um olho)

47

Expansão das Eigenfaces em Eigeneyes (dois olhos)

48

Resultados ObtidosEigenmouth e eigennose (120

imagens)

85,00% 80,83% 69,17% 15,00% 50

86,67% 80,00% 66,67% 13,33% 30

85,83% 83,33% 65,00% 14,16% 20

86,67% 83,33% 62,50% 13,33% 10

82,50% 75,00% 50,00% 17,50% 05

Acertos1º 2º 3º

Acertos1º e 2º

Acertos1º lugar

ErrosN. Auto-vetores

49

Resultados ObtidosEigeneye esquerdo (120 imagens)

87,50% 86,66% 80,83% 15,00% 50

84,17% 80,00% 74,17% 13,33% 30

83,33% 77,50% 66,66% 14,16% 20

84,17% 68,33% 50,83% 13,33% 10

77,33% 59,16% 35,00% 17,50% 05

Acertos1º 2º 3º

Acertos1º e 2º

Acertos1º lugar

ErrosN. Auto-vetores

50

Conclusão

• O modelo é robusto no tratamento de imagens de faces bem iluminadas e com expressões faciais diversas

• Dispensa considerações da geometria da face e distância entre os órgãos faciais

• É sensível no tratamento de imagens obtidas em condições não controladas

• Simetrização e Eigenfeatures

51

Publicações em Congressos e Periódicos Internacionais

• “Pratical Procedures to Improve Face Recognition Based on Eigenfaces and Principal Component Analysis” (5 páginas) - Proceedings of 5th PRIA - Rússia, 2000

• “Face Recognition Based on Eigenfaces and Symmetryzation” (17 páginas) - Periódico internacional PATTERN RECOGNITION AND IMAGE ANALYSIS - Rússia, 2001 52

Apresentação de Artigos em Congressos Internacionais

• “Face Recognition Based on Eigenfaces with Multiple Thresholds” (8 páginas) - SPIE, San Jose/EUA, janeiro/2001

• “Face Recognition Based on Eigeneyes, Eigennose, Eigenmouth and Eigenfaces” (9 páginas) - EVOIASP2001, Milan/Itália, abril/2001

53

Apresentação de Artigos em Congressos Internacionais

• “Face Recognition Working with Half-Occluded Face Images Based on Eigenmouth, Eigennose and Eigeneyes with Multiple Thresholds” - Boston/EUA, outubro/2001

54