Universidade Federal de Pernambuco

Centro de Informática

Pós-graduação em Ciência da Computação

COMPOSIÇÃO DE BIOMETRIAS PARASISTEMAS MULTIMODAIS DE

VERIFICAÇÃO DE IDENTIDADE PESSOAL

George Darmiton da Cunha Cavalcanti

TESE DE DOUTORADO

Recife

Maio de 2005

Universidade Federal de Pernambuco

Centro de Informática

George Darmiton da Cunha Cavalcanti

COMPOSIÇÃO DE BIOMETRIAS PARA SISTEMASMULTIMODAIS DE VERIFICAÇÃO DE IDENTIDADE

PESSOAL

Trabalho apresentado ao Programa de Ps-graduao em Cin-

cia da Computao do Centro de Informtica da Universidade

Federal de Pernambuco como requisito parcial para obteno

do grau de Doutor em Cincia da Computao.

Orientador: Prof. Dr. Edson Costa de B. Carvalho Filho

Co-orientadora: Prof.a

Dr.a

Katia Silva Guimares

Recife

Maio de 2005

RESUMO

Essa tese apresenta contribuições para o problema de veri�cação de identidade pes-soal através de uma arquitetura que combina as biometrias da face, da assinaturae da dinâmica da digitação. As duas primeiras biometrias foram escolhidas porestarem integradas à vida de grande parte da sociedade e os dispositivos utiliza-dos para capturar os padrões são comuns e de baixo custo. A terceira biometria,dinâmica da digitação, além de ser barata, é uma tecnologia transparente ao usuário.A motivação principal dessa tese é analisar estratégias de combinação de padrõespara melhorar o desempenho de sistemas de identi�cação pessoal. Para tanto, foramidenti�cados e investigados os seguintes pontos: (i) Veri�cação de assinaturas detamanhos diferentes usando sete grupos de características: pseudo-dinâmicas, estru-turais e invariantes (momentos de Hu, Maitra, Flusser, Simon e Central); (ii) Classi-�cação de faces usando Eigenbands Fusion; (iii) Veri�cação de autenticidade atravésda análise da dinâmica da digitação utilizando os tempos de pressionamento e delatência; (iv) Modelagem de uma arquitetura para combinar as três biometrias, alémda realização de experimentos, visando à avaliação do desempenho; (v) Investigaçãodo limiar de separação entre regiões que de�nem usuários autênticos e impostores,por classe, através da distribuição t-Student. Os resultados alcançados com o sistemacombinado foram comparados com cada uma das modalidades biométricas separada-mente, e mostraram que o sistema integrado conseguiu melhores taxas de acerto.

Palavras-chave: Identi�cação Pessoal Multimodal, Classi�cação de Faces, Veri�-cação de Assinaturas, Veri�cação através de Dinâmica da Digitação, Combinação deDecisão, Cálculo de Limiar Local

3

ABSTRACT

This work presents contributions for the problem of identity veri�cation thought anarchitecture that combines face, signature and keystroke dynamics. The �rst twobiometrics were chosen based on the fact that they are already integrated in thesociety, besides the equipment to capture these modalities are cheap. The third bio-metrics chosen, keystroke dynamics, is also cheap and transparent to the user. Themain motivation of this thesis is to analyze combination strategies aiming to improvethe performance of personal identi�cation systems. Therefore, it was identi�ed andinvestigated the following points: (i) Signature veri�cation of di�erent sizes usingseven features groups: pseudo-dynamics, structural, and invariant (moments of Hu,Maitra, Flusser, Simon and Central); (ii) Face classi�cation through EigenbandsFusion (a face image was divided into bands and the best principal components ofeach band was assembled to form the feature vector); (iii) Keystroke dynamics veri�-cation through the analyzes of press and latency time of the users; (iv) Architecturearrangement aiming to combine three biometrics, besides experiments to measureperformance; (v) Local threshold investigation to separate regions of authentic andimpostor users through t-Student distribution. The results showed that the combinedsystem over performed each one of the biometrics modalities when used separately.

Keywords: Multimodal personal identi�cation, Face classi�cation, Signature ver-i�cation, Keystroke dynamics veri�cation, Decision combination, Local threshold

4

CONTEÚDO

Capítulo 1�Introdução201.1 Biometria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201.2 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231.4 Estrutura da Tese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25Capítulo 2�Classi�cação Biométrica272.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.2 Técnicas Biométricas . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.2.1 Face . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302.2.2 Assinatura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.2.3 Impressão Digital . . . . . . . . . . . . . . . . . . . . . . . . . 322.2.4 Voz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322.2.5 Mão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332.2.6 Íris . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332.2.7 Retina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342.2.8 Radiogra�a Dental . . . . . . . . . . . . . . . . . . . . . . . . 342.2.9 Formato da Orelha . . . . . . . . . . . . . . . . . . . . . . . . 352.2.10 Imagem Térmica do Rosto . . . . . . . . . . . . . . . . . . . . 352.2.11 Dinâmica da Digitação . . . . . . . . . . . . . . . . . . . . . . 35

2.3 Sistema Biométrico Monomodal . . . . . . . . . . . . . . . . . . . . . 362.3.1 Avaliação de Desempenho . . . . . . . . . . . . . . . . . . . . 372.3.2 Encontrando o Critério de Separação . . . . . . . . . . . . . . 40

2.4 Sistema Biométrico Multimodal . . . . . . . . . . . . . . . . . . . . . 42

5

2.4.1 Estado da Arte . . . . . . . . . . . . . . . . . . . . . . . . . . 422.4.2 Arquiteturas para Integração de Modalidades Biométricas . . 47

2.4.2.1 Integração de Dados . . . . . . . . . . . . . . . . . . 482.4.2.2 Integração de Características . . . . . . . . . . . . . 482.4.2.3 Integração de Decisões . . . . . . . . . . . . . . . . . 492.4.2.4 Comentários . . . . . . . . . . . . . . . . . . . . . . 50

Capítulo 3�Métodos de Extração de Características e de Classi�cação de Pa-drões52

3.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523.2 Extração de Características Faciais através da Análise dos Compo-

nentes Principais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533.3 Extração de Características de Assinaturas . . . . . . . . . . . . . . . 54

3.3.1 Características Pseudo-dinâmicas . . . . . . . . . . . . . . . . 553.3.2 Características Estruturais . . . . . . . . . . . . . . . . . . . . 563.3.3 Características Invariantes . . . . . . . . . . . . . . . . . . . . 57

3.3.3.1 Momentos Centrais . . . . . . . . . . . . . . . . . . . 573.3.3.2 Invariantes de Hu . . . . . . . . . . . . . . . . . . . . 583.3.3.3 Invariantes de Maitra . . . . . . . . . . . . . . . . . 593.3.3.4 Invariantes de Flusser . . . . . . . . . . . . . . . . . 593.3.3.5 Invariantes de Simon . . . . . . . . . . . . . . . . . . 60

3.4 Classi�cação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.4.1 Classi�cador Bayesiano . . . . . . . . . . . . . . . . . . . . . . 613.4.2 Classi�cador k-Vizinhos Mais Próximos (k − vmp) . . . . . . . 623.4.3 Classi�cador Cross-correlation . . . . . . . . . . . . . . . . . . 63

Capítulo 4�Classi�cação de Faces654.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

4.1.1 Trabalhos relacionados . . . . . . . . . . . . . . . . . . . . . . 684.1.2 Pré-processando imagens de faces . . . . . . . . . . . . . . . . 69

4.2 Reconhecimento de Faces usando Eigenbands . . . . . . . . . . . . . . 72

6

4.2.1 Resultados Experimentais . . . . . . . . . . . . . . . . . . . . 754.2.1.1 Bandas Horizontais . . . . . . . . . . . . . . . . . . . 754.2.1.2 Bandas Verticais . . . . . . . . . . . . . . . . . . . . 77

4.3 Veri�cação de Faces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.3.1 Faces Completas . . . . . . . . . . . . . . . . . . . . . . . . . 804.3.2 Eigenbands Fusion . . . . . . . . . . . . . . . . . . . . . . . . 82

4.4 Alguns Experimentos com o Banco de Faces da IIS . . . . . . . . . . 844.4.1 Redes Neurais Auto-associativas . . . . . . . . . . . . . . . . . 844.4.2 Estudo Experimental . . . . . . . . . . . . . . . . . . . . . . . 85

4.4.2.1 Avaliação do Desempenho . . . . . . . . . . . . . . . 85Capítulo 5�Veri�cação de Assinaturas905.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905.2 Banco de Dados de Assinaturas . . . . . . . . . . . . . . . . . . . . . 915.3 Seleção de Características . . . . . . . . . . . . . . . . . . . . . . . . 93

5.3.1 Seleção de Características usando o Classi�cador k-vmp . . . . 955.3.2 Seleção de Características usando o Classi�cador Bayesiano . . 975.3.3 Comentários . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

5.4 Veri�cação de Assinaturas . . . . . . . . . . . . . . . . . . . . . . . . 1015.4.1 Classi�cador Bayesiano . . . . . . . . . . . . . . . . . . . . . . 1035.4.2 Classi�cador Cross-Correlation . . . . . . . . . . . . . . . . . 1055.4.3 Classi�cador Baseado em Distância . . . . . . . . . . . . . . . 107

5.5 Comentários . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109Capítulo 6�Veri�cação da Dinâmica da Digitação1126.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1126.2 Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . 1146.3 Estudo Experimental . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

6.3.1 Aquisição dos Dados . . . . . . . . . . . . . . . . . . . . . . . 1166.3.2 Extração de Características e Representação . . . . . . . . . . 1186.3.3 Veri�cação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

7

6.3.3.1 Procedimento Experimental . . . . . . . . . . . . . . 1216.3.3.2 Características Tempo de Pressionamento . . . . . . 1266.3.3.3 Características Tempo de Latência . . . . . . . . . . 1296.3.3.4 Combinação de Características . . . . . . . . . . . . 131

6.4 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . 135Capítulo 7�Combinação de Biometrias1377.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1377.2 Banco de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.3 Arquitetura de Combinação . . . . . . . . . . . . . . . . . . . . . . . 140

7.3.1 Normalização . . . . . . . . . . . . . . . . . . . . . . . . . . . 1407.3.2 Regra de Combinação . . . . . . . . . . . . . . . . . . . . . . 142

7.4 Combinando Face e Assinatura . . . . . . . . . . . . . . . . . . . . . 1427.4.1 Combinando os melhores grupos de assinaturas com eigenbands

verticais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1467.4.2 Combinando os melhores grupos de assinaturas com eigenbands

horizontais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1497.5 Combinando Assinatura e Dinâmica da Digitação . . . . . . . . . . . 1527.6 Combinando Face e Dinâmica da Digitação . . . . . . . . . . . . . . . 1557.7 Combinando Face, Assinatura e Dinâmica da Digitação . . . . . . . . 1567.8 Análise dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . 1627.9 Comentários . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166Capítulo 8�Conclusão1688.1 Resumo das Contribuições do Trabalho . . . . . . . . . . . . . . . . . 1688.2 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718.3 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . 172Apêndice A�Rótulos das Características Extraídas das Assinaturas173 Apêndice B�

Detalhamento dos Resultados da Veri�cação de Assinaturas175 Apêndice C�Bancode Dados e Detalhamento dos Resultados da Dinâmica da Digitação186 Apêndice D�Rótulos dos Pesos Utilizados para Combinar as Biometrias191

8

LISTA DE FIGURAS

2.1 Classi�cação das Técnicas Biométricas. . . . . . . . . . . . . . . . . . 282.2 Arquitetura básica de um sistema de identi�cação pessoal monomodal. 362.3 Região de decisão para sistemas biométricos. . . . . . . . . . . . . . . 372.4 Grá�co da distribuição t-Student. . . . . . . . . . . . . . . . . . . . . 422.5 Integração de Dados. . . . . . . . . . . . . . . . . . . . . . . . . . . . 482.6 Integração de Características. . . . . . . . . . . . . . . . . . . . . . . 492.7 Integração de Decisão. . . . . . . . . . . . . . . . . . . . . . . . . . . 50

3.1 Cálculo do limiar de alta pressão. . . . . . . . . . . . . . . . . . . . . 56

4.1 Exemplos de imagens utilizadas por sistemas fechados de classi�caçãode faces, extraídas do banco de dados da ORL. . . . . . . . . . . . . . 66

4.2 Sistemas abertos de classi�cação de faces tratam com imagens dessanatureza. Exemplos de detecção de faces extraídos do artigo de Schnei-derman e Kanade [SK00]. . . . . . . . . . . . . . . . . . . . . . . . . 66

4.3 Exemplo de detecção de bordas em uma face usando o operador deSobel. (a) Imagem original. (b) Bordas Verticais e Horizontais. (c)Bordas Verticais. (d) Bordas Horizontais. . . . . . . . . . . . . . . . . 70

4.4 (a) Figura 4.3(c). (b) Projeção vertical dessa �gura. . . . . . . . . . . 714.5 (a) Figura 4.3(d). (b) Projeção horizontal dessa �gura. . . . . . . . . 714.6 Particionamento de uma face em bandas horizontais e verticais. . . . 724.7 Composição do vetor de características (eigenband vector). Cada banda

fornece um número n de componentes principais para o vetor �nal. . 744.8 Eigenbands: 1, 2, 4, 8, 16, 32, 64 e 128. . . . . . . . . . . . . . . . . . 74

9

4.9 Avaliação de cada banda horizontal individualmente usando o classi�-cador Bayesiano. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

4.10 Avaliação de cada banda vertical individualmente, usando o classi�-cador Bayesiano. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

4.11 Amostra de imagens do banco de faces da IIS. . . . . . . . . . . . . . 864.12 Veri�cação de faces usando Redes Neurais Auto-associativas: análise

do desempenho. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

5.1 Exemplos de assinaturas de autênticas e impostoras. . . . . . . . . . . 925.2 Processo de normalização de assinaturas pequenas, médias e grandes. 955.3 Processo de corte (remoção) do �oreio de uma assinatura. . . . . . . . 955.4 Avaliação das características usando o classi�cador 1-vmp (imagens

sem transformação). . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.5 Avaliação das características usando o classi�cador 1-vmp (imagens

normalizadas). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.6 Avaliação das características usando o classi�cador 1-vmp (imagens

após a aplicação da técncia do corte). . . . . . . . . . . . . . . . . . . 975.7 Avaliação das características usando o classi�cador Bayesiano (imagens

sem transformação). . . . . . . . . . . . . . . . . . . . . . . . . . . . 985.8 Avaliação das características usando o classi�cador Bayesiano (imagens

normalizadas). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985.9 Avaliação das características usando o classi�cador Bayesiano (imagens

após a aplicação da técnica do corte). . . . . . . . . . . . . . . . . . . 995.10 Análise do Coe�ciente de Variação médio por característica. . . . . . 1015.11 Classi�cador Bayesiano (sem transformação). . . . . . . . . . . . . . . 1035.12 Classi�cador Bayesiano (imagens normalizadas). . . . . . . . . . . . . 1045.13 Classi�cador Bayesiano (imagens cortadas). . . . . . . . . . . . . . . 1045.14 Classi�cador Cross-Correlation (sem transformação). . . . . . . . . . 1055.15 Classi�cador Cross-Correlation (imagens normalizadas). . . . . . . . 1065.16 Classi�cador Cross-Correlation (imagens cortadas). . . . . . . . . . . 106

10

5.17 Classi�cador Baseado em Distância (sem transformação). . . . . . . . 1075.18 Classi�cador Baseado em Distância (normalizadas). . . . . . . . . . . 1085.19 Classi�cador Baseado em Distância (imagens cortadas). . . . . . . . . 108

6.1 Características comumente usadas em sistemas de autenticação pessoalusando a dinâmica da digitação. . . . . . . . . . . . . . . . . . . . . . 113

6.2 Exemplos de Padrões Autênticos da Classe 16. . . . . . . . . . . . . . 1196.3 Exemplos de Padrões Falsos para a Classe 16. . . . . . . . . . . . . . 1206.4 FRR (quando FAR = 0) versus Número de Amostras de Treinamento. 1226.5 FRR (quando FAR = 0) versus Número de Amostras de Treinamento. 1236.6 Avaliação da FRR (adotando FAR = 0) quando o número de caracte-

rísticas varia (combinação das características). . . . . . . . . . . . . . 1246.7 Avaliação da FRR (adotando FAR = 0) quando o número de caracte-

rísticas varia (combinação das características reverso). . . . . . . . . . 1256.9 FRR após eliminar porcentagem das características sem normalização

(Características: Tempo de Pressionamento). . . . . . . . . . . . . . . 1266.10 FRR após eliminar porcentagem das características com normalização

(Características: Tempo de Pressionamento). . . . . . . . . . . . . . . 1266.8 FRR de quatro con�gurações de experimentos quando FAR igual a

zero (Características: Tempo de Pressionamento). . . . . . . . . . . . 1276.12 FRR após eliminar porcentagem das características sem normalização

(Características: Tempo de Latência). . . . . . . . . . . . . . . . . . . 1296.13 FRR após eliminar porcentagem das características com normalização

(Características: Tempo de Latência). . . . . . . . . . . . . . . . . . . 1296.11 FRR de quatro con�gurações de experimentos quando FAR igual a

zero (características: Tempo de Latência). . . . . . . . . . . . . . . . 1306.15 FRR após eliminar porcentagem das características sem normalização

(Combinação das Características). . . . . . . . . . . . . . . . . . . . . 1326.14 FRR de quatro con�gurações de experimentos quando FAR igual a

zero (Combinação das Características). . . . . . . . . . . . . . . . . . 133

11

6.16 FRR após eliminar porcentagem das características com normalização(Combinação das Características). . . . . . . . . . . . . . . . . . . . . 133

7.1 Arquitetura de um Sistema de Identi�cação Pessoal Multimodal. . . . 1407.2 Distribuição dos padrões autênticos e falsos da modalidade assinatura

- grupo de características Selecionadas extraídas das imagens normal-izadas por tamanho, usando o classi�cador Baseado em Distância. . . 144

7.3 Distribuição dos padrões autênticos e falsos da modalidade face - eigen-bands horizontais, usando o classi�cador Baseado em Distância. . . . 144

7.5 Grá�co 2D com os padrões autênticos e falsos da combinação dasmodalidades usando a normalização Brunelli. . . . . . . . . . . . . . . 145

7.4 Distribuição dos padrões autênticos e falsos da combinação das modali-dades assinatura e face, mostradas nas Figuras 7.2 e 7.3, usando oclassi�cador Baseado em Distância. . . . . . . . . . . . . . . . . . . . 145

7.6 Combinação de Face com Assinatura (Eigenbands Verticais e Norma-lização Sanderson). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

7.7 Combinação de Face com Assinatura (Eigenbands Verticais e Norma-lização Brunelli). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

7.8 Combinação de Face com Assinatura (Eigenbands Horizontais e Nor-malização Sanderson). . . . . . . . . . . . . . . . . . . . . . . . . . . 150

7.9 Combinação de Face com Assinatura (Eigenbands Horizontais e Nor-malização Brunelli). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

7.10 Combinação de Assinatura com Dinâmica da Digitação (NormalizaçãoSanderson). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

7.11 Combinação de Assinatura com Dinâmica da Digitação (NormalizaçãoBrunelli). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

7.12 Combinação de Face com Dinâmica da Digitação. . . . . . . . . . . . 1557.13 Combinação de Face, Assinatura e Dinâmica da Digitação (Eigenbands

Horizontais e Normalização Sanderson). . . . . . . . . . . . . . . . . . 157

12

7.14 Combinação de Face, Assinatura e Dinâmica da Digitação (EigenbandsHorizontais e Normalização Brunelli). . . . . . . . . . . . . . . . . . . 158

7.15 Combinação de Face, Assinatura e Dinâmica da Digitação (EigenbandsVerticais e Normalização Sanderson). . . . . . . . . . . . . . . . . . . 160

7.16 Combinação de Face, Assinatura e Dinâmica da Digitação (EigenbandsVerticais e Normalização Brunelli). . . . . . . . . . . . . . . . . . . . 161

7.17 Análise dos resultados que usaram a normalização Sanderson. Face1:Eigenbands Horizontais. Face2: Eigenbands Verticais. . . . . . . . . . 163

7.18 Análise dos resultados que usaram a normalização Brunelli. Face1:Eigenbands Horizontais. Face2: Eigenbands Verticais. . . . . . . . . . 164

13

LISTA DE TABELAS

2.1 Técnicas biométricas usadas em trabalhos recentes para a identi�caçãopessoal multimodal em ambientes controlados (apresentados em ordemcronológica). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.1 Detectores de bordas de Sobel. . . . . . . . . . . . . . . . . . . . . . . 694.2 Avaliação do desempenho das bandas horizontais. . . . . . . . . . . . 774.3 Avaliação do desempenho das bandas verticais. . . . . . . . . . . . . . 784.4 Taxas de erros sobre o conjunto de teste do banco de dados de faces

ORL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.5 Veri�cação das faces completas (eigenfaces) usando o banco de dados

da UMIST para representar usuários autênticos e o banco de dados daORL para representar usuários impostores. . . . . . . . . . . . . . . . 81

4.6 Resultados obtidos com as Bandas Horizontais (o banco de dados daUMIST para representar usuários autênticos e o banco de dados daORL para representar usuários impostores). . . . . . . . . . . . . . . 82

4.7 Resultados obtidos com as Bandas Verticais (o banco de dados daUMIST para representar usuários autênticos e o banco de dados daORL para representar usuários impostores). . . . . . . . . . . . . . . 83

4.8 Avaliação do desempenho usando 40 componentes principais extraídasdas imagens das faces completas. NUI: Número de Unidades Inter-mediárias. NTrTeVa: Número de amostras de Treino, Teste e Validação. 87

14

4.9 Avaliação do desempenho após a combinação das bandas horizontais.NUI: Número de Unidades Intermediárias. NTrTeVa: Número deamostras de Treino, Teste e Validação. . . . . . . . . . . . . . . . . . 88

4.10 Estatística do teste-t Emparelhado. . . . . . . . . . . . . . . . . . . . 89

5.1 Resumo dos melhores resultados, em termos da medida R2, das tabelasdo Apêndice B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

6.1 Resumo de alguns trabalhos relevantes sobre dinâmica da digitação.(TP - Tempo de Pressionamento e PL - Tempo de Latência). . . . . . 117

6.2 FRR por con�guração de teste quando FAR = 0. CaracterísticasTempo de Pressionamento e Classi�cador Baseado em Distância. . . . 128

6.3 FRR por con�guração de teste quando FAR = 0. CaracterísticasTempo de Pressionamento e Classi�cador Vizinho Mais Próximo. . . . 129

6.4 FRR por con�guração de teste quando FAR = 0. CaracterísticasTempo de Latência e Classi�cador Baseado em Distância. . . . . . . . 131

6.5 FRR por con�guração de teste quando FAR = 0. CaracterísticasTempo de Latência e Classi�cador Vizinho Mais Próximo. . . . . . . 132

6.6 FRR por con�guração de teste quando FAR = 0. Combinação dasCaracterísticas e Classi�cador Baseado em Distância. . . . . . . . . . 134

6.7 FRR por con�guração de teste quando FAR = 0. Combinação dasCaracterísticas e Classi�cador Vizinho Mais Próximo. . . . . . . . . . 135

7.1 Resumo contendo os melhores resultados da Figura 7.7. . . . . . . . . 1497.2 Resumo contendo os melhores resultados da Figura 7.8. . . . . . . . . 1517.3 Resumo contendo os melhores resultados da Figura 7.9. . . . . . . . . 1517.4 Resumo contendo os melhores resultados da Figura 7.10. TP - Tempo

de Pressionamento e TL - Tempo de Latência. . . . . . . . . . . . . . 1537.5 Resumo contendo os melhores resultados da Figura 7.11. TP - Tempo

de Pressionamento e TL - Tempo de Latência. . . . . . . . . . . . . . 154

15

7.6 Resumo contendo os melhores resultados da Figura 7.12. TP - Tempode Pressionamento e TL - Tempo de Latência. . . . . . . . . . . . . . 156

7.7 Resumo contendo os melhores resultados da Figura 7.13. . . . . . . . 1587.8 Resumo contendo os melhores resultados da Figura 7.14. . . . . . . . 1587.9 Resumo contendo os melhores resultados da Figura 7.15. . . . . . . . 1607.10 Resumo contendo os melhores resultados da Figura 7.16. . . . . . . . 161

A.1 Rótulo das características extraídas das assinaturas. . . . . . . . . . . 174

B.1 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador Bayesiano sobre as imagens das assinaturas sem trans-formação, adotando um intervalo de con�ança de 99% (α = 0, 01). . . 177

B.2 Avaliação dos erros de cada um dos grupos de características usando oclassi�cador Bayesiano sobre as imagens das assinaturas normalizadas,adotando um intervalo de con�ança de 99% (α = 0, 01). . . . . . . . . 178

B.3 Avaliação dos erros de cada um dos grupos de características usando oclassi�cador Bayesiano sobre as imagens das assinaturas após aplicaçãoda técnica do corte, adotando um intervalo de con�ança de 99% (α =0, 01). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

B.4 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador cross-correlation sobre as imagens das assinaturas semtransformação, adotando um intervalo de con�ança de 99% (α = 0, 01). 180

B.5 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador cross-correlation sobre as imagens das assinaturas nor-malizadas, adotando um intervalo de con�ança de 99% (α = 0, 01). . 181

B.6 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador cross-correlation sobre as imagens das assinaturas apósaplicação da técnica do corte, adotando um intervalo de con�ança de99% (α = 0, 01). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

16

B.7 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador baseado em distância sobre as imagens das assinaturassem transformação, adotando um intervalo de con�ança de 99% (α =0, 01). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

B.8 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador baseado em distância sobre as imagens das assinaturasnormalizadas, adotando um intervalo de con�ança de 99% (α = 0, 01). 184

B.9 Avaliação dos erros de cada um dos grupos de características usandoo classi�cador baseado em distância sobre as imagens das assinaturasapós aplicação da técnica do corte, adotando um intervalo de con�ançade 99% (α = 0, 01). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

C.1 Número de padrões autênticos e de falsos por classe. . . . . . . . . . . 187C.2 FRR por con�guração de teste quando FAR = 0. Características:

Tempo de Pressionamento. . . . . . . . . . . . . . . . . . . . . . . . . 188C.3 FRR por con�guração de teste quando FAR = 0. Características:

Tempo de Latência. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189C.4 FRR por con�guração de teste quando FAR = 0. Combinação das

Características. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

D.1 Pesos empregados nos experimentos quando da combinação das trêsbiometrias: Face, Assinatura e Dinâmica da Digitação. . . . . . . . . 192

17

LISTA DE ABREVIATURAS

AANN Auto-Associative Neural NetworkAMI A�ne Moment InvariantsAPI Application Program InterfaceBioAPI Consórcio formado para desenvolver uma API útil para diversas

tecnologias biométricasSite: http://www.bioapi.org/

CV Coe�ciente de VariaçãoDNA Ácido DesoxirribonucléicoEER Equal Error RateFAR False Acceptance Rate (Taxa de Falsa Aceitação)FERET The Facial Recognition Technology Database

Site: http://www.itl.nist.gov/iad/humanid/feret/FRR False Rejection Rate (Taxa de Falsa Rejeição)HCI Human-Computer Interface (Interface Humano-Máquina)HPR High Pressure RegionsHTER Half Total Error RateIBG International Biometric Group

Site: http://www.biometricgroup.comICA Independent Component Analysis (Análise dos Componentes Independentes)

18

IIS Banco de dados de faces de orientaisSite: http://smart.iis.sinica.edu.tw

k-vmp Classi�cador k-Vizinhos Mais PróximosLDA Linear Discriminant Analysis (Análise Discriminante Linear)M2VTS Multi Modal Veri�cation for Teleservices and Security Applications

Um banco de dados bimodal (face e voz)Site: http://www.tele.ucl.ac.be/PROJECTS/M2VTS/m2fdb.html

MLP Multi-Layer PerceptronNIST National Institute of Standards and Technology

Site: http://www.nist.gov/ORL Banco de dados de faces da Olivetti Research LaboratoryPCA Principal Component Analysis (Análise dos Componentes Principais)RBF Radial Basis FunctionROC Receiver Operating CharacteristicSOM+CN Self-Organizing Map and Convolutional NetworksSVM Support Vector MachineTHP Threshold of High PressureUMIST Banco de dados de faces da University of Manchester Institute of

Science and TechnologyVidTIMIT Banco de dados de vídeo útil para sistemas mono ou multimodais de

identi�cação pessoal e que usam voz e faceSite: http://users.rsise.anu.edu.au/ conrad/vidtimit/

XM2VTS Uma extensão do banco de dados multimodal de faces M2VTSSite: http://www.ee.surrey.ac.uk/Research/VSSP/xm2vtsdb/

19

CAPÍTULO 1

INTRODUÇÃO

"Não olhes de onde vens, olha para onde vais."Pierre Augustin Caron

1.1 BIOMETRIA

Tradicionalmente, têm-se usado senhas e cartões a �m de identi�car os indivíduos.Todavia, senhas podem ser esquecidas e cartões perdidos. Além disso, usuários in-devidos podem utilizar indiscriminadamente cartões e senhas, fazendo-se passar poroutros indivíduos.

Desse problema, originou-se a motivação de usar propriedades inerentes a cadapessoa com o intuito de identi�cá-la, como, por exemplo, a assinatura. Vale salientarque essa idéia não é nova. Há muito tempo, a justiça utiliza impressões digitais,retratos e assinaturas com esse propósito. O termo biometria pode ser de�nidocomo o uso de padrões comportamentais e/ou físicos para identi�car unicamente umindivíduo.

A biometria possui diversas aplicações, que podem ser divididas em três grupos:forense, social e comercial. Em aplicações de caráter jurídico, a biometria pode serútil para investigação criminal, identi�cação de corpos e determinação de parentesco.Através da unicidade de nossas características físicas e comportamentais, espera-seque em um futuro próximo, documentos de identi�cação pessoal, tais como identidadee carteira de motorista, possam ser dispensados. Como outra aplicação, tem-se: ocontrole de acesso em ambientes comerciais, residenciais ou militares que necessitem

20

de segurança. Para o comércio, a posse do cartão de crédito pode dar lugar a umasimples assinatura, que, no ato da compra, autentica a transação. Ou ainda, anecessidade do uso de cartões e/ou de �chas, para a realização de ligações a partirde telefones públicos seria suprimida, a conta poderia ser enviada para o solicitantedo serviço através do reconhecimento de voz, por exemplo; esse raciocínio se estendepara o uso de celulares. Transações bancárias, comércio eletrônico e serviços decartório formam mais um �lão para sistemas biométricos.

O maior desa�o da aplicação de sistemas biométricos em aplicações do mundoreal está atrelado ao melhoramento do seu desempenho. Em um futuro próximo,técnicas de classi�cação monomodais, isto é, que utilizam apenas uma biometria,tendem a alcançar um limite de saturação do desempenho [DBB+97]. Alguns tra-balhos [BF95, ABB+96, UDW97, DBB+97, KMJS97, JLGW97, HJ98, JLK99, JR02,Nak02, SP03c, CF03b, JR04, RJ04, SUM+05] mostraram que a combinação de maisde uma técnica biométrica tem melhorado o desempenho, em relação à análise dastécnicas individualmente. Tais sistemas são chamados Sistema de Identi�cação Pes-soal Multibiométricos ou Multimodais.

1.2 MOTIVAÇÃO

Cientistas de áreas diferentes têm investido no estudo de modelos para a inte-gração de sensores, entre eles: neuro�siologistas, psicólogos, engenheiros, estatísticose cientistas da computação.

Em seu trabalho, Murphy [Mur96] de�ne a integração inteligente de sensores comoum mecanismo que se adapta às mudanças do ambiente e aos problemas relativosà captura de informação, determinando, assim, a melhor estratégia para percebero ambiente. Nesse mesmo trabalho, o autor examina as contribuições de linhas depesquisa em integração de sensores aplicadas à área de aprendizagem de máquina.

Muitas são as aplicações para sistemas que combinam sensores, entre elas pode-secitar: reconhecimento automático de alvos, sistemas que controlam veículos auto-

21

maticamente, sensoriamento remoto, monitoramento de processos industriais, apli-cações médicas, robótica e identi�cação pessoal. Uma outra aplicação para a inte-gração de múltiplos sensores foi estudada por Sharma et al. [SPH98], em um trabalhocujo objetivo foi o de investigar direções para a Interface Humano-Máquina (HCI)multimodal.

A interação pressencial de humanos é multimodal por natureza. À medida que umhumano estabelece um diálogo com outro indivíduo, ele olha, gesticula e aponta paraobjetos. A pessoa que está passiva, naquele momento do diálogo, presta atençãonão apenas para a voz do outro, �ca atenta, também, à entonação da mesma, àsexpressões faciais, bem como capta odores. Dito isso, pode-se a�rmar que os humanossão animais que integram múltiplos sensores. Vale salientar que, não apenas humanos,outros animais usam, e muito bem, múltiplas informações captadas do ambiente paraestabelecer a própria sobrevivência.

Talvez o maior incentivo para a fusão de diversas modalidades (sensores) sejaa falta de robustez e o baixo desempenho de sistemas monomodais. A seguir sãomostradas razões biológicas e matemáticas para a combinação de sensores.

Os humanos possuem várias formas de interagir com o meio-ambiente. A capaci-dade do sistema nervoso central de combinar estímulos provenientes de vários sensorespode facilitar as tarefas de detecção, localização e discriminação dos mesmos [KC01].Por exemplo, a habilidade humana de compreender a fala é bastante aumentadaquando, não apenas, a voz é escutada, mas também, quando o locutor pode ser visu-alizado. Além disso, o tempo de resposta a estímulos multimodais é menor quandocomparado com estímulos monomodais [CHB01]. Entretanto, existem casos em quea pluralidade da percepção pode gerar resultados indesejados, como, por exemplo,quando os sinais visuais e auditivos são incongruentes, situação que ocorre em um�lme dublado.

As informações provenientes de diversos sensores devem ser processadas conjun-tamente em alguma região do cérebro. E estudos realizados por Stein e Meredith,reportados por Murphy [Mur96], a�rmaram que estímulos provenientes de sensores

22

diferentes não interagem entre si antes de atingirem o cérebro. Sendo mais preciso,sinais perceptivos são enviados para o Colículo Superior e lá processados. O ColículoSuperior é uma estrutura presente no Sistema Nervoso Central, mais precisamenteno tecto do mesencéfalo de mamíferos, e é constituído de camadas superpostas e al-ternadas de substância branca e cinzenta que estão relacionas à visão [Mac00]. Essesresultados foram observados em experimentos realizados em cérebros de felinos, emespecial gatos. Sabendo que a estrutura do Colículo Superior é similar na maioria dosmamíferos, inclusive no homem, o estudo torna-se aceitável para �ns de observaçãodo fenômeno de combinação de sensores.

Além das razões biológicas mostradas acima para a fusão de sensores, é possíveldestacar ainda razões matemáticas que encontram origem na análise estatística dedados. A desvantagem de se usar apenas uma modalidade (sensor) está na inca-pacidade da mesma de reduzir a incerteza para a tomada de decisão. Essa incertezapode ser proveniente de diversas fontes: imprecisão na captura das características,características ocultas ou oclusas e ambigüidade na observação. Além disso, com-binar múltiplas informações da mesma fonte pode aumentar o desempenho quandoinformações redundantes são usadas [HL97].

1.3 OBJETIVOS

Na fase de projeto de um sistema de veri�cação biométrica multimodal, algumasquestões surgem:

i Quais biometrias devem ser usadas?

ii Como extrair características relevantes de cada uma das biometrias?

iii Qual(is) classi�cador(es) usar?

iii Como combinar as biometrias, combinar as características ou as decisões dosclassi�cadores?

23

iv Se a combinação for feita a partir das respostas dos classi�cadores, comonormalizar essas respostas para que a decisão �nal não seja prejudicada pelasdiferentes escalas dos valores de saída dos classi�cadores?

As respostas a tais questões serão dadas ao longo da tese que tem como principalmotivação analisar os resultados da combinação de biometrias diferentes, em especialface, assinatura e dinâmica da digitação. Para tanto, será necessário investigar epropor melhorias para cada uma das modalidades individualmente e, em seguida,conceber uma arquitetura que modele a fusão.

As biometrias face e assinatura têm-se destacado como duas técnicas de fácilaceitação pela sociedade em geral. Isso se deve ao fato de seu uso corriqueiro emtransações comerciais e burocráticas. Carteiras de identidade, habilitação de mo-torista, título de eleitor, passaporte, entre outros documentos, se valem tanto da facequanto da assinatura para identi�car o indivíduo portador; alguns desses, se utilizam,também, da impressão digital. A assinatura de cheques, contratos, contra-cheques,procurações, é fato comum para o comércio, cartórios e empresas. Essas duas biome-trias se caracterizam, também, pela facilidade de aquisição, pois os equipamentosnecessários (câmera - para face; scanner - para assinatura) são baratos e de fácilmanuseio. Quanto à dinâmica da digitação, o qual captura o ritmo de digitaçãodo usuário, pode-se a�rmar que a mesma é transparente. Seu uso não causariatranstorno algum, uma vez que, para a maioria dos computadores, o teclado é partecomplementar.

A integração de biometrias tem o objetivo primordial de combinar o que elas têmde melhor para aumentar o desempenho do sistema. Tendo como base as questõesrealçadas acima, é possível destacar os seguintes objetivos secundários:

i Encontrar características que descrevam as faces, as assinaturas e a dinâmicada digitação sem perder informações relevantes para processos de discriminação;

ii Em geral, um fato inerente a sistemas biométricos é o pequeno número deexemplares por classe. Isso ocorre, pois, em aplicações práticas, é inviável,

24

por exemplo, pedir que um usuário assine trinta, quarenta vezes. Assim, oclassi�cador selecionado deve ser capaz de encontrar regiões de separação paraas classes, mesmo com poucos exemplos, sendo ao mesmo tempo, rápido ee�ciente;

iii Desenvolver um modelo de combinação das biometrias.

1.4 ESTRUTURA DA TESE

Neste capítulo introdutório, a motivação e os objetivos deste trabalho foram apre-sentados.

O Capítulo 2 traz uma visão geral sobre sistemas biométricos, sejam eles monoou multimodais. Nesse capítulo, são apresentadas informações básicas sobre as maispopulares modalidades biométricas, tais como: face, assinatura, impressão digital,entre outras. Além disso, são mostradas uma arquitetura geral de um sistemabiométrico e três possíveis arquiteturas de sistemas multimodais. Para cada umadas arquiteturas, são descritas as fases que a compõem. Em uma das seções, aatenção está voltada às alternativas para avaliar sistemas dessa natureza.

No Capítulo 3 são descritas as técnicas de extração de características usadas paracapturar informações relevantes de cada uma das modalidades biométricas. Aindanesse capítulo, os classi�cadores usados para criar regiões de separação entre as classessão explicados.

No Capítulo 4 é discutido o problema de classi�cação de faces e apresenta umaestratégia para combinar características extraídas de diversas áreas (bandas) da ima-gem da face - eigenbands fusion. Nesse capítulo, também, são apresentados os resul-tados obtidos para o reconhecimento e para a veri�cação de faces usando PrincipalComponent Analysis (PCA) e eigenbands fusion.

O foco do Capítulo 5 é a veri�cação de assinaturas. Esse problema é abordadosob a perspectiva de veri�cação de assinaturas de tamanhos diferentes. Oito gru-pos de características extraídos das imagens das assinaturas são avaliados por três

25

classi�cadores.No Capítulo 6 são reportados os resultados conseguidos com a biometria dinâmica

da digitação sobre um banco de dados capturados pelos autores. Em especial, doisgrupos de características são avaliados: tempo de pressionamento e tempo de latência.

A combinação das três modalidades biométricas (face, assinatura e dinâmica dadigitação) é exposta no Capítulo 7. Nesse capítulo, em primeiro lugar as biometriasserão combinadas duas-a-duas e, em seguida, as três biometrias serão unidas. Serãoavaliados o desempenho e a importância da participação de cada uma das biometriasno sistema combinado.

No Capítulo 8 é mostrado um sumário das contribuições da tese, bem comopossibilidades de atividades futuras da mesma.

No Apêndice A apresenta-se uma tabela contendo o rótulo das característicasextraídas das imagens da assinaturas.

No Apêndice B são mostradas tabelas contendo, de forma detalhada, os resulta-dos encontrados utilizando os oito grupos de características e os três classi�cadoresempregados na veri�cação de assinaturas.

No Apêndice C apresentam-se tabelas. A primeira delas contém informaçõessobre os usuários utilizados para compor o banco de dados de dinâmica da digitação,tais como: nome completo, número de padrões autênticos e falsos por classe. Jánas outras tabelas, são mostrados, de forma detalhada, os resultados da modalidadebiométrica dinâmica da digitação.

No Apêndice D é mostrada uma tabela utilizada para indicar quais os pesos decada uma das biometrias no processo de combinação multimodal, que usam trêsmodalidades: face, assinatura e dinâmica da digitação.

26

CAPÍTULO 2

CLASSIFICAÇÃO BIOMÉTRICA

"People pick bad passwords,and either forget, write down,

or resent good ones"Steven Bellovin and Michael Merritt.

2.1 INTRODUÇÃO

Na literatura, muitas técnicas biométricas foram investigadas. Esse capítulo obje-tiva mostrar as técnicas mais estudadas, fornecendo descritivo das mesmas - Seção 2.2.Além disso, na Seção 2.3, uma arquitetura de um sistema biométrico monomodal, ouseja, aquele que se vale de apenas uma biometria, é apresentada. Ainda na Seção 2.3,pode-se veri�car como é realizada a avaliação de sistemas baseados em biometria que,em geral, são regidos por duas taxas de erros: falso positivo e falso negativo, ou seja,Erro Tipo I e Erro Tipo II. O estado da arte e arquiteturas de combinação parasistemas biométricos multimodais são apresentados na Seção 2.4.

2.2 TÉCNICAS BIOMÉTRICAS

É possível classi�car as técnicas biométricas em físicas e comportamentais. Dentreas técnicas físicas, alguns exemplos são: face, impressão digital, retina, íris, formatoda orelha, impressão da mão e DNA. Outras técnicas, como, por exemplo, assinatura,voz e dinâmica da digitação, são consideradas comportamentais. A Figura 2.1 mostraum esquema contendo as duas classes de técnicas biométricas.

27

Face

Impressão Digital

DNA

Íris Retina

OrelhaMão

Radiografia Dental

Assinatura

Voz

Dinâmica da Digitação

Física

Comportamental

Técnicas Biométricas

Figura 2.1: Classi�cação das Técnicas Biométricas.

A demanda por sistemas mais e�cientes de identi�cação pessoal existe. Estudorealizado pelo International Biometric Group - IBG [IBG], em 2002, aponta que osinvestimentos, no período de 2002 a 2007, em sistemas biométricos devem atingir opatamar de mais de 12 bilhões de dólares em todo o mundo (sem contar com DNA).Pelas prospecções realizadas, em 2005, apenas a tecnologia de reconhecimento fa-cial deverá alcançar um total de 200 milhões de dólares de investimento. Segundorelatório do IBG de 2003, 52% do mercado é destinado a aplicações que usam im-pressão digital. Outros 11,4% �cam sob domínio de reconhecimento facial e 2,4%para assinatura.

Um dos motivos pelos quais técnicas biométricas não estão disseminadas, emuso cotidiano, por grande parte da sociedade, está atrelado ao desempenho. Pois,sistemas de identi�cação pessoal devem ser rápidos e robustos a mudanças de fa-tores ambientais. Além do desempenho, outros atributos são necessários para o bomfuncionamento de um sistema biométrico:

Aceitabilidade: a sociedade está apta a integrar esse tipo de tecnologia no seudia-a-dia.

Custo do Sensor: investimento necessário para compra do sensor.

28

Escalabilidade: impacto sobre o sistema quando o número de usuários é sensivel-mente aumentado.

Desempenho: para a aplicação proposta, os níveis de erros de falsa aceitação e falsarejeição se encontram em patamares aceitáveis.

Facilidade de Captura: a característica deve ser de fácil quanti�cação (medição).

Longevidade: quanto a característica se modi�ca ao passar do tempo.

Maturidade da Pesquisa: quanto já se pesquisou e se os resultados são relevantes.

Tamanho do Padrão número de bytes necessários para �ns de armazenamento dopadrão.

Tamanho do Sensor: as dimensões do sensor implicam se o sistema pode ser apli-cado a meios móveis e se será percebido pelo usuário.

Tipo do Sensor: divisão dos sensores em classes: invasivo ou não-invasivo.

Unicidade: a característica deve ser única para cada indivíduo.

Universalidade: todas as pessoas devem possuir a característica.

Vulnerabilidade: facilidade de uma característica ser fraudada.

Nenhuma característica biométrica estudada até então satisfaz todos os atributosrealçados acima. Dependendo do contexto, escolhem-se aquela, ou aquelas, que me-lhor atendem aos requisitos. Jain et al. [JHP00] e Ratha et al. [RSB01] compuseramtabelas, a partir de especialistas biométricos, que atribuem níveis de aplicação paraalguns dos atributos relacionados acima, referentes a algumas técnicas biométricas.Dada a quantidade de variáveis envolvidas, é possível a�rmar que, fornecer o títulode melhor técnica biométrica, a alguma das existentes, é uma tarefa não trivial.

Uma promessa, em termos de biometria, é o DNA. Entretanto, o DNA, assimcomo outras técnicas, traz consigo questões que envolvem privacidade de informações

29

pessoais e questões legais, referentes ao mau uso dessas informações. Discussões éticasa esse respeito, que ponderam os prós e os contras de processos biométricos, podemser encontradas no trabalho de Woodward [Woo97].

Esforços com o intuito de padronizar interfaces e métodos de avaliação estãosendo desenvolvidos. Acredita-se que essa iniciativa possa tornar biometria um termomais corriqueiro, integrado no dia-a-dia da atual sociedade. Diversos bancos dedados de impressões digitais foram projetados pelo NIST [NIS]. FERET [FER] eM2VTS [M2V] são exemplos de banco de dados de faces e de faces e voz, respecti-vamente, que possuem processos de avaliação bem de�nidos para facilitar a com-paração de métodos. BioAPI [Bio] é uma organização que possui o propósito de criaruma especi�cação para padronizar o desenvolvimento de interfaces para aplicaçõesbiométricas.

A seguir, informações sobre algumas técnicas biométricas serão apresentadas.Além das técnicas citadas abaixo, é possível que, num futuro próximo, aplicaçõesviáveis de outras técnicas sejam usadas comercialmente: odor, salinidade do corpo eDNA.

2.2.1 Face

Para reconhecer o rosto de uma pessoa, utilizam-se, basicamente, três estratégias.A primeira delas pode ser atribuída à geometria e às proporções da face [BP93]. Outraforma de classi�car faces é através de uma análise estatística da face completa, uti-lizando algoritmos como PCA [KS90, BHK97, MK01, CF03a], LDA [BHK97, SW96,MK01], ICA [BS98], Redes Neurais [LKL97, LGTB97, RBK98] e Wavelets [CW02].Elastic Graph Matching é uma abordagem que extrai características usando a trans-formada de Gabor em partes da imagem [LWvdM97].

A face é uma característica bastante aceita pela sociedade em geral, pois, parasua captura, o usuário não precisa passar por nenhum dispositivo invasivo. Outrofator interessante é o baixo custo do dispositivo de captura, uma vez que uma câmera

30

digital é su�ciente. Ainda assim, muitos usuários não se sentem à vontade ao saberque estão sendo �lmados. Porém, sistemas de reconhecimento de faces podem fa-lhar quando os usuários alteram alguns atributos estéticos, tais como: mudanças decorte ou cor do cabelo, uso de acessórios como véu, óculos, barba, bigode e chapéu.Além desses fatores, outros podem in�uenciar diretamente no desempenho do sis-tema: iluminação, rotação e escala. Muito progresso está sendo notado na pesquisade reconhecimento de faces em ambientes controlados, nos quais a iluminação, a es-cala e a posição são, praticamente, �xos. Estudos mais consolidados precisam serproduzidos no trato com imagens com diferentes níveis de iluminação, imagens rota-cionadas e em diferentes escalas.

2.2.2 Assinatura

Em ambientes comerciais, a assinatura é amplamente aceita como comprovante deautenticidade pessoal. Documentos como cheques, boletos bancários, comprovantede débito, cartões de crédito, contratos, entre outros, são validados apenas pelaconferência da assinatura.

Sistemas de classi�cação de assinatura podem tratar o ato de assinar observandoapenas a estrutura da assinatura, ou ainda, podem levar em consideração caracterís-ticas sobre o ato de assinar, tais como: velocidade, pressão e pontos em que a canetanão toca a superfície. Essas duas formas são chamadas, respectivamente, de classi�-cação o�-line e on-line de assinaturas. O modelo on-line oferece mais informações,pois pode incorporar características sobre a estrutura da assinatura, facilitando, as-sim, o processo de reconhecimento.

Uma di�culdade inerente ao problema é que a assinatura de uma mesma pessoavaria bastante (alta variabilidade intra-classe). Isso pode ser agravado dependendodo estado emocional do usuário e por problemas de saúde relacionados com a coor-denação motora.

31

2.2.3 Impressão Digital

Das técnicas biométricas, as que se baseiam em impressão digital lideram o mer-cado. Os dispositivos de captura de impressões digitais são baratos e podem seracoplados ao teclado ou ao mouse. As impressões digitais são únicas. Mesmo gêmeosidênticos possuem digitais distintas, mais ainda, as impressões dos dedos de umamesma pessoa diferem. Outro fator interessante é o bom desempenho atingido porsistemas computacionais que usam essa técnica.

A classi�cação das digitais, em grande parte dos sistemas, fundamenta-se emalguns pontos especiais, chamados de minúcias. A extração desses pontos é realizadaapós algumas etapas de melhoramento da imagem: binarização, �ltros (realce devales, eliminação de pontos falsos) e esqueletização.

Alguns ambientes de trabalhos não são propícios para o uso da impressão digital.Laboratórios e algumas indústrias necessitam da realização de atividades manuais quepodem desgastar a impressão digital. Além dessa desvantagem, parte da sociedadeainda associa a impressão digital a questões jurídico-criminais.

2.2.4 Voz

Sistemas de identi�cação do usuário através da fala tratam a voz como umafunção e se valem dos padrões harmônicos para separar um usuário impostor de umautêntico. Alguns sistemas, chamados de dependentes do texto, usam os padrõesextraídos de uma palavra ou frase pré-de�nidas, que é falada pelo usuário, como, porexemplo: números, senha ou o próprio nome. Outros identi�cam o usuário atravésde qualquer frase, esses são conhecidos como sistemas independentes do texto. Nosegundo caso, espera-se que o sistema seja menos vulnerável a fraudes do que oprimeiro.

A voz de um usuário pode ser capturada através de um dispositivo simples comoum microfone ou um telefone. Um fator desfavorável a esse tipo de biometria é suasusceptibilidade a variações oriundas do estado emocional (cansaço, tristeza, alegria)

32

e físico (gripe, rouquidão) do usuário. Além disso, ruídos captados pelo microfonepodem levar o sistema a recusar um usuário legítimo.

2.2.5 Mão

Três grupos de informações biométricas que podem ser extraídas da mão estão emvoga atualmente na literatura: geometria da mão [SRSAGM00, KWSJ03], impressãoda palma [DJM02, HCLF03, KWSJ03] e veias do punho [IPK+01].

Comprimento e largura dos dedos, tamanho e área da palma da mão e compri-mento da mão são características geométricas. Assim como a impressão digital, aimpressão da palma da mão oferece pontos delta e minúcias, além de três linhasprincipais, chamadas de: linha do coração, linha da mente e linha da vida. Os pa-drões das veias do punho são extraídos através de um dispositivo que não requercontato, apenas uma "fotogra�a"da amostra é requerida. Esse atributo representauma vantagem em relação a outras biometrias.

Alguns trabalhos têm focado nessa área, com o intuito de preencher o espaçonão alcançado por outras tecnologias. Impressão digital é a técnica mais usada atu-almente. Entretanto, é difícil capturar suas características relevantes em grupos depessoas que realizam trabalhos manuais em laboratórios e em pessoas idosas [KWSJ03].Im et al. [IPK+01], implementaram um FPGA(Field Programmable Gate Array), debaixo custo, que atingiu 99,45% de acerto, gastando apenas 150ms por pessoa parafornecer a decisão. O banco de dados por eles usado continha informações de 10 milpessoas. Uma estratégia que unia características geométricas com a impressão dapalma da mão foi desenvolvida por Kumar et al. [KWSJ03].

2.2.6 Íris

A íris (parte colorida dos olhos) oferece uma imagem complexa que é únicaem cada ser humano. Das técnicas biométricas mais difundidas, imagens da írisencontram-se no grupo das que apresentam melhor precisão [JHP00, RSB01]. A

33

grande desvantagem desse tipo de abordagem reside no tipo de sensor utilizado. Atu-almente, é necessário se aproximar bastante do dispositivo de captura, isso caracterizaum método invasivo que se torna um incômodo para o usuário.

Além da necessidade da cooperação do usuário, o sistema de classi�cação de írisé muito exigente, no que diz respeito à qualidade da imagem adquirida. Imagens debaixa qualidade, íris com uma pupila muito grande ou não centralizada, são normal-mente rejeitadas logo na aquisição [WTJ03].

2.2.7 Retina

Sistemas de identi�cação pessoal que usam a retina (imagem do fundo do olho),analisam uma camada interna do olho que é composta por vasos sanguíneos queformam um padrão único em cada indivíduo.

Assim como a íris, a captura da imagem da retina é um processo difícil e incômodo,pois é necessário que o usuário olhe �xamente para um ponto luminoso até que acâmera capture os padrões. O custo associado ao dispositivo para capturar a retinaé mais alto do que o para íris. Assim, o uso dessa modalidade só se justi�ca emambientes nos quais a segurança é prioridade absoluta, como exemplo no trato compresidiários de alta periculosidade.

2.2.8 Radiogra�a Dental

O principal objetivo do uso de radiogra�a dental é identi�car indivíduos nos casosem que outras características não estão mais disponíveis. Normalmente, a radiogra�adental, extraída após a morte, é comparada com uma ou mais radiogra�as que foramextraídas quando o indivíduo estava vivo.

As características usadas para veri�car a similaridade vão desde propriedades dosdentes (ausência/presença, morfologia da raiz, patologias e restaurações), até detalhesdo tecido periodontal, passando por feições anatômicas. Um atributo problemáticoem sistemas que usam radiogra�as dentais é a longevidade da conformação dentária

34

do indivíduo. As características dentais mudam bastante durante a vida [JCM03].

2.2.9 Formato da Orelha

A orelha é outra característica que distingue humanos. Burge e Burger [BB99]extraíram 12 características geométricas relativas à orelha para a construção de umsistema de identi�cação pessoal. Essa modalidade será útil quando usada para com-plementar outra técnica. Identi�cação usando a orelha é extremamente dependenteda iluminação, posição e escala. Outro fator negativo é atribuído à oclusão parcial,ou total, da orelha pelos cabelos.

2.2.10 Imagem Térmica do Rosto

O sistema vascular da face produz um padrão térmico único que emana atravésda pele. Essas características podem ser observadas com uma câmera que captureluz infravermelha.

A iluminação é uma desvantagem do sistema de reconhecimento de faces, que podeser sanada quando a temperatura da face é analisada, pois, uma câmera infravermelhapode capturar informações mesmo na ausência de luz. Algumas desvantagens são:dependência do estado emocional, alterações de temperatura devido a doenças, alémde dependência de rotação e de escala.

2.2.11 Dinâmica da Digitação

Assim como a geometria da mão, a dinâmica da digitação é uma forma barata dese implementar autenticação pessoal, em especial para acesso a computadores.

As características analisadas são extraídas da forma como a pessoa digita. Avelocidade, tempo entre o acionamento de cada tecla, a força aplicada a cada teclae a duração do tempo de pressionamento de cada tecla formam um padrão quedifere de pessoa para pessoa. O dispositivo necessário para a implementação dessa

35

modalidade já está disponível nos computadores atuais, uma vez que apenas umteclado é requerido.

2.3 SISTEMA BIOMÉTRICO MONOMODAL

Uma arquitetura básica de um sistema biométrico pode ser visualizada na Figura 2.2.Basicamente, ela é composta de uma etapa de treinamento e uma etapa de uso. Naetapa de treinamento, algumas amostras biométricas dos indivíduos são utilizadaspara criar uma representação que os denote. Na etapa de uso, o sistema treinadoutiliza a representação criada na etapa anterior para atribuir um valor verdade aoindivíduo que está sob investigação.

Biometria

Sensor Biométrico

Extração de Características Biométricas

ReconhecimentoBiométrico

VerificaçãoBiométrica

UsoAceita Recusa

Lista de respostas

Sensor Biométrico

Extração de Características Biométricas

Treinamento

BD

Figura 2.2: Arquitetura básica de um sistema de identi�cação pessoal monomodal.

O tipo de sensor empregado depende, diretamente, da técnica biométrica esco-lhida. Desta forma, o processo de aquisição do padrão pode ocorrer de diversas for-mas, como, por exemplo, câmera digital (face, mão, imagem térmica do rosto, orelha,movimento dos lábios), teclado (dinâmica da digitação), dispositivo de captura deimpressão digital, microfone, mesa digitalizadora (assinatura), entre outros.

A tarefa do módulo de Extração de Características é reduzir a dimensão dosdados de entrada, resguardando, no entanto, informações que discriminem, da melhor

36

forma possível, os padrões. A Classi�cação de Padrões pode ser dividida em duasclasses menores: Veri�cação e Reconhecimento. Na Veri�cação, o padrão (usuário),fornecido como entrada, é comparado com sua representação prévia, armazenada nobanco de dados (BD). A saída atesta se o usuário é autêntico ou não, isto é, se ele équem diz ser. Já no Reconhecimento, o objetivo é encontrar dentro do BD usuáriosque se assemelhem bastante ao padrão de entrada. Uma lista de possíveis candidatosé fornecida como saída. O trabalho de encontrar o candidato ideal é deixado parauma fase posterior, que pode requerer intervenção humana ou não.

2.3.1 Avaliação de Desempenho

Na seção anterior, foi observado que sistemas de classi�cação de padrões podemser divididos em sistemas de reconhecimento e em sistemas de veri�cação (autenti-cação). Um sistema de reconhecimento associa um novo exemplar a uma das classesdo problema em questão. Já um sistema de veri�cação consiste em aceitar ou rejeitaruma determinada observação. Esse último pode ser visto como um reconhecimento,no qual existem apenas duas classes, uma representando um usuário verdadeiro e aoutra um impostor. Discussões sobre como avaliar e selecionar um sistema baseadoem biometria podem ser encontradas nos trabalhos de Shen et al. [SSK97], de Way-man [Way99] e de Daugman [Dau00].

Autêntico fau Impostor fim

critério c

�

�

� �

� − Correta Aceitação

� − Correta Rejeição

� − Falsa Aceitação

� − Falsa Rejeição

Figura 2.3: Região de decisão para sistemas biométricos.

37

As regiões de decisão geradas por problemas de autenticação biométrica podem servisualizadas na Figura 2.3. As duas curvas modelam distribuições de probabilidadede cada uma das classes, as quais não são completamente separadas. A abcissarepresenta alguma métrica de similaridade. As duas curvas geram quatro regiões, quesão nomeadas da seguinte forma: Correta Aceitação (CA), Correta Rejeição (CR),Falsa Aceitação (FA) e Falsa Rejeição (FR). CA e CR representam usuários autênticose impostores corretamente classi�cados, respectivamente. Os erros podem vir de duasfontes: usuários impostores classi�cados como autênticos (FA) e usuários autênticosclassi�cados como impostores (FR).

A probabilidade de cada uma das quatro possíveis regiões é dada pela área abaixodas suas distribuições de probabilidade sobre cada um dos lados gerados pelo critériode decisão, Equações ., ., . e ..

P (CA) =∫ c0

fau(x) dx (.)

P (CR) =∫ 1

cfim(x) dx (.)

P (FA) =∫ c0

fim(x) dx (.)

P (FR) =∫ 1

cfau(x) dx (.)

Na Figura 2.3, observam-se duas classes: autêntico e impostor. O trabalho doclassi�cador é determinar se um novo padrão é, na realidade, um usuário verdadeiroou apenas um impostor. O critério de decisão c gerado pelo classi�cador pode tornaro sistema mais permissivo a erros provocados por aceitar usuários impostores ou,por outro lado, pode torná-lo mais restritivo, ao rejeitar usuários autênticos. Então,nota-se que existe uma relação entre a taxa de aceitação de usuários autênticos e ataxa de aceitação de impostores.

38

Dependendo do tipo de aplicação, deve-se manipular o critério de decisão paratornar o sistema mais permissivo a erros provocados por aceitar usuários impostoresou não. Por exemplo: em um sistema de alta segurança militar, é mais indicado que,na dúvida, não se conceda acesso a um dado usuário. Já em um sistema de acessoa um computador pessoal em uma residência, pode ser mais vantajoso aceitar umpossível impostor do que impedir o acesso de um usuário autêntico.

Manipulando o critério de decisão c, mostrado nas Equações ., ., . e .,é possível atingir 0%(zero) de erro de FA, basta rejeitar todos os usuários. Esseprocedimento gera um erro de 100% de FR. Da mesma forma, 0%(zero) de erro deFR pode ser obtido, simplesmente, aceitando todos os candidatos. Entretanto, nessecaso, o erro de FA pode atingir o patamar máximo de 100%.

Em meio discreto, o desempenho de um sistema biométrico é, freqüentemente,medido por meio de duas taxas, que são expressas pelas seguintes equações:

FAR =número de falsas aceitações

número de acessos de usuários impostores (.)

FRR =número de falsas rejeições

número de acessos de usuários autênticos (.)

A Taxa de Falsa Aceitação (FAR - False Acceptance Rate), ocorre quando osistema aceita um impostor como um usuário autêntico, ao passo que a Taxa deFalsa Rejeição (FRR - False Rejection Rate) ocorre quando o sistema rejeita umusuário autêntico. Uma medida que combina essas duas taxas é chamada de Risco epode ser de�nida pela equação a seguir:

Risco =λ1 × FRR + λ2 × FAR

λ1 + λ2, (.)

λ1 e λ2 são constantes que de�nem a importância das taxas (FAR e FRR). Quandoλ1 e λ2 são iguais, a mesma relevância é dada para cada uma das taxas e a equaçãode Risco associada recebe o nome de Half Total Error Rate (HTER). Sistemas quenecessitam de baixas taxas de Falsa Aceitação devem ter λ2 maior do que λ1. A

39

minimização da FRR foi considerada mais importante, em usos práticos, do que aminimização da FAR em trabalho realizado por Dieckmann et al. [UDW97], elesusaram os seguintes valores: λ1 = 2 e λ2 = 1.

Outra medida comumente utilizada é a EER (Equal Error Rate) [Way99, Dau00],na qual procura-se pelo ponto em que os erros, FRR e FAR, atingem valores iguaisou bastante próximos. A curva ROC (Receiver Operating Characteristic) também ébastante usada para avaliar o desempenho de um sistema biométrico, ela representaFRR como uma função do FAR [Way99, Dau00].

2.3.2 Encontrando o Critério de Separação

O critério de separação c, também conhecido como limiar (threshold), de�ne duasregiões: uma região de usuários autênticos e outra de impostores, conforme mostradona Figura 2.3. Entretanto, os grá�cos que modelam cada uma dessas regiões, nor-malmente, se sobrepõem, causando, assim, erros que foram de�nidos como: erro defalsa aceitação (FAR) e erro de falsa rejeição (FRR). Isso signi�ca dizer que, em sis-temas biométricos reais, alguns usuários impostores possuem padrões que fornecemrespostas inferiores ao valor do limiar e, alguns usuários autênticos produzem res-postas com valores maiores do que o limiar. Assim, mesmo após criteriosa escolhado limiar, erros de classi�cação podem ocorrer.

Uma pergunta que surge é: como encontrar o melhor limiar dada uma deter-minada distribuição de dados, de�nida por um conjunto de padrões de validação?Algumas formas simples de calcular o limiar podem ser vistas nas equações abaixo.Operações simples como: máximo (.), mínimo (.) e média (.), foram usadaspor Jain et al. [JGC02] para calcular o critério de separação.

limiarmax = Máximo(x1, x2, . . . , xn), (.)

limiarmin = Mínimo(x1, x2, . . . , xn), (.)

40

limiarmed =1

n

n∑

i=1

(xi), (.)

sendo n o número de padrões de validação e xi é a resposta do classi�cador para oi-ésimo padrão no conjunto de validação.

O cálculo do limiar pode ser realizado de duas formas: assumindo o mesmo valorpara todas as classes (limiar global) ou atribuindo limiares independentes para cadaclasse (limiar local). A vantagem que pode ser observada na computação do limiarglobal é que todo o conjunto de dados de validação é usado para encontrar um limiarótimo baseado em algum critério de minimização do erro. Isso é relevante pois, emaplicações de biometria, o número de exemplos por classe, em geral, é limitado. En-tretanto, nesse modelo, características inerentes a cada classe são perdidas. Usandoum limiar por classe, ou seja, cada classe é tratada individualmente, resultados melho-res podem ser alcançados. Esse limiar local, dependente do usuário, torna-se maiscon�ável à medida que o número de amostras da população cresce.

Nesse trabalho, o limiar será calculado com base na distribuição t-Student [DeG89].Uma maneira de estimar um parâmetro desconhecido é construir um intervalo de con-�ança que possua uma probabilidade igual a 1 − α (nível de con�ança) - sendo α onível de signi�cância. Esse valor indica a probabilidade de que o intervalo contenhao verdadeiro parâmetro.

Para o cálculo do intervalo de con�ança, no caso em que o valor da variânciapopulacional é conhecida, supõe-se que a distribuição de dados é regida por umaNormal. Todavia, se o desvio padrão é desconhecido, o mesmo precisa ser estimado.Tendo uma amostra aleatória de tamanho n, o estimador para σ2 é dado por:

S2 =1

n− 1n∑

i=1

(xi − x)2, (.)

sendo x a média dos padrões no conjunto de validação, xi o i-ésimo padrão nessemesmo conjunto, e S2 a variância amostral.

Sabendo que S2 também é uma variável aleatória, não se pode considerar quetenha distribuição Normal, simplesmente. A distribuição t-Student (Equação .)

41

se adapta a essa circunstância, na qual a variância σ2 é desconhecida, pois ela dependedo valor n, ou seja, do número de elementos da amostra. Uma amostra de tamanhon possui n − 1 graus de liberdade. Essa distribuição é semelhante à distribuiçãoNormal, porém, menos "achatada". Quando n tende para o in�nito, a distribuiçãode t-Student tende para a distribuição Normal. A Figura 2.4 mostra o grá�co dadistribuição t-Student.

Figura 2.4: Grá�co da distribuição t-Student.

t =x− µ√

S2

n

, (.)

Para a construção de um intervalo de con�ança para µ com nível de con�ançaigual a 1− α, utiliza-se a Equação ..

P (x− tα2

S√n

< µ ≤ x + tα2

S√n

) = 1− α, (.)o valor de tα

2mostrado na Equação . e na Figura 2.4, para a distribuição t-Student,

é tabelado.

2.4 SISTEMA BIOMÉTRICO MULTIMODAL

2.4.1 Estado da Arte

A Tabela 2.1 mostra quais modalidades biométricas têm sido usadas para comporsistemas multibiométricos. Duas modalidades, uma física e uma comportamental,

42

têm dominado a maioria dos trabalhos, são elas: face e voz, respectivamente. Algunstrabalhos usaram apenas características físicas [KMJS97, HJ98, JR02, RJ03, WTJ03,KWSJ03]. Já trabalhos que combinassem apenas características comportamentaisnão foram encontrados.

A motivação de compor técnicas biométricas possui o mesmo objetivo de combi-nação de classi�cadores: agrupar as melhores funcionalidades de cada uma das partes.Técnicas biométricas foram divididas em duas grandes categorias (Seção 2.2): físicase comportamentais. A união de uma técnica biométrica física (exemplo: face) comuma técnica biométrica comportamental (exemplo: assinatura) pode conduzir a umganho de desempenho.

Brunelli e Falavigna [BF95] apresentaram um artigo, no qual um sistema de iden-ti�cação pessoal multibiométrico foi usado. A resposta do sistema era dada por umacombinação de cinco classi�cadores, dos quais dois eram baseados em característicasvocais e três baseados em aspectos visuais da face, tais como: olhos, nariz e boca.Porém, antes de realizar a classi�cação, as características de cada uma das modali-dades biométricas foram submetidas a um processo de normalização, fundamentadonos conceitos de robusts statistical. Para realizar os experimentos, dados de 89 pes-soas foram colhidos em três seções. A primeira seção foi usada para treinamento, eas outras duas para validar o sistema. Cada seção consistia de 82 iterações do indiví-duo com o sistema. A taxa de classi�cação correta do sistema integrado foi de 98%.Resultado que representa uma melhora signi�cativa em relação as taxas individuaisde acerto: 88% para voz e 91% para face.

Na mesma linha do trabalho desenvolvido por Brunelli, em 1996, Acheroy etal. [ABB+96] desenvolveram um sistema de identi�cação baseado em voz e imagensde faces. O banco de dados usado foi confeccionado pelos próprios autores e continha37 classes com 5 imagens por classe. Durante a captura de cada face, o indivíduocontava de 0 (zero) até 9 (nove), em sua língua nativa. O melhor resultado dacombinação das modalidades atingiu os seguintes erros: 2,0% de FRR e 2,72% deFAR.

43

Trab

alho

Face

Voz

ImpressãoDigita

lMão

Mov

imento

dosL

ábios

Íris

Assin

atura

Brun

ellie

Falav

igna

[BF9

5]⊗

⊗

Ache

royet

al.[AB

B+96

]⊗

⊗

Duc

etal.[DBB

+97

,BBD

F97]

⊗⊗

Diec

kman

net

al.[UD

W97

]⊗

⊗⊗

Jourlin

etal.[JL

GW

97]

⊗⊗

Kitt

leret

al.[KMJS

97]

⊗

Kitt

leret

al.[KHD

M98

]⊗

⊗

Hong

eJa

in[H

J98]

⊗⊗

Verlind

eet

al.[VC

A00]

⊗⊗

Jain

etal.[JL

K99

]⊗

⊗⊗

Ross

eJa

in[JR0

2,RJ

03]

⊗⊗

⊗

Sand

ersonePa

liwal

[SP0

3c]

⊗⊗

Wan

get

al.[W

TJ03

]⊗

⊗

Kum

aret

al.[KW

SJ03

]⊗

Cavalca

ntie

Filho[C

F03b

]⊗

⊗

Tabe

la2.1.

Técn

icasbiom

étric

asusad

asem

trab

alho

srecentes

para

aidenti�

caçãope

ssoa

lmultim

odal

emam

bientescontrolado

s

(apresentado

sem

orde

mcron

ológ

ica).

44

Bigun et al. [BBDF97, DBB+97] desenvolveram um algoritmo, baseado na teoriaBayesiana, que tinha por objetivo conciliar a saída de cada um dos classi�cadoresindividuais na direção correta. A validação do framework ocorreu usando dadosreais do banco de dados M2VTS. Usando características da face e da voz, o sistemamelhorou a qualidade de cada classi�cador individual e atingiu taxa de acerto iguala 99,5%. Também em 1997, Dieckmann et al. [UDW97] propuseram a combinaçãode três características biométricas, duas delas dinâmicas: a voz e o movimento doslábios; e uma estática: a imagem da face. O banco de dados foi desenvolvido pelospróprios autores e continha 15 pessoas. Os melhores resultados foram alcançadoscombinando as modalidades pela votação 2-de-3: 0,2% de FRR e 0,3% de FAR.Jourlin et al. [JLGW97] desenvolveram um sistema de veri�cação acústico-labial.Tal sistema era composto de dois classi�cadores: um que usava características vi-suais (movimento dos lábios) e outro que usava aspectos sonoros. O banco de dadosaudiovisual M2TVS foi usado para a realização dos experimentos. O melhor resultadofoi encontrado após a combinação: 2,8% de FRR e 0,5% de FAR.

Kittler et al. [KMJS97, KHDM98] desenvolveram dois trabalhos sobre identi�-cação pessoal. No primeiro deles, diferentes informações foram extraídas apenas daface do usuário: face e per�l da face. Já no segundo trabalho [KHDM98], eles com-binaram características da face com a voz, usando diferentes regras de combinação:Produto, Média, Votação, Máximo e Mínimo. Os experimentos foram realizados so-bre o banco de dados M2VTS e o melhor resultado encontrado, após a combinação,foi de 0,7% de ERR. A combinação de duas técnicas biométricas baseadas em ima-gens foi proposta por Hong e Jain [HJ98] em 1998. O sistema de identi�cação pessoalproposto usava impressões digitais e faces. Três bancos de dados de faces foram usa-dos, resultando num total de 86 pessoas, são eles: o banco de dados da Olivetti(ORL [ORL]), o banco de dados da Universidade de Bern e o banco de dados doMIT Media Lab. As impressões digitais provieram do banco de dados da Universi-dade Estadual de Michigan, contendo 150 pessoas. O melhor resultado encontradofoi 1,8% de FRR e 0,1% de FAR.

45

Verlinde et al. [VCA00] propuseram uma arquitetura geral, baseada na teoria deBayes, para resolver o problema de veri�cação pessoal multimodal. Duas modalidadesbiométricas foram extraídas do banco de dados M2VTS: face e voz. O melhor resul-tado da arquitetura proposta foi encontrado usando um modelo de regressão logísticae alcançou as seguintes taxas: 2,7% de FRR e 0,0% de FAR. No trabalho de Jainet al. [JLK99], a composição de duas técnicas biométricas físicas (impressão digitale face) com uma técnica comportamental (voz) foi implementada. Os experimentosforam realizados a partir de um banco de dados adquirido no ambiente do labo-ratório. Os sistemas de veri�cação pessoais multimodais, na sua maioria, adquireminformações de ambientes bem controlados. Choudhury et al. [CCJA99] propuseramuma forma de combinar imagens de vídeo com áudio sem restrições de aquisição. Osistema admite que a imagem da face esteja rotacionada e que a voz apresente padrõesruidosos. O sistema atingiu 0% de erro com um banco de dados de 26 pessoas.

Ross e Jain [JR02, RJ03] estudaram mecanismos para extrair parâmetros ine-rentes a cada usuário com o intuito de compor um sistema multibiométrico usandotrês características: impressão digital, face e geometria da mão.

Sanderson e Paliwal [SP03c] utilizam um sistema de veri�cação bimodal que com-bina a fala (independente do texto) com a face. Os experimentos foram realizadossobre o banco de dados VidTIMIT. As características foram extraídas usando PCA(para a face) e Maximum Auto-Correlation Values (para a voz). Antes de realizar acombinação das decisões dos classi�cadores, um processo de normalização foi usado.

A face é uma técnica biométrica "amigável"e não invasiva, enquanto que a írisé uma das que consegue melhor desempenho. Wang et al. [WTJ03] construíramum sistema que combina essas duas técnicas, através integração de decisão aplicadaà regra da soma ponderada. PCA é um algoritmo que encontra pontos críticosde variações locais que foram usados para extrair características da face e da íris,respectivamente.

A combinação de duas técnicas biométricas extraídas da mesma fonte foi estudadapor Kumar et al. [KWSJ03]. Eles usaram uma câmera digital para coletar 1000

46

imagens da mão de 100 pessoas. A parte central da palma da mão foi dividida em144 blocos de tamanho 24x24 pontos. De cada um dos blocos, o desvio-padrão dasimagens em tons de cinza foi calculado. Dezessete características geométricas foramcalculadas, sendo elas: comprimento de cada um dos dedos (4 caracerísticas - excetoo polegar), largura de cada um dos dedos (8 características - duas larguras por dedo,exceto o polegar), comprimento e largura da palma, além da área e do tamanho damão. Os resultados alcançados usando a regra de combinação Máximo [KHDM98],conseguiram melhores resultados do que o uso das técnicas isoladamente.

A primeira iniciativa de se combinar face com assinatura, diante do nosso conhe-cimento, foi realizada por Cavalcanti e Carvalho Filho [CF03b]. Essas duas biome-trias representam as técnicas com maior grau de aceitação social. A assinatura éamplamente utilizada, em diversos documentos, como validação de autenticidade. Jáa foto do rosto é encontrada nos mais variados documentos de uso diário: identidade,carteira de motorista e crachás. Características Estruturais e PCA foram usadas,respectivamente, para capturar informações relevantes das assinaturas e das faces.As duas modalidades foram submetidas ao mesmo classi�cador: Baseado em Distân-cia. Após a classi�cação, os métodos de normalização propostos por Brunelli [BF95]e por Sanderson [SP03c], foram utilizados. Os experimentos deram ligeira vantagemao segundo método de normalização e mostraram que a combinação melhorou o de-sempenho do processo de veri�cação, quando comparado com o uso de apenas umamodalidade por vez.

2.4.2 Arquiteturas para Integração de Modalidades Biométricas

No desenvolvimento de um sistema multimodal, é necessário decidir qual arquite-tura de integração será empregada. Analisando a integração multimodal clássica,três arquiteturas são comumente lembradas: Integração de Dados, Integração deCaracterísticas e Integração de Respostas (Decisões) [Das97, SPH98]. Essas trêspossibilidades são detalhadas nas seções que seguem.

47

2.4.2.1 Integração de Dados A Figura 2.5 mostra um esquema para a inte-gração de dados. Nesse modelo, a integração é realizada através da união das obser-vações percebidas por diversos sensores, sendo usada apenas quando as observaçõessão do mesmo tipo.

BIOMETRIA 1

BIOMETRIA 2

BIOMETRIA n

�

VETOR DE DADOS

COMBINADO

CLASSIFICADOR DECISÃO

Figura 2.5: Integração de Dados.

Em geral, esse tipo de combinação não é usada em sistemas multibiométricos,mesmo sendo o nível de integração no qual menos informação é desperdiçada. Issoocorre porque as observações são, normalmente, diferentes, provenientes de tiposdistintos de sensores, como, por exemplo, uma câmera que captura uma face e ummicrofone que captura voz.

2.4.2.2 Integração de Características Nesse modelo de integração, as carac-terísticas extraídas de diversas fontes são combinadas, formando um vetor único(Figura 2.6).

48

EXTRAÇÃO DE CARACTERÍSTICAS

BIOMETRIA 1

EXTRAÇÃO DE CARACTERÍSTICAS

BIOMETRIA 2

EXTRAÇÃO DE CARACTERÍSTICAS

BIOMETRIA n

��

VETOR DE CARACTERÍSTICAS

COMBINADO

CLASSIFICADOR DECISÃO

Figura 2.6: Integração de Características.

Embora perca mais informações do que o modelo anterior, a integração de carac-terísticas é menos sensível ao ruído [SPH98]. Uma possível desvantagem é encontradano tamanho do vetor combinado de características. Esse aumento na dimensionali-dade dos dados de entrada pode acarretar a necessidade de mais padrões de treina-mento (curse of dimensionality). Além disso, é necessário, também, normalizar osdados de diversas fontes, a �m de impedir in�uência indevida de algumas caracterís-ticas sobre outras.

2.4.2.3 Integração de Decisões Nesse tipo de integração, cada modalidadebiométrica passa suas características para um classi�cador dedicado, que gera umaresposta. Todas as respostas são combinadas com o intuito de gerar uma decisãoúnica. Uma representação esquemática da Integração de Decisão é apresentada naFigura 2.7.

49

EXTRAÇÃO DE CARACTERÍSTICAS

BIOMETRIA 1

EXTRAÇÃO DE CARACTERÍSTICAS

BIOMETRIA 2

EXTRAÇÃO DE CARACTERÍSTICAS

BIOMETRIA n

��

CLASSIFICADOR DECISÃO

CLASSIFICADOR

CLASSIFICADOR

SU

PE

RV

ISO

R

�

Figura 2.7: Integração de Decisão.

Na Integração de Decisões, cada classi�cador é um especialista que observa apenasas características de cada uma das fontes de entrada. A estratégia é combinar aresposta de cada um dos classi�cadores em uma resposta global, fornecida por umsupervisor. Pode-se dividir o tipo de resposta de classi�cadores em: soft e hard. Noprimeiro tipo, a saída de cada um dos classi�cadores é um valor real, normalmente,no intervalo entre 0 e 1. Esse tipo de resposta preserva informação, ao contrário dosegundo caso (hard), no qual apenas duas saídas são suportadas: 0 para rejeitar opadrão e 1 para aceitar o padrão. A Integração de Decisão é o método mais robustoe resistente a erros provenientes de falhas dos sensores [SPH98].

2.4.2.4 Comentários Outras arquiteturas de integração são factíveis. Uma formahíbrida pode ser conseguida unindo informações dos modelos de integração: carac-terísticas e decisão, apresentados acima. Isto é, apresentar a vários classi�cadores osvetores conseguidos da fusão de características de várias fontes. Nessa arquiteturahíbrida, a decisão soft ou hard pode ser empregada.

Pode-se pensar, também, em arquiteturas não-seqüenciais, nas quais os dados deentrada podem in�uenciar na decisão gerada pelo supervisor; bem como, arquiteturasrecorrentes. Vale salientar que essas arquiteturas são mais complexas do que asapresentadas anteriormente e, por essa razão, mais difíceis de serem implementadase avaliadas. Encontrar o melhor método de integração para um dado problema é

50

uma questão não trivial, que deve levar em consideração os recursos computacionaisdisponíveis e características inerentes a cada um dos sensores.

As biometrias mostradas nas Figuras 2.5, 2.6 e 2.7 podem ser provenientes de dife-rentes fontes biométricas (face, assinaturas, impressão digital), ou ainda, diferentesobservações da mesma característica biométrica, como nos trabalhos de Kittler etal.[KMJS97] e de Kumar et al. [KWSJ03].

Alguns trabalhos mostraram vantagens quando decisões são combinadas. No tra-balho de Kumar et al. [KWSJ03], a impressão da palma da mão foi combinada comcaracterísticas geométricas da mão usando duas arquiteturas de combinação: carac-terísticas e decisão. Os melhores resultados foram encontrados combinando decisões.Os trabalhos desenvolvidos por Guimarães et al. [GMC02, GMC03] mostraram quea combinação das respostas de três redes neurais podem melhorar os resultados dapredição de estruturas secundárias de proteínas através de decisão soft.

51

CAPÍTULO 3

MÉTODOS DE EXTRAÇÃO DE