universidade da beira interior - di.ubi.pthugomcp/doc/emanuelgrancho.pdf · neste trabalho irei...

Universidade Da Beira InteriorDepartamento de Informatica

Reconhecimento Biométrico Periocular:Segmentação de Dados

Emanuel Grancho, No23637Licenciatura Eng. Informatica

Orientador de projecto: Prof. Doutor Hugo Proenca

Julho, 2011

Agradecimentos

É nesta parte do trabalho onde posso demonstrar o meu profundoagradecimento a todos os que me acompanharam nesta jornada.

Primeiramente queria demonstrar o meu sincero agradecimento ao meuorientador de projeto, Professor Doutor Hugo Proença, pela sua disponi-bilidade, simpatia, apoio e acompanhamento que foram cruciais para aelaboração deste projeto, não esquecendo toda a informação e conheci-mento científico que me transmitiu.

Gostaria de agradecer a todos os colegas do Soft Computing and ImageAnalysis Lab (SOCIA Lab) pela disponibilidade para ajudar e boa dispo-sição, essencial a um bom ambiente de trabalho. Em particular ao MiguelAfonso que me ajudou incansavelmente.

Não posso deixar de agradecer à minha família, aos meus pais pelo seuesforço em tornarem possível esta etapa do meu percurso académico e emespecial à minha irmã pelo interesse, preocupação e ajuda demonstrados.

Também gostaria de agradecer a minha namorada pela ajuda prestadae pela paciência por todas as horas em que me teve de ouvir falar dosproblemas do projeto.

i

Conteúdo

Agradecimentos i

Conteúdo iii

Lista de Figuras vii

Acrónimos xi

1 Introdução 11.1 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Região periocular . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Visão Computacional . . . . . . . . . . . . . . . . . . . . . . . 31.4 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.5 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Segmentação de Imagem 72.1 Segmentação de Imagem . . . . . . . . . . . . . . . . . . . . . 72.2 Tipos de segmentação . . . . . . . . . . . . . . . . . . . . . . 82.3 Algoritmos de Clustering . . . . . . . . . . . . . . . . . . . . . 9

2.3.1 Fuzzy c-means . . . . . . . . . . . . . . . . . . . . . . . 10

3 Deteção de Objetos - Viola and Jones 133.1 Deteção de objetos . . . . . . . . . . . . . . . . . . . . . . . . 13

3.1.1 Imagem integral . . . . . . . . . . . . . . . . . . . . . 143.1.2 Características . . . . . . . . . . . . . . . . . . . . . . . 143.1.3 AdaBoost . . . . . . . . . . . . . . . . . . . . . . . . . . 153.1.4 Cascatas . . . . . . . . . . . . . . . . . . . . . . . . . . 15

iii

iv CONTEÚDO

4 Método proposto 174.1 Conjunto de imagens . . . . . . . . . . . . . . . . . . . . . . . 184.2 Deteção do íris e do olho . . . . . . . . . . . . . . . . . . . . . 18

4.2.1 Método de deteção . . . . . . . . . . . . . . . . . . . . 184.3 Divisão por áreas . . . . . . . . . . . . . . . . . . . . . . . . . 204.4 Segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.4.1 Alteração do espaço de cores . . . . . . . . . . . . . . 224.4.2 Matriz de características . . . . . . . . . . . . . . . . . 234.4.3 Normalização . . . . . . . . . . . . . . . . . . . . . . . 234.4.4 Aplicação de pesos . . . . . . . . . . . . . . . . . . . . 23

4.5 Pesos e características . . . . . . . . . . . . . . . . . . . . . . . 244.5.1 Sub-imagem Sobrancelha . . . . . . . . . . . . . . . . 244.5.2 Sub-imagem olho . . . . . . . . . . . . . . . . . . . . . 254.5.3 Sub-imagem ìris . . . . . . . . . . . . . . . . . . . . . 29

4.6 Análise da matriz resultante do FCM . . . . . . . . . . . . . . 314.7 Escolha do cluster . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.7.1 Seleção do cluster da sobrancelha . . . . . . . . . . . . 324.7.2 Seleção do cluster esclera . . . . . . . . . . . . . . . . . 334.7.3 Selecção do cluster íris . . . . . . . . . . . . . . . . . . 34

4.8 Correção dos clusters encontrados . . . . . . . . . . . . . . . . 354.9 Correção do cluster esclera . . . . . . . . . . . . . . . . . . . . 354.10 Correção do cluster íris . . . . . . . . . . . . . . . . . . . . . . 374.11 Deteção da pupila . . . . . . . . . . . . . . . . . . . . . . . . . 374.12 Junção das áreas segmentadas . . . . . . . . . . . . . . . . . . 38

5 Experiências realizadas 415.1 Avaliação do método . . . . . . . . . . . . . . . . . . . . . . . 41

5.1.1 Conjuntos de imagens para teste do método proposto 425.1.2 Imagens Obtidas . . . . . . . . . . . . . . . . . . . . . 435.1.3 Imagens esperadas . . . . . . . . . . . . . . . . . . . . 435.1.4 Quantificação da qualidade . . . . . . . . . . . . . . . 44

5.2 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465.2.1 Conjunto óculos . . . . . . . . . . . . . . . . . . . . . . 465.2.2 Conjunto íris clara . . . . . . . . . . . . . . . . . . . . 505.2.3 Conjunto olho semi-fechado . . . . . . . . . . . . . . . 545.2.4 Conjunto íris deslocada . . . . . . . . . . . . . . . . . 585.2.5 Avaliação de todos os conjuntos . . . . . . . . . . . . 63

CONTEÚDO v

6 Conclusão e trabalho futuro 656.1 Conclusão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656.2 Trabalho Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Bibliografia 67

Lista de Figuras

1.1 Região Periocular . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.1 Cálculo do total de pixeis . . . . . . . . . . . . . . . . . . . . 143.2 Características do detetor de objetos . . . . . . . . . . . . . . 153.3 Cascata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4.1 Estrutura do método proposto . . . . . . . . . . . . . . . . . . 174.2 Exemplo de uma imagem fornecida . . . . . . . . . . . . . . 184.3 Exemplo de uma imagem fornecida . . . . . . . . . . . . . . 184.4 Exemplo de uma imagem fornecida . . . . . . . . . . . . . . 184.5 Imagem positiva do processo de aprendizagem do olho . . . 194.6 Imagem negativa do processo de aprendizagem do olho . . 194.7 Imagem positiva do processo de aprendizagem da íris . . . . 194.8 Imagem negativa do processo de aprendizagem da íris . . . 194.9 Deteção da íris e do olho . . . . . . . . . . . . . . . . . . . . . 204.10 Sub-imagem da sobrancelha . . . . . . . . . . . . . . . . . . . 214.11 Sub-imagem do olho . . . . . . . . . . . . . . . . . . . . . . . 214.12 Sub-imagem da íris . . . . . . . . . . . . . . . . . . . . . . . . 214.13 Passos pré-segmentação . . . . . . . . . . . . . . . . . . . . . 224.14 Sub-imagem da sobrancelha em escala de cinzento . . . . . . 224.15 Sub-imagem do olho no espaço de cores HSV . . . . . . . . . 224.16 Sub-imagem da íris em escala de cinzento . . . . . . . . . . . 234.17 Primeiro resultado da segmentação da sobrancelha . . . . . 254.18 Aplicação dos pesos mais indicados a imagem . . . . . . . . 254.19 Ponto médio . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.20 Ponto P3 e P4 . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

vii

viii LISTA DE FIGURAS

4.21 Primeira segmentação do olho . . . . . . . . . . . . . . . . . . 284.22 Segmentação da sub-imagem do olho . . . . . . . . . . . . . 284.23 Segmentação da sub-imagem do olho . . . . . . . . . . . . . 294.24 Ponto central da sub imagem íris . . . . . . . . . . . . . . . . 294.25 Primeira segmentação da íris . . . . . . . . . . . . . . . . . . 304.26 Resultado da segmentação da íris após vários testes . . . . . 314.27 Resultado do FCM na sub-imagem da sobrancelha . . . . . . 314.28 Resultado do FCM na sub-imagem do olho . . . . . . . . . . 314.29 Resultado do FCM na sub-imagem da íris . . . . . . . . . . . 324.30 Zonas de exclusão do cluster sobrancelha . . . . . . . . . . . 324.31 Raio da íris . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.32 Vetores do cluster esclera . . . . . . . . . . . . . . . . . . . . . 344.33 vectores do cluster íris . . . . . . . . . . . . . . . . . . . . . . . 344.34 Resultado da segmentação da esclera . . . . . . . . . . . . . . 364.35 Aplicação das parábolas . . . . . . . . . . . . . . . . . . . . . 364.36 Resultado da segmentação da esclera . . . . . . . . . . . . . . 364.37 Sub imagem íris no esquema de cores HSV . . . . . . . . . . 374.38 Sub imagem íris em binário . . . . . . . . . . . . . . . . . . . 374.39 Eliminação dos pontos não pupila . . . . . . . . . . . . . . . 384.40 Segmentação final da pupila . . . . . . . . . . . . . . . . . . . 384.41 Sobreposição da sub imagem olho . . . . . . . . . . . . . . . 394.42 Sobreposição final . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.1 Conjunto óculos . . . . . . . . . . . . . . . . . . . . . . . . . . 425.2 Conjunto íris clara . . . . . . . . . . . . . . . . . . . . . . . . . 425.3 Conjunto semi-fechado . . . . . . . . . . . . . . . . . . . . . . 425.4 Conjunto íris deslocada . . . . . . . . . . . . . . . . . . . . . . 425.5 Imagens obtidas . . . . . . . . . . . . . . . . . . . . . . . . . . 435.6 Imagem esperada . . . . . . . . . . . . . . . . . . . . . . . . . 445.7 Imagem de avaliação . . . . . . . . . . . . . . . . . . . . . . . 445.8 Matriz de confusão . . . . . . . . . . . . . . . . . . . . . . . . 455.9 Imagem de avaliação com óculos com a pior segmentação . 465.10 Imagem esperada com óculos com a pior segmentação . . . 475.11 Imagem obtida com óculos com a pior segmentação . . . . . 475.12 Imagem de avaliação com óculos com a pior segmentação . 485.13 Imagem esperada com óculos com a melhor segmentação . . 485.14 Imagem obtida com óculos com a melhor segmentação . . . 485.15 Imagem de avaliação com a íris clara e com a pior segmentação 50

LISTA DE FIGURAS ix

5.16 Imagem esperada com a íris clara e com a pior segmentação 515.17 Imagem obtida com a íris clara e com a pior segmentação . . 515.18 Imagem de avaliação com a íris clara e com a melhor seg-

mentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525.19 Imagem esperada com a íris clara e com a melhor segmentação 525.20 Imagem obtida com a íris clara e com a melhor segmentação 525.21 Imagem de avaliação com olho semi-fechado e com a pior

segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555.22 Imagem esperada com olho semi-fechado e com a pior seg-

mentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555.23 Imagem obtida com olho semi-fechado e com a pior seg-

mentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555.24 Imagem de avaliação com olho semi-fechado e com a melhor

segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565.25 Imagem esperada com olho semi-fechado e com a melhor

segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575.26 Imagem obtida com olho semi-fechado e com a melhor seg-

mentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575.27 Imagem de avaliação com a íris ao canto dos olho e com a

pior segmentação . . . . . . . . . . . . . . . . . . . . . . . . . 595.28 Imagem esperada com a íris ao canto dos olho e com a pior

segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595.29 Imagem obtida com a íris ao canto dos olho e com a pior

segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595.30 Imagem de avaliação com a íris ao canto dos olho e com a

melhor segmentação . . . . . . . . . . . . . . . . . . . . . . . 605.31 Imagem esperada com a íris ao canto dos olho e com a

melhor segmentação . . . . . . . . . . . . . . . . . . . . . . . 615.32 Imagem obtida com a íris ao canto dos olho e com a melhor

segmentação . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Acrónimos

SOCIA Lab Soft Computing and Image Analysis Lab

FCM Fuzzy C-means

OPENCV Open Source Computer Vision

xi

Capítulo 1

Introdução

O seguinte trabalho enquadra-se no âmbito do projeto de investiga-ção PTDC/EIA/103945/2008, “NECOVID: Covert Negative Biometric Recogni-tion”,financiado pela FCT/FEDER.

Neste trabalho irei abordar uma vertente de reconhecimento biomé-trico, o reconhecimento biométrico periocular, que começa a surgir com oobjetivo de dar suporte ao reconhecimento biométrico da íris.

1.1 Motivação

O reconhecimento biométrico surgiu com a necessidade de identificaruma pessoa de forma indiscutível e assim acabar com a falsificação deidentidades. Existem vários tipos de reconhecimento biométrico e cada umcom base em diferentes características do corpo, as veias, impressão digital,face, íris, retina, voz, geometria da mão, são alguns exemplos de zonas docorpo que podem ser usadas como identificação pessoal. Embora algunssejam mais utilizados que outros, todos têm como finalidade reconhecerpessoas com base nas suas características biométricas.

Atualmente o uso de sistemas biométricos é mais frequente em casosonde seja importante a restrição de acesso. Apesar dos sistemas existentesserem cada vez mais comuns no dia a dia, todos eles necessitam da coo-peração da pessoa, de forma a que o sistema possa recolher a informaçãonecessária nas condições necessárias.

1

2 Introdução

Com o desenvolvimento destes sistemas de reconhecimento, surge anecessidade de diminuir a cooperação da pessoa. O desenvolvimento eimplementação de um sistema automatizado capaz de exercer o reconheci-mento biométrico não cooperativo é um objetivo ambicioso. A diminuiçãoda cooperação por parte do sujeito traz por acréscimo alguns fatores quecomplicam consideravelmente o processo de reconhecimento.

No que diz respeito ao reconhecimento através da íris, fatores comoa distância, luminosidade, orientação do olho ou da face, área de análisecom pouca informação, tornam o reconhecimento não cooperativo da írisuma tarefa difícil. Com o objetivo de melhorar o reconhecimento biomé-trico não cooperativo da íris, surge uma nova vertente de reconhecimentobiométrico responsável por analisar a informação contida em redor da íris,o reconhecimento biométrico periocular [7].

1.2 Região periocular

A região periocular é toda a região circundante aos olhos. Esta é com-posta por elementos característicos e únicos de cada pessoa, o que a tornarica em informação útil para o processo de reconhecimento. Sendo carac-terizada pelos seguinte elementos:

Figura 1.1: (1)Sobrancelhas,(2)Íris,(3)Pupila,(4)Esclera,(5)Pálpebras,(6)Pele.

1.3 Visão Computacional 3

1.3 Visão Computacional

A área de visão computacional engloba todos os métodos e técnicascapazes de proporcionar ao sistema computacional uma interpretação dasimagens a semelhança do sistema de visão humano [4]. A nível compu-tacional a interpretação da imagem pode ser traduzida numa seleção ediferenciação de informação contida na mesma, criando assim um estru-tura de informação útil para outros processos adjacentes ao uso da imagem,como por exemplo o reconhecimento de características. Apesar desta áreaestar cada vez mais desenvolvida, o seu grau de desempenho comparadocom o da visão humana, é muito pequeno. A estrutura de um sistema devisão computacional pode dividir-se em quatro fases:

1. Aquisição de Imagem: O processo de aquisição de imagem consistena obtenção de um conjunto de imagens digitais com interesse paraa aplicação a realizar. Este conjunto de imagens pode ser obtido porvários meios, como câmaras, sensores, webcam’s etc. Consoante omeio usado para a captação da imagem, também varia a estruturana qual a informação fica armazenada (imagem bidimensional ouimagem tridimensional). No caso da imagem digital bidimensionalé usada um estrutura em forma de matriz onde é armazenada todainformação da imagem. A cada valor destas posições na matriz dá-se o nome de pixel, estes podem ser valores referentes a intensidadede luz ou ao valor das cores contidas na imagem. Também podemidentificar valores físicos como profundidade, absorção e reflexão.

2. Pré-processamento: O pré-processamento consiste na aplicação demétodos e técnicas á imagem, antes da extração de informação. Aaplicação de filtros, alteração do esquema de cores são alguns bonsexemplos de pré-processamento. A aplicação destes métodos e téc-nicas tem por objetivo destacar características na imagem.

3. Extração de características: Nesta fase é estudado o comportamentodos objetos contidos na imagem e o que pretendemos destacar. Comeste passo poderemos assim assimilar as características que procura-mos salientar na segmentação.

4 Introdução

4. Deteção e segmentação: Consiste no agrupamento de pixeis segun-dos as características obtidas na fase anterior. Terminada a segmen-tação torna-se possível reconhecer computacionalmente um certo ob-jeto.

1.4 Objetivos

Este projeto tem por objetivo o planeamento e implementação de ummétodo para segmentação de dados que estão contidos na região perio-cular. Pretende-se assim, com base na escolha de um ou mais algoritmosde segmentação (clustering) já existentes, poder agrupar diferentes regiõesconsoante o elemento a que pertencem. Como resultado final, será possívelidentificar na imagem em análise regiões correspondentes à íris, sobrance-lhas e esclera. Com o reconhecimento destas regiões espera-se que a fasede reconhecimento possa melhorar consideravelmente.

1.5 Resumo

Este relatório está dividido em cinco capítulos, sedo o primeiro umaintrodução ao trabalho realizado.

Capítulo 2 - Segmentação da imagem Neste capítulo e feita uma descri-ção do que é a segmentação de uma imagem. São apresentadasalgumas técnicas para a segmentação de uma imagem, é explicado oque é um algoritmo de clustering e são apresentados alguns algorit-mos de clustering . Por fim é explicado como funciona o algoritmo declustering Fuzzy c-Means.

Capitulo 3 - Deteção de objetos - Viola and Jones No capítulo três, é apre-sentado um método para a deteção de objetos em imagens, propostopor Viola and Jones, e é explicado o seu funcionamento.

Capitulo 4 - Método proposto É a apresentação do método proposto paraa realização deste projeto, a segmentação da região periocular. Nestecapítulo será descrito como todo o método funciona.

1.5 Resumo 5

Capitulo 5 - Experiências realizadas Neste capítulo serão apresentadostodos os resultados obtidos pelo método proposto, tirando assimalgumas conclusões sobre a eficiência do método.

Capitulo 6 - Conclusão e trabalhos futuros Por ultimo no capítulo seisserá apresentada uma conclusão do trabalho realizado e apresen-tados alguns trabalhos futuros que poderão ser realizados no âmbitodo trabalho aqui desenvolvido.

Capítulo 2

Segmentação de Imagem

2.1 Segmentação de Imagem

A segmentação de uma imagem pode ser aplicada a inúmeros proble-mas de diversas áreas. Casos como análise de imagens medicas, localizaçãode objetos em imagens de satélite, análise de dados biométricos necessáriosao reconhecimento biométrico, controlo de tráfego, aplicações que possibi-litem as máquinas de reconhecer objetos nas linhas de produção, tambémchamada visão máquina, são alguns dos exemplos em que a segmentaçãoé importante.

No caso particular do reconhecimento biométrico, a segmentação dasimagens é vista como um passo fulcral que antecede o reconhecimento [2].Para que os processos de reconhecimento possam dar bons resultados, énecessário primeiro conhecer a estrutura e os objetos contidos na imagemem análise.

A segmentação parece ser uma operação fácil, visto que nós, sereshumanos, a partir do nosso sistema visual conseguimos distinguir numgrupo de objetos, as suas diferenças e semelhanças. A nível computacionalo mesmo não se passa, uma imagem com diferentes objetos não passa deuma matriz de informação relativa aos pixeis que a compõem.

O processo de segmentação tem por objetivo desempenhar o mesmopapel que o nosso sistema visual e fazer a diferenciação entre os objetoscontidos na imagem. Este, para além de diferenciar objetos também podeser visto como um processo de redução do volume de informação, tor-nando assim a estrutura de interesse da imagem muito mais clara, o que é

7

8 Segmentação de Imagem

vantajoso para a aplicação de um processo de reconhecimento[1].Apesar dos processos de segmentação existentes conseguirem bons

resultados, estes estão sempre dependentes das características que o uti-lizador queira procurar, o que torna o processo muito dependente doconhecimento das características procuradas.

2.2 Tipos de segmentação

Para a segmentação de uma imagem existe um conjunto de técnicas ealgoritmos propícios a esta tarefa. Embora todos eles tenham o mesmoobjetivo, por vezes é necessário uma combinação entre elas para obterum bom resultado. Tudo depende do tipo de informação que queremosagrupar na imagem.

Os processos mais simples de segmentação têm por base a descontinui-dade e a similaridade da imagem. No que diz respeito à segmentação pordescontinuidade, esta é feita com base nas alterações de intensidade, e épropícia à deteção de linhas e contornos.

Em relação à segmentação por similaridade, a sua principal caracterís-tica é o agrupamento dos pixeis consoante a sua semelhança e segundo umdeterminado critério. Como exemplo deste tipo de segmentação temos atransformação para imagem binária, thresholding e as operações morfoló-gicas.

O Thresholding consiste na transformação de uma imagem em escalade cinza, para um imagem em binário. A segmentação utilizando estatécnica consiste na atribuição do valor zero ou um, aos pixeis que estiveramacima ou abaixo do valor limite estabelecido previamente, conhecido comointensity threshold.

Em relação as operações morfológicas estas podem ser dividias emdois tipo, erosão e dilatação. A erosão consiste em verificar se, para cadapixel branco, existe um número de vizinhos brancos menor que o limiteestabelecido, caso se verifique o pixel é invertido. A dilatação é a operaçãoinversa, caso o numero de vizinhos brancos exceda o limite estabelecido,o pixel é invertido. Estes dois tipos de operações morfológicas tambémpodem ser combinadas, obtendo assim as operações de opening e closing.A operação de opening consiste numa erosão seguida de dilatação e aoperação de closing consiste num dilatação seguida de erosão.

A segmentação de um imagem também é possível realizar com base em

2.3 Algoritmos de Clustering 9

histogramas. Esta técnica consiste no cálculo do histograma da imageme a utilização das suas características para a localização de clusters. Estatécnica pode obter melhores resultados caso seja aplicada recursivamenteà imagem, com o objetivo de a dividir em clusters mais pequenos.

Como foi descrito anteriormente, a segmentação é o processo responsá-vel pelo agrupamento de pixeis de uma determinada imagem e representa-los como um único objeto. Com esta finalidade a segmentação tenta darresposta ao unsupervised learning problem, que consiste em encontrar umaestrutura dentro de um grupo de informação. A este tipo de agrupamentodá-se o nome de clustering, onde um cluster(grupo ou conjunto) é cons-tituído com base nas semelhanças e diferenças em relação aos restantesclusters. Ao utilizar algoritmos de clustering é difícil considerar um bomou mau resultado por parte do algoritmo, esta decisão cabe ao utilizadorconsoante a estrutura que procura [5].

Figura 2.1: Identificação de quatro clusters com a distância entre os pixeis como critériode agrupamento

2.3 Algoritmos de Clustering

Os algoritmos de clustering podem ser divididos em quatro categorias,exclusive clustering, overlapping clustering, hierarchical clustering e probablisticclustering.

Exclusive Clustering é caracterizado por agrupar a informação de ma-neira a que cada elemento apenas possa pertencer a um cluster (K-means).

10 Segmentação de Imagem

Overlapping Clustering tem por base a lógica Fuzzy onde em vez de seratribuído um valor lógico zero ou um, é atribuído um valor entre zero eum. Deste modo, ao contrário do exclusive clustering, cada elemento podepertencer a um ou mais cluster’s consoante o seu grau de semelhança (FuzzyC-means).

Hierarchical Clustering assume todo o conjunto de informação comosendo apenas um cluster e posteriormente cria fronteiras que dividem ocluster inicial em pequenos cluster’s. O processo é repetido até deixar deser possível encontrar mais fronteiras entres os cluster’s, obtendo assim oresultado final da segmentação (Hierarchical clustering).

Probablistic Clustering funciona com base em probabilidades e aproxi-mações desta (Mixture of Gaussians).

Para a realização deste projeto irei usar o algoritmo Fuzzy C-means(FCM), que pareceu ser o mais dinâmico e apropriado.

2.3.1 Fuzzy c-means

Como foi referido anteriormente, o algoritmo FCM tem por objetivoagrupar um conjunto de informação em clusters, onde cada elemento podepertencer a mais que um cluster, segundo um grau de semelhança estabele-cido pelo algoritmo entre as características do elemento e as característicasdo centro do cluster.

O algoritmo FCM tem como parâmetros de entrada uma matriz de in-formação, o número de clusters em que se pretende agrupar a informaçãoe um vetor de opções, onde é possível alterar características do algoritmocomo o número máximo de iterações, estabelecer um mínimo na quan-tidade de aperfeiçoamento, mostrar informação durante a execução doalgoritmo e alterar o expoente da matriz U. Caso este vetor de opções nãoseja enviado como parâmetro quando a função é usada, são usados valorespor definição.

Como output o algoritmo devolve um vetor com os centros dos clus-ters, uma matriz de semelhança U e alguns valores relacionados com asinterações ao longo da execução do algoritmo.

O algoritmo FCM, começa por inicializar a matriz de semelhança eatribui aleatoriamente o valor dos centros dos clusters (centroid), consoanteo número de clusters que recebeu como parâmetro. De seguida é atuali-zada toda a matriz U com base no grau de semelhança de cada elemento

2.3 Algoritmos de Clustering 11

da matriz recebida por parâmetro e a característica dos centros definidosinicialmente, este passo tem por base a formula 2.1.

Ui j =1∑c

k=1

( ∥∥∥∥xi−cj

∥∥∥∥‖xi−ck‖

) 2m−1

(2.1)

Após esta atualização da matriz U, o algoritmo consegue associar oselementos da matriz recebida com os centros, ou seja consegue agrupar edecidir a que cluster pertence cada elemento, como base no maior grau desemelhança de cada um. Porém este não será o melhor resultado alcançadoe de novo, são calculados os centros dos clusters, desta vez com base naquantidade de elementos pertencentes a cada cluster. Este passo é feitocom fase na fórmula 2.2.

c j =

∑Ni=1 Um

ij .xi∑Ni=1 Um

ij

(2.2)

Caso os centros se mantenham na mesma posição ou cumpram o mí-nimo de melhoramento recebido por parâmetro, significa que o agrupa-mento dos elementos não pode obter melhor resultado, terminando assimo algoritmo. Caso não se verifiquem estas condição serão calculados no-vos centro e graus de semelhança ate que os centros não se movam, omínimo de melhoramento seja atingido ou o numero de interações alcan-çado. Após se verificar uma destas condições o algoritmo termina, e éobtida uma imagem completamente segmentada.

Capítulo 3

Deteção de Objetos - Viola andJones

3.1 Deteção de objetos

Paul Viola e Jones Michael apresentaram em 2001 o primeiro sistemacapaz de detetar objetos contidos em imagens, este sistema revelou-seser bastante rápido e robusto. Inicialmente este tipo de deteção surgiucomo resposta ao problema de deteção de faces. Apesar de ter tido comoobjetivo inicial a deteção de faces, este pode detetar os mais variadosobjetos consoante a informação fornecida ao processo de aprendizagem [6].O sistema de deteção de objetos consiste em três componentes principais.

1. Recurso a um novo tipo de representação de imagem, a que se dá onome de imagem integral.

2. Utilização de uma variante do algoritmo AdaBoost que permite aconstrução do classificador.

3. Método que combina os classificadores numa cascata, melhorandoassim velocidade na deteção.

Com estas três componentes conseguimos treinar um conjunto de classifi-cadores para reconhecer certos objetos na imagem.

13

14 Deteção de Objetos - Viola and Jones

3.1.1 Imagem integral

A imagem integral é uma representação intermédia da imagem original,o que permite uma maior rapidez no processamento das características.Neste tipo de imagem cada ponto (x, y) é a soma de pixeis imediatamenteacima e a esquerda. Para cada pixel da imagem integral verifica-se afórmula 3.1, onde ii(x, y) é a imagem integral e i(x, y) é a imagem original.

ii(x, y) =∑

x′≤x,y′≤y

i(x′, y′) (3.1)

Como se pode verificar na imagem 3.1, o total de pixeis do retângulo Dpode ser encontrado com base em apenas quatro pontos. Visto que o valordo ponto 1 na imagem integral é a soma dos pixeis do retângulo A, o valordo ponto 2 é a soma dos pixeis do retângulo A e B e o valor do ponto 3 é asoma dos pixeis no retângulo A e C. Podemos concluir que para calcular ovalor do retângulo D teremos 4 + 1 − (2 + 3).

Figura 3.1: Cálculo do total de pixeis

3.1.2 Características

O detetor de objetos classifica as imagens com base em característicassimples, isto deve-se ao facto de ser mais rápido do que pixel a pixel e

3.1 Deteção de objetos 15

possibilitar a codificação de um domínio em específico, que seja difícil detreinar usando uma quantidade finita de dados de treino. As característicasutilizadas pelo detetor podem consistir em dois ou mais retângulos comose pode verificar na imagem 3.2.

Figura 3.2: Características do detetor de objetos

Cada característica tem o valor resultante da subtração do somatóriodos retângulos brancos com o somatório dos retângulos pretos.

3.1.3 AdaBoost

Este sistema utiliza uma variante do algoritmo AdaBoost que permitea construção de um classificador baseado nas melhores características en-contradas, com o intuito de assegurar uma classificação rápida, este algo-ritmo exclui a maior parte das potenciais características e foca-se apenasnum conjunto de características críticas. O algoritmo constrói assim umclassificador forte com base numa coleção de classificadores fracos.

3.1.4 Cascatas

O princípio básico do algoritmo de deteção é correr várias vezes amesma imagem, de cada uma das vezes com uma sub janela de tamanhodiferente. Mesmo que a imagem contenha mais que uma vez o objetoprocurado, a maior parte das sub janelas de avaliação não contêm o objeto

16 Deteção de Objetos - Viola and Jones

pretendido. Deste modo optou-se por um classificador em cascata paradescartar as sub-janelas negativas, melhorando assim a rapidez da deteção.

O classificador em cascata é composto por várias etapas, cada umacomposta por um classificador forte. Qualquer etapa é responsável pordeterminar se uma sub janela é o objeto procurado ou não. Quando a subjanela é classificada como não tendo o objeto procurado, a etapa da cascataé imediatamente descartada passando assim para a próxima sub-janela. Sea sub-janela for classificado como um provável objeto, então passa para apróxima etapa da cascata. Caso passe por todas as etapas da cascata, a subjanela contem o objeto procurado.

Figura 3.3: Cascata: Em que o 1,2 e 3 são os classificadores e Further processing é acontinuação da cascata.

Capítulo 4

Método proposto

Após algum estudo de métodos de segmentação já existentes e consci-ente da proposta de trabalho que me foi entregue, o método aqui propostopara a segmentação da região periocular tem a seguinte estrutura:

Figura 4.1: Estrutura do método proposto

17

18 Método proposto

4.1 Conjunto de imagens

O conjunto de imagens usado para o trabalho pertencem a uma basede dados denominada UBIRIS v2 e que foi criada pelo SOCIA Lab parao estudo do reconhecimento biométrico da íris [3]. Dentro do conjuntofornecido, existem três tipos de imagens, onde cada tipo tem nível deaproximação à zona da íris diferente.

Figura 4.2: Exemplo deuma imagem fornecida



4.2 Deteção do íris e do olho

Após algumas tentativas de segmentar a região periocular por inteiro,foi possível concluir que a região no seu todo era demasiado grande econtinha excesso de informação para se conseguir uma boa segmentação.Uma boa estratégia seria dividir a região periocular em áreas mais peque-nas para que fosse possível dar mais atenção às características de cada umaem particular. Para tal foi necessário identificar os principais elementos daregião periocular, o olho e a íris e a partir da localização destes elementosdividir a imagem em várias partes para serem segmentadas individual-mente. Para proceder à deteção destes dois elementos foi usado o detetorde objetos proposto por Viola e Jones.

4.2.1 Método de deteção

Como já foi referido, a deteção de um objeto segundo o método de Violae Jones necessita de um processo de aprendizagem para obter um conjuntode classificadores a que se dá o nome de cascata.

Neste trabalho foi necessário recorrer a dois processos de aprendiza-gem, um para o olho e outro para a íris, obtendo no final duas cascatas. As

4.2 Deteção do íris e do olho 19

imagens que foram utilizadas para o processo de aprendizagem dividem-seem dois tipos, imagens negativas e imagens positivas. Imagens negativassão todas aqueles onde o objeto procurado não está contido, e imagenspositivas, são todas aqueles onde o objeto procurado está presente.

Para o processo de aprendizagem do olho foram utilizadas mil e qua-trocentas imagens negativas e setecentas imagens positivas, cada imagemcom o tamanho de 100 por 240 pixeis.

Figura 4.5: Imagem posi-tiva do processo de apren-dizagem do olho

Figura 4.6: Imagem nega-tiva do processo de apren-dizagem do olho

Para o processo de aprendizagem do íris foram utilizadas mil e qua-trocentas imagens negativas e setecentas imagens positivas, cada imagemcom o tamanho de 240 por 240 pixeis.

Figura 4.7: Imagem posi-tiva do processo de apren-dizagem da íris

Figura 4.8: Imagem nega-tiva do processo de apren-dizagem da íris

20 Método proposto

Para a obtenção destas imagens foi utilizado um programa que permitiuselecionara rapidamente as zonas de corte e reajusta-las para o tamanhodefinido pelo utilizador.

Após o processo de aprendizagem ter sido concluído foi elaborado umprograma com base em funções já definidas pela biblioteca do Open SourceComputer Vision (OPENCV) que permitiu a partir das cascatas geradaspelos processos de aprendizagem reconhecer as áreas correspondentes aosobjetos procurados. Inicialmente o programa teve como funcionalidadedesenhar as áreas encontradas, para que fosse possível verificar a qualidadedo detetor. Após a verificação das áreas encontradas o programa apenasguarda para um ficheiro as coordenadas das áreas encontradas e o respetivonome da imagem.

Figura 4.9: Deteção da íris e do olho

4.3 Divisão por áreas

Com a obtenção das coordenadas das regiões correspondentes a íris eao olho é obtida uma base sólida para a divisão da imagem original emsub-imagens. No caso da sub-imagem relativa a sobrancelha parte-se doprincípio que esta estará sempre acima do olho, deste modo é consideradasub-imagem toda a imagem imediatamente acima da área do olho. Coma divisão da imagem original em sub-imagens conseguimos diminuir ovolume de informação para o passo seguinte, a segmentação. A partir

4.4 Segmentação 21

deste ponto passo a trabalhar em imagens em separado sendo elas asseguintes:

Figura 4.10: Sub-imagemda sobrancelha

Figura 4.11: Sub-imagemdo olho

Figura 4.12: Sub-imagem da íris

4.4 Segmentação

Para a segmentação das sub-imagens existem passos que são comunsa todas elas. A alteração do espaço de cores, construção da matriz decaracterísticas, normalização da matriz de características e aplicação depesos, são passos imprescindíveis à segmentação que se repetem antes dasegmentação de cada sub imagem. Visto isto para todas as sub imagensteremos sempre a seguinte ordem de acontecimentos.

22 Método proposto

Figura 4.13: Passos pré-segmentação

4.4.1 Alteração do espaço de cores

A alteração do espaço de cores é feito de duas maneiras, passagem deRGB para escala de cinza e passagem de RGB para HSV. A alteração doespaço de cores para escala de cinza é feita por uma questão de facilidade,na construção e manipulação da matriz de características. No caso dapassagem de RGB para HSV em particular para o canal S de saturation,deve-se ao facto de salientar bastante bem a região correspondente a es-clera, e deste modo melhorar os resultado de segmentação. Sub-imagensapós a alteração do esquema de cores.

Figura 4.14: Sub-imagemda sobrancelha em escala decinzento

Figura 4.15: Sub-imagemdo olho no espaço de coresHSV

4.4 Segmentação 23

Figura 4.16: Sub-imagem da íris em escala de cinzento

4.4.2 Matriz de características

Como já foi referido, o processo de segmentação tende a agrupar oselementos de um conjunto de informação segundo a semelhança nas ca-racterísticas de cada um. Esta matriz tem tantas colunas quanto as caracte-rísticas que sejam usadas e tantas linhas quanto o número de elementos daimagem original. Deste modo para cada sub-imagem existe uma matrizde características diferente, embora todas elas tenham em comum as duasprimeiras colunas referentes à posição de cada pixel na matriz original.Cada coluna da matriz representa uma dada característica que destinge oobjeto procurado, dados relativos à posição na matriz, distância do centroda imagem e distância a pontos previamente calculados, são alguns exem-plos das características utilizadas para diferenciar a estrutura procuradado resto da imagem.

4.4.3 Normalização

Após a obtenção da matriz de características é necessário a normaliza-ção desta, para que valores se encontrem todas na mesma escala. Para anormalização da matriz tivemos por base a fórmula 4.1, onde i representaas linhas, j as colunas, M é a matriz normalizada e MO a matriz original.

M(i, j) =MO(i, j) −min(Mo( j))

max(Mo( j)) −min(Mo( j))(4.1)

4.4.4 Aplicação de pesos

O facto de usar características que distinguem o objeto procurado, nãosignifica que a matriz esteja pronta para o algoritmo de segmentação, pois

24 Método proposto

existem algumas características que se sobrepõem a outras e alteram com-pletamente o resultado final de segmentação. Esta sobreposição deve-se ofacto de certas caracterizaras terem por natureza valores muito elevados,como é o caso das colunas relativas as posições dos elementos. A aplicaçãode pesos para cada característica é um passo indispensável, pois traduz-se no equilíbrio entre as características, e com isto podemos manipular aimportância de cada uma. No método proposto, a atribuição de pesosfoi feita com base em experiências. Após os resultados obtidos, os pesosforam alterados até chegar a uma combinação de pesos que do meu pontode vista é razoável mas não perfeita. Para a aplicação dos pesos á matriz decaracterísticas é feita a seguinte operação 4.2 ,onde i representa as linhas, jas colunas, M é a matriz de características normalizada e v o vetor com ospesos correspondentes a cada coluna da matriz M.

M(i, j) = M(i, j).v( j) (4.2)

4.5 Pesos e características

4.5.1 Sub-imagem Sobrancelha

Como características de cada elemento da sub-imagem sobrancelhatemos o valor das linhas, colunas e valor na escala de cinzento de cadaelemento da imagem. O vetor de pesos usado, é apresentado na imagem4.3 onde j represente o valor da coluna a que o peso é associado, na mesmaordem das características enunciadas anteriormente.

v( j) = b0.6 0.3 1c (4.3)

Inicialmente com os pesos do vetor todos a um, resultava imagem comoa 4.17, onde a segmentação é errada devido a importância em demasia aosvalores das linhas e das colunas.

4.5 Pesos e características 25

Figura 4.17: Primeiro resultado da segmentação da sobrancelha, utilizado como pesos ovetor v=[1,1,1]

Como é sabido a orientação das sobrancelhas é horizontal deste modoteria que se baixar o valor das linhas e das colunas, para se dar mais ênfaseao valor dos pixeis e ao mesmo tempo destacar as linhas em relação ascolunas. Deste modo foi utilizado o vetor de pesos 4.3, transformandoassim o resultado da segmentação visto na imagem 4.17 para o resultadoapresentado na imagem 4.18.

Figura 4.18: Aplicação dos pesos mais indicados a imagem, utilizado como pesos o vetorv=[0.6 , 0.3 ,1]

4.5.2 Sub-imagem olho

Para a sub-imagem correspondente ao olho, o objetivo principal é seg-mentar a região correspondente à esclera. Devido às dificuldades encontra-das nesta tarefa foi necessário utilizar mais características que as habituais.Deste modo utilizamos como características para esta sub-imagem o valorassociado às linhas e colunas, valor do elemento no esquema de cores HSV

26 Método proposto

mais concretamente ao canal referente a saturação, a distância ao ponto P3e P4 e a distância ao centro da imagem.

Como podemos comprovar na imagem 4.11, a esclera encontra-se juntoà íris, mais concretamente à direita e à esquerda da íris. É usada comocaracterística a proximidade dos elementos da imagem do lado esquerdoà fronteira da íris com a esclera do lado esquerdo, e a proximidade dospontos do lado direito à fronteira da íris com a esclera do lado direito. Estasfronteiras são representadas pelos pontos P3 e P4. Para o cálculo destespontos foi necessário calcular o ponto central da sub imagem e obter ospontos referentes à sub imagem da íris. A distância de todos os elementoscontidos entre P3x e P4x ao ponto central da imagem também é usadacomo característica pois existe a possibilidade de existir esclera entre estespontos.

O cálculo do ponto correspondente ao centro da sub-imagem é demons-trado na equação 4.4 , onde C é o ponto médio e P1x, P2x, P1y, P2y são ascoordenadas referentes aos pontos P1 e P2 ilustrados na figura seguinte.

C(x, y) =

(P1x + P2x

2,

P1y + P2y2

)(4.4)

Figura 4.19: Cálculo do ponto médio com base nos pontos da sub imagem do olho

O cálculo do ponto P3 e P4 resulta da seguinte maneira:


P3 =(Cy,P5x

)(4.5)

P4 =(Cy,P6x

)(4.6)

Figura 4.20: Obtenção dos pontos P3 e P4 com base na ponto central e pontos da subimagem da íris

Após obter os pontos já referidos, é calculada a distância entre os ele-mentos e os pontos. O cálculo da distância foi efetuado com base na equa-ção da distância euclideana apresentada em seguida, onde D é a distânciaentre um ponto p e q.

D(p, q) =√

(px − qx)2 + (py − qy)2 (4.7)

Com todos os cálculos referidos anteriormente obtemos as cinco carac-terísticas para a matriz de características da sub-imagem olho. O vetor depesos usado, é apresentado na imagem seguinte onde j represente o valorda coluna a que o peso é associado, segundo a seguinte ordem, linhas,colunas, valor do elemento no esquema de cores HSV, distância ao pontoP3 e P4 e a distância ao centro da imagem.

v( j) = b0.01 0.01 1 0.4 0.1c (4.8)

28 Método proposto

Inicialmente apenas eram utilizadas três características e utilizado umvetor de pesos com todas as posições a um. Eram obtidas segmentaçõescomo podemos ver na imagem 4.21.

Figura 4.21: Primeira segmentação do olho, com apenas três características e como vetorde pesos, v=[1,1,1]

Após alguns testes os resultados da segmentação, pareceram estabilizarcom três características e como vetor de pesos os valores (0.6, 0.5,1), comopodemos verificar na imagem 4.22.

Figura 4.22: Primeira segmentação do olho, com apenas três características e como vetorde pesos, v=[0.6, 0.5,1]


Apesar da segmentação parecer estabilizar, existem muitas imagensque foram testadas em que o cluster da esclera não está bem definido.Como se nota na imagem 4.22 ainda existem alguns elementos do clusterda esclera que foram mal agrupados. Posto isto foram criadas mais duascaracterísticas, obrigando os elementos candidatos ao cluster da esclerapertencessem a um certa região onde se estima que esta esteja localizada.Após isso, foram de novo testadas imagens para ajustar os pesos e foramobtidas imagens como a 4.23 com um vetor de pesos (0.01, 0.01, 1, 0.4, 0.1).

Figura 4.23: Segmentação do olho com o numero de características e v=[0.01, 0.01, 1,0.4, 0.1] como vetor de pesos

4.5.3 Sub-imagem ìris

As características escolhidas para a sub-imagem da íris foram as linhas,colunas, valor dos elementos na escala de cinzento e distância de todosos elementos da sub imagem ao cento da imagem. O ponto central daimagem foi obtido com base na equação 4.4 e a distância a esse ponto foicalculada com base na equação da distância euclidiana 4.7.

Figura 4.24: Cálculo do ponto médio com base nos pontos da sub imagem da íris

30 Método proposto

Com todas as características calculadas o vetor de pesos usado, é apre-sentado na imagem seguinte onde j represente o valor da coluna a que opeso é associado, segundo a seguinte ordem em que foram apresentadasas características anteriormente.

v( j) = b0.01 0.01 1 0.4c (4.9)

Para obter a segmentação da sub-imagem da íris, desde inicio foi per-cetível a utilização da distância ao centro da imagem como característica.No entanto, ao utilizar os pesos todos com o valor um, foi obtida a imagem4.25.

Figura 4.25: Segmentação da íris com o valor dos pesos todos a um

Após vários testes, e o ajuste dos pesos, obtemos a imagem 4.26.

4.6 Análise da matriz resultante do FCM 31

Figura 4.26: Segmentação da íris com v=[0.01,0.01,1,0.4]

4.6 Análise da matriz resultante do FCM

No final do algoritmo FCM ter agrupado todos os elementos da imagemoriginal, o algoritmo retorna a matriz U como foi explicado no capítulo2.3.1.

Como sabemos a priori, as colunas da matriz representam cada ele-mento da imagem e na matriz de características cada linha representa umelemento da imagem, nomeadamente a linha e coluna a que pertence. Po-demos, com base nas duas matrizes, criar uma matriz representante doagrupamento dos elementos feita pelo FCM.

Com a obtenção desta matriz estou a facilitar tanto a visualização doresultado de segmentação, como o passo seguinte, a seleção do cluster deinteresse. As imagens seguintes são representações da matriz em questão.

Figura 4.27: Resultado doFCM na sub-imagem dasobrancelha

Figura 4.28: Resultado doFCM na sub-imagem doolho

32 Método proposto

Figura 4.29: Resultado do FCM na sub-imagem da íris

4.7 Escolha do cluster

O método utilizado para a escolha do cluster correspondente à regiãoprocurada, varia consoante a sub-imagem.

4.7.1 Seleção do cluster da sobrancelha

Como é possível ver na imagem 4.27 o cluster da sobrancelha tem ten-dência a encontrar-se no centro ou no cimo da imagem e não nos cantosinferiores ou superiores da imagem. Verificada esta característica e comapenas três clusters possíveis, a seleção do cluster sobrancelha é feito porexclusão de partes. Para excluir os clusters que não representam a sobran-celha são verificados que clusters existem nas regiões pretas da imagem4.30, sendo as regiões pretas, matrizes com os valores dos pixeis existentesna imagem segmentada. Ao verificar que valor se repete mais em cadamatriz, obtemos os clusters que passam nas regiões em análise. A seguinteimagem representa as zonas onde é verificada a existência dos clusters nãosobrancelha.

Figura 4.30: Zonas de exclusão do cluster sobrancelha

4.7 Escolha do cluster 33

Deste modo o cluster que menos aparecer nas regiões caracterizadas naimagem 4.30 será o candidato mais provável de ser a sobrancelha.

4.7.2 Seleção do cluster esclera

Como se pode verificar na imagem relativa a região do olho 4.11, aesclera encontra-se sempre no eixo das abcissas tendo como origem o centroda imagem. Para selecionar o cluster da esclera é feito um histograma decada cluster em que o eixo das abcissas do histograma equivale as linhasda imagem. Deste modo é selecionado o cluster que tem o máximo dohistograma mais próximo do ponto central da imagem. Para reforçar aseleção do cluster correto também é verificado que cluster se repete maisnas áreas das zonas fronteiriças entre a íris e a esclera. Para efetuar estaverificação, são criados dois vetores que contêm os valores dos clusters quese encontram no eixo das abcissas com origem no centro da sub imagem4.32. Os vetores têm como tamanho o valor do raio da íris arredondado,sendo o raio da íris calculado com base nos pontos do sub imagem da íris.

Figura 4.31: Cálculo do raio da íris

RI = Cx − P1x (4.10)

34 Método proposto

Figura 4.32: Localização dos vetores v1 e v2 da esclera

Com base no histograma dos clusters e com os valores dos clusters maisrepetidos no vetor v1 e v2, é possível concluir que cluster representa aesclera.

4.7.3 Selecção do cluster íris

A localização mais provável do cluster da íris é no centro da sub-imagemdesta. Deste modo a seleção do cluster é feita com base na utilização dedois vetores, cada um com o tamanho do raio da íris. O cálculo do raioda íris pode ser consultado na equação 4.10. Os vetores v1 e v2 contêmtodos os valores correspondes aos clusters que passam no eixo da abcissase das ordenadas com centro no ponto central da imagem, como é possívelverificar na seguinte imagem.

Figura 4.33: Localização dos vetores v1 e v2 da íris

4.8 Correção dos clusters encontrados 35

Para concluir que o cluster representa a íris, é verificado o valor que serepete mais nos dois vetores. Deste modo conseguimos saber que o clusterque existe em maior abundância no centro da sub-imagem da íris, que emprincípio será o cluster correspondente à íris.

4.8 Correção dos clusters encontrados

Após a seleção dos clusters correspondentes a cada objeto, foi necessárioa aplicação de algumas operações morfológicas para eliminar o máximo defalhas nas regiões encontradas. A segmentação da íris e da esclera foramas que revelaram mais falhas na segmentação.

4.9 Correção do cluster esclera

Para a correção do cluster referente à esclera foram usadas operaçõesmorfológicas de erosão e dilatação. Contudo estas não se revelaram su-ficientemente eficientes para corrigir as falhas da segmentação. Para talfoi necessário restringir a área da esclera e só depois, aplicar as operaçõesmorfológicas. Para restringir a área da esclera foram equacionadas duasparábolas, uma com a concavidade virada para cima e outra com a con-cavidade voltada para baixo. A escolha da parábolas como delimitadoresda área segmentada deve-se à semelhança entre estas e a forma da esclera.Para a obtenção das parábolas foi necessário o cálculo da abertura das pa-rábolas e a equação das mesmas. A obtenção das variáveis C e RI podemser consultadas nas equações 4.4 e 4.10.

Calculo da abertura das parábolas:

A =Cy − RI

(Cx − xp1) ∗ (Cx − xp2)(4.11)

xp1 = Cx − (2, 5 ∗ RI) (4.12)

xp2 = Cx + (2, 5 ∗ RI) (4.13)

36 Método proposto

Equação das parábola inferior :

f (x) = A ∗ (x − xp1) ∗ (x − xp2) (4.14)

Equação das parábola superior :

f (x) = −A ∗ (x − xp1) ∗ (x − xp2) (4.15)

Como é possível visualizar nas imagens seguintes, a utilização dasparábolas para restringir a área de segmentação, é essencial para certoscasos.

Figura 4.34: Resultado dasegmentação da esclera

Figura 4.35: Restrição daárea de segmentação com oas parábolas

Após a remoção de toda a área fora das parábolas, aplicamos as opera-ções de erosão e dilatação, obtendo assim melhores resultados. A imagemque se segue é o resultado das operações morfológicas após restrição comas parábolas.

Figura 4.36: Resultado da segmentação da esclera após a aplicação das operações morfo-lógicas

Como podemos verificar na imagem 4.42, existe uma parte considerávelda íris no centro da imagem que foi segmentada como sendo esclera. Noentanto este erro de segmentação não se revela um problema, visto que assub-imagens vão ser sobrepostas e a sub-imagem da íris vai sobrepor estepequeno erro da segmentação da esclera.

4.10 Correção do cluster íris 37

4.10 Correção do cluster íris

Com a aplicação das operações morfológicas de erosão e dilatação naregião segmentada da íris, foi possível obter resultados satisfatórios. Destemodo, não foram aplicadas quaisquer outras operações.

4.11 Deteção da pupila

Para detetar a área correspondente à pupila foi efetuada a passagem dasub imagem da íris para o esquema de cores HSV e de seguida para imagembinária. O facto do esquema de cores HSV atribuir tonalidades brancasà pupila, torna possível salientar esta zona ao transformando a imagempara binário. Após a imagem estar em binário é utilizada a formula dacircunferência para descartar todo o resto que não pertença a pupila.

Figura 4.37: Sub imagemíris no esquema de coresHSV

Figura 4.38: Sub imagemíris após a passagem deHSV para binário

De seguida são removidos todos os pixeis que não pertencem á pupila,para isso e utilizada a seguinte equação. Onde i e j são referentes ás linhase colunas, Cx e CY à coordenada do ponto central da imagem 4.4 e RI oraio da íris 4.10.

(Cx − i)2 + (Cy − j)2 > RI2 (4.16)

Todos os pontos da imagem que verifiquem esta equação, serão eliminados.Obtenho assim a seguinte imagem:

38 Método proposto

Figura 4.39: Eliminação dos pontos não pupila. A circunferência ponteada é apenas umailustração da área de interesse

Por fim são aplicadas operações de erosão e dilatação e obtemos asegmentação final da pupila.

Figura 4.40: Segmentação final da pupila

4.12 Junção das áreas segmentadas

A imagem final referente à região periocular segmentada, é a sobrepo-sição de todos os resultados obtidos da segmentação das sub imagens. Asobreposição é feita para numa matriz com escala de cores RGB, onde cadaobjeto tem um cor diferente. Começando pela sobreposição da pupila áíris e de seguida a sobreposição da íris e da pupila á esclera obtemos asegmentação completa da sub imagem relativa ao olho.

4.12 Junção das áreas segmentadas 39

Figura 4.41: Sobreposição da pupila e íris na esclera

Finalmente é sobreposta a região referente a sobrancelha e é obtido oresultado final da segmentação da região periocular, onde a sobrancelha érepresentada pela cor azul, a esclera pela cor verde, a íris pela cor vermelha,a pupila pela cor amarela e a pele pelos restantes pixeis que não foramidentificados, o preto.

Figura 4.42: Imagem resultante da segmentação da região periocular

Capítulo 5

Experiências realizadas

5.1 Avaliação do método

Apesar de existirem métodos para quantificar a qualidade da segmen-tação, estes serão considerados como aproximações pois o conjunto deimagens esperadas foram pintadas manualmente, o que torna este con-junto pouco fiável para obter um resultado exato.

Tendo este fator em consideração e com o objetivo de testar e quantificara qualidade do método proposto para a segmentação, foram agrupados eanalisados alguns conjuntos de imagens com características intencional-mente escolhidas. Para tal foram criados quatro conjuntos de imagens esubmetidos ao método proposto, obtendo assim os resultados correspon-dentes de cada conjunto. Com o auxílio de um editor de imagem, forampintadas à mão todas as imagens de cada conjunto de maneira a obteruma aproximação dos resultados que seriam de esperar de uma boa seg-mentação. Deste modo, para a realização desta avaliação foram utilizadasoitenta amostras do conjunto de imagens fornecidas, oitenta imagens comos resultados obtidos pelo método proposto e oitenta imagens com o resul-tado ideal. De seguida foi calculada a matriz de confusão entre as imagensobtidas e esperadas, a matriz de confusão de cada conjunto e a matriz deconfusão em relação a todos os conjuntos.

41

42 Experiências realizadas

5.1.1 Conjuntos de imagens para teste do método proposto

As características dos conjuntos foram escolhidas de forma a focar casosem que a segmentação seria mais difícil. Cada conjunto contém vinteimagens, o conjunto um é composto por imagens com óculos, o conjuntodois contém imagens em que a íris é mais clara do que as restantes imagensfornecidas, o conjunto três contém imagens onde o olho se encontra semi-fechado e por fim o conjunto quatro que contém imagens onde a íris seencontra ao canto do olho.

Figura 5.1: Exemplo deuma imagem do conjuntoóculos

Figura 5.2: Exemplo deuma imagem do conjuntoíris clara

Figura 5.3: Exemplo deuma imagem do conjuntoolho semi-fechado

Figura 5.4: Exemplo deuma imagem do conjuntoíris deslocada

5.1 Avaliação do método 43

5.1.2 Imagens Obtidas

São todas as imagens resultantes da segmentação do conjunto pelométodo proposto. Nesta imagem cada elemento da região periocular érepresentado por uma cor, tornando assim possível a visualização e adiferenciação de cada um. Deste modo a pele terá como cor o preto,a sobrancelha o azul, a esclera o verde, a íris o vermelho e a pupila oamarelo.

Figura 5.5: Exemplo do resultado da segmentação pelo método proposto

5.1.3 Imagens esperadas

As imagens esperadas representam uma aproximação à segmentaçãoideal para cada imagem de cada conjunto, como pode ser visto nas imagens5.32 e 5.31. Para obter estas imagens foi utilizado um editor de imagemonde foi sobreposto um layer a cada imagem para análise e de seguidapintadas todas as regiões relativas aos elementos da região periocular.Todos os elementos, exceto a pele, têm a mesma cor das imagens obtidas,a pele tem como cor o branco.

Como facilmente se verifica nas imagens 5.32 e 5.31, a imagem espe-rada é uma aproximação da representação da segmentação ideal e não oresultado exato.


Figura 5.6: Imagem espe-rada

Figura 5.7: Imagem deavaliação

5.1.4 Quantificação da qualidade

Com o objetivo de avaliar o desempenho da segmentação, foi anali-sada a correspondência de todos os pixeis pertencentes a imagem obtida eesperada. Para quantificar a qualidade de segmentação, foram utilizadasmatrizes de confusão. Com as matrizes de confusão é possível visualizarpara cada objeto da imagem, a quantidade dos pixeis da imagem obtidaque correspondem aos pixeis da imagem esperada e a quantidade de pixeisque não corresponde aos objetos iguais. Os resultados são apresentadosna matriz de confusão em percentagem, número de pixeis a dividir pelototal de pixeis da coluna correspondente.

A imagem seguinte caracteriza a estrutura das matrizes de confusãousadas. Onde TP, true positive indica os casos onde os pixeis de umacerto objeto da imagem obtida batem certo com os pixeis do mesmo objetoda imagem esperada. Temos também os FN, false negative e os FP , falsepositive. Os false positives são todos os pixeis da imagem obtida que foramidentificados como sendo um objeto quando na verdade deveriam seroutro. Os false negatives são todos os pixeis que foram identificadas comoum outro objeto que não o pretendido.

5.1 Avaliação do método 45

Figura 5.8: Estrutura da matriz de confusão

Após calcular a matriz de confusão de cada imagem obtida e esperada,estamos em condições de saber qual o desempenho da segmentação decada conjunto, somando todas as matrizes de confusão. Deste modo po-demos obter uma estimativa de acerto em cada uma das característicasutilizadas para avaliação. Com a soma das matrizes de confusão dos qua-tro conjuntos, podemos calcular o desempenho da segmentação dos casosmais difíceis de segmentar.

Para calcular a precisão da segmentação de cada objeto obtido, foiutilizada a seguinte equação 5.1, onde AC e a acuracy de segmentação e oelemento é um objeto da região periocular.

AC(elemento) =True positive(elemento)∑

False negatives(elemento) +∑

False neagative(elemento)(5.1)

Para calcular a precisão do processo de segmentação foram utilizadastrês as equações 5.2,5.3 e 5.4. Sendo a equação 5.2 referente a precisão desegmentação de cada imagem, a equação 5.3 a precisão de segmentaçãodo conjunto e 5.4 a precisão de segmentação dos quatro conjuntos. Cadaequação tem como variáveis o ACS e T, onde ACS representa a precisão dasegmentação e T o total de pixeis de cada imagem.


ACS =

∑True positive

T(5.2)

ACS =

∑True positive

20 ∗ T(5.3)

ACS =

∑True positive

80 ∗ T(5.4)

Visto que é considerado como pele todos os pixeis que estão pintados abranco nas imagens esperadas e a preto nas imagens obtidas, a quantidadede true positives da pele utilizados para o cálculo do ACS, são muito supe-riores a dos restantes objetos, o que torna o valor de ACS elevado. Assimdaremos mais importância aos resultados da precisão de cada objeto.

5.2 Resultados

5.2.1 Conjunto óculos

Este conjunto é composto por imagens onde está presente os óculos eforam obtidos os seguintes resultados:

Como pior caso de segmentação do conjunto óculos, temos a imagemC51_ S1_ I9.

Figura 5.9: Imagem original

5.2 Resultados 47

Figura 5.10: Imagem es-perada

Figura 5.11: Imagem ob-tida

A matriz de confusão.

Sobrancelhas Esclera Íris Pupila PeleSobrancelhas 0,33 0,00 0,00 0,00 0,18

Esclera 0,00 0,63 0,00 0,00 0,02Íris 0,00 0,04 0,77 0,24 0,00

Pupila 0,00 0,00 0,02 0,69 0,00Pele 0,67 0,33 0,21 0,07 0,80

Valores obtidos a partir da equação 5.1 para cada objeto segmentado.

Sobrancelha = 0.12

Esclera = 0.46

Íris = 0.70

Pupila = 0.45

Valor obtido pela equação 5.2 relativo a segmentação da imagem C51_S1_ I9 no seu todo.

Precisão da segmentação = 0.76


Como melhor caso de segmentação do conjunto óculos, temos a imagemC152_ S2_ I7.






Esclera 0,00 0,68 0,00 0,00 0,00Íris 0,00 0,14 0,95 0,18 0,00

Pupila 0,00 0,00 0,00 0,73 0,00Pele 0,01 0,18 0,04 0,08 0,96

5.2 Resultados 49

Valores obtidos a partir equação 5.1 para cada objeto segmentado.

Sobrancelha = 0.71

Esclera = 0.65

Íris = 0.75

Pupila = 0.71



Visto o caso de melhor e pior segmentação do conjunto óculos. A par-tir do somatório de todas as matrizes de confusão, obtemos a matriz deconfusão do conjunto.


Esclera 0,00 0,70 0,00 0,00 0,01Íris 0,00 0,08 0,81 0,20 0,00

Pupila 0,00 0,00 0,02 0,72 0,00Pele 0,20 0,22 0,17 0,08 0,91

Valores obtidos a partir equação 5.1 para cada objeto segmentado doconjunto óculos.

Sobrancelha = 0.46

Esclera = 0.59

Íris = 0.73

Pupila = 0.54


Valor obtido pela equação 5.2 relativo a segmentação das imagens doconjunto todo.


A segmentação da sobrancelha foi notavelmente a mais problemática en-tre todos os objetos segmentados. Este problema na segmentação poderáresultar do aparecimento da armação dos óculos na zona da sobrancelha, oque complica o processo de segmentação e também o processo de seleçãodo cluster da sobrancelha.

5.2.2 Conjunto íris clara

O conjunto íris clara é composto por imagens onde a íris é mais claraque a maioria das imagens fornecidas.

Como pior caso de segmentação do conjunto íris clara, temos a imagemC395_ S1_ I4.


5.2 Resultados 51





Esclera 0,00 0,50 0,00 0,00 0,00Íris 0,00 0,28 0,81 0,20 0,00

Pupila 0,00 0,00 0,05 0,79 0,00Pele 0,97 0,22 0,13 0,01 0,88


Sobrancelha = 0.02

Esclera = 0.49

Íris = 0.52

Pupila = 0.49




Como melhor caso de segmentação do conjunto íris clara, temos a ima-gem C319_ S2_ I1.





5.2 Resultados 53


Esclera 0,00 0,89 0,03 0,00 0,01Íris 0,00 0,01 0,72 0,06 0,00

Pupila 0,00 0,00 0,07 0,89 0,00Pele 0,05 0,09 0,18 0,06 0,97


Sobrancelha = 0.79

Esclera= 0.70

Íris= 0.71

Pupila= 0.28



Visto o caso de melhor e pior segmentação do conjunto íris clara. A par-tir do somatório de todas as matrizes de confusão, obtemos a matriz deconfusão do conjunto.


Esclera 0,00 0,62 0,01 0,00 0,01Íris 0,00 0,18 0,76 0,38 0,00

Pupila 0,00 0,00 0,05 0,58 0,00Pele 0,27 0,20 0,18 0,04 0,94

Valores obtidos a partir equação 5.1 para cada objeto segmentado doconjunto íris clara.


Sobrancelha = 0.51

Esclera = 0.54

Íris = 0.59

Pupila = 0.32



Os resultados obtidos a partir da matriz de confusão do conjunto írisclara, não revelam grande influencia da íris ser mais clara que o habitual,pois se tal acontece-se a qualidade de segmentação da íris ou da escleratinha sido drasticamente diminuídas. Como tal não acontece e apenas apupila parece ter descido na qualidade, concluo que este conjunto possuaalgumas imagens com reflexos na zona da pupila.

5.2.3 Conjunto olho semi-fechado

O conjunto olho semi-fechado é composto por imagens onde o olho seencontra semi-fechado.

Como pior caso de segmentação do conjunto olho semi-fechado, temosa imagem C88_ S1_ I6.

5.2 Resultados 55






Esclera 0,00 0,63 0,00 0,00 0,01Íris 0,00 0,03 0,75 0,56 0,00

Pupila 0,00 0,00 0,05 0,41 0,00Pele 0,97 0,35 0,19 0,02 0,88



Sobrancelha = 0.02

Esclera= 0.52

Íris= 0.71

Pupila= 0.20



Como melhor caso de segmentação do conjunto olho semi-fechado, temosa imagem C84_ S1_ I1.


5.2 Resultados 57





Esclera 0,00 0,71 0,00 0,00 0,00Íris 0,00 0,09 0,89 0,04 0,00

Pupila 0,00 0,00 0,02 0,87 0,00Pele 0,14 0,20 0,09 0,09 0,99


Sobrancelha = 0.82

Esclera = 0.69

Íris = 0.82

Pupila = 0.64




Visto o caso de melhor e pior segmentação do conjunto olho semi-fechado.A partir do somatório de todas as matrizes de confusão, obtemos a matrizde confusão do conjunto.


Esclera 0,00 0,66 0,00 0,00 0,00Íris 0,00 0,08 0,77 0,13 0,00

Pupila 0,00 0,00 0,04 0,81 0,00Pele 0,15 0,26 0,19 0,06 0,95

Valores obtidos a partir equação 5.1 para cada objeto segmentado doconjunto olho semi-fechado

Sobrancelha = 0.63

Esclera= 0.59

Íris= 0.68

Pupila= 0.41



5.2.4 Conjunto íris deslocada

O conjunto íris deslocada é composto por imagens em que a íris está aocanto dos olho.

Como pior caso de segmentação do conjunto quatro, temos a imagemC269_ S1_ I5.

5.2 Resultados 59






Esclera 0,00 0,84 0,00 0,00 0,01Íris 0,00 0,09 0,71 0,68 0,00

Pupila 0,00 0,00 0,07 0,25 0,00Pele 0,98 0,07 0,21 0,07 0,91



Sobrancelha = 0.01

Esclera= 0.69

Íris= 0.64

Pupila= 0.05



Como melhor caso de segmentação do conjunto íris deslocada, temos aimagem C255_ S2_ I3.


5.2 Resultados 61





Esclera 0,00 0,67 0,01 0,00 0,00Íris 0,00 0,07 0,65 0,24 0,00

Pupila 0,00 0,00 0,05 0,69 0,00Pele 0,09 0,25 0,29 0,07 0,99


Sobrancelha = 0.80

Esclera = 0.65

Íris = 0.61

Pupila = 0.27




Visto o caso de melhor e pior segmentação do conjunto íris deslocada.A partir do somatório de todas as matrizes de confusão, obtemos a matrizde confusão do conjunto.


Esclera 0,00 0,77 0,01 0,00 0,02Íris 0,00 0,07 0,78 0,17 0,00

Pupila 0,00 0,01 0,05 0,77 0,00Pele 0,12 0,15 0,16 0,06 0,93

Valores obtidos a partir equação 5.1 para cada objeto segmentado doconjunto quatro.

Sobrancelha = 0.62

Esclera= 0.56

Íris= 0.67

Pupila= 0.32



A seleção deste conjunto teve o propósito de testar o desempenho dométodo ao delimitar a zona segmentada da esclera. Visto que a esclerateve 0,56 de acerto, posso concluir que mesmo que a íris não esteja aocentro do olho, o método para a segmentação da esclera ainda é aceitável,considerando não aceitável abaixo dos 0,5.

5.2 Resultados 63

5.2.5 Avaliação de todos os conjuntos

De forma a obter uma aproximação do desempenho da segmentaçãoem geral, foram somadas as matrizes de confusão dos quatro conjuntos.


Esclera 0,00 0,68 0,01 0,00 0,01Íris 0,00 0,11 0,78 0,23 0,00

Pupila 0,00 0,00 0,04 0,71 0,00Pele 0,18 0,21 0,17 0,06 0,93

Valores obtidos a partir equação 5.1 para cada objeto segmentado nogeral.

Sobrancelha = 0.55

Esclera= 0.57

Íris= 0.67

Pupila= 0.39

Valor obtido pela equação 5.2 relativo a segmentação das imagens detodos os conjuntos


Com a avaliação te todos os conjuntos com características que á partidaseriam difíceis de segmentar, a obtenção dos resultados da matriz de con-fusão de todos os conjuntos revela alguma solidez do método proposto,exceto para o caso da pupila, que tem revelado sempre valores de acertoum tanto baixos.

Capítulo 6

Conclusão e trabalho futuro

6.1 Conclusão

Em suma, após a elaboração deste trabalho, posso referir as dificuldadesencontradas, bem como os objetivos conseguidos.

Com o planeamento, desenvolvimento e implementação do métodoproposto, foi alcançado satisfatoriamente o objetivo deste projeto. Postoisto, julgo que o método apresentado poderá servir como auxiliar ao reco-nhecimento biométrico da região periocular. Na realização deste projetosurgiram algumas dificuldades, nomeadamente na obtenção dos pesosideais para a segmentação e na obtenção de resultados do desempenho dométodo proposto.

Para este projeto foram avaliados os resultados obtidos com base emimagens pintadas manualmente, que representariam a segmentação idealfeita pelo método aqui apresentado. Apesar destes testes revelarem umaboa prestação, não são de todo credíveis, pois a segmentação das imagensesperadas foi obtida manualmente, o que as torna suscetíveis a erros quenão são visíveis ao olho.

Deste modo concluo que o objetivo foi alcançado mesmo tem por baseresultados com aproximações do ideal.

6.2 Trabalho Futuro

Como trabalho futuro sugiro a criação de um método capaz de en-contrar os pesos ideais para uma dada segmentação. Mesmo tendo em

65

66 Conclusão e trabalho futuro

conta que seria um processo demoroso e pesado, seria assim possível obteruma combinação de pesos credível e segura, imprescindível a utilizaçãodo algoritmo FCM.

Proponho igualmente a criação de um sistema capaz de identificar setodos os objetos da região periocular necessários ao reconhecimento, seencontram presentes na imagem. Ao contrário da segmentação destes ob-jeto, este método apenas teria como estudo a estrutura da região periocularpara que fosse possível verificar se todos os objetos estão presentes. Destemodo deixaria de se correr o risco de tentar segmentar objetos que nãoexistem na imagem.

Bibliografia

[1] Marcello Santos da Fonseca. Segmentação de ima-gem , segmentação limiar em tons de cinza. 2011."http://www.ic.uff.br/ aconci/limiarização.htm".

[2] Unsang Park, Arun Ross, and Anil K. Jain. Periocular biometrics inthe visible spectrum: a feasibility study. In Proceedings of the 3rd IEEEinternational conference on Biometrics: Theory, applications and systems,BTAS’09, pages 153–158, Piscataway, NJ, USA, 2009. IEEE Press.

[3] H. Proenca, S. Filipe, R. Santos, J. Oliveira, and L.A. Alexandre. TheUBIRIS.v2: A database of visible wavelength images captured on-the-move and at-a-distance. IEEE Trans. PAMI, 32(8):1529–1535, August2010.

[4] Almerindo Rehem and Fernando Henrique Vi-eira Trindade. Visão Computacional. 2011."http://almerindo.devin.com.br/index.php?option=com_content&view=article&id=78:tecnicas-de-computacao-visual-para-rastreamento-de-olhar-em-videos&catid=43:trabalhos-de-alunos&Itemid=18&limitstart=2".

[5] s/a. A tutorial on clustering algorithms. 2011."http://home.dei.polimi.it/matteucc/Clustering/tutorial_ html/".

[6] Paul Viola and Michael J. Jones. Robust real-time face detection. Int. J.Comput. Vision, 57:137–154, May 2004.

[7] Damon L. Woodard, Shrinivas Pundlik, Philip Miller, RaghavenderJillela, and Arun Ross. On the fusion of periocular and iris biometrics innon-ideal imagery. In Proceedings of the 2010 20th International Conference

67

68 BIBLIOGRAFIA

on Pattern Recognition, ICPR ’10, pages 201–204, Washington, DC, USA,2010. IEEE Computer Society.

universidade da beira interior - di.ubi.pthugomcp/doc/emanuelgrancho.pdf · neste trabalho irei...

Documents