reconhecimento automático de emoções

Reconhecimento automático

de emoções faciais

PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

UNIVERSIDADE FEDERAL DE UBERLÂNDIA – UFU

FACULDADE DE COMPUTAÇÃO - FACOM/UFU

Aluno: Adilmar Coelho Dantas

Mestrado em Ciência da Computação

Artigo de estudo

http://sightcorp.com/downloads/Automatic%20Facial%20Emotion%20Rec

ognition.pdf

Introdução

Objetivo do artigo

Propor e desenvolver um sistema capaz de detectar

emoções inferidas pela face em tempo real em vídeos.

Solução apresentada

Foi desenvolvido um sistema capaz de reconhecer a face utilizando Haar Cascade.

Utilizou-se a teoria FACS para classificação das UA’s e as emoções

respectivamente.

Para classificação utilizou-se do classificador Naive Bayes.

Introdução

Expressões faciais e a inteligência artificial

Recentemente tem havido um grande interesse em

melhorar a interação entre maquinas e seres humanos,

e uma grande forma de expressão utilizada pelos seres

humanos para expressarem suas emoções e através da

face, e identificar esse processo pode ser entendido

como uma parte do que hoje chamamos de

“inteligente”.

Fundamentação teórica

Desde o início da década de 1970 existem estudos das

expressões faciais humanas, quando Ekman encontrou

as expressões faciais denominadas “expressõs

universais”. São elas (raiva, medo, desgosto, surpresa,

alegria e tristeza).

Fundamentação teórica

FACS (Facial Action Coding System)

É um padrão comum para categorizar sistematicamente

a expressão física das emoções.

Formado por 44 Unidades de ações

Exemplos

UA1 Levantador de

Sobrancelha Interna

Fundamentação teórica

Para que fosse possível detectar esses padrões ou seja o

movimento dessas unidades de ações denominadas

UAS, o autor utilizou-se das seguintes técnicas.

Piecewise Bézier Volume Deformation (PBVD).

Tao and Huang

Fundamentação teórica

Outra necessidade encontrada foi a criação de Motion

units obtidas a partir do PBVD para passagem de

entrada do classificador.

Note que elas são

semelhantes mas não

Equivalentes as UA

Propostas por Ekman.

Fundamentação teórica

Como determinar se ocorreu ou não uma

determinada emoção ?

Para responder essa pergunta basta olharmos para as UA’S.

a combinação delas infere uma determinada emoção.

Exemplo:

Ua’s 1 + 2 + 5 + 27 = Emoção Surpresa!

Materiais e Métodos

Classificadores probabilístico

Para este problema os classificadores Naive Bayes trazem

uma solução boa, além de serem simples e bastante

utilizados em problemas similares.

Na fase classificação calcula-se qual distribuição

tem a maior probabilidade de ter gerado cada

emoção.

Materiais e Métodos

Detecção de face

Antes da detecção destes pontos é importante a

detecção da face para isto utilizou-se das seguinte técnica.

Classificador Haar Cascade (Viola and Jones)

Um forte classificador utilizado para detecção de faces em

imagens e vídeos, muito utilizado pelo seu rápido tempo

de resposta.

Materiais e Métodos

Haar Cascade e suas etapas.

Haar Características Seleção

Criação de Imagem Integral

Algoritmo de treinamento AdaBoost

Classificadores em cascata

Materiais e Métodos

Implementação

Desenvolvido em Java o autor procurou remover do

sistema certas dependências que poderiam atrapalhar na

execução do sistema por usuários comuns.

Utilizou-se da biblioteca Opencv para captura dos videos

em tempo real.

Base de Dados

Banco de Dados Cohn-Kanade Database FACS

proposto por [Kanade and Cohn 2005].

Imagens em preto e branco.

Imagens de 97 estudantes com idades entre 18 a 30

anos.

Estudantes de várias etnias e sexo.

Agrupamento das Ua’s de cada pessoa referente a

cada emoção.

Base de Dados

Banco de Dados Cohn-Kanade Database FACS

proposto por [Kanade and Cohn 2005].

Sequencias de imagens ou vídeos que descrevem uma

determinada emoção

Experimentos

Separação treinamento- validação - teste

Para cada classificador foi utilizada um conjunto de

imagens de uma pessoa e outra para os testes, evitando

assim que o classificador decorasse as classificações.

Foram avaliadas todas as sete emoções

Feliz Neutro Surpreso irritado Desgostoso Medo Triste

Resultados

Matriz de confusão para o classificador

Apesar de relativamente bom para algumas emoções os

resultados não foram tão bons vamos ver as possíveis

causas mencionadas pelo autor.

Resultados

Alguns desafios

Algumas emoções podem ser classificadas

erroneamente pelo fato de serem muito semelhantes

no conjunto de UA’S que formam a mesma.

Exemplo

Uma emoção interessante é medo (medo), que pode ser

facilmente classificada erroneamente como surpresa.

Resultados

Um grande conjunto de

UA’S para uma emoção, se

diferenciando em detalhes

mínimos.

*Este fato faz com que a emoção “medo” seja facilmente confundida

com outras emoções.

Conclusão

Apesar dos resultados terem sidos relativamente bons

comparados com outras técnicas, ele pode ser melhorado

conforme proposto pelo autor, como por exemplo a criação

de um classificador para cada emoções e a combinação

destes resultados para inferir uma determinada emoção.

Trabalhar em funções para tratamento das imagens para

remoção de ruídos e oclusão apresenta uma boa

oportunidade.

Óculos, e outros detalhes impedem a identificação da face.

Trabalhos futuros

O trabalho o qual desenvolvo e bastante semelhante

porem com melhorias em alguns aspectos como por

exemplo.

Portabilidade Web e mobile

Detecção com óculos

Este será integrado em ambientes de aprendizagem a

distancia (Moodle) para a classificação e estimulação do

estudante de maneira eficaz.

Trabalhos futuros

Obrigado !!!

akanehar@gmail.com