![Page 1: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/1.jpg)
M A C H I N E L E A R N I N G D . I . P U C R I O
G U I L H E R M E C A R V A L H O C U N H A
CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA
![Page 2: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/2.jpg)
INTRODUÇÃO
http://www.ynner.com.br/blog/wp-content/uploads/2011/05/Emocoes.jpg
![Page 3: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/3.jpg)
MOTIVAÇÃO
• As aplicações estão querendo cada vez mais retirar mais informações dos usuários• Movimentos corporais• Bio feedback• Emoções
• O reconhecimento de emoções é um processo complexo
![Page 4: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/4.jpg)
TAREFA
• Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens
Neutro ?
![Page 5: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/5.jpg)
PROPOSTA
Inicial Atual
Neutro Nervoso (3 emoções) (7 emoções)
![Page 6: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/6.jpg)
TRABALHOS RELACIONADOS
Autor Método ML Emoções Dataset Resultado
Huang[10] Neural Network Back Propagation
7 JAFFE 78,24%
Kwang[14] PCA + Cluster
6 - 68,5%
Gang[18] SVM 6 JAFFE 68,5%
Proposto SVM 7 RaFD 84,37%
![Page 7: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/7.jpg)
DATASET
• O dataset foi criado para o propósito do trabalho utilizando as imagens do dataset RaFD • 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 /
~10)• JAFFE é um dataset de imagens de mulheres japonesas
(pouca generalização)
• Um programa automaticamente analisa as imagens e extrai os pontos faciais
• Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento
![Page 8: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/8.jpg)
VETOR DE ATRIBUTOS
• A análise foi feita em cima de 2 imagens• Neutra• Expressão
• A imagem neutra é conhecida à priori
• O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens
![Page 9: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/9.jpg)
FACE NEUTRA – FACE EXPRESSIVA
![Page 10: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/10.jpg)
VETOR DE ATRIBUTOS
• Os pontos pré-definidos foram• Cantos das sobrancelhas direitas e esquerdas (4 x 2)• Cantos da boca (2 x 2)• Ponto superior e inferior dos lábios (2 x 2)• Altura e largura da boca (2)
• 18 atributos• Exemplo
1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7
![Page 11: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/11.jpg)
MÉTODO MACHINE LEARNING
• Utilizou-se a LibSVM 3.12 para o treinamento e predição (cross validation)
• Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes
![Page 12: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/12.jpg)
RESULTADOS
• Resultados iniciais estavam na faixa de 67%
• Cross validation dos atributos finais trouxe resultado final de 84,37%
• Um programa foi desenvolvido com o modelo proposto
![Page 13: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/13.jpg)
PROGRAMA - CALIBRAGEM
![Page 14: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/14.jpg)
PROGRAMA – RECONHECIMENTO DE EMOÇÃO
![Page 15: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/15.jpg)
CONCLUSÕES
• Resultado satisfatório• Ainda não é uma atividade bem definida, difícil
encontrar o estado-da-arte, dataset, comparações• Dataset foi criado automaticamente, não existe
nenhuma anotação de atributos dourada (poderia melhorar)
• Dificuldade em encontrar a face neutra• Teoria != prática• Algumas classes se confundem mais com as outras
enquantos algumas se separam mais facilmente
![Page 16: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/16.jpg)
TRABALHOS FUTUROS
• Melhorar ainda mais os atributos escolhidos• Buscar um método de definição da face neutra• Buscar emoções intermediárias (menos
exageradas)• Transportar para o modelo HMM e perceptron
estruturado e verificar os resultados
![Page 17: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/17.jpg)
BIBLIOGRAFIA
• [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.
• [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp.266-275.
• [3] Michael Kass and Andrew Witkin and Demetri Terzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988;
• [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010
• [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on
• [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation
• [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion
![Page 18: MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA](https://reader036.vdocuments.com.br/reader036/viewer/2022081420/552fc14b497959413d8e2311/html5/thumbnails/18.jpg)
DÚVIDAS
?