M A C H I N E L E A R N I N G D . I . P U C R I O

G U I L H E R M E C A R V A L H O C U N H A

CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA

INTRODUÇÃO

http://www.ynner.com.br/blog/wp-content/uploads/2011/05/Emocoes.jpg

MOTIVAÇÃO

• As aplicações estão querendo cada vez mais retirar mais informações dos usuários• Movimentos corporais• Bio feedback• Emoções

• O reconhecimento de emoções é um processo complexo

TAREFA

• Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens

Neutro ?

PROPOSTA

Inicial Atual

Neutro Nervoso (3 emoções) (7 emoções)

TRABALHOS RELACIONADOS

Autor Método ML Emoções Dataset Resultado

Huang[10] Neural Network Back Propagation

7 JAFFE 78,24%

Kwang[14] PCA + Cluster

6 - 68,5%

Gang[18] SVM 6 JAFFE 68,5%

Proposto SVM 7 RaFD 84,37%

DATASET

• O dataset foi criado para o propósito do trabalho utilizando as imagens do dataset RaFD • 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 /

~10)• JAFFE é um dataset de imagens de mulheres japonesas

(pouca generalização)

• Um programa automaticamente analisa as imagens e extrai os pontos faciais

• Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento

VETOR DE ATRIBUTOS

• A análise foi feita em cima de 2 imagens• Neutra• Expressão

• A imagem neutra é conhecida à priori

• O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens

FACE NEUTRA – FACE EXPRESSIVA

VETOR DE ATRIBUTOS

• Os pontos pré-definidos foram• Cantos das sobrancelhas direitas e esquerdas (4 x 2)• Cantos da boca (2 x 2)• Ponto superior e inferior dos lábios (2 x 2)• Altura e largura da boca (2)

• 18 atributos• Exemplo

1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7

MÉTODO MACHINE LEARNING

• Utilizou-se a LibSVM 3.12 para o treinamento e predição (cross validation)

• Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes

RESULTADOS

• Resultados iniciais estavam na faixa de 67%

• Cross validation dos atributos finais trouxe resultado final de 84,37%

• Um programa foi desenvolvido com o modelo proposto

PROGRAMA - CALIBRAGEM

PROGRAMA – RECONHECIMENTO DE EMOÇÃO

CONCLUSÕES

• Resultado satisfatório• Ainda não é uma atividade bem definida, difícil

encontrar o estado-da-arte, dataset, comparações• Dataset foi criado automaticamente, não existe

nenhuma anotação de atributos dourada (poderia melhorar)

• Dificuldade em encontrar a face neutra• Teoria != prática• Algumas classes se confundem mais com as outras

enquantos algumas se separam mais facilmente

TRABALHOS FUTUROS

• Melhorar ainda mais os atributos escolhidos• Buscar um método de definição da face neutra• Buscar emoções intermediárias (menos

exageradas)• Transportar para o modelo HMM e perceptron

estruturado e verificar os resultados

BIBLIOGRAFIA

• [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.

• [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp.266-275.

• [3] Michael Kass and Andrew Witkin and Demetri Terzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988;

• [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010

• [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on

• [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation

• [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion

DÚVIDAS

?