Classificação Facial Utilizando

Descritores Baseados em Cores

Quantizadas pelo Misturograma

Autor: João Paulo Brognoni Casati

Orientação: Prof. Dr. Evandro Luis Linhari Rodrigues

Monografia de Qualificação

Programa de Mestrado em Engenharia Elétrica

Escola de Engenharia de São Carlos –USP

Departamento de Engenharia Elétrica

São Carlos, 22 de maio de 2012.

Sumário• Introdução

• Objetivos

• Fundamentação Teórica

• O Misturograma

• Redes Neurais Artificiais

• Trabalhos Relacionados

• Metodologia

• Reconhecimento Facial

• Classificação de Cor da Pele

• Resultados Parciais

• Reconhecimento Facial

• Conclusões Preliminares

• Próximas Etapas e Cronograma

Introdução

• Reconhecimento Facial

• Identificar e/ou Classificar indivíduos;

• Sistemas de segurança, robôs, entretenimento, entre outros;

• Utilização de informações de cores das imagens faciais;

• Classificação de Cor de Pele

• Utilizada em sistemas de reconhecimento facial como descritor adicional, e em classificação de faces;

• Aplicação capaz de classificar o indivíduo em virtude da cor predominante de pele.

Objetivos

• Principal

• Classificar indivíduos entre três diferentes cores de pele:

• Branca;

• Preta;

• Amarela.

• Para isto, são desenvolvidos dois experimentos:

• 1 – Reconhecimento Facial

• Utilizar imagens faciais com cores quantizadas.

• 2 – Classificação de Cor de Pele

• Separar indivíduos em 3 diferentes classes, de acordo com a cor predominante de sua pele.

Fundamentação Teórica

• Aplicações CBIR (content-based image retrieval):

• Recuperação de imagens por meio de seu conteúdo;

• Extração de características de imagens com métodos computacionais.

• Quantizadores de Cores

• Representação da imagem em menos cores;

• Diminuição do espaço em memória ocupado por uma imagem;

Misturograma (fund. teórica)

• Metodologia de quantização de cores em imagens digitais;

• Baseado na arte, mistura de camadas de diferentes cores:

• 8 camadas com pesos distintos;

• Processamento pixel a pixel;

• Espaço de cores RGB;

• Reduz o número de cores para 8:

• Preto, azul, verde, ciano, vermelho, magenta, amarelo e branco.

Misturograma (fund. teórica)

• Imagem Quantizada Pelo Misturograma:

• Esboço da Face:

Redes Neurais (fund. teórica)

• Modelos computacionais baseados no funcionamento do cérebro humano;

• Utilizadas em diversos tipos de aplicação;

• Neste trabalho são utilizadas em reconhecimento de padrões.

Redes Neurais (fund. teórica)

• Redes Perceptron Multi-Camadas (PMC):

• É a arquitetura de redes neurais mais difundida;

• Pode conter diversos neurônios em diversas camadas;

• Algoritmo de treinamento Backpropagation.

Redes Neurais (fund. teórica)

• Redes RBF (Radial-Basis Funcion):

• Utilizada em aproximação de funções e reconhecimento de padrões;

• Possui apenas uma camada escondida;

• Treinamento 1ª Camada: k-means;

• Treinamento 2ª Camada: backpropagation;

• Separa o espaço amostral utilizando funções de base radial.

Trabalhos Relacionados (fund. teórica)

• Misturograma

• Quantização de cores de imagens faciais para aplicação CBIR;

• Segmentação de pele em imagens faciais;

• Geração de esboço da face para aplicação CBIR;

• Utilização do esboço em reconhecimento de retrato falado;

• Classificação de cor de pele (ROOMI et al., 2011)

Metodologia (Reconhecimento Facial)

• Quantização das imagens;

• Extração de características;

• Experimento: 3 diferentes abordagens:

• 1 – Utilização das 8 cores resultantes da quantização, desenvolvida por Severino Jr. & Gonzaga (2005);

• 2 – Utilização de 7 cores resultantes;

• 3 – Utilização das 8 cores + esboço da imagem;

• Vetores de características: Histogramas de cores;

• Neste experimento é utilizado o Banco de Faces AR.

Metodologia (Reconhecimento Facial)

• São utilizadas imagens de 119 indivíduos distintos:

• 65 homens;

• 54 mulheres;

• Quatro classes de imagens do banco AR são utilizadas neste experimento:

Metodologia (Reconhecimento Facial)

• Para cada abordagem:

• Uma das classes é armazenada no banco e as outras são apresentadas como entrada;

• Processamento:

• As imagens são redimensionadas em 25% (124x144 pixels);

• Quantização pelo misturograma e extração do esboço;

• Medida de similaridade: distância euclidiana;

• A menor distância entre todas as imagens da classe é dada como resultado da busca;

Metodologia (Reconhecimento Facial)

• Exemplos de Histograma de Imagens Quantizadas:

Metodologia (Classificação de Cor da Pele)

• Classificar indivíduos em 3 diferentes cores de pele predominantes (ROOMI et al., 2011):

• Branca;

• Preta;

• Amarela.

• Banco de Faces FERET:

• Grande quantidade de imagens;

• 1208 indivíduos com diferentes cores de pele.

• Utilizando 112 imagens:

• 15 negróides, 15 mongolóides e 82 caucasianos;

• Classificação baseada nas cores quantizadas: Misturograma;

Metodologia (Classificação de Cor da Pele)

• Pré-Processamento:

• Redimensionamento: 25%;

• Suavização por filtro da média: máscara 3x3 pixels;

• Remoção de bordas;

• Imagem resultante: 94x74 pixels.

Metodologia (Classificação de Cor da Pele)

• Quantização e Segmentação

• A utilização do misturograma tem 2 objetivos:

• 1º - Quantizar as cores da imagem;

• 2º - Segmentar a área de pele;

• Camadas utilizadas para segmentação da pele:

Metodologia (Classificação de Cor da Pele)

• Segmentação da pele

• É baseada em diferentes camadas do misturograma:

• Cor 4 (vermelha) da camada 7 – C4,7;

• Cor 6 (amarela) da camada 7 – C6,7;

• Cor 7 (branca) da camada 7 – C7,7;

• Cor 7 (branca) da camada 6 – C7,6.

• Equação de detecção da pele:

• Vetor de Características:

• Histograma de Cores normalizado da área de pele quantizada pelo misturograma;

Metodologia (Classificação de Cor da Pele)

Resultados Parciais (Rec. Facial)

• 1ª Abordagem (8 cores):

• Taxa máxima de acertos: C1 x C2 – 97,5%;

• Taxa mínima de acertos: C2 x C4 – 89,1 %.

• 2ª Abordagem (7 cores):

• Taxa máxima de acertos: C1 x C2 – 96,6%;

• Taxa mínima de acertos: C3 x C4 – 89,9 %.

• 3ª Abordagem (8 cores + 2 do esboço):

• Taxa máxima de acertos: C1 x C2 – 96,6%;

• Taxa mínima de acertos: C2 x C4 – 84,9 %.

Resultados Parciais (Rec. Facial)

85.00%

86.00%

87.00%

88.00%

89.00%

90.00%

91.00%

92.00%

93.00%

1ª Abr. (8) 2ª Abr. (7) 3ª Abr. (10)

92.30%92.70%

88.10%

Média de Acertos

Média

Resultados Parciais (Rec. Facial)

0.00%

2.00%

4.00%

6.00%

8.00%

10.00%

12.00%

1ª Abr. (8) 2ª Abr. (7) 3ª Abr. (10)

8.40%

6.70%

11.70%

Variação Máxima dos Resultados

Variação max.

Resultados Parciais (Rec. Facial)

0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

80.00%

90.00%

100.00%

1ª Abr. (8) 2ª Abr. (7) 3ª Abr. (10)

Média

Variação max.

Conclusões Preliminares

• Experimento 1:

• A 2ª abordagem apresentou os melhores resultados;

• Histograma do esboço não é bom descritor de faces;

• As cores quantizadas pelo misturograma podem ser descritores eficientes de imagens faciais;

• Experimento 2:

• O misturograma é eficiente para segmentação da pele;

• Cores de pele quantizadas diferem dependendo da cor da pele do indivíduo;

• As camadas do misturograma permitem adequação para segmentação da pele;

Próximas Etapas

• Aplicar detector de faces;

• Aumentar o banco de imagens;

• Normalização de canais de cores;

• Avançar na Revisão Bibliográfica: Classificação de Cor de Pele;

• Implementação de outras técnicas para comparação;

• Identificar características relevantes;

• CCV, BIC e Histogramas Locais;

• Classificar as faces utilizando RNA.

Cronograma

Obrigado!