Fala e Movimentação Facial em Avatares Alexandre Magno Maciel [email protected] Ricardo de...
Transcript of Fala e Movimentação Facial em Avatares Alexandre Magno Maciel [email protected] Ricardo de...
![Page 1: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/1.jpg)
Fala e Movimentação Facialem Avatares
Alexandre Magno [email protected]
Ricardo de Oliveira [email protected]
![Page 3: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/3.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Definição: “Geração automática pelo computador de formas de onda de voz” [TAH05]
• Outras denominações: Sistema de resposta vocal ou Text-To-Speech (TTS)
• Dilema: Produção X Reprodução
![Page 4: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/4.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Processo de síntese de voz:
Pré-processamento Conversãoortográfico-fonética
Processamentoprosódico
SínteseTextoSinal
de voz
Baixo nível Alto nível
![Page 5: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/5.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Processo de síntese de voz:
– Normalização:
encontrar equivalentes “por extenso”
ex: símbolos ($ %), datas, pontuação (, .)
Pré-processamento Conversãoortográfico-fonética
Processamentoprosódico
SínteseTextoSinal
de voz
![Page 6: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/6.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Processo de síntese de voz:
– Conversão ortográfico-fonética:
encontrar seqüência correta de fonemas
ex: letra “x” -> xumbo, exame, tórax
“o piloto morreu”; “eu piloto bem”
Pré-processamento Conversãoortográfico-fonética
Processamentoprosódico
SínteseTextoSinal
de voz
![Page 7: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/7.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Processo de síntese de voz:
– Cálculo de intensidade e duração
ex: pausas entre palavras, entonação (sentenças declarativas, imperativas e interrogativas)
Pré-processamento Conversãoortográfico-fonética
Processamentoprosódico
SínteseTextoSinal
de voz
![Page 8: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/8.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Processo de síntese de voz:
– Geração do áudio– Estratégias: concatenativa
formantesarticulatória
Pré-processamento Conversãoortográfico-fonética
Processamentoprosódico
SínteseTextoSinal
de voz
![Page 9: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/9.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Geração do áudio:– Síntese concatenativa : segmentos de áudio
pré-gravadas a partir de um inventário de unidades previamente construído.
– Tamanho das unidades: • Palavras• Silabas (Demissílabas)• Fones (Difones)
![Page 10: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/10.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Geração do áudio:– Síntese de formantes: modelo acústico que
forma o áudio de acordo com uma série de parâmetros
– Síntese articulatória: gera o sinal de voz através da modelação das características físicas, anatômicas e fisiológicas do aparelho humano produtor de voz
![Page 11: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/11.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Trabalhos realizados:– Simões, 1999 (dissertação - UNICAMP)
• Dicionário de 2450 unidades• Síntese concatenativa• Voz masculina
![Page 12: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/12.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Trabalhos realizados:– Carvalho, 2005 (INESC)
• DIXI• Síntese concatenativa• Dicionário de 4000 unidades• Vozes masculina e feminina
![Page 13: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/13.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Trabalhos realizados:– DOSVOX (UFRJ) ... 2008
• Auxílio deficientes físicos• Software livre
![Page 14: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/14.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Trabalhos realizados:– MATRACA (UFCG) ... 2008
• Auxílio deficientes físicos• Software livre
![Page 15: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/15.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Síntese de voz
• Aplicações Comerciais– IBM ViaVoice 8.0– NUANCE Dragon Systems– Jaws for Windows
![Page 16: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/16.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Módulo Extração de Fonemas
![Page 17: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/17.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
• Processo de reconhecimento de padrões
Extração de Fonemas
[FEC02]
![Page 18: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/18.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Extração de Fonemas
• Extração de Parâmetros:– Dar representatividade– Compactar (redução dimensionalidade)– Simplicidade computacional
• Principais Parâmetros:– Energia por segmento;– Taxa cruzamento por zero;– Número total e diferença entre picos;– Coeficiente de Correlação Normalizado.
[FEC02]
![Page 19: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/19.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Extração de Fonemas
• Extração de Parâmetros– Pré-Processamento:
• Pré-ênfase (filter)• Segmentação (frames)• Janelamento (stationary)
Palavra “zero” após pré-ênfase Segmento Janelamento
[FEC02]
![Page 20: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/20.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Extração de Fonemas
• Extração de Parâmetros:
– Principais técnicas: [DIM06]
• Mel Frequency Cepstral Coding (MFCC)• Linear Predictive Coding (LPC) • Perceptual Linear Predictive (PLP)
– Experimentos:• Comparador: HMM• Base de dados:
– 11 locutores(7 MS,4 WS);– Treino: 3300 locuções;– Teste: 880 locuções;– Frases: 300
![Page 21: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/21.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Extração de Fonemas
• Comparação dos Padrões:
– Determinísticas:• Dynamic Time Warping;• Quantização Vetorial;• Redes Neurais.
– Estatísticas• Função Densidade Probabilidade;• Modelos de Markov Escondidos.
![Page 22: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/22.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Extração de Fonemas
• Trabalhos Realizados– Fechine, 2002 (UFCG)
• Reconhecimento de Locutor• Independente do Texto• Base própria, 20 locutores• 20 sentenças por locutor• Parâmetros LPC (12)• Híbrido (QV + HMM)
![Page 23: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/23.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Extração de Fonemas
• Trabalhos Realizados– Rustein, 1998 (UNICAMP)
• Reconhecimento de fala• Independente de Locutor• Base própria, 30 locutores• 10 sentenças por locutor• Parâmetros diversos• Redes Neurais
Backpropagation
Kohonen
Quantização Vetorial
![Page 25: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/25.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Interpretação de Visemas
• Associação entre fonemas/vogais e seus respectivos visemas
• Parâmetros emocionais
• Energia
• Parâmetros de animação
![Page 27: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/27.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Etapa de Animação
• Construção da animação
• Síntese de video ou técnicas de keyframing
• Parâmetros ao modelo da face associados ao áudio
![Page 28: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/28.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Aminação Facial
• Parametrização ideal para os sistemas de animação facial
• Satisfazer todos os requisitos para um sistema de animação facial não é fácil
![Page 29: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/29.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Aminação Facial
• Facilidade de uso– Número de parâmetros, complexidade e
intuitividade– Maior a flexibilidade, maior a complexidade
• Sutileza– Movimentos suaves
![Page 30: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/30.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Aminação Facial
• Abstração de alto-nível– Controlar a face com alto-nível de abstração– Textos com marcações
• Previsibilidade– O resultado da combinação de parâmetros
deve ser previsível
![Page 31: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/31.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Aminação Facial
• Portabilidade– Troca fácil de modelos faciais– Reuso de conjuntos de parâmetros
• Medição dos parâmetros– Descritos em unidades físicas que possam ser
visualmente medidas na face• Eficiência
– Comunicação através da rede
![Page 32: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/32.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Trabalhos
1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis
2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos
3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil
4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
![Page 33: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/33.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Trabalhos
1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis
2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos
3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil
4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
![Page 34: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/34.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Animação
• Parâmetros pré-calculados– Qualquer modelo possa ser animado– Usados pelo algoritmo de deformação– Definidos offline (antes da execução em tempo
real)– Captura de pontos através de ferramentas
• Feature Points• Vértices vizinhos (pesos)
![Page 37: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/37.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Animação
• Busca pelas respectivas FAPs
– Facial Animation Parameters
– Por exemplo:• Instrução para abrir a boca
![Page 38: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/38.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Animação
• Algoritmo de deformação
– Integração dos elementos do processo
![Page 41: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/41.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Animação
Módulos daAnálise fonética
![Page 44: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/44.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Trabalhos
1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis
2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos
3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil
4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
![Page 45: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/45.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
• Java e Virtual Reality Modeling Language
• Sistema interativo para criação de diferentes expressões faciais
• Animação entre as expressões– Técnicas de composição digital de imagens
![Page 46: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/46.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
• Dividido em 2 módulos:
– Criação de Expressões• Suporte para a criação das ações
– Animação Facial• Simulação do ator virtual através das 3 camadas
![Page 47: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/47.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
O que é Entrada Saída
Expressões Biblioteca básica ou modeladas
Qual expressão e intensidade
Modificação do rosto virtual
Ações Ações definidas (olhos, lábios, etc)
Quais ações executar
Expressões e intensidades à camada de expressões
Inteligência Quais ações realizar
Usuário, roteiro, I.A., síntese de voz
Quais ações realizar à camada de ações
![Page 48: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/48.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
• Cada expressão criada individualmente– Objetos que compõe o rosto
• Expressão neutra
• Biblioteca básica de expressões
![Page 49: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/49.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
• Biblioteca básica de expressões
– Conjunto de expressões simples
– Nem muitas, nem poucas
– Combinadas para criar expressões complexas• Vetor de diferenças• Valores de intensidade
![Page 50: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/50.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
Ahh Ohh esquerda direita
Dúvida
X Y Z
Rotação
![Page 51: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/51.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
Expressões básicas
Expressões combinadas
![Page 52: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/52.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
• Ações
– Piscar, falar um fonema, cantar, chorar, dormir, espirrar, ...
– Construídas através das expressões• Valores de intensidade
– Grupos de ações• Duas ações de um mesmo grupo podem ser executadas ao
mesmo tempo
![Page 53: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/53.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
InterFace
• Exemplos de grupos de ações
– Não intencionais• Respirar ou piscar os olhos
– Emoções• Chorar, sorrir ou dormir
– Sincronismo de movimentos labiais
![Page 54: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/54.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Trabalhos
1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis
2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos
3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil
4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
![Page 55: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/55.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Objetivos
• Definição de representações para os padrões visuais de movimentação articulatória– Ou seja, visemas
• Visemas dependentes do contexto fonético
• Modelos para movimentação temporomandibular e do tecido dos lábios– Elevação, depressão, protrusão e retração– Deformações
![Page 56: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/56.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Movimentação Facial
• Idéia de pontos de interesse e referência
• Gerados através da captura de video
![Page 57: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/57.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Movimentação Facial
• Articulação temporomandibular
![Page 59: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/59.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Trabalhos
1. Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis
2. InterFace: Um Sistema de Animação Interativa de Rostos Humanos
3. Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil
4. Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala
![Page 60: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/60.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Objetivos
• Sistema para geração de expressões faciais dinâmicas
– Variações ao longo do tempo– Ligadas à emoções, fala e fenômenos afetivos– Sincronismo com fala– Face tridimensional realista
![Page 61: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/61.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Sistema
• VeeM (Virtual emotion-to-expression Model)
– Modelo de emoção para personagens virtuais falantes
– Conceito de hipercubo emocional no espaço canônico do R4
• Combinação de expressões básicas para gerar emoções derivadas
![Page 62: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/62.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Sistema
• DynaFeX (Dynamic Facial eXpression)
– Para validação do VeeM
– Autoria e apresentação de animações faciais
– Processo de fala para sincronismo entre fonemas e visemas
– Malha poligonal tridimensional (baseada no modelo de animação MPEG-4)
![Page 63: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/63.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Familias de emoção
Robert Plutchik
![Page 64: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/64.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
VeeM
Alegria-Tristeza
combinada com
Medo-Raiva
![Page 65: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/65.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
VeeM
Alegria-Tristeza
combinada com
Confiança-
Abominação
![Page 66: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/66.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
VeeM e Parametrização Ideal
• VeeM em relação à parametrização ideal
– Combinação de emoções
– Emoções mapeadas em uma expressão única
– Manipulação do hipercubo emocional é fácil e direta
– Representação da expressão pode ser mapeada para uma descrição de alto-nível
– VeeM é independente de face
![Page 67: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/67.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
MPEG-4
• MPEG-4 para especificação de uma face– Definição de parâmetros (face neutra)
• Olhar na direção do eixo z• Músculos da face relaxados• Pálpebras tangentes à íris• Pupila medindo um terço do diâmetro da íris• Lábios em contato (com linha na altura dos cantos)• Boca fechada com dentes se tocando• Língua plana na horizontal com ponta tocando o
limite dos dentes
![Page 68: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/68.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
MPEG-4
• A partir de Feature Points (pontos chaves)– Parâmetros de Animação Facial (FAPs)
• Animação de pontos chaves característicos• Representação de visemas e emoções
![Page 69: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/69.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
MPEG-4
• Visemas e Lip-Sync no MPEG-4
– Transição de um visema para outro é através da combinação (blending) com um peso associado a cada um deles
– Variação da intensidade de 0 a 63
Visema final = visema1 x (blend/63) + visema2 x (blend/63)
![Page 70: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/70.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
MPEG-4
• Combinação de visemas– Cuidando as propriedades das FPs
![Page 72: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/72.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Referências
1. TATHAM, M., “Developments in Speech Systems” Editora Wiley, 2005.
2. SIMÕES, F.O., “Implementação de um Sistema de Conversão Texto-Fala para o Português do Brasil”. Dissertação de Mestrado, UNICAMP, 1999.
3. DIMITRU, C.O., et al. “A Comparative Study of Feature Extraction Methods Applied to Continuous Speech Recognition in Romanian Language”. ELMAR, 2006.
![Page 73: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/73.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Referências
4. FECHINE, J.M. “Reconhecimento Automático de Identidade Vocal Utilizando Modelagem Híbrida: Paramétrica e Estatística”, UFCG, 2002.
5. RUSTEIN, F.O. “Sistema de Reconhecimento de Fala Baseado em Redes Neurais Artificiais” Tese de doutorado,UNICAMP, 1998.
6. FIUZA, M.; Monteiro, M.; Dourato, C.; Soares, J.; Barroso, G. “Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis,” III CONNEPI, 2008.
![Page 74: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/74.jpg)
Alexandre Maciel e Ricardo Schmidt {[email protected]; [email protected]}
Referências
7. WEY, J. “InterFace: Um Sistema de Animação Interativa de Rostos Humanos,” Dissertação de mestrado, Escola Politécnica, USP, 1999.
8. MARTINO, J. de. “Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil,” Tese de doutorado, DCA/FEEC UNICAMP, 2005.
9. RODRIGUES, P. “Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala,” Tese de doutorado, Departamento de Informática, PUC-RJ, 2007.
![Page 75: Fala e Movimentação Facial em Avatares Alexandre Magno Maciel magnomaciel@hotmail.com Ricardo de Oliveira Schmidt schmidt@gprt.ufpe.br.](https://reader036.fdocumentos.tips/reader036/viewer/2022062312/552fc141497959413d8df55d/html5/thumbnails/75.jpg)
Fala e Movimentação Facialem Avatares
Alexandre Magno [email protected]
Ricardo de Oliveira [email protected]