MÁSCARAS DE ÁUDIO PARA EMULAÇÃO DE...
Transcript of MÁSCARAS DE ÁUDIO PARA EMULAÇÃO DE...
MÁSCARAS DE ÁUDIO PARA
EMULAÇÃO DE VOZ
Acadêmico: Marcos Rodrigo da Silva
Orientador: Paulo César Rodacki Gomes07/07/2009
Introdução Objetivo
Fundamentação teórica
Conceitos básicos
Contexto atual do tema
Desenvolvimento da ferramenta
Requisitos Especificação Implementação
Resultados Testes
Conclusões Extensões
Sumário
07/07/2009Máscaras de áudio para emulação de voz
2
Voz locutorVoz
personagemMáscara de
áudio
Objetivo
Voz locutorMáscara de
áudio
Voz do personagem (emulada)
07/07/2009Máscaras de áudio para emulação de voz
4
Ondas
Transformada Rápida de Fourier
Filtros Adaptativos
Formato WAVE
Fundamentação teórica
07/07/2009Máscaras de áudio para emulação de voz
5
07/07/2009Máscaras de áudio para emulação de voz
6
Projeções
senoidais com
diferentes
fases iniciais
Ondas
07/07/2009Máscaras de áudio para emulação de voz
7
FFT usando o
método de
Cooley-Tukey
Transforma Rápida de Fourier
07/07/2009Máscaras de áudio para emulação de voz
8
Estrutura
básica de um
filtro
adaptativo
Filtros adaptativos
07/07/2009Máscaras de áudio para emulação de voz
9
Representação
de um arquivo
de formato
WAVE
Formato WAVE
• Usando um redes neural detectaram palavras isoladas
• Adicionado informações a respeito das frequências
Reconhecedores de fonemas (Moser e Tafner)
• Transformações lineares com modelos de mistura Gaussiana
Sintetizadores para leitura de texto (Kain e Macon)
• Ferramenta comercial
Equalizadores de voz (Audio4Fun)
• Usa a partitura da música para definir a entonação
Sintetizadores de voz para canto (Sanjaume)
07/07/2009
10
Máscaras de áudio para emulação de voz
Trabalhos correlatos
Requisitos
Especificação
Implementação
Desenvolvimento da ferramenta
07/07/2009Máscaras de áudio para emulação de voz
11
permitir carregar arquivos de áudio no formato WAVE para ambas as vozes
permitir capturar áudio a partir de um microfone e gravar o mesmo em arquivo
WAVE
transformar um sinal carregado do domínio do tempo para o domínio da frequência
através da transformada de Fourier
obter a frequência do harmônico fundamental
07/07/2009
12
Máscaras de áudio para emulação de voz
Requisitos
armazenar o valor das amplitudes dos harmônicos relevantes a detecção do timbre, que são as
frequências múltiplas do harmônico fundamental
calcular a máscara de diferença entre os harmônicos da amostra de voz do locutor e a
amostra de voz do personagem
aplicar a máscara calculada sobre um sinal de voz do locutor, gerando um terceiro sinal que emule a
voz do personagem
reproduzir qualquer um dos sinais de amostra ou o sinal emulado
07/07/2009
13
Máscaras de áudio para emulação de voz
Requisitos
Obtenção dos áudios
• Leitura de arquivos WAVE com JavaSound
• Interpretação do conteúdo
Criação do filtro
• Algoritmo LMS sobre os áudios obtidos
Aplicação do filtro
• Adição do filtro criado sobre outra amostra de áudio a fim de modificar o som
Implementação – Técnicas
07/07/2009Máscaras de áudio para emulação de voz
20
07/07/2009Máscaras de áudio para emulação de voz
Resultados – Exemplo com nota musical
Piano
Guitarra
Emulado
23
Aliasing Tamanho Tempo
100 100 00 min 50 s
100 500 02 min 50 s
100 1000 05 min 40 s
500 100 03 min 00 s
500 500 14 min 40 s
500 1000 27 min 50 s
1000 100 05 min 50 s
1000 500 27 min 50 s
1000 1000 55 min 40 s
07/07/2009
24
Máscaras de áudio para emulação de voz
Resultados – Desempenho
• A detecção dos harmônicos muitas vezes é subjetivo, devido ao grande número de frequências envolvidas
Detecção dos harmônicos
• O histograma obtido possui muitos dados próximos aos dados relevantes
Histograma
• Variam de uma voz pra outra, dificultando a obtenção de um padrão correlato
Frequências fundamentais
07/07/2009
26
Máscaras de áudio para emulação de voz
Testes
• Processos de tratamentos de sinal são complexos e demandam grande processamento
Complexidade
• Vozes possuem muitas variáveis que as diferenciam umas das outras
Muitas variáveis
• Filtros adaptativos funcionam melhor com sinais constantes
Sinais constantes
Conclusões
07/07/2009Máscaras de áudio para emulação de voz
27
1• Tratamentos com diferentes taxas de amostragem
2• Entrada de mais fontes de áudio simultâneas
3• Aplicação de mais de um filtro
4• Utilização de outros tipos de filtros adaptativos
5• Adequação para a utilização em tempo real
Extensões
07/07/2009Máscaras de áudio para emulação de voz
28