Post on 17-Apr-2015
Inês Salselas Reconhecimento de Sons de Percussão
Reconhecimento de Sons de Percussão
Para que pode ser útil?
• Reconhecimento e classificação do género de uma música
Fase de pré-processamento em que é retirada à música a “parte não rítmica”
Utilizado em contexto comercial para construir bases de dados musicais
• Aprendizagem do instrumento
Baterista virtual 3D (imagem sintética) que recria movimentos de um musico através da análise de um input áudio captado em
tempo real
Conversão de um input áudio captado em tempo real em formato midi e consequente extracção de partituras
Inês Salselas Reconhecimento de Sons de Percussão
Objectivo
Ideia geral
• Captar sons percussivos de uma bateria, através de um único microfone, em tempo real.
• “Trabalhar” esse input (desenvolvimento de um algoritmo robusto)
Segmentação
Extracção de características discriminantes
Análise
Identificação do componente da bateria tocado
PRATOS
BOMBO
TIMBALÃO
TIMBALÃO TAROLA
PRATOS DE CHOQUE
Inês Salselas Reconhecimento de Sons de Percussão
Estado da Arte
Diferentes abordagens
• Identificação de uma estrutura rítmica
• Identificação de instrumentos
• Consideração de diferentes classes
Bombo / tarola
Membranas / pratos
Pratos / pratos choque / timbalões / tarola / bombo
• Tempo real
• Diferentes Características consideradas
• Diferentes técnicas de classificação utilizadas
Inês Salselas Reconhecimento de Sons de Percussão
Estado da Arte
• Comparação do conteúdo (frequência) do input com bibliotecas existentes
Onset detector FittingLog. Spectrogram
calculation
Log. Spectrogramcalculation
Musical signal
Trainig drum samples
Results
Inês Salselas Reconhecimento de Sons de Percussão
Frameworks
Análise, Classificação e Processamento de Áudio
• CLAM
Plataforma (infra-estrutura) de programação para desenvolvimento de aplicações áudio / musica em C++
Disponibiliza uma livraria que funciona como um repositório estruturado de ferramentas (algoritmos) de processamento de sinal digital direccionados para analise e síntese de áudio e musica
• MARSYAS
Arquitectura permite fácil experimentação de algoritmos já implementados
Performance rápida, útil em desenvolvimento de ferramentas destinadas a análise de audio em tempo real
Inês Salselas Reconhecimento de Sons de Percussão
Questões
• Segmentação
“What is when?” O que perguntar primeiro?
Como segmentar um sinal antes de ter sido caracterizado, ou por outro
lado, como caracterizar um sinal antes de ter sido segmentado?
TICK – menor impulso métrico – corresponde ao tempo de ataque
• Selecção de características relevantes (redundância/complexidade)• ZCR• Kurtosis• Skewness• Centroid• Relative energy• MFCC’s
• Selecção de métodos de classificação
Optimização das características seleccionadas
Tempo real