Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de...
Transcript of Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de...
![Page 1: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/1.jpg)
Sistemas de Áudio: do monoaural ao ambisonics
(passando pelo binaural)
Prof. Dr. Bruno Masiero
![Page 2: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/2.jpg)
![Page 3: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/3.jpg)
![Page 4: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/4.jpg)
Fonógrafo (1877)
![Page 5: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/5.jpg)
![Page 6: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/6.jpg)
![Page 7: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/7.jpg)
![Page 8: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/8.jpg)
![Page 9: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/9.jpg)
![Page 10: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/10.jpg)
![Page 11: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/11.jpg)
CODEC
![Page 12: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/12.jpg)
Localização de sonsFisiologia e Psicoacústica
![Page 13: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/13.jpg)
O sistema auditivo
![Page 14: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/14.jpg)
O Sistema auditivo (expandido…)
![Page 15: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/15.jpg)
Percepção de direção do som
![Page 16: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/16.jpg)
Interaural Time Delay (ITD)
![Page 17: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/17.jpg)
Interaural Time Delay (ITD)
• sin 𝜃 sin 𝜃 𝜃 + sin 𝜃 𝑟 𝜃 +sin 𝜃 𝑐 𝑟 𝜃 + sin 𝜃 𝑐
• 𝑐𝑐𝜃𝜃𝑛𝑖 sin 𝜃 𝑠 𝑟 𝜃 +sin 𝜃 𝑐 𝜃 + sin 𝜃 +
𝜃𝜃𝑟𝑟𝑡𝑡 = Δ𝑡 =𝑟 𝜃+sin 𝜃
𝑐
![Page 18: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/18.jpg)
Interaural Time Delay (ITD)
• 𝑚𝑐81 𝑟𝑟 ≈ 2 sin 𝜃 sin 𝜃 𝜃 +sin 𝜃 𝑟 𝜃 + sin 𝜃 𝑐 𝑟 𝜃 +sin 𝜃 𝑐
• 𝑑 = 2𝑟 ≈ 18cm
![Page 19: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/19.jpg)
Interaural Time Delay (ITD)
• 0,67ms
• 𝑚𝑐81 𝑟𝑟 ≈ 2 sin 𝜃 sin 𝜃 𝜃 +sin 𝜃 𝑟 𝜃 + sin 𝜃 𝑐 𝑟 𝜃 +sin 𝜃 𝑐
• 𝑑 = 2𝑟 ≈ 18cm
• 𝐼𝑇 𝐷 𝑚𝑎𝑥 ≈ 𝑚𝑎𝑥 𝑥 𝑚𝑎𝑥 ≈ 0,67ms
![Page 20: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/20.jpg)
Interaural Time Delay (ITD)
• 740Hz
• 𝜋𝜋
• 0,67ms
• 𝑚𝑐81 𝑟𝑟 ≈ 2 sin 𝜃 sin 𝜃 𝜃 + sin 𝜃 𝑟 𝜃 +sin 𝜃 𝑐 𝑟 𝜃 + sin 𝜃 𝑐
• 𝑑 = 2𝑟 ≈ 18cm
• 𝐼𝑇 𝐷 𝑚𝑎𝑥 ≈ 𝑚𝑎𝑥 𝑥 𝑚𝑎𝑥 ≈ 0,67ms• 𝐼𝑇 𝐷 𝑚𝑎𝑥 ≈ 𝑚𝑎𝑥 𝑥 𝑚𝑎𝑥 ≈ 740Hz
![Page 21: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/21.jpg)
Interaural Level Difference (ILD)
![Page 22: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/22.jpg)
Efeito de precedência
Summinglocalization
![Page 23: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/23.jpg)
Cone de confusão
![Page 24: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/24.jpg)
Resolvendo o cone de confusão
![Page 25: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/25.jpg)
Head-Related Transfer Function
![Page 26: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/26.jpg)
Head-Related Transfer Function
![Page 27: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/27.jpg)
Head-Related Transfer Function
ILD
![Page 28: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/28.jpg)
Head-Related Transfer Function
ILD ITD
![Page 29: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/29.jpg)
Medindo HRTF
![Page 30: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/30.jpg)
Balão de cor
Amplitude Cor
1kHz 8kHz
Balão de dados
Amplitude raioFase Cor
HRTF (esquerda)
Medindo HRTF
![Page 31: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/31.jpg)
Áudio Espacial
![Page 32: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/32.jpg)
![Page 33: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/33.jpg)
![Page 34: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/34.jpg)
![Page 35: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/35.jpg)
![Page 36: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/36.jpg)
CODEC
![Page 37: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/37.jpg)
Paradigmas
•Paradigmas de gravação
•Paradigmas de reprodução
•Paradigmas de codificação
![Page 38: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/38.jpg)
Gravação
![Page 39: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/39.jpg)
Técnicas de gravação
•Dois paradigmas principais:1. Gravação independente de fontes e
pós-produção/auralização2. Arranjo de microfones
![Page 40: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/40.jpg)
Arranjo de microfones
• Arranjos com dois microfones são os mais utilizados• XY (dois cardióides juntos)
![Page 41: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/41.jpg)
![Page 42: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/42.jpg)
Arranjo de microfones
• Arranjos com dois microfones são os mais utilizados• XY (dois cardióides juntos)
• AB (dois omni distantes)
![Page 43: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/43.jpg)
![Page 44: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/44.jpg)
Arranjo de microfones
• Arranjos com dois microfones são os mais utilizados• XY (dois cardióides juntos)
• AB (dois omni distantes)
• MS (um direcional e um figura de oito)
![Page 45: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/45.jpg)
Arranjo de microfones
• Arranjos com dois microfones são os mais utilizados• XY (dois cardióides juntos)
• AB (dois omni distantes)
• MS (um direcional e um figura de oito)
• Arranjos concêntricos• 5.1 (cardióides apontando para as posições dos falantes)
![Page 46: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/46.jpg)
![Page 47: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/47.jpg)
Arranjo de microfones
• Arranjos com dois microfones são os mais utilizados• XY (dois cardióides juntos)
• AB (dois omni distantes)
• MS (um direcional e um figura de oito)
• Arranjos concêntricos• 5.1 (cardióides apontando para as posições dos falantes)
• Eigenmic (Usados para descrever campo sonoro chegando a um ponto do espaço)
![Page 48: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/48.jpg)
![Page 49: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/49.jpg)
Arranjo de microfones
• Arranjos com dois microfones são os mais utilizados• XY (dois cardióides juntos)• AB (dois omni distantes)• MS (um direcional e um figura de oito)
• Arranjos concêntricos• 5.1 (cardióides apontando para as posições dos falantes)• Eigenmic (Usados para descrever campo sonoro
chegando a um ponto do espaço)
• Possível outros arranjos com outras configurações
![Page 50: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/50.jpg)
Captação próxima/individual
• O áudio proveniente de cada fonte sonora é captado individualmente (close miking)
• As trilhas são mixadas posteriormente para cada tipo de sistema de reprodução.
![Page 51: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/51.jpg)
Reprodução espacial
![Page 52: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/52.jpg)
Técnicas de reprodução espacial
• Três paradigmas1. Panorama
2. Síntese de campo
3. Binaural
![Page 53: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/53.jpg)
Panorama 2D
![Page 54: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/54.jpg)
SomaVetorial
Posição da fonte
![Page 55: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/55.jpg)
Efeito de precedência
Summinglocalization
![Page 56: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/56.jpg)
Panorama de amplitude
Jens Blauert and Rudolf Rabenstein, Schallfeldsynthese mit Lautsprechern I − Beschreibung und Bewertung. ITG-Fachtagung „Sprachkommunikation“ – Bochum, October 2010
![Page 57: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/57.jpg)
Panorama: Lei das Tangentes
𝑔𝐿 𝑔𝑅
tan 𝜃
tan 𝜃0=𝑔𝑅 − 𝑔𝐿𝑔𝑅 + 𝑔𝐿
𝜃
−𝜃0 𝜃0
![Page 58: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/58.jpg)
Panorama 2D
![Page 59: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/59.jpg)
Surround Sound
• Extensão do PANORAMA DE AMPLITUDE para um formato envolvente e comercialmente viável
![Page 60: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/60.jpg)
Panorama 3D
Ville Pulkki, Virtual sound source positioning using vector base amplitude panning, Journal of the Audio Eng. Society,1997
![Page 61: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/61.jpg)
Karl-Heinz Stockhausen, Spherical Concert Hall, World Expo in Osaka, 1970
![Page 62: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/62.jpg)
VBAP: Triângulo ativo
Ville Pulkki, Virtual sound source positioning using vector base amplitude panning, Journal of the Audio Eng. Society,1997
𝑔1 𝑔2 𝑔3
= 𝑝𝑥 𝑝𝑦 𝑝𝑧
𝑙𝑥 1
𝑙𝑥 2
𝑙𝑥 3
𝑙𝑦 1
𝑙𝑦 2
𝑙𝑦 3
𝑙𝑧 1
𝑙𝑧 2
𝑙𝑧 3
−1
![Page 63: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/63.jpg)
IEM-CUBE (Graz, Austria)
24 Loudspeakers, ~4th Order
![Page 64: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/64.jpg)
Ambisonics
• Enquanto VBAP propõem usar 3 altofalantes por direção, AMBISONICS propõem o uso de todos os altofalantes para sintetizar um fonte virtual.
• Baseado no conceito de análise harmônica (esféricas)
![Page 65: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/65.jpg)
Conhecemos Fourier no tempo...
1a a 3a harmônicas
1a e 2a harmônicas
Primeira harmônica
![Page 66: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/66.jpg)
Séries de Fourier (notação complexa)
𝑠 𝑡 =
𝑚=−∞
∞
𝐶𝑚𝑒𝑗𝑚𝜔0𝑡 𝜔0 =
2𝜋
𝑇
𝐶𝑚 =1
𝑇
−𝑇/2
𝑇/2
𝑠(𝑡)𝑒−𝑗𝑚𝜔0𝑡𝑑𝑡
![Page 67: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/67.jpg)
Séries de Fourier (notação complexa)
Domínio do tempo
Domínio da frequência
𝑠 𝑡 =
𝑚=−∞
∞
𝐶𝑚𝑒𝑗𝑚𝜔0𝑡 𝜔0 =
2𝜋
𝑇
𝐶𝑚 =1
𝑇
−𝑇/2
𝑇/2
𝑠(𝑡)𝑒−𝑗𝑚𝜔0𝑡𝑑𝑡
![Page 68: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/68.jpg)
Harmônicas Esféricas (SH)
E. Williams, Fourier Acoustics
𝑑 𝜗, 𝜑 =
𝑛=0
∞
𝑚=−𝑛
𝑛
𝐷𝑛,𝑚 ∙ 𝑌𝑛𝑚(𝜗, 𝜑)
![Page 69: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/69.jpg)
Soundfield TM
1st OrderEigenmic TM
~4th Order
Aquisição Ambisonics
• Propõem uma cadeia completa de gravação, transmissão e reprodução ESCALÁVEL de som espacial
![Page 70: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/70.jpg)
Spherical microphone arraysPetersen, Moller-Juhl,
B&K, 2003-2010
Jin, v.Schaik, 2006-2010
Li, Duraiswami, O‘Donavan, Grassi, 2004-2010
Rafaely&Park, 2004/2010
Takashima, Nakagawa,Williams,2008
Meyer, Elko 2000-2010
![Page 71: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/71.jpg)
Spherical (or platonic) sound sources
IEM Graz, Austria
CNMAT Berkeley, USA
IRCAM Paris, France
Unicamp, Campinas, Brazil
![Page 72: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/72.jpg)
Aproximando uma onda plana
𝑒𝑗𝑘𝑟 cos 𝜃 =
𝑛=0
∞
𝑖𝑛 2𝑛 + 1 𝑗𝑛 𝑘𝑟 𝑃𝑛 cos 𝜃
• 𝑗𝑛 𝑘𝑟 é a função de Bessel esférica
• 𝑃𝑛 cos 𝜃 é o polinômio de Legendre
![Page 73: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/73.jpg)
Aproximando uma onda plana
𝑛 = 0
![Page 74: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/74.jpg)
Componentes de primeira ordem
𝑛 = 1
![Page 75: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/75.jpg)
Componentes de segunda ordem
𝑛 = 2
![Page 76: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/76.jpg)
Aproximando uma onda plana
𝑛 = 2
![Page 77: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/77.jpg)
Aproximando uma onda plana
𝑛 = 5
![Page 78: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/78.jpg)
Aproximando uma onda plana
𝑛 = 10
![Page 79: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/79.jpg)
Aproximando uma onda plana
𝑛 = 20
![Page 80: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/80.jpg)
Ambisonics
PANORAMA?
ou
SÍNTESE DE CAMPO?
![Page 81: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/81.jpg)
Ambisonics
PANORAMA?
ou
SÍNTESE DE CAMPO?
• Ambisonics permite transição suave entre os dois paradigmas.• De acordo com seu criador M. Gerzon, para baixas
ordens Ambisonics funciona baseado em princípios psicoacústicos.
• High Order Ambisonics (HOA): síntese de campo.
![Page 82: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/82.jpg)
Síntese de Campo: WFS
• Baseado no princípio de Huygens
![Page 83: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/83.jpg)
Síntese de Campo: WFS
• Involve solução da integral de Kirchhoff-Helmholtz
![Page 84: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/84.jpg)
Síntese de Campo: WFS e HOA
• Controlam o campo sonoro
• Pode sintetizar fontes pontuais a distâncias menores que a dos falantes
• Necessitam de centenas de altofalantes
• Artefatos ocorrem nas altas frequências• (depende da distância entre falantes)
![Page 85: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/85.jpg)
Binaural
Blauert, J., 1995, "An Introduction to Binaural Technology“
![Page 86: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/86.jpg)
Fones Falantes
Reprodução binaural
![Page 87: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/87.jpg)
Binaural
J. Blauert. Communication Acoustics. Springer-Verlag, 2005
Individual
77
![Page 88: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/88.jpg)
Binaural
J. Blauert. Communication Acoustics. Springer-Verlag, 2005
Individual
77
![Page 89: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/89.jpg)
Binaural
J. Blauert. Communication Acoustics. Springer-Verlag, 2005
Individual
Individual
77
![Page 90: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/90.jpg)
Binaural
J. Blauert. Communication Acoustics. Springer-Verlag, 2005
Individual
77
![Page 91: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/91.jpg)
Binaural
J. Blauert. Communication Acoustics. Springer-Verlag, 2005
Individual
77
![Page 92: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/92.jpg)
Binaural: Equalização
![Page 93: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/93.jpg)
Equalização individual de fones
Masiero B, Fels J. Perceptually Robust Headphone Equalization for Binaural Reproduction. 130th AES Convention. London, England; 2011.
![Page 94: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/94.jpg)
Equalização individual de fones
média
Masiero B, Fels J. Perceptually Robust Headphone Equalization for Binaural Reproduction. 130th AES Convention. London, England; 2011.
![Page 95: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/95.jpg)
Equalização individual de fones
média
Vales suavizados
Masiero B, Fels J. Perceptually Robust Headphone Equalization for Binaural Reproduction. 130th AES Convention. London, England; 2011.
![Page 96: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/96.jpg)
Diafonia (crosstalk)sL
sR
eReL
![Page 97: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/97.jpg)
Crosstalk Cancellation (CTC)
I1'
t
1
t
I
t
I1
I
Left Ear
Right SpeakerLeft Speaker
Right Ear
t
![Page 98: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/98.jpg)
Crosstalk Cancellation (CTC)
I1'
t
1
t
I
t
I1
I
Left Ear
Right SpeakerLeft Speaker
Right Ear
t
22'
2
![Page 99: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/99.jpg)
Crosstalk Cancellation (CTC)
I1'
t
1
t
I
t
I1
I
Left Ear
Right SpeakerLeft Speaker
Right Ear
t
22'
2
3'3
3
![Page 100: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/100.jpg)
Crosstalk Cancellation (CTC)
•
• = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
82
![Page 101: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/101.jpg)
Crosstalk Cancellation (CTC)
•
• = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
82
![Page 102: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/102.jpg)
Crosstalk Cancellation (CTC)
•
• = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
𝑒𝐿𝑒𝑅
=𝐻𝐿𝐿 𝐻𝑅𝐿
𝐻𝐿𝑅 𝐻𝑅𝑅
𝑯
𝐶𝐿𝐿 𝐶𝑅𝐿𝐶𝐿𝑅 𝐶𝑅𝑅
𝑪
𝑠𝐿𝑠𝑅
82
![Page 103: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/103.jpg)
Crosstalk Cancellation (CTC)
• in min 𝑪 𝑪𝑪min 𝑪 min 𝑪 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑯𝑪𝑪𝒔𝒔−𝒔𝒔𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 2 2 𝑯𝑪𝒔−𝒔2 + 𝛽 𝑪𝒔 2 𝛽𝛽 𝑪𝒔 𝑪𝒔 𝑪𝑪𝒔𝒔 𝑪𝒔 𝑪𝒔 𝛽𝑪𝒔 2 2 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 min 𝑪 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2
• Goal: • 𝒎in 𝑪 min 𝑪 𝑯𝑪𝒔 − 𝒔 2 +
𝛽 𝑪𝒔 2
• = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
𝑒𝐿𝑒𝑅
=𝐻𝐿𝐿 𝐻𝑅𝐿
𝐻𝐿𝑅 𝐻𝑅𝑅
𝑯
𝐶𝐿𝐿 𝐶𝑅𝐿𝐶𝐿𝑅 𝐶𝑅𝑅
𝑪
𝑠𝐿𝑠𝑅
82
![Page 104: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/104.jpg)
Crosstalk Cancellation (CTC)
• 𝑯 ∗ 𝑯+𝑰𝛽 −1 𝑯 ∗ 𝑯+𝑰𝛽 𝑯 ∗ 𝑯𝑯𝑯 ∗ ∗ 𝑯 ∗ 𝑯𝑯+𝑰𝑰𝛽𝛽 𝑯 ∗ 𝑯+𝑰𝛽 𝑯 ∗ 𝑯+𝑰𝛽 −1 −1 𝑯 ∗ 𝑯+𝑰𝛽 −1 𝑯 ∗ 𝑯𝑯𝑯 ∗ ∗ 𝑯 ∗
• in min 𝑪 𝑪𝑪 min 𝑪 min 𝑪 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑯𝑪𝑪𝒔𝒔−𝒔𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 2 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝛽𝛽 𝑪𝒔 𝑪𝒔 𝑪𝑪𝒔𝒔 𝑪𝒔 𝑪𝒔 𝛽 𝑪𝒔 2 2 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 min 𝑪𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2
• Goal: • 𝒎in 𝑪 min 𝑪 𝑯𝑪𝒔 − 𝒔 2 +
𝛽 𝑪𝒔 2
• Result• 𝑪 = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
• = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
𝑒𝐿𝑒𝑅
=𝐻𝐿𝐿 𝐻𝑅𝐿
𝐻𝐿𝑅 𝐻𝑅𝑅
𝑯
𝐶𝐿𝐿 𝐶𝑅𝐿𝐶𝐿𝑅 𝐶𝑅𝑅
𝑪
𝑠𝐿𝑠𝑅
82
![Page 105: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/105.jpg)
Crosstalk Cancellation (CTC)
• 𝑯 ∗ 𝑯+𝑰𝛽 −1 𝑯 ∗ 𝑯+𝑰𝛽 𝑯 ∗ 𝑯𝑯𝑯 ∗ ∗ 𝑯 ∗ 𝑯𝑯+𝑰𝑰𝛽𝛽 𝑯 ∗ 𝑯+𝑰𝛽 𝑯 ∗ 𝑯+𝑰𝛽 −1 −1 𝑯 ∗ 𝑯+𝑰𝛽 −1 𝑯 ∗ 𝑯𝑯𝑯 ∗ ∗ 𝑯 ∗
• in min 𝑪 𝑪𝑪 min 𝑪 min 𝑪 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑯𝑪𝑪𝒔𝒔−𝒔𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 𝑯𝑪𝒔−𝒔 2 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 𝛽𝛽 𝑪𝒔 𝑪𝒔 𝑪𝑪𝒔𝒔 𝑪𝒔 𝑪𝒔 𝛽 𝑪𝒔 2 2 𝛽 𝑪𝒔 2 𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2 min 𝑪𝑯𝑪𝒔−𝒔 2 + 𝛽 𝑪𝒔 2
• Goal: • 𝒎in 𝑪 min 𝑪 𝑯𝑪𝒔 − 𝒔 2 +
𝛽 𝑪𝒔 2
• Result• 𝑪 = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
• = 𝑯∗𝑯+ 𝑰𝛽 −1𝑯∗
𝑒𝐿𝑒𝑅
=𝐻𝐿𝐿 𝐻𝑅𝐿
𝐻𝐿𝑅 𝐻𝑅𝑅
𝑯
𝐶𝐿𝐿 𝐶𝑅𝐿𝐶𝐿𝑅 𝐶𝑅𝑅
𝑪
𝑠𝐿𝑠𝑅
82
Individual
![Page 106: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/106.jpg)
CTC individual
83
#5 - #5(matched)
#6 - #2(mismatched)
Majdak P, Masiero B, Fels J. Sound localization in individualized and non-individualized crosstalk cancellation systems. J Acoust Soc Am. 2013 Apr;133(4):2055–68.
![Page 107: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/107.jpg)
Binaural
• Estático VS Dinâmico
Masiero B, Vorländer M. A Framework for the Calculation of Dynamic Crosstalk Cancellation Filters. IEEE/ACM Trans Audio, Speech, Lang Process. 2014. 22(9):1345–54.
![Page 108: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/108.jpg)
Binaural Dinâmico
![Page 109: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/109.jpg)
Áudio orientado a objetoE seus desafios...
![Page 110: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/110.jpg)
CODEC
![Page 111: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/111.jpg)
CODEC
![Page 112: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/112.jpg)
Sopa de letrinhas...
• MPEG-7:• padrão de descrição de conteúdo multimídia
• MPEG-4:• padrão mais comumente utilizado para compressão de
dados digitais de áudio e vídeo
• MP3:• MPEG-1/2 Audio Layer 3: um dos primeiros tipos de
compressão de áudio com perdas
![Page 113: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/113.jpg)
Padrões MPEG
1. Parametric Stereo
2. MPEG Surround
3. Spatial Audio Object Coding (SAOC)
![Page 114: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/114.jpg)
Parametric Stereo Coding
![Page 115: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/115.jpg)
MPEG Surround Coding
• Usado para transmissão eficiente de formato 5.1 comprimido em stereo ou mono e metadados espaciais
• Codificação baseada em CANAIS
![Page 116: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/116.jpg)
Stereo Upmixing
![Page 117: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/117.jpg)
Stereo Upmixing
![Page 118: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/118.jpg)
MPEG Spatial Audio Oriented Coding
• ISO/IEC 23003-2:2010 Standard
• SAOC utiliza o conceito de OBJETOS SONOROS, istoé, sinais monofônicos não-correlacionados, que sãofornecidos ao CODEC para compressão e podem sermixados no receptor de acordo com o sistema de reprodução disponível e as informaçõesparamétricas enviadas
![Page 119: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/119.jpg)
MPEG Spatial Audio Oriented Coding
![Page 120: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/120.jpg)
MPEG Spatial Audio Oriented Coding
• Mas e se não tenho as gravações individuais de cada objeto da cena?
• É aqui que entram novos paradigmas de processamento de sinais!
• Modelo da audição espacial
• Arranjos densos de microfones
• Separação cega de fontes
• Desconvolução com esparsidade
![Page 121: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/121.jpg)
DirAC (Aalto Univ. & Fraunhofer IIS)
![Page 122: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/122.jpg)
Agora só falta vocês botarem a boca no trombone...
![Page 123: Sistemas de Áudio - dca.fee.unicamp.brrafael/ee840/Minicurso_SomEspacial.pdf · Sistemas de Áudio: do monoaural ao ambisonics (passando pelo binaural) Prof. Dr. Bruno Masiero](https://reader031.fdocumentos.tips/reader031/viewer/2022022107/5be7ad4b09d3f23a558c8903/html5/thumbnails/123.jpg)
Imagens extraídas dePulkki, Karjalainen, Communication Acoustics, John Wiley & Sons, 2015