XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

O gesto musical nos sistemas computacionais

José Guilherme Allen LimaUSP – MOBILE –FAPESP- jgallenlima@usp.br

Resumo: Como forma de estruturar uma investigação sobre o uso do computador como instrumento musical, o presente artigo relata um levantamento sobre o desenvolvimento de sistemas de computação com finalidades musicais buscando uma aproximação com os estudos sobre gesto musical, tendo como marco teórico a produção de Bernadete Zagonel e Fernando Iazzetta sobre o tema. Esta investigação sugere que o potencial do gesto musical físico ainda é pouco explorado no desenvolvimento destes sistemas, em que prevalece a noção do gesto mental.

Palavras-chave: gesto musical, computação, luteria digital, música eletrônica, Século XX, performance.

Musical Gesture in computer music systems

Abstract: This paper describes the development of computer music systems, approached from the perspective proposed by studies on musical gesture by Bernadete Zagonel and Fernando Iazzetta. Such analysis is proposed as an aid to further investigations on the usage of the computer as a musical instrument. At first, our investigation suggests an unexplored potential of physical gesture in the development of such systems, where the tendency is favouring the musical gesture of an abstract sort.

Keywords: musical gesture, computing, digital lutherie, electronic music, XXth Century, performance.

Nesta comunicação, relatamos um levantamento do desenvolvimento dos sistemas

de computação musical levando em conta a ideia de gesto musical e seus desdobramentos,

realizada como forma de estruturar uma investigação sobre o uso do computador como

instrumento musical, e demais questões relativas à performance musical envolvendo

ferramentas digitais.

Gesto musical

Até as últimas décadas do século XIX, as relações entre gesto e prática musical

nas tradições de interpretação já estabelecidas não chega a se constituir em um objeto de

estudo. Em um período de aproximadamente meio século, a introdução de tecnologias de

telefonia, fixação, difusão e produção sonora por meios eletroeletrônicos provocou uma série

de rupturas no processo de percepção destes fenômenos, produzindo a necessidade de se

entender o gesto musical segundo um outro ponto de vista. A partir destes “deslocamentos

acusmáticos”1 (EMMERSON, 1994: 95) entre fonte e resultado sonoro, e entre prática

musical e um intérprete progressivamente ausente2, o corpo e o gesto passam a ser objeto de

estudos visando um entendimento de sua importância na prática musical. Embora abrangente,

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

a noção de gesto como elemento intrínseco à prática musical passa a ser interpretada de

acordo com o que se entende por gesto e com quais funções lhe são atribuídas.

Dessa maneira o termo “gesto” ou “gesto musical”, pode fazer referência não só

ao gesto físico em si, no sentido literal, como ser usado metaforicamente para traduzir

diferentes processos criativos e interpretativos. Como metáfora, o termo é utilizado na análise

musical para descrever o uso de convenções musicais específicas de forma simbólica, ou fazer

referência a estruturas musicais e sonoras estabelecidas, constituindo-se em um “gesto

mental” (ZAGONEL, 1992: 16), um conceito que também inclui a abstração mental do gesto

físico. Em geral, o gesto musical enquanto metáfora está relacionado com os processos

criativos, tradicionalmente atribuídos à área de atuação do compositor, que podem ser

traduzidos fisicamente por intérpretes, ou eletronicamente a partir da geração e manipulação

sonora.

Já o gesto físico pode ser entendido como “um movimento com finalidades

expressivas e que produz significado” (IAZZETTA, 2000: 260). Nesse sentido, o gesto

musical é entendido como uma elaboração do movimento corporal a partir de um repertório

estabelecido de referências que auxiliam na percepção de um fenômeno sonoro e musical,

podendo ser classificado de acordo com três categorias: o gesto que efetua, o gesto que

acompanha e o gesto figurado (ZAGONEL, Ibidem: 22). Nesta classificação há uma gradação

na percepção do gesto, a partir da ação diretamente relacionada com a produção mecânica do

som – o gesto que efetua; cuja percepção é auxiliada através da associação de outros

movimentos e ações complementares – o gesto que acompanha; e cujo sentido é atribuído

tanto pelo intérprete quanto pelo ouvinte de forma dinâmica – o gesto figurado. Esta última

categoria cria uma conexão com a dimensão metafórica do gesto musical, ao associar gestos

físicos com estruturas sonoras.

Físico ou mental, o gesto desempenha no fazer musical o papel de uma ação

geradora para iniciar um processo ou responder a um estímulo, mas não se constitui em um

resultado sonoro per se. Sendo o som um fenômeno essencialmente mecânico-acústico,

qualquer tipo de gesto necessita de uma interação com um meio elástico para ser

transformado em um resultado sonoro.

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

Computação musical e instrumentos musicais digitais

Além do vínculo direto com as ciências da computação, a Computação Musical é

um campo de estudos que, ao longo de seu desenvolvimento, vai receber influências externas

devido à consolidação de uma indústria de comunicação e entretenimento com um forte

elemento tecnológico, da industrialização do mercado de instrumentos musicais, e de

diferentes correntes estéticas, de modo que as relações entre música e novas tecnologias se re-

estruturam de modo constante e dinâmico.

O processo de apropriação de aparelhos de uso genérico para o vocabulário

musical possui alguns poucos precedentes históricos mas, mesmo ao longo do século XX,

esteve relacionado com a exploração das propriedades sonoras de seus corpos ressonantes, ou

com a manipulação de seus mecanismos ou circuitos geradores de som, processos diretamente

associados a uma interferência gestual e física no objeto. Já a exploração do potencial sonoro

e musical do computador ocorre de modo diferente, devido à ausência de um corpo ressonante

que inspire investigações sonoras, ou de circuitos cuja manipulação incorra em resultados

sonoros, partindo a priori de um deslocamento acusmático causal.

Para as finalidades aqui propostas, podemos classificar o desenvolvimento de

sistemas de computação musical em quatro períodos ou ciclos. O primeiro destes compreende

os anos 1950 e 1960, e pode ser considerado como o período em que a ideia de Computação

Musical tomou forma e se estabeleceu como um campo de estudos, gravitando inicialmente

ao redor do trabalho desenvolvido por Max Mathews no centro de pesquisas Bell

Laboratories, nos Estados Unidos. Apesar de existirem experimentos anteriores usando

computadores como fonte sonora3, a criação de música em ambiente digital tem início de fato

em 1957, com o primeiro de uma série de softwares contemplando tanto o seqüenciamento de

eventos sonoros quanto a síntese sonora digital com finalidades musicais, fazendo uso de

conversores que permitiam gerar sinais elétricos de áudio a partir de representações digitais

(CHADABE, 1997: 109).

Esta série viria a ser conhecida pelo nome “Music-N”, compreendendo tanto as

versões do programa desenvolvidas diretamente por Mathews – Music I a V – quanto as

versões desenvolvidas por outros colaboradores a partir do compartilhamento dos códigos

originais. Sua estrutura era baseada em módulos básicos que se combinavam para construir

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

instrumentos simplificados, constituindo uma espécie de orquestra virtual responsável pela

execução de uma partitura, que por sua vez consistia em séries de instruções descritas

textualmente (MATHEWS, 1969)4, princípios que influenciaram de um modo geral o

desenvolvimento de programas de computação musical nas últimas décadas (GEIGER, 2005:

15). O compositor então submetia esse conjunto de especificações ao processamento

propriamente dito, gerando séries de tabelas numéricas que representavam digitalmente o

sinal correspondente ao resultado sonoro. A informação destas tabelas era convertida

posteriormente em sinais de áudio por um segundo computador, e estes sinais gravados em

uma fita magnética convencional. Levando em conta somente o tempo de computação e o

processo de conversão, o resultado das especificações iniciais do compositor poderia demorar

entre duas a quatro semanas até ser ouvido5.

O segundo período tem início na passagem para os anos 1970, e é marcado pelo

desenvolvimento de sistemas que permitem a interação com o usuário a partir de informações

sonoras em tempo real, e pelo estabelecimento de centros dedicados à pesquisa em

computação musical e relações entre música e tecnologia, como o CCRMA, nos Estados

Unidos e o IRCAM6, na França.

O sistema GROOVE, desenvolvidos por Mathews e F. Richard Moore, propõe

uma abordagem diferente para o uso do gesto físico com o papel do usuário modelado na

figura do regente de coro ou orquestra, fundamentado em dois princípios básicos: a

interpretação de gestos físicos como forma de controle sobre a geração de sons e outros

processos; e o estabelecimento de um sistema de interação a partir da percepção sensorial do

usuário que, segundo os autores, permitia “desempenhar tarefas mais complexas”

(MATHEWS; MOORE, 1969: 715). Neste período também são introduzidos os primeiros

instrumentos musicais digitais desenvolvidos para produção em série e comercialização em

pequena escala, que surgem como uma opção economicamente viável para outras

Universidades e centros de pesquisa, assim como para artistas ligados ao mercado de

produção fonográfica e de audiovisual7.

O terceiro ciclo tem início na primeira metade dos anos 1980, quando a

popularização dos computadores de uso pessoal, associada ao desenvolvimento e introdução

do protocolo MIDI8 viabiliza a interação intérprete-máquina em um nível mais próximo à

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

interação intérprete-instrumento, e é marcado pelo início da produção em escala industrial de

computadores pessoais e de instrumentos musicais digitais. É nesse período em que as

decisões relacionadas com as estratégias de venda destes produtos no mercado consumidor

passa a ter uma influência maior em seu design, o que por sua vez passa a determinar as

limitações no uso com o qual o consumidor final precisa lidar.

Na segunda metade da década surgem as primeiras versões de softwares cuja

popularização se dá através de seu uso em computadores pessoais – como os programas

Csound e Cmix9 – modificando uma cadeia criativa que até então estava vinculada ao uso de

aparelhagens institucionais. Desenvolvido por volta de 1985, e comercializado a partir de

1990, o software Max foi concebido como um “ambiente computacional para a realização de

música eletrônica ao vivo” (PUCKETTE, 2001: 31), combinando elementos estruturais

herdados da série Music-N com o uso de uma interface de usuário baseada em gráficos,

diferente do formato predominante até então, baseado em linhas de texto. Os softwares desta

geração também se beneficiavam da comunicação entre módulos de hardware que o protocolo

MIDI possibilitava, o que permitia que as funções de síntese sonora e processamento de sinais

de áudio fossem realizadas por módulos externos, controlados pelo computador.

Durante a década de 1990 observa-se a consolidação de um mercado de softwares

musicais, atrelado às primeiras gerações de computadores pessoais capazes de converter,

armazenar e gerenciar o processamento de sinais de áudio a partir de uma mesma máquina.

Nesse período surgem as primeiras versões do formato Digital Audio Workstation, modelando

o fluxo de trabalho e os equipamentos encontrados em estúdios de gravação, e também

incluindo modelagens digitais de instrumentos físicos tradicionais, modificando a concepção

de instrumento virtual observada nos sistemas de computação musical até então.

Podemos situar na transição entre o séc. XX e o séc. XXI o início de um quarto

ciclo de desenvolvimento, cujas fronteiras ainda estão um pouco difusas, mas se relacionam

com a internacionalização e a popularização do uso da internet de modo colaborativo, a

revisão da noção de propriedade intelectual a partir da digitalização dos processos criativos e

de distribuição de conteúdo, e a mudança gradual no uso de computadores pessoais, que vão

se tornando equipamentos progressivamente portáteis ao mesmo tempo em que outros

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

equipamentos de uso cotidiano, como telefones e eletrodomésticos, passam a se integrar mais

e mais com sistemas computacionais.

Conclusões

O modelo reproduzido ao longo do período que vai dos anos 1950 até meados da

década de 1980 está mais próximo de conjuntos instrumentais como a orquestra européia do

que de instrumentos individuais, e a interação entre o usuário e o sistema se dá na mesma

medida em que o compositor interage com a orquestra, aonde prevalece o gesto mental, e não

como o executante interage com o instrumento. De acordo, o acesso aos computadores da

época só era possível através instituições que possuíam condições de adquirir, acomodar e

manter seu maquinário. Levando em conta que estes equipamentos eram compartilhados e

precisavam suprir as demandas de outros departamentos acadêmicos, é possível também que

algumas das escolhas que influenciaram o desenvolvimento de softwares e sistemas tenham

sido baseadas na orquestra como uma espécie de metainstrumento a ser modelado pelo

computador, como forma de limitar suas possibilidades de uso.

A partir do momento em que o desenvolvimento de tecnologia nos centros de

pesquisa passa a dialogar mais intensamente com o mercado consumidor de equipamentos

musicais eletrônicos, a demanda por interfaces instrumentais baseadas em modelos

tradicionais colabora para consolidar como formato padrão da indústria o teclado de órgão e

adaptações de sua lógica10, com uma representatividade menor de interfaces modeladas em

outros instrumentos. Com essa individualização do uso dos computadores e periféricos, o

gesto musical físico passa desempenhar um papel de maior destaque, ainda que baseado em

modelos instrumentais herdados de outros contextos, ou da organização espacial e lógica dos

estúdios de gravação.

No que diz respeito às linguagens, softwares e sistemas de computação musical é

possível traçar um histórico de descendência no tocante à forma como estas contemplam as

diversas formas do gesto musical mental, ou metafórico. Já se levarmos em conta o gesto

musical em sua manifestação física, um histórico semelhante não se delineia de forma tão

clara, esta sendo uma história feita de iniciativas isoladas e não raro, descontinuadas. Existe

um potencial a ser explorado no sentido de buscar outras conexões possíveis entre a

expressividade física do gesto no corpo do intérprete e as ferramentas de controle e de síntese

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012

que os sistemas computacionais tornam acessíveis na atualidade. A introdução gradual, ao

longo das últimas duas décadas, de ferramentas de interação baseadas em interfaces distintas

do teclado QWERTY e do mouse oferecem possíveis pontos de partida para estas explorações,

mas acreditamos ser necessária também uma revisão da maneira como a porção software

destes sistemas entende e reage aos inputs gestuais.

Agradecimento

Esta pesquisa é realizada com o apoio da FAPESP - Fundação de Amparo à

Pesquisa do Estado de São Paulo ( proc. nº 2008/08632-8).

Referências:

CHADABE, Joel. Electric Sound: The past and promise of Electronic Music. New Jersey: Prentice-Hall, 1997

DOORNBUSCH, Paul. Computer Sound Synthesis in 1951: The Music of CSIRAC. Computer Music Journal.

EMMERSON, Simon. 'Live' versus 'Real-time'. Contemporary Music Review. London, Vol. 10, No. 2, pp. 95-101, 1994.

GEIGER, Günter. Abstraction in Computer Music Software Synthesis. Barcelona, 2005. 104p. Tese (Doutorado em Ciências da Computação). Universitat Pompeu Fabra.

IAZZETTA, Fernando. Sons de silício: Corpos e máquinas fazendo música. São Paulo, 1996. 228 p. Tese (Doutorado em Comunicação e Semiótica). Pontifícia Universidade Católica.

_____________. Meaning in Musical Gesture. In: WANDERLEY, Marcelo; BATTIER, Marc. Trends in Gestural Control of Music. Paris: IRCAM – Centre Pompidou, 2000. pp. 259-268.

JORDÀ, Sergi. Instruments and players: Some thoughts on Digital Lutherie. Journal of New Music Research. Local, Vol. 33, No. 3, pp. 321-341, 2004.

MATHEWS, Max V. The technology of Computer Music. Cambridge: MIT Press, 1969.

_____________; MOORE, F. Richard. GROOVE – A program to compose, store, and edit functions of time. Communications of the ACM. Local, Vol. 13, N. 12, p. 715-721, 1970.

PUCKETTE, Miller. Max at Seventeen. Computer Music Journal. Local, Vol. 26, No. 4, p. 31-43. 2002.

ZAGONEL, Bernadete. O que é gesto musical? São Paulo: Brasiliense, 1992

1 De acordo com a natureza do processo de ruptura, estes deslocamentos podem ser classificados como temporais, espaciais e causais.2 Tanto na situação de escuta regular (IAZZETTA, 2000: 259), quanto na musique concrète e na música eletrônica alemã.3 No início da década de 1950 experimentos foram realizados em universidades na Austrália – no computador CSIR Mk1 / CSIRAC, e no Reino Unido – no computador Ferranti Mark I, e seu repertório consistia na reprodução de melodias de canções tradicionais ou de temas populares na época, como “In the Mood” de Glenn Miller, “God Save the King” e a marcha militar “Colonel Bogey”, entre outras. Em ambos os experimentos utilizava-se um alto-falante já incorporado aos computadores, cuja função principal era fornecer ao usuário informações sobre o funcionamento da máquina na forma de alertas sonoros, que consistiam em pulsos elétricos simples enviados ao alto-falante (DOORNBUSCH, 2004). A definição da altura ocorria a partir do envio repetido de pulsos de acordo com a frequência resultante desejada. É possível ouvir exemplos que buscam reconstruir o processo de geração sonora do CSIRAC em: http://www.csse.unimelb.edu.au/dept/about/csirac/music/reconstruction.html, e há um registro de áudio do Ferranti Mark I feito na época pela BBC, disponível em: http://news.bbc.co.uk/2/hi/technology/7458479.stm . Acesso em 26 de dezembro de 2011.

4 Esse processo é descrito em detalhe por Mathews em seu livro “The Technology of Computer Music”, de 1969, que trata da versão Music V, já escrita em linguagem Fortran, o que facilitou seu uso em diversos outros centros de pesquisa, assim como a reescrita e a criação de outras versões do programa.5 Apesar de outros centros de pesquisa, como a Universidade de Columbia e a Universidade de Princeton, já trabalharem com versões dos programas da série, o processo de conversão dos resultados em sinais de áudio era executado principalmente em um computador da Bell Labs, por F. Richard Moore (CHADABE, Ibidem: 113).

6 As siglas representam “Center for Computer Research in Music and Acoustics” e “ Institut de Recherche et Coordination Acoustique / Musique”, respectivamente.

7 Desenvolvidos a partir do advento dos microprocessadores, estes instrumentos adotavam em geral uma interface de usuário semelhante àquela encontrada nos sintetizadores analógicos da época, construída ao redor de um teclado de órgão e um painel de controle com chaves e botões deslizantes. Uma exceção a esta regra é o Fairlight Computer Musical Instrument, ou CMI, que dispunha também de um teclado alfanumérico e de uma caneta óptica que interagia com um monitor CRT. Essa geração marca o início de um processo de digitalização dos equipamentos voltados para o mercado de instrumentos musicais eletrônicos.

8 Apesar de suas limitações técnicas e conceituais, o protocolo MIDI tornou possível a comunicação entre computadores, interfaces de controle e sintetizadores, permanecendo até os dias de hoje como um padrão industrial sem nenhum equivalente em escala.9 Desenvolvidos por Barry Vercoe e Paul Lansky, respectivamente.

10 Como por exemplo no uso de pads percussivos de diversos tamanhos, em instrumentos como o sampler MPC60 da Akai, desenhados para serem tocados percussivamente com os dedos.