NADI - Neural Activated Digital Instrument

NADI - Neural André Lucas Peixoto Palmeira Mestrado em Multimédia da Universidade do Porto Orientador: Prof. Dr. Doutor Coorientador: i Neural Activated Digital I nstrument André Lucas Peixoto Palmeira Mestrado em Multimédia da Universidade do Porto Doutor Carlos Alberto Barbosa da Cunha Mendonça Guedes Coorientador: Mestre George Sioros nstrument Mestrado em Multimédia da Universidade do Porto da Cunha Mendonça ii Junho, 2013 © André Lucas Peixoto Palmeira, 2013 NADI - Neural Activated Digital Instrument André Lucas Peixoto Palmeira Dissertação realizada no âmbito do Mestrado em Multimédia – Música Interativa e Design de Som Aprovado em provas públicas pelo Júri: Presidente: Prof. Dr. Rui Pedro Amaral Rodrigues Vogal Externo: Prof. Dr. Fabien Gouyon (Título) Orientador: Prof. Dr. Carlos Guedes Co-orientador: Mestre George Sioros iii iv Resumo Nesta dissertação é apresentado o projeto que desenvolvi para o meu mestrado: o sistema NADI (Neural Activated Digital Instrument). O sistema NADI é um sistema de composição musical digital em tempo-real passível de ser controlado pelo movimento e pelos impulsos elétricos gerados na cabeça. O NADI foi desenvolvido como um instrumento musical digital no software Max/Msp. Possui a capacidade de gerar eventos musicais (ex. notas) e de efetuar síntese sonora. A sua expressividade sonora é controlada pelo mapeamento do sistema específico para o interface EPOC da empresa Emotiv, capaz de efetuar leituras dos sinais gerados pelas ondas cerebrais, músculos da cabeça e olhos, assim como do movimento da cabeça. Para responder às necessidades de criação de um sistema com estas características, e abordando as suas capacidades e limitações é apresentada investigação científica em áreas como a síntese sonora, o processamento digital de sinal, o mapeamento de interfaces e os sistemas de composição musical em tempo real através de biofeedback. v Abstract In this dissertation I present the final project for my master degree: the NADI (Neural Activated Digital Instrument) system. The NADI system is a system of realtime digital music composition with the capability of being controlled by the movement and the electrical impulses generated by the human head. NADI was developed as a digital musical instrument in the software Max/MSP. It has the capability of generating musical events (e.g. notes) and synthesize sound. Its sound expression, is controlled by specific mapping system for the EPOC interface from the company Emotiv, capable of reading the electric signals generated by the brainwaves, muscles of the head and eyes as well as the movement of the head. To respond on the necessities of such a system and approaching its affordances and restraints, I present research in areas such as sound synthesis, digital signal processing, interface mapping and the developing of systems of real-time musical composition through biofeedback. vi Agradecimentos Gostaria de agradecer às pessoa que se seguem, sem as quais não teria sido possível a concretização deste projeto: Ao Carlos Guedes, pela sempre generosa partilha de conhecimento, e por ter sempre acreditado no projeto. Ao meu amigo George Sioros, por me ensinar a pensar Max/Msp e por todo o apoio que disponibilizou ao longo do desenvolvimento deste trabalho. Aos meus amigos João Meneses e Mário Jacinto pelo incondicional apoio na programação em Max/Msp. Às minhas amigas Fernanda Vieira e Marisa Ferreira pelo apoio na revisão deste documento. Aos meus amigos Hugo Branco e Rosa Alice Branco pela inspiração e motivação conceptual e pelo acesso ao interface, que foi indispensável para a construção deste projeto. À Maria Araújo por todo o apoio e paciência. Aos meus pais a quem tudo devo e que nunca duvidaram das minhas capacidades. vii Índice Resumo.......................................................................................................................................iv Abstract………………………………………………………………………………………...v Agradecimentos………………………………………………………………………………...vi Índice…………………………………………………………………………………………...vii Lista de figuras…………………………………………………………………………………viii Glossário de termos e siglas………………………………………………………………….…ix 1. Introdução………………………………………………………………………………..1 2. Revisão da literatura…………………………………..…………………………………4 2.1. Breve história do biofeedback na composição musical……………………………..4 2.2. Síntese sonora e técnicas e tratamento musical….……….………………………....8 2.2.1. Os módulos…………………………………………………………………9 2.2.2. Gerador de sinal………………………………………………………….....9 2.2.3. Modificadores……………………………………………………………..10 2.2.3.1. Filtro…………………………………………………………………..10 2.2.3.2. Amplificador………………………………………………………….10 2.2.3.3. Processadores de efeitos……………………………………………...11 2.2.4. Moduladores.……………………………………………………………...12 2.2.4.1. LFO…………………………………………………………………...12 2.2.4.2. Gerador de envolvência………………………………………………12 2.2.4.3. Arpeggiator…………………………………………………………..12 2.2.5. Controladores e interfaces………………………….……………………..13 2.3. Síntese sonora ……………………………………………………………..………14 2.3.1. Síntese aditiva.…………………………………………………………….14 2.3.2. Síntese subtractiva………………………………………………………...14 2.3.3. Síntese FM…………………….. …………………………………………14 2.3.4. Síntese granular………………….……………………………………...…15 2.3.5. Síntese por modelos físicos (Karplus-Strong)…………..………………...16 2.4. Modulação de parâmetros de síntese aplicadas à composição musical…………...16 2.4.1. Cellular Automata…………………………………………………………17 3. O sistema NADI………………………………………………………………………..18 3.1. Análise do interface……………………………………………………………….20 3.2. NADI – construção de um instrumento musical…………………………………..23 3.3. Descrição dos elementos e e dos sistemas associados……………………………26 3.3.1. FM1 & FM2……………………………………………………………….27 3.3.2. FM3 &FM4………………………………………………………………..28 viii 3.3.3. ADD1 & ADD2…………………………………………………………...29 3.3.4. Karplus-Strong…………………………………………………………….30 3.3.5. Kick………………………………………………………………………..32 3.3.6. Hat…………………………………………………………………………33 3.3.7. Clap………………………………………………………………………..34 3.3.8. Snare………………………………………………………………………35 3.3.9. LFO………………………………………………………………………..36 3.3.10. Reverb……………………………………………………………………..36 3.3.11. Granular…………………………………………………………………...37 3.3.12. Mistura…………………………………………………………………….37 3.3.13. Sequenciador de dezasseis tempos (Sequencer)…………………………..38 3.3.14. Geração de notas…………………………………………………………..49 3.3.15. Celullar Automata…………………………………………………………40 3.3.16. Sistemas de monitorização e de mapeamento…………………………….40 4. Apresentação e discussão de resultados………………………………………………..42 4.1. Análise dos sistemas………………………………………………………………43 4.1.1. Motor de áudio…………………………………………………………….43 4.1.2. Criação musical……………………………………………………………43 4.1.3. GUI e mapeamento do interface…………………………………………..44 5. Conclusão………………………………………………………………………………46 6. Referências bibliográficas……………………………………………………………...49 Anexo I…………………………………………………………………………………53 ix Lista de figuras Figura 1 – Interface da empresa Emotiv, EPOC…………………..………………Pag.20 Figura 2 – Janela do SDK do EPOC para monitorização da Expressiv Suite……Pag.21 Figura 3 – Janela do SDK do EPOC para monitorização da Affectiv Suite……... Pag.22 Figura 4 – Diagrama de blocos do modelo inicial criado para o sistema NADI….Pag.24 Figura 5 – Página principal do GUI da aplicação NADI………………………… Pag.26 Figura 6 – Elementos de síntese FM1 e FM2………………………………….…..Pag.27 Figura 7 – Patch em Max/Msp dos elementos FM1 e FM2………..……………..Pag.27 Figura 8 – Elementos de síntese FM1 e FM2……………………………………..Pag.28 Figura 9 – Patch em Max/Msp dos elementos FM3 e FM4………..……………...Pag.28 Figura 10 – Elementos de síntese ADD1 e ADD2………………………………..Pag.29 Figura 11 – Patch em Max/Msp dos elementos ADD1 e ADD2………..………...Pag.29 Figura 12 – Elementos de síntese por modelos físicos, Karplus-Strong…………..Pag.30 Figura 13 – Patch em Max/Msp do elemento Karplus-Strong…..…………….…..Pag.31 Figura 14 – Patch em Max/Msp do elemento de emulação de bombo, Kick…...…Pag.32 Figura 15 – Patch em Max/Msp do elemento de emulação de prato, Hat…......…..Pag.33 Figura 16 – Patch em Max/Msp do elemento de emulação de palma, Clap….....…Pag.34 Figura 17 – Patch em Max/Msp do elemento de emulação de tarola, Snare…....…Pag.35 Figura 18 - LFO ou oscilador de baixa frequência para controlo de parâmetros do NADI………………………………………………………………………………Pag.36 Figura 19 - Elementos de processamento de sinal, Reverb1 e Reverb2...............…Pag.36 Figura 20 – Elementos de processamento de sinal, Granular……………………...Pag.37 Figura 21 – Parte do sistema de mistura do NADI………………………………...Pag.37 Figura 22 – Dois sequenciadores de dezasseis passos para os elementos FM1 e FM2…………………………………………………………..……………………Pag.38 Figura 23 – Arpeggiator para dois elementos……………………………………...Pag.39 Figura 24 – Pormenor do sistema de geração de ritmo por Cellular Automata...…Pag.40 Figura 25 – Pagina de monitorização e tratamento da informação proveniente do interface……………………………………………………………………………Pag.41 Figura 26 – Exemplo de mapeamento do NADI………………………………….Pag.42 6 O Eduardo Reck Miranda, da Universidade de Plymouth, cujo longo percurso na investigação tem um papel fundamental no desenvolvimento de sistemas desta área. Nesta universidade foram criados sistemas de composição musical através da análise e interpretação de dados obtidos por EEGs. Para estes sistemas foi criado um interface de raiz que, apesar de ser muito eficaz na leitura dos sinais pretendidos, possuía a desvantagem de não ser wireless, não permitindo assim grande mobilidade ao usuário. Num desses sistemas, é possível ao usuário premir botões de um ecrã, dirigindo a sua atenção para eles, controlando deste modo as intensidades dos parâmetros através da intensidade com que é essa atenção é dirigida. Este sistema, através da análise de EEG, tem também a capacidade de controlar um piano remotamente, o que permite alterar o tipo de composição e seus os parâmetros consoante o estado emocional do usuário (Miranda et al. 2005, 2006a, 2006b, 2006c). Em 2004, Adam Overton, no âmbito do seu projeto Sitting.Breathing.Beating.[Not]Thinking 5 , desenvolve um sistema de composição e síntese sonora recorrendo ao software Supercollider e ao auxílio de um interface capaz de efetuar leituras de EEG e de EKG assim como dos níveis de respiração dedicado ao projeto. Daito Manabe, em meados do ano 2008, inicia experiências com estímulos elétricos da face humana, utilizando-os como fonte de criação sonora assim como utiliza também fontes sonoras para a estimulação muscular facial. Em 2011, Claudia Robles Angel apresenta uma publicação na qual descreve dois sistemas de composição audiovisual através da interpretação de sinais de biofeedback recorrendo ao programa Max/Msp (Angel, 2011). A comercialização do interface EPOC abriu novas possibilidades no campo da composição e performance musical. Este interface é inovador em relação a outros sistemas de leitura de biofeedback existentes, uma vez que possui uma grande usabilidade por ser wireless e catorze canais de captação dos impulsos elétricos da cabeça com algoritmos dedicados à interpretação desses sinais. É ainda detentor de um giroscópio de dois eixos. Dada a novidade do interface, ainda não existem muitos projetos musicais que utilizem esta tecnologia, contudo são de referir os que atualmente se destacam: o MindSynth do MindEnsemble 6 , o SubConch 7 , a dissertação de mestrado 5 http://archive.org/details/Sitting.Breathing.Beating.NotThinking, consultado a 28-06-2013 6 https://www.facebook.com/pages/MiND-Ensemble-Music-in-Neural-Dimensions/158046377587504?sk=info, consultado a 13-06-2013 7 http://www.subconch.net/, consultado a 13-02-2013 7 do Dimitri Paile para o Media Lab Helsinki da Aalto University, School of Art and Design 8 , e muito recentemente o “Mindtunes” 9 , trabalho de Julien Castete e DJ Fresh, patrocinado pela marca Smirnoff, no qual juntam um grupo de pessoas com incapacidades motoras com o intuito de criar um tema em conjunto, utilizando igualmente o software Max/Msp. Dos projetos anteriormente referidos, o que talvez mais se identifique com o que aqui é proposto é o do MindSynth. Este, através da aplicação controladora do interface ou software development kit (SDK) fornecido pela empresa responsável pela sua criação, a Emotiv, faz um mapeamento bastante eficaz para um sintetizador criado em Max/Msp, pese embora o interesse desta abordagem, esta apresenta-se um pouco limitada na utilização de diferentes técnicas de síntese, possuindo um sistema muito diferente de composição musical do trabalho aqui apresentado. O projeto aqui apresentado procura responder às necessidades primárias de composição musical em tempo real oferecendo simultaneamente um motor de áudio com versatilidade sonora e expressividade tímbrica. Este projeto possui como características particulares a incidência na utilização de diferentes técnicas de síntese sonora para a obtenção de uma maior versatilidade de resultados e uma abordagem à composição musical com métodos bastante diferentes dos projetos que foram antes apresentados. O NADI possui vários elementos com capacidades de criação sonora muito diferentes, implementados num único sistema. Estes fatores, aliados ao dedicado e completo mapeamento do sistema para o interface, fazem do NADI um projeto singular com a capacidade de abrir novas possibilidades de estudo tanto a nível científico como artístico. 8 http://www.youtube.com/watch?v=xYfw7QTZC4g, consultado a 13-06-2013 9 http://www.youtube.com/watch?v=PgfxKZiSCDQ , http://www.youtube.com/watch?v=PgfxKZiSCDQ, consultados a 13-06-2013 8 2.2 Síntese sonora e tratamento musical A síntese é uma operação que consiste em ir do simples ao complexo, ou ainda, a formação de um composto a partir de elementos mais simples 10 , isto é, elementos simples conjugam-se para dar origem a um todo com novas capacidades e possibilidades. Tendo isto em conta, podemos inferir que a síntese sonora consiste no processo de utilização de elementos simples de som para a criação de sons complexos. Rob Papen define o sintetizador de som mais comum como sendo possuidor de quatro módulos principais: o gerador de sinal ou oscilador, o filtro, o amplificador e os moduladores. Cria este modelo com o objetivo de explicar de forma simples o funcionamento de um sintetizador subtrativo, o qual possui características particulares que serão explicadas detalhadamente mais tarde neste trabalho (Papen, 2008). Assim sendo, para a análise deste projeto e para uma melhor explicação dos conceitos e técnicas aplicadas neste sistema, este modelo foi adaptado e simplificado para três elementos. O sistema aqui é apenas baseado no modelo de Rob Papen, tendose fundido duas das quatro categorias que o mesmo apresenta; o filtro e o amplificador fundem-se numa nova categoria a que chamaremos de modificadores. E temos uma nova categoria a que chamaremos de controladores: • o gerador de sinal, que como o próprio nome indica é o módulo no qual é criado o sinal inicial e onde o processo de criação sonora começa, normalmente, a partir de uma forma de onda básica (ex. sinusoidal, dente de serra, triangular, quadrada, etc…); • os modificadores, módulos que vão alterar as características ou comportamento do sinal (filtros, amplificadores, processadores de efeitos); • os moduladores, elementos que manipulam ou controlam de alguma forma os parâmetros dos outros elementos (teclado, LFO 11 , matrizes de conexão, interfaces, etc…). • os controladores, que são normalmente objetos que têm como função controlar outros parâmetros de um sintetizador, como por exemplo os teclados, os botões, interfaces, etc… 10 Extraído da infopedia Enciclopédia e dicionários Porto Editora, http://www.infopedia.pt/lingua-portuguesa/s%C3%ADntese, consultado a 26/06/2013 11 LFO (Low Frequency Oscillator) – Oscilador de baixa frequência ou gerador de sinal com frequências de valores reduzidos normalmente utilizado para o controlo de outros parâmetros de síntese. 9 As características e possibilidades de cada sintetizador de som dependem das características individuais de cada um destes módulos e da forma como estes comunicam entre si, de modo a que os mesmos módulos acoplados de forma diferente, ou dois sintetizadores com a mesma arquitetura mas com módulos de características diferentes, podem dar origem a resultados completamente distintos. Neste sentido, no ponto 2.1 passo a explicar as características e o funcionamento dos módulos necessários para a compreensão deste projeto. No ponto 2.2 é descrita a síntese sonora e as suas técnicas que utilizam os módulos descritos no ponto anterior. São primeiramente descritos os módulos de síntese e só depois as suas técnicas. Havendo um conhecimento claro dos módulos responsáveis pelas operações nas técnicas de síntese, e sendo estas compostas pela combinação desses módulos, permitese assim uma melhor compreensão dos procedimentos utilizados nas técnicas de síntese. 2.2.1 Os Módulos 2.2.2.1 Gerador de sinal O gerador de sinal é o módulo de onde parte a construção sonora, os quais existem em dois tipos: formas de onda ou aleatórios. As formas de onda, tipicamente, têm o seu nome dado pelo desenho da sua onda: a sinusoidal, a triangular, o pulso, a quadrada e a dente de serra, são as mais comuns. Estas formas de onda são fáceis de descrever matematicamente e de serem reproduzidas electronicamente. Os geradores de sinal aleatórios produzem ruído, que contêm uma mistura constante de todas as frequências. Um oscilador normalmente gera formas de onda contínuas produzindo um sinal de saída contínuo, sendo necessário utilizar um modificador para alterar o seu timbre ou para aplicar uma envolvente ao som (Russ, 1996). Este módulo usualmente possui duas características ou parâmetros principais que são o tipo de sinal e a frequência a que é reproduzida esse sinal. Alguns possuem ainda controlo de direção dessa reprodução como acontece em alguns sintetizadores granulares ou baseados em amostragens, assim como controlo da fase de onda, isto é, qual a posição inicial de reprodução do sinal utilizado, no início da sua reprodução. 10 2.2.3 Modificadores 2.2.3.1 Filtro O filtro é um módulo fundamental em particular para a síntese subtrativa ainda que utilizado em quase todas as formas de síntese. O filtro pode ser literalmente uma qualquer operação a um sinal, embora o seu uso mais comum é na amplificação ou atenuação de uma gama de frequências. Existem vários tipos diferentes de filtros, cada um com a sua curva particular de resposta em frequência. Os filtros com as curvas de resposta em frequência mais comuns são o passa-baixo (só deixa passar as frequências abaixo da frequência de corte), o passa-alto (só deixa passar as frequências acima da frequência de corte), o passa-banda (só deixa passar frequências à volta da frequência de escolhida), o rejeita-banda ou notch (não deixa passar frequências à volta da frequência de escolhida). Os filtros, na sua resposta em frequência possuem curvas com inclinações diferentes, normalmente definidas por dB (decibel) por banda de frequência e em alguns tipos de filtro pela largura da banda ou fator Q. Uma definição intuitiva do factor Q é que representa o grau de “ressonância” dentro de um filtro passa banda. Quando o Q é alto, como o é na zona mais estreita no interior da curva, a resposta em frequência é acentuadamente focada á volta de um pico (ressoante) de frequência (Roads, 1996). 2.2.3.2 Amplificador O amplificador é responsável por controlar a amplitude do sinal. A amplitude de sinal num sintetizador necessita ser controlada por duas razões. Primeiro, pois é necessário amplificar o sinal depois de sair de um filtro, mas mais importante é a necessidade de controlar o volume, o que só é possível mediante a utilização de um amplificador. Não se encontra controlo de panorâmica 12 em todos os sintetizadores (normalmente apenas em sistemas estereofónicos 13 ) e muitos apenas terão o volume como parâmetro de controlo (Papen, 2008). 12 Relação entre o sinal direito e esquerdo num sinal estereofónico 13 Norma de sistema de reprodução de áudio na qual são utilizados dois sinais de áudio para dois altifalantes, criando uma ilusão ao ouvinte da imersão num espaço acústico. 11 2.2.3.3 Processadores de efeitos Os sintetizadores digitais incluem muitas vezes efeitos. Existem duas vantagens num sintetizador possuir uma unidade de efeitos incluída no seu sistema. Primeiro, os efeitos podem fazer parte do som, o que significa que além de serem seleccionados automaticamente quando um som é escolhido também os parâmetros utilizados no sintetizador podem ser utilizados para controlar os efeitos. Segundo a unidade de efeitos encontrar-se dentro do sistema digital e não ser uma unidade exterior, implica que o sinal permanecerá digital, afectando menos a qualidade do som (Russ, 1996). Os efeitos são normalmente acoplados aos sintetizadores nos últimos estágios do processo de síntese. Estes são responsáveis por transformar o sinal de variadas formas. Um dos mais antigos efeitos é a utilização de um pedaço de amostragem de um som em ciclo para produzir um eco ou delay, que pode ser implementado através da utilização de uma memória ou, para delays mais longos, uma unidade de disco rígido. Se o período do delay for mudado mudado dinamicamente de 0 para mais ou menos 10ms, o resultado é o efeito chamado de flanging, onde o resultado é o de um filtro notch a percorrer o espetro de áudio. Outro efeito relacionado também com delays é o reverb ou efeito de reverberação, que é utilizado para simular um ambiente acústico. A reverberação é composta por várias reflexões distintas de um som, seguidas da reverberação propriamente dita, que é causada pelo conjunto das múltiplas reflexões sonoras. As primeiras reflexões são providenciadas através de pequenos delays curtos, mas a reverberação em si é mais difícil. Uma estrutura recursiva é a escolha natural para uma resposta em decaimento, embora uma recursividade simples soa artificial. O problema é que, em um espaço acústico real, os fenómenos causados pelo choque das ondas causa grandes mudanças na resposta em frequência de cada reflecção. Este efeito consegue ser simulado dentro unidade de reverberação através da adição de secções de filtros com a resposta correspondente (Watkinson, 2001) Existe ainda uma miríade de outros efeitos aplicados à síntese sonora como a distorção, a compressão e muitos outros resultantes também da combinação de vários efeitos. 12 2.2.4 Moduladores 2.2.4.1 LFO Os LFO’s são formas de onda de muito baixa frequência utilizados habitualmente para controlar paramentos de síntese, sendo a sua mais comum utilização na amplitude (efeito também chamado de tremolo) e na frequência (efeito chamado de vibrato). O que este módulo faz é adicionar mudanças constantes ao parâmetro a que está mapeado. (ex. frequência de corte de um filtro, valor de ataque de um gerador de envolvência, etc…) (Papen, 2008). 2.2.4.2 Gerador de envolvência O gerador de envolvência é um módulo de modulação que confere mudanças dinâmicas a um parâmetro do sistema. Este cria mudanças no tempo ao parâmetro a que for mapeado. O exemplo mais claro deste fato é a sua utilização para modular o amplificador. Utilizando um gerador de envolvência, pode-se construir um som com um ataque lento, muito bom para a criação de sons do tipo colchão ou pad, por outro lado também é possível criar sons de síntese percussivos com um gerador de envolvência. Existem geradores de envolvência que podem possuir um ou vários estágios capazes de introduzir rampas variáveis de variações temporais em parâmetros do sistema. O tipo de gerador de envolvência mais comum é o ADSR (attack, decay, sustain, release) que possui quatro estágios. O gerador de envolvência efectua um movimento no tempo de 0% até os 100% de nível, retornando depois novamente aos 0%, controlando-se este comportamente utilizando os parâmetros de attack, decay, sustain e release (Papen, 2008) 2.2.4.3 Arpeggiator O arpejo, do italiano arpeggio significa toque de harpa e define-se como a execução alternada das notas musicais de um acorde. 14 Este sistema de reprodução de notas foi introduzido em muitos instrumentos eletrónicos a partir do final da década de setenta 14 Extraido da infopedia Enciclopédia e dicionario Porto Editora, http://www.infopedia.pt/lingua-portuguesa/arpejo, consultado a 26/06/2013 13 sendo alguns dos mais conhecidos o Roland Jupiter 4, 6 e 8, o Oberheim OB-8 e os Korg MonoPoly e Polysix. 2.2.5 Controladores e interfaces Os controladores são ferramentas que permitem o controlo de parâmetros de síntese através de algum tipo de interação. Existem uma infinidade de controladores diferentes, com complexidades diferentes e alguns são possuidores de especificidades únicas. Como controladores mais convencionais temos os botões, os botões de controlo rotativo ou knobs e os faders. Ainda na categoria dos controladores mais convencionais temos os teclados de escrita e os teclados musicais. Existem também controladores que agrupam alguns destes controladores mais simples em unidades completas com configurações diferentes procurando obter capacidades diferentes de controlo do sistema a que foram ligados. Os interfaces, são um programa ou equipamento que permite conectar duas unidades de hardware ou software para que estas possam ser controladas em conjunto ou comuniquem uma com a outra. 15 Pela sua capacidade de controlar parâmetros de um sistema, estão agrupados nos controladores, existindo muitos interfaces que são controladores não convencionais. Existem interfaces muito diferentes, com capacidades e funcionalidades completamente dispares entre si. Através de sistemas como por exemplo o Arduíno 16 e o software Max/Msp é possível criar interfaces em que se utilizam informação a partir de diferentes fontes como por exemplo o movimento do corpo humano, os seus sinais biológicos, ou recolher informação de um espaço (ex. temperatura, humidade, luminosidade, etc…). O interface utilizado neste trabalho é o Emotiv Epoc, que permite efetuar a análise de determinados sinais biológicos, assim como o movimento da cabeça. Este interface é uma peça de hardware que comunica com um computador através de um software nativo e um sistema USB wireless. 15 Traduzido e adaptado por mim de Oxford Diccionaries: http://oxforddictionaries.com/definition/english/interface 28/07/2013 16 http://www.arduino.cc/ 14 2.3 Síntese sonora Dependendo da arquitetura ou modelo de base de um sintetizador é possível obter incontáveis resultados sonoros com diferentes capacidades de comportamento e de controlo. Passo assim a descrever as técnicas de síntese utilizadas neste projeto. 2.3.2 Síntese aditiva À adição de formas de onda sinusoidais chamamos de síntese aditiva, e segundo o teorema de Fourier, qualquer som complexo pode ser reproduzido por ondas sinusoidais, desde que cada uma destas tenha uma relação de frequência e amplitude igual à do espectro do sinal original (Roads, 1996). Visto isto, em teoria, é possível criar qualquer tipo de som com esta técnica. Como exemplo de um instrumento musical que utiliza técnicas de síntese aditiva temos o caso do órgão, que possui vários registos que podem ser adicionados ao som principal do instrumento. 2.3.3 Síntese subtractiva A síntese subtrativa é das formas mais comuns de síntese nos dias de hoje e utiliza a ideia generalizada da utilização de um modelo de síntese com uma fonte sonora e um modificador. A fonte sonora produz um som com todo o conteúdo harmónico necessário enquanto o modificador vai filtrar os harmónicos não desejados e moldar a envolvente do volume de som. O filtro “subtrai” os harmónicos indesejados, daí o nome de síntese subtractiva (Russ, 1996). 2.3.4 Síntese FM Segundo Roads (1996), a síntese FM foi criada por John Chowning quando decidiu variar o valor de frequência de um oscilador através de um outro, tendo obtido resultados supreendentes. Chowning descobre que com duas ondas sinusoidais é possível gerar uma grande quantidade de sons, uma vez que de outra forma seriam 15 necessárias ferramentas mais poderosas de síntese do que as que ele usara. Para construir um som com, por exemplo 50 harmónicos, seria necessário utilizar 50 osciladores, tendo por este método apenas utilizado dois osciladores para conseguir obter um resultado muito similar. Ainda na senda do mesmo autor, a síntese FM descreve-se como possuindo um gerador de sinal também chamado de carrier que posteriormente é modificado em frequência por outro gerador de sinal apelidado de modulador ou modulator. A amplitude deste modulator define a quantidade de variação em frequência sofrida pelo carrier. Este método de síntese, quando aplicado a ondas sinusoidais, resulta na criação de uma série de harmónicos suplementares em torno da frequência do carrier. Estes são definidos em função da relação entre a frequência do sinal do carrier e do modulator, sendo normalmente representada por C:M. Quando esta relação é uma relação simples ou de números inteiros obtemos um sinal com características harmónicas (sinal com componentes espectrais múltiplas de uma frequência principal), contudo quando não o é, o resultado é um sinal com características não harmónicas (sinal sem correspondência espectral entre os seus elementos, normalmente associado a ruído). Um dos métodos de controlo da largura de banda dos harmónicos gerados através desta forma de síntese, é a partir do chamado índice de modulação, que é representado pela fórmula: I=D/M. Sendo I o índice de modulação, o D a quantidade de variação em frequência introduzida no sinal do carrier e o M a frequência do modulator (Roads, 1996). 2.3.5 Síntese granular A síntese granular gera sons a partir de pequenos segmentos denominados de grãos. Estes grãos, usualmente, possuem uma dimensão extremamente reduzida, e são modulados em amplitude para que ao serem reproduzidos comecem e acabem sempre com uma amplitude de sinal igual a zero. Assim, evitam-se descontinuidades no sinal sonoro, o que provocaria ruído em forma de inúmeros cliques indesejáveis. A este processo de modulação no qual se aplica uma onda de envolvência em amplitude, na síntese granular, dá-se o nome de windowing, e são várias as formas das ondas que se podem aplicar para modular o sinal. Os parâmetros mais comuns neste tipo de síntese são a forma de onda escolhida para criar os grãos, o tamanho ou a variação do tamanho 22 • a Affectiv Suite - monitoriza os estados emocionais do usuário; Fig.3 Janela do SDK do EPOC para monitorização da Affectiv Suite • a Cognitiv Suite – efetua a leitura e a interpretação dos pensamentos e intenções do usuário, isto é, através do treino e gravação no controlador dos padrões mentais do usuário é possível detetar a intensidade com que o usuário posteriormente replica esse padrão de atividade cerebral; • um giroscópio com 2 eixos – permite a análise do movimento da cabeça. A Expressiv Suite apresenta a leitura de vários sinais para músculos diferentes da cara, e é bastante eficaz na sua deteção embora se sintam, por vezes, algumas imprecisões e alguma latência. A Affectiv Suite oferece a análise de cinco diferentes aspetos do estado de ânimo do usuário, sendo que a variação dos seus parâmetros é, de certa forma, lenta e gradual. Na Cognitiv Suite, é possível gravar pensamentos para a sua posterior deteção através do interface. A este processo chama-se brainwave entrainment, e através da aplicação é possível treinar o sistema no reconhecimento desses pensamentos. O tipo de pensamentos mais eficazes na utilização do interface é por si só um tema de estudo que transcende um pouco o domínio do estudo deste projeto, já que este trabalho se debruça essencialmente sobre a programação do motor de áudio e o seu mapeamento para o interface, e não sobre a utilização mais ou menos eficaz do interface em si. Do estudo feito ao site dos fabricantes e na recolha de informação de outros usuários assim como da experiencia recolhida pela utilização do próprio interface, conclui-se que a melhor escolha de pensamentos está mais relacionada com a capacidade do usuário em conseguir manter uma atividade cerebral coerente ou estável durante a sua gravação e reprodução. O usuário deve procurar manter apenas na sua mente o pensamento 23 escolhido, evitando o mínimo de ruído possível. Uma outra característica deste sistema é que a cada pensamento gravado é exponencialmente mais difícil a sua reprodução, pelo que o treino aprofundado com a aplicação do SDK é aconselhável. Dos quatro pensamentos possíveis, classificaria o primeiro como fácil, o segundo como normal, o terceiro como muito difícil e o quarto como somente possível para alguém completamente proficiente na utilização do interface. O giroscópio oferece exclusivamente informação sobre o deslocamento momentâneo do movimento da cabeça no eixo vertical e horizontal e não sobre a sua posição. A comunicação do controlador do interface com o programa Max/Msp é efetuada através de uma aplicação chamada MindYouOSC 21 , que permite enviar as informações do controlador para o software Max/Msp por via do protocolo OpenSoundControl 22 . As razões principais da escolha deste interface são a acessibilidade, assim como o facto de ser um interface wireless, atualmente acessível ao público com todas estas capacidades. 3.2 NADI- construção de um instrumento musical O NADI é um sistema de composição digital em tempo real com capacidades de síntese sonora e geração de eventos musicais, o que faz de si um sistema de alguma complexidade. O sistema completo é composto por unidades de menor complexidade a que chamaremos neste documento de elementos. Estes elementos são cada um dos sintetizadores independentes existentes no sistema assim como as unidades de processamento de efeitos. Foi projetado um motor de áudio com capacidade de síntese sonora e processamento digital de sinal assim como um sistema de geração de eventos musicais e de controlo de expressividade dos seus parâmetros. Nestes sistemas desenharam-se matrizes para o mapeamento completo do interface EPOC, da empresa Emotiv, e mais uma para controlo dinâmico através de LFO’s. Para o efeito foi utilizado o software Max/Msp, da empresa Cycling’74, por possuir uma grande versatilidade com ferramentas dedicadas à síntese sonora, processamento de sinal e ao tratamento e 21 https://github.com/bitrayne/MindYourOSCs 22 Protocolo para comunicação entre computadores, sintetizadores de som e outros aparelhos multimédia otimizados para lidar com tecnologia moderna de sistemas de redes. http://opensoundcontrol.org/introduction-osc 13-02-2013 24 mapeamento de dados. Foi também a ferramenta com que se desenvolveram mais projetos na área de áudio e tratamento de dados, no decorrer deste ciclo de estudos. Para o desenvolvimento do motor de áudio, foram utilizadas várias técnicas diferentes de síntese sonora, isto é, foram combinadas vários tipos diferentes de síntese num único sintetizador, de forma a obter uma maior riqueza tímbrica e diversas possibilidades de expressão. Foram construídos vários elementos diferentes de síntese, unidos pelos sistemas de controlo dos seus parâmetros mapeados para o interface e pela secção de processamento de sinal e mistura a que estão ligados por sinal de áudio. As técnicas utilizadas na construção dos elementos de síntese foram a aditiva, a subtrativa, a FM ou modulação de frequência e a modelagem física em particular a técnica Karplus-Strong. Para o suporte da geração de eventos musicais foi utilizada a técnica algorítmica cellular automata ou CA (modelo discreto de um sistema dinâmico em que o estado de uma célula ou unidade é definido ou influenciado pelas células adjacentes) (Nierhaus, 2009). Analisando então todas as limitações impostas pelo interface, e tendo escolhido os métodos de génese sonora e de criação de eventos musicais, atingiu-se um ponto onde foi possível projetar as restrições que o sistema teria de possuir para um funcionamento eficaz. Procurou-se em simultâneo encontrar modelos de síntese com parâmetros de controlo adequados e um sistema de controlo de eventos musicais que o tornassem um instrumento suficientemente rico, versátil e expressivo, ou seja, enriquecendo-o em affordances. Fig.4 Diagrama de blocos do modelo inicial criado para o sistema NADI. Preto, dados não tratados; verde, dados tratados do interface; vermelho, dados gerados artificialmente; Azul, áudio. 25 Na Fig.4 podemos ver que toda a informação enviada pelo interface será primeiramente analisada e tratada para que seja compatível, adaptada e dimensionada aos parâmetros que posteriormente irá controlar. Decidiu-se depois, que todos os valores de saída do interface e entrada para os parâmetros do sistema seriam escalonados entre zero e cento e vinte e sete valores conforme a norma MIDI 23 , o que permite facilidade de comunicação de cruzamento entre os parâmetros do sistema, oferecendo uma maior compatibilidade de acoplamento ou adaptação a sistemas exteriores de sequenciação ou síntese. Todos os dados são transmitidos por um sistema de mapeamento que os distribui pelo motor de áudio e pelo interface de usuário. Este sistema de mapeamento aplica a informação enviada e já tratada pelo controlador nos vários estágios do motor de áudio permitindo controlar mais do que um parâmetro da criação sonora em simultâneo com uma função, assim como alterar o controlo de uma função do sistema através da ativação de ações simultâneas do interface. Sendo este projeto direcionado para a composição em tempo real foi necessário dedicar uma atenção particular à precisão temporal de todo o sistema, pelo que após a criação do sistema básico de comunicação entre o software e o interface, foram construídos, logo de seguida, o sistema de controlo de tempo geral do sistema e um sequenciador de dezasseis passos no qual pudessem ser criados padrões rítmicos. A partir do modelo deste sequenciador de dezasseis tempos foi construído um para cada um dos elementos de síntese. Foram depois construídos os elementos de síntese sonora bem como os seus sistemas de controlo, tendo sempre em conta a versatilidade tímbrica e a capacidade de controlo da sua expressividade sonora. Tendo estes fatores em conta decidiu-se também que o resultado final do sistema seria estereofónico. À medida que foram criados novos elementos de síntese, foi sendo construído o sistema de mistura, seguindo-se-lhe a construção do sistema de processamento de sinal. Na fase seguinte, foram criados os sistemas de construção rítmica e de geração de notas. Todos os parâmetros de controlo do sistema com capacidade de serem manipulados, foram sujeitos a restrições de modo a que a sua utilização não permitisse uma completa descaracterização do elemento ou causasse algum tipo de conflito no 23 MIDI (Musical Instrument Digital Interface) – Interface digital para instrumentos musicais que consiste num protocolo de comunicação para instrumentos electronicos standardizado em 1983 26 sistema. Por conseguinte, após encontrada a gama de valores nos quais o parâmetro deveria oscilar, esta gama foi por sua vez escalonada para valores entre zero e cento e vinte e sete. Nesse momento, foi possível definir com maior precisão o que o instrumento possuía como affordances e restrições manifestadas pelo motor de áudio e pelo interface. Passou-se assim para a fase final da construção do mapeamento, com a criação das matrizes de controlo do sistema e finalizou-se o projeto com a criação de presets. 3.3 Descrição dos elementos e dos sistemas associados Fig.5 Pagina principal do GUI do aplicação NADI De seguida são apresentados e descritos os elementos do sistema criados, assim como os diagramas de blocos para cada um dos elementos do sistema de síntese utilizados no projeto. Aqui são descritos em 16 pequenos pontos os elementos FM1, FM2, FM3, FM4, ADD1, ADD2, Karplus-Strong, Kick, Hat, Clap, Snare, Reverb, Granular; assim como 27 os sistemas de mistura de som, os sequenciadores de dezasseis tempos, a geração de notas, os cellular autómata utilizados e os sistemas de monitorização e mapeamento. Para o elemento de Reverb não é apresentado diagrama de blocos, pois apesar de perfeitamente implementada no projeto foi extraída dos exemplos do próprio Max/Msp não tendo sido alterada de nenhuma forma. O elemento de efeitos gerados pela síntese granular é aqui também descrito, porém não foi criado um diagrama de blocos dada a simplicidade da sua arquitetura. 3.3.2 FM1 & FM2 Fig.6 Elementos de síntese FM1 e FM2. Fig.7 Patch em Max/Msp dos elementos FM1 e FM2. 28 Estes elementos de síntese FM foram extraídos e adaptados de um modelo criado nas aulas de síntese avançada de som lecionada por Carlos Guedes. Possui um gerador de envolvência com capacidade de controlo. 3.3.3 FM3 & FM4 Fig.8 Elementos de síntese FM3 e FM4. Fig.9 Patch em Max/Msp dos elementos FM3 e FM4. Estes elementos de síntese FM foram extraídos e adaptados dos exemplos do Max/Msp, cuja particularidade se centra no facto de possuir um gerador de envolvência 29 gráfico para a amplitude e outro para o controlo do índice de modulação. Foi unicamente escolhido o rácio de harmonicidade como parâmetro de controlo. 3.3.4 ADD1 & ADD2 Fig.10 Elementos de síntese aditiva, ADD1 e ADD2 Fig.11 Patch em Max/Msp de um dos osciladores dos elementos ADD1 e ADD2. Cada um destes elementos é um sintetizador aditivo com cinco osciladores de onda variada (sinusoidal, serra, triângulo e quadrada), onde cada oscilador possui uma oitava 30 em frequência superior à anterior e todos eles possuem controlo de parâmetros de afinação fina e de volume. Possuem também um gerador de envolvência com capacidade de controlo e um controle de volume geral. 3.3.5 Karplus-Strong Fig.12 Elemento de síntese por modelos físicos, Karplus-Strong. Este elemento é um sintetizador de modelagem física baseado no modelo do vídeo 24 . Possui dois tipos diferentes de ruído assim como vários tipos de filtro procurando simular neste caso o tipo de corda e caixa-de-ressonância do instrumento. 24 http://www.youtube.com/watch?v=5RYy8Cvgkqk; consultado a 28-06-2013 31 Fig.13 Patch em Max/Msp do elementos Karplus-Strong 38 Cada elemento possui um controlo de volume e de panorâmica. Cada um dos elementos tem encadeado no final do seu sinal um filtro, sendo exceção os elementos Karplus-Strong, Kick, Hat, Clap e Snare. O sistema facilita o controlo do volume geral do conjunto dos elementos de síntese e do elemento Reverb não tendo este controlo de volume próprio, sendo controlado através do nível de envio. Existe também um filtro no final deste sinal. O volume geral possui também um sistema de controlo porém não possui filtro no final da cadeia. 3.3.14 Sequenciador de dezasseis passos (Step Sequencer) Fig.22 Dois sequenciadores de dezasseis passos para os elementos FM1 e FM2. Este é um elemento que possui onze sequenciadores sincronizados de dezasseis passos, com tempo e subdivisão variáveis. Existe um sequenciador associado a cada um dos elementos de síntese. É possível a criação rítmica no sistema através da manipulação do GUI ou mapeando uma das matrizes de controlo para unidade de Cellular Automata. 3.3.15 Geração de notas Fig.23 Arpeggiator para os dois elementos 39 O sistema adotado para a geração das notas foi a criação de listas de valores de notas correspondentes a modos e acordes musicais. Estas listas são de 21 notas, pois assim foi possível atingir uma extensão de 3 oitavas, o que pareceu suficiente. Estas listas foram reduzidas em número de notas diferentes para os acordes, evitando que os sintetizadores tivessem de reproduzir frequências excessivamente elevadas podendo criar inconsistências tonais ou alguma agressividade tímbrica excessiva. O sistema de geração de notas é independente para cada um dos elementos, embora seja possível escolher simultaneamente o modo musical de todos os elementos ao mesmo tempo. É possível a escolha dos modos ou acordes para cada um dos elementos assim como a forma como são reproduzidas as notas de cada um desses modos ou acordes. Para isso pode escolher-se entre: • a reprodução completamente aleatória; • o random walk em que a cada nota apenas se pode seguir a si mesma ou à exatamente superior ou inferior na lista; • a reprodução de todas as notas da lista sem repetições; • a reprodução ascendente; • a reprodução descendente; • a reprodução ascendente seguida de descendente. 3.3.16 Cellular Automata Fig.24 Pormenor do sistema de geração de ritmo por Cellular Automata 40 Este sistema de criação de padrões rítmicos com princípio nos algoritmos biológicos, foi baseado e adaptado de um objeto criado para Max/Msp por Bill Vorn 26 . Este algoritmo produz padrões de estruturas rítmicas com vista a serem utilizadas nos sequenciadores de dezasseis passos, pelo que é possível assignar o padrão que estiver a ser gerado no momento a cada um dos elementos ou deixar que o gerador vá alterando a estrutura rítmica do elementos a que está ligado. É ainda possível alterar aleatoriamente as condições iniciais ou a regra de evolução do algoritmo permitindo deste modo obter diferentes evoluções do padrão rítmico. 3.3.17 Sistemas de monitorização e de mapeamento A página que diz respeito à informação proveniente do interface oferece uma forma de monitorização dos valores enviados pelo interface para o sistema, assim como a possibilidade de escolher três formas de tratamento desses valores. Saliente-se que todos os valores foram anteriormente transformados em valores compatíveis com o sistema MIDI. O usuário pode assim reenviar estes valores para o resto do sistema das seguintes formas através do Data Type (Fig.19): • forma direta (sem alteração); • em trigger (quando os valores são zero até atingirem determinado limiar após o qual têm valor máximo); • ballistic (possuem um sistema que permite que as variações bruscas de valores se efetuem de forma mais suave); • ramp (os valores recebidos tem um comportamento linear constante independentemente das suas variações). 26 http://billvorn.concordia.ca/research/software/lifetools.html, consultado a 26/06/2013 41 Fig.35 Página de monitorização e tratamento da informação proveniente do interface. Foi ainda elaborado um sistema de criação e navegação de presets com alguns exemplos desenvolvidos com o intuito de dar a melhor compreender as possibilidades do instrumento e facilitar a sua utilização. Foram criadas para o controlo dinâmico dos parâmetros do sistema quatro páginas diferentes com matrizes de três dimensões de modo a que fosse possível controlar a quantidade de modulação que se pretendia aplicar em cada um dos parâmetros e ainda outra página referente ao tratamento de dados e monitorização do interface. Das quatro páginas acima referidas, duas estão relacionadas com a comunicação entre o interface e o motor de áudio criou-se outra para a comunicação do interface e os parâmetros de geração de notas e de ritmo e ainda um outra para o controlo dos parâmetros de síntese e de mistura através dos LFO’s (anexo I). Após a análise de alguns sistemas de síntese diferentes e de alguma experimentação, foi adotado um sistema cuja modulação é efetuada através do incremento dos valores provenientes do interface ou LFO’s ao valor do parâmetro a modular, excetuando nos parâmetros que dizem respeito ao controlo da panorâmica na qual a modulação é efetuada com a adição de valores positivos e negativos tendo um resultado que varia em torno do valor inicial. Na página de matrizes relacionadas com a geração de eventos musicais, o parâmetro de trigger refere-se à possibilidade de mapear um parâmetro do interface para que dispare uma nota num dos elementos. Este disparo está sempre sujeito à pulsação do tempo geral do sistema, pelo que ao receber um valor com um nível suficiente para o ativar, espera pe la próxima pulsação do sistema de sequenciação para disparar, encontrandose assim sempre sincronizado com o tempo geral do sistema. Fig. 3.5. Apresentação e d Neste ponto são apresentados e discutidos os resultados obtidos na criação do NADI. A avaliação destes resultados é fruto da experiência empírica com o siste que a avaliação é su bjetiva. Esta avaliação é subje impossível dado o tempo disponível par transcende o âmbito deste proje No ponto 3.5 .1 são primeiramente discutidos sistema deste proje to: o motor de áudio, a criação musical e o GUI e o 3.5.1. Neste ponto são discutidos os resultados dos sistema, sendo estes: o motor de áudio (ponto 3.5.1), a criação musical ( la próxima pulsação do sistema de sequenciação para disparar, se assim sempre sincronizado com o tempo geral do sistema. Fig. 26 Exemplo de mapeamento do NADI Apresentação e d iscussão de resultados são apresentados e discutidos os resultados obtidos na criação do NADI. A avaliação destes resultados é fruto da experiência empírica com o siste bjetiva. Esta avaliação é subje tiva, pois outro tipo de avaliação seria dado o tempo disponível par a a concretização deste mestrado o âmbito deste proje to. .1 são primeiramente discutidos as três características to: o motor de áudio, a criação musical e o GUI e o mapeamento Análise dos sistemas ponto são discutidos os resultados dos três principais atributos o motor de áudio e a sua capacidade de criação e variedade sonora a criação musical ( ponto 3.5.2); e todos os sistemas relacionados com a 42 la próxima pulsação do sistema de sequenciação para disparar, se assim sempre sincronizado com o tempo geral do sistema. são apresentados e discutidos os resultados obtidos na criação do NADI. A avaliação destes resultados é fruto da experiência empírica com o siste ma pelo pois outro tipo de avaliação seria a a concretização deste mestrado o que as três características principais do mapeamento atributos de todo o a sua capacidade de criação e variedade sonora todos os sistemas relacionados com a 43 geração de eventos musicais, a sua implementação, o GUI e mapeamento do interface (capitulo 3.5.3) que são todos os sistemas de controlo e comunicação existentes no projeto. 3.5.1.1. Motor de áudio O sistema criado oferece uma variedade tímbrica que responde às necessidades composicionais mínimas da música eletrónica atual. Possui algumas características particulares como a combinação de algumas técnicas bem diferentes de síntese, ou a utilização da síntese granular para o processamento de efeitos. Após alguma utilização do sistema consegue-se obter uma impressão geral estética das texturas sonoras criadas, sugerindo uma sensação de coerência e harmonia entre os seus elementos constituintes. Esta sensação pode ser fruto da coesão dos resultados obtidos através da síntese sonora ou pode resultar de alguma limitação nas capacidades de variação tímbrica da mesma, as quais talvez pudessem ser ultrapassadas com a utilização de outras técnicas de síntese sonora diferentes, ou com o aperfeiçoamento das mesmas. O motor de áudio pode ainda ser aperfeiçoado no que diz respeito às capacidades e às restrições dos seus parâmetros, pelo que a experiência acumulada advinda da sua utilização irá oferecer a informação necessária para proceder a essas alterações. 3.5.1.2. Criação musical Na criação de eventos musicais, o sistema de geração de notas talvez seja o mais simples de todos os sistemas envolvidos no projeto. Embora seja eficaz no seu propósito, apresenta profundas limitações no que concerne às mudanças de tonalidades ou ao controlo harmónico entre os elementos da composição assim como, por vezes, o seu desenho melódico revela um comportamento demasiado previsível. No que diz respeito à criação rítmica, as soluções encontradas oferecem bastante mais flexibilidade, uma vez que: 44 • o sequenciador de dezasseis passos permite uma programação rítmica com extensão e precisão aceitáveis; • a utilização dos sinais do interface em tempo real oferece uma experiência de algum imediatismo; • o sistema de cellular atomata oferece uma forma muito interessante de apoio à criação rítmica. 3.5.1.3. GUI e mapeamento A página principal do GUI do sistema oferece um controlo claro de cada um dos parâmetros do motor de áudio disponíveis no sistema, assim como o acesso às páginas de sequenciação, monitorização do interface, mapeamento do sistema e navegação de presets. A criação das janelas extras no sistema permitiu criar um sistema completo de monitorização e mapeamento do interface para o sistema aliviando a janela principal do GUI. A janela de monitorização permite uma rápida análise da informação proveniente do interface e oferece simultaneamente uma forma de manipular essa informação antes da mesma ser enviada para os parâmetros de controlo do restante sistema. A janela de sequenciação oferece uma visualização clara dos eventos rítmicos gerados pelo sistema, o mesmo não acontece com sistema de geração de notas que embora seja simples não oferece nenhuma forma de visualização. No que concerne o controlo dos parâmetros existentes para a composição musical na página de sequenciação, estes já se apresentam de forma clara e funcional. As janelas independentes, com as matrizes de mapeamento do interface e dos LFO´s, permitem ao sistema uma flexibilidade enorme no mapeamento dos seus parâmetros porém simultaneamente criou igualmente alguma densidade e complexidade na sua programação. Embora o sistema tenha sido simplificado de muitas formas para procurar não se tornar excessivamente denso na programação, foram surgindo muitos parâmetros relevantes para a criação musical responsáveis por uma importante variedade e expressividade do sistema. Esta quantidade de parâmetros relevantes traduziu-se em páginas de mapeamento um pouco extensas no seu conteúdo, como se pode verificar nos anexos deste documento. Após alguma experiência de utilização 45 talvez surja a necessidade de refletir sobre formas alternativas da sua apresentação. São de salientar ainda as limitações de edição gráfica do GUI no software Max/Msp e alguns bugs que este apresentou a este nível, o que em nada contribuiu para a clareza de apresentação do GUI nas páginas de mapeamento. Outro ponto importante diz respeito ao tratamento da informação proveniente do interface, o qual, apesar de ser eficaz, e possuir algumas opções, estas revelam-se um pouco próximas em termos de resultados com exceção do modo trigger. 46 4. Conclusão Finalizando este documento, apresenta-se agora um sumário dos pontos principais deste projeto, é apresentada uma reflexão sobre as capacidades e limitações do sistema, assim como o desenvolvimento futuro previsto para o projeto, terminando com as considerações finais Este documento apresenta o projeto do fim do ciclo de estudos do mestrado de multimédia, perfil musica interativa e design de som, da faculdade de engenharia da Universidade do Porto. Este trabalho consiste neste documento contendo toda a investigação efetuada no desenvolvimento do projeto assim como a completa descrição do sistema utilizado, a sua conceção e criação, assim como a análise dos resultados obtidos através da minha própria experiência empírica com o sistema. O NADI é um sistema digital de composição musical em tempo real passível de ser controlado através da análise dos impulsos elétricos gerados pelas ondas cerebrais, músculos da cabeça e olhos assim como da análise do movimento da cabeça. O sistema completo é um instrumento musical digital composto por uma aplicação desenvolvida em Max/Msp e que pode ser controlada pelo interface Epoc da empresa Emotiv. A aplicação tem completa autonomia na criação sonora e um comportamento reativo na geração dos seu eventos musicais conferindo-lhe alguma autonomia em relação á sua operabilidade com o interface. O NADI cumpre todos os requisitos da tarefa a que se propôs abrindo ainda novas portas para o desenvolvimento e para a exploração das áreas associadas ao projeto. Pese embora se conheçam todos os elementos de um sistema com estas características e seja possível, de alguma forma, prever o seu comportamento, a experiência da sua utilização, além de apresentar muitas vezes resultados inesperados, inspira a abordagens diferentes na sua utilização. No sistema completo verificam-se dois tipos de imprevisibilidades na sua utilização. A primeira imprevisibilidade é positiva, e é resultante da variedade e expressividade tímbrica do motor de áudio, aliada às capacidades de mapeamento e característica pouco convencional do interface escolhido. Este conjunto de fatores concede à experiência de utilização do NADI, surpresas no seu comportamento e por vezes ainda certas componentes indeterminísticas no exercício da composição musical ou controlo de parâmetros de síntese. Estes tipos de imprevisibilidade estimulam a 47 utilização criativa do sistema e contribuem para um aumento da satisfação de utilização do NADI, criando também no utilizador, uma sensação de haver mais para explorar. O motor de síntese e processamento de sinal, e o sistema de composição simples porém eficaz, quando associados à flexibilidade do sistema de mapeamento do interface conferem-lhe estas potencialidades. A segunda é negativa e está relacionada com o ruído existente no conjunto do sistema, particularmente com a análise da informação obtida pelo interface e latência gerada pelo sistema. O interface por vezes fornece alguma informação incorreta, particularmente na análise da expressão facial. Este tipo de ruído introduzido pelo interface, causa frustração no utilizador e define certos limites à evolução da experiência de utilização do sistema como um instrumento musical. Com todos estes fatores o NADI é um instrumento musical inovador com características, capacidades e limitações semelhantes a qualquer outro instrumento deste género. Possui algumas limitações no que diz respeito á natureza do interface mas compensa-o com riqueza de elementos e versatilidade, assim como com a sua natureza reactiva. Como desenvolvimento futuro imediato deste projeto pretende-se estender a base de usuários do sistema para a obtenção de mais informação acerca da experiência da sua utilização com vista ao melhoramento de alguns dos sistemas criados. Como melhoramentos do motor de áudio pretende-se aperfeiçoar as capacidades e as restrições de todos os seus parâmetros, assim como estudar a possibilidade de implementar outros tipos de técnicas de síntese distintas das utilizadas. Pretende-se ainda desenvolver novos sistemas de geração de eventos aplicados à composição musical incidindo em particular no sistema de geração de notas, sistema este, que irá ser desenvolvido de modo a que ofereça mais possibilidades de comunicação entre os diferentes elementos. Pretende-se igualmente efetuar melhoramentos no GUI quer em termos estéticos quer no que concerne à usabilidade, em particular no que diz respeito ao sistema de mapeamento e a novas formas de interpretação e tratamento dos dados provenientes do interface. Será desenvolvida uma versão do sistema em Max4Live para a sua utilização no software de criação musical Live da empresa Ableton, assim como será criado um sistema de comunicação externo através do protocolo MIDI. 54 Fig.28 Segunda metade da primeira página de mapeamento do interface com os parâmetros do motor de áudio 55 Fig.29 Primeira metade da segunda página de mapeamento do interface com os parâmetros do motor de áudio 56 Fig.30 Segunda metade da primeira página de mapeamento do interface com os parâmetros do motor de áudio. 57 Fig.31 Primeira metade da página de mapeamento do interface com os parâmetros da geração de eventos musicais. 58 Fig.32 Segunda metade da página de mapeamento do interface com os parâmetros da geração de eventos musicais. 59 Fig.33 Primeira metade da página de mapeamento dos LFO’s com os parâmetros do motor de áudio. 60 Fig.34 Segunda metade da página de mapeamento dos LFO’s com os parâmetros do motor de áudio.