O que é?

Marvim Gainsbug é músico, cantor e compositor, criado em 2009. Suas

principais influências são Serge Gainsbourg, Bob Dylan, o Repentista

Nordestino, Leonard Cohen, Joni Mitchell, Alan Turing, Deep Blue, HAL,

Wintermute e Marvin - o Andróide Paranóico.

Marvim Gainsbug é um software que atua baseado no Twitter, programado

com o objetivo de compor e executar canções, com letra e música, em

tempo-real.

O tweets se transformam em versos que serão interpretados pela marcante

voz de Marvim. A melodia, a harmonia e o ritmo são diretamente

influenciados pelas palavras que compoem os "versos".

Para tanto, basta que o visitante diga em um microfone qual a temática da

sua canção. De maneira a melhor se adequar ao formato de exposição, o

Marvim está apresentado aqui como uma instalação interativa audiovisual.

Como funciona?

A interação proposta para esta versão do Marvim Gainsbug pode ser

descrita como uma experiência audiovisual que evoca a impressão de

interagir com um repentista, que através de seus sentidos (é capaz de "ver",

"falar" e "escutar") e sensibilidade (de criar música), é capaz de criar uma

canção, letra e música, de maneira "improvisada", em tempo real. Essa

interação é viabilizada por um microfone posicionado em frente a TV, utilizada

como saída de vídeo para o projeto, caixas de som, responsáveis pelo retorno

sonoro do trabalho, e uma webcam.

Ao passar pelo local do projeto, o visitante é chamado a atenção, sendo

saudado por uma voz desconhecida: a voz do Marvim Gainbug. Na TV em

frente ao microfone são exibidos vários Tweets, dispostos de maneira

desordenada. Ao tentar repetir a saudação no microfone, o visitante é

surpreendido pela visão do Marvim, que, após se apresentar, pede para que

o visitante escolha grupo de palavras que serão usadas como base no

processo de criação da canção. Essa escolha é também realizada através do

microfone. Escolhidas as palavras, o Marvim realiza uma busca no Twitter a

fim de encontrar tweets que tenham tais termos como temática.

Screenshot do Marvim Gainsbug, durante a tela de escolha de palavras.

A medida que a busca vai sendo feita, uma canção começa a ser gerada:

letra e música. A letra é formada a partir de uma análise semântica do

conteúdo dos tweets, que são desmembrados e reagrupados em versos. A

música é construída a partir de características dos tweets (quantidade de

determinados caracteres, tamanho das letras) em seus elementos básicos

(ritmo, melodia e harmonia), a partir de algoritmos de mapeamento,

organizados da seguinte forma:

Ritmo

O tamanho das palavras influencia a duração da nota a ser tocada. Quanto

maior a palavra, mais longa será a execução da nota. Quanto menor a

palavra, menor a duração da execução da nota.

Melodia

As letras iniciais das palavras, usando um mapeamento entre alfabeto e

escala musical, definem a nota a ser tocada. Por exemplo, a escala maior de

Dó, que é composta pelas notas Dó, Ré, Mi, Fá, Sol, Lá, Si, as letras 'a', 'b' e 'c'

são correspondentes a nota Dó, enquanto 'd', 'e' e 'f' correspondem a nota

Ré, e assim por diante. Da forma como o Marvim está programado, este

mapeamento acontece automaticamente para diferentes tipos e tons de

escalas musicais.

Harmonia

Para a composição dos acordes que serão usados na canção, um

mapeamento seqüencial é empregado nas palavras dos versos advindos do

Twitter. Como o Marvim basea-se na composição da letra da música em

inglês, uma lista ordenada das letras mais usadas no idioma inglês é usada

para a escolha dos acordes. Se em alguma palavra no verso for encontrada a

primeira letra desta lista, esta é mapeada no acorde principal relacionado

com a escala musical usada para a composição, no caso da escala de Dó

maior, o acorde C é utilizado. No caso da segunda letra dessa lista, o acorde

correspondente no caso da escala de Dó maior será Dm. E assim por diante.

Ao mesmo tempo que a música vai sendo tocada e cantada, a letra da

canção vai sendo exibida na tela para que o visitante a acompanhe. Além

disso, informações sobre os tweets que geraram os versos são

apresentadas na tela, tais como nome e imagem do usuário.

Com o termino dessa exibição, o Marvim volta ao seu estado natural,

escondido no mar de tweets, tentando chamar as atenções de outras

pessoas.

Qual material necessário?

Hardware

O hardware necessário para o Marvim Gainbug é composto de:

• Um computador (Core 2 Duo 2.26GHz, 4 GB de memória RAM,

GeForce 9400M 256MB) - responsável por executar o software do

projeto. Deve rodar Linux (Ubuntu) como sistema operacional e estar

obrigatoriamente conectado a internet;

• Uma Televisão de 50" - Responsável pelo retorno visual do projeto.

• Caixas de Som - Localizadas ao lado da TV e conectadas com o

computador, irá permitir que a canção criada pelo Marvim seja ouvida

pelos visitantes;

• Uma webcam - Localizada em cima do aparelho televisor, voltada para

o microfone, exercerá a função de "olhos" do Marvim.

• Um microfone comum – Localizado na frente do televisor e das caixas

de som, irá permitir aos visitantes interagirem com o Marvim.

Software

Criado em 2009, utilizando o Processing, linguagem de programação

baseada em Java, Marvim é um software complexo construído com diversas

tecnologias (Twitter API, bibliotecas de composição musical, visão

computacional, entre outras). Dentre elas, se destacam as tecnologias de

Síntese de Voz e de Reconhecimento de Discurso.

A síntese de Voz (Speech Syntesis) é uma tecnologia que objetiva produzir

artificialmente a voz humana. Atualmente é utilizada em diversos contextos

(principalmente em tecnologias assistivas), estando bastante desenvolvida.

No projeto, ela foi utilizada para dar sintetizar e dar personalidade a voz do

Marvim.

Intimamente relacionada com esta, está o reconhecimento de discurso

(Speech Recognition). A tecnologia procura registrar textualmente de

maneira automática dircursos de voz humana, estando presente em diversos

sistemas operacionais para desktop e celulares. No projeto, ela foi utilizada

para analisar e reconhecer o que o visitante diz.

O Marvim Gainsbug tem todo o seu código aberto e utiliza Linux como

sistema operacional.

Qual espaço necessário?

Para ser exibido, Marvim Gainsbug requer uma sala de dimensões

aproximadas de 2 metros de largura por 3 metros de comprimento.

Esboço do espaço necessário, contando com a disposição ideal do equipamento.

Como pode-se observar no esboço acima, a televisão de 50" será

posicionada na parede, com as caixas de som dispostas cada uma em um

lado. Acima da televisão estará localizada a webcam responsável por

reconhecer a presença do visitante. O pedestal do microfone será

posicionado em frente a TV de forma que o visitante fique de frente para o

Marvim, acentuando assim uma forma natural de interação. Quanto ao

computador, este não ficará visível ao visitante.

Para um bom funcionamento do programa de reconhecimento de comando

de voz, a sala precisa ser isolada de ruídos externos. Além disso, para que o

observador tenha uma maior imersão na obra, as luzes do ambiente da sala

serão baixas ou inexistentes, existindo apenas uma luz direcional do teto para

o chão focada no microfone.