UNIVERSIDADE ESTADUAL DE CAMPINAS

Faculdade de Engenharia Elétrica e de Computação

ERIVAN GONÇALVES DUARTE

UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

CAMPINAS2017

ERIVAN GONÇALVES DUARTE

UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

Dissertação apresentada à Faculdade de Engenharia Elétrica e de Computação da Universidade Estadual de Campinas como parte dos requisitos exigidos para a obtenção do título de Mestre em Engenharia Elétrica, na áreade Engenharia de Computação.

Supervisor/Orientador: TIAGO FERNANDES TAVARESCo-supervisor/Co-orientador: ALFONSO MEAVE ÁVILA

ESTE EXEMPLAR CORRESPONDE À VERSÃO FINAL DISSERTAÇÃO DEFENDIDA PELO ALUNO ERIVAN GONÇALVES DUARTE, E ORIENTADA PELO PROF. DR. TIAGO FERNANDES TAVARES

CAMPINAS2017

COMISSÃO JULGADORA - DISSERTAÇÃO DE MESTRADO

Candidato: Erivan Gonçalves Duarte

RA: 070741

Data da Defesa: 22 de novembro de 2017

Título da Tese: UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

Prof. Dr. Tiago Fernandes Tavares (Presidente, Faculdade de Engenharia Elétrica e

Computação/UNICAMP)

Profa. Dra. Lucia Helena Reily (Faculdade de Ciências Médicas/UNICAMP)

Profa. Dra Paula Dornhofer Paro Costa (Faculdade de Engenharia Elétrica e

Computação/UNICAMP)

A ata de defesa, com as respectivas assinaturas dos membros da Comissão Julgadora,

encontra-se no processo de vida acadêmica do aluno.

Dedico este trabalho aos meus pais e a todasas pessoas que participaram, ajudaram e acreditaram

neste trabalho.

AGRADECIMENTOS

Esta investigação me proporcionou conhecer um mundo novo. Um mundo repleto

de novas ideias e também de pessoas que fizeram dessas descobertas algo especial.

Agradeço imensamente meus pais por sempre me apoiarem e me incentivarem ao

aprendizado. A Ediane, David e Davi, bem como toda minha família.

Meus melhores amigos: Toso, Tatu, Diego e Robim. Uma alegria ter essa

amizade. Aos amigos Gerson Abdala e Márcia Nepomuceno pela ajuda e experiências

compartilhadas nesse processo.

Meu amigo e professor de sempre Alexandre Santos, sempre me indicando por

onde ir.

Meus orientadores: Tiago Tavares, obrigado por essa disposição e alegria em

fazer as coisas. Alfonso Meave Àvila, obrigado pela recepção, dedicação e por me mostrar

novos rumos.

Aos professores Felipe Orduña Bustamante, Jônatas Manzolli, Romis Ribeiro de

Faissol Attux e Suzel Ana Reily por me apresentar novos caminhos.

A todas as pessoas com quem convivi e trabalhei no Cepre (Centro de Estudos e

Pesquisas em Reabilitação “Prof. Dr. Gabriel O. S. Porto” Unicamp). Agradeço todos os

funcionários e professores do Cepre. Em especial a Prof.ª Lucia Reily, obrigado por todo esse

aprendizado e por me receber tão bem. Agradeço às interpretes Andrea Rosa, Rosemeire

Desidério e Sonia Cristina Bianchi que realizaram um trabalho fundamental para o

desenvolvimento dessa pesquisa. Agradeço a todos os alunos que contribuíram para a

realização desta pesquisa.

A Prof.ª Paula Dornhofer Paro Costa, por aceitar participar da minha banca, pela

dedicação em participar e opinar.

Ao IEEE Women Engineering South Brazil Section (IEEE WIE Unicamp) por

apoiar a pesquisa de campo realizada nesta pesquisa.

A Rede de Macro Universidades da América Latina e do Caribe e a Universidade

Nacional Autônoma do México por permitir ampliar os horizontes deste trabalho.

Por fim, agradeço a todos os amigos e pessoas que estiveram comigo e muito

contribuíram durante esse tempo de investigação.

RESUMO

As pessoas surdas têm sido excluídas da educação musical. Isso acontece devido ao fato de as

atividades musicais serem focadas no desenvolvimento do sentido da audição. Como

consequência, eles não podem participar em atividades musicais, que promovem coordenação

motora, desenvolvimento emocional e sociabilidade. No entanto, a participação nessas

atividades pode se basear em sentidos diferentes da audição, como visão e toque. Neste

trabalho, nós propomos e avaliamos o uso de elementos hápticos e visuais para educação

musical. Esses elementos são gerados a partir de um mapeamento em tempo real de

características de áudio extraídas de um microfone. O uso de mapeamento em tempo real

permite interações musicais entre surdos e ouvintes. Esses mapeamentos foram incorporados

em um aplicativo e usados em oficinas de música oferecidas a um grupo de crianças e

adolescentes surdos. Como resultado, os participantes dessas oficinas desenvolveram

habilidades de perceber e produzir ritmos, tocar instrumentos virtuais e participar em práticas

musicais coletivas. Dessa forma nossa proposta é um potencial auxílio na promoção da

educação musical para pessoas surdas.

ABSTRACT

Deaf people are often neglected in music education. This happens because musical activities

are often focused on the development of the sense of hearing. As consequence, they do not

participate in musical activities which also foster motor coordination, emotional growth and

sociability. However, the participation in such activities can rely on senses other than hearing,

like sight and touch. In this study we propose and evaluate the use of visual and haptic cues

for music education. These cues are generated from the real-time mapping of audio features

extracted from a microphone stream. The real-time aspect of the mapping allows musical

interactions between deaf and non deaf people. These mappings were incorporated into a

mobile app and used in music lessons offered to a group of deaf children and adolescents. As

a result of these lessons, participants developed perception of sound and produced rhythms,

playing virtual instruments and participating in a collective musical practice. Therefore our

proposal is a potential aid on the promotion of music education for hearing impaired people.

SUMÁRIO

INTRODUÇÃO

CAPÍTULO 1: CONSIDERAÇÕES A RESPEITO DE MÚSICA, EDUCAÇÃO MUSICAL ESURDEZ

1.1 Música não é feita somente de sons …......……………...……..…………………. 1

1.2 Música é uma capacitação humana ...……………….….……..………………….. 5

1.3 Valores da educação musical ……………………...….………...………………... 8

1.4 A relação entre as pessoas surdas e a música …….…….……………………..… 11

CAPÍTULO 2: TECNOLOGIA COMO SUPORTE PARA ATIVIDADES MUSICAIS DE

PESSOAS SURDAS

2.1 Música como uma experiência multissensorial ……….....………………..….…. 15

2.2 Representações multimodais para música ……..…………....……...……….…... 18

2.3 Uso de tecnologia no desenvolvimento de sistemas dedicados às pessoas surdas .20

CAPÍTULO 3: DESENVOLVIMENTO TECNOLÓGICO PROPOSTO

3.1 Proposta de criação de dispositivo tecnológico direcionado às pessoas surdas …21

3.2 Desenvolvimento do aplicativo ……………....…………………...…………….. 23

3.2.1 Análise: definição de usuário, requisitos e necessidades …………..…. 23

3.2.2 Desenho ………………………………………………………..……… 25

3.2.3 Descrição da interface ……….……………...…………….…..………. 33

3.3.4 Descrição do funcionamento do aplicativo ………...…………...…….. 42

CAPÍTULO 4: USO E AVALIAÇÃO DO APLICATIVO

4.1 Oficinas de música com o uso do aplicativo ……..…………….………..……... 44

4.2 Avaliação do aplicativo …………………..……………………..……………… 47

4.3 Avaliação do aplicativo em oficinas de música com participantes surdos ………47

4.3.1 Aplicação e análise do questionário ……...…..…..………….………... 47

4.3.2 Oficina 1 ………..……………………………….………………….…. 49

4.3.3 Oficina 2 ……………..……………………...…..……………….……. 51

4.3.4 Oficina 3 ……………………………..………….………………….…. 53

4.3.5 Oficina 4 ………………………..……………….………………….…. 54

4.3.6 Oficina 5 ……………………...………..………..…………………….. 54

4.3.7 Conclusões a respeito do uso do aplicativo nas oficinas ……...…….… 55

4.4 Avaliação do aplicativo por estudantes de música ….……..……………………. 56

4.4.1 Questionário …………………………..……………......……..………. 56

4.4.2 Análise dos questionários …………………..…………………………. 59

CAPÍTULO 5.CONCLUSÃO ……….………………..……………...………….…………. 66

REFERÊNCIAS BIBLIOGRÁFICAS ………………………………………….……...…… 70

APÊNDICES

Apêndice A - Questionário aplicado aos participantes das oficinas ……...……..………….. 73

Apêndice B - Planejamento das oficinas ………………….………………………………….75

Apêndice C - Descrição/roteiro da avaliação realizada com estudantes de música …….…... 83

Apêndice E - Questionário aplicado aos estudantes de música ……………………….…..... 86

ANEXO

Perfil dos participantes das oficinas ……………………………..………………………..… 92

11

INTRODUÇÃO

Hoje em dia, muitas pessoas acreditam que a musicalização de pessoas surdas

é impossível. Essa impossibilidade é percebida porque há uma sobrevalorização do aspecto

auditivo da música. Como consequência dessa percepção, pessoas surdas são usualmente

excluídas de ambientes de educação musical, o que as leva à exclusão em atividades que

proporcionam o desenvolvimento da coordenação motora, integração social e realização

pessoal.

Neste trabalho, desenvolvemos um dispositivo tecnológico visando a

proposição de uma experiência musical às pessoas surdas. Esse dispositivo foi aprimorado em

oficinas de música junto a crianças e adolescentes surdos. Nessas oficinas, trabalhamos

elementos básicos dentro da educação musical, como o ritmo, a melodia e a prática musical

em conjunto. Essa proposta se baseia em um estudo interdisciplinar envolvendo computação,

neurociência, etnomusicologia, música e educação musical. A Figura 1 apresenta a divisão

dos tópicos abordados no trabalho.

Figura 1: Divisão dos tópicos abordados neste trabalho.

A Seção 1.1 nos apresenta uma discussão interpretando música como um

fenômeno que vai além do som. A argumentação mostra que características musicais básicas

como ritmo e melodia não estão ligados a conceitos intrínsecos ao som, como tempo e

frequência; em vez disso, estão ligados à interpretação de quem os recebe ou da intenção de

quem os produz.

A Seção 1.2 conduz uma reflexão etnomusicológica a respeito da importância

da música na vida do homem, mostrando sua importância no desenvolvimento e integração

12

social. Essa reflexão permite concluir que implementar ferramentas que propiciem o contato

das pessoas surdas com a música é de grande importância na inclusão, bem-estar e

desenvolvimento dessas pessoas. Nessa seção, também apresentamos questionamentos a

respeito da musicalidade do homem e como isso nos influenciou ao pensar a musicalidade das

pessoas surdas.

A Seção 1.3 apresenta os valores da educação musical que são referência para

o desenvolvimento e avaliação das oficinas de música.

A Seção 1.4 discute o papel da música na vida das pessoas surdas, mostrando

que há pessoas surdas interessadas em música. Essas pessoas têm criado uma cultura musical

surda que se caracteriza pelo uso da língua de sinais para comunicar suas experiências, além

do uso de imagens e vibrações como elemento de interação com o som. Aponta também

aspectos relacionados à educação musical de surdos, mostrando que atualmente a educação

musical tem evoluído no sentido de inclusão do aluno surdo a partir de formas alternativas de

percepção e o desenvolvimento de ferramentas tecnológicas que facilitem essa percepção.

A Seção 2.1 mostra que não há impedimentos neurológicos para a experiência

musical de pessoas surdas, já que ela está ligada também a outros modos de percepção. Desta

forma, as pessoas surdas podem ter acesso à música a partir de outras características inerentes

ao som, como a vibração e a imagem.

A Seção 2.2 discute iniciativas artísticas envolvendo mapeamentos entre som,

imagem e vibração, mostrando que é possível criar significados artísticos e culturais por meio

de manifestações multimodais.

A Seção 2.3 apresenta dispositivos tecnológicos direcionados especificamente

a proporcionar experiências musicais aos surdos e as seções 3.1 e 3.2 apresentam nossa

proposta de desenvolvimento de um dispositivo tecnológico portátil direcionado às pessoas

surdas e sua forma de utilização. Nas seções do Capítulo 4 descrevemos o uso do aplicativo e

as atividades trabalhadas nas oficinas de música com pessoas surdas, bem como os resultados

e análises dos processos de avaliação do dispositivo. Por fim, o Capítulo 5 apresenta nossas

conclusões delineando possíveis trabalhos futuros.

13

CAPÍTULO 1. CONSIDERAÇÕES A RESPEITO DE MÚSICA, EDUCAÇÃOMUSICAL E SURDEZ

1.1 Música não é feita somente de sons

Kania [1] afirma que comumente consideramos música aquilo que nos é familiar e

expandimos nosso conceito a partir do contato com novas peças musicais ou peças de culturas

ou tradições que não nos são familiares. Segundo o autor, não existe um consenso universal

sobre o que é música. O autor afirma que sons são necessários, mas não são uma condição

suficiente para música, uma vez que sons ocorrem ao redor do mundo o tempo todo e poucos

deles são música.

Kania [1] adota uma postura filosófica que pretende estabelecer condições

necessárias e suficientes para chegar a uma definição de música. Essa definição não é

necessariamente igual, por exemplo, às definições da teoria musical.

O autor propõe reflexões a respeito de estratégias que poderiam ser uma base para

se definir música. Uma estratégia possível seria recorrer às propriedades intrínsecas do som,

no entanto, em música mesmo conceitos físicos como frequência e tempo estão ligados a

notas e ritmos que são elementos variáveis e que podem apresentar uma ampla gama de

definições e interpretações. Poderíamos também recorrer à subjetividade, indicando que

qualquer som percebido por um ouvinte como música, o é independente de suas propriedades

intrínsecas. Essa definição apresenta a exigência de um observador para que a música exista e

com isso pode excluir certas manifestações culturais do universo musical devido a

julgamentos de determinados ouvintes. Outra estratégia possível é recorrer à intencionalidade

que sugere que o traço definidor da música está na intenção de quem a produz. Dessa forma,

podemos considerar tanto uma gravação quanto uma apresentação musical ao vivo como

elementos musicais igualmente válidos, no entanto pode trazer problemas no que se refere ao

conceito de intencionalidade ao se considerar, por exemplo, a “música” feita por animais ou

computadores.

14

A princípio cada uma das estratégias isoladas poderia ser usada para criar uma

definição, no entanto, cada uma delas apresenta pontos desfavoráveis. Isso leva o autor a

considerar os elementos em conjunto para chegar a uma definição mais ampla de música.

Kania [1] aponta que em muitas definições o som é um elemento central, no

entanto há muitos elementos extrassonoros em jogo, como, por exemplo, instrumentos

musicais, partituras, performances e até mesmo o silêncio. Aponta a existência de um

conceito central (um evento musical) a partir do qual podemos definir outros conceitos. Um

instrumento musical, por exemplo, pode ser uma ferramenta cuja função é produzir eventos

musicais. Também aponta que o tratamento mais promissor é adotar uma definição

intencional em que a música está ligada a intenção da pessoa que é responsável pelo fazer

musical. Assim o que distingue os sons musicais dos outros é que eles são musicais por

intenção de alguém.

Dessa forma, o autor passa por definições provisórias antes de chegar a uma

definição final para música. Em sua primeira definição provisória aponta que: Música é (1)

som (2) intencionalmente produzido ou organizado, (3) tendo no mínimo uma característica

musical básica, tal como altura ou ritmo. No entanto, é possível encontrar músicas que não

apresentam nenhuma dessas características básicas ou que podem ser contestadas com relação

a intencionalidade de sua produção como, por exemplo, Williams Mix (1952) de John Cage

ou Yoko Ono’s Toilet Piece/Unknown (1971). De outro lado temos sons com características

musicais inegáveis, mas produzidos sem a intenção que essas características sejam atendidas,

tais como “Muzak” ou “Don Juan wake-up call”.

Dessa forma sua segunda definição provisória, considera que música é (1) som,

(2) intencionalmente produzido ou organizado (3) quer (a) tenha alguma característica

musical básica, como altura ou ritmo, ou (b) para ser escutado a partir de tais recursos. Assim

se considera a escuta como uma forma de interpretação, ou seja, o ouvinte escuta

características que não estão explícitas na peça.

A partir da consideração do uso do silêncio em música o autor substitui “som” por

alguma coisa intencionada a ser escutada. Dessa forma sua definição final aparece da seguinte

15

forma: música é (1) algum evento intencionalmente produzido ou organizado (2) para ser

escutado (3) quer (a) tenha alguma característica musical básica, como altura ou ritmo, ou (b)

para ser escutado a partir de tais recursos.

A definição final de Kania [1] nos mostra a importância da intenção na produção

musical e da escuta na percepção, além da flexibilidade com relação ao emprego das

características musicais básicas. Como veremos nos tópicos posteriores a definição nos

permite guiar nas questões de que elementos musicais devem ser incluídos na prática musical

e consequentemente no desenvolvimento tecnológico que estamos considerando. Além disso

nos faz pensar no papel da escuta e sua subjetividade, na importância da intencionalidade,

além de mostrar que, além do som, música está permeada por muitos outros elementos,

muitos deles com caráter extrassonoro.

Neste trabalho, elementos como imagens e vibrações são usados para comunicar

significados musicais. Eles permitem gerar elementos intencionalmente produzidos para ser

escutados, como mencionado na definição final de Kania [1]. Consideramos que esses

elementos podem representar características musicais básicas como ritmo e altura. Um ritmo,

por exemplo, pode ser percebido a partir de uma sequência de imagens apresentadas em

intervalos de tempo. Uma melodia, por sua vez, pode ser identificada a partir de um conjunto

de vibrações que se organizam em intervalos de tempo variáveis. Portanto, esses elementos

físicos permitem a comunicação de significados musicais e, assim, a possibilidade de

interpretação musical e interação com outras pessoas.

1.2 Música é uma capacitação humana

A música está presente na maioria das situações da vida, proporciona troca entre

diferentes culturas, revoluciona costumes, permite a comunicação entre as pessoas e pode

suscitar emoções e alterações de humor.

De acordo com Turino [2], a música se refere a distintos tipos de atividades que

satisfazem diferentes necessidades do ser humano. Ele argumenta que a participação e

experiência musical são valiosos para o processo de integração pessoal e social que nos torna

completos. Blacking [3] aponta que a música está em tantas partes do mundo que seria

16

razoável supor que, assim como linguagem e religião, é uma espécie de traço do homem,

produto do comportamento de grupos humanos.

Turino [2] argumenta que a participação e experiência musicais são valiosos para

o processo de integração do sujeito à sociedade ou comunidade. Ele aponta que as artes são

centrais à evolução e sobrevivência humana; práticas culturais públicas como música e dança

são uma forma primária de as pessoas articularem identidades coletivas, elementos

fundamentais na formação e sustentação de grupos sociais que são, por sua vez, básicos à

sobrevivência. O autor afirma que as performances artísticas são frequentemente

sustentáculos de identidade, permitindo às pessoas se sentirem parte da comunidade por meio

da realização de um conhecimento cultural compartilhado e do ato de participarem juntos na

performance. Turino recorre às ideias do cientista e antropólogo Gregory Bateson para

apresentar o potencial evolutivo da arte. Para Bateson a arte é uma forma diferente de

comunicação que tem uma função integrativa – integrando e unindo membros de grupos

sociais, mas também integrando sujeitos individualmente e com o mundo. Ele sugere que

artistas se comunicam por meio da apresentação de formas e padrões que servem como mapas

integradores de sensações, imaginação e experiências e que é por meio destes padrões que nós

estamos mais profundamente conectados ao mundo natural.

Atualmente é muito comum as pessoas encararem a música como um objeto ou

um produto que pode ser de propriedade de seus criadores por meio de direitos autorais e

comprada por consumidores. Turino [2] argumenta que no processo de industrialização da

música observamos uma mudança gradual de pensamento de música como um fazer social

para a música como objeto. No entanto, ainda encontramos muitas atividades em que a

música está ligada ao fazer e à interação social, como dançar, cantar na igreja ou tocar com os

amigos apenas por diversão. Muitas dessas atividades podem ser definidas como

performances musicais participativas, isto é, um tipo de performance com alto potencial para

a interação entre as pessoas e no qual não há distinção entre audiência e artista. Na

performance participativa, somente participantes e potenciais participantes desempenham

papéis e o objetivo é envolver o maior número de pessoas em algum papel. A ideia de

participação é pensada no restrito sentido de contribuição ativa a um evento musical através

de palmas, dança, canto e tocar um instrumento musical, cada uma destas atividades é

considerada integral à performance, ressaltando que sons e movimentos estilizados são

conceitualmente importantes como intensificadores da interação social.

17

Esse conceito contrapõe a ideia de atividade musical em que uma pessoa se

apresenta enquanto as outras observam. Na atividade musical participativa, todos têm um

papel na produção da música. A ideia de que somente quem tem um dom musical pode

produzir música ou tocar um instrumento é deixada de lado. Todos contribuem, cada um à sua

maneira, para formar o todo. A atividade participativa permite a participação e integração de

pessoas com diversos níveis de conhecimento, e, frequentemente, a união de várias

participações simples leva a resultados sonoros bastante intrincados.

No fazer musical participativo, a atenção principal recai sobre a atividade, sobre o

fazer e sobre os outros participantes, opondo-se ao foco sobre o produto final que resulta da

atividade que acontece na performance clássica. No entanto, a qualidade do som e movimento

é muito importante para o sucesso da performance, por que inspira grande participação entre

aqueles presentes. Qualidade é também aferida por como os participantes se sentem durante a

atividade. O resultado é que música participativa leva à concentração das pessoas umas sobre

as outras e na atividade em si.

Turino [2] aponta elementos necessários para que uma atividade possa gerar o

envolvimento dos participantes. Esses elementos foram considerados no processo de

desenvolvimento e uso da ferramenta que estamos propondo:

Como o nível de habilidade do sujeito aumenta, o desafio deve aumentar para que o

balanço seja mantido.

A atividade deve ter uma constante possibilidade de expansão dos seus desafios.

A atividade precisa conter o potencial para imediato feedback sobre a forma como está

sendo feita, que, novamente, mantém a mente focada sobre a atividade realizada.

A atividade deveria claramente ser delimitada por tempo e lugar de modo que os

participantes possam se concentrar inteiramente naquilo que estão fazendo

18

Objetivos bem estabelecidos são alcançados com espaço e tempo limitados e em

relação ao balanço entre habilidades e desafio.

Podemos pensar também nos elementos que são utilizados para fazer música e

como se dá a avaliação de uma atividade musical ou o desempenho musical de uma pessoa.

Blacking [3] considera música como o som humanamente organizado, numa relação entre

padrões de organização humana e padrões de sons produzidos como resultado da interação

humana. Esta ordem pode ser criada como resultado de processos extramusicais, tais como a

seleção de buracos em uma flauta ou trastes em um instrumento de corda. Com relação à

avaliação da musicalidade do homem, Blacking [3] aponta que devemos conhecer quais sons

e que tipo de comportamento determinada sociedade escolhe chamar de musical. A música

deve ser recebida por sujeitos que compartilhem, ou possam compartilhar de alguma forma

das mesmas experiências culturais e individuais de seus criadores. Dessa forma podemos

pensar, por exemplo, que testes de habilidade musical (tais como exames de canto lírico) são

relevantes somente em culturas cujo sistema musical é representado pelo teste. Por

consequência, um músico de sucesso formado dentro da cultura e paradigma da música

ocidental erudita clássica pode não ter sucesso dentro da prática musical de tribos xamânicas.

Essas questões nos levaram a propor um trabalho de desenvolvimento tecnológico que esteja

em constante contato com o público-alvo para conhecer suas práticas culturais e formas de

interação musical.

Assim a prática musical é de grande importância ao homem. Ela se baseia na

organização humana dos sons, ressaltando o papel das interações humanas e influência da

estrutura psíquica de cada indivíduo. Diferentes sociedades apresentam práticas culturais

características, que servem como elemento agregador da vida em sociedade, além de

contribuir também para o desenvolvimento interno do sujeito. Mesmo dentro de um mesmo

país, cidade ou bairro podemos encontrar diversas formas de prática musical. Isso nos leva a

pensar se as pessoas surdas poderiam construir sua própria forma de prática musical, serem

incluídos em práticas musicais já existentes ou aulas de educação musical. Nesse caso, quais

seriam os elementos importantes na sua manifestação musical ou inclusão? Como eles

articulariam estes elementos em atividades musicais? A exploração de processos

extramusicais pode ser um caminho para sua prática musical? Quais seriam esses processos?

19

A adoção de uma performance participativa poderia ajudar no desenvolvimento da sua prática

musical?

Como vimos a música tem um papel importante na vida do homem; isso nos leva

a pensar na importância em se incluir as pessoas surdas em atividades musicais e como a

música pode se tornar um elemento de integração pessoal e de integração social para pessoas

ou grupos de pessoas surdas. Poderiam utilizar a música para compartilhar suas experiências

pessoais e sociais, além de permitir maior integração junto a cultura dos ouvintes que nos dias

atuais está permeada por música.

1.3 Valores da Educação Musical

Neste trabalho, procuramos pensar em atividades musicais direcionadas às

pessoas surdas, bem como o papel do uso de um dispositivo tecnológico nessas atividades.

Estamos pensando atividades educacionais que consideram música como uma atividade

multifacetada, uma forma de comunicação com um discurso constituído de metáforas. Dessa

forma adotamos como referencial teórico o livro “Teaching Music Musically” de Keith

Swanwick [4]. O livro é destinado a educadores musicais. A partir da psicologia e sociologia

ressalta valores e funções da música e sua importância para educadores musicais. A partir da

análise de exemplos práticos dentro da educação musical mostra as camadas da experiência

musical e aponta princípios fundamentais para educadores musicais seja qual for o contexto

de ensino de música. Acreditamos que esse referencial nos permite pensar uma forma de

educação que considera e respeita particularidades do indivíduo e permite encontrar

caminhos em que educação musical pode se adaptar a contextos de ensino como o que

abordamos na presente pesquisa.

Swanwick [4] chama atenção para as características que a música compartilha

com outras

formas de discurso. Segundo o autorSwanwick [4] tons se tornam melodias por meio de um

processo psicológico pelo qual nós tendemos a agrupar sons únicos em linhas e frases,

ouvindo-os como gestos.

Swanwick [4] aponta três maneiras a partir das quais a música funciona

metaforicamente.

1. Transformação de tons em ‘melodias’, gestos

20

2. Transformação dessas melodias, desses gestos em estruturas

3. Transformação dessas estruturas simbólicas em experiência significante

O autor indica que esse processo pode se dar a partir de elementos extramusicais

uma vez, por exemplo, que da mesma forma tendemos a ver luzes alternadas de painéis

publicitários ou expositores de vitrines como linhas contínuas em vez de lâmpadas. Dessa

forma o autor expõe o caráter multimodal para o conceito de gesto. Conforme indica o

trabalho de Gunther e O'Modhrain [5] também podemos adotar uma postura musical diante

de sensações vibráteis. Os autores apresentam indicações de equivalências entre elementos

musicais e táteis, isso permite uma linguagem de comunicação expressiva a partir do toque,

ou seja, a pele pode compreender e apreciar uma linguagem expressiva para o toque, análoga

à linguagem sonora da música.

Como mostra a Seção 2.1, é possível encontrar, em elementos visuais e vibráteis,

aspectos que se assemelham àqueles que são usualmente encontrados em elementos musicais

como ritmo e melodia. Esses elementos podem ser apresentados de forma a representar as

mesmas características que o autor aponta permitir ouvir tons como música: uma ilusão de

movimento, uma sensação de peso, espaço e tempo; permitindo, assim, a identificação desses

elementos como gestos. A seção 2.1 também descreve como se dá interpretação psíquica dos

elementos visuais e hápticos, bem como os elementos relevantes para pensá-los como

elementos musicais.

Com relação à construção de um discurso metafórico, Swanwick [4] afirma que

somente quando tons tornam-se gestos e estes gestos envolvem formas de interlocução, a

música pode relatar e informar formas e padrões de nossas experiências de vida. Ele indica

que uma educação em música pressupõe que os alunos tenham a possibilidade de acesso a

todos as três transformações metafóricas. O surdo pode ter acesso a vibrações e imagens,

elementos equivalentes aos tons. Dessa forma, seu processo de educação musical pode ser

pensado a partir do acesso as três transformações a partir da percepção tátil e visual dos tons,

seguido pelos processos de integração e interpretação dessas entradas.

Swanwick [4] aponta que as três transformações metafóricas são observáveis

através das camadas de elementos musicais observáveis a que dão origem. Essas camadas são

chamadas Materiais, Expressão, Forma e Valor.

21

Materiais

◦ Nível 1: Reconhece (explora) sonoridades, por exemplo, níveis de sonoridade,

diferenças de afinação ampla, mudanças bem definidas de cor de tom e textura.

◦ Nível 2: Identifica (controla) sons instrumentais e vocais específicos - como tipos

de instrumento, conjunto ou tom de cor.

Expressão

◦ Nível 3: Comunica caráter expressivo na música - atmosfera e gesto - ou pode

interpretar em palavras, imagens visuais ou movimento.

◦ Nível 4: Analisa (produz) efeitos expressivos pela atenção ao timbre, altura,

duração, ritmo, sonoridade, textura e silêncio.

Forma

◦ Nível 5: Percebe (demonstra) relações estruturais - o que é incomum ou

inesperado, se as mudanças são graduais ou súbitas.

◦ Nível 6: Faz ou pode colocar música dentro de um contexto estilístico particular e

mostra a consciência de dispositivos idiomáticos e processos estilísticos.

Valor

◦ Nível 7: Revela evidências de comprometimento pessoal por meio do engajamento

contínuo com peças particulares, artistas ou compositores.

◦ Nível 8: Desenvolve sistematicamente (novas músicas) ideias críticas e analíticas

sobre a música.

Conforme Swanwick [4] uma educação comprometida com a qualidade da

experiência musical é consciente de que os alunos se movem entre as quatro camadas de

discurso musical. O autor aponta também que estes critérios gerais servem muito bem à

avaliação, embora tenham de ser aplicados em contextos musicais específicos.

22

Swanwick [4] também aponta que a música surge em um contexto social, no

entanto seu caráter metafórico permite que ela seja interpretada e produzida criativamente. A

partir disso aponta três princípios para educadores musicais:

1. O cuidado da música como discurso, como conversa significativa com diversas

possibilidades interpretativas.

2. O cuidado com o discurso musical dos alunos. Considera discurso como conversa

musical que por definição não pode ser um monólogo.

3. O cuidado com a fluência musical. Se a música é uma forma de discurso, então ela é,

em alguns aspectos, análoga, embora não idêntica, à linguagem. O autor estabelece

uma relação entre aquisição de fluência em linguagem e música apontando que a

sequência processual mais eficaz é muitas vezes: escutar, articular, depois ler e

escrever.

Empregamos os conceitos apresentados por Swanwick [4] tendo em vista a

educação musical de pessoas surdas a partir do uso de ferramentas tecnológicas. Conforme

afirma o autor a pluralidade contemporânea de “músicas” exige uma redefinição da relação

entre a produção de música na comunidade e a educação musical formal no estúdio e na sala

de aula. No caso das pessoas surdas podemos pensar como essa pluralidade pode ser um fator

de inclusão a partir da sua participação em determinada manifestação cultural musical ou sua

produção e escuta musical a partir de instrumentos tecnológicos como o que está sendo

proposto nesta pesquisa.

1.4 A relação entre os surdos e a música

A relação entre música e surdez é considerada paradoxal por muitas pessoas e

acadêmicos. De acordo com Maler [6], músicos e compositores são geralmente presumidos

possuir “audição normal”. A autora argumenta que essa suposição tem levado estudiosos a

23

imaginar a surdez como a mais profunda antítese para música. Dessa forma uma pessoa surda

é considerada incapacitada para música, isso promove o distanciamento entre essas pessoas e

a música e consequentemente dos benefícios que a música pode trazer. Esse tipo de

concepção geralmente está embasada em uma visão muito limitada de música. Como vimos

na Seção 1.1, música envolve muitos elementos além do som, além disso, como veremos na

seção seguinte, a experiência musical não está limitada somente ao sentido da audição.

Destacamos também que a principal questão que esse tipo de postura desconsidera é que há

relatos de pessoas surdas interessadas em música, inclusive músicos amadores e profissionais.

Como exemplo podemos citar o músico surdo Bob Hiltermann [7] que relata que ele, assim

como muitas pessoas surdas, amam música. Essas pessoas estão ajudando a construir novos

olhares a respeito de música e da relação entre música e surdez.

Os relatos das experiências musicais de pessoas surdas interessadas em música,

permite pensar a relação dessas pessoas com a música e conhecer as diferentes formas de

experiência musical a partir das suas práticas musicais. Jones [7] nos desafia a pensar em uma

experiência musical além dos ouvidos, pensar nos modos alternativos de escuta que a

experiência musical surda oferece. Mostra que os músicos surdos interagem com o som a

partir da sensação proporcionada pelas vibrações, além de fazerem uso de imagens. Jones [7],

examinou biografias, repertórios, espaços de performances e audiência dos músicos Surdos1

dentro de um contexto maior de História e Cultura Surdas2. Dessa forma argumenta que a

forma de fazer e escutar música específica dos Surdos é uma forma de expressão que permite

que as pessoas conheçam sua realidade como minoria cultural dentro um mundo ouvinte,

permitindo que compartilhem suas histórias e diferenças linguísticas.

1 Jones [7] aponta que é convencional o uso do termo “Deaf” (com a primeira letra em maiúsculo) emreferência a cultura, comunidade e identidade Surdos. Ao passo que o termo “deaf”(com a primeira letra emminúsculo) é usado para se referir à condição física de surdez ou o grupo de pessoas com perda auditiva quenão estão associados com a cultura Surda. No nosso trabalho empregamos os termos em português, ou seja,“Surdo” e “surdo”. A autora ressalta ainda que o uso do termo “deficiente auditivo” é visto comoproblemático pela comunidade Surda.

2 Jones [7] faz alguns apontamentos a respeito de história e cultura Surdas, mostrando que a língua de sinais éa definitiva característica da cultura Surda. Essas pessoas compartilham histórias e experiências em comum,participam de escolas e clubes Surdos que ajudam a formar um forte sentido de identidade Surda.

24

Jones [7] mostra que a língua de sinais é um forte elemento de afirmação artística

e política para músicos Surdos. Como exemplo a autora apresenta o trabalho da banda

Beethoven's Nightmare3 e dos rappers Sean Forbes4 e SignMark5 que fazem da língua de

sinais uma parte chave do seu repertório. Jones [7] argumenta que os músicos fazem música

que é culturalmente Surda uma vez que suas canções falam de suas experiências únicas como

Surdos e eles estão se comunicando por meio da língua de sinais.

Darrow e Heller [8] descrevem o primeiro caso de educação musical que se tem

registro. No artigo "Music Among the Deaf and Dumb" de 1848, William Wolcott Turner e

David Ely Bartlett, relatam a experiência de ensino de música a Augusta Avery of Syracuse,

uma jovem surda que desejava aprender piano. Turner afirma que música pode ser percebida

pelas pessoas surdas e ensinada a eles, podem obter uma ideia de ritmo musical, relações

tonais, qualidades expressivas e forma por meio do uso da visão e do toque. Para dar suporte

aos seus argumentos ele cita o caso da jovem pianista que impressionava a audiência com seu

domínio sobre o piano. Darrow and Heller [8] ressaltam o fato de que o interesse em aprender

o instrumento partiu da própria jovem, mostrando, mais uma vez, um exemplo de interesse de

pessoas surdas por música.

Desde a publicação do trabalho de Tunner e Barlet, podemos encontrar alguns

trabalhos a respeito da educação musical de surdos. Finck [9] relata que esses trabalhos

aparecem basicamente de três maneiras: como um meio de reabilitação, de consciência

cultural e como propósito de reabilitação da fala. Finck [9] ressalta que em muitos casos a

música tem um papel funcional, como apoio a outras áreas do conhecimento, mas não com

3 Beethoven's Nightmare é uma banda de rock formada por músicos Surdos. Sua experiência musical envolvea sensação de vibrações e comunicação expressiva por meio da língua de sinais. Trabalham em colaboraçãocom intérpretes que gesticulam a canção de acordo com o pulso da música. Os integrantes da banda têmmostrado à audiência Surda como “sentir” e “ver” música.

4 Sean Forbes é um rapper Surdo. Vídeos são parte integral do seu trabalho. Cada faixa de áudio inclui umvídeo em que há músicas em inglês falado (Forbes fala inglês muito bem), performances em língua de sinaisou vídeos com imagens figurativas que contam a narrativa da história. Jones [7] indica que Sean é um artistaproeminente dos Estados Unidos. A autora indica que o artista proclama sua identidade Surda a partir damúsica. O artista tem se apresentado por todo país e sua popularidade tem crescido entre os jovens surdos eouvintes americanos.

5 Segundo Jones [7] o trabalho do rapper Surdo SignMark alcançou dimensões globais, sendo o primeiroartista Surdo a conseguir um contrato com o selo internacional Warner Music. Ele produz músicas cantadase sinalizadas em vídeo. As músicas refletem questões da cultura e história Surdas.

25

fins diretamente musicais, poucos trazem a discussão a respeito do fazer musical das pessoas

surdas ou a respeito da construção de uma cultura musical Surda. Destaca ainda que em

algumas perspectivas, música e treinamento auditivo são confundidos em um mesmo objetivo,

melhorar aspectos perceptuais auditivos.

Finck [9] indica que a música pode deixar de ser uma fonte de prazer quando

distanciada das emoções e prazer estético e colocada apenas como uma forma de tratamento,

para melhorar a fala ou favorecer o aproveitamento de resíduos de audição. A autora indica

que proporcionar experiências musicais de forma lúdica e prazerosa na infância pode ser de

fundamental importância para a formação da pessoa surda como ser musical. Além disso um

elemento importante para a sua formação e o desenvolvimento da sensibilidade.

No Brasil, a obrigatoriedade do ensino de música nas escolas de educação básica a

partir da Lei nº 11. 768 de 18 de Agosto de 2008 [10] trouxe um novo desafio aos educadores

musicais: a inclusão de alunos com limitações, principalmente no que se refere aos surdos6.

Segundo Reily [12], quando uma criança apresenta limitações que afetam a percepção de

sensações ou a sua resposta motora a elas, é preciso valorizar outras vias de acesso sensorial.

No momento atual a educação musical tem evoluído no sentido de inclusão do aluno surdo, a

partir de experiências em que se valorizam, principalmente, “experiências” que envolvem

sensações vibráteis, expressão corporal e a relação entre som e imagem. Tais experiências

podem ser facilitadas a partir do uso de ferramentas tecnológicas. Como aponta Pereira [13],

para os Surdos, os recursos tecnológicos podem se caracterizar como uma nova via de acesso

à música, abrindo nova dimensão nas possibilidades de comunicação e contribuindo para que

sejam mais participativos na sociedade.

O uso de recurso tecnológicos acompanhado de considerações a respeito da

cultura Surda pode proporcionar a inclusão dentro da educação musical, bem como permitir a

6 Na legislação Federal o termo empregado para dirigir-se à pessoa surda é deficiência auditiva. O Decreto 3.298 de 20/12/99 [11] em seu Art.4, define deficiência auditiva como sendo a perda parcial ou total das possibilidades auditivas sonoras, variando de graus e níveis nas seguintes formas:

a) de 25 a 40 decibéis (dB) - surdez leve;b) de 41 a 55 dB - surdez moderada;c) de 56 a 70 dB - surdez acentuada;d) de 71 a 90 dB - surdez severa;e) acima de 91 dB - surdez profunda.

26

participação em atividades culturais que por sua vez podem promover o desenvolvimento e

integração social. Como afirma Finck [9] é comum encontrar relatos de como a música pode

facilitar ao aluno aprender as coisas, tais como correr, alimentar-se, brincar, comunicar-se,

entre outras. A autora indica que as experiências musicais são valiosas para a maturação

emocional e desenvolvimento de qualquer criança, especialmente para a criança especial cujas

experiências são, algumas vezes mais limitadas. A ideia é reforçada por Luiz [14] que afirma

que o desenvolvimento rítmico por parte da criança surda tem ligação com o desenvolvimento

das ações motoras e também implicações na fala. Assim levar música para vida deste

indivíduo é habitá-lo a se comunicar e conectá-lo com o mundo.

Como vimos, existem pessoas surdas interessadas em música. Atualmente existem

músicos Surdos produzindo música e construindo uma cultura musical Surda. Esses

movimentos são recentes se consideramos o primeiro artigo a respeito da educação musical de

pessoas surdas. Como vimos desde a publicação do artigo até os dias atuais a educação

musical ou relação do surdo com a música passou por muitas situações em que não se

considerava a música como um fim principal, excluindo a possibilidade de prazer estético e

afirmação cultural a partir da atividade musical. No entanto, acreditamos que o novo olhar

que algumas pessoas Surdas e acadêmicos estão atribuindo à música e seu papel na vida

dessas pessoas pode gerar uma ressignificação dessa atividade. Isso pode permitir a

consolidação de uma cultura musical Surda. A atual disponibilidade e acesso a recursos

tecnológicos pode acelerar esse processo. Um exemplo disso, os músicos Surdos Sean Forbes

e SignMark que se utilizam de vídeos e internet para divulgar seu trabalho musical. Isso

também nos leva a pensar a respeito da educação musical para pessoas surdas, suas

ferramentas e os instrumentos dedicados à prática musical.

27

CAPÍTULO 2. TECNOLOGIA COMO SUPORTE PARA ATIVIDADES MUSICAIS

DE PESSOAS SURDAS

2.1 A música como uma experiência multissensorial

O som age em todo corpo humano, não apenas nos ouvidos, num processo que

desempenha um papel importante na percepção de eventos sonoros para todas as pessoas, em

particular para os surdos. Jones [7] afirma que na experiência musical surda o corpo todo é

um receptor para o som, pessoas surdas podem sentir as vibrações sonoras. Afirma também

que essa percepção corporal pode ser mediada através de uma compreensão cultural do

significado daquela experiência. Além disso, também podemos associar sons a imagens, ao

notarmos os gestos faciais e movimentos de uma pessoa ou observarmos objetos se movendo

ou vibrando.

Glennie [15], musicista surda, afirma que o som é simplesmente o ar vibrando,

cuja vibração o ouvido recebe e transforma em sinais elétricos. Segundo ela, a audição não é o

único sentido que pode proporcionar a percepção disso: o toque também pode fazê-lo, ou seja,

mesmo um surdo profundo pode interagir com o som a partir das vibrações. Glennie [15]

também afirma que o cérebro pode criar sons correspondentes a partir de coisas que se

movem, como ao ver as folhas de uma árvore se movendo ao vento ou objetos vibrando.

Segundo ela a pessoa ouvinte usa três sentidos para escutar, a visão, o tato e a audição; o

surdo, por sua vez, utiliza apenas dois desses sentidos: o tato e a visão. Para esse trabalho, é

importante a distinção entre os verbos ouvir e escutar. O verbo '‘escutar’', em sua raiz

semântica, engloba três ações: o ouvir o sentir e o ver. Já o verbo ouvir envolve apenas a ação

orgânica específica do aparelho auditivo. Dessa forma caracterizamos a música como uma

experiência multissensorial possibilitando caminhos para otimizar uma experiência musical

para pessoas surdas.

Para entender a integração de sentidos dentro da experiência musical devemos ter

em mente que nosso cérebro combina informações de diferentes sentidos para formar uma

percepção coerente do ambiente. A interação entre duas ou mais modalidades sensórias é

28

conhecida como interação intermodal. Os olhos e ouvidos, usados no primeiro estágio da

percepção humana são organizados pelo cérebro em duas regiões diferentes (Figura 2). Como

aponta Nanayakkara [16], comumente, considera-se a audição como sendo processada no lobo

temporal, enquanto o lobo occipital é responsável pelo sentido da visão.

Figura 2: Divisão do córtex cerebral em áreas denominadas lóbulos cerebrais (Figura extraída de: GOSS, C. M. Gray Anatomia. 39a ed. London. Elsevier, 2005).

Apesar de Nanayakkara [16] apontar a existência de uma área cerebral destinada

ao processamento acústico, as informações musicais são armazenadas de uma forma

complexa agregando várias partes do córtex [17], uma vez que fazer música ou participar de

atividades culturais musicais envolve diversos processos periféricos ao processamento de

áudio.

Becker [17] utiliza a Teoria de Seleção de Grupos Neuronais para ajudar a

entender o funcionamento do processo de cognição musical. Sua tese central mantém que

percepções/ações estimulam o cérebro por meio de atividade de agrupamentos de neurônios

em uma unidade operacional. Os neurônios se juntam em agrupamentos neuronais, chamados

“mapas”. Estes “mapas” se encontram em regiões específicas do cérebro e tornam-se ligados

por meio do comportamento passado. Mapas separados são massivamente conectados por

circuitos neuronais. A partir de comportamento repetido, certas ligações são habituadas até a

29

estimulação de um mapa. A percepção de uma peça de música particular quase sempre

estimula outros mapas. O cérebro desenvolve uma “classificação acoplada”, isto é, diferentes

grupos de neurônios tendem a ser ativados juntos dado o mesmo estímulo. A emoção da

performance musical ativa múltiplos pacotes de neurônios que nos levam a um estado de

excitação que nos faz sentir bem. A conexão entre esses pacotes não é permanente. O cérebro

continuamente reconfigura suas conexões de acordo com suas interações com o mundo

externo e suas interações dentro de sua própria estrutura interna. Se uma entrada ativa

múltiplos pacotes do mapeamento global, o indivíduo pode associar a entrada, por exemplo

um som, com um complexo conjunto de memórias, emoções e assim por diante. Assim a

escuta de uma peça musical, não ativa somente áreas acusticamente especializadas no lobo

temporal, mas áreas do tronco cerebral e sistema límbico, evocando pensamentos, memórias e

sentimentos que são intrínsecos ao sinal musical.

A integração de informação auditiva e visual pode ser observada quando estamos

em uma conversa face a face, assistimos filmes, apresentações musicais ao vivo e em efeitos

de ilusão sensorial como o efeito McGurk [18] e a sinestesia [19]. No primeiro efeito a

percepção de uma sílaba pode ser alterada pela visualização dos lábios do emissor. O segundo

efeito está relacionado a “ver” cores enquanto se escuta um som. Taylor [20] sugere que o

“perirhinal cortex” ajuda a ligar os principais aspectos de características audiovisuais para

fornecer representações multimodais capazes de transmitir significados. Shibata [21] expõe a

relação entre som e imagem em estudos sobre adaptabilidade e flexibilidade do cérebro de

pessoas surdas mostrando que porções do lobo temporal geralmente envolvidos no processo

de audição são muito mais ativos durante certas respostas visuais na pessoa surda. Isso indica

que a exploração do modo visual pode ser um dos caminhos para compensar a falta da

informação auditiva. Esse processo de adaptação no desenvolvimento cerebral do indivíduo

com surdez, ajuda a explicar como os surdos podem sentir a música, apreciar concertos e

outros eventos musicais. Shibata [21] sugere que pode ser útil expor a criança surda a música

no início da vida de modo a estimular os “centros musicais”.

As sensações táteis também têm um papel importante na percepção musical.

Segundo Kaiser et al. [22], sensações táteis estimulam porções do córtice auditório. Shibata

[21] aponta que pessoas surdas sentem vibrações na mesma região do cérebro que pessoas

sem essa deficiência utilizam para ouvir, indicando que a percepção das vibrações musicais

30

pelos surdos é tão real quanto seu equivalente sonoro por serem ambos processados na mesma

região do cérebro.

Os trabalhos apresentados nesta seção mostram que a escuta vai além da audição.

Ocorrem interações entre as modalidades sensórias, permitindo a integração entre informação

auditiva, visual e tátil. Dessa forma argumentamos que é possível estabelecer um significado

musical para imagens e vibrações. Esses elementos servem como forma de acesso às

atividades musicais para as pessoas surdas. Por meio dessas atividades são agregados

pensamentos, memórias e sentimentos a esses elementos.

2.2 Representações multimodais para música

Como vimos a representação multimodal pode ser uma possibilidade para a

representação musical. Neste tópico mostramos trabalhos que propõe representações para a

música a partir de imagens e vibrações com a intenção de buscar propostas e ideias de

mapeamentos que possam ser usados no desenvolvimento tecnológico da nossa pesquisa .

A ideia de representação visual para música tem sido proposta por diversos

pensadores e tem sido base para diversos trabalhos dentro da computação. Jewansk [23]

aponta alguns autores e suas propostas de mapeamento entre som e cores. Indica que os

Gregos foram os primeiros a construir escalas de cores divididas em sete, como analogia às

sete notas musicais. Também, cita que em 1646 Athanasius Kircher desenvolveu um sistema

com correspondência entre intervalos musicais e cores. A coletânea de Jewansk também

indica que no trabalho “An Hypotesis Explaining the Properties of Light”, de 1675, Sir Issac

Newton traçou um paralelo do espectro de cores e notas da música ocidental. Ainda, Jewansk

[23] aponta que, após 1725, Louis Castel desenvolveu o “light-keyboard” que deveria

simultaneamente produzir som e o que ele acreditava ser a cor correta associada àquela nota.

Glasow [24] expõe as relações entre música e cor propostas por Alexander

Scriabim, compositor do século XIX que desenvolveu o “Colour Piano” e “Colour Light

Music”, proposta musical sinestésica em que cores são pensadas como elementos musicais em

contraponto com o som. Scriabim propôs um mapeamento em que cores dispostas em ordem

cromática estão relacionadas ao ciclo das quintas, uma relação tonal de atração entre notas

musicais. Jones and Neville [25] sugeriram que mapear vozes musicais individuais de uma

composição para elementos gráficos individuais resultaria em uma experiência visual com

sentido musical. Smith [26] desenvolveu um sistema visual gerado por música produzida em

31

uma interface digital que mapeia dados musicais a figuras 3D. Volume, timbre e altura são

representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.

Existem também trabalhos que propõem usar computadores para gerar

automaticamente representações visuais para elementos musicais. Mitroo, Herman e Badler

[27] propuseram utilizar elementos musicais simbólicos (notas, acordes e intensidade) para

criar composições de cores e objetos em movimento. Nanayakarra [16] descreve o trabalho

de Smith & Williams que desenvolveram um sistema visual que mapeia elementos musicais

simbólicos a figuras tridimensionais. Nessa proposta, intensidade, timbre e altura são

representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.

Trabalho similar foi feito por McLeod e Wyvill [27], porém usando sinais de áudio

digitalizados (em vez de dados simbólicos) como entrada em tempo real.

Também, alguns trabalhos exploram a relação entre música e sensações táteis.

Nanayakarra [16] descreve o “EmotiChair”, um dispositivo que representa informação de

áudio como estímulo tátil. Nele, o som é processado de acordo com transformações pré

definidas de forma a produzir uma saída tátil.

Russ Palmer [29] desenvolveu uma teoria que permite mapear frequências de

vibração para a percepção humana em diferentes partes do corpo. O autor trabalha com uma

ideia chamada “Feeling the music philosophy” em que as pessoas podem sentir a música a

partir de vibrações e não por meio do ouvido.

Gunther e O'Modhrain [5] desenvolveram trabalho em que exploram a resolução

vibrotátil da pele, analisando parâmetros que incluem frequência de estímulo vibratório,

localização dos estímulos no corpo e idade do observador. Introduzem o conceito de

“composição tátil” baseado em um sistema composto de treze transdutores usados contra o

corpo com o objetivo de criar música tátil.

Gunther e O'Modhrain [5] apresentam dados com relação a alguns valores

psicofísicos e indicações com relação ao uso de vibrações para representar música. Com

relação à discriminação de frequências temos que a extensão de resposta vibrotátil da pele

está entre 20 e 1000 Hz com máxima sensibilidade ocorrendo em torno 250 Hz. Apontam

também que a pele é relativamente pobre na discriminação de frequências e que dependendo

do paradigma experimental é possível encontrar diferentes valores para a habilidade de

discriminação. Os valores dependem da faixa de frequência a ser representada. Os autores

apresentam dois resultados. O primeiro indica que de 3 a 5 valores de vibrações podem ser

32

distinguidas entre 2 e 300 pulsos por segundo, já o segundo indica que é possível de 8 a 10

distinções entre 70 e 800 Hz.

Gunter e O'Modhrain [5] também apresentam valores com relação à percepção

temporal de vibrações. A mínima separação temporal entre dois cliques táteis depende da

intensidade dos cliques, assim a mínima separação apresentada é de 10 ms, mas pode chegar

até 5 ms dependendo da intensidade dos cliques.

Os trabalhos apresentados nos mostram propostas de correspondência entre

elementos musicais e elementos visuais ou táteis. Além disso, apontam para concepções

teóricas e elementos tecnológicos para se pensar o mapeamento entre som e imagem ou entre

som e vibração. No desenvolvimento tecnológico desta pesquisa temos esses trabalhos como

referência para estabelecer nossos mapeamentos envolvendo elementos musicais, vibrações e

imagens.

2.3 Uso de tecnologia no desenvolvimento de sistemas dedicados a pessoas surdas

Podemos citar alguns trabalhos que utilizam mapeamento música-vibração e

música-imagem para criar dispositivos que fornecem uma experiência musical aos surdos.

Kerwins [30] desenvolveu um dispositivo chamado Vibrato que proporciona

vibrações musicais nos dedos das mãos do usuário e permite identificar diferença entre

ritmos, notas e combinações de instrumentos.

Podemos citar o uso de software de resposta háptica e visual em trabalho sobre

desenvolvimento rítmico dos Surdos [14]. O aplicativo BPM Counter emite resposta visual

para velocidade em que uma música é executada. Enquanto o aplicativo VPM Counter

captura o som repassado pelo usuário através do microfone e processa os dados para executar

a vibração a partir de uma biblioteca genérica disponível na tecnologia para desenvolvimento

móvel. Os dois aplicativos necessitam de uma pessoa ouvinte para realizar o ajuste manual da

sincronia entre os instrumentos e a música ambiente.

Nanayakkara [16] propõe a criação de uma cadeira háptica para fornecer uma

experiência musical a pessoas com deficiência auditiva, o sistema recebe dados MIDI

(“Musical Instrument Digital Interface”) e produz vibrações com frequências específicas

direcionadas a diferentes partes do corpo como pés, braços e tronco. O sistema dispõe

também de um display visual para representar a informação musical a partir de formas

geométricas 3D e animações que remetem a movimentos corporais.

33

O projeto “Model Human Cochlea” (MHC) [31] apresenta um dispositivo que

transforma informação auditiva em estímulo vibrotátil ao longo do corpo, utilizando-se de

uma cadeira com canais vibrotáteis.

O trabalho de Jack et al [32] apresenta pesquisa a respeito da criação de poltronas

que proporcionam vibrações por todo corpo e podem ser usadas em situações de concerto. O

dispositivo fornece representações vibráteis para algumas características musicais de sinais

processados em tempo real.

O aplicativo para sistema operacional IOS Ludwig [33], feito por desenvolvedores

de Campinas, utiliza uma pulseira vibrátil e um display visual para representar músicas

armazenadas. Os autores do projeto não comentam os detalhes técnicos da criação do

dispositivo.

34

CAPÍTULO 3. DESENVOLVIMENTO TECNOLÓGICO PROPOSTO

3.1 Proposta de Criação de dispositivo tecnológico portátil direcionado às pessoas surdas

Nossa proposta consiste da construção de um aplicativo para celular que se utiliza

de tratamento digital da onda sonora para identificar elementos rítmicos e melódicos a partir

de métodos automáticos de detecção de eventos musicais, mapeando esses elementos a

manifestações ligadas à percepção tátil e visual.

A escolha do celular deve-se, principalmente, ao fácil acesso a esse tipo de

aparelho. Segundo Luiz [14] a maioria da população brasileira com algum grau de deficiência

auditiva possui celular. O dispositivo pode proporcionar uma experiência musical aos surdos,

possibilitando mobilidade e possibilidade de interações com o som como dançar ou participar

de atividades musicais em grupo, trazendo potenciais ganhos para essas pessoas. Com essa

escolha temos que trabalhar nosso desenvolvimento utilizando os recursos de processamento,

imagem, som e vibração oferecidos por um dispositivo móvel

Segundo Nanayakkara [16] ainda existem poucos trabalhos direcionados ao

desenvolvimento de dispositivos que proporcionem uma experiência musical aos surdos. Ao

analisarmos alguns desses dispositivos observamos que a maior parte dos sistemas reproduz

apenas músicas contidas no sistema [16 e 33], reduzem a mobilidade do usuário [16, 31 e 32]

ou necessitam de ajuda de um ouvinte para ajustes de funcionamento [14].

Como adição aos trabalhos já realizados, enfatizamos a necessidade de construção

de um dispositivo em que os surdos tenham o acesso à música da mesma forma que o ouvinte,

ou seja, a partir de som mecânico; também é necessário que se permita a mobilidade para que

o surdo possa se movimentar livremente, dançar ou interagir com outras pessoas por meio da

informação musical fornecida pelo dispositivo, além de independência em relação aos

ouvintes, no que se refere à ajustes ao se utilizar o dispositivo. Outro fator de grande

importância não abordado em outras pesquisas refere-se ao contexto de uso do dispositivo.

Ressaltamos que é de fundamental importância o acompanhamento e desenvolvimento de

atividades para o uso do dispositivo, devemos ter em mente que a inclusão dos surdos na

educação musical requer acompanhamento especializado para que seja possível o

entendimento dos conceitos musicais, funcionamento do dispositivo, bem como indicações e

condução das atividades em que o dispositivo é utilizado. Diferentemente de outras trabalhos,

essa ferramenta foi desenvolvida em um processo de interação constante com pessoas surdas

35

considerando suas concepções a respeito de música e verificando o impacto da tecnologia

junto a essas pessoas para promover melhorias e modificações à ferramenta, Além disso,

outro ponto inovador desse projeto é o fato de se tratar de uma ferramenta direcionada à

educação musical para pessoas surdas. Por isso a ferramenta foi criada e avaliada

considerando seu uso em atividades de educação musical direcionada às pessoas surdas.

Como os estudos etnomusicológicos nos mostram existem inúmeras práticas

musicais dentre as diversas sociedades e inúmeros elementos de capacidade humana ao se

considerar a questão da musicalidade do homem. Esta pesquisa pretende investigar, a partir de

recursos da educação musical, possibilidades de práticas musicais que possam gerar o

envolvimento das pessoas surdas. Assim nosso aplicativo foi desenvolvido em constante

contato com pessoas surdas. Todas as funcionalidades do aplicativo e aperfeiçoamentos foram

realizados de acordo com a observação do seu uso em oficinas de música por crianças e

adolescentes surdos. O processo de desenvolvimento do aplicativo se deu em uma série de

passos, primeiramente completamos uma versão simplificada do programa que representava

o conjunto completo, mas não incluía detalhes. Para avaliar o uso do aplicativo por crianças

surdas, realizamos filmagem de cada oficina, essas oficinas foram analisadas considerando as

camadas musicais e princípios expostos na Seção 3.

Após o término das oficinas e análise do uso do aplicativo nessas oficinas,

partimos para o desenvolvimento da versão final do aplicativo. Essa versão do aplicativo foi

avaliada por estudantes universitários de música. Para realizar a avaliação os estudantes

realizaram atividades musicais valendo-se apenas das respostas visuais e hápticas do

aplicativo. Nessas atividades trabalhamos a percepção e realização de ritmos e melodias e

práticas musicais em conjunto. As atividades foram realizadas sem a utilização de recursos

sonoros, os estudantes utilizaram apenas os recursos hápticos e visuais do aplicativo e a partir

disso expressaram sua opinião com relação a efetividade e eficácia do uso dos recursos do

aplicativo para desenvolver atividades musicais.

3.2 Desenvolvimento do aplicativo

Esta seção discute o desenvolvimento do aplicativo que foi usado durante as

oficinas de educação musical. Está organizada da seguinte forma. A Seção 9.1 mostra uma

análise de requisitos do aplicativo. A Seção 9.2 descreve as interações humano-computador

36

relacionadas a cada uma das funcionalidades. Por fim, a Seção 9.3 mostra as telas usadas para

cada uma das interfaces.

3.2.1 Análise: definição de usuário, requisitos e necessidades

Definição do usuário – Programa desenhado para aulas de música para pessoas

surdas. Seus usuários são pessoas com impedimentos auditivos, em aulas de música guiadas

por um professor de música. O programa permite a interação musical entre pessoas surdas e

entre pessoas surdas e ouvintes.

Definição das necessidades – Atualmente professores de música requerem

ferramentas para aulas de música para pessoas surdas ou a inclusão de alunos surdos em aulas

de música. A ferramenta tecnológica aqui proposta pode ajudar nessas aulas a partir da

possibilidade de acesso a elementos musicais como ritmo e melodia a partir da

correspondência entre esses elementos e elementos hápticos e visuais. A ferramenta também

permite ao usuário tocar instrumentos virtuais que emitem respostas hápticas e visuais em

relação à produção sonora, além de contar com um metrônomo háptico e visual.

Definição dos requisitos – A aplicação deve ser capaz de fornecer imagens e

vibrações que permitam identificar ou produzir gestos musicais. Apresenta cinco

funcionalidades:

A. Metrônomo háptico/visual – O metrônomo emite resposta háptica, visual e sonora

para cada bit. Permite ao usuário tocar um instrumento e manter a uniformidade dos tempos

musicais a partir da sua sincronização com a resposta háptica ou visual do metrônomo.

Permite também a prática em conjunto uma vez que uma pessoa pode se guiar pela

informação vibracional enquanto outra se guia pela informação visual ou sonora. A resposta

sonora está ligada à possibilidade de realização de atividades que permitem a integração entre

surdos e ouvintes.

37

B. Identificador de intensidades sonoras – Permite diferenciar as intensidades

sonoras em diferentes níveis. A diferenciação ocorre por meio das respostas háptica e visual

para a intensidade do som captado pelo identificador.

C. Identificador de notas – Permite ao usuário identificar notas e padrões melódicos.

A identificação ocorre a partir das respostas háptica e visual que o aplicativo fornece para

cada nota. Cada nota da escala musical tem uma vibração e imagem característicos.

D. Bateria háptica/visual – Cada peça da bateria fornece uma resposta háptica, visual

e sonora como resposta a produção musical do usuário. Dessa forma o usuário pode

diferenciar cada parte da bateria a partir de sua resposta tátil ou visual. Apresenta também um

metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A

resposta sonora da bateria está ligada a possibilidade de realização de atividades em conjunto

entre pessoas surdas e ouvintes.

E. Teclado háptico/visual - Cada tecla do teclado fornece uma resposta háptica,

visual e sonora como resposta a produção musical do usuário. Apresenta também um

metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A

resposta sonora do teclado está ligada a possibilidade de realização de atividades em conjunto

entre surdos e ouvintes.

A Tabela 1 relaciona as funcionalidades do aplicativo e os aspectos que ele deve

fornecer ao usuário:

38

Aspectos fornecidos ao usuárioFuncionalidades

A B C D E

1 Permitir sincronizar uma atividade musical. X X X

2Classificar sons de intensidades sonoras

diferentesX

3 Perceber padrões rítmicos X X

4 Perceber notas e melodias X X

5 Executar padrões rítmicos X X X

6 Executar melodias X X

7 Desenvolver atividades musicais em grupo X X X X X

8 Desenvolver a composição musical X X X X

Tabela 1: Aspectos que o aplicativo deve fornecer ao usuário.

Definição de métodos – Para desenvolver a aplicação partimos de uma versão simples

do programa, para continuar com a implementação subsequente de funções avançadas. Essas

versões simples foram desenvolvidas durante o processo de aplicação das oficinas de música

com pessoas surdas. Após a avaliação do seu uso nestas oficinas, o processo de

desenvolvimento do aplicativo continuou. Dessa forma, chegamos a uma versão final do

aplicativo, como segue.

3.2.2 Desenho

A. Metrônomo Háptico/Visual

Como mostrado na Figura 3, para o metrônomo temos como entrada o toque do

usuário. Ele seleciona o andamento em batimentos por minuto (bpm) e a fórmula de compasso

que deseja. A partir do mapeamento proposto o usuário tem como saída a emissão das

respostas sonora, háptica e visual a partir do alto-falante, motor e tela do dispositivo.

39

B. Identificador de Intensidades

Como mostrado na Figura 4, o Identificador de intensidades sonoras tem como

entrada o toque do usuário para seleção de sensibilidade e um sinal de áudio que será

analisado com relação à sua intensidade.

Figura 3: Desenho metrônomo háptico/visual.

Figura 4: Desenho identificador de intensidades.

40

A seleção da sensibilidade permite ao usuário escolher três níveis diferentes de

sensibilidade. Ao escolher um nível dos níveis sensibilidade o usuário está definindo os três

valores mínimos para os níveis de intensidade paras os quais o noise gate separa os sons, ou

seja, para cada nível de sensibilidade temos três níveis de intensidade característicos,

ordenados de forma decrescente.

A relação entre a potência ou intensidade sonora (PdB) e a diferença entre dois

níveis de intensidade sonora (I1 e I0) está relacionada pela seguinte equação:

PdB = 10.log10(I1/I0) (1)

Adotamos um valor de 6 dB para a separação mínima entre intensidades sonoras

subjacentes. Dessa forma há uma relação de 4 para 1 para sons que estão em diferentes níveis.

Essa relação foi adotada para permitir que uma pessoa, ao produzir um som para interagir

com o instrumento possa perceber facilmente a diferença entre cada nível de intensidade, isso

permite identificar com segurança cada nível.

O som é outra entrada para o identificador de intensidades. Ele gera vibrações na

membrana do microfone, essas vibrações são transformadas em flutuações da corrente elétrica

que são convertidas em números. Isso caracteriza o processo de conversão analógico digital

no bloco “Microfone + conversor A/D” da figura 4. O bloco identificação de “ataques” da

figura 4 é destinado a encontrar “ataques” percussivos. Para realizar essa identificação

utilizamos o algoritmo bonk descrito em Puckette et al. [33]. O algoritmo considera a

sonoridade corrente para encontrar ataques que ocorrem em intervalos muitos curtos de

tempo. Isso permite identificar ataques que acontecem repentinamente e evita problemas com

mascaramentos ou identificação de falsos ataques.

A partir do sinal digital os “ataques” são identificados utilizando um seguidor de

envelope, como mostrado, na linha em vermelho da figura 5.

41

Como mostrado, a partir da linha tracejada na figura 5, um mascaramento (m) é

mantido entre a detecção de ataques. O valor de m representa a potência do sinal e tem seus

valores constantemente ajustados de acordo com a variação da potência (p). Isso ocorre a

partir de uma análise temporal do espectro sonoro da seguinte forma: Ao fim de cada análise,

se p > m, m recebe o valor de p. Uma nova análise acontece a cada 3 ms; Caso contrário, se m

não foi atualizado por mais de 5 análises, o mascaramento decai por um fator de 0.8. Como o

padrão de análise é de 3 ms, esse processo ocorre em 15 ms. Segundo Puckette et al. [34] esse

tempo é muito curto para afetar a detecção de eventos musicais percussivos.

Para caracterizar os ataques temos a seguinte relação para cada canal:

g = max(0, p/m - 1) (2)

Essa relação é somada para estimar o aumento para todos os onze canais. Se g

exceder o limiar superior (12) e depois decrescer abaixo do limiar inferior (6) um ataque é

reportado.

Podemos observar que o algoritmo reporta somente eventos que ocorram em

tempos muito curtos e ultrapassam limiares preestabelecidos de crescimento e decaimento.

Dessa forma, bonk evita a detecção de instrumentos melódicos, uma vez que esses ocorrem

em tempos comparativamente maiores e algumas vezes não apresentam limiares bem

Figura 5: Identificação de ataques.

42

definidos. Isso permite identificar melhor os ataques uma vez que exclui problemas de

detecção como mascaramento ou identificação de sons indesejados.

Após, seleção do nível de intensidade e identificação dos ataques, o usuário tem

acesso à classificação do som por meio de três diferentes níveis de intensidade (piano, mezzo

e forte), conforme será apresentado na Tabela 3. O mapeamento atribui uma correspondência

visual e háptica para cada um dos níveis de intensidade.

C. Identificador de Notas

Como mostrado na Figura 6, o Identificador de notas tem como entrada o toque

do usuário para seleção de sensibilidade e um sinal de áudio que será analisado com relação à

sua altura para lhe atribuir uma nota.

A seleção da sensibilidade permite ao usuário escolher cinco níveis diferentes de

sensibilidade. A diferença entre cada nível é de 3 dB. Considerando a equação (1) isso nos dá

uma razão de 2 para 1 entre as intensidades sonoras para as notas em cada um dos níveis. Essa

redução em relação ao caso anterior se deu pelo fato de que nesse caso estamos prevendo o

Figura 6: Desenho identificador de notas.

43

uso da voz para explorar o aplicativo nesse caso temos um alcance menor em potência em

comparação com instrumentos percussivos.

O bloco identificação de “fundamental” da Figura 6 é destinado a encontrar a

fundamental ou altura da nota do som de entrada. Para encontrar a fundamental utilizamos o

algoritmo sigmund descrito em Puckette et al. [34]. O diagrama mostrado na Figura 7 mostra

o funcionamento do algoritmo.

Figura 7: Funcionamento do algoritmo sigmund.

44

Primeiramente há a identificação dos picos, encontrando suas respectivas

frequências e amplitudes. Depois essas informações são usadas para estimar a frequência

fundamental (f), esse processo ocorre a partir da comparação entre os múltiplos de f com os

picos detectados. A frequência fundamental é atribuída aos picos quando há uma equivalência

ou proximidade entre picos e múltiplos. A frequência e amplitude dos picos são obtidos por

meio do phase vocoder, uma conhecida técnica que permite dividir um sinal de áudio em

componentes sinusoidais variáveis no tempo e estimar suas frequências e amplitudes.

Para se chegar à frequência fundamental, esses picos e amplitudes são ponderados

em uma “função de verossimilhança” L(f) que estima quão próximos esses picos estão dos

múltiplos de uma frequência f. O valor de f para o qual há maior correspondência entre picos e

múltiplos é tido como o valor da fundamental. A função que estima a proximidade entre picos

e fundamentais é dada por:

( 2)

onde k é o número de picos no espectro, ai é um fator dependente da amplitude do i - ésimo

pico, ti é um fator que depende de quão próximo o i – ésimo pico está de um múltiplo de f e ni

depende da proximidade do i – ésimo pico a um alto ou baixo múltiplo de f. Para sons

monofônicos a estimativa é feita a partir do valor de f para o qual L é máximo. Para sons

polifônicos são tomados os valores de L que não são múltiplos ou submúltiplos entre si.

Existe também um critério para evitar que o algoritmo reporte sons sem uma fundamental

definida. Esse critério estabelece que devem existir pelo menos quatro picos ou a fundamental

estar presente e a contribuição dos outros picos ser no mínimo um centésimo da potência total

do sinal.

D. Bateria Háptica/Visual

Como mostrado na Figura 8, para a Bateria háptica/visual temos como entrada o

toque do usuário. O usuário seleciona a parte da bateria que deseja tocar. A partir do

mapeamento proposto o usuário tem como saída a emissão das respostas sonora, háptica e

visual que permite diferenciar cada parte da bateria.

45

E. Teclado Háptico/Visual

Como mostrado na Figura 9, para o teclado háptico/visual temos como entrada o

toque do usuário. Ele seleciona nota do teclado que deseja tocar. A partir do mapeamento

proposto o usuário tem como saída a emissão das respostas sonora, háptica e visual que

permite diferenciar cada nota do teclado.

Figura 8: Desenho bateria háptica/visual

Figura 9: Desenho teclado háptico/visual.

46

9.3 Descrição da interface

A. Metrônomo háptico/visual

No metrônomo visual, mostrado na Figura 10 item a), temos botões em que o

usuário fornece os dados de entrada. Esses botões permitem ligar ou desligar o metrônomo

(On/Off), alterar a velocidade (na barra deslizante numerada) e fórmula de compasso (Time

Signature).

Figura 10: a)Interface metrônomo háptico/visual, b)ativação da primeira barra gráfica, b)segunda, c ) terceira e d) quarta com o metrônomo calibrado em 4/4.

Na Figura 10b), podemos ver como o metrônomo apresenta a resposta visual para

os tempos do compasso. Nesse caso, temos um compasso 4/4 em que os tempos do compasso

são representados por barras gráficas nomeadas com os números 1, 2, 3 e 4. O número de

47

barras é dado pelo numerador da fração que indica a fórmula de compasso. Os tamanhos das

barras está distribuído entre pequeno, médio e grande que indicam se o tempo é fraco,

intermediário ou forte, respectivamente.

Para cada fórmula de compasso temos uma configuração diferente para a imagem

das barras, a Tabela 2 mostra as possíveis configurações visuais para as diferentes fórmulas de

compasso.

Compasso 1/4 2/4 3/4 4/4

Tempo 1 grande grande grande grande

Tempo 2 Ø pequeno pequeno pequeno

Tempo 3 Ø Ø pequeno médio

Tempo 4 Ø Ø Ø grande

Tabela 2: Representação visual para fórmulas de compasso.

Também é possível diferenciar as respostas hápticas a partir da duração do tempo

de vibração. A Tabela 3, mostra a relação entre a intensidade de cada tempo do compasso e o

tempo de vibração para sua representação háptica.

Intensidade Fraco (piano) Intermediário (mezzo) Forte (forte)

Tempo da vibração (ms) 20 40 80

Tabela 3: Tempo de vibração para cada tipo de tempo do compasso.

B. Identificador de intensidades

No identificador de intensidades, mostrado na Figura 11 a), o usuário pode utilizar

a barra deslizante para selecionar o nível de sensibilidade do aplicativo.

As três barras gráficas são ativadas de acordo com a intensidade sonora. Na

Figura 11 a), podemos observar que essas barras estão relacionadas a três níveis de

intensidade que vão de piano a forte. Esses nomes estão relacionados à nomenclatura musical

para intensidades sonoras.

48

Na Figura 11 a) percebemos a resposta para um som com baixa intensidade que

ativa somente a primeira barra. Os itens c) e d) mostram as respostas para o aumento da

intensidade sonora.

Figura 11: a) Interface identificador de intensidades, mostrando a ativação doprimeiro (a), segundo (b) e terceiro (b) indicador de nível de intensidade.

Os valores para as intensidades de ativação das barras gráficas depende do nível

de sensibilidade selecionado pelo usuário. Ao selecionar um dos três níveis de sensibilidade

entre Low e Hi as três barras gráficas representam intensidades com limiares inferiores

característicos, como mostrado na Tabela 4.

49

Low (dBFS) Mid (dBFS) Hi (dBFS)

piano - 24 -18 -12

mezzo -18 -12 -6

forte -12 -6 0Tabela 4: Níveis de sensibilidade do aplicativo e níveis de pressão sonora

relacionados a cada nível de ativação das barras de visualização7.

A seleção de sensibilidade permite que o usuário possa ajustar o aplicativo de

acordo com o tipo de instrumento ou ambiente em que deseja captar o som. Em um ambiente

silencioso ou ao utilizar um instrumento de baixa potência sonora, ele pode utilizar o nível

sensibilidade (Low) que permite diferenciar sons de baixa intensidade. Em um ambiente

ruidoso ou ao utilizar um instrumento de alta potência sonora, ele pode utilizar o nível de

sensibilidade (Hi) que permite diferenciar sons de alta intensidade. A resposta háptica se dá

pelo tempo de vibração, conforme mostrado na Tabela 5.

Níveís de intensidade piano mezzo forte

Tempo de vibração (ms) 50 100 200

Tabela 5: Mapeamento vibracional para os níveis de intensidade

C. Identificados de notas

No identificador de notas, mostrado na Figura 12a), o usuário pode utilizar a

barra deslizante para selecionar o nível de sensibilidade do aplicativo. Como mostrado na

Tabela 6 , há 5 possibilidades entre os níveis Low e High. Para o nível mais baixo o limiar

inferior de intensidade é de 80 dB. Há um incremento de 3 dB para cada nível.

Nível 1 2 3 4 5

Limiar inferior (dBFS) -20 -17 -14 -11 -8

Tabela 6: Níveis de sensibilidade para o identificador de notas.

7 FS significa “full scale” é uma unidade de medida para nível de amplitude em sistemas digitais. 0 dBFS é o nível de um sinal que está no máximo nível em que o sistema digital pode responder sem prejudicar a forma de onda.

50

Como mostrado na Figura 12 b, o teclado ativa uma cor para nota detectada. O

usuário também pode sentir uma vibração relativa a essa nota.

Propomos um mapeamento de cores utilizamos uma analogia entre a escala

musical cromática e a distribuição cromática de cores, como mostra a Figura 13. Nesse

mapeamento, propomos uma analogia entre o cromatismo das cores e o cromatismo das notas

musicais, ou seja, o mapeamento considera a relação intervalar ou distância entre as notas e

não uma relação entre cores e notas em absoluto.

Figura 12: (a) Interface Identificador de notas e (b) resposta visual paraa nota lá.

51

Nota C C# D D# E F F# G G# A A# B

RGB 00CC00

0099CC

0066FF

0000CC

6600CC

990099

CC0066

FF6600

FF9900

FFCC00

FFFF00

CCFF0

Tabela 7: Códigos RGB para as cores utilizadas no mapeamento.

As notas musicais apresentam também uma representação baseada em vibrações.

As notas são representadas a partir de seus períodos (T). Cada nota é associada uma vibração

com duração T/2 que ocorre a cada período de tempo T , dessa forma o espaçamento entre as

vibrações é de T/2. A nota dó, por exemplo é representada por uma frequência de 16.35 Hz,

ou seja, com período de 61,1 ms. Dessa forma temos vibrações de 31,25 ms, espaçadas de

31,25 ms. A frequência de 16.35 Hz foi escolhida com referência ao piano (Dó - 1). Essa

escolha se deu devido à possibilidade de permitir a representação háptica para uma oitava e

por apresentar uma maior separação para o intervalo entre as vibrações, permitindo melhor

diferenciação entre as notas. Se escolhêssemos uma frequência muito alta, teríamos um

período pequeno. Isso dificulta a diferenciação entre as notas. Lembrando que como

apresentado na Seção 2.2 a mínima separação entre dois cliques é de 10 ms, mas pode chegar

até 5 ms dependendo da intensidade dos cliques [5]. Adotamos 10 ms como o valor mínimo

de separação entre as notas, uma vez que o aplicativo será utilizado em diferentes aparelhos,

Figura 13: Mapeamento entre cores e notas.musicais.

52

dessa forma não podemos prever o valor da intensidade de vibração para cada aparelho. A

Tabela 8 apresenta a frequência e separação entre os cliques (T/2) para cada uma das doze

notas.

Nota C C# D D# E F F# G G# A A# B

f (Hz) 16.35 17.32 18.35 19.44 20.60 21.83 23.12 24.50 25.96 27.50 29.13

30.87

T/2(ms)

30.58 28.86 27.24 25.71 24.27 22,91 21.62 20.41 19.26 18.18 17.16

16.20

Tabela 8: Espaçamento entre vibrações para cada nota.

D. Bateria háptica/visual

Na Bateria háptico/visual, mostrada na Figura 14 a), o usuário pode tocar qualquer

uma das partes do instrumento, o dispositivo emite uma resposta háptica, visual e sonora

correspondente à peça da bateria que foi tocada.

Figura 14: (a) Bateria háptico/visual e (b) tela de configurações da Bateria háptico/visual.

53

O usuário também tem a sua disposição um metrônomo para auxiliar a execução

da bateria. Esse metrônomo funciona da mesma forma que o apresentado no item A desta

seção. A barra gráfica branca com o número 1, mostrada na Figura 14 a), é a representação

visual para o primeiro tempo do metrônomo. Ao deslizar o dedo no botão configuration da

Figura 14a), o usuário tem acesso à tela de configurações apresentada na figura 14b). Nessa

tela o usuário pode alterar os volumes da bateria (Drums) e metrônomo (Metronome) e alterar

a fórmula de compasso (Time Signature).

A resposta visual se dá a partir de cores. Quando usuário toca uma peça pode

perceber a intensificação de sua cor, ou seja, percebe um piscar de luzes de acordo com o

ritmo tocado.

Para a vibração temos três tipos diferentes de mapeamento. O bumbo, caixa e

chimbal são representados por vibrações de tempos diferentes. A duração foi escolhida de

acordo com a intensidade sonora para cada peça. Temos 100 ms para o bumbo, 50 ms para a

caixa e 25 ms para o chimbal. Essas peças foram definidas como vibrações únicas pois

necessitam um ataque muito bem definido para tocar, uma vez que são as peças básicas da

bateria. O segundo mapeamento está ligado aos conjuntos de tambores e o terceiro ao

conjunto de pratos. Esses mapeamentos apresentam padrões vibratórios que permitem

caracterizar cada conjunto e diferenciar as peças dentro do conjunto.

Os padrões são definidos por vibrações espaçadas no tempo, mas diferentemente

do mapeamento proposto para as notas do teclado, essas vibrações são espaçadas de forma

irregular, de forma que as vibrações se tornam cada vez mais espaçadas. Dessa forma, a

distribuição das vibrações de forma irregular com relação ao tempo representa sons

percussivos (altura indefinida) enquanto a distribuição das vibrações de forma regular com

relação ao tempo representa sons de instrumentos melódicos (altura definida).

Para o conjunto de tambores (tom 1, tom 2, surdo) cada peça da bateria, definimos

um padrão de vibração mínimo (t1) que se repete a cada T1 segundos. Após um tempo 3 T1, os

tempos t1 e T1 recebem um acréscimo de 10 ms. O processo de acréscimo se repete uma vez

54

mais. Com esse mapeamento esperamos dar uma sensação de agudo para grave ao passar do

tom 1 para o surdo. Isso ocorre com a adoção de tempos maiores do grave para o agudo.

Para o conjunto de pratos (prato 1 e prato 2) temos um tempo de vibração (t1) e

um tempo entre a repetição dos padrões (T1). O tempo t1 é fixo e T1 sofre um acréscimo de 10

ms a cada repetição.

Dessa forma temos mapeamentos diferentes para as peças básicas (bumbo, caixa,

chimbal), conjunto de pratos e conjunto de tambores . A Tabela 9 mostra o valor de t1 e T1

para peça.

Tempo (ms) t1 T1

Prato 1 10 20

Prato 2 20 40

Tom 1 15 30

Tom 2 25 50

Surdo 50 100

Tabela 9: Tempos característicos para os mapeamentos dos pratos e tambores da bateria.

E. Teclado háptico/visual:

No Teclado háptico/visual, da Figura 15 a), o usuário, ao tocar o dedo na tela do

dispositivo, tem uma resposta visual e háptica, além de uma emissão de som para cada nota

do teclado. O teclado apresenta um metrônomo e uma tela de configurações iguais aos da

Bateria háptico/visual. O mapeamento visual e vibracional para as notas é o mesmo do

Identificador de notas, mostrado no item C desta seção. A resposta visual é dada a partir do

realce da cor relativa à nota tocada.

55

Figura 15: (a) Teclado háptico/visual e (b) tela de configuração do Tecladoháptico/visual.

56

CAPÍTULO 4. USO E AVALIAÇÃO DO APLICATIVO

4.1 Descrição do funcionamento do aplicativo

A descrição do funcionamento leva em conta as atividades educacionais em que

seu uso é previsto.

O metrônomo háptico/visual (A) permite que o usuário possa diferenciar fórmulas

de compasso, manter a uniformidade e experimentar diferentes velocidades na execução de

ritmos e melodias. O usuário pode usar o instrumento como guia ao tocar um instrumento

acústico ou realizar a leitura de um ritmo ou melodia. O metrônomo também pode ser usado

em atividades musicais em grupo envolvendo somente pessoas surdas ou pessoas surdas e

ouvintes. Isso ocorre por meio do compartilhamento das informações visuais a partir da tela

do aplicativo. A informação sonora do metrônomo pode ser utilizada por algum ouvinte que

esteja participando da atividade.

O identificador de intensidades (B) permite ao usuário identificar ataques sonoros

e classificá-los em três níveis diferentes de intensidades. Dessa forma o usuário pode perceber

um padrão rítmico e a dinâmica de cada nota desse padrão. Permite ao usuário verificar o

ritmo e variações na intensidade de sua voz ou instrumentos percussivos. Permite também a

realização de atividades em conjunto a partir do compartilhamento das informações mostradas

pela tela do aplicativo.

O identificador de notas (C) permite ao usuário identificar a altura ou fundamental

dos sons musicais e classificá-los a partir da sua identificação em um teclado. Dessa forma o

usuário pode perceber notas individuais de uma melodia. O identificador de notas permite ao

usuário identificar as notas de sua voz e solfejar melodias e interagir com instrumentos

melódicos. Além disso, permite a realização de atividades em conjunto a partir do

compartilhamento das informações mostradas pela tela do aplicativo.

A bateria háptica/visual (D) permite ao usuário diferenciar cada parte da bateria e

executar ritmos. A bateria apresenta um metrônomo que permite ao usuário manter a

uniformidade dos ritmos tocados, além de permitir explorar a execução de ritmos em

57

diferentes velocidades e fórmulas de compasso. A bateria também pode ser usada em

atividades musicais em grupo envolvendo somente pessoas surdas ou pessoas surdas e

ouvintes. Duas pessoas surdas podem tocar de forma sincronizada a partir do

compartilhamento das informações do metrônomo fornecido pela bateria. A interação entre

pessoas surdas e ouvintes pode ocorrer a partir da informação sonora fornecida pela bateria.

O teclado háptico/visual (E) permite ao usuário diferenciar cada nota de um

teclado e executar melodias. O teclado apresenta um metrônomo que permite ao usuário

manter a uniformidade das melodias tocadas, além de permitir explorar a execução de

melodias em diferentes velocidades e fórmulas de compasso. O teclado também pode ser

usado em atividades musicais em grupo envolvendo somente pessoas surdas ou pessoas

surdas e ouvintes. Duas pessoas surdas podem tocar de forma sincronizada a partir do

compartilhamento das informações do metrônomo fornecido pelo teclado. A interação entre

pessoas surdas e ouvintes pode ocorrer a partir da informação sonora fornecida pelo teclado.

Atividades musicais Interfaces

A B C D E

1 Sincronizar uma atividade musical X X X

2 Diferenciar e classificar intensidades sonoras diferentes X

3 Identificar padrões rítmicos X X X

4 Identificar notas e melodias X X

5 Executar padrões rítmicos X X

6 Executar melodias X X

7 Desenvolver atividades musicais em grupo X X X X X

8 Desenvolver a composição X X X X

Tabela 10: Atividades da educação musical que podem ser realizadas usando cada uma dasinterfaces.

58

Na Tabela 10 aparecem os elementos básicos das atividades da educação musical

que o aplicativo permite realizar, bem como a funcionalidade do aplicativo indicada para

realizar a atividade. Chamamos essas atividades de básicas pois envolvem questões como

percepção, execução, diferenciação de sons e sincronização de atividades musicais. Isso

permite ao professor de música uma base para desenvolver suas aulas.

4.2 Oficinas de música com o uso do aplicativo

Desenvolvemos oficinas de música para testar o aplicativo em situações práticas

de educação musical para surdos. Foram 5 oficinas realizadas no Centro de Estudos e

Pesquisas em Reabilitação “Prof. Dr. Gabriel O. S. Porto” (Cepre). O Cepre desenvolve

pesquisas e atende pessoas com deficiência visual e surdez. Sua atuação se dá em uma visão

interdisciplinar e integrada dos processos de desenvolvimento humano e suas alterações, no

que se refere às deficiências, à comunicação humana, à linguagem e à reabilitação.

As oficinas foram desenvolvidas com duas turmas. A primeira (rotulada como

Turma 1) foi composta de crianças de 5 a 7 anos, enquanto a segunda (rotulada como Turma

2) envolveu adolescentes de 12 a 18 anos . Os dados de idade e audiologia dos participantes

(Anexo 1) foram coletados partir dos prontuários do Cepre.

Esperávamos encontrar contextos em que o desenvolvimento de atividades

musicais pudessem ser significativas. Nas atividades musicais com o uso do aplicativo,

propusemos formas de música com participação coletiva como uma forma inicial de se pensar

as oficinas como ambientes de integração que pudessem proporcionar o interesse e

envolvimento dos sujeitos participantes.

Desenvolvemos atividades explorando a recepção, percepção e criação de

melodias e ritmos hápticos e visuais. Foram cinco oficinas com o desenvolvimento de

atividades musicais mediadas pelo uso do aplicativo. O tema de cada oficina foi escolhido de

acordo com sua relevância dentro da educação musical. Para cada tema exploramos o uso dos

elementos extrassonoros e seu papel na construção das atividades musicais e na construção de

um discurso musical.

59

A Tabela 11 apresenta os temas de cada oficina. O Apêndice B apresenta a

descrição do planejamento de cada uma das oficinas.

Oficina Tema

1 Intensidade sonora e ritmo.

2 Ritmo.

3 Altura das notas musicais.

4 Percepção, execução e criação de ritmos e melodias.

5 Altura das notas musicais e prática em conjunto.

Tabela 11: Temas das oficinas.

Durante a realização de cada uma das oficinas, a comunicação com os

participantes foi intermediada por intérpretes em LIBRAS (Língua Brasileira de Sinais). O

pesquisador explicava os conceitos abordados na oficina e as intérpretes faziam a tradução.

As atividades planejadas tiveram que ser adaptadas devido a uma série de fatores não

previstos inicialmente. Os fatores envolveram a tradução do conteúdo do português para

LIBRAS, dificuldade em encontrar sinais para expressar ou diferenciar alguns conceitos

musicais, adaptação desses conceitos musicais para LIBRAS. Palavras comuns em música,

como andamento, fórmula de compasso e palavras referentes à dinâmica musical, foram

palavras que muitas vezes tivemos que explicar aos participantes.

Essas observações nos levaram a adaptações das atividades propostas. Procuramos

trabalhar os conceitos musicais a partir de sua descrição em LIBRAS. Por sugestão das

intérpretes apresentamos separadamente elementos visuais e táteis para permitir aos

participantes entender melhor o que cada mapeamento representa musicalmente. Para superar

as dificuldades particulares de cada participante e a necessidade de detalhar alguns conceitos

musicais e aspectos do aplicativo. O papel das intérpretes foi fundamental não só na

comunicação, mas também na condução pedagógica das atividades.

60

4.3 Avaliação do aplicativo

A primeira avaliação ocorreu paralelamente ao processo inicial de

desenvolvimento do aplicativo e se deu a partir da observação de como os participantes das

oficinas de música utilizaram o aplicativo na realização de atividades musicais. Essa avaliação

nos possibilitou um desenvolvimento tecnológico que considerasse as opiniões e participação

de pessoas surdas. A partir dessa avaliação, foi possível considerar a opinião dessas pessoas

para analisar quais seriam as funcionalidades que deveriam ser disponibilizadas no aplicativo,

quais seriam as melhores formas para a apresentação, desenvolvimento da interface e

atividades musicais em que o aplicativo seria empregado. Inicialmente utilizamos um

questionário (Apêndice A) para saber qual o envolvimento dos participantes com música em

seu cotidiano. Após isso, realizamos o registro em vídeo das oficinas para avaliar o uso do

aplicativo. A partir dos vídeos analisamos a interação dos participantes com o aplicativo em

cada uma das 5 oficinas, buscando observar como se deu o uso do aplicativo pelos

participantes para executar as atividades, além de verificar o interesse e envolvimento na

realização de cada uma das atividades musicais. A Seção 4.3 mostra as observações realizadas

em cada oficina.

A segunda avaliação ocorreu após o término do desenvolvimento do aplicativo.

Seus participantes foram 32 graduandos e pós graduandos em música da Faculdade de Música

da Universidade Nacional Autônoma do México. Eles utilizaram um questionário (Apêndice

E) para avaliar a viabilidade e qualidade de atividades musicais (Apêndice C) realizadas sem

uso de som, isto é, usando apenas o aplicativo (com som desativado) para mediar as

atividades musicais. Isso nos permitiu avaliar os mapeamentos propostos e seu uso em

atividades musicais. Além disso, permitiu identificarmos a relevância artística de uma prática

musical baseada somente em elementos extrassonoros.

Na primeira avaliação procuramos observar situações em que a interação com o

aplicativo permitiu aos participantes surdos agir de forma musical ao utilizar as respostas do

aplicativo, ou seja, como as respostas do aplicativo permitiram aos participantes perceber a

produção musical de outras pessoas, comparar com a sua e a partir disso promover a interação

61

musical com outras pessoas. Buscamos observar isso a partir das alterações que o participante

realizava em sua produção musical buscando melhorá-la a partir da resposta que o aplicativo

lhe fornecia. Essa produção musical ocorre a partir da realização de ritmos, sons com

diferentes intensidades e alturas musicais, ao tocar instrumentos e produzir sons percussivos

ou vocais. Dessa forma, na primeira avaliação não temos como foco principal a qualidade

musical da execução ou percepção dos participantes nas atividades, mas avaliamos se o

aplicativo permite a eles se expressar musicalmente, ou seja, perceber a organização dos sons

de forma musical e alterar sua produção sonora em busca de sentidos musicais. Em suma, a

avaliação busca identificar situações em que os participantes usam a resposta do aplicativo

para ter uma posição frente a música, alterar a sua produção sonora com a intenção de criar

sentidos musicais e se expressar musicalmente. Na segunda avaliação, buscamos quantificar a

qualidade do aplicativo em relação às atividades musicais que ele permite realizar.

4.3. Avaliação do uso do aplicativo em oficinas de música com participantes surdos

4.3.1 Questionário

Realizamos um encontro para que fosse respondido o questionário (Apêndice A).

Essa atividade contou com intérpretes para traduzir as perguntas propostas de português para

LIBRAS. No entanto, encontramos algumas dificuldades ao realizar as perguntas,

principalmente no que se refere à comunicação das questões. Nossa intenção inicial era que a

tradução do intérprete fosse suficiente para que as perguntas fossem respondidas.

Alguns participantes, principalmente as crianças, apresentam um conhecimento

limitado em LIBRAS. Dessa forma foi necessário fazer adaptações ao aplicar os

questionários. Essa adaptação se deu pelo fato de que alguns participantes não apresentavam

conhecimento sobre alguns dos termos utilizados em música ou educação musical. Com a

ajuda das tradutoras chegamos a uma tradução, de forma que os participantes pudessem

responder as perguntas. O questionário foi respondido de forma coletiva. As perguntas eram

lidas em português (língua falada) e traduzidas para LIBRAS de forma que cada participante

62

manifestou sua opinião. A partir das conversas o pesquisador anotou os principais pontos das

respostas dos participantes.

Observamos que conversando com as intérpretes em LIBRAS chegamos a pontos

importantes que podem ajudar na elaboração de futuros questionários. Para ajudar na

comunicação este questionário poderia conter figuras, alternativa de respostas com figuras,

perguntas com respostas diretas (Gosta ou não gosta de algo?/Alternativas com figuras).

Apresentar objetos concretos, apresentação de vídeos para ajudar a explicar ou ilustrar

conceitos envolvidos nas perguntas do questionário. Uma possibilidade para se obter mais

informações seria envolver a família em um mapeamento das questões.

Seguem as principais observações a respeito das respostas dos participantes aos

questionários nas turmas 1 e 2.

Na turma 1, as crianças percebem a música ao seu redor por meio de vibrações e

eventos que envolvem música como ao observar uma pessoa escutando rádio ou dançando.

Conhecem alguns instrumentos musicais como o violão e a bateria. Participam de

brincadeiras que envolvem música na escola. Essas brincadeiras envolvem palmas e gestos.

Imitam os gestos de cantores ou pessoas que ouvem música, percebem música em locais

como sua casa, escola e igreja.

Na turma 2, todos manifestaram gostar de música. Relataram a presença da

música em situações cotidianas de suas vidas, tais como na igreja, em shows, na escola e no

carro. Os participantes mencionaram conhecer gêneros musicais como rock, forró, sertanejo,

rap e pagode. Todos mencionaram ter um estilo predileto de música. Eles mencionaram

perceber a música por meio das vibrações da caixa de som ou ao observar as pessoas

interagirem com o som quando estão ouvindo música ou participando de alguma atividade

que envolve música, como dançar.

A partir da aplicação dos questionários foi possível observar que os participantes

são receptivos às atividades musicais, até mesmo os participantes com surdez profunda

(Anexo 1) manifestaram ter relação com música. Alguns dos participantes mencionaram

63

gostar de música e todos disseram que percebem a música no seu ambiente e participam de

atividades musicais.

De uma forma geral os participantes relatam que a música está presente em seu

cotidiano seja em lugares que frequentam ou em atividades que mencionam participar. Essas

atividades tratam de práticas que envolvem música como, dançar, cantar e brincadeiras que

envolvem música. Houve também relatos de participantes que mencionaram tocar e estudar

instrumentos musicais. A Tabela 12 mostra os pontos relatados pelos participantes a respeito

das situações ou formas em que vivenciam música.

Participante1

Participante 2 Participante 3 Participante 4 Participante5

Situaçõesde contato

commúsica

Dança,escuta rádioe gosta demúsica.

Tem arquivos demúsica no celular.Escuta música emfestas. O pai tocapiano. Interagecom o piano a

partir dasvibrações.

Utiliza avibração das

caixas de sompara escutarmúsica em

festas eencontros com

os amigos.

Gosta decantar e

dançar. Tocabateria na

escola.

Apreciamúsica no

celular. Ligaas caixas de

som emvolume alto

para sentir asvibrações.

Tabela 12: Situações em que os participantes da turma 2 têm contato com música.

O interesse dos participantes por música foi fundamental para a fase inicial de

desenvolvimento da pesquisa. Nos mostrou que o desenvolvimento do aplicativo com esse

público poderia ser significativo, uma vez que foi possível verificar que de forma geral há um

interesse dos participantes por música. A música está presente em suas vidas em um amplo

leque de situações e atividades, além disso também há participantes que já tem uma prévia

iniciação dentro da educação musical a partir do aprendizado de instrumentos.

64

4.3.2 Oficina 1

A Tabela 13 indica as atividades desenvolvida pelos participantes a partir do uso

do Identificador de intensidades:

Atividades 1:Produção

sonora

2:Exploração

das intensidades

3:Percepção e

reprodução de

um ritmo

4:Execução

rítmica

5:Criação

sonora

Descrição

das

Atividades

Produção de sons

percussivos

acompanhada

pela observação

da resposta do

aplicativo

Identificação de

sons em dois

níveis diferentes

de intensidades.

Utilização do

aplicativo para

a percepção e

reprodução de

um ritmo

Execução

de um

ritmo em

diferentes

velocidades

Livre

exploraçã

o do

aplicativo.

Tabela 13: Atividades desenvolvidas na Oficina 1.

Durante toda a oficina foi possível observar o envolvimento dos participantes com

relação ao aplicativo. Eles se mostraram receptivos durante todo o tempo da oficina, sempre

dispostos a fazer as atividades solicitadas. Observamos que durante o tempo em que os

participantes estavam com o aplicativo, mantiveram-no em mãos e em constante interação. A

produção sonora se deu espontaneamente em alguns momentos da oficina. Isso ocorreu a

partir da produção de sons na intenção de explorar as possibilidades de resposta do aplicativo

ou no uso do aplicativo para interagir com outras pessoas. Essa exploração se deu pela

produção sonora a partir do uso da voz, palmas e a percussão de objetos, indicando que a

interação com o aplicativo incentivou exploração de possibilidades timbrísticas e rítmicas.

Na primeira atividade os participantes produziram sons percussivos com a

intenção de verificar primeiramente qual era a resposta háptica e depois a resposta visual do

aplicativo para a sua produção sonora.

65

Na segunda atividade, nos parece que a resposta visual foi o principal estímulo a

levar os participantes a produzir sons com diferentes intensidades. Durante a oficina

observamos eles produzirem sons, alterando a intensidade para observar a alteração da

resposta visual no número de barras ativas.

Na terceira e quarta atividades os participantes perceberam e reproduziram

padrões rítmicos em diferentes velocidades. A resposta do aplicativo serviu como um guia

para a recepção e a produção rítmica dos participantes. Eles procuravam olhar ou sentir as

respostas do dispositivo para alterar seu andamento em busca de uniformidade.

Na última atividade houve a exploração livre do aplicativo. Foi possível observar

os participantes explorando os recursos oferecidos pelo aplicativo ao explorar diferentes

timbres (voz, palmas, percussão de objetos), diferentes intensidades, execução de pequenos

padrões rítmicos e utilização do aplicativo para interagir com outra pessoa. Os participantes

usaram o aplicativo para interagir com outros participantes, nesse caso uso da resposta visual

foi importante na realização de atividades em conjunto uma vez que os participantes

compartilharam a percepção de um mesmo evento sonoro a partir da visão. Notamos os

participantes produzindo som não somente para interagir com o aplicativo que estava em suas

mãos, mas também para interagir com o aplicativo de outro participante

4.3.3 Oficina 2

A Tabela 14 indica as atividades musicais trabalhadas na oficina 2 a partir do uso

do Identificador de intensidades.

66

Atividades 1. Percepção de uma

célula rítmica

2. Reprodução de

uma célula

rítmica

3.Som e

movimento

4. Atividade

em grupo

Descrição

das

Atividades

Utilização do

aplicativo para

perceber uma célula

rítmica tocada

repetidas vezes.

Reprodução da

célula rítmica

percebida

Produzir

movimentos em

correspondência

com o som

percebido.

Reprodução

em grupo da

célula rítmica

percebida

Tabela 14: Descrição das atividades da oficina 2.

Nessa oficina usamos o aplicativo como meio para a realização de atividades

musicais como a percepção e a reprodução de um ritmo, além da prática musical em

conjunto. A oficina proporcionou a interação com o aplicativo na percepção de um padrão

rítmico (atividade 1). Os exercícios 2, 3 e 4 foram utilizados para observar como os

participantes utilizavam o aplicativo para expressar sua percepção a respeito do padrão

rítmico percebido. Realizamos atividades de reprodução de um ritmo percebido (atividade 2),

reprodução de um ritmo percebido a partir de movimentos corporais (atividade 3) e produção

coletiva (atividade 4).

Na primeira e segunda atividades os participantes utilizaram o aplicativo para

perceber e reproduzir um padrão rítmico. Todos os participantes produziram um padrão

rítmico equivalente ao padrão percebido. Nesse caso o aplicativo proporcionou uma situação

em que se pode perceber e imitar um padrão rítmico específico, ao mesmo tempo que

permitiu aos participantes observar a resposta do aplicativo a sua produção musical.

Na terceira atividade cada participante realizava um movimento acompanhando,

com o uso do aplicativo, o som produzido pelas palmas dos outros participantes. Foi possível

observar alguns participantes realizando movimentos em correspondência ao som percebido

enquanto outros realizaram movimentos que não pareciam apresentar uma constância rítmica.

Na última atividade, os participantes realizaram a célula rítmica em conjunto. Na

reprodução conjunta o aplicativo tem eficiência a partir do momento em que os participantes

67

alcançam uma produção sonora relativamente uniforme, criando assim uma resposta uniforme

do aplicativo e permitindo a detecção quando há erros pontuais por parte dos participantes. Na

atividade realizada os participantes não chegaram a uma produção uniforme, dessa forma uso

do aplicativo não foi efetivo nessa atividade, não possibilitou aos participantes o

entendimento do seu papel dentro de uma atividade coletiva, não permitiu a eles identificar

seus erros em relação ao coletivo. Essa atividade necessitaria de mais tempo para permitir

aperfeiçoamento das habilidades dos participantes a partir da repetição da atividade.

4.3.4 Oficina 3

O Identificador de notas foi apresentado aos participantes na oficina 3 e permitiu

realizar atividades envolvendo a percepção e produção de notas musicais utilizando a voz ou

instrumentos acústicos. A Tabela 15 apresenta as atividades e sua descrição.

Atividades 1. Relação entre cor e

nota musical

2. Reprodução de uma

nota musical

3.Produção sonora

utilizando a voz

Descrição das

Atividades

Apresentação do

mapeamento entre cor e

altura empregado no

aplicativo

Interação com o

aplicativo a partir do uso

de instrumentos acústicos

Interação com o

aplicativo a partir

do uso da voz

Tabela 15: Descrição das atividades da Oficina 3.

Por meio do aplicativo os participantes puderam tocar instrumentos acústicos e

observar a resposta para a exploração vocal de altura. Nas atividades 1 e 2, observamos que a

possibilidade de uma resposta para as alterações de altura levou os participantes a explorarem

os instrumentos acústicos em busca de diferentes alturas. Na atividade 3, o uso do aplicativo

levou os participantes a explorarem possibilidades de variação de frequência para voz. Foi

possível observar os participantes alterando a frequência da emissão sonora de suas vozes

68

para interagir com o aplicativo, seja para procurar notas diferentes ou para sustentar uma

mesma nota.

4.3.5 Oficina 4

Na oficina 4, as atividades musicais estão direcionadas ao uso da Bateria háptica

visual em atividades musicais. A tabela 16 mostra as atividades e suas descrições.

Atividades 1. Diferenciando as

peças da bateria virtual

2. Tocar a bateria

seguindo uma regência

3. Reprodução sonora

Descrição Diferenciar as

vibrações entre as

peças da bateria.

Os participantes tocam

a bateria a partir da

indicação do professor.

Os participantes utilizam a

bateria virtual para tocar um

pequeno padrão rítmico.

Tabela 16: Descrição das atividades da Oficina 4.

A partir do uso da bateria háptica/visual os participantes puderam distinguir as

diferentes partes básicas do instrumento (bumbo, caixa e chimbal) a partir de sua resposta

háptica (atividade 1). Alguns participantes conseguiram distinguir as partes muito

rapidamente, enquanto outros necessitavam de algum tempo de treinamento para realizar a

tarefa.. Alguns participantes não conseguiram diferenciar as partes ou e só faziam a distinção

de peças com uma grande diferença no tempo de vibração.

A atividade dois não está nas atividades previstas (Apêndice B), pois foi criada no

decorrer da oficina. Nessa atividade, indicávamos no desenho de uma bateria a parte do

instrumento que o participante deveria tocar. Com isso realizamos uma atividade em que

regíamos os participantes para que tocassem a bateria. A atividade foi interessante pois

proporcionou forma de comunicação musical com os participantes.

Na última atividade, os participantes executaram padrões rítmicos que se repetiam

com o tempo. Isso envolveu o uso das partes básicas da bateria (bumbo, chimbal e caixa). Os

participantes não encontraram problemas em realizar a atividade.

69

4.3.6 Oficina 5

Na oficina 4, as atividades musicais estão direcionadas ao uso do Teclado

háptico/visual em atividades musicais. A Tabela 17 mostra as atividades e suas descrições.

Atividades 1. Diferenciando frequências 2. Reproduzir um

trecho melódico

Descrição dasatividades

Diferenciar duas notas a partir da resposta tátil.

Primeiramente cada participante vê a cor e sente a

vibração de duas notas diferentes. Após, apenas

sente a vibração e deve dizer a qual das cores ela

corresponde.

Os participantes

reproduzem um

pequeno trecho

melódico utilizando o

teclado

Tabela 17: Descrição das atividades da Oficina 5.

Na primeira atividade os participantes sentem a vibração de duas notas com cores

diferentes que formam entre si um intervalo de sétima. Iniciamos com intervalos menores, no

entanto, o intervalo de sétimo foi o primeiro que possibilitou identificação por, pelo menos,

um dos participantes. Mesmo com acertos por parte de alguns participantes para o intervalos

de sétima o aplicativo não permitiu que os participantes realizassem a identificação desse

intervalo com segurança. Observamos que diferenciação vibrotátil de intervalos musicais se

mostrou uma tarefa difícil aos participantes.

Na atividade 2, indicamos cores sucessivas para que os participantes construíssem

uma melodia. A atividade proporcionou uma forma de comunicação musical com o

participante, permitiu que ele entendesse o que deveria executar.

4.3.7 Conclusões a respeito do uso do aplicativo nas oficinas

O aplicativo proporcionou aos participantes o acesso ao som e uma forma de

entendê-lo em termos musicais, ou seja, classificando-o de acordo com sua intensidade, altura

e ocorrência temporal. Isso forneceu elementos para se trabalhar exercícios musicais em que

70

os participantes podiam perceber os sons e a partir disso entendê-lo de forma musical para se

expressar musicalmente, manipulando a intensidade, altura ou disposição temporal dos sons.

Durante as oficinas verificamos os participantes utilizando o aplicativo para

regular a intensidade da força com que tocavam instrumentos para obter sons com diferentes

intensidades; explorar as possibilidades de alteração de frequência de uma nota emitida a

partir da voz, explorar instrumentos melódicos e percussivos, tocar instrumentos

hápticos/visuais e realizar atividades musicais em conjunto.

Verificamos que a resposta visual foi um fator que serviu como um forte guia aos

participantes para a realização das atividades. Podemos citar os casos das atividades

realizadas a partir do uso do identificador de intensidades e do identificador de notas. A

resposta vibrátil não parece ter dado tanta segurança aos participantes. No geral eles não

conseguiram identificar diferenças hápticas, principalmente no que se refere às notas do

teclado. Para alguns participantes a resposta háptica da bateria possibilitou a realização de

atividades sem maiores problemas. No caso da vibração, acreditamos que um tempo maior de

contato com aplicativo pode levar a melhores resultados com relação ao reconhecimento dos

padrões vibratórios, uma vez que os participantes que conseguiram realizar exercícios

utilizando a resposta háptica, só conseguiram fazer isso após algum tempo.

Os participantes procuraram interagir a partir do uso do dispositivo, no entanto

isso ocorreu principalmente a partir do compartilhamento da informação visual. Dessa forma

pensamos que o aplicativo precisaria fornecer um maior número de possibilidades de

interação musical que permita aos participantes interagir entre si para realizar uma atividade

musical em conjunto. Isso poderia ocorrer tanto pela interação sonora dos dispositivos, quanto

pela interação bluetooth entre os dispositivos. O aplicativo também poderia fornecer

informações vibráteis e visuais a partir de arquivos de áudio, uma vez que muitos

participantes manifestaram ter arquivos de música no celular.

71

4.4 Avaliação do aplicativo por estudantes de música

4.4.1 Questionário

Para realizar esta avaliação usamos o sistema MOS (Mean Opinion Score) [35] no

qual há um sistema de pontuação relacionado ao grau de qualidade do que se avalia, como

mostrado na Tabela 18.

MOS 1 2 3 4 5

Qualidade Mal Pobre Satisfatório Bom Excelente

Tabela 18: Pontuação MOS.

A avaliação contou com um questionário com perguntas dirigidas a avaliar cada

uma das funcionalidades do aplicativo. Os participantes realizaram atividades musicais

seguindo um roteiro (Apêndice C). Essas atividades englobam tarefas musicais básicas como

executar e identificar uma melodia ou ritmo, além de realizar uma prática em conjunto.

Para cada questão o participante encontrou a pontuação MOS. Segue as questões:

A. Questões referentes à avaliação do Metrônomo Háptico Visual

1. Considera a representação visual para os tempos (pulso ou bits) do metrônomo.

2. Considera a representação háptica para os tempos (pulsos ou bits) do

metrônomo.

3. A representação visual para as alterações de intensidade dos tempos do

metrônomo é:

4. A representação háptica para as alterações de intensidade dos tempos do

metrônomo é:

5. Considera que o uso da resposta visual do metrônomo para executar um ritmo

é:

6. Considera que o uso da resposta háptica do metrônomo para executar um ritmo

é:

72

B. Questões a respeito do Identificador de Intensidades

1. Considera a representação visual para a intensidade sonora:

2. Considera a representação háptica para a intensidade sonora:

3. O reconhecimento de variações de intensidade (forte/piano) utilizando a

resposta visual da aplicação é:

4. O reconhecimento de variações de intensidade (forte/piano) utilizando a

resposta háptica da aplicação é:

C. Questões a respeito do Identificador de Notas

1. Considera que a possibilidade de usar o Identificador para transformar

melodias em gestos visuais é:

2. Considera que a possibilidade de usar o Identificador de Notas para

transformar melodias em gestos hápticos é:

3. Considera que a possibilidade de usar o Identificador de Notas para perceber

notas emitidas pela voz é:

4. Considera que a possibilidade de usar o Identificador de Notas para interagir

com algum instrumento melódico é:

D. Questões a respeito da Bateria háptico/visual

1. Considera a representação visual para as partes da bateria:

2. Considera a representação háptica para as partes da bateria:

3. Considera a possibilidade de construção de gestos musicais (grooves e ritmos)

a partir a partir da resposta visual da Bateria é:

4. Considera a possibilidade de construção de gestos musicais (grooves e ritmos)

a partir a partir da resposta háptica da Bateria é:

5. Considera a execução de um ritmo a partir do uso da Bateria:

73

E. Questão a respeito do Teclado háptico/visual:

1. Considera a diferenciação de notas do teclado a partir da representação visual

é:

2. Considera a diferenciação de notas do teclado a partir da representação háptica

é:

3. Considera a possibilidade de criar gestos musicais (frases e melodias) a partir

da resposta visual do teclado:

4. Considera a possibilidade de criar gestos musicais (frases e melodias) a partir

da resposta háptica do teclado:

5. Considera a execução de uma melodia a partir do uso do teclado:

F. As três últimas perguntas tratam de uma visão global a respeito do uso do aplicativo

1. Considera que o uso do metrônomo visual durante a execução de ritmos e

melodias ao usar a Bateria háptico/visual e o Teclado háptico/visual é um guia:

2. Considera que desenvolver atividades musicais em grupo utilizando o

aplicativo é uma possibilidade:

3. Em geral, como uma ferramenta para a representação, recepção e criação de

gestos musicais criativos, considera o aplicativo:

Há também uma questão aberta em que o participante pode expressar críticas e

sugestões

1. Indique comentários ou sugestões que considera pertinente.

4.4.2 Análise dos questionários

O gráfico da Figura 16 apresenta a avaliação para cada uma das funcionalidades

do aplicativo.

74

A Figura 17 apresenta a análise de cada uma das funcionalidades do aplicativo.

Tomando por base os resultados mostrados na Figura 17, podemos perceber que,

com exceção do Metrônomo, todas as funcionalidades apresentam uma melhor avaliação para

Figura 16: Avaliação para cada uma das funções do aplicativo.

Figura 17: Avaliação dos mapeamentos visual e háptica para cada funcionalidade doaplicativo.

75

o mapeamento visual que para o mapeamento háptico. Também podemos perceber que o

mapeamento háptico para o Identificador de notas e Identificador de intensidades têm a pior

avaliação.

A Figura 18 apresenta os resultados da avaliação de acordo com as tarefas de

educação musical que o aplicativo permite realizar.

Os resultados mostrados na Figura 18 indicam que, em geral, o aplicativo

apresenta avaliação entre satisfatório e bom para a realização de atividades musicais. No

entanto, a atividade de reconhecimento de alterações de intensidade recebeu algumas

avaliações entre ruim e satisfatório. Como vimos pelos gráficos anteriores, o Identificador de

intensidades que permite realizar essa atividade, apresentou uma avaliação muito baixa com

relação ao seu mapeamento háptico, isso pode ter desfavorecido sua avaliação.

No geral observamos que o mapeamento háptico é um ponto fraco do aplicativo,

uma vez que em quase todas as funcionalidades esse mapeamento tem uma avaliação abaixo

da avaliação do mapeamento visual. Esse mapeamento é problemático principalmente para o

Identificador de notas e o Identificador de intensidades, onde recebeu algumas avaliações

entre ruim e satisfatório. No entanto, observamos que o Teclado háptico/visual apresenta

Figura 18: Avaliação do aplicativo em atividades musicais.

76

praticamente o mesmo mapeamento que o Identificador de notas e teve seu mapeamento

háptico com avaliação entre satisfatório e bom. Os fatores para isso podem ter sido as

pequenas diferenças apresentadas entre as duas funcionalidades. O Teclado háptico/visual

apresenta um número maior de notas e permite uma forma de interação diferente do

Identificador de notas. Outra questão que chamamos a atenção, refere à boa avaliação do

mapeamento háptico do metrônomo que apresentou a melhor avaliação dentre os

mapeamentos.

Comentários dos usuários

Os comentários feitos pelos participantes estão divididos em três categorias:

erros do programa, desenho da interface e sugestões. Abaixo apresentamos cada um dos

pontos levantados pelos usuários em cada uma das categorias. Após a apresentação de cada

ponto apresentamos nossos comentários.

Erros do programa

Algumas vezes o identificador de intensidades não responde.

Está observação é recorrente e pode estar ligada a diversos fatores.

Primeiramente a identificação exige a calibração do aparelho de acordo com a

intensidade média dos sons a serem identificados, então uma calibração inadequado

pode gerar um funcionamento inadequado. Segundo, o microfone do celular tem uma

resposta em frequência que muitas vezes pode afetar a captação de sons em

determinadas faixas de frequência, além disso deve se atentar à posição do microfone

enquanto se faz a captação. De toda forma os erros podem estar associados a outras

questões que podemos não ter considerado. Esta é uma questão que exige atenção e

mais testes e também traz um desafio, uma vez que o aplicativo pode rodar em

diferentes aparelhos celulares e a resposta do microfone desses celulares pode ser

muito diferente.

Algumas vezes o identificador de notas não responde.

77

Essa também é uma observação recorrente e pode estar ligada a diversos

fatores. Primeiramente a identificação exige a calibração do aparelho de acordo com a

intensidade média dos sons a serem identificados, então uma calibração inadequada

pode gerar um funcionamento inadequado. Segundo o algoritmo de detecção de

alturas identifica preferencialmente on-sets, dessa forma a identificação de melodias

cantadas em legato não ocorre, ou seja, o funcionamento da aplicação se dá para

melodias em staccato, situação em que as notas têm um ataque bem pronunciado.

Além disso o algoritmo depende da identificação de picos para encontrar a altura, mais

uma vez nesse ponto a resposta em frequência do microfone pode prejudicar a

identificação de alguns sons. De toda forma os erros podem estar associados a outras

questões que podemos não ter considerado, está uma questão que exige atenção e mais

testes e também traz um desafio uma vez que o aplicativo pode rodar em diferentes

aparelhos celulares e a resposta do microfone desses celulares pode ser muito

diferente.

Algumas vezes o metrônomo não obedece a velocidade mostrada no indicador.

Isso acontece porque em alguns casos quando se desliga o metrônomo temos

que o programa reinicia a contagem da velocidade, enquanto a interface gráfica

armazena o último valor para a velocidade. Trata-se de um problema de simples

resolução.

Desenho da Interface

Permitir digitar os valores para a velocidade do metrônomo.

Isso é possível, no entanto o uso de uma barra gráfica para demonstrar a

velocidade tem como intenção permitir o acesso às crianças não alfabetizadas, além

disse permite colocar a questão da velocidade em perspectiva e tornar o uso mais

dinâmico.

78

Permitir melhor diferenciação dos tempos a partir da resposta visual do

metrônomo

Esse foi o primeiro mapeamento que realizamos para tempos e sua acentuação,

outros mapeamentos podem ser testados e incorporados em futuras versões da

aplicação. No entanto, em geral esse mapeamento teve uma boa avaliação.

As cores do teclado são um pouco confusas.

Na literatura, é possível encontrar diversas propostas de mapeamento entre

altura e cor. Optamos por um mapeamento que se baseou na comparação relativa entre

cores e alturas. Os resultados, por nós obtidos, mostram que esse mapeamento

apresentou uma boa avaliação. No entanto, pode ser interessante empregar outros

mapeamentos que podem ser testados e incorporados em futuras versões do aplicativo.

Sugestões

Muitas dos comentários sugerem uma melhora para a diferenciação entre notas

(diferença entre alturas). Essa questão se relaciona principalmente com o mapeamento entre

alturas das notas e vibrações. Muitas vezes a tarefa de diferenciar duas notas em intervalos

próximos acaba sendo complicada. Ao criar o mapeamento empregado já sabíamos que a

diferenciação de frequências seria uma tarefa complicada uma vez que a pele não apresenta

um sistema tão rico de discriminação de frequências quanto o ouvido. Dessa forma indicamos

o uso dessa primeira versão do aplicativo com intervalos maiores que uma 4ª justa. Os

comentários são muito úteis e nos permitem pensar em questões para a melhora desse quesito,

como verificar a capacidade de diferenciação após um tempo de treinamento ou propor outros

mapeamentos entre vibração e altura.

Também há muitos comentários interessantes com relação à alterações ou

construção de novas funcionalidades para o aplicativo como:

79

Permitir a representação microtonal de notas.

Essa é uma questão importante e permitirá refinar o processo de interação e

reconhecimento de alturas, principalmente no que se refere ao uso da voz ou

instrumentos não temperados

Incluir intervalos maiores que a oitava.

Na versão inicial optamos por trabalhar como uma oitava devido ao fato da

limitação em frequência para percepção de vibrações. O uso de intervalos maiores que

uma oitava é interessante, o principal desafio é conseguir um mapeamento adequado

entre frequências e vibrações para permitir o uso de um número maior de oitavas.

Permitir identificar um número maior de níveis de intensidade.

Na versão inicial optamos por três níveis para permitir testes e verificar o

impacto do aplicativo, no entanto o uso de um maior número de intensidades é

possível.

Incorporar mais fórmulas de compasso e valores de velocidade ao metrônomo.

Esse comentário traz uma sugestão muito importante, uma vez que dentro da

educação musical se faz necessário trabalhar muitas fórmulas de compasso. Alterações

nesse sentido deverão ser empregadas na próxima versão do aplicativo.

80

CAPÍTULO 5. CONCLUSÃO

Neste trabalhamos desenvolvemos um dispositivo direcionado a promover a

educação musical de pessoas surdas. Para isso, adotamos uma visão de música como algo

muito além do som, envolve elemento extrassonoros e considera a subjetividade, presente

tanto na intenção de quem produz, como na interpretação de quem recebe música. Mostramos

também, através de um processo de revisão de literatura, que não há impedimentos

neurológicos para que pessoas surdas tenham experiências musicais. Essas experiências

podem se basear na interpretação musical de elementos não-sonoros, como imagens e

vibrações. Esses elementos serviram como base para criar mapeamentos entre som, vibração e

imagem. Os mapeamentos foram incorporados em um aplicativo que foi usado em oficinas de

música com pessoas surdas.

A partir da avaliação do aplicativo em oficinas de música com pessoas surdas, foi

possível verificar que o aplicativo permitiu a algumas dessas pessoas a realização de

atividades musicais como a percepção de diferentes intensidades sonoras, ritmos e melodias.

Essa percepção permitiu a interpretação musical dos sons e com isso os participantes puderam

produzir sons com intenção de produzir música. A reflexão a respeito dos benefícios da

música, bem como os comentários dos participantes em relação às atividades musicais, mostra

que é possível e desejável ensinar músicas para pessoas surdas.

A partir da avaliação do aplicativo com estudantes de música, percebemos que,

em geral, estes estudantes indicam que aplicativo pode ser uma boa ferramenta a ser utilizada

em atividades musicais. No entanto, o mapeamento háptico apresenta problemas. Os

mapeamentos hápticos foram avaliados como piores que os visuais, o que mostra que a

proposição de respostas vibráteis relacionadas a eventos sonoros é mais controversa que a

proposição de respostas visuais a esses mesmos eventos. Esses problemas se referem

principalmente ao mapeamento vibracional para a representação das alturas das notas. Na

nossa proposta, estávamos limitados a um sistema de hardware que nos permitia controlar

somente o tempo de vibração. Isso limitou nossa possibilidade de mapeamentos.

81

Os resultados alcançados neste trabalho indicam que os mapeamentos

relacionados à vibração devem ser investigados com mais profundidade, principalmente no

que re refere à representação da altura das notas musicais e à diferenciação de intensidades

sonoras. Para isso, seria desejável propor outras formas de mapeamento para a altura das

notas, por exemplo, podemo explorar a alteração da frequência de rotação do motor ou a

distribuição das vibrações por diferentes partes do corpo. Além disso foi possível notar

durante as oficinas que o aplicativo pode ser mais efetivo se permitir ampliar o leque de

interações musicais dentro das atividades musicais. Assim, possíveis direções para trabalhos

futuros podem focar em:

Desenvolver e testar novos mapeamentos entre elementos musicais e vibração

Permitir que dois metrônomos em dispositivos diferentes possam se

sincronizar de modo a permitir que dois usuários possam sincronizar suas

produções musicais.

Criar instrumento que permita aos participantes tocar e ao mesmo tempo

perceber elementos da música ao seu redor. Isso permitiria ao usuário

participar de uma atividade em conjunto. Podemos citar, por exemplo, uma

situação em que uma pessoa quer tocar em um conjunto musical. O aplicativo

deve extrair parâmetros em tempo real e permitir que o participante possa

entender o que estão acontecendo sob um ponto de vista musical. A partir disso

interagir com outras pessoas realizando sua parte ao tocar seu instrumento.

Essa funcionalidade deve permitir ao participante observar sua produção

musical em relação à produção do conjunto. Os instrumentos devem permitir

tanto uma interação via bluetooth (para a interação entre dois dispositivos) ou

por meio acústico (interação do dispositivo com instrumento acústico).

82

Uma funcionalidade que permita ao participante tocar junto com uma música

gravada. Essa funcionalidade deve permitir extrair parâmetros musicais de um

arquivo de música e apresentar esses parâmetros de forma que o usuário possa

entender os acontecimentos musicais e possa utilizar essa informação para

tocar junto com a música. Essa funcionalidade também deve fornecer a

resposta para a produção musical do usuário em relação ao que está sendo

extraído do arquivo de áudio.

As avaliações realizadas neste trabalho indicam que o aplicativo proporcionou a

realização de algumas atividades musicais por parte de pessoas surdas. A avaliação com

estudante de música mostra que o aplicativo tem potencial para realização de muitas outras

atividades musicais. Dessa forma o uso e avaliação do aplicativo em cursos de educação

musical com pessoas surdas é de fundamental importância para poder verificar efetivamente

formas de uso do aplicativo em um maior número de atividades musicais e verificar o impacto

do seu uso no aprendizado dessas pessoas.

Ressaltamos que o uso do aplicativo deve estar dentro de um contexto em que

haja constante reflexão a respeito de concepções filosóficas e artísticas para música,

considerando o desenvolvimento de atividades musicais dentro do contexto da cultura Surda,

empregando a língua de sinais e contextualizando esse ensino de acordo com as vivências e

identidades dessas pessoas.

83

REFERÊNCIAS BIBLIOGRÁFICAS

[1] KANYA, Andrew. Definition. In: Gracyk, T.; Kania, A. (Org.) The Routledge Companion

to Philosophy and Music. New York: Routledge, 2011, p. 3 - 13.

[2] TURINO, Thomas. Music as Social Life: The Politics of Participation. Chicago: The

University of Chicago Press, 2008.

[3] BLACKING, John. How musical is man? Seattle and London: University of Washington

Press, 1973.

[4] SWANWICK, Keith. Teaching Music Musically. London: Routledge, 1999.

[5] GUNTHER, E., e O’MODHRAIN, S. Cutaneous Grooves: Composing for the Sense of

Touch Journal of New Music Research, 32(4), 369-381, 2003.

[6] MALER, Anabel. Musical Expression among Deaf and Hearing Song Signers. In:

HOWE, B,; JENSEN-MOULTON, S.; LERNER, N.; STRAUS, J. The Oxford Handbook of

Music and Disability Studies. New York: Oxford University Press, 2016.

[7] JONES, Jeannette DiBernardo, Imagined Hearing: Music-Making in Deaf Culture. In:

HOWE, B,; JENSEN-MOULTON, S.; LERNER, N.; STRAUS, J. The Oxford Handbook of

Music and Disability Studies. New York: Oxford University Press, 2016.

[8] DARROW, A. A.; HELLER, G. N. Early Advocates of Music Education for the Hearing

Impaired: William Wolcott Turner and David Ely Bartlett. Journal of Research in Music

Education, Vol. 33, No. 4 (Winter, 1985), pp. 269-279.

[9] Finck, Regina. Ensinando Música ao Aluno Surdo: perspectiva para a ação pedagógica

inclusiva. Tese de doutorado/UFRGS/ Porto Alegre, 2009.

[10] Lei nº. 11.769, de 18 de agosto de 2008. Altera a Lei nº. 9.394, de 20 de dezembro de

1996, Lei de Diretrizes e Bases da Educação, para dispor sobre a obrigatoriedade do ensino

da música na educação básica. Diário Oficial [República Federativa do Brasil]. Brasília, DF,

em 19 de ago. de 2008.

84

[11] BRASIL. Decreto nº 3298/99 de 20 de dez. 1999. Regulamenta a Lei nº7.853, de 20 de

out. de 1989, dispões sobre a Política Nacional para a Integração da Pessoa Portadora de

Deficiência.

[12] REILY, Lúcia. Escola Inclusiva: linguagem e mediação. 4ª ed. Campinas, SP: Papirus,

2012.

[13] PEREIRA, S. A. Ensino Musical para Surdos: um estudo de caso com a utilização de

tecnologia. Universidade federal de Uberlândia, 2012.

[14] LUIZ, T. R. B. O Uso de Softwares para Estimulação da Percepção do Surdo Frente

aos Parâmetros de Velocidade do Ritmo: Proposta de Utilização do Bpm Counter e do Vpm

Counter no Programa de Atividades Rítmicas Adaptadas a Pessoas Surdas. Tese de

Doutorado/Unicamp/Campinas, 2008.

[15] GLENNIE, D. E..Hearing Essay. Disponível em:

http://www.evelyn.co.uk/live/hearing_essay.htm. Acesso em 20 de abr., 2015.

[16] NANAYAKKARA, S. C., Enhancing Musical Experience for the Hearing-Impaired

using visual and haptics displays. Universidade Nacional de Singapura, 2009.

[17] Becker, Judith. 2004. Deep Listeners: Music, Emotion and Trancing. Bloomington:

Indiana University Press.

[18] MCGURK, H.; MACDONALD, J. Hearing Lips and Seeing Voices. Nature, vol. 264, p.

746-748, 1976.

[19] CYTOWIC, R. E.; Synaesthesia: a Union of the Senses. New York: Springer-Verlag,

1989.

[20] TAYLOR, K. I. MOSS, H. E. STAMAKIS, E. A. TYLER, L. K. Binding Crossmodal

Object Ceatures in Perirhinal Cortex. National Academy of Sciences, vol. 103, p. 8239-8244,

2006.

[21] SHIBATA, Dean. Brains of Deaf People Hear Music. 2001. Disponível em:

<http://www.washington.edu/news/2001/11/27/brains-of-deaf-people-rewire-to-hear-music/>.

Acesso em: 12 de jan. 2016.

85

[22] KAISER, C. I. PETKOV, M. AUGATH, and NIKOS K. Integration of Touch and Sound

in Auditory Cortex. Neuron vol. 48, pp. 373-384, 2005.

[23] JEWANSKI, Jörg. Color and Music. Disponível em: <

http://www.musictheory21.com/jae-sung/syllabus/graduate/rameau-studies/2002-

1/documents/color-and-music.pdf > Acesso em: 18 de jan. 2016.

[24] Scriabin’s Prometheus: Poem of Fire. Disponível em:

<https://www.youtube.com/watch?v=V3B7uQ5K0IU>. Acesso em: 20 de jan. 2016.

[25] JONES, R. NEVILE, B. Creating Visual Music in Jitter: Approaches and Techniques.

Computer Music Journal, vol. 29, p. 55-70, 2005.

[26] SMITH, S. WILLIAMS, G. A Visuaization of Music. In Proc. 8th conference on

Visualization '97, Phoenix, Arizona, United States, p. 499-503, 1997.

[27] MITROO, J. B. HERMAN, N. BADLER, N. I. Movies from Music: Visualizing Musical

Compositions. SIGGRAPH Comput. Graph, vol. 13, p. 218-225, 1979.

[28] MCLEOD, P.; WYVILL, G. Visualization of musical pitch. In Proc. Proceedings of the

Computer Graphics International IEEE, 2003, pp. 300-303.

[29] PALMER, R. Feeling Music. Based on the paper presented at the 3rd Nordic Conference

of music therapy, Finland, 1997.

[30] SHANE Kerwins – Vibrato. Internet:

http://edition.cnn.com/2005/TECH/10/26/vibrato.speaker/ [Fev. 16, 2016].

[31] KARAM, M., RUSSO, F. A. e FELS, D. I. Designing the Model Human Cochlea: An

Ambient Crossmodal Audio-Tactile Display. Haptics, IEEE Transactions, 2(3), 160-169,

2009.

[32] JACK, R. MCPHERSON, A. e STOCKMAN, T. Desigining Tactile Musical Devices

with and for Deaf Users: A Case Study. In Proceedings of the International Conference on the

Multimodal Experience of Music. Vol. 1, p. 1 – 7, 2015

[33] Notícias Uol Tecnologia. Disponível em:

<http://tecnologia.uol.com.br/noticias/redacao/2015/06/16/ludwig-app-para-ipad-ajuda-

surdos-a-sentirem-musica-com-vibracoes.htm>. Acesso em: 28 de jan., 2016.

86

[34] PUCKETTE, M. S.; APEL, T.; ZICARELLI, D. D. Real-time audio analysis tools for Pd

and MSP. Proceedings of the International Computer Music Conference, University of

Michigan, Ann Arbor, Michigan. p. 109-112. 1998.

[35] Mean Opnion Score (MOS). 2003. Disponível em <https://www.itu.int/rec/T-REC-

P.800.1-200303-S/en. Acesso em: 30 de mai., 2017

[36] ÀVILA, A. M.; Alfonso., Creación de una Aplicación de Computo Generadora de

Melodías Atonales Siguiendo la Metodología Modus Novus de Lars Edlund, UNAM Ciudad

de México, 2007.

87

APÊNDICES

A. Questionário aplicado aos participantes das oficinas

UNIVERSIDADE ESTADUAL DE CAMPINAS.

Questionário I

Nome:_________________________________________________________________

Idade :____________

1 - Qual sua relação com música. Você Gosta? Tem contato frequentemente?

2 - Como você curte música?

3 – Em que situações você curte música?

Erivan Gonçalves Duarte. Tel:(19) 982297753. E-mail:erivangd@gmail.com

Prof. Dr. Tiago Fernandes Tavares.(19) 35213773. E-mail: tavares@dca.fee.unicamp.br

DENÚNCIAS E/OU RECLAMAÇÕES REFERENTES AOS ASPECTOS ÉTICOS DA PESQUISA:

Comitê de Ética em Pesquisa da FCM/ UNICAMP- Tel.: (19) 3521.8936 ou 3521.7187

Rua Tessália Vieira de Camargo, 126- CEP: 13083-887- Campinas/SP- Email: cep@fcm.unicamp.br

Página 1 de 2

88

4 – Toca algum instrumento? Qual?

5 - Qual seu estilo musical preferido?

6 - O contato com música lhe desperta imagens mentais? Descreva algumas.

7 - Gosta de dançar? Como você sente o ritmo enquanto está dançando?

8- Gosta de ver apresentações musicais ao vivo?

9 – Existe algum equipamento ou forma de ação que lhe ajude a curtir música? Quais?

Erivan Gonçalves Duarte. Tel:(19) 982297753. E-mail:erivangd@gmail.com

Prof. Dr. Tiago Fernandes Tavares.(19) 35213773. E-mail: tavares@dca.fee.unicamp.br

DENÚNCIAS E/OU RECLAMAÇÕES REFERENTES AOS ASPECTOS ÉTICOS DA PESQUISA:

Comitê de Ética em Pesquisa da FCM/ UNICAMP- Tel.: (19) 3521.8936 ou 3521.7187

Rua Tessália Vieira de Camargo, 126- CEP: 13083-887- Campinas/SP- Email: cep@fcm.unicamp.br

Página 2 de 2

89

B. Planejamento das Oficinas

2.1 Oficina 1

Tema: Intensidade Sonora e Ritmo

Duração da Oficina Planejada

50 min

Introdução

A atividade se inicia com a exposição oral do conceito físico de intensidade sonora,

relacionando-o à energia necessária para se produzir um som. A fala discute a relação entre a

intensidade do gesto para se produzir o som e a intensidade sonora como resposta do

aplicativo.

Chamar a atenção para gestos e imagens é uma forma criamos significados para o

som que não se baseiam exclusivamente na percepção através dos ouvidos. Após, a atividade

segue para a demonstração de como o aplicativo exibe as diferentes intensidades usando

imagens e vibrações. Nesta etapa, também é importante explicar como deve ser feita sua

calibração para ambientes com diferentes níveis de ruído de fundo. Nesse processo, a resposta

do aplicativo para sons com diferentes intensidades é apresentada. A discussão segue para

caracterizar música como uma atividade em que há repetição ou previsibilidade dos eventos

com relação ao tempo. Portanto, fazer música em conjunto requer sincronização entre as

pessoas envolvidas. Com base nisso, é proposta a atividade de produzir eventos que

acontecem uniformemente no tempo, sua relação com música e construção do ritmo musical.

90

Objetivos

Apresentar o aplicativo aos participantes, mostrando as equivalências que ele faz entre

som e vibração e entre som e imagem.

A partir das respostas hápticas e visuais do aplicativo:

Estimular os participantes a produção sonora,

Usar o aplicativo para Identificar a presença de som no ambiente,

Diferenciar intensidades sonoras.

Utilizar o aplicativo para a realização de exercícios rítmicos.

Conteúdos

Identificar a presença de som

Identificar sons “fortes” e “fracos”.

Produzir sons de diferentes intensidades

Identificar a relação entre som e imagem no contexto do aplicativo

Identificar a relação entre som e vibração no contexto do aplicativo

Perceber e produzir sons em diferentes andamentos.

Propomos as seguintes atividades práticas:

91

Atividades Descrição das Atividades

1: Produção sonoraCada participante produz um som percussivo observa a resposta do

aplicativo à sua produção sonora.

2:Produção de sons

com diferentes

intensidades sonoras

Cada participante usa o aplicativo para produzir dois sons com

diferentes níveis de intensidade, de forma que possam interagir com

aplicativo ativando seus diferentes níveis de intensidade.

3: Percepção e

reprodução de um

padrão sonoro

Realizada em dupla. Em pé, um dos participantes bate os pés para

produzir um padrão rítmico. O outro participante utiliza o aplicativo

para perceber o som e após isso poder imitar o som produzido pelo

primeiro.

4: Produção de um

ritmo em diferentes

andamentos

Cada participante deve produzir um padrão rítmico (uma nota por

tempo) em dois andamentos diferentes: 45 bpm e 80 bpm. Os outros

participantes utilizam o aplicativo para sentir a produção sonora.

5: Criação sonora Cada participante recebe o aplicativo para livre exploração.

Tabela 1: Descrição das atividades planejadas Oficina 1.

2.2 Oficina 2

Tema: Percepção e reprodução de uma célula rítmica

Duração da Oficina Planejada

50 min

Objetivo

Recepção de uma célula rítmica.

Reprodução de uma célula rítmica.

Reprodução em grupo de uma célula rítmica.

92

Observar a interação dos participantes com o aplicativo na recepção e reprodução.

Observar como se dá a interação com o aplicativo na realização de atividades em

grupo

Conteúdo

Apresentação de um ritmo ligado à cultura popular brasileira

Recepção e reprodução individual da célula rítmica da capoeira.

Reprodução em conjunto da célula rítmica da capoeira.

Atividades

Utilizaremos o aplicativo em atividades culturais que comumente empregam música.

Para poder observar a interação de cada participante com o dispositivo escolhemos uma

manifestação cultural (capoeira) que apresenta um padrão rítmico característico que

chamamos de clave. Esse padrão se mantém constante durante toda a realização da música. A

escolha da capoeira se deu por ser uma prática cultural brasileira que permite que os

participantes possam contextualizar as atividades musicais. Além disso sua clave

característica é relativamente simples. Isso permite criar uma identificação para o estilo

musical a partir de um ritmo simples e a partir disso verificar como os participantes percebem

reproduzem esse ritmo a partir do uso do aplicativo.

Os participantes utilizarão o aplicativo para mediar todas as atividades. Observaremos

a recepção e reprodução da célula rítmica básica da capoeira. A reprodução também ocorrerá

em conjunto. Os participantes deverão realizar os movimentos corporais em resposta ao som

percebido. A intenção é observar como o aplicativo ajuda a realizar as atividades propostas.

Propomos as seguintes atividades práticas:

93

Atividades Descrição das Atividades

1. Percepção de uma

célula rítmica

Cada participante utiliza o dispositivo para perceber uma célula

rítmica tocada repetidas vezes.

2. Reprodução de

uma célula rítmica

Após perceber a célula rítmica com o uso do aplicativo, o

participante deve reproduzi-la percutindo a mesa com uma das

mãos e segurando o dispositivo com a outra para sentir os efeitos

hápticos de sua produção sonora.

3. Atividade em

grupo: Produção

sonora

Os participantes produzem a célula rítmica em conjunto. Utilizam o

aplicativo para observar o resultado de sua produção.

Tabela 2: Descrição das atividades planejadas Oficina 2.

2.3 Oficina 3

Tema: Frequência das notas musicais

Duração da Oficina Planejada

50min

Objetivo

Apresentar a versão do aplicativo que tem como resposta a frequência das notas.

Apresentar a relação entre notas e cores proposta no mapeamento do aplicativo

Mostrar a resposta do aplicativo para as notas de instrumentos acústicos

Identificar e diferenciar as notas musicais

Utilizar o aplicativo para explorar as notas musicais a partir do uso da voz.

94

Conteúdos

Representação da frequência das notas musicais a partir de cores.

Relacionar as cores das notas musicais à visualização da localização de notas em

instrumentos acústicos

Atividades

Nessa fase o aplicativo teve acréscimo de mais uma funcionalidade, trata-se do

identificador de alturas das notas musicais. Utilizamos dois instrumentos para mostrar a

produção das notas, bem como as formas como se produz as notas em cada instrumento. O

aplicativo dá a resposta da nota que está sendo tocada a partir de um teclado de cores.

Na oficina, o conceito físico de frequência é relacionado às características físicas

observáveis visualmente em um instrumento acústico. No caso do violão, por exemplo, a

altura das notas está relacionada ao comprimento e densidade da corda.

Durante as atividades utilizaremos um violão e uma sanfona para mostrar as notas

musicais. Essas notas têm sua representação em um mapeamento de cores. Os participantes

observaram as diferentes notas nos instrumentos acústicos. Propomos as seguintes atividades

práticas:

Atividades Descrição das Atividades

1. Relação entre

cor e nota musical

Tocamos notas musicais em uma sanfona e em um violão. Os

participantes observaram a resposta do aplicativo para as notas dos

instrumentos acústicos.

2. Rerodução de

uma nota musical

Cada participante toca uma nota no instrumento acústico e observa a

resposta do aplicativo. Em um segundo momento eles tem que

procurar por uma cor específica no instrumento.

3.Produção sonora

utilizando a voz

Cada participante deve produzir um som. Ao se sentir confortável com

uma nota, deve tentar emiti-la novamente, mantendo a frequência.

Tabela 3: Descrição das atividades planejadas Oficina 3.

95

2.4 Oficina 4

Tema: Percepção, execução e criação de ritmos e melodias

Duração

50 min

Introdução

Essa versão do aplicativo apresenta uma função de produção de som. Trata-se de uma

bateria virtual que emite informações hápticas e visuais para a produção musical do usuário.

Nessa função pode-se, utilizar a tela touch-screen para tocar o instrumento virtual. Ao tocar

cada peça do instrumento, tem-se uma resposta háptica e visual.

Objetivo

Reproduzir ritmos simples utilizando a bateria virtual

Diferenciar as partes da bateria a partir da vibração

Conteúdo

Relacionar partes de uma bateria a diferentes tipos de vibração.

Tocar uma sequência musical escrita utilizando a bateria virtual.

Propomos as seguintes atividades práticas:

96

Atividades Descrição das Atividades

1. Diferenciando as

peças da bateria

virtual

Diferenciar as vibrações entre as partes da bateria. Cada participante

segura o dispositivo e responde que peça da bateria está sendo

tocada, sentido apenas a resposta háptica, sem observação visual.

2. Reprodução

sonora

Os participantes utilizam a bateria virtual para tocar um pequeno

padrão rítmico.

Tabela 4: Descrição das atividades planejadas Oficina 4.

2.5 Oficina 5

Tema: Altura das notas musicais e prática musical em conjunto.

Duração

50 min.

Introdução

As atividades desta oficina visam a percepção e diferenciação de notas musicais e

observar o nível de envolvimento em uma atividade de prática musical em conjunto. Na

primeira atividade avaliamos a percepção de notas musicais a partir do mapeamento

vibracional proposto para as notas. Apresenta-se o conceito de frequência da nota musical,

expondo sua relação com o número de eventos (vibrações) que ocorrem em determinado

espaço de tempo.Na segunda e terceira atividades propomos o contato com melodias a partir

das cores. Os participantes recebem e reproduzam uma melodia. Também executam uma

melodia a partir de uma partitura de cores.

Objetivo

Diferenciar a altura de notas musicais a partir de sua vibração.

97

Verificar se os participantes conseguem diferenciar a altura das notas musicais a partir

da vibração.

Sentir uma melodia a partir da vibração. Tocar a melodia em conjunto sob a regência

do professor. Realizar uma melodia em diferentes andamentos.

Conteúdo

- Diferenciar a frequência das notas musicais a partir de suas respectivas vibrações.

- Apresentar uma melodia a partir das cores.

- Perceber e imitar uma melodia a partir do uso do aplicativo

- Realizar atividades musicais em conjunto

Atividades Descrição das Atividades

1. Diferenciando

frequências

Diferenciar duas notas a partir da resposta tátil a sons graves.

Primeiramente cada participante vê a cor e senti a vibração de duas

notas diferentes. Após, apenas sente a vibração e deve dizer a qual das

cores aquela vibração está associada.

2. Perceber e

imitar

Os alunos devem perceber as notas e o ritmo de uma melodia usando

o aplicativo no modo recepção de som e repetir essa melodia usando o

aplicativo no modo de produção de som. Inicialmente cada aluno

imita uma sequência de notas proposta pelo professor, esta sequência

aumenta gradativamente. Ao fim desta atividade tem-se uma melodia,

o professor rege os participantes para que a melodia seja executada em

conjunto.

3. Tocando em

conjunto

Um dos alunos toca a melodia com o aplicativo, enquanto o outro o

acompanha com um instrumento percussivo. Um aluno pode

acompanhar a produção sonora do outro a partir do aplicativo.

Tabela 5: Descrição das atividades planejadas Oficina 5.

98

C. Descrição/roteiro da avaliação realizada com estudantes de música

Descripción de la evaluación

Material necesario: Piano y aplicación

Descripción de la evaluación (Paso a paso de la evaluación )

Introducción:

Presentación de la aplicación, describiendo brevemente cómo funciona cada pantalla. (5

min). Explicar que la gente va a evaluar la aplicación de acuerdo con sus respuestas hápticas y

visuales.

1- Evaluación de la pantalla 1 (Metrónomo) (4min)

a) Observación de las respuestas hápticas y visuales para diferentes tiempos.

b) Observación de las respuestas hápticas y visuales para diferentes formulas de compaso

c) Ejecución de un ritmo a partir de la respuesta visual del metrónomo

99

2 - Evaluación de la pantalla 2 (Intensity Identifier) (4min):

1. Tocar sonidos con diferentes niveles de intensidad para que los participantes perciban

desde el uso de la aplicación

2. Permitir que los participantes produzcan sonidos con diferentes niveles de intensidad

para que perciban a partir del uso de la aplicación

3 – Evaluación de la pantalla 3 (Note identifier) (3min):

Tocamos un pequeño fragmento melódico al piano para que el participante observe las

respuestas hápticas y visuales del teclado

El participante toca el piano y canta un melodía observando la respuesta de la

aplicación

4 – Evaluación de la pantalla 4 (Drum player) (5min)

El participante toca la batería libremente para conocer cada una de sus partes y

controles (volumen y metrónomo)

El participante toca el siguiente ritmo:

100

El participante toca el mismo ritmo con el uso del metrónomo visual

Se le propone al participante tocar un ritmo libre con el metrónomo

El participante responde las preguntas sobre la pantalla 3.

5 – Evaluación de la pantalla 5 (Keyboard player) (5min)

El participante toca libremente para conocer cada una de sus partes y controles

(volumen y metrónomo)

El participante toca la siguiente melodía:

El participante toca la misma melodía con el uso del metrónomo visual.

El participante responde las preguntas sobre la pantalla 1.

6 - Respuesta a las preguntas generales (3min)

Propuesta de actividad musical grupal a partir con la aplicación:

1 – Dos personas ejecutan el siguiente fragmento musical siguiendo al metrónomo

visual/háptico.

Una persona toca el piano y la otra ejecuta con palmas el ritmo del pentagrama

inferior sosteniendo el celular.

Una persona toca el piano sosteniendo el celular y la otra ejecuta el ritmo con

palmas del pentagrama inferior

101

Tempo total de evaluación: 5 min de exposición inicial + 24min/persona.

102

D. Questionário aplicado aos estudantes de música

Evaluación de uso de la aplicación Sintiendo la música (introducción al gesto musical

para personas con discapacidad auditiva) con usuarios oyentes

El objetivo de la presente evaluación con oyentes es establecer umbrales de usabilidad para

estudios posteriores con sordos.

1. Edad:_____________________

2. Sexo: _____________________

Masculino ☐ Femenino ☐

3. Años de experiencia musical:_______________

4. Nivel de estudios:

Primaria ☐ Secundaria ☐ Bachillerato ☐ Licenciatura ☐ Maestría ☐ Doctorado ☐

Pantalla 1: Metronome (Metrónomo visual y háptico):

1. Consideras la representación visual para los tiempos (pulsos o beats) del metrónomo:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

2. Consideras la representación háptica para los tiempos (pulsos o beats) del metrónomo:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

3. La representación visual de cambios de intensidad (Forte/Piano) para los tiempos del

metrónomo es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

103

4. La representación háptica de cambios de intensidad (Forte/Piano) para los tiempos del

metrónomo es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

5. Consideras que el uso de este metrónomo como herramienta de apoyo para la ejecución de

ritmos a partir de la representación visual es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

6. Consideras que el uso de este metrónomo como herramienta de apoyo para la ejecución de

ritmos a partir de la representación háptica es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

Pantalla 2 (Intensity Identifier)

7. Consideras la representación visual para la intensidad sonora:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

8. Consideras la representación háptica para la intensidad sonora:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

9. El reconocimiento de cambios de intensidad (Forte/Piano) utilizando la respuesta visual de

la aplicación es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

10. El reconocimiento de cambios de intensidad (Forte/Piano) utilizando la respuesta háptica

de la aplicación es:

104

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

Pantalla 3 (Note Identifier):

11. Consideras que la posibilidad de usar Note identifier como transformador de melodías

sencillas en gestos visuales es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

12. Consideras que la posibilidad de usar Note identifier como transformador de melodías

sencillas en gestos hápticos es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

13. Consideras que la posibilidad de usar Note identifier para percibir notas emitidas de

manera vocal es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

14. Consideras que la posibilidad de usar Note identifier para interactuar con algún

instrumento melódico es:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

Pantalla 4 (Visual/Haptic Drums):

15. Consideras la representación visual de las partes de la batería:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

16. Consideras la representación háptica de las partes de la batería:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

105

17. Consideras la posibilidad de construcción de gestos musicales (grooves y ritmos) a partir

de la respuesta visual de la batería:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

18. Consideras la posibilidad de construcción de gestos musicales (grooves y ritmos) a partir

de la respuesta háptica de la batería:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

19. Consideras la ejecución de un ritmo a partir del uso de la batería virtual:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

Pantalla 5 (Visual/Haptic Keyboard):

20. Consideras la diferenciación de las notas del teclado a partir de la representación visual:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

21. Consideras la diferenciación de las notas del teclado a partir de la respuesta háptica:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

22. Consideras la posibilidad de construir gestos musicales (frases y melodías) a partir de la

representación visual del teclado :

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

23. Consideras la posibilidad de construir gestos musicales (frases y melodías) a partir de la

respuesta háptica del teclado :

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

106

24. Consideras la ejecución de una melodía a partir del uso del teclado:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

Preguntas generales:

25. Consideras que el uso del metrónomo visual durante la ejecución de ritmos y melodías en

las pantallas Visual/Haptic Drums y Visual Keyboard Player es una guía:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

26. Consideras que desarrollar actividades musicales en grupo utilizando la aplicación es una

posibilidad:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

27. En general, como un conjunto de herramientas para la representación, recepción y

creación de gestos musicales creativos, consideras que la aplicación Sintiendo la música

puede ser:

Excelente ☐ Buena ☐ Satisfactoria ☐ Pobre ☐ Mala ☐

Por favor indica al reverso de la hoja los comentarios y sugerencias que consideres

pertinentes.

107

ANEXO

Perfil dos participantes das oficinas

Turma 1

Data de Nascimento

Grau de surdezUso de línguade sinais

Uso de vocalização

Uso de aparelho auditivo

Participante1

01/12/2010 Sem informação.Sim, em processo de aquisição.

Sim.

Aparelho de amplificação sonora.

Participante2

21/07/2009 Sem informação.Sim, em processo de aquisição.

Sim. Não.

Participante3

22/12/2010

Perda auditiva neurossensorial bilateral profunda.

Não. Sim.

Implante coclear realizado em 12/2013.

Participante4

30/04/2009

Perda auditiva neurossensorial bilateral profunda.

Sim, em processo de aquisição.

Sim.

Sim, aparelho de amplificação sonora.

Participante5

29/05/2010

Perda auditiva neurossensorial bilateral profunda.

Sim, em processo de aquisição.

Sim.

Aparelho de amplificação sonora.

Tabela 1: Informações a respeito das participantes das Oficinas de música - Turma 1 .

108

Turma 2

Data de Nascimento

Grau de surdezUso de língua de sinais

Uso de vocalização

Uso de aparelho auditivo

Participante 1 16/11/2001

Perda auditiva neurossensorial bilateral profunda.

Fluente. Sim.Sem informação.

Participante 2 18/11/1998

Perda auditiva neurossensorial moderadamente severa

Fluente. Sim.Sem informação.

Participante 3 18/11/1998

Perda auditiva neurossensorial bilateral. Profundo para baixas e médias frequências e Severo nas altas frequências.

Fluente. Sim, pouco. Não.

Participante 4 17/06/2003

Perda auditiva neurossensorial bilateral de severa a profunda.

Fluente.Sem informação.

Aparelho deamplificação sonora.

Participante 5 17/05/2002

Perda auditiva neurossensorial bilateral profunda.

Sim, em aquisição

Sim.Implante coclear.

Participante 6 19/05/1999

Perda moderada orelha esquerda. Perda moderadamente severa na orelha direita.

Fluente. Sim.Sem informação.

109

Data de Nascimento

Grau de surdezUso de língua de sinais

Uso de vocalização

Uso de aparelho auditivo

Participante 7 16/01/2000Perda auditiva neurossensorial bilateral severa.

Fluente. Sim.Sem informação.

Participante 8 07/11/2001

Perda auditiva neurossensorial bilateral profunda.

Sem informação.

Sem informação.

Sem informação.

Participante 9Sem informação.

Perda auditiva neurossensorial bilateral severa nas frequências baixas e médias e profunda nas altas frequências.

Sem informação.

Sem informação.

Não

Participante 10

20/09/1999

Perda auditiva neurossensorial bilateral moderada.

Fluente.Sim, se comunica oralmente.

Sem informação

Tabela 2: Informações a respeito das participantes das Oficinas de música Turma 2