SÍNTESE POR AMOSTRAGEM DE SÍNTESE POR AMOSTRAGEM DE PIANO BASEADA EM CODIFICAÇÃO PIANO BASEADA EM CODIFICAÇÃO WAVELETWAVELET

SÍNTESE POR AMOSTRAGEM DE SÍNTESE POR AMOSTRAGEM DE PIANO BASEADA EM CODIFICAÇÃO PIANO BASEADA EM CODIFICAÇÃO WAVELETWAVELET

Thiago Rossi RoqueRafael Santos MendesDCA/FEEC/UNICAMP

Thiago Rossi RoqueRafael Santos MendesDCA/FEEC/UNICAMP

AES BRASIL 2012AES BRASIL 2012

• Sintetizador baseado na técnica de amostragem aliada a técnicas de compressão de dados via Transformada Wavelet

INTRODUÇÃO

Transformada Wavelet

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 2

• Estudo da técnica de síntese e da compressão de dados pela Transformada Wavelet

• Aplicações em dispositivos portáteis– Crescente mercado de smartphones

MOTIVAÇÃO

– Crescente mercado de smartphones

• Mais de 450 milhões de smartphones vendidos em 2011

– Capacidades de processamento mais altas porém limitações de memória

• Bancos de amostras devem ser da ordem de 1MB

3Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

• Síntese por amostragem

- Predominante nos sintetizadores atuais

- Baixo custo computacional porém alto custo de

A SÍNTESE SONORA

- Baixo custo computacional porém alto custo de memória

-Se baseia em amostras do som de um instrumento para sintetizar todas as notas do instrumento.

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 4

• Técnicas de compressão e codificação– Wavetables– Interpolação de notas (Reamostragem)– Trecho de sustentação em loop

A SÍNTESE SONORA

– Trecho de sustentação em loop

– Wavelet

5Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

• Instrumento escolhido: Piano

– Instrumento de grande dificuldade de síntese com qualidade

• (Desafio)

O SOM DO PIANO

• (Desafio)

– Vastamente estudado• Tanto no meio computacional como na mecânica e

acústica

6Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

• Dinâmica complexa do som

• 2 estágios– Som imediato

O SOM DO PIANO

– Som imediato • Caracteriza o trecho de ataque

– Som remanescente• Caracteriza o trecho de sustentação

• Características distintas para diferentes regiões do teclado

– Duração do som varia de mais 20 segundos para apenas 3segundos dependendo da nota tocada

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 7

O SOM DO PIANO

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 8

Exemplo de envoltória, Nota A4Trechos de Som Imediato e Som Remanescente destacados

• Funções finitas– Energia concentrada no tempo

• Sem componentes de frequência nula

WAVELETS

∞<∫∞

∞−

dtt 2|)(|ψ

∫∞

= 0)( dttψ• Sem componentes de frequência nula

• Família de funções que podem ser usadas como base para decomposições de funções mais complexas

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 9

∫∞−

= 0)( dttψ

• Análise multi-resolução– Funções wavelets possibilitam escalamentos e

deslocamentos temporais• Possibilitando análises tanto no domínio da frequência

A TRANSFORMADA WAVELET

• Possibilitando análises tanto no domínio da frequência quanto no domínio do tempo

10Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

∑ ∑∑∞

−∞=

∞

−∞=

∞

=

−⋅+−⋅=k k rj

jj

rr ktkdktkctx )2()()2()()( ψϕ

• Sendo um sinal discreto, pode-se chegar, a partir da equação anterior em:

A TRANSFORMADA WAVELET

)(tx

)()2()( 1 ncknhkcn

jj ∑ +⋅−=

• Sendo e os coeficientes da Transformada Wavelet Discreta

11Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

n

)()2()( 11 ncknhkdn

jj ∑ +⋅−=

(k)jd)(c j k

• Transformada Wavelet Discreta pode ser realizada por processos de filtragem e decimação

A TRANSFORMADA WAVELET

• Wavelet Packet

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 12

• Processo tradicional não favorece o uso em tempo real

• Processo de filtragem pode ser implementado por multiplicação matricial

A TRANSFORMADA INVERSA

• são os coeficientes de um nível anterior,

é a matriz de transformação, e são as folhas da árvoreconcatenadas.

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 13

fBx ⋅=x

Bf

• Caracteristica recursiva para n níveis da WP• Cálculo eficiente• Dimensões muito grandes

A TRANSFORMADA INVERSA

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 14

• Os coeficientes de cada folha da árvore são ordenados de forma crescenteE então aproximados por um polinômio de grau fixo

A COMPRESSÃO

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 15

• É determinado um limiar dado que os coeficientes WP abaixo desse são descartados– Limiar é variado de acordo com a faixa de frequência

seguindo a curva Fletcher-Munson

A COMPRESSÃO

• Somente os coeficientes do polinômio e a ordenação original dos coeficientes WP acima do limiar são armazenados– Quantidade de informação armazenada é muito reduzida

16Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

• Decodifica as mensagens MIDI e gerencia as mensagens e o estado da síntese– Gerenciamento possibilita a polifonia

• Sistema requisita amostra codificada ao banco a

O SINTETIZADOR

• Sistema requisita amostra codificada ao banco a partir das mensagens de NOTE ON

• Amostra é de decodificada e submetida à envoltoria dependendo do trecho utilizado

17Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012

O SINTETIZADOR

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 18

• Banco de amostras original, em .wav: 421MB• Banco reduzido, em .wav: 8MB

– Somente trechos de som imediato e som remanescente

• Banco reduzido e comprimido: 1.44MB

RESULTADOS

Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012 19

• A4– Original:

– Sintetizado:

RESULTADOS

• Trecho MIDI– Sintetizador comercial:

– Sintetizador próprio:

20Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012Síntese por Amostragem de Piano Baseada em Codificação Wavelet – AES Brasil 2012