Introducción a ModelosEspectrales

Elementos BásicosJuan Reyes

juanig@Maginvent.ORG

artElab

Modelos Espectrales / IX FIMCb 2007 – p. 1/32

Modelos Espectrales

Modelos de Instrumentos Musicales(Modelos Físicos)Modelos del EspectroModelos Abstractos

Modelos Espectrales / IX FIMCb 2007 – p. 2/32

Modelos de Instrumentos

Modelos Físicos:Describen el sonido a partir de parámetrosmecánicos y acústicosEjemplos: Cuerda pulsado, Maracas,Flauta, Etc.

Modelos Espectrales / IX FIMCb 2007 – p. 3/32

Modelos Abstractos

A partir de una formula abstractaEjemplos:

Síntesis FMModulación de AnilloFOF

Modelos Espectrales / IX FIMCb 2007 – p. 4/32

Modelos Espectrales I

Basados en el espectro (STFT)Se extraen las características de un sonidorealComponentes sinusoidales (A,ω, φ).

Reproducción del sonido original ytransformaciones

Modelos Espectrales / IX FIMCb 2007 – p. 5/32

Modelos Espectrales II

Dependen de un método de análisis ysíntesisSíntesis aditivaTransformaciones

Modelos Espectrales / IX FIMCb 2007 – p. 6/32

Procedimiento de Análisis

Estudia características del sonido en funcióndel tiempoLa representación del sonido es por medio desumas de sinuosidales

Un sonido está dado por sus componentesdeterminísticos y residuales

Modelos Espectrales / IX FIMCb 2007 – p. 7/32

Análisis Espectral

Componente determinístico:Fundamental (+) ArmónicosTono estable en el sostenimiento ydesvanecimiento

Componente Residual:Es la resta del espectro total menos lodeterminísticoRuido blanco filtrado, función del tiempoNormalmente en los ataques

Ejemplos: rozamientos, resistencia en lasboquillas, etc.

Modelos Espectrales / IX FIMCb 2007 – p. 8/32

Síntesis Re-síntesis

ReproducciónTransformaciones:

Expansión, Compresión del tiempoTransposición de alturas (frecuencias)Atenuación

Modelos Espectrales / IX FIMCb 2007 – p. 9/32

STFT-1

La transformada de Fourier (STFT), se usa parael análisis del componente determinístico deacuerdo a los siguientes pasos:

Modelos Espectrales / IX FIMCb 2007 – p. 10/32

STFT-2

-1- Leer M muestras de la señal de entrada yalmacenar en un arreglo.

xm(n)∆= x(n−mR), n=−Mh,−Mh+1,··· ,−1,0,1,··· ,Mh−1,Mh

donde xm, es el Mavo cuadro de la señal deentrada y M

∆= 2Mh + 1, es el tamaño del cuadro.

R, es el salto hop-size y corresponde al intervalode avance en el tiempo.

Modelos Espectrales / IX FIMCb 2007 – p. 11/32

STFT-3

-2- Multiplicar el cuadro xm(n), por unaventana de análisis de longitud M. paraobtener el Mavo cuadro,

xm(n)∆= xm(n)w(n), n=−(M−1)

2 ,··· ,M−12 ,

Modelos Espectrales / IX FIMCb 2007 – p. 12/32

STFT-4

-3- Extender xm, en cada extremo paraobtener un cuadro de análisis parcha-do conceros.

x′m

∆=

xm, |n| ≤ M−12

0, M−12 < n ≤ n

2 − 1

0, n2 ≤ n < −M−1

2

donde N es el tamaño de la FFT.

Modelos Espectrales / IX FIMCb 2007 – p. 13/32

STFT-5

-4- Sacar la FFT de tamaño N de x′m.

Para obtener la STFT en el instante m :

x′(ejωk) =

N/2−1∑

n=N/2

x′m(n)e−jωknT

donde ωk = 2πkfs/N y Fs = 1T , es la frecuencia

de muestreo. k, es el numero de bin.

Modelos Espectrales / IX FIMCb 2007 – p. 14/32

STFT-6

Cada bin x′m(n)e−jωknT de la STFT se puede

tomar como una muestra de la señalcompleja en la salida de un filtro pasa-bajoscuya entrada es: x′

m(n)e−jωknT .

El factor de parcha-do con ceros es el factorde interpolación del espectro. Por lo tantocada bin en la FFT se reemplaza por N/Mbins del espectro interpolado.

Modelos Espectrales / IX FIMCb 2007 – p. 15/32

Phase Vocoder

-5- Convertir cada bin de la FFT x′(ejωk) deforma rectangular a polar para obtener lamagnitud y la fase. Posteriormentediferenciar la fase para obtener la frecuenciainstantánea.

Ak(m)∆=

∣

∣

∣x′(ejωk)

∣

∣

∣

Θk(m)∆= 6 x′(ejωk), radianes

Fk(m)∆=

Θk(m) − Θk(m − 1)

2πRTModelos Espectrales / IX FIMCb 2007 – p. 16/32

Síntesis Aditiva-1

Para obtener los parámetros para lasenvolventes de control en cada oscilador, lastrayectorias de amplitud, frecuencia y fase sonestimadas en cada salto (hop) de la FFT por laSTFT.

Las trayectorias se interpolan linealmente deun hop al otro-6- Aplicar cualquier modificación deseada alos datos del análisis como: Compresión yexpansión del tiempo, transposición dealturas, modificación de formantes

Modelos Espectrales / IX FIMCb 2007 – p. 17/32

Síntesis Aditiva - 2

-7- Usar las trayectorias de frecuencia yamplitud (posiblemente modificadas) paracontrolar un banco de osciladores:

x∆=

1

N

N/2−1∑

k=−N/2+1

Ak(n)ejθk(n)

=2

N

n

2−1∑

k=0

Ak(n)Cos(θk(n))

Modelos Espectrales / IX FIMCb 2007 – p. 18/32

Características del Algoritmo

Reducción de datos con STFT apropiadospara señales in-armónicas,cuasi-sinusoidales.La meta es seguir los picos prominentes en laseñal de entrada.Para ésto se muestrea la amplitud una vezpor periodo tomando la frecuencia mas bajaen la banda de análisis.Este modelos asume que los sinusoides sonparciales estables en el desarrollo de unsonido y que cada uno cambia lentamente enamplitud y frecuencia. Modelos Espectrales / IX FIMCb 2007 – p. 19/32

Parte del residuo

Si asumimos que e(t), es una señal estocástica,esta puede describirse como ruido blancofiltrado,

e(t)∆=

∫ t

0

h(t, τ)u(τ)dτ

donde u(τ), es ruido blanco y h(t, τ), es larespuesta de un filtro cambiando función deltiempo con un impulso en el instante t.- Es decir, el residuo se modela con laconvolución de ruido blanco con un filtro variadorde frecuencia en el tiempo.

Modelos Espectrales / IX FIMCb 2007 – p. 20/32

Variables para el análisis

Para calcular la STFT se utilizan los siguientesparámetros especificados por el usuario:

Tamaño del cuadro de análisis (frame size)Tipo de ventanaTamaño de la FFTDuración (avance) del salto (hop-size)

Modelos Espectrales / IX FIMCb 2007 – p. 21/32

Ventanas de Análisis

La selección de una ventana de análisis esimportante.Determina el sacrificio de resolución entretiempo y frecuencia.La ventana afecta la exactitudal detectar lospicos de frecuencia en un espectro.

Modelos Espectrales / IX FIMCb 2007 – p. 22/32

Efecto de la ventana de análisis-1

Un sinusoide complejo de la formax(n) = AejωxnT , al pasarse por una ventanase transforma en,

Xω(w) =∞

∑

n=−∞

x(n)w(n)e−jωnT

= A

M−12

∑

n=−(M−1)2

w(n)e−j(ω−ωx)nT

= AW (ω − ωx)Modelos Espectrales / IX FIMCb 2007 – p. 23/32

Efecto de la ventana de análisis-2

La transformada de un sinusoide pasado poruna ventana es la transformada de la ventanamultiplicada por la amplitud del sinusoide ycentrada en la frecuencia del mismo.

Modelos Espectrales / IX FIMCb 2007 – p. 24/32

Ejemplo de Ventana de Análisis

Modelos Espectrales / IX FIMCb 2007 – p. 25/32

Hop size (salto)

Otro punto en cuestión relacionado con laventana de análisis es el tamaño del hop.Cuanto tiempo se puede avanzar en laduración del tiempo de análisis de cuadro acuadro.Depende de los propósitos del análisisMayor número de cruces (overlap) mayornumero de puntos de análisis y resultadosmas claros en el tiempo.Depende del tipo de ventana.

Modelos Espectrales / IX FIMCb 2007 – p. 26/32

Tamaño de la FFT

El tamaño de la FFT normalmente se escogecomo la primera potencia de 2 que es el doblede la longitud de la ventana M, con unadiferencia N − M, parcha-da con ceros.

La razón de incrementar el tamaño de la FFTy llenarla con ceros es porque parcheo conceros en el tiempo corresponde ainterpolación en las frecuencias.Un espectro que se interpola puede ser deutilidad en varias formas.

Modelos Espectrales / IX FIMCb 2007 – p. 27/32

Continuidad de Picos

Una vez que los picos han sido calculados,un algoritmo de continuidad de picos losadiciona a las trayectorias correspondientes.Este algoritmo posee conocimiento delsonido que se está analizando.El algoritmo consiste en un conjunto de guíaso pistas que avanzan en el tiempoescogiendo el pico apropiado.

Modelos Espectrales / IX FIMCb 2007 – p. 28/32

Archivo con datos del análisis

Un archivo con datos del análisis constaprincipalmente de un conjunto de amplitudesAm, frecuencias ωm, y fases θm, para cadaíndice m de cada cuadro por cada pista en eldominio del tiempo.Este archivo sirve para reproducir por mediode síntesis la señal original.El archivo sirve para lograr transformaciones.

Modelos Espectrales / IX FIMCb 2007 – p. 29/32

Aplicaciones -1

Al generar un sonido musical por medio de unacomputadora hay que pensar en un modelo desonido cuyos parámetros proveen una fuenterica de variaciones significativas.

Es aconsejable tener conocimiento a-prioridel sonido que se quiere analizar, sintetizar ytransformar para aplicar los valores correctosen el momento del análisis.Un buen análisis produce buenastransformaciones.

Modelos Espectrales / IX FIMCb 2007 – p. 30/32

Aplicaciones -2

Hay que distinguir entre diferentes tipos deseñales, instrumentos, sinusoidales,quasi-armónicos, no temperados, voz, etc.

Las aplicaciones mas populares de éstemétodo son:

Cambios en amplitud de los parcialesCambios de altura de los parcialesCambios en el ancho de banda de losformantesCompresión o expansión de la duración detodo el espectro o cada parcial.

Modelos Espectrales / IX FIMCb 2007 – p. 31/32

Conclusiones

Modelos Espectrales producen resultadosinteresantes y con aplicación musical.Los Modelos Espectrales son una descripciónpara-métrica y pueden ser utilizados comotema y variaciones en composición musical.La separación de los componentes deresiduo y determinístico tiene ventajas alre-sintetizar el sonido y en lastransformaciones.Esta metodología no es un sistema intuitivo yrequiere conocimiento de acústica y señales.

Modelos Espectrales / IX FIMCb 2007 – p. 32/32