aplicações musicais para iphones, ipad, tablets e smartphones android

André Veloso – [email protected] www.softwarebending.blogspot.com Abril 2012 – CC BY NC SA

Aplicações musicais para dispositivos portáteis -

Android e iOS

André Veloso


Objetivos

● Apresentar dispositivos portáteis, celulares e tablets como ferramentas de criação musical

● Gravação, manipulação e produção de audio em tempo real com esses dispositivos

● Controle remoto de outros sistemas musicais● Backup e recuperação de dispositivos● Performance musical colaborativa utilizando

esses dispositivos


Dispositivo de áudio digital

● Síntese

● Gravação/Reprodução

● Processamento de Sinais


Evolução do áudio em computadores

● Década de 1950 – Síntese Digital de sons por computadores – Mainframes e Programas geradores de melodias

● Década de 1960 e 70 – Chips de Síntese FM – Geração em tempo real de música



● Década de 1980 – Computadores pessoais e minicomputadores – Primeiros sistemas de gravação de audio digital em computador

● Década de 1990 – Popularização do computador pessoal

Processamento de sinais em tempo real

Instrumentos Virtuais (VST, AU, RTAS, etc)

Gravação Multipista em Computador



● Lei de Moore



● Evolução do poder de processamento possibilitou a utilização dos computadores como ferramenta de criação, reprodução, gravação e manipulação de audio digital

● Processamento de sinais, síntese, instrumentos virtuais (modelação digital) com computadores pessoais em TEMPO REAL – poder de processamento disponível a partir do meio dos anos 90 (a partir do Pentium II - 400MHz)


Áudio de tempo real

● Latência - tempo entre a reprodução de um audio após conversão ou síntese do sinal digital e o estimulo externo de entrada

● Tempo real - Latências inferiores a 7ms (milissegundos ou 0,007s)


Áudio de tempo real

● Ex: Latência em um instrumento virtual

Tempo

Latência

Processamento

Execução MIDI Resultado Sonoro


Instrumentos Reais x Instrumentos Virtuais

Moog Voyager Hardware

Plugin VST/AU/RTASMinimoog V


Evolução dos dispositivos portáteis

Psion 3a - 1993 – 7,6MHz NEC CPU

Apple Newton H1000 - 1993 – 20MHz ARM CPU



N900 - 1996 – 25MHz Intel 386 CPU

HP 320Xl - 1996 – 44MHz Hitachi CPU



Palm Pilot 1000 - 1997 – 16MHZ CPU

Cassiopeia A-20 - 1997 – Hitachi 80MHz CPU



Nokia N900i- 1997 – AMD 486 33MHz CPU



Cassiopeia E125 - 2000 – NEC 150MHz CPUPalm VIIx - 1999 – 16MHZ CPU



Cassiopeia E200 - 2001 – ARM 206MHz CPU

Toshiba e310 - 2002 – ARM 206MHz CPU



BlackBerry 6710 - 2002 – ARM 206MHz CPUPalm Tungsten C - 2003 – ARM 400MHz CPU



HP iPAQ - 2004 – ARM 400MHz CPU Nokia N70-5 - 2005 – OMAP 200MHz CPU



BlackBerry 7130 - 2006 – Xscale 312MHz CPU

HTC S640 - 2007 – 400MHz CPU



Apple iPhone - 2007 – ARM 412MHz CPU



HTC Dream G1 - 2008 – ARM 528MHz CPU



Palm Pre - 2009 – ARM 600MHz CPU



Dell Venue - 2010 – ARM 1000MHz CPU


Dispositivos portáteis atuais

Características de hardware:● Grande número de sensores: câmeras,

microfones, acelerômetros, giroscópios, bussolas, sensores de iluminação, proximidade, GPS

● Opções de Conectividade de dados: 2G, 3G, 4G, WI-FI, Bluetooth, NFC, USB

● Tela grande com input via multitoque● Armazenamento via memória Flash


Evolução do áudio em dispositivos portáteis

● Evolução do poder de processamento possibilitou a utilização de dispositivos portáteis como ferramenta de criação, reprodução, gravação e manipulação de audio digital

● Processamento de sinais, síntese, instrumentos virtuais (modelação digital) com dispositivos portáteis em TEMPO REAL – poder de processamento disponível a partir de meados dos anos 2000 (ARM 300MHz) – apenas 10 anos após os computadores pessoais


Instrumentos Reais x Instrumentos Virtuais

Korg iElectribe iOS

Korg Electribe SX Hardware


Dispositivos portáteis – Sistemas Operacionais

1996 200120001999


Dispositivos portáteis – Sistemas Operacionais

20072005 2009 2010


Android e iOS


Introdução ao iOS

● Origem no código do Mac OS X (Unix)● Popularizou o paradigma de Manipulação

Direta via gestos e toques – multitoque, “Pinch to zoom”

● Popularizou o conceito de App Store e de Touch Smartphone

● Versão atual 5.1


Introdução ao iOS

Prós:● Ciclo constante de atualizações● API de acesso ao hardware de audio com

baixa latência – Core Audio● API MIDI nativa (Core MIDI – iOS 4.2)● Implementação de multitoque consistente entre

os vários dispositivos disponíveis


Introdução ao iOS

Contras:● Apple (The Apple Way)● Plataforma fechada● iTunes – Sync restrito● Sem possibilidade de devolução de dinheiro na

compra de apps na App Store● Ciclo de vida curto dos produtos● Desenvolvimento de Apps restrito a Mac● Multitarefa Restrito


Dispositivos portáteis iOS

iPhone 4S iPod touch 4g iPad


Introdução ao Android

● Baseado em Linux● Versão atual 2.3.7 Gingerbread/3.2.6

Honeycomb● 4.0.4 Ice Cream Sandwich – Unificação das

versões tablet (atualmente Honeycomb – 3.x) e celular (2.x)



Prós:● Loja de Aplicativos baseada em Browser –

Sincronização Transparente● Várias lojas de aplicativos● Dispositivos de vários fabricantes – várias faixas de

público-alvo/preço● Acesso fácil ao armazenamento interno via

montagem USB● Facilidade de customização da interface e

características via apps de terceiros


Introdução ao AndroidContras:● Fragmentação● “Gambiarrado”● Inconsistência da implementação de multitoque

- depende de cada fabricante● Multitarefa Restrito



Contras:● Segurança Ruim - Grande número de

aplicativos maliciosos● Falta de padronização na implementação de

sensores● Maioria das aplicações escritas em Java

(problemas de performance para audio) ● Atualizações dependem dos fabricantes dos

aparelhos para a disponibilização


Introdução ao AndroidContras:● Sem API nativa de acesso direto ao hardware de

Áudio ou Realtime Threads – ALTA LATÊNCIA (˜40ms)

● Performance do audio depende da CPU – OpenSL ES disponível no 2.3 NDK, mas com alta latência – INCOMPETÊNCIA DO GOOGLE

● Sem API de MIDI nativo (via ADK na versão 4 ou OpenSL)

● ABRIL 2012 - MESMO COM ICS O PROBLEMA NÃO FOI RESOLVIDO!!!!


Dispositivos portáteis Android

Google NexusAsus Transformer Prime


Apple App Store


Google Play Store


Google Play Store Mobile


Conectando Áudio

● Conexão padrão: Plug 3.5mm - “Plug de fone” - P2 Estéreo


Conectando Áudio

Saída de Fone de Ouvido


Conectando Áudio

P10

RCA3.5mm 3.5mm

3.5mm

3.5mm


Conectando Áudio

P10

RCA


Tipos de software de Áudio

● Síntese● Processamento de Sinais de entrada● Gravação e Reprodução de audio● Samplers● Drum Machines● DAWs● Controladores MIDI e OSC● Tudo ao mesmo tempo


Síntese

● Geração de som a partir de manipulação de ondas simples ou ruídos por meio de aplicação de envelopes (ADRS), filtros ou osciladores

● Sintetizador● Envelopes (ADRS)● Filtros (VCF)● Osciladores (LFO)


Síntese - Tipos

● Aditiva – Soma de ondas senoidais● Subtrativa – Filtragem de ondas ricas em

harmônicos (Quadradas, sawtooth, ruido)● FM – Modulação de uma onda básica por meio de

de uma outra complexa● Granular – manipulação de pequenos elementos

de sinal - Grãos● Física – Simulação dos componentes físicos que

produzem sons em um instrumento musical real


Processamento de Sinais de Entrada

● Modificação de sinais vindos do microfone ou entrada de linha por meio de “efeitos”

● Analógico - Eletrônicos● Digital - Algoritmos


Processamento de Sinais de Entrada – Tipos de Efeitos

● Dinâmicos (Compressão, Expanders)● Distorção (Fuzz, Overdrive)● Filtros (Wah, Equalização)● Modulação (Chorus, Flanger, Tremolo)● Pitch/Correção Tonal (Auto-Tune)● Temporais (Reverb, Delay)● Modeladores (Simuladores de Amps, pedais)


Gravação e Reprodução

● Similares aos gravadores portáteis de fita K7● Possibilidade de registro em pistas múltiplas● Full Duplex – Gravação e reprodução

simultâneas● Registro de ideias musicais● Recursos básicos de Mixagem (Pan, Efeitos,

etc)


Samplers

● Reprodução de trechos sonoros pré-gravados (amostras) que são reproduzidos por meio de teclados ou outro dispositivo de disparo (trigger)

● Multitimbrais● Polifônicos● Rítmicos (Drum Machines)


DAWs

● Digital Audio Workstation● Permitem a gravação, edição, mixagem e

processamento de audio e MIDI


Controladores

● Permitem o controle de outros dispositivos digitais por meio de protocolos de comunicação (MIDI, OSC, DMX, ArtNet)


Tudo ao mesmo tempo

● Softwares que apresentam todas as características apresentadas (Síntese, Processamento de Sinais, Gravação e Reprodução de audio, Sampling, DAW) em um único aplicativo.


Softwares de Áudio iOS – Synths● Rebirth


Softwares de Áudio iOS – SynthsRebirth

Roland TB-303 Synth Roland TR-808 Drum Machine

Roland TR-909 Drum Machine


Softwares de Áudio iOS – Synths● Reactable


Softwares de Áudio iOS – SynthsJasuto


Softwares de Áudio iOS – SynthsFigure By Propellerhead


Softwares de Áudio iOS - Processamento de Sinais

Amplitube


Softwares de Áudio iOS – SynthsMoog Animoog



Moog Filtraton



VocaLive


Softwares de Áudio iOS- Gravação e Reprodução4Tracks


Softwares de Áudio iOS- Reprodução DJDjay


Softwares de Áudio iOS- Reprodução DJTouchDJ


Softwares de Áudio iOS- DAWFruitLoop Mobile


Softwares de Áudio iOS - Loops

Looptastic


Softwares de Áudio iOS – Tudo ao mesmo Tempo

Tabletop - www.retronyms.com


Softwares de Áudio iOS – Tudo ao mesmo Tempo

Rhythm Studio


Softwares de Áudio iOS – Tudo ao mesmo Tempo● Garage Band


Softwares de Áudio iOS

www.korguser.net/wist

Wireless Sync-Start Tecnology (Bluetooth)

Aplicações Compativeis:● TableTop● iELECTRIBE● iMS-20● SyncKontrol for monotribe

http://www.korguser.net/wist


Hardware de Áudio iOS



Camera Connection Kit (iPad somente)

USB

Dispositivos USB v1.1 “Class Compliant”http://iosmidi.com/devices/



● Alguns dispositivos necessitam de alimentação externa ou a conexão via Hub USB alimentado – porta USB do iPad possui pouca energia

● Hub USB permite ainda conexão simultânea de equipamentos

D-Link DUB-H7 7-PORT USB 2.0 HUB500mA por porta USB


Softwares de Áudio Android – Tudo ao mesmo Tempo

Caustic


Softwares de Áudio Android - Sampler

Reloop


Softwares de Áudio Android - SynthEthereal


Softwares de Áudio Android - Loopnanoloop


Softwares de Áudio Android – Drum MachineElectro Beat Machine


Softwares de Áudio Android – Tudo ao mesmo TempoJasuto


Softwares de Áudio Android – SynthEtherophone


Softwares de Áudio Android – Drum Machine

Electrum


Softwares de Áudio Android – SynthRD3


Softwares de Áudio Android – Tudo ao mesmo TempoSPC


Controlando Outros Sistemas Musicais

● Utilização de sistemas portáteis para controle de outros softwares e hardwares

Protocolos:● MIDI● OSC● DMX/ArtNet● DSMI


MIDI

● Musical Instrument Digital Interface● Dados de controle● Interconexão e troca de mensagens musicais e de

controle entre instrumentos musicais eletrônicos, sintetizadores, computadores, bateria eletrônicas, etc.

● Pode ser armazenada em arquivos (SMF) editáveis em softwares sequenciadores

● Audio gerado por meio de sintetizadores, em hardware ou software


MIDI

Transmite "mensagens de eventos"

Tipos de Mensagem:● Tonalidade e intensidade de notas tocada (MIDI

Note)● Sinais de controle de parâmetros como volume,

vibrato e pan (MIDI CC)● Sinais de "clock" para sincronismo de tempo

entre dispositivos (MIDI MTC) ● Controle de playback/rec/faders (MIDI MCU)


MIDI - Conexões

DIN-5

USB


RTP/MIDI

● Real Time Protocol MIDI● Comunicação MIDI via rede TCP-UDP/IP● Nativa do Mac OS X● Em Windows – Driver rtpMIDI Tobias Erichsen● Em Linux – QmidiNet e multimidicast● Nativo do iOS desde a versão 4.2 – Core MIDI● No Android – implementado por cada aplicativo


Dispositivos MIDI iOS

● OBSERVAÇÃO: Nem todos os dispositivos MIDI ou Audio Class Compliant funcionam com o Camera Conection Kit – restrição de corrente (20mA) estabelecida pela Apple depois do iOS 4.2

● Solução: utilizar Hubs USB com fonte de energia

● OBS: Camera Conection Kit NÃO FUNCIONA MAIS NO iPHONE/iPOD TOUCH APÓS iOS 5 – SOMENTE iPAD


Dispositivos MIDI iOS● Apple Camera Connection Kit iPad (MIDI

padrão Via USB) - Apple Core MIDI

Dispositivos USB v1.1 MIDI “Class Compliant”http://iosmidi.com/devices/


Dispositivos MIDI iOS


OSC

● Open Sound Control● Troca de dados de controle via rede TCP-

UDP/IP● Ethernet/WI-FI – Elimina a necessidade de

hardware dedicado para troca de dados● Tipo de dados com maior precisão do que o

MIDI● Estrutura de mensagens genéricas, baseados

em tipos primários: float, string


OSC


OSC – Objetivos Futuros

● Padronização do protocolo● Criação da especificação das mensagens de

controle de notas (semelhantes aos MIDI Note), para controle de sintetizadores polifônicos


DSMI


Android ADK - Accessory Development Kit


Controlando Outros SistemasMac OS X

● Configuração de Recepção de dados OSC, MIDI, RTP-MIDI

● OSC: OSCulator, Pure Data● MIDI: Pure Data, MIDIPipe


Controlando Outros SistemasWindows

● Configuração de Recepção de dados OSC, MIDI, RTP-MIDI

● OSC: Pure Data, GlovePIE ● MIDI: Pure Data, GlovePIE, MIDI Yoke, MIDI

OX


Controlando Outros SistemasPure Data: Ferramenta de programação visual para processamento de sinais de audio e dados de controle (MIDI, OSC, etc), multiplataforma, gratuita e Open-Source


Controlando Outros Sistemas – Hardwares MIDI

iOSMIDI OUT DIN5

Dispositivos que possuem MIDI IN via DIN5:

SintetizadoresMódulos de som

Baterias Eletrônicas

Android

MID

I OUT D

IN5

ArduinoAndroid ADK


Softwares Controladores - iOSTouchOSC


Softwares Controladores - iOSLemur


Softwares Controladores - iOSMIDITouch


Softwares Controladores - iOSKONKREET PERFORMER + TWISTED KP


Softwares Controladores - iOSTWISTED KP – Conversor MIDI do Konkreet Labs Performer para Reaktor 5


Softwares Controladores - iOSLuminair DMX/ArtNet


Softwares Controladores - iOSV-Control


Softwares Controladores - AndroidTouchDAW


Softwares Controladores - AndroidControl


Softwares Controladores - AndroidTouchOSC


Backup e recuperação

Principais razões para se fazer um backup:● Obsolescência Programada (de software e

hardware)● Roubo/Perda do dispositivo portátil● Perda dos dados do computador de

sincronismo● Prolongar a utilidade do dispositivo, como

hardware de uso musical ou controlador


Backup e recuperação - iOSBackup dos arquivo .ipa dos aplicativos● OS X: <PASTA DO USUARIO> / Music / iTunes /

Mobile Application● Windows XP: \Documents and Settings\<nome do

usuário>\Meus documentos\Minhas músicas\iTunes\iTunes Media\Mobile Applications

● Windows Vista e 7: \Usuários\<nome do usuário>\Músicas\iTunes\iTunes Media\Mobile Applications

Backup do instalador do iTunes e do arquivo do firmware, nas ultimas versões utilizadas pelo dispositivos


Backup e recuperação - Android

● Backup dos arquivos .apk dos aplicativos● Titanuim Backup● Backup do arquivo da ROM atual e do

programa de atualização da ROM (depende de cada fabricante)

aplicações musicais para iphones, ipad, tablets e smartphones android

Technology