Sincronização

• Lip Sync• Sincronização cursor-voz• Entre outras mídias

Lip Sync

• A diferença de tempo entre LDUs de vídeo e áudio relacionados é chamada de skew

• Sincronização perfeita: skew = 0 (ms)• “Analógico/real”: no dia a dia percebemos

o movimento dos lábios antes do áudio, porque a velocidade da luz é maior do a do som

Lip Sync (cont.)• Experiências

– erros são mais facilmente notados no começo e fim de pausas, e quando há mudança de tom (ênfase)

– “in sync”: -80ms (áudio depois do vídeo) < skew < +80ms (áudio antes do vídeo)

– “out of sync”: skew < -160ms e skew > +160ms• o efeito de “out of sync” é tão forte que é mais percebido do

que o próprio conteúdo– quanto maior a resolução, maior a percepção de erros de

sincronização

• Quanto menor a explicação, mais crucial (necessária) a sincronização

• Lip sync: skew discutido entre 40ms e 160ms• Cursor-áudio: 250ms e 1500ms• “in sync”:

– áudio à frente do cursor: 750ms– cursor à frente do áudio: 500ms

• “out of sync”: skew < 1000ms e skew > 1250ms• apontar para uma posição enquanto se discute outra dificulta a

compreensão

Sincronização Cursor-Áudio

Sincronização entre outras mídias

• Áudio-animação: não tão estrita quanto lip sync– No entanto.... tão forte quanto (80ms) na

correlação entre um evento barulhento e sua representação visual - ex.: batida de carros

• Áudio-áudio– fortemente acoplados– fracamente acoplados

Outras mídias (cont.)

• Estéreo– fortemente acoplado– atraso em um canal causa percepção de mudança

da localização da fonte do som– “in sync”: -11ms < skew < +11ms

• Voz-música de fundo– fracamente acoplado– skew de 500ms

Modelo de ReferênciaSincronização multimídia

• Necessário para– entender requisitos de sincronização multimídia– identificar e estruturar mecanismos de suporte a

execução da sincronização– identificar interfaces entre mecanismos de

execução– comparar soluções

Modelo de Referência (cont.)• Alguns esquemas de classificação:

– sinc. intrastream (granularidade fina) e sinc. interstream– sinc. ao vivo e sinc. sintética– controle de sincronização

• distribuído– baseado em protocolos– baseado em servidores– baseado em nós sem estrutura de servidores

• local– controle em várias camadas– servidores locais

Modelo (cont.)

Mídia: sinc. intrastream

Stream: sinc. interstream

Objeto: apresentação(incl. mídias independentes de tempo)

Especificação:autoria deaplicações multistream

Aplicação multimídia

Interfaces

Modelo (cont.)

• Camada de mídia– sincronização intrastream através do uso de

mecanismos de controle de fluxo entre os dispositivos produtor e consumidor

– feixes múltiplos: compartilhamento afeta os requisitos de tempo real

• garantias através de reserva de recursos e esquema de gerenciamento

Modelo (cont.)• Camada de Streams

– uma aplicação usando esta camada é responsável por iniciar, parar e agrupar feixes e

– pela definição de QoS em termos de parâmetros de tempo

– também responsável pela sincronização com mídias independentes de tempo

Modelo (cont.)• Camada de objetos

– opera em todos os tipos de mídia e– esconde as diferenças entre mídias discretas e mídias contínuas– abstração: apresentação completa e sincronizada– recebe uma especificação (ex.: MHEG) de sincronização como

entrada e é responsável pelo escalonamento correto da apresentação– não executa a sincronização intrastream ou interstream - usa os

serviços da camada de streams– exemplo de uma implementação da camada de objetos: MHEG

engine

Modelo (cont.)

• Camada de especificação– contém ferramentas para a criação de

especificações de sincronização:• editores de sincronização• editores de documentos multimídia• sistemas de autoria

Camada de especificação (cont.)• Métodos de especificação - categorias:

– baseados em intervalos: especificação de relações temporais entre os intervalos de tempo das apresentações de objetos de mídia

– baseados em eixos: relaciona eventos a eixos compartilhados pelos objetos da apresentação

– baseados em fluxo de controle: em pontos de sincronização identificados, o fluxo da apresentação é sincronizado

– baseados em eventos: eventos disparam ações de apresentação

Sincronização em um Ambiente Distribuído

• Maior complexidade devido a– armazenamento distribuído de informações de

sincronização– localização diferente dos objetos envolvidos na

apresentação– comunicação entre os sites de armazenamento e

apresentação introduz atrasos adicionais e jitter

Sincronização distribuída (cont.)

• Transporte da especificação de sincronização– entrega completa antes do início da apresentação

• mais usado em sincronização sintética• desvantagem: atraso

– uso de um canal de sincronização adicional• preferível no caso de sincronização ao vivo• não causa atrasos adicionais nas mídias envolvidas• difícil de gerenciar no caso de múltiplas fontes

Fonte Destinosincronização

vídeoáudio

Sincronização distribuída (cont.)• Transporte da especificação de sincronização

– feixes de dados multiplexados• único canal de comunicação• dificuldade: seleção de QoS apropriados aos requisitos

das mídias envolvidas• difícil de gerenciar no caso de múltiplas fontes

Fonte Destinovídeoáudio

sincronização

Sincronização distribuída (cont.)• Localização de operações de sincronização

– no destino

– na fonte

Sincronização distribuída (cont.)• Sincronização multi-passos

– sincronização durante a captura (ex.: digitalização de quadros de vídeo)

– sincronização da recuperação (ex.: acesso sincronizado a quadros de um vídeo armazenado)

– sincronização durante a entrega de LDUs à rede– sincronização durante o transporte (ex.: por protocolos isócronos)– sincronização no destino (entrega sincronizada aos dispositivos de

saída)– sincronização no dispositivo de saída

Sincronização distribuída (cont.)

• Decisões em um ambiente distribuído– seleção do tipo de transporte para a

especificação da sincronização– localização das operações de sincronização– sincronização de relógios– planejamento dos passos no processo de

sincronização– operações nos objetos (ex.: descompressão)

Modelo: ResumoCamada Abstração da

interfaceTarefas

Especificação Apenas asferramentastêminterfaces

Edição Formatação QoS de

usuário ->QoS dacamada deobjeto

Objeto Especificação desincronização

Objetosescondem tiposde mídia

QoS da mídia(skew e jitter)

Planejaescalonamentodeapresentação

Inicia ações depreparação daapresentacão

Iniciaapresentaçãode objetosindependentesde tempo

Stream Feixes e grupos defeixes

Garantias para sinc.Intrastream

Garantias para sinc.Interstream em umgrupo

Reserva derecurso eescalonamentodoprocessamento deLDUs

Mídia Acessoindependente dedispositivo a LDUs

Garantias para oprocessamento deLDU

Acesso a arquivoe dispositivo