capítulo 2 - dados multimídia · •a frequência audível por seres humanos está na faixa de 20...
TRANSCRIPT
SMU
• Representação analógica e digital de áudios;
• Digitalização de áudio;
• Representação analógica e digital de imagens e vídeos;
• Captura e reprodução de imagens e vídeos;
• Principais características e requisitos das informações
multimídia.
2/55
SMU
• As informações multimídia devem estar na forma digital
para serem processadas por sistemas computacionais.
• As mídias de apresentação são capturadas do mundo real a
partir de sinais analógicos e estes sinais são transformados
numa forma digital.
• Este capítulo discute as características e requisitos de
sistemas de áudio, vídeo e imagens digitais.
3/55
SMU
• O som é causado pelo distúrbio da pressão de ar formando
ondas mecânicas que alteram no tempo e espaço;
• São percebidos quando estas ondas alcançam o tímpano;
• A frequência audível por seres humanos está na faixa de 20
a 20.000 Hz;
4/55
SMU
• A oscilação é denominada forma de onda, pode ser medido
por:
• Período – tempo de um ciclo;
• Frequência – número de períodos por segundo;
• Amplitude – define a magnitude do som;
5/55
SMU
• Captura, onda sonora é convertida em sinal analógico
(elétrico).
• Realizado por microfone;
• Sensor de som varia a voltagem do sinal de saída;
6/55
SMU
• Transformação dos sinais analógicos em digitais;
•Digitalização do áudio ocorre em três etapas:
• Amostragem (sampling);
• Quantização (quantization);
• Codificação (coding).
7/55
SMU
• Conversão AD – Amostragem:
• Conjunto discretos de valores é amostrado em intervalos
temporais de periodicidade constante;
8/55
SMU
• Conversão AD – Amostragem:
• Teorema de Nyquist (frequência de Nyquist)
Se um sinal analógico possui frequência até fHz, a taxa de
amostragem deve ser ao menos 2fHz;
Se a frequência do sinal analógico é maior que a taxa de
amostragem ocorre aliasing (distorção);
Sinal original Sinal alias
• Para corrigir deve aplicar um
filtro passa baixa eliminando as
frequências maiores que a de
Nyquist, exemplos:
• Sons: maiores que 44.1kHz;
• Voz: maiores que 8kHz;
9/55
SMU
• Sistema Telefônico:
•Projetado para transmitir freqüências da voz humana (15 Hz
à 14 KHz)
• Por razões econômicas os sistema trabalham com
freqüências entre 300 e 3400 Hz (largura de banda 3,1 Khz)•Garante 85% de inteligibilidade (palavras compreendidas) e 60% de energia
da voz humana
• Largura de banda definida em 4 KHz•Evitar interferência entre sinais vizinhos
•Extremidades 0-300 Hz e 3,4 – 4 KHz são usadas como banda de guarda
• Freqüência de amostragem mais comum é 8 KHz
10/55
SMU
• Conversão AD – Quantização:
• As amostras contínuas é convertido em valores discretos;
• Dividir o domínio o sinal em um número fixo de intervalos;
• Exemplo de passo de quantificação - PCM (Pulse Colded
Modulation);
• Nº de níveis determina nº de bits necessários para representar
a amostra;
b = log2Q Q = 2b
b = bits;
Q = níveis de quantização;
11/55
SMU
• Conversão AD – Quantização:
SNR = 20log10(S/N)
N = q
S = 2bq
SNR = 20log10(2)=6b
S = amplitude máxima do sinal;
N = ruído;
SNR = signal-to-noise ratio;
q = quantization step;
12/55
SMU
• Conversão AD – Codificação:
• Conjunto de bits (code-word) é associado a cada valor
quantificado;
• Taxa de bit – produto entre a taxa de amostragem e o número
de bits;
Supondo uma taxa de amostragem de 8KHz e 8 bits de amostra, qual a taxa de bits?
13/55
SMU
• Humanos reagem a estímulos sensoriais físicos;
• A conversão do sinal digital para o analógico é necessária;
• Exemplos de qualidade de áudio:
14/55
SMU
• Problemas na representação digital:
• Distorção na codificação;
Sinal gerado após a conversão AD não é idêntico ao original;
Para resolver tem que aumentar a taxa de amostragem e o número
de bits usados na codificação;
• Capacidade de armazenamento limitada.
Algoritmo de Compressão de dados;
15/55
SMU
• Padrão MIDI
• Qualquer som pode ser representado como um sinal de som digitalizado;
• Uma característica é que não preserva a semântica do som;
• Computador não consegue diferenciar uma amostra é parte de uma música ou de uma fala.
• Algumas representações de som preservam a semântica da informação;
• Pode ser codificada atributos como voz masculina ou feminina, sotaque e taxa de palavras.
• A música também pode ser descrita de uma maneira simbólica;
• notas musicais e partituras
16/55
SMU
• Padrão MIDI
•Musical Instrumental Digital Interface proposto pelos maiores fabricantes de instrumentos musicais;
• É um padrão de conector e um protocolo de comunicação entre instrumentos musicais;
• Permite que dispositivos interajam e trabalhem em sincronia com outros dispositivos compatíveis com MIDI;
• O padrão MIDI define: sequência de notas, condições temporais e 127 instrumentos diferentes;
• Possibilidade de criar músicas no computador em software que permite edição de notas e partituras;
17/55
SMU
• Padrão MIDI
• Músicas editadas podem ser ouvidas em sequenciadoresMIDI;
• Arquivo áudio MIDI são mais compactados que os de amostragens digitalizadas
Desvantagens:
• Processamento extra de informações;
• Imprecisão do som, que varia conforme o dispositivo usado para a apresentação;
18/55
SMU
• Exemplos de aplicações para edição e composição de áudio
19/55
Sound ForgeAnvil Studio
Vídeo 1 – A Origem, Oscar 2011 de melhor edição de som e mixagem de som
SMU
20/55
SMU
Imagens Binárias
• Dois níveis de cor (ex. preto e branco);
• Muito utilizado em dispositivos de impressão;
• Um pixel de uma imagem binária tem apenas 1 bit;
21/55
SMU
Imagens Monocromáticas Tons de cinza
• Descrita pela intensidade da luz que é função de duas ou três
coordenadas espaciais;
• Câmeras de luminância captam a imagem em tons de cinza e
gera o sinal da intensidade luminosa da imagem;
• Imagem com resolução de cores de 8 bits pode representar 256
tons de cinzas;
• Padrões mais usados são de 16 e 256 tons de cinza (4 e 8
bits/pixel);
22/55
SMU
Captura Monocromáticas
• A lente foca imagens de uma cena em uma superfície
fotossensível, apenas a luminância é capturada;
•Sensores CCD (charge coupled device) monocromático captam o
tom de cinza que incide em cada célula;
• Brilho de cada ponto é convertido em uma carga elétrica;
• Superfície fotossensível é rastreada por um feixe de elétrons;
• Imagem ou cena é convertida em sinais elétricos contínuo;
• Câmeras de luminância são
usadas em aplicações de visão
computacional;
23/55
SMU
Imagens Coloridas
• Descrita através de formas de ondas;
• Objetos refletem diferentes formas de ondas;
24/55
SMU
Sistema de Cores
• Luz visível;
• Radiação eletromecânica que tem comprimento de onda
entre 400nm e 780nm;
• Propriedade: Luminância (brilho), nuança (cor), saturação;
25/55
SMU
Sistema de Cores RGB
• Teoria Tristimulus;
• A cor é representada pela intensidade de vermelho (red),
verde (green), azul (blue);
• Valores varia de 0 a 255;
26/55
SMU
Tipos de Câmeras Coloridas
• Modos de geração de sinais analógicos:
Sinais RGB
sinal é separado pelas cores básicas;
utilizado em câmeras e gravadores profissionais, imagens geradas
por computador, etc;
Sinal de vídeo composto
sinais das cores codificados em um único sinal;
padrões (NTSC, PAL-M, etc);
Sinal de luminância e crominância (S-vídeo)
imagem de melhor qualidade;
utilizados em vídeos DVD;
27/55
SMU
Tipos de Câmeras Coloridas
• Câmera de crominância (1 passo – 1 CCD)
Capta imagem em cores e gera sinal de vídeo composto colorido,
em apenas uma passagem;
Imagem não é profissional – utiliza um único CCD com filtros RGB;
Câmera doméstica de baixo custo;
28/55
SMU
Tipos de Câmeras Coloridas
• Câmera de crominância (1 passo – 3 CCD)
Capta imagem em cores e gera sinal de vídeo composto colorido,
em apenas uma passagem (S-vídeo ou RGB);
São usados 3 CCDs com filtros separados;
É utilizada em aplicações profissionais onde é necessário uma
imagem de boa qualidade;
29/55
SMU
Tipos de Câmeras Coloridas
• Câmera de crominância (3 passo – 1 CCD)
Capta imagem em cores e gera sinal de vídeo composto colorido,
em um processo de 3 passos;
É utilizado um único CCD e um filtro externo para cada componente
RGB;
É utilizada na aquisição de imagens espaciais;
A imagem tem que estar estática;
30/55
SMU
Captura de imagens digitais
• Câmera fotográfica digital
Funcionamento semelhante as câmeras fotográficas tradicionais;
A imagem é digitalizada através de um CCD;
É armazenada digitalmente em uma memória;
Pode ser compactada ou não;
A qualidade depende da resolução do CCD e da compressão
utilizada;
31/55
SMU
Captura de imagens digitais
• Scanner
Digitalizar imagens a partir de imagens no papel;
A imagem colocado sobre uma superfície transparente;
Sensor (digitalizador) se move em direção ortogonal ao documento;
Fonte de luz e sensor que mede a luz refletida linha por linha está
em sincronismo com o deslocamento do papel;
Resolução é definido em dpi (pixel por polegas);
32/55
SMU
Imagens digitais
• No computador são representadas por bitmaps;
• Bitmap é uma matriz espacial bidimensional de elementos
de imagens chamados de pixel;
• Pixel é o menor elemento da resolução de uma imagem;
33/55
SMU
• Três tipos de representação:
Cores por componente (True Color);
Cores indexadas;
Cores fixas;
34/55
SMU
True Color
• Cada pixel é representado por um vetor de 3 componentes cores;
• Cada componente é representado por um número de bits;
• Geralmente o número de bits para cada componente é igual (9 bits/pixel
= 3-3-3);
• Podem ser utilizadas diferentes resoluções para cada componente (8
bits/pixel = 3-3-2) o azul é menos sensível a percepção humana;
• Número bits/pixel fornece a quantidade de níveis para cada componente
de cor;
•Quantidade de níveis = 2n (n é a resolução por componente de cor);
35/55
SMU
Cores Indexadas
• Cada pixel é representado por um índice que aponta para a tabela de
cores (paleta);
• Paleta contém informações sobre as cores;
• 24 bits para cada cor (RGB);
• Pode representar n cores de um total de 16 milhões;
36/55
SMU
Cores Fixas
• Cada pixel é representado por um índice que aponta para a tabela de
cores fixas;
• Usado em dispositivos que não permitem representação de muitas
cores;
• Número de bits para representar um pixel depende do número de cores
fixas;
• ex. 16 cores = 4 bits/pixel;
37/55
SMU
Qual o tamanho das imagens?
1024 x 768
• True Color;
• Cores indexadas (paleta com 65.536 cores);
• Cores fixas (256 cores);
38/55
SMU
Sistema de Cores CMY
• Usado em dispositivo de impressão;
• Usam as cores secundárias;
Ciano (turquesa);
Magenta (púrpura);
Yellow (amarelo).
39/55
SMU
Sistema de Cores HLS
• Usa propriedades mais relevantes à percepção humana;
Luminância
amplitude da vibração luminosa (energia);
intensidade (nula = preto, máxima = branco);
Matriz
frequência dominante da vibração luminosa;
quantidade que distingue o azul do verde, do vermelho, etc;
Saturação
grau de pureza em relação a contaminação por outras cores;
mistura perfeita é o branco (saturação zero);
Tons muito saturado são brilhantes;
Tons menos saturado são pastel;
40/55
SMU
Sistema de Cores CIE 1931 XYZ
• Cor independente do dispositivo de apresentação;
• Uma cor é definida por três valores XYZ;
• Y define a luminância e XZ a cor;
• A luminância é uma característica mais importante que a cor para a
percepção humana;
• A identificação da luminância é importante para a compactação;
41/55
SMU
Imagens animada, Gráficos animados ou Vídeos Híbridos
• Sensação de movimento;
• Quadro (frame) é uma imagem individual de uma animação;
• Frequência de quadros é o número de frames apresentados
por segundo (fps);
42/55
SMU
Requisitos de armazenamento e taxa de bits
• Áudio
• Armazenamento = A*B*duração/8
• Taxa de bits = A*B
• (A = amostras/s e B = bits/amostras)
43/55
SMU
Requisitos de armazenamento e taxa de bits
• Áudio
Quais os requisitos de armazenamento e taxa de bits para
30 s de som com qualidade de telefone digital?
(Freq=8 KHz, Code Word=8 bits)
Armazenamento = 234,38 KbTaxa de transmissão = 62,5 Kbps
44/55
SMU
Requisitos de armazenamento e taxa de bits
• Imagens
• Armazenamento = H*V*P/8
• (H=pixel em cada linha, V=nº de linhas na imagem, P=nº de bit
por pixel)
• Largura de banda = H*V*P/t.
• (t=tempo de transmissão)
45/55
SMU
Requisitos de armazenamento e taxa de bits
• Imagens
Quais os requisitos de armazenamento e taxa de bits para transmitir uma imagem de 2304 x
1728, true color em 30 s?
Armazenamento = 11,39 MBTaxa de transmissão = 3,04 Mbps
46/55
SMU
Requisitos de armazenamento e taxa de bits
• Vídeos
• Armazenamento = (H*V*P/8)*fps*duração
• (H=pixel em cada linha, V=nº de linhas na imagem, P=nº de bit
por pixel)
• Largura de banda = H*V*P*fps
• (fps=quadros por segundo)
47/55
SMU
Requisitos de armazenamento e taxa de bits
• Vídeos
Quais os requisitos de armazenamento e taxa de bits para
um vídeo de 1 min, 30 quadros/s, com resolução 720x480, true color?
Armazenamento = 1,74 GBTaxa de transmissão = 237 Mbps
48/55
Tipos de Sincronização Sincronização intramídia
Amostras de áudio e quadros de um vídeo devem ser apresentados em intervalos fixos
49/55
Tipos de Sincronização Sincronização intermídia
Relacionamento temporais entre os componentes multimídia de uma aplicação
50/55
Requisitos de Atraso (Latência) e Variação de Atraso (Jitter) Atraso fim-a-fim
Soma de todos os atrasos em todos os componentes de um sistema multimídia
Acesso ao disco, conversão A/D, processamento no servidor, acesso a rede, transmissão, buffering, decodificação, conversão D/A
Atraso aceitável é subjetivo
Conversão ao vivo necessita manter a natureza interativa (150 a 400 ms)
Recuperação da informação em alguns segundos
51/55
Requisitos de Atraso (Latência) e Variação de Atraso (Jitter) Nas mídias contínuas a variação de atraso deve ser
pequena!
Garantia da sincronização
Pode ser eliminada com o uso de buffers
Armazenar uma quantidade de pacotes que chegam da rede permitindo ao player retirar, processar e apresentá-los a uma taxa fixa
52/55
Requisitos de Tolerância a Erros e Perda de Dados Erros ou perda de dados de áudio, vídeo e imagens são
tolerados
Depende da aplicação alvo!!!!
Percepção humana tolera a perda de informação sem perda semântica
Técnicas de recobrimento de erros
Aumenta a qualidade de áudio e vídeo em caso de perda de dados
53/55
Bibliografia WILLRICH, R. Sistemas Multimídia Distribuídos. Apostila do curso de Especialização em
Redes de Computadores, UFSC, agosto, 2004.
KERLOW, I. V. Art of 3D computer animation and effects , The - 4th ed / c2009
VELHO, L. Anais do SIBGRPI 96 : IX Simpósio Brasileiro de Computação Gráfica e Processamento de Imagens - 1 ed. / 1996
AGNEW, P. W.; KELLERMAN, A. S. Distributed Multimedia: Technologies, Applications, andOpportunities in the Digital Information Industry. A Guide for Users and Providers. AddisonWesley, 1996.
ENGLAND, E.; FINNEY, A.; FINNEY, A. Managing Multimedia. Addison Wesley, 1996.
GIBSON, J. D.; BERGER, T.; LINDBERGH, D. Digital Compression for Multimedia: Principles andStandards. Morgan Koufman, 1998.
FLUCKIGER, F. Understanding Networked Multimedia: applications and technology. Prentice Hall, 1995.
STEINMETZ, R, NAHRSTEDT, R. Multimedia: computing, communications & applications. Prentice Hall, 1995.
54/55
