sistemas multimídia por wandreson luiz brandino wandreson.com ([email protected])
TRANSCRIPT
Sistemas Multimídia
Sistemas Multimídia
por
Wandreson Luiz Brandino
wandreson.com
Sistemas Multimídia
Sistemas Multimídia
Sumário– Introdução– Conceitos Básicos
• Dados Discretos (texto e imagem)• Dados Contínuos (áudio e vídeo)
– Aplicações Multimídia Stand-Alone
Sistemas Multimídia
Sistemas Multimídia
Sumário (cont.)– Aplicações Multimídia Distribuídas
• Vídeo-Conferência• Vídeo sob Demanda• Correio Eletrônico Multimídia• Sistemas de Autoria
– HTML puro– FrontPage
– Meios Ópticos de Armazenamento
Sistemas Multimídia
Sistemas Multimídia
Sumário (cont.)– Compressão de Dados– Camada de Transporte– Camada de Redes– Qualidade de Serviço– Sincronização Multimídia– Modelos Hipermídia– Outros
Sistemas Multimídia
Objetivos do Curso
Fornecer uma visão teórica e prática da área de multimídia stand-alone e distribuída, abordando aspectos relativos ao armazenamento, transmissão e apresentação da informação multimídia.
Identificar os requisitos básicos para o processamento das informações multimídia
Sistemas Multimídia
1. Introdução
O que é Multimídia?– Tecnologia interdisciplinar que permite a
manipulação e integração, em computador, de diversos formatos de mídia (textos, imagens, áudio e vídeo).
Sistemas Multimídia
1. Introdução
A multimídia só se tornou uma realidade graças ao avanço em diversas áreas da computação:– Novas Interfaces Gráficas– Grande capacidade de armazenamento– Novas rede de alta velocidade
Sistemas Multimídia
1. Introdução
Sistemas Multimídia são um conjunto de Hardware e Software que possibilitam: criar, manipular, armazenar, transmitir e exibir informações de diversas natureza, como: texto, gráficos, imagens estáticas, voz (áudio) e vídeo
Sistemas Multimídia
1. Introdução
As aplicações multimídia são divididas em dois grandes grupos:– Multimídia Distribuída– Multimídia não-distribuída (Stand-Alone)
Sistemas Multimídia
1. Introdução
Multimídia Distribuída:– Executadas com o auxílio de redes de
computadores.– As informações estão distribuídas em
redes de computadores, podendo estar armazenada em diversos servidores com o objetivo de compor uma única apresentação multimídia
Sistemas Multimídia
1.1 Multimídia Distribuída
Cenário clássico de aplicações multimídia distribuídas:
Imagem
Áudio
Vídeo
Texto
Rede de altavelocidade DestinoOrigem
Sistemas Multimídia
1.2 Multimídia Stand-Alone
Nas aplicações multimídia Stand-Alone, todos os dados para a manipulação e apresentação dos dados multimídia encontram-se em uma única máquina.
Sistemas Multimídia
1.3 Aplicações
Várias aplicações podem ser vislumbradas a partir da união de multimídia + comunicação:– Apresentações Multimídia– Vídeo Conferências– Aprendizado à Distância– Trabalho Cooperativo– Difusão de programas de áudio e vídeo
Sistemas Multimídia
1.3 Aplicações
– Sistemas de Informação– Tele-diagnóstico Médico– Catálogos de Venda– Correios Eletrônicos Multimídia– Publicidade– Turismo– Escritório– Etc
Sistemas Multimídia
1.4 Sistema de Comunicação
As novas aplicações multimídia afetam profundamente as arquiteturas de comunicação clássicas como OSI e TCP/IP
Novos mecanismos de sincronização, multicasting, garantia de retardo (delay) e jitter são fundamentais nessa nova estrutura
Sistemas Multimídia
1.5 Perspectivas
A área de multimídia distribuída é uma área nova e ainda com muito a ser explorada.
Uma série de novas aplicações ainda estão por vir assim que os problemas de infra-estrutura, sobretudo nas redes de computadores, forem solucionados.
Sistemas Multimídia
2. Conceitos Básicos
Os dados multimídia podem ser divididos em dois grupos:
Dados Discretos– Não variam com o tempo
• Ex: Texto, gráficos e imagens estáticas
Dados Contínuos– Variam com o tempo
• Ex: Áudio e Vídeo
Sistemas Multimídia
2.1 Dados Discretos
Alta sensibilidade a erros Baixa sensibilidade a atrasos (delay) e
variação do retardo (jitter) Vazão (throughput) variável Tráfego em rajada (bursty traffic)
Sistemas Multimídia
2.1.1 Textos e Gráficos
Textos e Gráficos não suportam erros Podem tolerar algum retardo (delay) e
variação do retardo (jitter) Nos sistemas distribuídos, em caso de
erros, é necessário a retransmissão do dado
Vazão baixa, em torno de 3 Kbytes e em tráfego em rajadas
Sistemas Multimídia
2.1.2 Imagens
Exploram a baixa sensibilidade à distorção e os limites de contorno do sistema visual humano
Aceitam uma porcentagem de erro dependendo da qualidade, um pixel perdido em uma imagem de 320x240 pode não representar perda na sua legibilidade
Sistemas Multimídia
2.1.2 Imagens
Imagens são caracterizadas basicamente por dois atributos:– Resolução espacial ou dimensões,
expressas na forma de pixel x pixel– Pela quantidade de cores
• 1 bit, 2 cores• 8 bits, 256 cores• 24 bits, 16 milhões de cores
Sistemas Multimídia
2.1.2 Imagens
Requisitos de armazenamento maiores do que os textos– Uma imagem de 320 x 240 pixels, com 256
cores (8 bits) é da ordem de 75 Kbytes– Uma imagem de 1024 x 768 pixels, com
16 milhões de cores (24 bits) é da ordem de 2 Mbytes
Sistemas Multimídia
2.1.2 Imagens
Imagens podem ser do tipo:– Raster
• São descritas como uma mapa de pontos
– Vector• São descritas matematicamente
Sistemas Multimídia
2.1.2 Imagens
Existem vários formatos de imagem:
Form. Mac PC Raster Vector 1-Bit 2-Bit 4-Bit 8-Bit 16-Bit 24-Bit 32-Bit Comp
TIFF x x x x x x x x x x simPICT x x x x x x x x x x nãoJPEG x x x x x simPCX x x x x x x x x nãoBMP x x x x x x x nãoGIF x x x x x x x sim
Sistemas Multimídia
2.2 Dados Contínuos
Incluem o fator tempo Enorme espaço de armazenamento Severas restrições de desempenho,
tráfego e sistemas de arquivos Seus principais representantes são:
– Áudio– Vídeo
Sistemas Multimídia
2.2.1 Áudio
Voz e Áudio digital são bastantes sensíveis ao retardo máximo de transferência (delay) e à variação do retardo (jitter)
Esta característica é crítica principalmente em sistemas de tempo-real ou simplesmente no prazer de ouvir um CD no computador
Sistemas Multimídia
2.2.1 Áudio
Retardos maiores que 200 ms incomodam os interlocutores
Os padrões de telefonia estipulam 40 ms para distâncias continentais e 80 ms para distâncias intercontinentais
Sistemas Multimídia
2.2.1 Áudio
Exemplos de aplicações e a sua respectiva banda passante necessária
Aplicação Freq. Nyquist Quantização VazãoÁudio (telefonia) 8 kHz 8 bits 64 Kbps
Voz (alta qualidade) 16 kHz 14 bits 224 K bpsÁudio (CD) 44.1 kHz 16 bits 0.7 Mbps
Sistemas Multimídia
2.2.2 Vídeo
Vídeo é a mídia de maior demanda de armazenamento.– Um vídeo com qualidade NTSC não-
comprimido de 512 x 480 pixels, 24 bits de cor requer um espaço de 5,6 Mbits.
– A uma amostragem de 30 quadros por segundo, significa uma vazão de 168 Mbps
Sistemas Multimídia
2.2.2 Vídeo
Requisitos de armazenamento
1 MB
6.4 MB
500 MB
100 MB
550 MB
1 GB
Requisitos deArmazenamento
500 pags.de texto
100 imagens
(descomp.)
100 imagenscoloridas(comp 15:1)
10 min. deanimação(comp 15:1)
10 min. de vídeodigitalizado(comp 30:1)
1 hora de vídeo digitalizado(comp 200:1)
de fax
Sistemas Multimídia
2.2.2 Vídeo
Fica claro que técnicas de compressão precisam ser utilizadas
Existem técnicas de compressão– com perda– sem perda
A técnica utilizada vai depender da aplicação em questão
Sistemas Multimídia
2.2.2 Vídeo
Aplicações médicas por exemplo não vão permitir que se perca um bit se quer
Já aplicações de vídeo-conferência toleram taxas de erro em função do sistema visual humano
Sistemas Multimídia
3. Aplicações Multimídia Distribuídas As aplicações multimídia distribuídas
são classificadas pelo ITU-T da seguinte forma:
Serviços conversacionaisSeviços Interativos Serviços de mensagens
Serviços de recuperação/consultaServiços de Distribuição S/ controle individual da apresent.
C/ controle individual da apresent.
Sistemas Multimídia
3.1 Classificação do ITU-T
Serviços Conversacionais– Presença simultânea dos participantes
• Ex: Vídeo-Conferência ou vídeo-fonia
– Não existe a necessidade de armazenamento dos dados em nós intermediários
Sistemas Multimídia
3.1 Classificação do ITU-T
Serviços de Mensagens– Utiliza esquemas de armazena-retransmite
(store-forward) • Ex: Correio Eletrônico Multimídia
Serviços de Recuperação– Serviços sob demanda
• Ex: Vídeo sob Demanda, imagens de alta qualidade ou requisição de músicas
Sistemas Multimídia
3.1 Classificação do ITU-T
Serviços de distribuição sem controle– São serviços de difusão (broadcasting) via
rede de computadores– Não há nenhuma interação– Usuários não tem controle do início e do
término da informação apresentada• Ex: Programas de TV e áudio
Sistemas Multimídia
3.1 Classificação do ITU-T
Serviços de distribuição com controle– São basicamente os mesmos serviços de
distribuição sem controle, a menos de que o usuário tem o controle do início da transmissão
– ??????
Sistemas Multimídia
3.2 Exemplos de aplicações
Conferências Multimídia (Vídeo Conferência)
Trabalho Cooperativo (CSCW) Vídeo Sob Demanda Correio Eletrônico Multimídia Apresentações Multimídia Distribuídas
Sistemas Multimídia
3.2.1 Vídeo Conferência
Será dado ênfase ao sistema SCM - Um Sistema de Vídeo Conferência para Windows 95/NT desenvolvido no Laboratório de Pesquisas em Redes e Multimídia (LPRM) da UFES
Analisaremos alguns sistemas existentes Utilizaremos em laboratório o Microsoft
NetMeeting
Sistemas Multimídia
Vídeo Conferência (Introdução)
O que é?– É um ambiente onde os participantes,
geograficamente distribuidos, podem compartilhar áudio, vídeo e dados discretos de forma integrada
– Conferência multimídia não é só transmissão de áudio e vídeo
Sistemas Multimídia
Vídeo Conferência (Introdução)
Vantagens– Economia com viagens– Economia de tempo e dinheiro– Discussão rápida entre pessoas distantes,
agilizando o processo de tomada de decisões (reuniões virtuais)
Sistemas Multimídia
Vídeo Conferência (Introdução)
Objetivo– Protótipo de um sistema de conferência
multimídia
– Funcionalidades básicas para um ambiente de suporte à reuniões virtuais
Motivação– Plataforma Windows x Unix
– Domínio da tecnologia
– Manipulação de mídias contínuas
Sistemas Multimídia
Características Desejáveis Recomendações F.730, T.120 e H.320 do
ITU-T– Ambiente de reunião virtual– Transmissão de áudio e vídeo– Manipulação de documentos compartilhados– Suporte à votação– Gravação– Segurança– Compressão– Transmissão Multicasting
Sistemas Multimídia
Sistemas Existentes
CU-SeeMe (Cornell University) IVS (INRIA) nv - Network Vídeo (Xerox PARC) TVS (PUC-Rio) vic, vat, wb e sd (Lawrence Berkeley
Laboratory and University of California at Berkeley)
Sistemas Multimídia
CU-SeeMe
Ambiente Windows/Machintosh Necessita de uma máquina UNIX para
hospedar o programa responsável pela distribuição dos dados
Sistema centralizado Manipula áudio/vídeo e uma área de
chat público
Sistemas Multimídia
CU-SeeMe Configuração de uma conferência
baseada em reflector
Usuáriio 2 Usuário 3
Reflector lector
Usuáriio 1
Sistemas Multimídia
CU-SeeMe
Sistemas Multimídia
IVS
Ambiente UNIX Segue os padrões de codificação de áudio e
vídeo do ITU-T Gravação de trechos da conferência Mecanismo de segurança por chave pública Utiliza a Infra-estrutura de comunicação do
Mbone Manipula áudio e vídeo
Sistemas Multimídia
IVS
Sistemas Multimídia
nv
Ambiente UNIX Utiliza o protocolo RTP (Real Time
Protocol) e o Mbone Manipula somente vídeo
Sistemas Multimídia
nv
Sistemas Multimídia
TVS
Ambiente UNIX Segue as normas do ITU-T Utiliza o TCP/IP Manipulação de áudio e vídeo Manipulação de documentos compartilhados
baseada no MCA (Modelo de Contextos Aninhados)
Troca de mensagens entre os participantes Votação
Sistemas Multimídia
TVS
Sistemas Multimídia
vic, vat, wb e sd
Ambiente UNIX Utilizam a infra-estrutura de
comunicação do Mbone O vic é um sistema de transmissão de
vídeo com várias opções de configuração de imagens e formatos de compressão
Sistemas Multimídia
vic, vat, wb e sd O vat é um sistema de transmissão de áudio.
O controle de acesso à fala é através de inscrição em lista
O wb é uma ferramenta de trabalho cooperativo (parecida com o PaintBrush). A manipulação é feita por apenas um participante a cada vez
O sd é um sistema que permite integrar o vic, vat e o wb e divulgar as conferências. Não implementa a sincronização de áudio e vídeo
Sistemas Multimídia
vic
Sistemas Multimídia
vat
Sistemas Multimídia
wb
Sistemas Multimídia
sd
Sistemas Multimídia
Arquitetura SCM
SCM - Sistema de Conferência Multimídia
Segurança
Rede
MCS (Multipoint Communication Service) Ponto-a-Ponto
MFTP Chat ControleVídeo Áudio CSCW Votação
Sistemas Multimídia
Módulos do SCM
Módulo de Controle– Criação de Conferências– Inclusão de usuário em conferências já
existentes– Manutenção da relação de participantes– Controle de concorrência para vídeo,
trabalho cooperativo, votação e transferência de arquivos
Sistemas Multimídia
Módulos do SCM
Módulo Servidor de Conferências (SC)– Manutenção das conferências públicas
ativas e seus participantes– Manutenção destas informações para
acesso via Web e SCM
Sistemas Multimídia
Módulos do SCM
Módulo de Áudio e Vídeo– Implementa os serviços audio-visuais– Interface entre os dispositivos de entrada
(câmera e microfone) com o SCM
Sistemas Multimídia
Módulos do SCM
Módulo de Chat– Comunicação via teclado, muito útil
quando um dos participantes não tem recursos de áudio ou a rede está congestionada
– Não existe controle de vez
Sistemas Multimídia
Módulos do SCM
Módulo de Trabalho Cooperativo– Disponibiliza uma área comum de trabalho– Possibilidade de desenhar e escrever
nesta área– Emprega controle de concorrência por
inscrição em lista
Sistemas Multimídia
Módulos do SCM
Módulo de Votação– Responsável pela criação e apuração dos
resultados de uma votação– A votação é aberta e o voto é obrigatório
Sistemas Multimídia
Módulos do SCM
Módulo de Transferência de Arquivos (MFTP)– Troca de arquivos entre todos os
participantes da conferência– Utiliza a estrutura de comunicação
Multicasting
Sistemas Multimídia
Módulos do SCM
Módulo de Segurança– Senha para entrar na conferência
Módulo de Multicasting– Responsável por minimizar o tráfego na
rede, através de configuração manual de roteamento
Sistemas Multimídia
Utilizando o SCM
Iniciando uma Sessão
Criando uma conferência
Sistemas Multimídia
Utilizando o SCM
Informações Pessoais
Sistemas Multimídia
Utilizando o SCM
Membros da Conferência
Sistemas Multimídia
Utilizando o SCM
Conectando-se a uma conferência
Sistemas Multimídia
Utilizando o SCM
Conferências Públicas Disponíveis
Sistemas Multimídia
Utilizando o SCM
O Servidor de Conferências (SC)
Sistemas Multimídia
Utilizando o SCM Lista de Conferências Públicas via Web
Sistemas Multimídia
Utilizando o SCM Participantes de uma conferência via
Web
Sistemas Multimídia
Utilizando o SCM Estabelecendo a configuração
multicasting
Usuário 1
Usuário 3
Usuário 2
Sistemas Multimídia
Utilizando o SCM
Estabelecendo a configuração multicasting
Máquina Local Usuáriorobson-win95.cs.ubc.ca
(142.103.10.55)Canadá Wandreson Luiz Brandino
piuma.lprm.inf.ufes.br(200.241.16.180)
Brasil José Gonçalves PereiraFilho
manguinhos.lprm.inf.ufes.br(200.241.16.182)
Brasil Verner Berger Júnior
Sistemas Multimídia
Utilizando o SCM Configurando a máquina:
– robson-win95.cs.ubc.ca
Sistemas Multimídia
Utilizando o SCM Configurando a máquina:
– piuma.lprm.inf.ufes.br
Sistemas Multimídia
Utilizando o SCM Configurando a máquina:
– manguinhos.lprm.inf.ufes.br
Sistemas Multimídia
Utilizando o SCM
O serviço de chat público
Sistemas Multimídia
Utilizando o SCM
O serviço de Chat Privado– Conectando-se a um participante
Sistemas Multimídia
Utilizando o SCM
O serviço de Chat Privado
Sistemas Multimídia
Utilizando o SCM
Votação– Criando um assunto para votação
Sistemas Multimídia
Utilizando o SCM
Votação– Votando em uma opção
Sistemas Multimídia
Utilizando o SCM
Votação– Resultado da votação
Sistemas Multimídia
Utilizando o SCM Transferência multicasting de arquivos
Sistemas Multimídia
Utilizando o SCM
Vídeo Local– Utiliza a API VFW.H
Sistemas Multimídia
Utilizando o SCM
Vídeo Local– Definindo o formato da imagem
Sistemas Multimídia
Utilizando o SCM
Vídeo Local– Definindo o tipo de compressão
Sistemas Multimídia
Utilizando o SCM
Vídeo Remoto
Sistemas Multimídia
Utilizando o SCM
Lista para deter o token de áudio e vídeo
Sistemas Multimídia
Utilizando o SCM Área de trabalho cooperativo
– O controle de token segue o mesmo princípio do áudio e vídeo
Sistemas Multimídia
Considerações sobre o SCM
Mídia Contínua x Arquitetura de Comunicação
Sistema Operacional Inclusão de novas facilidades Suporte a Multicasting: Winsock 2.0,
MCS, ATM Módulo de trabalho cooperativo
Sistemas Multimídia
3.2.2 Trabalho Cooperativo Auxiliado por Computador Extensão das conferências multimídia Fornecer acesso a uma área
compartilhada de trabalho Documentos podem ser conjuntamente
criados, editados e transferidos entre os conferencistas
Sistemas Multimídia
3.2.2 Trabalho Cooperativo Auxiliado por Computador Exemplo:
– Vários médicos, geograficamente distantes, analisando exames de um paciente
– Editoração Eletrônica– Aplicações Cientifícas
Sistemas Multimídia
3.2.2 Trabalho Cooperativo Auxiliado por Computador Vários sistemas já foram desenvolvidos
com essas características– JVTOS– University of Ottawa Distributed
Cooperative System– Virtual Talker– Microsoft NetMeeting (utilizaremos no
laboratório)
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
Convergência das tecnologias de computadores, comunicação e televisão
Permite que um usuário assista a um filme, documentário, programa de entrevista, jornal, etc através do seu computador a qualquer hora em qualquer lugar
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
O usuário tem controle total do que assistir e quando assistir
Possui as funcionalidades básicas de um vídeo cassete virtual (avançar, retroceder, parar, etc)
Inclusão de hiperlinks no documento, permitindo que o usuário veja maiores informações sobre aquele produto
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
Interatividade Aplicações de Vídeo sob Demanda
usadas em conjunto com as aplicações de vídeo conferência e trabalho cooperativo permitem formar um ambiente para o ensino à distância
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
Grande desafio é a banda passante, já que não é possível usar o conceito de multicasting
Nos horários de pico os filmes muito solicitados exigem mecanismos mais eficientes de distribuição e armazenamento
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
O sistema deve prover um Qualidade de apresentação constante para o usuário final independente de quantos usuários estejam acessando o serviço
Novos mecanismos de busca estão sendo estudados do tipo: Achar o filme que tenha a cena X ou que contenha o ator Y, etc
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
Os vídeos são gravados no servidor com mecanismos de compressão para minimizar o seu tamanho e a banda passante necessária
Vários servidores podem ser utilizados para diminuir a carga no Backbone
O conceito de replicação é altamente encorajado
Sistemas Multimídia
3.2.3 Vídeo Sob Demanda
A largura de banda necessária é da ordem de 1,5 à 6 mbps
Redes como ATM tendem a ser tornar padrão para essa classe de serviços
O MPEG-2 é um padrão de compressão utilizado para dados pré-armazenados
Sistemas Multimídia
3.2.4 Correio Eletrônico Multimídia Mesmo com a explosão da Web o
correio eletrônico é ainda a aplicação mais usada na Internet
Os correios eletrônicos tradicionais permitem a transmissão somente de texto
Os correios eletrônicos mais modernos permitem arquivos attachados
Sistemas Multimídia
3.2.4 Correio Eletrônico Multimídia O correio eletrônico multimídia permite
transferir áudio, vídeo, imagem e texto de forma integrada
Enorme espaço de armazenamento Correios eletrônicos multimídia não
utilizam esquemas de store-forward para não sobrecarregarem o sistema de comunicação e armazenamento final
Sistemas Multimídia
3.2.4 Correio Eletrônico Multimídia Em geral, apenas as referências às
mídias são enviadas. Estas ficando no servidor de origem ou em outros servidores
Antes da transferência ser realizada pelo receptor, este verifica se a máquina possui recursos para apresentar os dados
Sistemas Multimídia
3.2.4 Correio Eletrônico Multimídia Um problema que se apresenta é que a
leitura de uma mesma mensagem duas vezes fará com que o sistema de comunicação tenha que busca-lá novamente
Sistemas Multimídia
3.2.5 Apresentações Multimídia Distribuídas Apresentações multimídia podem ser
utilizadas para as mais diversas finalidades:– Preparação de Slides– Catálogos de informações turísticas– Sistemas de informação em medicina,
comércio e industria– Museu Virtual, etc
Sistemas Multimídia
3.2.5 Apresentações Multimídia Distribuídas Em sistemas Stand-Alone os principais
produtos são:– Multimedia ToolBook para PC– Macromedia Director para Apple Macintosh
Nestes sistemas todas informações necessárias à apresentação se encontram localmente
Sistemas Multimídia
3.2.5 Apresentações Multimídia Distribuídas As ferramentas de autoria devem
prover mecanismos para especificação de sincronismo entre as mídias– Ex: Mostrar um áudio e um vídeo e quando
a cena A for apresentada mostrar uma figura com um texto associado
Considerar que as mídias podem chegar em tempos diferentes
Sistemas Multimídia
4. Meios Ópticos de Armazenamento Falaremos depois
Sistemas Multimídia
5. Compressão de Dados
A compressão de dados é fundamental quando se trata de dados multimídia. Devido ao fato da grande quantidade de armazenamento de largura de banda
E pela redundância que os dados em si apresentam– Ex: Frames de um vídeo
Sistemas Multimídia
5. Compressão de Dados
A compressão pode se dar em tempo-real, como nas vídeo conferências ou em dados pré-armazenados como em aplicações do tipo vídeo sob demanda
Pode-se ainda compactar imagens estáticas
Sistemas Multimídia
5.1 Considerações sobre a Aquisição de Sinais Contínuos Como em geral os dados multimídia
são adquiridos por dispositivos analógicos (câmeras, microfones, etc), o primeiro problema que se coloca é a conversão analógico x digital.
É feita em duas fases:– Amostragem– Quantização
Sistemas Multimídia
5.1 Considerações sobre a Aquisição de Sinais Contínuos Amostragem
– Transformar o sinal em números reais– Quanto maior o número de amostras maior
é a faixa de frequência coberta– O teorema de Nyquist diz que para
garantirmos a qualidade do sinal devemos amostrar pelo menos 2 vezes a frequência do sinal.
Sistemas Multimídia
5.1 Considerações sobre a Aquisição de Sinais Contínuos Amostragem
• Ex: Devemos amostrar em torno de 8 kHz de um sinal de voz com qualidade de telefonia (300 à 3400 hz)
Quantização– As amostras são representadas por um
número finito de bits– Quanto menor o número de bits pior será a
qualidade do sinal reconstituído
Sistemas Multimídia
5.2 Métodos de Compressão
As técnicas de compressão podem ser divididas em duas categorias:– Compressão com perda (lossy techniques)– Compressão sem perda (lossless
techniques) ou compactação
Sistemas Multimídia
5.2 Métodos de Compressão
Técnicas com perda são utilizadas em aplicações multimídia para diminuir a quantidade de dados, principalmente em aplicações onde o usuário final é o ser humano. Pelas características do seu sistema áudio-visual
Sistemas multimídia usam solução híbridas de compressão de dados
Sistemas Multimídia
5.2 Métodos de Compressão Existem três classes de compressão:
– Entropia (entropy)• Independente da característica da mídia. Ex:
pkzip, arj, etc
– Fonte (source)• Leva em conta a semântica dos dados. A taxa
de compressão é função da qualidade desejada (compressão com perda)
– Híbrida (Hybrid)• Utiliza-se dos dois. Ex: JPEG, MPEG, H.261, etc
Sistemas Multimídia
5.2.1 Técnicas de Compactação
São aplicáveis a qualquer tipo de dado– Codificação por Carreira
• Utilizado em arquivos onde um mesmo símbolo é repetido várias vezes.
• Ex: ABCCCCCCCCDEFGG = ABC!8DEFGG• Não é raro os casos onde acontece expansão,
principalmente em arquivos onde os símbolos não se repetem muito
Sistemas Multimídia
5.2.1 Técnicas de Compactação
Código de Huffman– Cada símbolo esta associado a uma
probabilidade de ocorrência– Quanto menor a probabilidade do símbolo,
mais bits são necessários para codifica-lo– A qualidade da compactação é função da
amostragem
Sistemas Multimídia
5.2.1 Técnicas de Compactação
Algoritmo de Lempel-Ziv– Muito eficiente para a codificação de textos– Não apresenta bons resultados com dados
de sinais analógicos digitalizados– Parecido com o código de Huffman.
Entretanto, a árvore é gerada por sequências de caracteres, diferente de Huffman que é somente um caracter.
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Em uma imagem monocromática cada
pixel esta associado a um tom de cinza Em uma imagem colorida cada pixel
possui três componentes: RGB (Red, Greend e Blue)
Uma imagem colorida é formada pela sobreposição destas três imagens
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo As componentes RGB não são apropriadas
para transmissão de imagens Foi criada uma nova notação para
representar as cores. Um pixel possui as componentes (Y,U,V)
Y - Luminância (Brilho) (U,V) - Crominância ou sensação de cor
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Pode-se transformar de uma notação
para outra. Exemplo, no sistema PAL, que utiliza 576 pixels/linha, esta conversão é feita por:
Y = 0,2999R + 0,587G + 0,114B U = -0,147R - 0,289G + 0,437B V = 0,615R - 0,515G - 0,100B
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Técnicas de compressão de vídeo
procuram explorar a alta redundância espacial e temporal existente nesta mídia
Em geral, são utilizadas técnicas com perdas, que são altamente eficientes para dados analógicos digitalizados
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Estas técnicas exploram as limitações e
características do sistema visual humano
Sabe-se que o sistema humano é mais sensível à informação de luminância do que a crominância (sensação de cor)– Pode-se usar então um número menor de
bits para o sinal de crominância
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação Diferencial Preditiva
– Explora a alta relação que existe entre um frames consecutivos
• Ex: O fundo de uma aplicação de vídeo-conferência
– Apenas a diferença entre a previsão e o valor real da amostra é codificada, armazenada e transmitida
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação por Transformada
– Os dados são transformados de um domínio matemático para outro mais adequada ao método de compressão
– Os dados são transformados do domínio do tempo para o domínio da frequência através da transformada de Fourier
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação por Transformada
– Cada pixel é transformada em um coeficiente de energia dependendo de sua cor
– Nota-se que a maior parte da energia concentra-se em poucas amostras
– Codifica-se então as amostras com níveis significantes de energia
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação por Transformada
– Passos a serem realizados na transformação de domínios
• Escolha da transformada. A transformada discreta do Cosseno (DCT - Discrete Cossine Transformation) é a mais empregada devido ao excelente grau de “descorrelação” entre os pixels e fácil implementação
• Divisão da imagem em blocos de 8 x 8
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação por Transformada
• A transformada é então aplicada a cada bloco• São quantizados os coeficientes de maior
energia, para serem transmitidos e/ou armazenados
• Utiliza-se codificação por entropia, como o código de Huffman, para eliminar as redundâncias
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação por Sub-Amostragem
– Técnica utilizada quando a qualidade de vídeo não é importante
– Somente um pixel é transmitido/enviado no codificador (encoder)
– No decodificador (decoder), este pixel é interpolado para regenerar a imagem
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Codificação por Sub-Bandas
– A idéia central é codificar com um maior número de bits as informações que o sistema visual humano presta mais atenção
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Outras técnicas
– Codificação baseada em modelos• O transmissor e o receptor fazem um acordo à
respeito da imagem, e somente os parâmetros que são alterados na imagem são enviados. Por exemplo a posição que uma determinada pessoa ocupada em um cenário
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Outras técnicas
– Fractais• A idéia básica é transformar uma imagem
estática em um conjunto de funções matemáticas que ao serem executadas gerem a imagem original.
• Esta técnica é utilizada para sistemas pré-armazenadas porque o tempo necessário para encontrar a fórmula é muito alto
Sistemas Multimídia
5.2.2 Técnicas de Compressão de Vídeo Outras técnicas
– Estimação do Movimento• A imagem é dividida em regiões e estima-se a
posição de uma região de um quadro a partir de suas posições em quadros anteriores
Sistemas Multimídia
5.3.1 Fatores a considerar na escolha do método Tipo de Aplicação
– O método de compressão é dependente da aplicação.
– Para aplicações de tempo-real (ex: vídeo-conferência), deve-se escolher algoritmos rápidos preferencialmente com implementação em hardware. Métodos Preditivos + transformadas são bons candidatos (H.261 / H.263)
Sistemas Multimídia
5.3.1 Fatores a considerar na escolha do método Tipo de Aplicação
– Para aplicações com dados pré-armazenados, deve-se analisar a taxa de compressão e a qualidade da imagem desejada bem como a facilidade de decodificação proporcionada pelo método
• Ex: MPEG-2 ou MPEG-3 para vídeo sob demanda
Sistemas Multimídia
5.3.1 Fatores a considerar na escolha do método Confiabilidade do canal de transmissão
– Se o canal não for confiável, métodos de codificação preditivos devem ser evitados (por causa da propagação de erros)
Interatividade da aplicação– Se o acesso randômico a uma frame
particular é requerido a codificação intra-frame é mais aplicável
Sistemas Multimídia
5.4 Padrões de Codificação de Vídeo A fim de prover interoperabilidade entre
sistemas de diferentes fabricantes padrões de codificação são definidos
JPEG. Utilizado para imagens estáticas MPEG. Imagens em movimentos pré-
armazenadas H.261 / H.263. Imagens em movimento
geradas em tempo real
Sistemas Multimídia
5.4.0 JPEG
Olhar no quadro
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group O MPEG é um grupo de estudo da ISO,
que tinha por objetivo definir um padrão de compressão de filmes e vídeos com qualidade e utilizando a infra-estrutura atual
O MPEG utiliza a idéia básica do JPEG, haja visto que uma imagem em movimento é um conjunto de imagens estáticas
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Além da compressão de vídeo,
questões de codificação de áudio e sincronização entre áudio e vídeo também foram resolvidas
MPEG Vídeo necessita de 1,5 Mbps MPEG áudio realiza compressão à 64,
92 ou 128 Kbps
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Formação dos frames
– Existem três tipos de frames no padrão MPEG
• Intra-Frame (I)• Preditas (P)• Bidirecionais (B)
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Intra-Frame (I)
– São simplesmente a codificação da imagem parada, não usando qualquer passado histórico
– Sua codificação é feita independente de outros frames
– Servem para a entrada do acesso randômico além de ressetar a propagação de erros
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Intra-Frame (I)
– A codificação do frame é feita utilizando o JPEG
Os outros frames (P e B) utilizam a técnica de estimação de movimentos para remover as redundâncias temporais
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Frames do tipo P
– Estes frames são previstos com base nos frames do tipo I ou P mais recentes
– Base-a na constatação de que imagens sucessivas não tem toda sua área alterada e sim um deslocamento
– Alta redundância temporal é aproveitada
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Frames do tipo B
– Estes frames são obtidos pela interpolação de frames do passado e do futuro, a partir de frames I e/ou P
– A maior taxa de compressão é conseguida usando estes frames
– Um frame B nunca esta disponível para acesso randômico
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group O espaçamento relativo entre os frames
é dependente da aplicação– Ex: Frames I pouco espaçados permitem
acesso randômico mais rápido Uma combinação bastante usada é:
IBBPBBPBBIBBPBBPBB… Neste caso o acesso randômico teria
uma resolução de 9 frames
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group No Decoder, o frame do tipo I é
decodificado primeiro Em seguida o frame do tipo é mantido
na memória e os frames do tipo B são então decodificados, e só então o frame B é apresentado
Sistemas Multimídia
5.4.1 MPEG - Motion Picture Expert Group Atualmente o MPEG-2 é o padrão para
compatação/descompatação de imagens pré-armazenadas até 720x480 pixels a 60 frames por segundo
MPEG-2 também será utilizado na televisões de alta definição (HDTV)
MPEG-4 utiliza compressão fractal (ainda esta em padronização)
Sistemas Multimídia
6. Camada de Transporte
É responsável pela comunicação fim-a-fim
Total independência aos elementos de rede
Exemplos de camada de transporte incluem:– TCP, UDP, TP4, etc
Sistemas Multimídia
6. Camada de Transporte
A camada de transporte é responsável– Gerência de conexões– Transferência de dados– Detecção e correção de erros– Sequenciamento dos dados– Controle de fluxo
Sistemas Multimídia
6. Camada de Transporte
Os protocolos de transporte clássicos são inadequados para as redes de alta velocidade. Vários protocolos surgiram para solucionar então o problema– MHTP (Multimedia High-Speed Transport
Protocol)– XTP (Xpress Transfer Protocol)– RTP (Real Time Transfer Protocol)
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Primeiramente é preciso entender que
as redes multi-serviços de alta velocidade (ex: ATM) possuem características bem diferentes das atuais redes:– Velocidades na ordem de gigabits– Taxas de erro na ordem de 10-12
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Nas redes atuais temos
– 10/100 Mbps para LANs– 10-50 Mbps para WANs– Taxa de erro da ordem de 10-4
Como os protocolos de Transporte foram desenvolvidos para estas redes, eles procuram superar deficiências da própria rede, como as perdas de pacote
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Entre as limitações podemos citar:
– Altos retardos de transmissão– Perdas de pacotes devido a
congestionamento ou perda de pacote pela rede
– Entrega errônea de dados– Overflow no nós da rede
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos
– Formatos Complexos dos pacotes– Cabeçalhos com tamanho variávels– Modelo de máquina sequêncial dificulta o
processamento paralelo
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Para aplicações multimídia ainda é
exigido dos novos protocolos:– Suporte a dados contínuos (áudio e vídeo)– Sincronização– Comunicação multiponto– (Re)negociação de QoS– Convivência com novas taxas aceitáveis
de erros
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Os protocolos de transporte foram
projetados em um cenário onde a capacidade de processamento das máquinas era maior do que a capacidade de processamento das redes
Hoje o cenário é exatamente o oposto
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Conceitos como
– three-way handshaking– Go-back-N– Esquemas de Janela deslizante para
controle de fluxo passaram a ser um problema,
comprometendo a performance do sistema
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos Alguns problemas dos protocolos atuais
para aplicações multimídia– TCP suporta apenas conexões ponto-a-
ponto. Conexões multicasting devem ser providas pelo UDP
– Não existe o conceito de gerência de grupo. Útil para definir por exemplo parâmetros de segurança para todo o grupo
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos
– TCP provê pouco suporte para controle de prioridade, fundamental em sistemas de tempo-real
– TCP suporta apenas transmissão confiável, transmitindo o dado várias vezes, até que ele chegue correto
– UDP implementa um serviço onde o transmissor nunca sabe se o receptor recebeu ou não um dado
Sistemas Multimídia
6.1 Limitações dos Protocolos de Transporte Clássicos
– Para mandar um único dado, o TCP envia 6 pacote
• 2 para estabelecer/aceitar a conexão• 2 para transmitir e confirmar os dados• 2 para terminar a conexão
– TCP, UDP e TP4 utilizam políticas fixas que independem da aplicação, como por exemplo o controle de fluxo ou tolerância a falhas, etc