sistemas multimídia · 3 sistemas multimídia ementa ü 1a.parte: • introdução • mídias...
TRANSCRIPT
1
Sistemas Multimídia
Sistemas Multimídia
Profa. Débora Christina Muchaluat Saade [email protected]
Departamento de Ciência da Computação - UFF
2
Sistemas Multimídia
Sistemas Multimídia
ü Objetivo: • Dar uma visão geral sobre codificação digital de
dados multimídia, sistemas multimídia e hipermídia e requisitos de aplicações multimídia com relação à infraestrutura de telecomunicações.
3
Sistemas Multimídia
Ementa
ü 1a. Parte: • Introdução • Mídias Discretas e Contínuas • Técnicas de Compactação e Compressão • Texto, Imagem, Áudio, Vídeo
ü 2a. Parte: • Sistemas Multimídia e Hipermídia • Linguagens de Autoria Multimídia
ü 3a. Parte • Protocolos de Streaming • Infraestrutura de Comunicação em Redes Multimídia
4
Sistemas Multimídia
Introdução
ü Definição de mídia ü Definição de multimídia ü Tipos de mídia ü Sistemas multimídia ü Aplicações multimídia ü Desafios da Multimídia
5
Sistemas Multimídia
Mídias Discretas e Contínuas
ü Classes básicas de tráfego • CBR, rajada, VBR
ü Mídias Discretas • Texto • Gráficos e Imagens Estáticas
ü Mídias Contínuas • Digitalização de Sinais • Áudio • Vídeo
6
Sistemas Multimídia
Técnicas de Compactação e Compressão
ü Compactação X Compressão ü Técnicas de Compactação
• Codificação por carreira • Codificação por Shannon-Fano • Codificação de Huffman • Codificação de Lempel-Ziv-Welch (LZW) • Codificação aritmética
7
Sistemas Multimídia
Técnicas de Compactação e Compressão
ü Técnicas de Compressão • Redução do domínio • Redução do espaço de quantização • Codificação preditiva • Codificação por sub-bandas • Codificação por transformadas • Quantização vetorial
ü Mídia Texto
8
Sistemas Multimídia
Imagem Estática
ü BMP ü GIF ü TIFF ü PNG ü JPEG ü JPEG-2000
ü Imagem Gráfica - SVG
9
Sistemas Multimídia
Áudio
ü Sinal de Voz • PCM e variações
– ITU-T G.711, G.721, G.722, G.726 • LPC (Linear Predictive Coding) • CELP (Code-excited LPC)
– ITU-T G.728, G.729, G.729(A), G.723.1
10
Sistemas Multimídia
Áudio
ü Codificação Perceptual – Modelo Psicoacústico • Mascaramento de frequências • Mascaramento temporal
ü MPEG Layer 1, Layer 2, Layer 3 (MP3) ü Dolby Digital AC-3 ü DTS (Digital Theater Systems) ü MPEG-2 AAC ü MPEG-4 HE-AAC
11
Sistemas Multimídia
Vídeo
ü Princípios da Compressão de Vídeo • Redundância inter-quadro
– Estimativa de Movimento
ü H.261 ü H.263 ü MPEG-1 ü MPEG-2 ü MPEG-4 ü H.264
12
Sistemas Multimídia
Sistemas Multimídia e Hipermídia
ü Multimídia x Hipermídia ü Documentos Hipermídia
• Objetos de Mídia • Relações
ü Modelos Hipermídia ü Entidades Hipermídia
• Nós • Âncoras • Elos • Composições
ü Modelos para Sincronização Temporal ü Autoria e Formatação Hipermídia
13
Sistemas Multimídia
Linguagens de Autoria Multimídia
ü Linguagem HTML ü Linguagem SMIL ü Linguagem NCL
14
Sistemas Multimídia
Protocolos de Streaming
ü Protocolos de Streaming • RTP, RTCP, RTSP
ü Streaming Adaptativo • MPEG-DASH
15
Sistemas Multimídia
Infraestrutura de Comunicação em Redes Multimídia
ü Comunicação Multicast
ü Provisão de Qualidade de Serviço – QoS • QoS na Internet: IntServ e DiffServ
16
Sistemas Multimídia
Bibliografia
ü Multimedia Communications: Applications, Networks, Protocols, and Standards
F. Halsall Addison-Wesley Publishing, 2000.
ü Multimedia Fundamentals, Volume I: Media Coding and Content Processing (2nd Edition)
Ralf Steinmetz, Klara Nahrstedt Prentice Hall, 2002.
ü Handbook of Data Compression (5th edition), David Salomon, D.; Giovanni Motta, Springer, 2010
ü Redes de Computadores e a Internet: Uma Nova Abordagem
James Kurose, Keith Ross, Tradução Pearson Education, 2003.
ü Programando em NCL 3.0 Luiz Fernando Gomes Soares, Simone Barbosa. Editora Campus-Elsevier, 2009.
17
Sistemas Multimídia
Material
ü www.midiacom.uff.br/debora
ü Avaliações: ü Trabalhos ü Prova no fim do período
18
Sistemas Multimídia
Introdução
Profa. Débora Christina Muchaluat Saade
Departamento de Ciência da Computação - UFF
19
Sistemas Multimídia
Introdução
ü Definição de mídia ü Definição de multimídia ü Tipos de mídia ü Sistemas multimídia ü Aplicações multimídia ü Desafios da Multimídia
20
Sistemas Multimídia
O que é mídia?
ü termo em inglês – media ü plural da palavra medium em latim
• Substantivo que significa “meio, centro” • Meio de distribuir e representar informação
ü Mídia de Percepção ü Mídia de Representação ü Mídia de Apresentação ü Mídia de Armazenamento ü Mídia de Transmissão
21
Sistemas Multimídia
Mídia
ü Mídia de Percepção • Como os humanos percebem informação? • visão, audição, olfato, paladar, tato
ü Mídia de Representação • Como a informação é codificada em um
computador? • texto, imagem gráfica (vetorial), imagem estática
(matricial), áudio, vídeo
22
Sistemas Multimídia
Mídia
ü Mídia de Apresentação • Qual meio é utilizado como dispositivo de saída ou
entrada de informações em um computador? • Sistemas de entrada e saída
– Saída: monitores, caixas de som, papel – Entrada: teclados, câmeras e microfones
ü Mídia de Armazenamento • Onde a informação é armazenada? • Discos magnéticos, discos óticos, fitas magnéticas,
papel
23
Sistemas Multimídia
Mídia
ü Mídia de Transmissão • Qual meio é utilizado para transmitir dados? • Meios físicos (cabos metálicos, fibras óticas, ondas
de rádio)
ü Foco do curso: • Mídia de representação
– Como a informação é codificada em um computador? – texto, imagem gráfica (vetorial), imagem estática
(matricial), áudio, vídeo
24
Sistemas Multimídia
O que é Multimídia?
ü Etimologia • Multi + Mídia • Multus => Numerosos, Muitos, Múltiplos. • Medium => Meio, Centro
ü Uma definição • Área interessada na integração controlada por computador
de textos, gráficos, imagens, vídeos, animações, sons, e qualquer outro meio onde todo tipo de informação pode ser representado, armazenado, transmitido e processado digitalmente
ü Multimídia é interesse das indústrias de: • informática, telecomunicações, publicidade, consumidores de
dispositivos de áudio e vídeo, indústria de televisão e cinema
27
Sistemas Multimídia
Classificação dos tipos de mídia
ü Mídias discretas versos contínuas • Mídias discretas (estáticas ou em bloco)
– Compostas por itens de informação independentes do tempo
– mídia com dimensões unicamente espaciais • textos, imagens, gráficos
– tempo não faz parte da semântica da informação • Download é a operação de recuperação de uma
mídia discreta. – Tráfego em rajada
28
Sistemas Multimídia
Classificação dos tipos de mídia
ü Mídias discretas versos contínuas • Mídias contínuas (dinâmicas ou dependentes do tempo)
– O tempo ou a dependência temporal entre os itens de informação fazem parte da própria informação
– mídia com dimensões temporais • áudios, vídeos e animações
– tempo faz parte da semântica da informação – Se a dependência temporal não for respeitada, o significado
pode ser alterado • Streaming é um termo usado para indicar que uma mídia
contínua está sendo enviada e apresentada diretamente no destino à medida que é recebida (em tempo real)
– Tráfego CBR ou VBR
29
Sistemas Multimídia
Classificação dos tipos de mídia
ü Mídias capturadas versos sintetizadas • Informações capturadas do mundo real
– imagens, vídeos e sons • Informações sintetizadas pelo computador
– texto, gráficos e animações
30
Sistemas Multimídia
Sistema Multimídia
ü Trata mídias discretas e contínuas • No mínimo, uma discreta e uma contínua
ü Mídias devem ser independentes ü Processamento controlado por computador ü Integração das mídias de forma sincronizada
Sistema multimídia é um sistema capaz de manipular ao menos um tipo de mídia discreta e um tipo de mídia contínua na forma digital de maneira sincronizada
33
Sistemas Multimídia
Aplicações Multimídia
ü Aplicações Multimídia • Áudio, vídeo e imagens são meios naturais de
comunicação – Sistemas multimídia têm aplicações em todas as áreas
em que essas mídias necessitam ser utilizadas, comunicadas e compartilhadas
• educação/treinamento, entretenimento, medicina, saúde, mídia sob demanda, comércio eletrônico, governo eletrônico, etc.
34
Sistemas Multimídia
Aplicações Multimídia
ü Em geral, podem ser classificadas em três categorias (visão do Halsall): • Comunicação interpessoal • Aplicações interativas na Internet • Aplicações de entretenimento
35
Sistemas Multimídia
Comunicação Interpessoal
ü Voz somente • Telefonia, Voice-mail, Teleconferência • Telefonia IP
ü Imagem somente • Facsimile (fax)
ü Texto somente • Correio eletrônico
36
Sistemas Multimídia
Voz Somente: Telefonia, Voice-mail, Teleconferência
37
Sistemas Multimídia
Voz Somente: Telefonia IP
39
Sistemas Multimídia
Texto Somente: Correio Eletrônico
40
Sistemas Multimídia
Comunicação Interpessoal
ü Texto e imagens • CSCW (computer-supported cooperative work) • Compartilhamento de um whiteboard
ü Voz e vídeo • Videotelefonia • Videoconferência
ü Multimídia • Correio eletrônico multimídia
41
Sistemas Multimídia
CSCW (computer-supported cooperative work)
42
Sistemas Multimídia
Videoconferência
43
Sistemas Multimídia
Correio Multimídia
44
Sistemas Multimídia
Aplicações Interativas na Internet
ü World-Wide Web (WWW) ü Comércio eletrônico
• Homeshopping ü Homebanking
45
Sistemas Multimídia
World-Wide Web (WWW)
ü Comércio eletrônico • Homeshopping
ü Homebanking
46
Sistemas Multimídia
Aplicações de Entretenimento
ü VoD (Video On Demand) – vídeo sob demanda • MOD – movie-on-demand
ü TV Interativa • Jogos • homeshopping
47
Sistemas Multimídia
Vídeo Sob Demanda
48
Sistemas Multimídia
VoD
49
Sistemas Multimídia
TV Interativa
50
Sistemas Multimídia
Taxonomia Recomendada pela ITU-T
ü Define 4 classes básicas de serviços: • Serviços Conversacionais • Serviços de Mensagem • Serviços de Recuperação • Serviços de Distribuição
51
Sistemas Multimídia
Taxonomia Recomendada pela ITU-T
ü Serviços Conversacionais • Interatividade em tempo real da comunicação entre os
usuários • implica interação entre um humano e outro humano ou um
sistema – inclui serviços pessoa-a-pessoa (videofonia, videoconferência) e
também algumas aplicações pessoa-a-sistema (tele-compras, etc.)
ü Serviços de Mensagem • troca assíncrona de imagens, sons ou documentos
multimídia • Correio eletrônico • Não são em tempo real
52
Sistemas Multimídia
Taxonomia Recomendada pela ITU-T
ü Serviços de Recuperação • Recuperação de informação armazenada remotamente • cobrem todos os tipos de acesso a servidores de informação
(p.e. vídeo sob-demanda, livrarias eletrônicas) ü Serviços de Distribuição
• Sem interatividade • Cobrem serviços onde a informação é distribuída por
iniciativa do sistema servidor – P.e. programas de TV, distribuição de jornais eletrônicos,
distribuição de cotação de bolsa de valores
53
Sistemas Multimídia
Desafios da Multimídia
ü Dados Multimídia x Dados Alfanuméricos • Dados multimídia têm características e requisitos
diferentes dos dados alfanuméricos – sistemas computacionais convencionais não suportam
eficientemente aplicações multimídia
54
Sistemas Multimídia
Desafios da Multimídia
ü Requisitos das Aplicações Multimídia: • Exigem codificação, armazenamento e manipulação de
objetos não convencionais • Manipulam objetos longos • Exigem transferência contínua de dados e altas taxas • Exigem acesso sincronizado aos dados
55
Sistemas Multimídia
Desafios da Multimídia
ü Principais características e requisitos: • Dados multimídia têm dimensão temporal
– devem ser transmitidos, processados e apresentados em taxas fixas
• processamento e comunicação devem satisfazer requisitos de tempo-real
• Aplicações multimídia usam múltiplos tipos de mídia
– relações temporais e espaciais entre mídias devem ser mantidas
56
Sistemas Multimídia
Desafios da Multimídia
ü Principais características e requisitos: • Dados multimídia têm volume grande
– devem ser compactados – redes de alta velocidade e computadores potentes são
necessários • Dados multimídia não têm sintaxe e semântica óbvia
– bancos de dados convencionais não suportam efetivamente dados multimídia
– técnicas de indexação, recuperação e reconhecimento de informações multimídia são necessárias
57
Sistemas Multimídia
Desafios da Multimídia
ü Redes Multimídia • Transmissão em banda larga • Baixo retardo e baixa variação do retardo (jitter) • Transmissão multicast nativa • Garantia da Qualidade de Serviço (QoS) fim-a-fim