videotelefonia e videoconferÊncia na rdisfp/cav/ano2006_2007/slides/cav_6_h320_2007_web.pdf ·...

Comunicação de Áudio e Vídeo, Fernando Pereira

VIDEOTELEFONIA E VIDEOTELEFONIA E VIDEOCONFERÊNCIA NA VIDEOCONFERÊNCIA NA

RDISRDIS

Fernando Pereira

Instituto Superior Técnico


VídeoVídeo DigitalDigital


Vídeo versus ImagemVídeoVídeo versus versus ImagemImagem

�� ServiçosServiços de de ImagemImagem FixaFixa - não têm à partidarequisitos temporais rigorosos

�� ServiçosServiços de de VídeoVídeo ((imagemimagem emem movimentomovimento)) - existe a obrigaçãode respeitar limitações temporais rigorosas impostas pelanecessidade de garantir uma boa ‘ilusão de movimento’

A cada serviço de comunicação de imagem e vídeo pode associar-se um objectivo de qualidade que começa logo por determinar as

resoluções espacial e temporal a usar.


Porque se Codifica a Informação de Vídeo ?Porque se Codifica a Informação de Vídeo ?Porque se Codifica a Informação de Vídeo ?

Uma sequência de vídeo é criada e consumida como um conjunto de imagens ocorrendo no tempo a uma certa

frequência temporal (F), cada uma delas com M××××N amostras de luminância e crominância, com um certo

número de bits por amostra (L)

logo o número de bits

- e a banda e a memória - necessário para representar digitalmente uma sequência de vídeo é ENORME !!!


Videotelefonia: Apenas um ExemploVideotelefoniaVideotelefonia: : ApenasApenas um um ExemploExemplo

� Resolução: 10 imagem/s com 288××××360 amostras de luminância e 144 ×××× 188 amostras de cada crominância, a 8 bit/amostra

[(360 ×××× 288) + 2 ×××× (180 ×××× 144)] ×××× 8 ×××× 10 = 12.44 Mbit/s

� Débito razoável: e.g. 64 kbit/s para um canal RDIS

=> Factor de => Factor de compressãocompressão: 12.44 Mbit/s/64 kbit/s : 12.44 Mbit/s/64 kbit/s ≈≈≈≈≈≈≈≈ 194194

A A diferençadiferença entreentre codificarcodificar e e nãonão codificarcodificar podepode implicarimplicar a a existênciaexistência ouou nãonão de um de um serviço/indústriaserviço/indústria..


Vídeo Digital: o Porquê das DificuldadesVídeoVídeo Digital: o Digital: o PorquêPorquê das das DificuldadesDificuldades

Serviço Resoluçãoespacial –Lum. (Y)

Resoluçãoespacial –

Crom. (U,V)

Resoluçãotemporal

Factor deforma

Débitobinário(PCM)

TV alta

definição1152 × 1920 576 × 960 50 img/s 16/9 1.3 Gbit/s

TV (qualidade

difusão, DVD)576 × 720 576 × 360 25 img/s

entrelaçadas

4/3 166 Mbit/s

TV (gravaçãoCD)

288 × 360 144 × 180 25 img/sprogressivas

4/3 31 Mbit/s

Videotelefoniae Videoconfer.


4/3 12.4 Mbit/s

Videotelefoniamóvel


4/3 1.6 Mbit/s


Codificação de Vídeo: uma DefiniçãoCodificação de Vídeo: uma DefiniçãoCodificação de Vídeo: uma Definição

Representação o mais eficiente possível (menor número de bits), de uma sequência periódica de imagens

correlacionadas, satisfazendo o conjunto de requisitos relevantes, p.e. qualidade mínima e resiliência a erros.

E os requisitos variam segundo as aplicações e as respectivas funcionalidades ...


Serviço Resoluçãoespacial

Resoluçãotemporal

Débitobinário(PCM)

Débitobinário

codificado

Factor decompressão

TV alta

definição1152 × 1920

576 × 960

50 img/s 1.3 Gbit/s 34 Mbit/s 38.2

TV alta

definição1152 × 1920

576 × 960

50 img/s 1.3 Gbit/s 17 Mbit/s 76.5

TV (qualidade

difusão, DVD)576 × 720

576 × 360

25 img/s

entrelaçadas

166 Mbit/s 6 Mbit/s 27.5

TV (qualidade

difusão, DVD)576 × 720

576 × 360

25 img/s

entrelaçadas

166 Mbit/s 3 Mbit/s 55

TV (gravação

CD)288 × 360

144 × 180

25 img/s

progressivas

31 Mbit/s 1.15 Mbit/s 27

Videoconfer. 288 × 360

144 × 180

25 img/s

progressivas

31 Mbit/s 2 Mbit/s 15.5

Videoconfer. 288 × 360

144 × 180

10 img/s

progressivas

12.4 Mbit/s 384 kbit/s 32.3

Videotelefonia

fixa288 × 360

144 × 180

10 img/s

progressivas

12.4 Mbit/s 64 kbit/s 194

Videotelefonia

móvel (GSM)144 × 180

72 × 90

5 img/s

progressivas

1.6 Mbit/s 13 kbit/s 100


Codificando ...Codificando ...Codificando ...

O codificador (de fonte) representa as imagens

através de um conjunto de símbolos, e a seguir

bits, usando as ferramentas de

codificação disponíveis.

O codificador extrai o ‘sumo’ das imagens !


A Interoperabilidade como Requisito:Para que mais não seja menos ...A A InteroperabilidadeInteroperabilidade comocomo RequisitoRequisito::Para Para queque maismais nãonão sejaseja menosmenos ......

� A codificação é essencial para os serviços audiovisuais digitaisonde a interoperabilidade é um requisito básico.

� A interoperabilidade requere a especificação de normas de codificação audiovisual.

� Para permitir alguma evolução das normas e a saudávelcompetição entre empresas, as normas devem especificar o mínimo de elementos possível, tipicamente a sintaxe do fluxobinário e o descodificador (não o codificador !).


Normas de Codificação de VídeoNormasNormas de de CodificaçãoCodificação de de VídeoVídeo

�� ITUITU--T H.120T H.120 (1984) - Videoconferência (1.5 - 2 Mbit/s)

�� ITUITU--T H.261T H.261 (1988) - Serviços audiovisuais (videotelefonia e videoconferência) a p××××64kbit/s, p=1,…,30

�� ISO/IEC MPEGISO/IEC MPEG--11 (1990)- Vídeo em CD-ROM

�� ISO/IEC MPEGISO/IEC MPEG--22 ou ITU-T H.262 (1993)- TV digital

�� ITUITU--T H.263T H.263 (1996) - Vídeo na rede telefónica analógica e móvel

�� ISO/IEC MPEGISO/IEC MPEG--44 (1998) - Objectos audiovisuais

�� ISO/IEC MPEGISO/IEC MPEG--4 AVC4 AVC ou ITU-T H.264 (2003) – Mais eficiência


Normas: Fixar e … Inovar Normas: Fixar e … Inovar Normas: Fixar e … Inovar

Codificador

Descodificador

Normativo !Normativo !


Terminal e Terminal e ComunicaçãoComunicaçãode de VideotelefoniaVideotelefonia

ITUITU--T H.320T H.320


Videotelefonia e VideoconferênciaVideotelefoniaVideotelefonia e e VideoconferênciaVideoconferência

Comunicações pessoais (bidireccionais) em tempo real !


Rec. ITU-T H.320: MotivaçõesRec. ITURec. ITU--T H.320: MotivaçõesT H.320: Motivações

� O início dos trabalhos que deram origem às recomendaçõesH.320/H.261 remonta a 1984 quando se constata:

� O aumento significativo da procura de serviços de imagem, nomeadamente de videotelefonia e videoconferência, bem comoa disponibilidade de linhas digitais a 64, 384 e 1536/1920 kbit/s.

� A disponibilidade a curto prazo em muitos países de linhasRDIS e a necessidade de disponibilizar equipamento quepossibilitasse a comunicação de imagem neste contexto.

� A constatação de que a recomendação H.120 paravideoconferência, acabada de sair, estava já na alturaultrapassada devido aos rápidos desenvolvimentos na área dacodificação de vídeo.


RDIS: Motivação e ObjectivoRDIS: RDIS: MotivaçãoMotivação e e ObjectivoObjectivo

� Crescente uso da tecnologia digital na transmissão e comutação de vozdevido às suas variadas vantagens

� Procura crescente de serviços de transmissão de dados à medida que o custo dos computadores baixa

� Vantagens da integração de serviços numa única rede

� Necessidade de criar serviços que pudessem justificar a digitalização darede local com vista à RDIS de banda larga

Oferecer aos utentes a possibilidade de estabelecer ligações digitais através de um conjunto limitado de acessos suportando uma vasta gama de serviços

destinados a dados, voz, áudio e vídeo.

Tendo em conta a vastidão da estrutura de comunicações disponível, a evolução para a RDIS deverá ser gradual e baseada nos recursos

actualmente disponíveis.


RDIS: Características BásicasRDIS: RDIS: CaracterísticasCaracterísticas BásicasBásicas

� RDIS de Banda Estreita (Narrowband-ISDN) - deverá oferecer débitos binários atépoucos Mbit/s

- Baseia-se na rede telefónica actual de acessibilidade geral o que garante uma boa coberturageográgica

- Envolve o uso de centrais de comutação e transmissão digital para além de processamentodigital do sinal

- Usa um novo tipo de sinalização entre centrais públicas (ITU-T nº 7)

� RDIS de Banda Larga (Broadband-ISDN) - deverá oferecer débitos binários atévárias centenas de Mbit/s integrando todos os serviços quer no acesso quer naprópria rede

- Envolve um horizonte temporal mais largo e depende da disponibilidade em larga escala de meios de transmissão de banda larga, p.e. fibra óptica

- Baseia-se no modo de transferência assíncrono (ATM) e na transmissão de pacotes com dimensão fixa

- Oferece alocação dinâmica de recursos através de um contrato de tráfego


Canais Básicos RDISCanaisCanais BásicosBásicos RDISRDIS

�� Canal B Canal B -- 64 kbit/s64 kbit/s - as ligações num canal B podem ser feitascom comutação de circuito, de pacotes ou alugadas

�� Canal D Canal D -- 16 16 ouou 64 kbit/s64 kbit/s - têm como principal funçãotransportar a sinalização associada aos canais B; nos tempos mortos podem ser usados para transmitir dados dos utentes emmodo pacote

�� Canal H Canal H -- 384, 1536 384, 1536 ouou 1920 kbit/s1920 kbit/s - disponibilizam ligações de débito binário superior


O Acesso à RDISO O AcessoAcesso à RDISà RDIS

� Os canais RDIS são agrupados segundo 2 tipos de acesso, oferecidos ao utente:

�� AcessoAcesso BásicoBásico (2B+D)(2B+D) - Consiste em 2 canais B de 64 kbit/s (full-duplex) e um canal D de 16 kbit/s (full-duplex); estaconfiguração corresponde a um débito total de 192 kbit/s, incluindo a sincronização e o overhead de trama.

�� AcessoAcesso PrimárioPrimário - Oferece 2 configurações relacionadas com as hierarquias de transmissão digital:

- Europa usa 2048 kbit/s (30B+D)

- EUA/Canadá/Japão usam 1544 kbit/s (23B+D)


Videotelefonia e Videoconferência: Principais CaracterísticasVideotelefoniaVideotelefonia e e VideoconferênciaVideoconferência: : PrincipaisPrincipais CaracterísticasCaracterísticas

� Comunicações pessoais (ponto a ponto oumultiponto a multiponto limitado)

� Comunicações bidireccionais simétricas(todos os pontos envolvidos têmcaracterísticas semelhantes)

� Requisitos de atraso críticos

� Requisitos de qualidade baixos ouintermédios

� Impactos psicológicos e sociológicosfortes


Terminal H.320Terminal H.320Terminal H.320


Estabelecimento de uma Comunicação H.320

Estabelecimento Estabelecimento de uma de uma Comunicação Comunicação H.320H.320

A norma H.242 define o protocolo de comunicação entre terminais H.320 nas

fases iniciais de estabelecimento da ligação.


Norma H.221: Estrutura de TramaNorma H.221: Estrutura de TramaNorma H.221: Estrutura de Trama

� A norma H.221 define a estrutura

de trama para serviços

audiovisuais em canais de 64

kbit/s simples ou múltiplos.

EstruturaEstrutura de de tramatrama parapara um canal de 64 kbit/s um canal de 64 kbit/s -- Canal B Canal B emem RDISRDIS


CodificaçãoCodificação de de VídeoVídeo: : Norma ITUNorma ITU--T H.261T H.261


Norma H.261: ObjectivoNorma H.261: ObjectivoNorma H.261: Objectivo

É a primeira norma internacional para codificação de vídeo(com adopção significativa) introduzindo assim o conceito de

compatibilidade em codificação de vídeo digital.

Codificação eficiente de sequências

videotelefónicas ou de videoconferência com

qualidade mínimaaceitável usando débitosentre 40 kbit/s e 2 Mbit/s

e visando canaissíncronos (RDIS) a p××××64

kbit/s, com p=1,...,30.


Esquema Básico da Codificação H.261EsquemaEsquema BásicoBásico dada CodificaçãoCodificação H.261H.261


H.261: Sinais a CodificarH.261: Sinais a CodificarH.261: Sinais a Codificar

� Os sinais amostrados, para cada imagem, são a luminância (Y) e 2 sinais de crominância, designados por CB e CR ou U e V.

� As amostras são quantificadas segundo a recomendação ITU-R BT-601 (8 bit/amostra), sendo:

- Preto = 16; Branco = 235; Diferença de cor nula = 128

- Picos de diferença de cor (U,V) = 16 e 240

� O algoritmo opera sobre sequências não-entrelaçadas(progressivas) a 29.97 img/s. A frequência temporal pode ser diminuída aceitando-se 0, 1, 2 ou 3 imagens não transmitidasentre cada uma transmitida.

YUVYUV


H.261: Formato da ImagemH.261: Formato da ImagemH.261: Formato da Imagem

Duas resoluções espaciais são possíveis:

� CIF (Common Intermediate Format) - 288 ××××352 pels para a luminância (Y) e 144 ×××× 176 pels para cada uma das crominâncias (U,V) ou seja 4:2:0, posicionados em 'quincux’, progressivos, 30 tramas/s e com factor de forma 4/3

� QCIF (Quarter CIF) - semelhante ao CIF mascom metade da resolução espacial em cadadirecção ou seja 144 ×××× 176 pels para a luminância e 72 ×××× 88 pels para cada uma das crominâncias

Todos os codecs devem funcionar em QCIF e alguns podem também funcionar em CIF.


Formatos de Subamostragem para a CrominânciaFormatosFormatos de de SubamostragemSubamostragem parapara a a CrominânciaCrominância

FormatoCrominância

AmostrasLum/Linha

LinhasLum/Imagem

AmostrasCrom/Linha

LinhasCrom/Imagem

FactorSubamostr.Horizontal

FactorSubamostr.

Vertical

4:4:4 720 576 720 576 - -

4:2:2 720 576 360 576 2:1 -

4:2:0 720 576 360 288 2:1 2:1

4:1:1 720 576 180 576 4:1 -

4:1:0 720 576 180 144 4:1 4:1


Groups Of Blocks (GOBs), Macroblocos e BlocosGroups Of BlocksGroups Of Blocks (GOBs), (GOBs), MacroblocosMacroblocos e e BlocosBlocos

1 2

3 4

5 6

GOB 1 GOB 2

GOB 3 GOB 4

GOB 7

GOB 6

GOB 8

GOB 9

GOB 5

GOB 11

GOB 10

GOB 12

� Espacialmente a sequência de vídeo estáorganizada segundo umaestrutura hierárquicacom 4 níveis:

- Imagem

- Grupo de Blocos (GOB)

- Macrobloco (MB)

- Bloco

CIFCIF

QCIFQCIF

YYUU VV

4:2:04:2:0


Imagem é Codificada como um Sequeência de Macroblocos … GOB após GOB …ImagemImagem é é CodificadaCodificada comocomo um um SequeênciaSequeência de de MacroblocosMacroblocos … GOB … GOB apósapós GOB …GOB …

GOB 1 GOB 2

GOB 3 GOB 4

GOB 7

GOB 6

GOB 8

GOB 9

GOB 5

GOB 11

GOB 10

GOB 12


H.261: Técnicas de CodificaçãoH.261: Técnicas de CodificaçãoH.261: Técnicas de Codificação

� Redundância Temporal

� Codificação preditiva: transmissão das diferenças e compensação de movimento

� Redundância Espacial

� Codificação de transformada (DCT)

� Redundância Estatística

� Codificação entrópica de Huffman

� Irrelevância

� Quantificação dos coeficientes DCT


ExplorandoExplorando a a RedundânciaRedundância TemporalTemporal


Predição TemporalPredição TemporalPredição Temporal

A predição temporal baseia-se no princípio de que, localmente, cadaimagem pode ser representada a partir de uma parte da imagem

precedente.

� A qualidade da predição determina fortemente o desempenho do algoritmo de codificação já que define a energia do sinal diferença- o erro de predição.

� Quanto menor for o erro, menor a energia a transmitir e logo- Melhor qualidade pode ser conseguida para um dado débito binário

disponível

- Menor débito binário é necessário para alcançar uma dada qualidade


Quem Bem Prediz, Baixo Erro Cria …QuemQuem BemBem PredizPrediz, , BaixoBaixo ErroErro CriaCria ……

Imagem actual i

Imagempredição i

+

-+

Imagem com errode predição i

Imagemanterior i-1


Predição TemporalPredição TemporalPredição Temporal

A predição temporal no H.261 inclui 2 técnicas que têm como missãoeliminar a redundância temporal existente no sinal de vídeo

PCM:

TransmissãoTransmissão de de DiferençasDiferenças

CompensaçãoCompensação de de MovimentoMovimento


Redundância no Tempo: as Diferenças Redundância no Tempo: as Diferenças Redundância no Tempo: as Diferenças

Diferenças: só se transmite entre

imagens aquilo que muda, usando como predição a imagem

anterior ...

Não se perde nada !

......


Cálculo de Diferenças: ExemploCálculoCálculo de de DiferençasDiferenças: : ExemploExemplo

Imagem t Imagem t-1 Diferenças


Codificar e Descodificar ...Codificar e Descodificar ...Codificar e Descodificar ...


Eppur Si Muove …EppurEppur SiSi MuoveMuove ……


A Compensação de MovimentoA Compensação de MovimentoA Compensação de Movimento

� A compensação de movimento tenta melhorar a predição temporal de cada imagem/zona da imagem através da estimação/detecção e compensação de movimentos existentes na sequência de imagens.

� A estimação de movimento não é normativa mas o designado block

matching é, sem dúvida, a técnica mais usada.

� Na norma H.261, a estimação de movimento é feita ao nível do macrobloco e é opcional.

A estimação de movimento implica uma elevada carga computacional o que justifica o desenvolvimento de métodos de ‘procura’ rápida’ àcusta de baixas perdas em qualidade, e.g. procura em diamante ou

método dos 3 passos.


O Macrobloco 4:2:0 ...O Macrobloco 4:2:0 ...O Macrobloco 4:2:0 ...


Redundância no Tempo: a Estimação de MovimentoRedundância no Tempo: a Redundância no Tempo: a EstimaçãoEstimação de de MovimentoMovimento

tt


Procurar Onde ?ProcurarProcurar OndeOnde ??

Área de busca

Imagem a codificar

Imagem de referência


Vectores de Movimento a Diferentes ResoluçõesVectores de Movimento a Diferentes ResoluçõesVectores de Movimento a Diferentes Resoluções


MBs a Codificar e MBs de prediçãoMBsMBs a a CodificarCodificar e e MBsMBs de de prediçãopredição

ImagemImagem anterioranterior ImagemImagem actualactual


Compensação de Movimento: ExemploCompensaçãoCompensação de de MovimentoMovimento: : ExemploExemplo

Imagem t Imagem t-1 Diferenças SEM comp. mov.

DiferençasCOM comp.

mov.

Vectores mov.


O Algoritmo dos 3 PassosO Algoritmo dos 3 PassosO Algoritmo dos 3 Passos

Menos carga computacional à custa de soluções menos óptimas em termos de

erro de predição !


Estimação Rápida de MovimentoEstimaçãoEstimação RápidaRápida de de MovimentoMovimento

3 Passos Diamante


Uma Característica de Decisão para a Compensação de MovimentoUma Característica de Decisão para a Uma Característica de Decisão para a Compensação de MovimentoCompensação de Movimento

dbdb –– difference blockdifference block

dbddbd –– displaced block differencedisplaced block difference

XX

XX


Estimação de Movimento no H.261Estimação de Movimento no H.261Estimação de Movimento no H.261

� Um vector de movimento por macrobloco PODE PODE ser transmitido.

� A gama de valores possíveis para os vectores de movimento é de -15 a + 15, na vertical e na horizontal, apenas valores inteiros.

� Só vectores de movimento referenciando zonas existentes da imagemsão válidos.

� O vector de movimento transmitido para cada macrobloco é usadopara os 4 blocos de luminância. O vector de movimento para a crominância é obtido dividindo por 2 e truncando o vector de movimento para a luminância.

� Um valor positivo da componente horizontal ou vertical do vector de movimento significa que a predição deve ser feita usando os pixels naimagem precedente, localizados espacialmente à direita e abaixo dos pixels a ser preditos.


Codificação Diferencial do Movimento no H.261Codificação Diferencial do Movimento no Codificação Diferencial do Movimento no H.261H.261

� Para explorar a redundância entre vectores de movimento de MBsadjacentes, cada vector de movimento é codificadodiferencialmente como a diferença entre o vector de movimento do MB actual e a sua predição ou seja o vector de movimento do MB precedente.

� Esta predição vale zero quando:- o MB actual é o número 1, 12 ou 23

- o último MB transmitido não é contíguoao MB actual

- o MB precedente (e contíguo) não sofreucompensação de movimento


Codificação(entrópica) dos

Vectores(diferenciais) de

Movimento

CodificaçãoCodificação(entrópica) dos (entrópica) dos

VectoresVectores((diferenciaisdiferenciais) de ) de

MovimentoMovimento


ExplorandoExplorando a a RedundânciaRedundância EspacialEspacial

e a e a IrrelevânciaIrrelevância


Depois do Tempo, o EspaçoDepoisDepois do Tempo, o do Tempo, o EspaçoEspaço

Imagem actual

Imagem predição(Compensada em movimento)

+

-+

Imagem com erro de predição

TransformadaDCT


Codificação por TransformadaCodificação por TransformadaCodificação por Transformada

A codificação por transformada envolve a divisão da imagem em blocos de

N×N amostras aos quais é aplicada a transformada, produzindo blocos de

N×N coeficientes.

Uma transformada define-se formalmente pelas equações de transformação

directa e inversa:

F(u,v) = Σ Σ Σ Σi=0N-1 ΣΣΣΣ j=0

N-1 f(i,j) A(i,j,u,v)

f(i,j) = Σ Σ Σ Σu=0N-1 ΣΣΣΣ v=0

N-1 F(u,v) B(i,j,u,v)

� onde

� f(i,j) - sinal de entrada (no espaço)

� A (i,j,u,v) - núcleo da transformada directa

� F(u,v) - coeficientes da transformada

� B (i,j,u,v) - núcleo da transformada inversa


Transformada de Coseno Discreta (DCT)Transformada de Coseno Discreta (DCT)Transformada de Coseno Discreta (DCT)

A DCT é uma das várias transformadas sinusoidais existentes, sendo

os seus vectores de base constituídos por amostras de funções

(co)sinusoidais.

A DCT é, sem dúvida, a transformada mais usada em codificação de

imagem por o seu desempenho se aproximar do da KLT para sinais

com elevada correlação e por existirem algoritmos rápidos para a

sua implementação.

∑∑−

=

−

=

+

+=

1

0

1

0 2

12

2

122 N

j

N

k N

kv

N

jukjfvCuC

NvuF

)(cos

)(cos),()()(),( ππ

∑∑−

=

−

=

+

+=

1

0

1

0 2

12

2

122 N

u

N

v N

kv

N

juvuFvCuC

Nkjf ππ

)(cos

)(cos),()()(),(


Como Trabalha a DCT ?Como Trabalha a DCT ?Como Trabalha a DCT ?

X X X X X X X X

X X X X X X X X

X X X X X X X X

X X X X X X X X

X X X X X X X X

X X X X X X X X

X X X X X X X X

X X X X X X X X

X X X

X X X X X

X X

X X X

X X X

X X

X

DCTDCT

Domínio EspacialDomínio Espacial Domínio Domínio FrequencialFrequencial


A DCT no H.261A DCT no H.261A DCT no H.261

� Na norma H.261, a DCT é aplicada a blocos de 8×8 (N=8) amostras. Este valor resulta dum compromisso entre a exploração daredundância espacial e o esforço de cálculo que cresce com N.

� Os coeficientes a transmitir são seleccionados usando limiares não-normativos permitindo a introdução de critérios psico-visuais com vista a optimizar o impacto subjectivo final.

� Para explorar a irrelevância contida no sinal, os coeficientes DCT a transmitir para cada bloco são quantificados.

� Devido à compactação da energia no canto superior esquerdo e àvariação do sensibilidade do sistema visual humano, os coeficientesquantificados são varridos em zig-zag com vista a assegurar sempre a transmissão daqueles mais relevantes.


A QuantificaçãoA A QuantificaçãoQuantificação� A norma H.261 aceita como passo de

quantificação todos os valores pares entre 2 e 62 (31 valores de quantificação).

� Dentro de cada macrobloco, todos oscoeficientes DCT são quantificadoscom o mesmo passo, com excepção dos coeficientes DC Intra que são semprelinearmente quantificados com passo8, sem zona morta.

� A norma H.261 define os níveis de regeneração dos coeficientes mas nãoos limiares de decisão que podem ser escolhidos de forma a implementardiferentes tipos de característica de quantificação, uniformes ou não.Exemplo de característica

de quantificação


A Serialização dos Coeficientes DCTA A SerializaçãoSerialização dos Coeficientes DCTdos Coeficientes DCT

� A transmissão dos coeficientes DCT quantificados requere o envio aodescodificador de 2 tipos de informação: posição e amplitude.

� Para cada coeficiente a transmitir, a suaposição e amplitude é representadaatravés de um símbolo bidimensionaldesignado por

(DISTÂNCIA, NÍVEL) ou (run, level)

onde a distância conta o número de coeficientes nulos antes do coeficiente a codificar e o nível indica qual o valorquantificado do coeficiente.


Varrimento dos Coeficientes DCTVarrimentoVarrimento dos dos CoeficientesCoeficientes DCTDCT

ZigZig--ZagZag Cada bloco de coeficientes DCT é representado como uma sequência de pares (run, level), e.g. (0,124), (0, 25), (0,147), (0,

126), (3,13), (0, 147), (1,40) ...


ExplorandoExplorando a a RedundânciaRedundância

EstatísticaEstatística


Redundância Estatística: Codificação EntrópicaRedundância Estatística: Codificação Redundância Estatística: Codificação EntrópicaEntrópica

A Codificação Entrópica

CONVERTE OS SÍMBOLOS EM BITS !

Usa a estatística dos símbolos a transmitir para alcançar compressão adicional (sem perdas), atribuindo de forma adequada palavras de código a símbolos.

� A, B, C, D -> 00, 01, 10, 11

� A, B, C, D -> 0, 10, 110, 111


Codificação de HuffmanCodificaçãoCodificação de Huffmande Huffman

A codificação de Huffman é uma das técnicas de codificaçãoentrópica que permite explorar o facto dos símbolos produzidos

pelo codificador não aparecerem com igual probabilidade.

� A cada símbolo gerado é atribuída uma palavra de código cujocomprimento (em bits) é inversamente proporcional à suaprobabilidade de ocorrência.

� O uso de códigos de comprimento variável implica também a necessidade de utilizar uma memória de saída que ‘alise’ o fluxode dados codificados se o canal funciona de modo síncrono.

� O aumento da eficiência de codificação é conseguido à custa do aumento da sensibilidade a erros de transmissão.


Codificação(entrópica) dos

Vectores(diferenciais) de

Movimento

CodificaçãoCodificação(entrópica) dos (entrópica) dos

VectoresVectores((diferenciaisdiferenciais) de ) de

MovimentoMovimento


Codificação(entrópica) dos Pares (run, level) … mais prováveis…

CodificaçãoCodificação((entrópicaentrópica) ) dos Pares dos Pares (run, level) … (run, level) … maismais prováveisprováveis……


Codificaçãodos Pares (run, level) … menosprováveis …CodificaçãodosCodificaçãodos Pares (run, level) … Pares (run, level) … menosmenosprováveisprováveis ……

6 bits escape + 6 bits para run + 8 bits para level


CodificaçãoEntrópicada Posiçãodos MBs

(com bits)

CodificaçãoCodificaçãoEntrópicaEntrópicadada PosiçãoPosiçãodos dos MBsMBs

(com bits)(com bits)


CombinandoCombinando as as FerramentasFerramentas ......


O Modelo Simbólico H.261O O ModeloModelo SimbólicoSimbólico H.261H.261

Uma sequência de vídeo é representada como uma sucessão de imagens estruturadas em macroblocos, sendo cada um deles

representado usando vectores de movimento e/ou coeficientes DCT (intra ou inter).

Geradorde Símbolos

(Modelo)

CodificadorEntrópico

VídeoOriginal

Símbolos Bits


MB a MB … Escolhendo Bem … Sempre …MB a MB … MB a MB … EscolhendoEscolhendo BemBem … … SempreSempre ……


Codificador: O Cocktail Vencedor !Codificador: O Codificador: O CocktailCocktail Vencedor !Vencedor !

Originais DCT Quantific. Geraçãosímbolos

Codif. entrópica

Codif. entrópica

Quantific. inversa

DCT inversa

Memóriade saída

Movimentodet./comp.

+

+Trama

anterior


Descodificador: o Escravo !Descodificador: o Descodificador: o EscravoEscravo !!

MemóriaDescodif.Huffman

Comp. Mov.

Demux. IDCT +

Informação

Informação


A Memória de SaídaA A MemóriaMemória de de SaídaSaída

A produção de bits pelo codificador é altamente NÃO uniforme no tempo essencialmente devido:

� À variação da actividade espacial entre as várias zonas de umaimagem

� À variação da actividade temporal ao longo do tempo

� À codificação entrópica dos símbolos gerados

Para ‘compatibilizar’ o fluxo de ritmo variável produzido pelocodificador com o fluxo constante de escoamento disponibilizado

pelo canal usa-se uma memória de saída !


Controlo do DébitoControloControlo do do DébitoDébito

O codificador deve controlar muito eficazmente a evolução da suaprodução de bits de modo a que seja adequada ao canal síncrono

disponível e obtenha a melhor qualidade.

A norma H.261 não especifica como deve ser feito o controlo do débitoque pode ser feito através de:

� Variação da resolução temporal

� Variação da resolução espacial

� Classificação dos macroblocos

� Variação do passo de quantificação

O controlo do débito tem um impacto enorme na qualidade de vídeo que se alcança para um dado débito binário !


Passo de Quantificação versus Enchimentoda Memória de SaídaPassoPasso de de QuantificaçãoQuantificação versus versus EnchimentoEnchimentodada MemóriaMemória de de SaídaSaída

O método reconhecido comomais eficiente para o controlo

do débito binário(granularidade e frequência)

faz variar o passo de quantificação em função do enchimento da memória de

saída do codificador.

CodificadorMemória de

saída

Sequência de

imagens Fluxo binário

Controlo do passo de quantificação


A Importância de Escolher Bem !A A ImportânciaImportância de de EscolherEscolher BemBem !!

Para explorar bem a redundância e a irrelevância, o codificador paratem de escolher adequadamente

� Quais as ferramentas de codificação que devem ser usadas paracada MB, dependendo das suas características

� Qual o melhor conjunto de símbolos para representar cada MB, p.e. vectores de movimento e coeficientes DCT

Enquanto o codificador tem a missão de fazer escolhas importantes, o descodificador é ‘escravo’ limitando-se a seguir as ‘ordens’

enviadas pelo codificador (só fica ‘inteligente’ no cancelamento de erros).


Classificação dos MacroblocosClassificaçãoClassificação dos dos MacroblocosMacroblocos

� Os macroblocos são a unidade básica da codificação pois é ao níveldo macrobloco que se escolhem as ferramentas de codificação a usar.

� Cada técnica de codificação é mais ou menos adequada a um dado tipo de situação/imagem, sendo importante escolher em cadamomento as ferramentas mais adequadas.

� Uma vez que a norma H.261 possui várias ferramentas de codificação, cabe ao codificador escolher as melhores ferramentaspara cada macrobloco o que conduz à classificação dos macroblocos consoante as ferramentas de codificação usadas.

� Se apenas se explora a redundância espacial, faz-se codificaçãoINTRA; se se explora também redundância temporal, faz-se codificação INTER.


Tabela de Classificação dos MacroblocosTabelaTabela de de ClassificaçãoClassificação dos dos MacroblocosMacroblocos


Estrutura Hierárquica da InformaçãoCodificadaEstruturaEstrutura HierárquicaHierárquica dada InformaçãoInformaçãoCodificadaCodificada

� Imagem- Resincronismo (Picture header)

- Controlo da resolução temporal

- Controlo da resolução espacial

� Grupo de Blocos (GOB)- Resincronismo mais interno (GOB header)

- Controlo do passo de quantificação (obrigatório)

� Macrobloco- Unidade de detecção e compensação de movimento

- Controlo do passo de quantificação (opcional)

- Escolha das ferramentas de codificação (classificação dos MBs)

� Bloco- Aplicação da DCT


Sintaxe da Codificação: Níveis de Imagem e GOBSintaxeSintaxe dada CodificaçãoCodificação: : NíveisNíveis de de ImagemImagem e GOBe GOB


Sintaxe da Codificação: Níveis de MB e BlocoSintaxeSintaxe dada CodificaçãoCodificação: : NíveisNíveis de MB e de MB e BlocoBloco


Correcção de Erros no Fluxo de Vídeo H.261CorrecçãoCorrecção de de ErrosErros no no FluxoFluxo de de VídeoVídeo H.261H.261

� A correcção de erros no fluxo de vídeo H.261 é feita através de um código de blocos BCH (511,493) - Bose-Chaudhuri-Hocquenghem.

� O seu uso na descodificação é opcional.

� O polinómio gerador dos bits de paridade é

g (x) = (xg (x) = (x99+ x+ x44+ x) ( x+ x) ( x99+ x+ x66+ x+ x44+ x+ x33+ 1)+ 1)


Correcção de Erros no Fluxo de Vídeo H.261CorrecçãoCorrecção de de ErrosErros no no FluxoFluxo de de VídeoVídeo H.261H.261

A estrutura do sinal de vídeo apresenta o seguinte aspecto (multi-trama com 512××××8 = 4096 bits):

S1 S2 S7 S8

Transmissão

S1

Bits de código vídeo

Bits paridade

(1) (493) (18)

1

Bits de código

Bits de enchimento (1's)0

(1)

(1)

(492)

(492)

S1S2S3S4S5...S8 - Sequência de alinhamento

0001101100011011

Na descodificação, o realinhamento sóé reconhecido após a recepção de 3 sequências de alinhamento (S1S2

...S8) correctas.


Cancelamento de ErrosCancelamentoCancelamento de de ErrosErros

� Mesmo que se use codificação de canal, podem existir erros de transmissão residuais que têm consequências ao nível do descodificador de fonte.

� Os erros residuais podem ser detectados devido a incorrecçõessintácticas ou semânticas.

� Para vídeo digital, as técnicas mais básicas de cancelamento de erros são:

- Repetição da zona correspondente da imagem anterior

- Repetição de parte da imagem anterior após compensação de movimento

� O cancelamento de erros não detectados pode ser feito por pós-processamento da imagem descodificada.


Exemplos de Cancelamento de Erros e Pós-ProcessamentoExemplosExemplos de de CancelamentoCancelamento de de ErrosErros e e PósPós--ProcessamentoProcessamento


Comentários FinaisComentáriosComentários FinaisFinais

� A norma H.261 foi a primeira norma internacional de codificação de vídeo com um nível de eficiência relevante.

� Tendo sido a primeira norma importante de codificação digital de vídeo, estabeleceu requisitos de compatibilidade que tiveraminfluência na tecnologia escolhida para as normas seguintes.

� Inúmeros produtos e serviços existiram, e ainda existem, baseados na norma H.261.

� Contudo, esta norma já não representa hoje o estado da arte emtermos de codificação de vídeo (não esquecer que esta norma é do fim dos anos 80).


BibliografiaBibliografiaBibliografia

� Videoconferencing and Videotelephony, Richard Schaphorst,

Artech House, 1996

� Image and Video Compression Standards: Algorithms and Architectures, Vasudev Bhaskaran and Konstantinos

Konstantinides, Kluwer Academic Publishers, 1995

� Multimedia Communications, Fred Halsall, Addison-Wesley,

2001

� Multimedia Systems, Standards, and Networks, A. Puri & T.

Chen, Marcel Dekker, Inc., 2000

videotelefonia e videoconferÊncia na rdisfp/cav/ano2006_2007/slides/cav_6_h320_2007_web.pdf ·...

Documents