TELEVISÃO DIGITAL2004/2005

Detecção de Cortes de Cena

http://paginas.fe.up.pt/~ee00136/td.htm

Bruno Pombal – bruno.pombal@iol.ptPaulo Bluemel – paulocpb@sapo.pt

• TESTES DE FADE-IN / FADE-OUT- ficheiro “gladiator-small.mpeg2” [movie]

• URL: http://paginas.fe.up.pt/~mandrade/tvd/recursos/gladiator-small.mpg

• TESTES DE MISTURA DE IMAGENS- ficheiro “broadcast-publicity.mpeg2” [movie]

• URL: http://paginas.fe.up.pt/~mandrade/tvd/recursos/broadcast-publicity.mpg

Testes Efectuados e Ficheiros Usados

• IMAGEM LIDA DO TIPO RGB

– diferença do valor das cores vermelho (R), verde (G) e azul (B) de duas imagens consecutivas, k e k+1, para os mesmos pontos das 2 imagens, n1 e n2

– média entre as diferenças obtidas ▪ N1 e N2 – linhas e colunas da matriz e N3 – 3 valores das cores

– compara-se o valor obtido em ASAD com o valor de threshold inserido na interface gráfica para decidir se é ou não um corte de cena.

• IMAGEM LIDA DO TIPO YCBR

– diferença entre os valores da luminância (Y) de 2 imagens consecutivas

– média entre a diferença obtida ▪ N1 e N2 – linhas e colunas da matriz (Y é bidimensional)

– compara-se o valor obtido em ASAD com o valor de threshold inserido na interface gráfica para decidir se é ou não um corte de cena.

ASAD – Average Sum of Absolute Differences

( ) ( )∑ +−⋅⋅

= 1,,,,12121

321

knnsknnsNNN

ASAD

( ) ( )∑ +−⋅

= 1,,,,12121

21

knnYknnYNN

ASAD

• Histogramas a preto e branco• Imagem lida do tipo RGB

– faz-se a passagem das imagens para tons de cinzento (preto e branco)

– faz-se o histograma sobre estas imagens

– para todas as imagens i lidas calcula-se:

» N é a quantidade de pontos considerados para se construir o histograma

– normalizam-se todos os valores(i) pelo máximo valor obtido na expressão vista atrás.

– para todas as imagens i lidas, o valor normalizado é comparado com o limiarinserido no interface gráfico, e caso o valor_normalizado(i) seja maior do que o limiar então é considerado que há um corte de cena.

HISTOGRAMAS – a preto e branco

∑ +−=i

khistogramakhistogramaN

ivalor )1()(1)(

• Histogramas a cores• Imagem lida do tipo YCBR

– guardam-se os valores da luminância (Y) e das 2 diferenças de cor (Cb) e (Cr) e usa-se um algoritmo semelhante ao usado nos histogramas a preto e branco

– tratam-se independentemente os histogramas da luminância e de cada uma das diferenças de cor

• para ser considerado um corte de cena todos os valores obtidos para uma dada imagem têm de ser simultaneamente maiores do que os valores de limiar introduzidos na interface gráfica para Y, Cb e Cr.

HISTOGRAMAS – a cores

ASAD – Average Sum of Absolute DifferencesLIMIARES CORTES DE CENA

LUMINÂNCIA CROMINÂNCIA REAIS DETECTADOS VERDADEIROS

5 0,3 6 23 6

5 0,5 6 7 6

32 0,3 6 7 6

32 0,5 6 7 650 0,3 6 4 3

50 0,5 6 4 3

FADE-IN

FADE-OUTs

-000,5320701-0800

-000,5320601-0700

-000,5320501-0600

-000,5320451-0500

-000,5320301-0450-000,5320201-0300

-000,5320101-0200

-000,5320000-0100

VERDADEIROSDETECTADOSREAISCROMINÂNCIALUMINÂNCIA

CORTES DE CENALIMIARESINTERVALOS

MISTURA

DE

IMAGENS

HISTOGRAMAS – a preto e brancoCORTES DE CENA

LIMIARREAIS DETECTADOS VERDADEIROS

0,2 6 25 6

0,3 6 6 3

0,4 6 4 30,5 6 3 2

0,6 6 3 2

FADE-IN

FADE-OUTs

131300,40701-0800

222200,40601-0700

171700,40501-0600

6600,40451-0500

343400,40301-04507700,40201-0300

8800,40101-0200

9900,40000-0100

VERDADEIROSDETECTADOSREAIS

CORTES DE CENALIMIARINTERVALOS

MISTURA

DE

IMAGENS

HISTOGRAMAS – a preto e branco

FADE-IN / FADE-OUTs – LIMIAR = 0,3

HISTOGRAMAS – a preto e branco

MISTURA DE IMAGENS – Situação verificada com qualquer Limiar ≤ 0,98

HISTOGRAMAS – a cores

LIMIARES CORTES DE CENAS

Y Cb Cr REAIS DETECTADOS VERDADEIROS

0,2 0,4 0,3 6 4 3

0,2 0,4 0,4 6 3 2

0,2 0,4 0,2 6 4 3

0,2 0,3 0,2 6 8 5

0,2 0,31 0,2 6 7 5

0,18 0,31 0,35 6 6 5

FADE-IN

FADE-OUTs

MISTURA

DE

IMAGENS

7700,350,310,180701-0800

303000,350,310,180601-0700

161600,350,310,180501-0600

141400,350,310,180451-0500

9900,350,310,180301-04507700,350,310,180201-0300

8800,350,310,180101-0200

6600,350,310,180000-0100

VERDADEIROSDETECTADOSREAISCrCbY

CORTES DE CENASLIMIARESINTERVALOS

HISTOGRAMAS – a coresFADE-IN / FADE-OUTs – Limiar Y=0,2 Cb=0,3 Cr=0,2

HISTOGRAMAS – a coresMISTURA DE IMAGENS – Situação verificada em qualquer combinação de Limiares

desde que Y ≤ 0,98; Cb ≤ 0,93; Cr ≤ 0,45

ASAD ; HIST P&B ; HIST CORES – situação especialFADE-IN / FADE-OUTs

ASAD - Threshold de Luminância ≤ 92 eThreshold de Crominância ≤ 0,89

HISTOGRAMAS P&B – qualquer Limiar ≤ 0,82

HISTOGRAMAS a CORES – qualquer combinação de Limiares desde que Y ≤ 0,81 e Cb e Cr quaisqueres

• Não é corte de cena.

• Há uma variação grande de luminância.

• Para evitar situações destas em cortes de cenas falsos são detectados como verdadeiros, poderia passar-se o conjunto de frames detectados como cortes de cena por um algoritmo de detecção de contornos, se estes variassem pouco haveria grande probabilidade de esse conjunto de frames ser um corte de cena falso e então não seria detectado.

• O método “ASAD” revelou-se 100 % eficiente em situações de mistura de imagens e à excepção da situação que foi vista atrás, também 100 % eficiente nos FADE-IN-FADE-OUTs

• O método “HISTOGRAMAS A CORES” revelou-se pouco satisfatório em situações de mistura de imagens e razoável nas situações de FADE-IN / FADE-OUTs.

• O método “HISTOGRAMAS A PRETO E BRANCO” revelou-se muito pouco satisfatório em situações de mistura de imagens e de FADE-IN-FADE-OUTs.

– Em resumo:• ASAD – MUITO BOM

• HISTOGRAMAS A CORES – POUCO SATISFATÓRIO

• HISTOGRAMAS A PRETO E BRANCO – PÉSSIMO

CONCLUSÃO