sumarização automática de vídeos baseada em características de cor e agrupamentos sandra eliza...

Sumarização Automática de Vídeos Baseada em Características de Cor e

Agrupamentos

Sandra Eliza Fontes de AvilaUniversidade Federal de Minas Gerais

Departamento de Ciência da Computaçã[email protected]

Visão Computacional – 2008/1 2

Sumário

Introdução Definição do Problema Objetivo

Metodologia Experimentos

Método Proposto x Open Video Conclusões Trabalhos Futuros


Introdução (1/1) Sumarização automática de vídeos

Fornece rapidamente a informação concisa do conteúdo do vídeo, preservando a mensagem original (Pfeiffer et al., 1996)

Tipos de resumos Resumos estáticos (Keyframes)

Conjunto de quadros-chave Resumos dinâmicos (Video skim)

Conjunto de tomadas (shots)


Definição do Problema (1/1) Por que resumir vídeos?

Popularização da distribuição de vídeos através da web Muitas vezes o usuário necessita assistir todo o

conteúdo do vídeo para descobrir do que realmente se trata


Objetivo (1/1)

Desenvolver uma abordagem simples e eficiente para sumarização automática de vídeos, que gere resumos com o menor número de quadros necessários para apresentação das informações, possibilitando o reconhecimento dos principais objetos e eventos presentes no vídeo.


Metodologia (1/6)


Metodologia (2/6) 1) Segmentação do Vídeo

Separação do vídeo em quadros FFmpeg Pré-amostragem dos quadros


Metodologia (3/6) 2) Extração de Características

Histograma de cor Perfil de linha (horizontal, vertical, diagonal) Espaço de cor

RGB Quantização de cores


Metodologia (4/6) 3) Técnica de Agrupamento (clustering)

k-means Método mais simples de agrupamentos Definição prévia do número de agrupamentos (k)

Para cada agrupamento, o quadro mais próximo do centróide é selecionado como quadro-chave


Metodologia (5/6) 4) Eliminação dos quadros-chave semelhantes

Determinação de limiar (experimentação visual) Comparação entre todos os quadros-chave selecionados,

conforme característica extraída


Metodologia (6/6) 5) Geração do resumo

Ordenação cronológica dos quadros-chave


Avaliação através de Usuários (1/1)


Experimentos (1/6) Base de dados

The Open Video Project 20 vídeos 1 a 4 minutos formato MPEG-1 30 fps 320 x 240 pixels Documentários


Experimentos (2/6) Análise da Taxa de Amostragem

Todos quadros, 30, 45, 60, 75, 90 Histograma 95% de confiança

90 -> perda de informação Todos, 30, 45, 60, 75 -> estatisticamente há diferença 60, 75 -> estatisticamente não há diferença 75

Tempo de execução (segundos)

todos 30 45 60 75 90

média 113,49 3,63 2,59 1,95 1,54 1,35


Experimentos (3/6) Análise das Características

Projeto Fatorial 2k, k = 2 (histograma) ou k = 3 (perfis de linha)

1) Número de agrupamentos: 15 ou 35 agrupamentos 2) Número de cores quantizadas: 16 ou 256 cores 3) Intervalo entre os perfis de linha: 10 ou 40 linhas


Experimentos (4/6)

A BTempo de

execução (s)

15 16 1,50

35 16 1,56

15 256 1,68

35 256 1,91

A B CTempo de

execução (s)

Hor. Ver. Diag.

15 16 10 0,87 1,00 1,01

35 16 10 1,26 1,27 1,29

15 256 10 0,81 0,95 1,12

35 256 10 0,96 1,13 1,45

15 16 40 0,65 0,90 0,82

35 16 40 0,67 1,05 1,05

15 256 40 0,86 0,72 0,79

35 256 40 1,11 0,78 0,90

Histograma

Perfis de linha(95% de confiança)


Experimentos (5/6)

Vídeos

Pontuação

Hist.Perfil de linha

Hor. Ver. Diag.

video2 3,6 3,7 3,5 3,7

video8 2,9 3,4 3,1 2,8

video9 2,8 3,3 2,9 2,9

video11 3,3 3,7 3,5 3,3

video12 3,3 3,4 3,5 3,3

video17 3,7 3,4 3,3 3,1

video18 3,4 3,5 3,4 3,3

video20 3,3 3,3 3,2 3,1

média 3,3 3,5 3,3 3,2

Avaliação dos resumos


Experimentos (6/6) Execução do algoritmo para os 20 vídeos

6 perfis de linha horizontal 16 cores 15, 20, 25, 30 e 35 agrupamentos

Agrupamentos Pontuação

15 3,6

20 4,2

25 4,3

30 4,0

35 3,7

AgrupamentosTempo de

execução (s)

15 0,59

20 0,64

25 0,63

30 0,64

35 0,65


Método Proposto x Open Video (1/4) Open Video

Os resumos são gerados utilizando o algoritmo desenvolvido por (DeMenthon et al., 1998)

Refinamentos manuais

Resultados

9 melhores, 5 iguais, 6 piores em relação ao Open Video Pontuação

Maior: 4,4 (Método proposto) x 4,0 (Open Video) Pior: 3,3 Método proposto >= 4,0 -> 5 vídeos Open Video >= 4,0 -> 1 vídeo


Método Proposto x Open Video (2/4)

vid.Pontuação #Q-chave

MP OV MP OV

v1 4,4 4,0 10 20

v2 3,8 3,8 9 14

v3 3,5 3,5 10 18

v4 4,1 3,8 9 12

v5 3,5 3,9 7 7

v6 3,3 3,3 10 12

v7 3,6 3,0 8 12

v8 3,7 3,8 7 12

v9 3,3 3,4 6 6

v10 3,7 3,4 8 12

vid.Pontuação #Q-chave

MP OV MP OV

v11 3,8 3,8 15 29

v12 3,8 3,6 10 26

v13 4,0 3,7 6 8

v14 3,5 3,8 6 10

v15 3,6 3,7 10 12

v16 4,0 3,7 5 6

v17 4,0 3,7 9 19

v18 3,8 3,8 13 22

v19 3,6 3,3 8 13

v20 3,6 3,8 11 19


Método Proposto x Open Video (3/4) Exemplo

http://www.youtube.com/watch?v=ZE_zZ2fm39Y


Método Proposto x Open Video (4/4)

MétodoProposto

OpenVideo


Conclusões (1/1)

Os resultados gerados apresentaram qualidade com baixo consumo de tempo

Na maioria dos casos, os resumos do método proposto apresentaram qualidade superior em relação aos resumos do Open Video

Mais testes devem ser feitos para confirmar a aplicabilidade da abordagem


Trabalhos Futuros (1/1) Algumas idéias/necessidades/emergências

Pré-processamento dos quadros Espaço de cor Características Número de agrupamentos Refinamento dos agrupamentos Diferentes gêneros de vídeos Método de avaliação?


Referências The Open Video Project. http://www.open-video.org.

B. T. Truong and S. Venkatesh. Video abstraction: A systematic review and classification. ACM Trans. on Mult. Comp., Comm., and Appl. (TOMCCAP), 3(1), 2007.

S. Pfeiffer, R. Lienhart, S. Fischer, and W. Effelsberg. Abstracting digital movies automatically. J. Visual Comm. And Image Representation, 7(4):345–353, 1996.

sumarização automática de vídeos baseada em características de cor e agrupamentos sandra eliza...

Documents