sumarização de vídeo edward cayllahua ecayllahua1@gmail.com

Sumarização Sumarização de de vídeovídeo

Edward CayllahuaEcayllahua1@gmail.com

ÍndiceÍndiceo Introduçãoo Objetivoo Modeloso Análise De Complexidadeo Resultadoso Conclusões

IntroduçãoIntrodução

o Sumarização de vídeo é o processo de extração de um resumo do conteúdo original do vídeo.

o O objetivo é fornecer rapidamente a informação do conteúdo do vídeo, preservando a mensagem do vídeo original

IntroduçãoIntrodução

o Por que é necessário resumir vídeos?

• Dia a dia um monte de informação é produzida na televisão, internet, etc.

• O vídeo é um dos mais utilizados hoje.

IntroduçãoIntrodução

o Por que é necessário resumir vídeos?

• A quantidade de vídeos cresce exponencialmente.

• uma pessoa não pode processar todos os vídeos

• é necessário desenvolver um modelo que sintetiza um vídeo

IntroduçãoIntrodução

o Tipos de resumos:

• Estáticos: Extração de um conjunto de quadros-chave do vídeo original.

• Dinâmicos: Extração de um conjunto de clips do vídeo original.

o Os clips são elementos que podem conter informações de som e movimento

ObjetivoObjetivo

• Desenvolver um método para sumarização de vídeo estático baseado em características espaço-temporais

ModelosModelos

o Um vídeo: é uma seqüência de frames consecutivos.

o Frame: uma única imagem  em um filme.

o keyframe : Um único frame que pode representar outros frames no mesmo vídeo.

ModelosModeloso A Video Summarization Approach based on Machine

Learning

• Detecta principais características, tais como valores de pixel, bordas e histogramas.

• Machine Learning é usado como um sistema para prever transições de vídeo

• Se o valor exceder um limite, então um keyframe é detectado

• Um vídeo é construído usando o keyframes

ModelosModeloso An Improved Sub-optimal Video Summarization

Algorithm

• O usuário define o tamanho final do resumo ( T ).

• Depois, o método calcula as distorções dos frames

• Se a distorção é grande e não chegamos a T, o quadro é adicionado ao resumo de vídeo.

• O processo é rápido, mas não suficientemente robusto.

ModelosModelosoVideo Summarization from Spatio-

Temporal Features

• Detectamos as características espaço-temporal do vídeo usando a matriz hessiana.

• Estas características são usadas para calcular o nível de atividade do frame

• Se este nível é muito alto, então podemos sinalizar este frame como um keyframe.

• Um vídeo é construído usando o keyframes

ModelosModelosVideo Summarization from Spatio-Temporal Features• Cada frame pode ser considerado como

uma imagem • O frame pode ser representado como:

• Onde representa a informação espacial.• Representa a informação temporal

ModelosModelos

oVideo Summarization from Spatio-Temporal Features• Hessian Matrix

ModelosModelos

oVideo Summarization from Spatio-Temporal Features• Máscaras usadas:

ModelosModelosVideo Summarization from Spatio-Temporal Features• Nível de atividade de um quadro

o é um valor fixo.o Se contecer, marcamos o pixel. oOs pixels marcados são contadas eo valor total é o nível de atividade do frame

ModelosModelosVideo Summarization from Spatio-Temporal Features• Nível de atividade de um filme

ModelosModelosVideo Summarization from Spatio-Temporal Features• keyframes são identificados com

o máximo local

ModelosModelosVideo Summarization from Spatio-Temporal Features.

Análise De Análise De ComplexidadeComplexidade

oUm vídeo contém  frames.oCada Frame contém    pixelsoPor cada Frame, 24 operações locais são realizadas

ResultadosResultados

ConclusõesConclusões

o A parte mais importante na sumarização de vídeo é dar um modelo sólido para extrair os keyframes.

o Subjetividade, algo que pode ser importante para uma pessoa, pode não ser importante para outra.

o Esta área de pesquisa ainda é muito jovem. Não há um banco de dados standard para os testes