1

SACCA

Sistema Automático de Catalogação de Conteúdo

Audiovisual

Liane Tarouco

Renato DutraMary Konrath

UFRGS/CINTED/PGIE

2

Cenário atualCenário atual

•• Acervo de vídeos começa a ser produzido na Acervo de vídeos começa a ser produzido na UFRGS e em outras instituiçõesUFRGS e em outras instituições

•• ExemplosExemplos–– Projeto Cala a boca já morreuProjeto Cala a boca já morreu

–– Acervo TV Escola do MECAcervo TV Escola do MEC

–– http://http://wwwwww..dominiopublicodominiopublico..govgov..nbrnbr

3

Bibliotecas digitaisBibliotecas digitais

•• Vídeos com Vídeos com

–– conferências, conferências,

–– aulas, aulas,

–– experimentos, experimentos,

–– demonstração de procedimentos, demonstração de procedimentos,

–– visitas em campovisitas em campo etcetc... ...

estão proliferando mas ficam muitas vezes sem estão proliferando mas ficam muitas vezes sem serem usados pelo desconhecimento de seu serem usados pelo desconhecimento de seu conteúdo pela potencial população de conteúdo pela potencial população de usuários, os professores.usuários, os professores.

4

Importância do uso do vídeoImportância do uso do vídeo

• A linguagem audiovisual favorece a percepção, a sensação sobre o conceito. – 75% da percepção humana é visual

– 20% da percepção é auditiva – outras modalidades somam juntas apenas

5% de nossa capacidade perceptiva

• Estamos na idade das imagens e provavelmente a alfabetização primária do século 21 será visual.

5

Problemas de usoProblemas de uso

–– Dificuldade para encontrar conteúdo em Dificuldade para encontrar conteúdo em vídeovídeo•• tempo demandado para que o acervo seja tempo demandado para que o acervo seja

inspecionado pelos potenciais utilizadoresinspecionado pelos potenciais utilizadores

•• a natureza da mídia, vídeo, não permite uma a natureza da mídia, vídeo, não permite uma visualização rápida do conteúdovisualização rápida do conteúdo

6

Problema a resolverProblema a resolver

•• SubSub--utilização de um material educacional utilização de um material educacional que pode ter grande impacto no processo de que pode ter grande impacto no processo de aprendizagem.aprendizagem.

7

Objetivo do projetoObjetivo do projeto

• Aumentar a utilização de recursos de vídeo educacional para melhorar a aprendizagem

• Ampliar o conhecimento sobre os acervos de vídeos educacionais disponíveis na UFRGS e em outros repositórios

8

PrecursorPrecursor

• Internet2 - projeto VALA (Virtual AdaptativeLearning Architecture) na University ofArizona – usa software comercial VIRAGE, para fazer a

análise

– software funciona para a língua inglesa.

• O resultado possibilita ao aluno digitar uma ou mais palavras chaves e receber uma coleção de URLs que apontam para vídeos armazenados no repositório (incluindo pontos específicos do vídeo onde a palavra é dita).

9

10

11

Projeto SACCAProjeto SACCA

• Buscou uma solução que apoiasse a indexação dos vídeos por seu conteúdo

12

Padrões de anotação estudadosPadrões de anotação estudados

• SMIL - Synchronized Multimedia Integration Language

• ANNODEX

• MPEG 7

13

SMILSMIL

• O SMIL é tipicamente utilizado para apresentações multimídia do tipo ”rich

media”, que integram áudio e video streaming, texto ou qualquer outro tipo de arquivo.

14

SMILSMIL• O SMIL é uma linguagem baseada no XML,

trabalhando com tags semelhantes ao HTML, podendo ser editado por qualquer editor de texto comum, pois os elementos multimídia não são inseridos, somente referenciados.

• Exemplo de vídeo sincronizado com SMIL:– http://www.pgie.ufrgs.br/videoconferencia/videoconference.rm

Vídeo

Slides

Índice com imagens

15

SMILSMIL

• Com o SMIL é possível gerenciar a transmissão de arquivos multimídia por streaming, sincronizando estes arquivos com animações flash, páginas html, figuras, etc.

16

ANNODEX

• O Annodex (anotating and indexing), é uma especificação criada a partir do ContinuousMedia Project, iniciado na CSIRO (Australia's Commonwealth Scientific and IndustrialResearch Organisation)

• Manipulação de arquivos de áudio e vídeo na Web.

• Free Annodex™ plugin for Mozilla Firefox

17

MPEGMPEG--77

• O MPEG-7 é uma especificação padronizada desenvolvida pelo Moving Picture Experts Group, um grupo de trabalho da ISO/IEC criado em 1988, encarregado pelo desenvolvimento de padrões para representação codificada de áudio e vídeo digitais

18

MPEGMPEG--77

• O MPEG-7 descreve as características de conteúdos multimídia para que os usuários possam pesquisar e recuperar estes conteúdos de forma similar ao que ocorre nos mecanismos de busca na WWW.

• Para a criação destas descrições, o MPEG-7 disponibiliza um conjunto de elementos de metadados descritos em XML.

19

MPEGMPEG--77

• Description Schemas podem ser divididos em cinco áreas: – Elementos básicos

– Gerenciamento de conteúdo– Descrição de conteúdo– Navegação e acesso

– Organização de conteúdo

20

MPEGMPEG--77

21

MPEG 7MPEG 7

• Multimedia Content Description Interface

• ISO/IEC 15938 • MPEG-7 é baseado em um conjunto de

descrições que abrange:– procedência (título, criador, direitos)– elementos semânticos (quem, o quê, quando) e

estruturais audio-visual (histograma de cor de uma imagem ou o timbre de um trecho musical).

• Construido com base em XML e pode ser integrado a uma hierarquia orientada a objetos

22

Ferramentas para usar MPEGFerramentas para usar MPEG--77

• Ferramentas que utilizam o MPEG-7 como linguagem padrão de descrição de vídeo. – Ricoh MPEG-7 MovieTool utilizado para

criar descrições

– Canon MPEG-7 Spoken Content

Transcription Service um serviço que transcreve em XML no padrão MPEG-7 um arquivo de áudio

– IBM MPEG-7 Annotation Tool. IBMAnnotation Tool

23

IBM IBM Annotation ToolAnnotation Tool

24

Porque foi escolhido o MPEG 7Porque foi escolhido o MPEG 7

• Padrão desenvolvido pela ISO

• Por ter sido criado especificamente com o intuito de descrever e indexar vídeos.

– O grande diferencial do MPEG-7 é sua abrangência, pois nele é possível fazer descrições que nos permitem indexar não somente palavras-chave em determinados intervalos do vídeo, como também permite a indexação por padrões de imagem, som e outros tipos de descrições.

25

SACCASACCA

26

Funcionamento do SACCAFuncionamento do SACCA

• As informações resultantes devidamente anotadas no arquivo XML padrão MPEG-7 são armazenadas em um banco de dados, com todas a palavras chave catalogadas e ponteiros para os arquivos XML (MPEG 7)

27

Visualizador desenvolvidoVisualizador desenvolvido

• Utiliza applet baseado no Java Media Player, alterado para tocar partes do vídeo a partir das descrições MPEG 7.

28

Exemplo de exibiçãoExemplo de exibição

• Um Módulo Visualizador foi projetado para ser integrado a estes dois sistemas, com vistas a permitir a exibição dos vídeos, a partir de momentos referenciados porum link (uma URL associada a um instante em que uma dada palavra chave é falada).

29

Módulo de visualizaçãoMódulo de visualização

• Desenvolvido o módulo de visualização de vídeos indexados que permite visualizar um vídeo em padrão MPEG 4 ou Quicktime em conjunto com um indice de palavras-chave, permitindo que se navegue no vídeo através das palavras-chave.

• Este módulo foi desenvolvido em forma deApplet Java através da API Quicktime forJava, uma API disponibilizada pela Applepara o desenvolvimento de visualizadores de vídeo.

30

Módulo Módulo exibidorexibidor

• A API inicialmente escolhida, o Java MediaFramework, apesar de plenamente funcional não exibe por enquanto vídeos no formato “Streaming”, permitindo somente vídeos padrão AVI ou MPEG-1.

• Diante disto buscou-se utilizar a APIQuicktime for Java, que por ser ainda pouco utilizada estava mal documentada e com alguns bugs em suas classes e métodos.

31

Teste do protótipoTeste do protótipo

• Foram assistidos, analizados e indexados alguns vídeos do TV Escola, através do software IBM Annotation Tool, gerando um arquivo MPEG-7, permitindo sua visualização no módulo visualizador

• Os dados (MPEG 7) obtidos através do IBM Annotation Tool, foram usados para cadastramentono repositório CESTA

32

Testes comparativosTestes comparativos

• Indexados alguns vídeos através da linguagem SMILE, conforme demonstrados na página do SACCA

• http://www.cinted.ufrgs.br/SACCA/

33

Integração com sistemas de Integração com sistemas de

indexação existentesindexação existentes

• Os sistemas de cadastramento existentes, tal como o do projeto CESTA - Coletânea de Entidades de Suporte ao uso da Tecnologia na Aprendizagem para objetos de aprendizagem, ou o ALEPH, usado na biblioteca da UFRGS, usualmente se limitam a catalogar dados inerentes aos metadados.

• Perde-se nestas alternativas a possibilidade de indexação full-text que as máquinas de busca como Altavista e Google

34

Aplicações de MPEGAplicações de MPEG

• A aplicação do MPEG-7 na educação pode ocorrer de diversas formas, podendo ser utilizado para – permitir a busca de determinadas palavras em um

vídeo que sejam interessantes para uma aula; – encapsulando informações adicionais de

determinadas cenas possibilitando a exploraçãopelos alunos;

– permitindo que alunos façam suas próprias anotações (gerando uma anotação MPEG-7) e observações em um determinado vídeo.

35

MPEGMPEG--7 e os vídeos educacionais7 e os vídeos educacionais

• A utilização de vídeos educacionais no processo de ensino e aprendizagem ganhou importantes recursos com o surgimento de padrões, como o MPEG-7, que auxiliamdescrevê-los de forma padronizada, possibilitando a busca e seleção de vídeos ou partes dele.

36

Ferramenta para professores e Ferramenta para professores e

para alunospara alunos• A utilização das descrições MPEG-7, escritas

em XML e integradas a um repositório de materiais audiovisuais, possibilitarão aos professores de forma simples e rápida, localizar vídeos educacionais adequados para o apoio em sala de aula.

• Adicionalmente servirá como ferramenta para que o aluno navegue, de forma hipertextual, nos diversos vídeos armazenados neste repositório.

37

Equipe do SACCAEquipe do SACCA

• Renato Luis de Souza Dutra (*)

• Mary Konrath

• Anita Grando

• Mateus Gentilini

• Dyonathann Padoin

• Rafael Pereira

• Cassio Bento de Andrade

• Felipe Ledur (*)

• Mateus Gentilini Ledur (*)

• Priscilla Roland

• Jeferson Brito