Banco de Dados Multimídia

Capítulo 2: MetadadosUFPB/CCT/COPINCláudio Baptista

MetadadosIntroduçãoMotivaçãoPrincipais questões sobre metadadosArmazenamento e captura Metadados em diferentes mídiasExemplo de metadados: Modelo ViMod Padrões de MetadadosEstudo de Caso: o modelo STepLib

IntroduçãoMetadata = ‘dados sobre dados’É metadata:

um esquema conceitual num BD? um diagrama funcional num projeto de

software? uma descrição de uma imagem? o próprio dado?

MotivaçãoEm dados multimídia, metadados assumem

um papel especial devido a: impossibilidade de se ter consultas exatas em

vários casos impossibilidade de se fazer Content-based

Retrieval (CBR) em alguns casos para melhorar a qualidade das consultas CBR,

pois a semântica é mais precisa por razões de performance, CBR nem sempre é

recomendável em toda consulta

Questões acerca de metadados

Quais as características dos tipos de dados MM? Quais são exemplos típicos de metadados ? Qual o conteúdo de metadados (ontologia)? Como extrair metadados? Como metadados podem ser estruturados e

armazenados? Como metadados facilitam o processo de

descoberta da informação?

Metadados Porquê metadata? - data discovery - data transfer - data management - data use (interpretation)

como classifcar metadata?• Sistema:

vocabulário, formatos, protocolos• Controle de qualidade:

lineage, who, when, where, how data was collected• Semântico:

data attributes, content-based attributes

Hierarquia de Metadados

Ontologies

System Quality Semantic Control

MM data

Application DomainDependent

Higher Level ofAbstraction

MediaDependent

Lower level of Abstraction

Armazenamento e Captura Onde armazenar metadata? boa solução: integrar dados e metadata no modelo de

dados

uso da mesma API para recuperar e indexar dados e metadados.

Como capturrar metadata? manualmente automaticamente semi-automaticamente

Imagem: resolução (dpi), formato, compressão, histogramas, mapas de gradiente and contorno,cor mais usada em background e foreground, localização, composição, data de captura.

Vídeo: duração, num de frames/seg, compressão, formato,cor, textura, classificação do video, sumário, keyframes.

Texto: índices sobre word tokens, author name, date, publication, abstract.

Áudio: num. de samples/seg, num de canais, the coding in which it has been recorded, and a speaker, identificação da fala, duração, língua.

Exemplos de MM metadata

Exemplos de MM metadataVÍDEO

Subject: Campina Grande

Compression: MPEG-2

duration: 3’23’’

description: festa, parque do povo.

Class: turismo

bit rate: 120

TEXTO

Subject: Maior São João do Mundo

Autor: João Ninguém

data: 10/09/1997

lingua: Português

palavras-chave: forró, festa, folclore, turismo

tamanho: 5000 palavras

Formato: PDF

ÁUDIO

Subject: Forró

Coding: ADCPM

locução: Flávio José

data: 12/06/1999

duração: 3’’

IMAGEM

subject: Pirâmide

resolution: 600X800

format: jpeg

autor: Cláudio Baptista

data: 24/06/2001

histograma: []bytes

Metadados

Exemplo de Geo-spatial metadataGeneral Identification: title, description,

publisher, producer, progress, fees, constraints, copyright, accessibility, size

Spatial Identification: bouding coordinates (west, east, north, south), scale, resolution, spatial data structure(raster/vector), spatial reference

Temporal Identification: valid time, transaction time, temporal reference

Exemplo: Modelo ViModVideo Features

(I) Content dependent: (II) Temporal extent: frame (image) X

motion (video) (III) Labeling (futebol: drible, passe, gol)

Exemplo: Modelo ViModFeature

Content dependent

Data Feature Meta Feature

Temporallyextended

Image FeatureVideo Feature

ImageR-Feature

Image Q-feature

VideoR-Feature

VideoQ-feature

Qualitatively Labelled

Qualitativelylabelled

T F

T F

T F T F

ViMod: Video Q-Features(I, II, III)

Feature Valor típicoShot distance Long, Medium, Close upShot Angle Low, eye level, highShot Motion Tracking, Dolly, PanAudio labels Dialogue, music,Object properties People, treesVideo class News, sports

ViMod: Video R-Features(I, II, Raw data)

Feature Valor típicoObject track Set of image positionsCamera pan In degreesCamera height In metresAudio levels dB levelsLighting levels Average lux

ViMod: Image Q-Features(I, Frame, III)

Feature Valor típicoImage Brightness Indoor, outdoor, cloudyAudio properties Pitch, loudness, timbreObject name Car, treeObject color Red, blueObject location Left, center, rightObject structure Shape and size

ViMod: Image R-Features(I, Frame, Raw data)

Feature Valor típicoHistograms ArraysEdge maps ImageFeature maps ImageAudio FFT Maps Arrays

ViMod: Meta Features(content independent)

Feature Valor típicoProdutor NomeData DateTamanho Num. FramesTipo de Fita VHS, 8mm, VHS-C

Padrões de MetadadosFGDC/CSDGM

Para dados espaciais Proposto pelo governo americano,

porém depois influenciou o padrão ISO TC/TC11 CD 19115

ISO TC/TC11 possui dois levels• level 0: 53 elementos• level 1: mais de 400 elementos

Padrões de MetadadosDublin Core

Inicialmente proposto para recursos Web

Possui apenas 15 elementos: Title, Creator, Subject, Description, Publisher, Contributor, Date, Type, Format, Identifier, Source, Language, Relation, Coverage, Rights.

Estudo de Caso: o Modelo STepLibSTepLib = SpatioTEmPoral digital LIBrary

motivação:enorme volume de dados dispníveis

(terabytes/day)a ubiqüidade da WWW

áreas involvidas:spatiotemporal datamultimedia datametadata

STepLib: Spatiotemporal requirementsSpace

Spatial datavector vs. raster

Spatial operators topological, directional, metric, network, set

oriented Time

Temporal data Temporal operators

STepLib: requisitos MMStorage, indexing, retrieving,

presentation, composition, modeling Data types: text, image, video and

audioQuery

exact match vs. partial match content-based retrieval

similarity() and rank()

STepLib: hierarquia de metdados

System MetadataRaw Data

CollectionsOntologiesGazetteer

Semantic MetadataQuality Metadata

High level of abstraction

ApplicationDomainDependent

DataDependent

Low level of abstraction

STepLib: tipos de metadadosSpatiotemporal metadata

bounding coordinates (W,E,N,S), theme keywords, attribute accuracy, cloud cover, date/time range, contact information

MM metadata image: resolution, format, compression, … video: duration, frames/sec, keyframes, ... text: author, date, format, keywords, ... audio: samples/sec., duration, language, …

STepLib: modelo de metadados

CollectionGazetteer Ontology

MetaGeoObject FullMetadata

MetaImage MetaVideo MetaAudio MetaText MetaMap

Image Video Audio Text

PolygonArcPoint

STepLib: coleções

title: Textdescription: TextboundingBox: Polygonperiod: TIntervallibrarian: Personcreator: PersoncreationDate: TimeStampdatatype: DataType

Collection

STepLib: MetaGeoObject

title: Texttheme: {Text}boundingBox: PolygonspatialReference: Textperiod: TIntervalcreator: PersoncreationDate: TimeStampdatatype: DataTypepublisher: Personannotation: TextdataQuality: Text

MetaGeoObject

STepLib: MetaImage

format: ImgFormatsize: Integerthumbnail: ImagenumX: IntegernumY: IntegernumZ: Integer

MetaImage

STepLib: MetaVideo

format: VideoFormatstandard:VideoStdcompression: VidCompsize: Realduration: TimebitRate: RealframeRate: Real

MetaVideo

STepLib: MetaAudio

compression: AudCompsize: RealsampleRate: RealbitRate: Realchannel: Integerduration: Time

MetaAudio

STepLib: MetaText

language: Textformat: TextFormatsize: RealwordCount: Integer

MetaText

STepLib: MetaMap

scale: Real

MetaMap

STepLib: MetaMap

Point

latitude: Reallongitude: Real altitude: AltRangetime:Timetheme: Textfeature: Text

STepLib: MetaMap

LineString

points: Listaltitude: AltRangetime:Timetheme: Textfeature: Text

STepLib: MetaMap

Polygon

points: Listaltitude: AltRangetime:Timetheme: Textfeature: Text