anotação semântica de dados multimídia paulo bittencourt moura cin - ufpe
TRANSCRIPT
Anotação semântica de dados multimídia
Paulo Bittencourt Moura CIn - UFPE
Agenda
● Introdução● Anotação semântica por feedback● Anotação semântica com ontologias● MPEG-7 e a web semântica● Sistemas e ferramentas● Considerações finais
Introdução
● Recuperação baseada em texto
● Recuperação baseada em conteúdo
● Recuperação baseada em semântica
Anotação semântica por feedback
● Feedback utilizado para “aprender” semântica
● Mesclam palavras chaves com dados visuais
● Utilizam técnicas de IA para efetuar agrupamentos
Anotação semântica por feedback (2)
● [2003, Zhang] Propaga rotulações durante processo de
feedback
Utiliza modelos probabilístico para agrupamento e propagação de anotações
Anotação semântica por feedback (3)
● [2004, Gosselin and Cord] Vetor de relevância para cada busca
● 1 – relevante● 0 – não classificado● -1 – irrelevante
Faz soma ponderada das buscas Considera competência do usuário Matriz de similaridade compactada
Anotação semântica por feedback (4)
● [2005, WANG and ZHANG] Descrição em dois níveis: categoria e palavras-
chave Redes semânticas ponderadas Hierarquia de palavras-chave
Anotação semântica com ontologias
● O uso de ontologias altera a anotação em alguns sentidos como: Guiam o processo de anotação Explicitam a relação entre agentes, propriedades
etc. Ontologia trazem consigo conhecimento
adicional itens que não se enquadram na busca podem
ser recomendados
Anotação semântica com ontologias (2)
● [2002, Hyovonen e Raatikka] Eventos promocionais da Universidade de
Helsinki Consultas na forma classe=instancia ou
classe=subclasse Contador de visitas para recomendar imagens
mais populares Mantém log das sessões para não repetir as
recomendações RDF(S)
Anotação semântica com ontologias (3)
● [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Anotações de imagens de macacos Terminologia geral (Wordnet e ICONCLASS) Ontologia de anotação + ontologia de domínio RDF(S)
Anotação semântica com ontologias (4)
● [2007 Leslei, Chua e Ramesh] Anotação de pinturas Ontologia baseada em AAT e ULAN Usa algorítmos probabilísticos para anotações
sobre cores e estilos de pinceladas Heurísticas do domínio artístico para anotação
sobre autor, escola e período Ontology-base Concept Desambiguation (OCD)
MPEG-7 e Web Semântica
● MPEG-7 especifica uma forma padronizada de descrever
vários tipos de conteúdo multimídia independente de sua forma de representação ou armazenamento
Elementos básicos● Descriptors (D)● Description Schemes (DS)● Description Definition Language (DDL)● System Tools
MPEG-7 e Web Semântica
● MPEG-7 - divisão Parte 1: Systems Parte 2: DDL Parte 3: Visual Parte 4: Audio Parte 5: Generic Entities and MDS Parte 6: Reference Software Parte 7: Conformance Testing Parte 8: Extraction and Use of MPEG-7
Descriptions Parte 9: Profiles and levels Parte 10: Schema Definition
MPEG-7 e Web Semântica
● MPEG-7 - falha em interoperabilidade semântica Anotação com texto livre
<FreeTextAnnotation xml:lang="en">Zinedine Zidane scoring against England.</FreeTextAnnotation>
Anotação com palavras-chave<KeywordAnnotation xml:lang="en"><Keyword>Zinedine</Keyword><Keyword>Zidan</Keyword><Keyword>scoring</Keyword><Keyword>England</Keyword><Keyword>goal</Keyword></KeywordAnnotation>
MPEG-7 e Web Semântica
MPEG-7 e Web Semântica
● MPEG-7 - falha em interoperabilidade semântica Anotação estruturada com rótulos
<StructuredAnnotation><Who><Name xml:lang="en">Zinedine Zidane</Name></Who><WhatAction><Name xml:lang="en">Zinedine Zidane scoring against England.</Name></WhatAction></StructuredAnnotation>
MPEG-7 e Web Semântica
MPEG-7 e Web Semântica
● MPEG-7 - falha em interoperabilidade semântica Anotação com descritor semântico
<Semantic id="FormalAbstractionDescription"><SemanticBase xsi:type="AgentObjectType" id="Zidane"><Label><Name>Zidane </Name></Label><Agent xsi: ="PersonType"><Name><GivenName>Zinedine</GivenName><FamilyName>Zidane</FamilyName></Name></Agent></SemanticBase><SemanticBase xsi:type="EventType" id="scoring"><Label><Name>Zinedine Zidane scoring against England.</Name></Label></SemanticBase></Semantic>
MPEG-7 e Web Semântica
MPEG-7 e Web Semântica
● MPEG-7 – ontologias Hunter: cobre parte do MDS
● RDFS / OWL Full● 60 classes e 40 propriedades● Usa ABC como base
Tsinaraki: cobre todo o MDS● OWL DL● 420 classes e 175 propriedade
MPEG-7 e Web Semântica
● MPEG-7 – ontologias Hollink: visual
● RDFS● Usa Wordnet como base
VDO: visual● RDFS● Usa DOLCE como base
MPEG-7 e Web Semântica
● MPEG-7 – ontologias DMAG: cobre todo o MPEG-7
● OWL Full● 2372 classes e 975 propriedades● Gerada automaticamente com XSD2OWL
SCDO: cobre o esquema de Descrição semântica
● OWL● 23 classes e 71 propriedades
MPEG-7 e Web Semântica
● [2006, Burger, Guntner e Gams] Define pontos de extensão onde o MPEG-7
pode ser aumentado com triplas RDF Utiliza técnicas modernas de análise para
extração de informação semântica● Key frames, detecção automática de cenas,
reconhecimento de fala, transformação de fala em texto etc.
Sistemas e ferramentas
• M-ontomant-annotizer– Extende Ontomat-Annotizer
– Implementa Visual Drescription Extraction (VDE)
– DOLCE + VDO + MSO + Ontologias de domínio
– Análise de similaridade
Sistemas e ferramentas (2)
• VideoAnnEx– Segmentação de vídeo– Editor de ontologia– Anotação em termos de
evento, objetos e ações– Sugestão de anotações
Sistemas e ferramentas (3)
● MuseumFinland Anotações de acervo de museus Integra informações de museus distintos Uma ontologia de termos para integração de
vocabulário Várias ontologias de domínio Geração de HTML
Considerações finais
● Avanços na área são significativos e notórios mas... Será possível um sistema aberto e universal? Será possível automatizar completamente a
anotação de multimídia?
Referências
● [2005, Wang e Zhang] A Novel Method of Image Categorization and Retrieval Based on the Combination of Visual and Semantic Features
● [2004, Gosselin and Cord] Semantic kernel updating for content-based image retrieval
● [2003, Zhang] Learning semantics in content based image retrieval
● [2002, Hyovonen e Raatikka] Ontology-Based Semantic Metadata Validation
● [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Ontology-based photo annotation
● [2007 Leslei, Chua e Ramesh] Annotation of paintings with high-level semantic concepts using transductive inference and ontology-based concept disambiguation
Referências
● [2004, Hyovonen, Salminen, Junnila e Junnila] A Content Creation Process for the Semantic Web
● 04041333.pdf - [2006, Burger, Guntner e Gams] The Role of MPEG-7 in semantic Annotation and the Cross-Media Publishing Process
● [2005, Hunter] Adding Multimedia to the Semantic Web: Building and Applying an MPEG-7 Ontology
● [2004 Tsinaraki] Interoperability support for Ontoly-based Video Retrieval Appications
● [2005, Hollink] Building a Visual Ontology for Video Retrieval
● [2006, VDO] Petridis et al., Knowledge representation and semantic annotation of multimedia content
● [2005, MDAG] Garciae Celma, Semantic Integration and Retrieval of Multimedia Metadata
● [2006, SCDO] Rahman, Hossian, Kiringa e SAddik, Towards an Ontology for MPEG-7 Semantic Descriptions