sistemas de federação linked data
DESCRIPTION
Sistemas de federação linked dataTRANSCRIPT
2
Apresentação baseada em...
3
Como armazenar e Consumir esses
dados?
4
ArmazenarRdf Store
Wrappers banco de dados relacional Web API
5
ConsumirRdf dump
SPARQL endpoint
6
ConsumirRdf dump
SPARQL endpoint
7
XNão consultar apenas 1
dataset
Endpoint
Q
8
Q
endpoint
RDF
RDF
RDF
endpoint
RDF RDF
RDF
endpoint
Link RDF
Link RDF
Link RDF
Link RDF
9
Qual o BIG Problem?Execução de consultas
complexas
Consultas Estruturadas sobre múltiplas fontes
Respostas das consultas como sendo a união dos múltiplos subgrafos de todos os datasets que responderam a consulta
10
Então... Como consultar?
11
Abordagens de Consultas
+
12
Data Warehousing
Consultas Federadas (Sistemas de Federação)
13
Data Warehousing
Os dados são coletados e armazenados em um repositório central [Chaudhuri and Dayal ,1997]
Consultas são submetidas sobre o repositório central
Como se aplica em Linked Data?
14
Usuário
Sparql Endpoi
ntAPI
Repositório Central de RDF
Dados RDF
Dados RDF
Dados RDF
15
Data Warehousing
RDF Dumps de datasets relevantes para a aplicação
Proveniência dos Dados
Melhor performance
Muito tempo para recuperar os RDFs Dump
Maior tempo para carregar tais dumps
Dados desatualizados
Vantagens
desVantagens
16
Consulta Federada (Sistemas de Federação)Baseada no processamento de consultas distribuídas sobre múltiplas fonte de dados
Mediador: recebe as consultas,
analisa,
decompõe em múltiplas sub consultas e
envia para o dataset capaz de responder à consulta.
17
dataset
Q
dataset dataset
Federação
Sistema de Federação sobre um único Repositório
Usuário
API API API
18
SPARQLEndpoint
dataset
Q
dataset dataset
Federação
Usuário
Sistema de Federação sobre SPARQL Endpoint
SPARQLEndpoint
SPARQLEndpoint
19
SPARQL
1.0 1.1
Consulta Federada (Sistemas de Federação)
Interface de Consulta
Processador de Consutlas
Consulta em SPARQL 1.1
Interface de Consulta
Reescrita de Consultas
Consulta em SPARQL 1.0
Sistema de Federação de Consultas em
SPARQL 1.1
Interface de Consulta
Processador de Consutlas
Consulta em SPARQL 1.0
SPARQL Endpoint 1.0
20
Sim...
Mas porque eu preciso de um Sistema Federado mesmo?
21
Fontes de Dados Linked Data do Domínio Life Sciences
Find the Chemical equations and Reaction titles of reactions related to only those
drugswhich are approved along with average
Molecular Weight
22
PREFIX drugbank:<http://www4.wiwiss.fu-berlin.de/drugbank/resource/drugbank/>PREFIX drugType:<http://www4.wiwiss.fu-berlin.de/drugbank/resource/drugtype/>PREFIX kegg:<http://bio2rdf.org/keggvocabulary:>PREFIX keggImage:<http://bio2rdf.org/ns/bio2rdf#>PREFIX purl:<http://purl.org/dc/elements/1.1/>
SELECT distinct ?drug ?drugtype ?compound ?molecularWeightAverage ?ReactionTitle ?ChemicalEquationWHERE { ?drug drugbank:drugType drugType:approved . ?drug drugbank:keggCompoundId ?compound . ?drug drugbank:molecularWeightAverage ?molecularWeightAverage . ?enzyme kegg:xSubstrate ?compound . ?Chemicalreaction kegg:xEnzyme ?enzyme . ?Chemicalreaction kegg:equation ?ChemicalEquation . ?Chemicalreaction keggImage:urlImage "http://www.genome.jp/Fig /reactionsmall/R05248.gif " . ?Chemicalreaction purl:title ?ReactionTitle}
23
SELECT ?drugname ?indicationWHERE {FROM <http://localhost/dbpedia.rdf>{ ? drug a dbpedia−owl:Drug . ? drug rdfs:label ?drugname . ? drug owl:sameAs ?drugbank .}FROM <http://localhost/drugbank.rdf>{ ? drugbank drugbank:indication ?indication .}}
SPARQL 1.0
24
SELECT ?drugname ?indicationWHERE {SERVICE <http://dbpedia.org/sparql>{ ? drug a dbpedia−owl:Drug . ? drug rdfs:label ?drugname . ? drug owl:sameAs ?drugbank .}SERVICE <http://www4.wiwiss.fu−berlin.de/drugbank/sparql> { ? drugbank drugbank:indication ?indication .}}
SPARQL 1.1
25
Dados Atualizados
Não precisa de espaço adicional
Consultas Ad-Hoc
Consulta Transmitida via protocolos de Rede
Uso do operador de Junção
Dados desatualizados
Técnicas de paralelismo e otimização
Vantagens
desVantagens
Consulta Federada (Sistemas de Federação)
26
CaracterísticasData Warehousing
Universo de Discurso (UoD)
Consulta Federada
Interface
Fontes Conhecidas
RDF Dumps SPARQL Endpoint
Acesso a dados Originais
não sim
rápida Baixa/médiaVelocidade de Acesso
Dados Armazenados
Comparação
27
• [Bizer et al. 2009] BIZER C., HEATH T., BERNERS-LEE T. Linked data - the story so far. INT. J. SEMANTIC WEB INF. SYST, 2009.
• [Bleiholder and Naumann, 2009] BLEIHOLDER, J AND NAUMANN, F. Data fusion. ACM COMPUT. SURV. 41, 1, ARTICLE 1, JANUARY 2009.
• [Chaudhuri and Dayal ,1997] CHAUDHURI, D., DAYAL, U. An overview of data warehousing and olap technology. SIGMOD RECORD, 26(1):65-74, 1997.
• [Correndo et al. 2010] CORRENDO, G., SALVADORES, M., MILLARD, I., GLASER, H AND SHADBOLT, N. SPARQL query rewriting for implementing data integration over linked data. IN PROCEEDINGS OF THE 2010 EDBT/ICDT WORKSHOPS (EDBT '10). 2010.
• [Franklin et al. 2005] FRANKLIN, M., HALEVY, A., MAIER, D. From Databases to Dataspaces: A New Abstraction for Information Management. IN: SIGMOD ’05: ACM SIGMOD INTERNATIONAL CONFERENCE ON MANAGEMENT OF DATA, 2005.
• [Haase et al. 2010] HAASE, P., MATH, T, AND ZILLER, M. An evaluation of approaches to federated query processing over linked data. IN PROCEEDINGS OF THE 6TH INTERNATIONAL CONFERENCE ON SEMANTIC SYSTEMS (I-SEMANTICS '10), ACM, NEW YORK, NY, USA. 2010.
Referências
28
• [Halevy et al. 2006] HALEVY, A., RAJARAMAN, A., ORDILLE, J.: Data integration: the teenage years. IN: VLDB’06: 32ND INTERNATIONAL CONFERENCE ON VERY LARGE DATA BASES, ACM, 2006.
• [Harting and Langegger 2010] HARTIG, O AND LANGEGGER, A. A DATABASE PERSPECTIVE ON CONSUMING LINKED DATA ON THE WEB. DATENBANK-SPEKTRUM 10(2): 57-66. 2010.
• [Langegger et al. 2008] LANGEGGER, A., WÖẞ, W., BLÖCHL, M. A Semantic Web Middleware for Virtual Data Integration on the Web. IN: PROCEEDINGS OF THE 5TH EUROPEAN SEMANTIC WEB CONFERENCE (ESWC). VOLUME 5021 OF LECTURE NOTES IN COMPUTER SCIENCE. SPRINGER VERLAG, PP. 493–507. 2008.
• [Lee et al. 2010] LEE, J., PARK, J., PARK, M., CHUNG, C AND MIN, J. An intelligent query processing for distributed ontologies. J. SYST. SOFTW. 83, 1 (JANUARY 2010), 85-95. 2010.
• [Lóscio, 2003] LÓSCIO, B. F. Managing the Evolution of XML-based Mediation Queries. PH.D. THESIS, FEDERAL UNIVERSITY OF PERNAMBUCO, BRAZIL, 2003.
• [Schwarte et al. 2011] Schwarte, A., Haase, P., Hose, K., Schenkel, R ., Schmidt, M: FedX: A Federation Layer for Distributed Query Processing on Linked Open Data. ESWC (2) 2011: 481-486
Referências
