sistemas de federação linked data

Sistemas de Federação Linked Data

Danusa Ribeirodrbc@cin.ufpe.br

2

Apresentação baseada em...

3

Como armazenar e Consumir esses

dados?

4

ArmazenarRdf Store

Wrappers banco de dados relacional Web API

5

ConsumirRdf dump

SPARQL endpoint

6

ConsumirRdf dump

SPARQL endpoint

7

XNão consultar apenas 1

dataset

Endpoint

Q

8

Q

endpoint

RDF

RDF

RDF

endpoint

RDF RDF

RDF

endpoint

Link RDF

Link RDF

Link RDF

Link RDF

9

Qual o BIG Problem?Execução de consultas

complexas

Consultas Estruturadas sobre múltiplas fontes

Respostas das consultas como sendo a união dos múltiplos subgrafos de todos os datasets que responderam a consulta

10

Então... Como consultar?

11

Abordagens de Consultas

+

12

Data Warehousing

Consultas Federadas (Sistemas de Federação)

13

Data Warehousing

Os dados são coletados e armazenados em um repositório central [Chaudhuri and Dayal ,1997]

Consultas são submetidas sobre o repositório central

Como se aplica em Linked Data?

14

Usuário

Sparql Endpoi

ntAPI

Repositório Central de RDF

Dados RDF

Dados RDF

Dados RDF

15

Data Warehousing

RDF Dumps de datasets relevantes para a aplicação

Proveniência dos Dados

Melhor performance

Muito tempo para recuperar os RDFs Dump

Maior tempo para carregar tais dumps

Dados desatualizados

Vantagens

desVantagens

16

Consulta Federada (Sistemas de Federação)Baseada no processamento de consultas distribuídas sobre múltiplas fonte de dados

Mediador: recebe as consultas,

analisa,

decompõe em múltiplas sub consultas e

envia para o dataset capaz de responder à consulta.

17

dataset

Q

dataset dataset

Federação

Sistema de Federação sobre um único Repositório

Usuário

API API API

18

SPARQLEndpoint

dataset

Q

dataset dataset

Federação

Usuário

Sistema de Federação sobre SPARQL Endpoint

SPARQLEndpoint

SPARQLEndpoint

19

SPARQL

1.0 1.1

Consulta Federada (Sistemas de Federação)

Interface de Consulta

Processador de Consutlas

Consulta em SPARQL 1.1

Interface de Consulta

Reescrita de Consultas

Consulta em SPARQL 1.0

Sistema de Federação de Consultas em

SPARQL 1.1

Interface de Consulta

Processador de Consutlas

Consulta em SPARQL 1.0

SPARQL Endpoint 1.0

20

Sim...

Mas porque eu preciso de um Sistema Federado mesmo?

21

Fontes de Dados Linked Data do Domínio Life Sciences

Find the Chemical equations and Reaction titles of reactions related to only those

drugswhich are approved along with average

Molecular Weight

22

PREFIX drugbank:<http://www4.wiwiss.fu-berlin.de/drugbank/resource/drugbank/>PREFIX drugType:<http://www4.wiwiss.fu-berlin.de/drugbank/resource/drugtype/>PREFIX kegg:<http://bio2rdf.org/keggvocabulary:>PREFIX keggImage:<http://bio2rdf.org/ns/bio2rdf#>PREFIX purl:<http://purl.org/dc/elements/1.1/>

SELECT distinct ?drug ?drugtype ?compound ?molecularWeightAverage ?ReactionTitle ?ChemicalEquationWHERE { ?drug drugbank:drugType drugType:approved . ?drug drugbank:keggCompoundId ?compound . ?drug drugbank:molecularWeightAverage ?molecularWeightAverage . ?enzyme kegg:xSubstrate ?compound . ?Chemicalreaction kegg:xEnzyme ?enzyme . ?Chemicalreaction kegg:equation ?ChemicalEquation . ?Chemicalreaction keggImage:urlImage "http://www.genome.jp/Fig /reactionsmall/R05248.gif " . ?Chemicalreaction purl:title ?ReactionTitle}

23

SELECT ?drugname ?indicationWHERE {FROM <http://localhost/dbpedia.rdf>{ ? drug a dbpedia−owl:Drug . ? drug rdfs:label ?drugname . ? drug owl:sameAs ?drugbank .}FROM <http://localhost/drugbank.rdf>{ ? drugbank drugbank:indication ?indication .}}

SPARQL 1.0

24

SELECT ?drugname ?indicationWHERE {SERVICE <http://dbpedia.org/sparql>{ ? drug a dbpedia−owl:Drug . ? drug rdfs:label ?drugname . ? drug owl:sameAs ?drugbank .}SERVICE <http://www4.wiwiss.fu−berlin.de/drugbank/sparql> { ? drugbank drugbank:indication ?indication .}}

SPARQL 1.1

25

Dados Atualizados

Não precisa de espaço adicional

Consultas Ad-Hoc

Consulta Transmitida via protocolos de Rede

Uso do operador de Junção

Dados desatualizados

Técnicas de paralelismo e otimização

Vantagens

desVantagens

Consulta Federada (Sistemas de Federação)

26

CaracterísticasData Warehousing

Universo de Discurso (UoD)

Consulta Federada

Interface

Fontes Conhecidas

RDF Dumps SPARQL Endpoint

Acesso a dados Originais

não sim

rápida Baixa/médiaVelocidade de Acesso

Dados Armazenados

Comparação

27

• [Bizer et al. 2009] BIZER C., HEATH T., BERNERS-LEE T. Linked data - the story so far. INT. J. SEMANTIC WEB INF. SYST, 2009.

• [Bleiholder and Naumann, 2009] BLEIHOLDER, J AND NAUMANN, F. Data fusion. ACM COMPUT. SURV. 41, 1, ARTICLE 1, JANUARY 2009.

• [Chaudhuri and Dayal ,1997] CHAUDHURI, D., DAYAL, U. An overview of data warehousing and olap technology. SIGMOD RECORD, 26(1):65-74, 1997.

• [Correndo et al. 2010] CORRENDO, G., SALVADORES, M., MILLARD, I., GLASER, H AND SHADBOLT, N. SPARQL query rewriting for implementing data integration over linked data. IN PROCEEDINGS OF THE 2010 EDBT/ICDT WORKSHOPS (EDBT '10). 2010.

• [Franklin et al. 2005] FRANKLIN, M., HALEVY, A., MAIER, D. From Databases to Dataspaces: A New Abstraction for Information Management. IN: SIGMOD ’05: ACM SIGMOD INTERNATIONAL CONFERENCE ON MANAGEMENT OF DATA, 2005.

• [Haase et al. 2010] HAASE, P., MATH, T, AND ZILLER, M. An evaluation of approaches to federated query processing over linked data. IN PROCEEDINGS OF THE 6TH INTERNATIONAL CONFERENCE ON SEMANTIC SYSTEMS (I-SEMANTICS '10), ACM, NEW YORK, NY, USA. 2010.

Referências

28

• [Halevy et al. 2006] HALEVY, A., RAJARAMAN, A., ORDILLE, J.: Data integration: the teenage years. IN: VLDB’06: 32ND INTERNATIONAL CONFERENCE ON VERY LARGE DATA BASES, ACM, 2006.

• [Harting and Langegger 2010] HARTIG, O AND LANGEGGER, A. A DATABASE PERSPECTIVE ON CONSUMING LINKED DATA ON THE WEB. DATENBANK-SPEKTRUM 10(2): 57-66. 2010.

• [Langegger et al. 2008] LANGEGGER, A., WÖẞ, W., BLÖCHL, M. A Semantic Web Middleware for Virtual Data Integration on the Web. IN: PROCEEDINGS OF THE 5TH EUROPEAN SEMANTIC WEB CONFERENCE (ESWC). VOLUME 5021 OF LECTURE NOTES IN COMPUTER SCIENCE. SPRINGER VERLAG, PP. 493–507. 2008.

• [Lee et al. 2010] LEE, J., PARK, J., PARK, M., CHUNG, C AND MIN, J. An intelligent query processing for distributed ontologies. J. SYST. SOFTW. 83, 1 (JANUARY 2010), 85-95. 2010.

• [Lóscio, 2003] LÓSCIO, B. F. Managing the Evolution of XML-based Mediation Queries. PH.D. THESIS, FEDERAL UNIVERSITY OF PERNAMBUCO, BRAZIL, 2003.

• [Schwarte et al. 2011] Schwarte, A., Haase, P., Hose, K., Schenkel, R ., Schmidt, M: FedX: A Federation Layer for Distributed Query Processing on Linked Open Data. ESWC (2) 2011: 481-486

Referências

29

Obrigada!!!

drbc@cin.ufpe.br