bruno tomazela - ufscargbd.dc.ufscar.br/download/files/courses/spatialand... · 2010. 8. 11. · 7...

Bruno TomazelaOrientadora: Profª Drª Cristina Dutra de Aguiar Ciferri

04 de Abril de 2008

Objetivo e Motivações

Procedência dos Dados

Trabalhos Correlatos

Proposta

Validação

Cronograma

2

Desenvolver um modelo de procedência dos dados dentro do contexto de um sistema de integração dos dados

3

Verificar histórico dos dados

Assegurar a qualidade dos dados

Realizar processos de auditoria e autoria dos dados

Reenviar dados para as fontes

Reproduzir decisões de integração dos dados

4

5

BD integrado

Fonte A Fonte B

Artigo A - 2007 Artigo A - 2006

6

Fonte A Fonte BArtigo A - 2007 Artigo A - 2006Processo de Integração

Artigo A - 2006Relatório 2006

Título Ano...Artigo A 2006...

BD integrado

7




Verificar histórico dos dadosEx: Identificar as fontes e as versões de um dado

BD integrado

8




De onde veio esse artigo?

Verificar histórico dos dadosEx: Identificar as fontes e as versões de um dado

BD integrado

Assegurar a qualidade dos dadosEx: Fontes confiáveis x Fontes não-confiáveis

9




BD integrado

10




Esse relatório é confiável?

BD integrado

Assegurar a qualidade dos dadosEx: Fontes confiáveis x Fontes não-confiáveis

Processos de auditoriaEx: Verificar o processo de derivação de um dado

11




BD integrado

Processos de auditoriaEx: Verificar o processo de derivação de um dado

12




Por que a Fonte B foi escolhida?Quem tomou essa decisão?

BD integrado

Processos de autoriaEx: Verificar o responsável por um dado

13




BD integrado

Processos de autoriaEx: Verificar o responsável por um dado

14




Quem é o responsável pelos dados desse artigo?

BD integrado

Reenviar dados para as fontesEx: As fontes podem ser retificadas com os dados integrados

15




BD integrado


16




Ok. Os dados do artigo A estão corretos!

BD integrado

17




Ok. Os dados do artigo A estão corretos!

Existem casos em que as fontes não podem ser atualizadas!

BD integrado


18


Artigo A - 2006

SomenteLeitura

SomenteLeitura

Não é possível reenviar dados para as fontes

BD integrado

19

Fonte A Fonte BArtigo A – 2006 Artigo A – 04/06/2006Processo de Integração

Artigo A - 04/06/2006

Data: dia/mês/ano

Data:ano


BD integrado

20


Artigo A - 2006

Data: dia/mês/ano

Data:ano

Nesses casos, as fontes fornecem sempre os mesmos dados inconsistentes!


BD integrado

Repetição das integrações

Processo de integração envolve o usuário

Diferentes decisões para um mesmo problema de inconsistência

21

Problemas com as repetições de integração◦ Inconsistência entre as decisões

22




BD integrado

Problemas com as repetições de integração◦ Inconsistência entre as decisões

23



Título Ano.........

Onde está o Artigo A?

BD integrado

Problemas com as repetições de integração

24



Título Ano.........

2006 ou 2007?

Relatórios inconsistentes!

BD integrado

Utilizar a procedência para identificar as decisões de integração e aplicá-las automaticamente

25


26

Fonte A Fonte BArtigo A - 2006Processo de Integração

Artigo A - 2006

BD integrado

Artigo A - 2007

Utilizar a procedência para identificar as decisões de integração e aplicá-las automaticamente




Proposta

Validação

Cronograma

27

Conjunto de metadados para identificar◦ As fontes

◦ Os processos de transformação

28

P

Conjunto de metadados para identificar◦ As fontes

◦ Os processos de transformação

29

P

Desde a criação até o estado atual dos dados

Quais dados armazenar? Como coletar? Como armazenar? Como consultar?

Quatro aspectos

30

P

Definição dos dados de procedência que são necessários para uma determinada aplicação

31

Os dados de procedência recebem diferentes classificações na literatura◦ Source e Transformation Provenance

◦ Why e Where Provenance

◦ Provenance e Process Meta-Information

◦ Perspective e Retrospective Provenance

32

Procedência “BD Integrado”

◦ Fonte e transformação

33

Temperatura30252732

BD Integrado

Sensor A

Média(Temperatura)

34

Temperatura30252732

BD Integrado

Sensor A

Fonte



Média(Temperatura)

35

Temperatura30252732

BD Integrado

Sensor A

Fonte

Transformação



Média(Temperatura)

36

Temperatura30252732

BD Integrado

Sensor A

Source e transformation provenance

Fonte

Transformação



Média(Temperatura)

Temperatura30252732

37

BD Integrado

Sensor A


◦ Detalhamento da fonte

Média(Temperatura)

Temperatura30252732

38

BD Integrado

Sensor A



Fonte

Média(Temperatura)

Temperatura30252732

39

BD Integrado

Sensor A



Fonte

Dados utilizados nocálculo da média

Média(Temperatura)

Temperatura30252732

40

BD Integrado

Média(Temperatura)

Sensor A



Fonte

Dados utilizados nocálculo da média

Why e Where Provenance


◦ Fonte + Transformação + Informações do ambiente

41

Temperatura30252732

BD Integrado

Média(Temperatura)

Sensor A

Fonte



42

Temperatura30252732

BD Integrado

Média(Temperatura)

Sensor A

Transformação



43

Temperatura30252732

BD Integrado

Média(Temperatura)

Sensor A Usuário: José

Fonte

Transformação

Fonte

Transformação



44

Temperatura30252732

BD Integrado

Média(Temperatura)

Sensor A Usuário: JoséData: 10/05/2007

Fonte

Transformação



45

Temperatura30252732

BD Integrado

Média(Temperatura)


Ferramentas: SSH + Calculadora

Fonte

Transformação



46

Temperatura30252732

BD Integrado

Média(Temperatura)


Ferramentas: SSH + Calculadora

Process e Provenance Meta-InformationProspective e Retrospective Provenance

Identifica o nível de detalhe dos dados

Quanto menor a granularidade◦ Maior o custo de coleta e armazenamento◦ Grande variedade de consultas podem ser

respondidas

Quanto maior a granularidade◦ Menor o custo de coleta e armazenamento◦ Pouca variedade de consultas podem ser

respondidas

47

Ponderar o custo-benefício de armazenar um dado

◦ Identificar os dados que devem ter a procedência armazenada

◦ Identificar os dados de procedência que devem ser armazenados

48

Ponderar o custo-benefício de armazenar um dado

◦ Identificar os dados que devem ter a procedência armazenada

◦ Identificar os dados de procedência que devem ser armazenados

49

A granularidade depende dos objetivos para o qual a procedência está sendo armazenada

Como◦ Manual x Automática

Quando◦ Lazy x Eager

50

Requer mais de tempo do usuário◦ Ferramentas sem suporte à procedência

◦ Bancos de dados acurados manualmente

51

BD

Arquivo

Internet

BD Integrado

Coleta é transparente para usuário◦ Sistema de arquivos

Procedência para criar, mover, remover, alterar arquivos

◦ SGBD

Procedência das tuplas de um tabela

◦ Aplicação

Procedência das transformações

◦ Serviço

Fornece serviço de coleta de procedência às aplicações

52

Procedência é “calculada” apenas quando requisitada

53

Consulta QBD

ResultadoR

SGBD

Procedência é “calculada” apenas quando requisitada

54

Consulta QBD

ResultadoR

De onde veio esse resultado?

SGBD

Procedência é coletada apenas quando requisitada

55

Consulta QBD

ResultadoR

Consulta Q’

ProcedênciaResultado

RSGBD

Procedência é coletada conforme os dados são gerados

56

Consulta QBD

ResultadoR

ProcedênciaResultado

RSGBD

Ligação entre dado e procedência

Como manter a história de um dado

57

Procedência pode estar armazenada◦ Junto com o dado

Facilita a ligação entre o dado e sua procedência

58

Tabela ArtigosTabela de Procedência

dos Artigos

BD Integrado de Publicações

Procedência pode estar armazenada◦ Separada do dado

Dificulta a ligação entre o dado e sua procedência

59

Tabela ArtigosTabela de Procedência

dos Artigos

BD Integrado de Publicações BD de Procedência

Quatro técnicas descritas na literatura◦ Naive provenance

◦ Transactional provenance

◦ Hierarchical provenance

◦ Transactional-hierarchical provenance

60

Naive provenance◦ Armazena todos os dados possíveis

◦ Maior nível de detalhes dentre as quatro técnicas

◦ Não considera otimizações quanto à forma de armazenamento

61

Transactional provenance◦ Agrupa as operações em transações

62

Título Ano

...

Artigo A

...

...

2007

...

Título Ano

...

Artigo A

...

...

2006

...

T1 = início transação T2 T3 = fim da transação

Edição: Ano = 2007 Edição: Ano = 2006


63

Título Ano

...

Artigo A

...

...

2007

...

Título Ano

...

Artigo A

...

...

2006

...



Para cada dado, apenas a procedência da última operação em uma transação é armazenada


64

Título Ano

...

Artigo A

...

...

2007

...

Título Ano

...

Artigo A

...

...

2006

...



Não armazena toda a história de um dado.

...

VLDB

...

Congresso

Hierarchical provenance◦ Conceito pai-filho

65

Título Ano

...

Artigo A

...

...

2006

...

Congresso Ano

...

VLDB

...

...

2006

...

Título Ano

...

Artigo A

...

...

2006

...

Congresso

ProcedênciaFonte A

ProcedênciaFonte B

ProcedênciaArtigos + Congressos

Artigos Congressos

Detalhamento Artigos

...

VLDB

...

Congresso

Hierarchical provenance◦ Conceito pai-filho

66

Título Ano

...

Artigo A

...

...

2006

...

Congresso Ano

...

VLDB

...

...

2006

...

Título Ano

...

Artigo A

...

...

2006

...

Congresso

ProcedênciaFonte A

ProcedênciaFonte B

ProcedênciaArtigos + Congressos

Artigos Congressos

Detalhamento Artigos

Não repete a procedência do

dado pai no dado filho

Transactional-hierarchical provenance

◦ Combina as técnicas transactional e hierarchical

◦ Agrupa as operações em transações

◦ Conceito pai-filho

67

Dois principais tipos de consulta:◦ Tipo rastreamento (Tipo um)

◦ Tipo filtro (Tipo dois)

68

Tipo rastreamento

◦ Consultar os dados e verificar a procedência dos mesmos

◦ “Como esse relatório foi gerado?”

Tipo filtro

◦ Consultar os dados filtrando por um determinado critério de procedência

◦ “Gerar um relatório apenas com dados advindos do Lattes”

69




Proposta

Validação

Cronograma

70

Uncertainty Lineage Database (ULDB)◦ Modelo relacional

Sistema ELIT◦ Sistema de integração

71

Objetivo ◦ Tratar incerteza dos dados no modelo relacional,

utilizando como base a procedência dos dados

Combinação das teorias Lineage Database

Banco de dados incertos

72

73

ID Pessoa Carro

Testemunha

21

22

23

Ana

Ana

Bete

Gol

Fox

Parati

ID Pessoa Carro

Motorista

313233

GolFoxGol

34

JoãoJoão

PedroParati

ID Testemunha Motorista

Acusação

41

42

43

João

João

Pedro

44

Ana

Ana

Ana

Bete Pedro

Pedro

74

ID Pessoa Carro

Testemunha

21

22

23

Ana

Ana

Bete

Gol

Fox

Parati

ID Pessoa Carro

Motorista

313233

GolFoxGol

34

JoãoJoão

PedroParati


Acusação

41

42

43

João

João

Pedro

44

Ana

Ana

Ana

Bete Pedro

f (41) = {21, 31}

f (42) = {22, 32}

f (43) = {21, 33}

f (44) = {23, 34}

Procedência

Pedro

75

ID Pessoa Carro

Testemunha

21

22

23

Ana

Ana

Bete

Gol

Fox

Parati

ID Pessoa Carro

Motorista

313233

GolFoxGol

34

JoãoJoão

PedroParati


Acusação

41

42

43

João

João

Pedro

44

Ana

Ana

Ana

Bete Pedro

f (41) = {21, 31}

f (42) = {22, 32}

f (43) = {21, 33}

f (44) = {23, 34}

Procedência

Pedro

76

x-tuple maybe

ID (Pessoa, Carro)

Testemunha

21

23

(Ana, Gol) || (Ana, Fox)

(Bete, Parati)

?

x-relation

ID Pessoa Carro

Testemunha

21

22

23

Ana

Ana

Bete

Gol

Fox

Parati

77

Testemunhaaid

211

212

221

xid Pessoa Carro num

21

21

22

Ana

Ana

Bete

Gol

Fox

Parati

3

3

1

alternativa

x-tuple maybe

79

Acusaçãoaid

411

421

431

xid Pessoa Motorista num

41

42

Ana

Ana

Ana

João

João

Pedro

1

1

1441 44 Bete Pedro 1

43

Lin_Acusação

aid

411

411

421

aid_origem tabela_origem

211

311

212

431 211

431 331

441 221

Testemunha

Testemunha

Testemunha

Testemunha

Motorista

Motorista

Motorista

Motorista

421

441

321

341

Procedência

80

Acusaçãoaid

411

421

431

xid Pessoa Motorista num

41

42

Ana

Ana

Ana

João

João

Pedro

1

1

1441 44 Bete Pedro 1

43

Lin_Acusação

aid

411

411

421

aid_origem tabela_origem

211

311

212

431 211

431 331

441 221

Testemunha

Testemunha

Testemunha

Testemunha

Motorista

Motorista

Motorista

Motorista

421

441

321

341

Procedência

81

Testemunhaaid

211

212

221


21

21

22

Ana

Ana

Bete

Gol

Fox

Parati

3

3

1

Motoristaaid

311

321

331


31

32

33

João

João

Pedro

Gol

Fox

Gol

1

1

1341 34 Pedro Parati 1

82

Aspecto ULDB e Sistema Trio

Quais dados armazenar Where-provenance

ColetaAutomática

Eager

ArmazenamentoJunto

Hierarchical

Consulta Tipos rastreamento e filtro

Suporte a poucas informações sobre a procedência

◦ Apenas where-provenance

◦ Não armazena informações sobre eventuais transformações

Escopo limitado ao modelo relacional

Não armazena informações sobre o ambiente

◦ Usuário

◦ Data

83

Suporte a poucas informações sobre a procedência

◦ Apenas where-provenance

◦ Não armazena informações sobre eventuais transformações

Escopo limitado ao modelo relacional

Não armazena informações sobre o ambiente

◦ Usuário

◦ Data

84

Não é possível:Garantir a qualidade dos dadosRealizar processos de auditoria

Aplicar alterações automaticamente

Objetivo◦ Armazenar a procedência dos dados em processos

de integração com base em mediadores

Acesso às fontes de dados◦ Função desempenhada pelo mediador

Não há armazenamento no mediador◦ Apenas o resultado da consulta é retornado para a

aplicação

85

Obter a procedência pode ser◦ Difícil

Se o esquema da fonte mudar

◦ Impossível

Se a fonte não estiver mais disponível

86

Solução proposta◦ Armazenar os dados utilizados para gerar o

resultado da consulta

◦ Armazenamento feito no mediador

87

88

<ITEM id_item = “1” nome_item = “cola” categoria = “papelaria”/><ITEM id_item = “2” nome_item = “caneta” categoria = “papelaria”/><ITEM id_item = “3” nome_item = “camiseta” categoria = “vestimenta”/>...

Itens

id_filial id_item qtd_total preço

Vendas

2

2

3

4

3

2

3

3

500

2000

1500

2000

150

2

280

350

4 1 2100 60

Consulta◦ Quantas camisetas foram vendidas, somando todas as filiais?◦ Resultado: 4000 camisetas

Procedência

89

nome_tabela num_registro nome_atributo valor

Data Reference Table

ITEM

ITEM

ITEM

...

3

3

3

...

id_item

nome_item

categoria

...

3

camiseta

vestimenta

...

Vendas 1 id_filial 2

Vendas 1 id_item 3

Vendas 1 qtd_total 500

Vendas 1 preço 150

... ... ... ...

90


Itens


Vendas

2

2

3

4

3

2

3

3

500

2000

1500

2000

150

2

280

350

4 1 2100 60

91


Itens


Vendas

2

2

3

4

3

2

3

3

500

2000

1500

2000

150

2

280

350

4 1 2100 60

92

Aspecto Sistema Trio

Quais dados armazenar Where-provenance

ColetaAutomática

Eager

ArmazenamentoSeparado

Naive

Consulta Tipo rastreamento

Suporte apenas a procedência do tipo where-provenance

Não são armazenados dados sobre transformações no dados

Não trata inconsistência dos dados

Não armazena informações sobre ambiente◦ Usuário◦ Data

93

Suporte apenas a procedência do tipo where-provenance

Não são armazenados dados sobre transformações no dados

Não trata inconsistência dos dados

Não armazena informações sobre ambiente◦ Usuário◦ Data

94

Não é possível:Garantir a qualidade dos dadosRealizar processos de auditoria

Aplicar alterações automaticamente




Proposta

Validação

Cronograma

95

Desenvolver um modelo de procedência dos dados dentro do contexto de um sistema de integração dos dados

Considerar as motivações enunciadas como requisitos do modelo

96

Oferecer suporte aos 4 aspectos

97

Quais dados armazenar? Como coletar? Como armazenar? Como consultar?

Em relação à fonte do dado

◦ Metadados para acesso e recuperação do dado

◦ Exemplo para relacional (esquema, tabela, atributo)

98

Quais dadosarmazenar?

Como coletar? Como armazenar? Como consultar?

Em relação às transformações

◦ Inserção

◦ Edição

◦ Sobreposição

◦ Integração

◦ Remoção

99



Em relação ao ambiente

◦ Usuário

◦ Data

◦ Ferramenta utilizada

100



Automática

Eager

Protótipo: Serviço externo à aplicação

101



Ligação entre dado e procedência

◦ Testar os dois tipos de armazenamento no contexto de integração

◦ Junto x Separado

Protótipo: SGBD e XML

102



Armazenamento da história

◦ Testar os métodos já existentes

◦ Desenvolver um novo método específico para o contexto de integração

103



Oferecer suporte às consultas

◦ Rastreamento

◦ Filtro

Protótipo: SQL, XQuery/XPath

104



105

Aspecto Modelo Proposto

Quais dados armazenar Process e provenance meta-information

Coleta AutomáticaEager

Armazenamento Não definido

Consulta Tipo rastreamento e filtro

106

Aspecto Modelo Proposto

Quais dados armazenar Process e provenance meta-information

Coleta AutomáticaEager

Armazenamento Não definido

Consulta Tipo rastreamento e filtro

Decidir a técnica de armazenamento.

Decidir se a procedência será armazenada “junto” ou “separada” do dado.




Proposta

Validação

Cronograma

107

Aplicar o modelo proposto no Projeto Urano

Projeto Urano◦ Reunir dados de cunho acadêmico dos docentes do

ICMC

◦ Banco de dados integrado

Processos de integração

108

109

CurrículoUrano-XMLFênix

Júpiter

TradutorLattes-Urano

TradutorFênix-Urano

TradutorJúpiter-Urano

Lattes

SubsistemaUranoSQL

UranoBD

UranoAdmin

UranoWeb

Aplicações Base

SubsistemaAdministrador

Subsistema deGeração deRelatórios

Reconciliadorde Dados




Proposta

Validação

Cronograma

110

1. Definição de quais dados armazenar

111

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

2. Definição de como coletar os dados

112

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

3. Definição de como armazenar os dados

113

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

4. Definição de como consultar os dados

114

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

5. Implementação

115

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

6. Testes

116

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

7. Publicação

117

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

8. Defesa da dissertação

118

AtividadeTrimestre

1 2 3 4

1

2

3

4

5

6

7

8

119

AtividadeTrimestre

1 2 3 4

Quais dados

Coletar

Armazenar

Consultar

Implementar

Teste

Publicação

Defesa




Proposta

Validação

Cronograma

120

bruno tomazela - ufscargbd.dc.ufscar.br/download/files/courses/spatialand... · 2010. 8. 11. · 7...

Documents