fusão e tratamento de ambiguidades em conhecimento descoberto e adquirido paulo oliveira feup, 17...

32
Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

Upload: internet

Post on 17-Apr-2015

109 views

Category:

Documents


5 download

TRANSCRIPT

Page 1: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido

Paulo Oliveira

FEUP, 17 de Dezembro de 2002

Page 2: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 2

Nota Introdutória

Page 3: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 3

Organização

Enquadramento

Objectivos

Fusão de conhecimento

Arquitectura proposta

Estudo de caso

Conclusões

Trabalho futuro

Page 4: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 4

Enquadramento

Sistemas Periciais (SP) Características

Detêm e usam conhecimento de peritos Solucionam problemas de forma idêntica à efectuada

pelos peritos Vasta divulgação, popularidade e sucesso comercial Aplicados com sucesso em diversos domínios (produção,

medicina e engenharia)

Limitações Conhecimento que se encontra na base de conhecimento Obrigam à realização de operações de manutenção

Page 5: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 5

Enquadramento (II)

Descoberta de Conhecimento em Bases de Dados (DCBD) Objectivo

Extrair o conhecimento que se encontra implícito nos dados

Utilização crescente Disseminação a diversos domínios (seguros, medicina,

telecomunicações, etc.)

Fonte de novo conhecimento Integrado na Base de Conhecimento (BC) de um SP com

o intuito de superar as limitações mencionadas anteriormente

Page 6: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 6

Objectivos

Conceber uma arquitectura que permita efectuar a fusão do

conhecimento originário de DCBD com o conhecimento que

se encontre na BC de um Sistema Baseado em Regras

(SBR)

Requisito: obter uma nova BC consistente

Implementar um sistema de fusão de conhecimento

Aplicar o sistema desenvolvido a um caso, com o intuito de

demonstrar a sua validade

Page 7: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 7

Fusão de Conhecimento

Objectivo “Formar uma única perspectiva ou ponto de vista, no fundo,

uma síntese ou um consenso.” [Cholvy e Hunter, 1997]

Caracterização do Problema Importante

Reúne o conhecimento disperso Permite a dedução de conhecimento adicional (implícito)

Não trivial Existência de perspectivas conflituosas (inconsistências)

Page 8: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 8

Fusão de Bases de Conhecimento

Aproximações

Forçam a consistência da BC resultante

Credibilidade diferente às BC

Revisão de conhecimento

Igual credibilidade às BC

Actualização de conhecimento

Suportam a presença de inconsistências na

BC resultante

Arbitragem de BC

Combinação de BC

Lógicas multi-valor

Argumentação

Amalgamar BC

Page 9: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 9

Arquitectura do FUNDARE

BC SBR

Conhecimento eliminado

Reunir BC

Editar BC

Criar BC Consistente

Ferramenta de Verificação (VERITAS)

Utilizador (Perito / Eng.º

Conhecimento)

BC SDCBD

Converter BC Dicionário

Page 10: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 10

Converter BC

Garantir a independência

sintáctica da arquitectura Colocar as regras (SBR e

SDCBD) nas suas

respectivas formas

canónicas

Converter a BC resultante da

fusão na sintaxe utilizada na

BC do SBR

Homogeneizar a

heterogeneidade semântica

BC SBR BC SDCBD

Regras SBR (sintaxe x) Regras SDCBD (sintaxe y)

Regras (sintaxe x)Converter

BC

DicionárioEditar

BCCriar BC

Consistente

Significado termo

Regrasconsistentes

Regras SBR(forma canónica)

Regras SDCBD (forma canónica)

Page 11: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 11

Editar BC

Permitir realizar operações

de edição sobre as BC Consultas

Alterações

Eliminações EditarBC

ConverterBC

ReunirBC

Regras SBR(forma canónica)

Regras SDCBDalteradas

Utilizador

Regras

Alterações regras

Regras SDCBD(forma canónica)

Regras SBRalteradas

Page 12: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 12

Reunir BC

Agregar todo o conhecimento

existente numa única BC

Colocar o conhecimento no

formato de representação

requerido pela ferramenta de

verificação (VERITAS)

ReunirBC

EditarBC

Criar BCConsistente

Regras SDCBDalteradas

Regras SBRalteradas

VERITAS

Regras reunidas

Regras reunidas

Page 13: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 13

Ferramenta de Verificação (VERITAS)

Objectivo Detectar todas as anomalias que

possam existir na BC reunida, recorrendo a técnicas de verificação baseadas em métodos formais (módulo externo)

Modo de funcionamento Desenvolve todas as cadeias de

inferência (expansões) plausíveis

Anomalias tratadas Circularidades indirectas Ambivalências Inconsistências

VERITAS

ReunirBC

Criar BCConsistente

Regras reunidas

Anomalias detectadas

Expansõesgeradas

Page 14: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 14

Criar BC Consistente

Identificar todas as

soluções que permitem a

obtenção de Subconjuntos

Máximos Consistentes

(SMC) de regras

Auxiliar o utilizador a

seleccionar um SMC

Criar BCConsistente

ReunirBC

Classificação anomalias-erros

VERITAS

Regras Eliminadas

Regras reunidas

Utilizador

R.Eliminadas

Preferências-Restrições

Factos possíveis

Soluções possíveis

eliminação

Solução eliminação

Anomalias detectadas

Expansões geradas

ConverterBC

Regras Consistentes

Page 15: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 15

Criação da BC Consistente (II)

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Page 16: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 16

Identificação das Expansões Finais

Identificação das expansões que não são susceptíveis de qualquer desenvolvimento adicional

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

expFBas( 1, `H1`, [`F1`], [`D-r1-L1`] ).

expFBas( 2, `H2`, [`F1`], [`D-r1-L1`,`D-r2-L1`] ).

expFBas( 3, `C1`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`D-r3-L1`] ).

expFBas( 4, `C2`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`P-r8-L1`] ).

expFBas( 1, `H1`, [`F1`], [`D-r1-L1`] ).

expFBas( 2, `H2`, [`F1`], [`D-r1-L1`,`D-r2-L1`] ).

expFBas( 3, `C1`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`D-r3-L1`] ).

expFBas( 4, `C2`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`P-r8-L1`] ).

Page 17: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 17

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Classificação Anomalias - Erros

Anomalia = sintoma de um possível erro

Classificação como erro depende do utilizador

Na criação da BC consistente, apenas se consideram os erros

ErrosAnomalias

Page 18: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 18

Separação das Expansões Geradas

Separar as expansões finais

geradas em: Expansões afectadas por

erros

Expansões não afectadas por

erros

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Expansões finais geradas

Expansões afectadas por erros

Expansões não afectadas por erros

Page 19: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 19

Geração das Soluções Possíveis (Tuplos)

Determinar todas as combinações possíveis de eliminação de regras entre as expansões com erros

As restantes regras formam um SMC Subconjunto – Não inclui as

regras que constam do tuplo Máximo – Basta a inclusão de

uma das regras do tuplo para que a BC volte a ter erros

Consistente – Não é possível detectar os erros anteriormente identificados

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Expansões Afectadas por Erros

P-r1-L2; P-r4-L1; D-r5-L1

D-r1-L1; P-r8-L1

Tuplos

{P-r1-L2; D-r1-L1}

{P-r1-L2; P-r8-L1}

{P-r4-L1; D-r1-L1}

{P-r4-L1; P-r8-L1}

{D-r5-L1; D-r1-L1}

{D-r5-L1; P-r8-L1}

Page 20: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 20

Definição de Restrições

Objectivo Condicionar o processo de

geração dos tuplos

Tipos Regra não eliminável Regra de eliminação obrigatória

Forma de definição Inexistência de factores de

certeza regra a regra

Existência de factores de certeza

regra a regra via filtro

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Page 21: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 21

Definição de Factos Possíveis

Informação sobre os factos

susceptíveis de serem

fornecidos

Irrelevante na verificação

formal de conhecimento

Informação importante sobre

as expansões não afectadas

por erros

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Exemplo: r1: a br2: b cr3: c d

Expansão gerada pelo VERITAS: r1; r2; r3

Mas, se b for um facto possível de ser fornecido, também se pode estabelecer a seguinte sub-expansão da anterior: r2; r3.

Isto significa que a expansão gerada, no fundo, representa duas expansões susceptíveis de se estabelecerem a partir da BC.

Exemplo: r1: a br2: b cr3: c d

Expansão gerada pelo VERITAS: r1; r2; r3

Mas, se b for um facto possível de ser fornecido, também se pode estabelecer a seguinte sub-expansão da anterior: r2; r3.

Isto significa que a expansão gerada, no fundo, representa duas expansões susceptíveis de se estabelecerem a partir da BC.

Page 22: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 22

Métodos de Ordenação dos Tuplos

Hierarquizar os diferentes tuplos em função da perda de conhecimento que implicam

Auxiliar o utilizador a seleccionar o tuplo a adoptar como solução

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Métodos Ordenação dos Tuplos

Expansões sem Erros Afectadas

Inexistência FCnas Regras

Existência FCnas Regras

Alternativas ObtençãoMesmos Consequentes

Inexistência FCnas Regras

Existência FCnas Regras

Page 23: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 23

Métodos Ordenação dos Tuplos

Expansões sem Erros Afectadas

Inexist. FCRegras

Exist. FCRegras

Alternativas ObtençãoMesmos Consequentes

Inexist. FCRegras

Exist. FCRegras

Expansões sem Erros Afectadas (inexistência de FC nas regras)

1. Para cada tuplo, determinar o

número de expansões sem

erros afectadas

2. Ordenar os tuplos por ordem

crescente

3. Reordenar os tuplos (em

situação de igualdade) por

ordem crescente do n.º de

regras que os compõem

Tuplo: {P-r1-L2; P-r8-L1}

Expansões não afectadas por erros

P-r1-L1; P-r4-L1; P-r5-L1; P-r7-L1; D-r3-L1

P-r1-L1; P-r4-L1; P-r5-L1; P-r7-L1; P-r8-L1

P-r1-L2; P-r4-L1; P-r5-L1; P-r7-L1; P-r8-L1

D-r1-L1; D-r2-L1; D-r3-L1

D-r1-L2; D-r2-L1; D-r3-L1

D-r1-L2; D-r2-L1; P-r8-L1

P-r2-L1; P-r3-L1; P-r6-L1; P-r7-L2; D-r3-L1

P-r2-L1; P-r3-L1; P-r6-L1; P-r7-L2; P-r8-L1

P-r6-L2; P-r7-L2; D-r3-L1

P-r6-L2; P-r7-L2; P-r8-L1

N.º de Expansões Afectadas: 5

Page 24: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 24

Métodos Ordenação dos Tuplos

Expansões sem Erros Afectadas

Inexist. FCRegras

Exist. FCRegras

Alternativas ObtençãoMesmos Consequentes

Inexist. FCRegras

Exist. FCRegras

Expansões sem Erros Afectadas (existência de FC nas regras)

1. Para cada tuplo, determinar: O número de expansões sem

erros afectadas A certeza média com que se

obtêm conclusões Utilização do mecanismo

de propagação dos FC Possibilidade de suavizar a

média à custa do desvio padrão

2. Ordenar os tuplos por ordem crescente das expansões sem erros afectadas

Peso de importância relativa de cada critério

Normalização dos valores Utilização de uma métrica

Page 25: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 25

Alternativas de Obtenção dos Mesmos Consequentes (inexist. FC nas regras)

1. Para cada tuplo, determinar o número de alternativas que permitem obter os mesmos consequentes

2. Ordenar os tuplos por ordem crescente do número de regras que não possuem alternativa

3. Reordenar os tuplos (em situação de igualdade), em função da média do número de alternativas Possibilidade de suavizar a

média à custa do desvio padrão

4. Reordenar os tuplos (em situação de igualdade) por ordem crescente do n.º de regras que os compõem

Métodos Ordenação dos Tuplos

Expansões sem Erros Afectadas

Inexist. FCRegras

Exist. FCRegras

Alternativas ObtençãoMesmos Consequentes

Inexist. FCRegras

Exist. FCRegras

g ig i

h ih i

e f pe f p

p rp rd fd f

b cb cc ec e

i pi p

a ca c

n on o

j lj l

k mk ml m ol m o

o po p

p qp q

P-r7-L1

P-r8-L1

D-r3-L1

P-r1-L1

D-r1-L2

1. Nº de Alternativas dos tuplos: {P-r7-L1; P-r8-L1} (4, 0) {P-r8-L1; D-r3-L1} (0, 0) {P-r1-L1; D-r1-L2} (1, 1)

2. Ordenação dos tuplos: {P-r1-L1; D-r1-L2} (1, 1) {P-r7-L1; P-r8-L1} (4, 0) {P-r8-L1; D-r3-L1} (0, 0)

Page 26: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 26

Alternativas de Obtenção dos Mesmos Consequentes (existência FC nas regras)

1. Para cada tuplo, determinar O número de alternativas que

permitem obter os mesmos consequentes

A certeza média com que se obtêm os mesmos consequentes pelas alternativas existentes

Utilização do mecanismo de propagação dos FC

2. Ordenar os tuplos por ordem crescente do número de regras que não possuem alternativa

3. Reordenar os tuplos (em situação de igualdade) em função da média do número de alternativas e da certeza média com que se obtêm as conclusões Peso de importância relativa atribuído

a cada critério Possibilidade de suavizar a média à

custa do desvio padrão Normalização dos valores Utilização de uma métrica

Métodos Ordenação dos Tuplos

Expansões sem Erros Afectadas

Inexist. FCRegras

Exist. FCRegras

Alternativas ObtençãoMesmos Consequentes

Inexist. FCRegras

Exist. FCRegras

Page 27: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 27

Selecção do SMC de Regras

A selecção do tuplo compete

ao utilizador

A eliminação das regras (do

tuplo) resultam num SMC de

regras (BC final consistente)

As regras eliminadas são

colocadas num repositório de

conhecimento eliminado

A BC final reúne condições

para se tornar na nova BC do

SBR

Classificação Anomalias-Erros

Identificação Expansões Finais

Separação Expansões Geradas

Definição Restrições

Geração Soluções Possíveis (Tuplos)

Aplicação Método Ordenação Tuplos

Selecção SMC Regras

Definição Factos Possíveis

Page 28: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 28

Estudo de Caso

Domínio: mediação de seguros Área: contratos / apólices

Bases de conhecimento Adquirido

Recolhida a partir de um perito da área Composta por 21 regras

Descoberto Utilização do SDCBD Clementine e do algoritmo de indução de

regras C5.0 Composta por 14 regras

Objectivo Obter um BC consistente resultante da fusão do conhecimento

descoberto com o conhecimento adquirido

Page 29: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 29

Estudo de Caso (II)

Erros detectados Ambivalência ao longo de múltiplas cadeias de inferência Inconsistência ao longo de múltiplas cadeias de inferência

Método aplicado Expansões sem erros afectadas (n.º e certeza média)

Diferentes cenários Atribuídos pesos de importância relativa diferentes Introduzidas restrições à geração de tuplos

Conclusões obtidas Tuplos seriados em função da perda de conhecimento que implicam A ordenação auxiliou na selecção do tuplo a adoptar A eliminação das regras do tuplo resultou numa BC consistente A nova BC permite a obtenção de novas conclusões quando

comparada com a BC adquirido inicial

Page 30: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 30

Conclusões

Análise, concepção e desenvolvimento de uma arquitectura

para a fusão de conhecimento Baseada em aspectos sintácticos

Preocupação com outro tipo de erros, para além das inconsistências

Implementação do sistema de fusão de conhecimento

Aplicação a um caso na área da mediação de seguros,

confirmou a validade da arquitectura

Page 31: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

FEUP, 17 de Dezembro de 2002 31

Trabalho Futuro

Incorporar conhecimento semântico (meta-conhecimento) nos métodos de ordenação dos tuplos

Manipular erros do tipo redundância Considerar, de alguma forma, no processo de fusão, o

conhecimento anteriormente eliminado Aplicar o FUNDARE a novos casos de fusão de

conhecimento Construir uma operatória que efectue uma análise

comparativa aos resultados obtidos em cada um dos métodos

Page 32: Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido

Paulo Oliveira

FEUP, 17 de Dezembro de 2002