confiança e reputação em sma rafael frizzo callegaro joao eduardo hornburg 1 29/11/2011

Confiança e Reputação em SMA

Rafael Frizzo CallegaroJoao Eduardo Hornburg

1

Programa de Pós-Graduação em Engenharia de Automação e SistemasDepartamento de Automação e Sistemas

Inteligência Artificial Aplicada a Sistemas de Controle e Automação

29/11/2011

2

Introdução• Contextualização • Objetivo da pesquisa

Fundamentação Teórica• Definição

◦ Confiança ◦ Reputação

• Utilização • Funcionamento

◦ Classificação, vantagens e desvantagens Modelo Conceitual Fontes de Informação Visibilidade Granularidade

Modelos Computacionais de Confiança e Reputação em SMA Sporas ReGreT Castelfranchi & Falconi ForTrust

Considerações Finais◦ Conclusão

Referências

Introdução Fundamentação Teórica Considerações Finais ReferênciasModelos Computacionais

3

Contextualização

O comportamento coletivo dos agentes em um sistemas multi-agente (SMA) é utilizado para atingir objetivos. Nestes sistemas a interação entre os participantes é função elementar. Como realizar a avaliação das informações e a escolha de parceiros em SMA abertos?


4

Objetivo da Pesquisa

O objetivo desta pesquisa é fundamentar os conceitos de confiança e reputação em SMA.

Explorar os mecanismos de alguns modelos computacionais conhecidos.

Comparar a arquitetura dos modelos explorados.


A confiança

◦ “é a convicção de alguém nas habilidades e intenções de um agente em prover informações corretas ou executar as ações prometidas”.

(Barber et al. 2003).

5

Definição de Confiança


Definição de Reputação

Reputação

◦ “ferramenta social com o objetivo de reduzir a incerteza de se interagir com indivíduos de atributos desconhecidos”. (BROMLEY, 1993).

6


Áreas de pesquisa que tratam do assunto.◦ Psicologia (Karlins e Abelson 1970; Bromley 1993), ◦ Sociologia (Buskens 1998), ◦ Filosofia (Platão 1955; Hume 1975) e ◦ Economia (Celentani et al.1966; Marimon et al. 2000)◦ Ciência da computação

Inteligência artificial◦ Sistemas multi-agente.

7

Comentários


8

A confiança e reputação são utilizadas como:◦ Mecanismo de busca de parceiros honestos.◦ Ajuda na tomada de decisão sobre honrar ou não

contratos.◦ Melhorar os mecanismos de revisão de crenças e de

cooperação.

Em SMA é comum a interdependência entre os agentes a fim de atingir objetivos, quando estes excedem a capacidade de agir isoladamente.

Utilização


9

Ag1 tem o objetivo g1 Para atingi-lo deve executar o plano p111

◦ P111= consiste nas ações a1(),a2() ,a4()◦ Ag1 não sabe executar a2◦ Ag2 e ag3 são capazes de executar a ação a2;◦ Se ag1 puder recompensar ag2 ou ag3, pode-se firmar uma parceria.

◦ Qual dos dois agentes escolher para executar a2?◦ Como saber se um agente é confiável ou não?

Exemplo de Rede de Dependência SICHMAN; CONTE, 2002

Exemplo de utilização


10

◦ Modelo Conceitual

◦ Fontes de Informação

◦ Visibilidade

◦ Granularidade

Classificação, vantagens e desvantagens


11


Modelo Conceitual

◦Baseado na Teoria de jogos

◦Cognitivo


12

◦Cognitivo

Processo interno de inferência que dá origem à reputação atribuída a um alvo.

Confiança e reputação são compostas de crenças subjacentes e são uma função do grau destas crenças.

Nesta abordagem, os estados mentais que levam a confiar em outro agente ou atribuir uma reputação, bem como as consequências de uma decisão e o ato de contar com um outro agente, são parte essencial do modelo.

Mais adaptáveis. (qualitativo)

Esfandiari e Chandrasekharan, 2001

Classificação, vantagens e desvantagensModelo Conceitual


13


◦Teoria de jogos

Confiança e reputação são consideradas probabilidades subjetivas pelo qual um individuo A espera que um indivíduo B execute uma ação do qual depende o seu bem estar.

Manipulações estritamente numéricas. (quantitativo)

Confiança e Reputação não são resultado do estado mental do agente, mas de um jogo mais pragmático (fatos), com funções de utilidade e agregação numérica de interações passadas.

Simples, porém menos adaptativo. Depende da escolha dos outros indivíduos. Proposto por Gambetta, 1990

Modelo Conceitual


14

◦Experiências Diretas

◦Testemunhos

◦Informação sociológica

◦Preconceito (sentido de ideia pré-concebida)


Fontes de Informação


15

◦ Experiências Diretas

Fonte de informação mais relevante e confiável.

Utilizada por basicamente todos os modelos.◦ Interação direta com outro agente.

Prioridade para interações recentes Depende do numero de interações Também pode depender da variação dos valores. Grau de confiabilidade pode crescer até atingir um nível

intimo.

◦ Interação observada de outros membros da comunidade (restrita a senários que estão dispostos a permitir isso).

Interações diretas nem sempre são possíveis◦ Ex: agente recém chegado ou sociedade muito grande.




16

◦Testemunhos Também chamada de

interações indiretas. Informações vem de

outros membros da comunidade.

Mais abundante do que as diretas porém mais complexo.



A B

B’s reputation A’s reputation = 0,7

C

A’s

repu

tatio

n ?

0,7

X

X

X

X

X

XX

X

X

Fonte de informação baseado em testemunhos


17

Testemunho ◦ Em um mundo ideal, esta informação sendo correta é tão

relevante quanto a direta.◦ No entanto:

Informação falsa: ou a informação de outro agente não é exata ou o agente esta mentindo.

O agente não pode presumir que a informação é completa.

Evidências correlacionadas: opiniões de diferentes testemunhas são baseadas em um mesmo (s) evento (s).

Os agente não sabe como os testemunhos estão relacionados.

Testemunhos podem manipular ou esconder informações para seu próprio benefício.◦ Pode-se evitar analisando as relações sociais entre os agentes

testemunhos.




18

◦ Informações sociológicas

Com base nas relações sociais entre os agentes e o papel que eles tem na sociedade.

Exemplo de relações: dependência, comércio, concorrência, cooperação.

O indivíduo também pode desempenhar um papel na sociedade. (policial, bombeiro, professor, vendedor)

Os modelos baseados nestas informações baseiam-se em técnicas de análise de rede social (conjunto de métodos para analisar as relações sociais/aspectos relacionais).◦ A utilização destes métodos está condicionada a

disponibilidade das relações sociais. (Scott, 2000).




19

◦Preconceito (sentido de conceito pré-concebido.)

Mecanismo de atribuição de propriedades (como por exemplo a reputação) a um indivíduo baseado em sinais que identificam o indivíduo como membro de um determinado grupo.

Exemplo: uniforme, comportamento .




20

Global

Individual


Visibilidade


21

Global◦ Compartilhada por todos os observadores.

◦ Calculada a partir das opiniões dos indivíduos que no passado interagiram com o indivíduo alvo.

◦ Valores disponíveis publicamente a todos os membros.

◦ Atualizado cada vez que um membro emite uma nova avaliação do indivíduo.


Visibilidade


22

Global

◦ Vantagens A reputação é sempre conhecida. A reputação está sempre

atualizada pois é calcula através da informação que recebem de outros agentes.

◦ Desvantagens Os agentes não são capazes de

armazenar as reputações dos agentes com os quais interagiram

Não existe mecanismo para verificar se a informação é verdadeira ou falsa.

Não consideram o contexto.


Visibilidade

A

B

Rep

uta

tion

Sys

tem

B’s reputation = **

A’s reputation = ***

CA’s reputation ?

***


23

Individual

◦ Subjetiva, avaliada por cada indivíduo.

◦ Cada indivíduo atribui um valor de confiança e reputação de acordo com seu ponto de vista, baseado em interações diretas, testemunhas, relações conhecidas entre agentes.


Visibilidade


24

Individual

Vantagens:

◦ Os agentes, que podem estar executando em um sistema multi-agentes de larga escapa e distribuído, não necessitam se comunicar com um mecanismo centralizado

◦ Cada agente é capaz de armazenar a reputação dos outros agente desde seu ponto de vista

Desvantagens:

◦ É necessário interagir com o agente primeiro para depois conhecer sua reputação.

◦ A reputação que um agente conhece de outro agente pode não estar atualizada se faz tempo que os agentes não interagem.


Visibilidade

A B

B’s reputation A’s reputation = 0,7

C

A’s reputation ?


25

◦Reputação/confiança de acordo com o contexto.

Dependente do contexto

◦Difícil encontrar informações suficientes para calcular confiança/reputação

◦No entanto é possível que a complexidade dos agentes aumente necessitando deste modelo.

Não dependente do contexto◦Mais utilizado◦Menor complexidade◦Normalmente temos sistemas/tarefas delimitadas


Granularidade


26

Versão sofisticada dos mecanismos de reputação presentes em sites de comércio eletrônico tipo ebay.

Pioneiro em SMA(ZACHARIA, 1999).

Centralizado/Teoria de Jogos/Testemunho/não dependente de contexto/somente reputação

Novos usuários tem um valor mínimo inicial.

Pontuação: 0 a 3000.◦ +1, 0, -1

Reputação não pode ser inferior a inicial, por isso não há vantagens em abandonar o sistema.

Modelos computacionais de confiança e reputação

Sporas


27

ReGreT (SABATER; SIERRA, 2001)

Individual/Teoria de Jogos/Direta + Testemunho + social /dependente de contexto/Confiança e reputação

Usa uma base de dados de resultados para armazenar contratos anteriores e o seu resultado. (ODB)

Informações recebidas de outros agentes. (DIB)

Armazenamento de grafos (sociogramas) que definem o ponto de vista do agente social no mundo. (SDB)


ReGreT


CASTELFRANCHI; FALCONE, Principles of Trust for MAS, 1998

Baseado em 2 elementos:◦Confiança◦Delegação


Castelfranchi & Falcone


Em geral confiança é pré-requisito para delegação

Exceções:◦Confiança sem delegação◦Delegação sem confiança




C&F – Delegação

◦Para atingir um objetivo g, x delega a tarefa t para y

◦Delegação fraca: y não sabe que recebeu a tarefa de x, nem conhece g

◦Ex: ponto de ônibus




Delegação◦Delegação forte:

y sabe a respeito da delegação pode haver negociação precisa haver comprometimento de y




Confiança◦Estado mental - BDI◦Conjunto de crenças◦Restringe-se a uma tarefa

x confia em y para realizar a tarefa t◦y não precisa ser um agente




Confiança◦Não é absoluta - pode ter vários níveis◦Delegação acontece a partir de um certo nível

◦Reajustada levando em conta o resultado da tarefa t (sucesso ou fracasso)




Crenças◦Competência

x acredita que y tem competência para realizar a tarefa t

◦Disposição x acredita que y vai de fato realizar a tarefa t




Crenças◦Dependência

x acredita que depende de y para realizar a tarefa t

◦Cumprimento derivado das 3 crenças anteriores x acredita que o objetivo g será realizado




Estado mental




◦Crenças delegação fraca◦Determinação (willingness)

x acredita que y decidiu fazer t◦Persistência

x acredita que y não vai mudar de ideia quanto a t

◦Autoconfiança x acredita que y crê que é capaz de atingir o objetivo g (do qual t faz parte)




HERZIG et al; A logic of trust and reputation

Baseado no C&F

Dois tipos de confiança◦y vai agir imediatamente◦y vai agir assim que algumas condições forem atingidas


For Trust


CrençasObjetivo

◦x tem o objetivo g

Capacidade◦y é capaz de realizar a tarefa t (necessária para atingir g)


For Trust


Crenças

Competência◦y tem competência para executar t com qualidade satisfatória

Intenção◦y está decidido a realizar t


For Trust


Reputação

Crenças de Grupo


For Trust


42

Modelo Conceitual

Fonte de Informação

Visibilidade Granularidade Tipo do Modelo

S. Marsh Teoria de Jogos Direta Subjetiva Dependente do Contexto.

Confiança

Sporas Teoria de Jogos Testemunho Global Não depende do contexto.

Reputação

Histos Teoria de Jogos Direta + Testemunho

Subjetiva Não depende do contexto.

Reputação

Yu and Sign Teoria de Jogos Direta, Testemunho

Subjetiva Não depende do contexto

Confiança e Reputação

AFRAS Teoria de Jogos Direta + Testemunho

Subjetiva Não depende do contexto

Reputação

Castelfranchi and Falcone

Cognitivo Não informa Subjetiva Dependente do Contexto

Confiança

ReGreT Teoria de Jogos Direta + Testemunho+ Social + preconceito

Subjetiva Dependente do Contexto

Confiança e reputação

forTrust Cognitivo Não informa Subjetiva Dependente do Contexto

Confiança e Reputação

Quadro comparativo entre os modelos


43

Conclusão

Foi possível definir os conceitos e observar que confiança e reputação estão diretamente relacionadas porém é possível diferenciá-las.

Informações diretas e baseados em testemunhas são as fontes mais utilizadas, porém para aumentar a eficiência dos modelos é necessário utilizar os aspectos sociológicos.

Sistemas com arquitetura mais simples e centralizados são os mais utilizados, porém poderá haver um aumento na demanda por sistemas com maior robustez.

Ficou claro que a maioria dos modelos são baseados na teoria de jogos, porém esta abordagem pode ser demasiadamente restritiva. Uma solução seria a utilização de modelos cognitivos ou uma combinação de ambos.

A necessidade da Delegação gera a necessidade dos conceitos de confiança e reputação.


44

Congressos, Workshops

International Workshop on Multi-Agent Systems and Agent-Based Simulation (MABS)

Trust, Reputation and User Modeling Workshop (TRUM)

Workshop on Trust and Reputation (Inerdisciplines)

Workshop-Escola de Sistemas de Agentes, seus Ambientes e aplicações (WESAAC)

International Conference on Autonomous Agents and Multiagent Systems (AAMAS)

Simpósio Brasileiro de Inteligência Artificial (SBIA)

Workshop on Deception, Fraud and Trust in Agent Societies


45

ReferênciasBROMLEY, D. B. Reputation, Image and Impression Management. [S.l.]: John Wiley & Sosns Ltd., 1993.

CASTELFRANCHI, C.; FALCONE, R. Principles of trust for MAS: Cognitive anatomy, social importance and quantification. ICMAS, v. 1, p. 72–79, 1998.

HERZIG, A. et al. Prolegomena for a logic of trust and reputation. In: 4th ForTrust Meeting. [S.l.: s.n.], 2008.

J. SICHMAN, R. CONTE, 2002. Multi-Agent Dependence by Dependence Graphs. Proceedings of the 1st International Joint Conference on Autonomous Agents and Multi-Agent Systems. 483-492. ACM Press.

SABATER, J.; SIERRA, C. Review on computational trust and reputation models. Kluwers Academic Publishers, v. 1, p. 27, 2005.

SABATER, J.; SIERRA, C. Reputation and social network analysis in multi-agent systems. In Proceedings of First International Conference on Autonomous Agents and Multiagent Systems (AAMAS), pages 475–482, 2002.

SCIHMITZ, T. Crenças de Grupo como Instrumento de Formação da Reputação: Uma Arquitetura Baseada em Agentes e Artefatos. Dissertação (Mestrado) Universidade Federal de Santa Catarina, 2011.

SILVA, V. On-line 29/11/2011: www.ic.uff.br/~viviane.silva/2010.1/isma/util/aula09_1.ppt

ZACHARIA, G. Collaborative Reputation Mechanisms for Online Communities. Dissertação (Mestrado) — Massachusetts Institute of Technology, 1999.


confiança e reputação em sma rafael frizzo callegaro joao eduardo hornburg 1 29/11/2011

Documents