Aprendizagem

Viviane Torres da Silva

viviane.silva@ic.uff.br

http://www.ic.uff.br/~viviane.silva/isma

Introdução

Sistemas de aprendizagem são sistemas adaptáveis e com técnicas de aprendizagem

O conjunto de situações é tão grande que não definimos todas as possibilidades quando descrevemos o problema

Aprendizagem: melhora do comportamento futuro baseada na experiência passada

Normalmente dizemos que se o agente inteligente então é porque ele tem a capacidade de aprener. E se tem a capacidade de aprender então é porque o agente é inteligente.

Aprendizagem

Aprendizagem de um agente– O agente tem a capacidade de aprender e melhorar seu rendimento e o

rendimento do sistema

Aprendizagem do sistema multi-agente– Não é simplesmente a soma da aprendizagem de todos os agentes do

sistema de maneira isolada

– A aprendizagem de um agente é influenciada pelos demais agentes

– Vários agentes podem aprender de uma maneira distribuída e interativa como se fossem um único corpo

Categoria principal

Processo de aprendizagem: planejamento, inferência e passos de decisões

Aprendizagem centralizado (aprendizagem isolada)– Todos as etapas do processo de aprendizagem são executadas por um

único agente que não interage com os outros

– O agente é completamente independente dos outros

Aprendizagem descentralizada (aprendizagem interativa)– Vários agentes estão envolvidos no processo de aprendizagem

– As atividades do processo de aprendizagem são executadas por diferentes agentes

Características da aprendizagem I/IV

Grau de descentralização– Distribuição e paralelismo das atividades do processo de aprendizagem

Características especificas da interação– Nível de interação (desde pura observação até diálogos complexos como

a negociação)– Persistência da interação (desde pouca até muita)– Freqüência da interação (desde pouca interação até muita)– Padrão de interação (desde completamente não estruturada até

hierárquica)– Variedade da interação (desde fixa até variável)

Características específicas do envolvimento– Relevância do envolvimento– Papel desempenhado na interação (generalista, aquele executa todas as

tarefas do processo de aprendizagem, ou especialista, que executa somente algumas)

Características da aprendizagem II/IV Características específicas do objetivo

– Tipo de melhora que o agente deseja alcançar com a aprendizagem– Compatibilidade entre os objetivos de aprendizagem dos agentes

Método ou estratégia de aprendizagem– Aprendizagem direta (implantação do conhecimento sem necessidade

de inferência do aprendiz)– Aprendizagem a partir de um conselho ou instrução (aprende quando

recebe um conselho, não foi una experiência do agente)– Aprendizagem por exemplos ou práticas (extração ou refinamento do

conhecimento a partir de experiências positivas ou negativas)– Aprendizagem por analogia (conhecimento adquirido a partir de

soluções de problemas similares)– Aprendizagem por descoberta (conhecimento adquirido a partir de

observações, execuções de experimentos, teste de hipóteses,…)

Características da aprendizagem III/IV

Reação da aprendizagem– Aprendizagem inspecionada

• a resposta enviada pelo aprendiz especifica as atividades desejadas• o objetivo da aprendizagem é encontrar as ações desejadas

– Aprendizagem por reforço• a resposta somente informa a utilidade da atividade realizada pelo

aprendiz• o objetivo da aprendizagem é maximizar a função de utilidade

– Aprendizagem não inspecionada• Nenhuma resposta é fornecida• O objetivo é encontrar atividades úteis e desejadas utilizando o

processo de tentativa e errp

Características da aprendizagem IV/IV

Reação da aprendizagem– As respostas à ações são fornecidas pelo ambiente ou por outros agentes

do sistema

– São eles que “ensinam” o agente no caso de aprendizagem inspecionada

– São eles que “criticam” o agente no caso de aprendizagem por reforço

– São eles que “observam” o agente no caso de aprendizagem não inspecionada

Problema da atribuição de créditos e culpas

A resposta do ambiente e dos outros agentes avaliam o comportamento do agente

A resposta dará crédito para os comportamentos bons e punirá o agente por mal comportamento

Avaliação inter-agente: – Avalia todo o comportamento em geral (varias ações de uma só vez)

– Problema no caso de sistemas multi-agente: Como saber qual agente executou qual tarefa?

Avaliação intra-agente:– Avalia uma determinada ação do agente

Problema da aprendizagem por reforço em SMA

Aprendizagem por reforço pode ser utilizada quando:– Os agentes têm pouco ou nenhum conhecimento do domínio

– Os agentes têm pouca informação sobre as capacidades e os objetivos dos outros agentes

Problemas:– Pouca informação sobre os outros agentes torna a coordenação ainda

mais difícil

– Quando os agentes necessitam comunicar-se para coordenar-se, se a qualidade da comunicação é má, a coordenação é afetada

Características da aprendizagem por reforço em SMA

Acoplamento entre os agentes:– Uma ação de um agente pode afeta muito ou pouco os planos de outros

agentes Relação entre os agentes

– Os agentes podem estar agrupados para alcançar um objetivo– Os agentes interagem através do recurso que utilizam– Os agentes tem interesses distintos

Tempo de resposta– O tempo de resposta do ambiente depois que a ação foi executada pode

variar de um domínio para outro Combinações de comportamentos

– Quantas combinações de comportamento irão encontrar um solução ótima?

Exemplos

1. Os agentes aprendem a empurrar uma caixa de um local ao local objetivo– Acoplamento entre os agentes: muito acoplados

– Relação entre os agentes: cooperação ou competição

– Tempo de resposta: imediato

– Combinações de comportamentos: múltiplos comportamentos ótimos

2. Dois agentes que necessitam aprender a compartilhar um recurso– Acoplamento entre os agentes: muito acoplados

– Relação entre os agentes: cooperação

– Tempo de resposta: com atraso (não sabem em um determinado momento se estão fazendo bem)

– Combinação de comportamentos: único comportamento ótimo

Aprendendo a partir de outros agentes

Aprendendo os papéis de una organização:– Os agentes necessitam aprender a executar de acordo com os papéis que

irão desempenhar– Necessitam aprender a estrutura dos papéis da organização para colaborar

com os demais agentes

Aprendendo para se beneficiar da negociação:– Os agentes necessitam se adaptar às condições do ambiente onde está

ocorrendo a negociação– Os agentes podem aprender como os demais agentes “pensam” para tentar

melhorar a negociação. Ex: o vendedor aprende quais são os desejos do comprador

Aprendendo para melhor combater o oponente– O agente pode aprender quais são os golpes que o oponente executa, qual

é a melhor maneira de se esquivar dos golpes e os pontos de debilidade do oponente

Aprendizagem e Comunicação I/II

Aprendendo a comunicar-se:– A aprendizagem é um método para o aprendiz aprender a se comunicar

Comunicação como método de aprendizagem:– A comunicação é o método utilizado para o aprendiz aprender

O que comunicar?– Que informação é de interesse para os outros?

Quando comunicar? – Quanto tempo o agente deve dedicar-se somente a solucionar um

problema antes de comunicar-se com outros agentes?

Aprendizagem e Comunicação II/II

Com quem comunicar?– Quais agentes estão interessados na informação? – Quais agentes devem ser perguntados?

Como comunicar?– Qual linguagem deve utilizada?