agentes inteligentes e sistemas multi-agente personagens sintéticas

1

Agentes Inteligentes e Sistemas Multi-agenteAgentes Inteligentes e Sistemas Multi-agentePersonagens SintéticasPersonagens Sintéticas

A. Paiva

TópicosTópicos Introdução Personagens Sintéticas em Mundos

Virtuais Caso: C4 – Um Cérebro Virtual

• Arquitectura Embodied Conversational Agents

• Modelo FMTB• REA

Referências

A. Paiva

IntroduçãoIntrodução O que são personagens

sintéticas?• Personagens que parecem

vivas.• Criaturas que parecem

possuir personalidade. Inúmeras aplicações

• Interfaces Homem-Máquina • Jogos de computador• Entretenimento

A. Paiva

IntroduçãoIntrodução

Várias áreas de estudo:• Animação tradicional• Computação gráfica• Inteligência artificial• Psicologia• Interfaces multimodais

A. Paiva

IntroduçãoIntrodução Aparecimento das primeiras personagens sintéticas

nos anos 20. “Disney animation makes audiences realy believe in …

characters.” – illusion of life (Thomas 1981) “It is the change in shape that shows what the

character is thinking. It is the thinking that gives the illusion of life.” – illusion of life (Thomas 1981)

A. Paiva

IntroduçãoIntrodução

Projecto de OZ - 1992• Personagens sintéticas em ambientes

interactivos.• Inspirado no trabalho dos animadores da

Disney.• Baseada em:

- aspectos comportamentais.- Objectivos.- Emoções- Criaturas com reacções emocionais a

eventos.• Introduz o conceito de credibilidade.

A. Paiva

IntroduçãoIntrodução

Personagem credível – proporciona a ilusão de vida, permitindo a suspensão de descrença da audiência.

Emoção fundamental para criar a ilusão de vida. Três pontos chave para a representação de

emoções:• Estado emocional da personagem claramente

definido.• Processo de pensamento revela o sentimento.• Acentuação das emoções.

A. Paiva

Introdução Personagens Sintéticas em Mundos

Virtuais: os primeiros sistemas Caso: C4 – Um Cérebro Virtual

• Arquitectura Embodied Conversational Agents

• Modelo FMTB• REA

Referências

A. Paiva

•O projecto ALIVE mostrava várias O projecto ALIVE mostrava várias personagens (a principal das quais é personagens (a principal das quais é um cão) que interagiam com um um cão) que interagiam com um utilizador humano em tempo realutilizador humano em tempo real•O projecto utilizava captura de vídeo O projecto utilizava captura de vídeo para fazer reconhecimento de gestos e para fazer reconhecimento de gestos e para sobrepôr imagens virtuais num para sobrepôr imagens virtuais num ambiente de realidade aumentadaambiente de realidade aumentada•O utilizador podia interagir com o O utilizador podia interagir com o mundo virtual controlando mundo virtual controlando directamente um agente directamente um agente proxyproxy que o que o representava nesse mundo.representava nesse mundo.

ALIVEALIVE

A. Paiva

ALIVEALIVE

A. Paiva

ALIVEALIVE

Behaviours

Motor Skills

Geometry

Controllers

Deg. Of Freedom

Motor System

A. Paiva

SWAMPED!SWAMPED!

A. Paiva

Introdução Personagens Sintéticas em Mundos

Virtuais Caso: C4 – Um Cérebro Virtual

• Arquitectura Embodied Conversational Agents

• Modelo FMTB• REA

Referências

A. Paiva

C4 – Um Cérebro VirtualC4 – Um Cérebro Virtual

Trabalho desenvolvido por Blumberg no grupo de personagens sintéticas.

Influenciado pela teoria da atitude intencional. Se conhecermos as crenças e os desejos de

uma criatura, podemos predizer as suas acções. Noção de “ilusão de vida”. Personagens com a capacidade de expressarem

o seu estado mental:• Um observador pode inferir as suas

crenças e desejos.

A. Paiva

C4 – Um Cérebro VirtualC4 – Um Cérebro Virtual

Exemplo: Sheep|dog Duncan Pastor Ovelhas Utilizador controla o pastor, dando comandos de

voz ao duncan (sit,down,away).

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Sistema Sensorial• Único ponto de entrada de informação

sensorial.• Garante Honestidade sensorial.• A criatura só vê o que está no seu campo de

visão. Sistema Percepcional

• Atribui significado à informação sensorial recebida.

• Árvore de Percepções.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

São apenas feitas transversias parciais da árvore. Permite reduzir a dimensionalidade da informação

sensorial recebida. Pode-se substituir os classificadores sem afectar o

funcionamento do sistema.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Sistema Proprioceptivo• Animais usam sensores que detectam

extensão dos músculos para determinar a posição dos seus orgãos.

• Criaturas têm consciência do seu estado interno.

• Mecanismo Blackboard.• Criatura pode registar eventos só

visíveis a si.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Memória de Percepção• Simula a memória de trabalho humana.• Lista de objectos persistentes.

- Percepções- Predições- Hipóteses

• Juntos formam a vista que a criatura tem do contexto.

• Todos os componentes da C4 podem alterar ou acrescentar este tipo de objectos.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Eventos de diferentes modalidades podem ser combinados num único objecto.

A confiança num determinado objecto vai decaindo ao longo do tempo.

Estrutura permite-nos questionar a memória de maneiras muito úteis. “Há comida perto de mim?”

Escolher alvos de acção. “Procura um objecto humanóide e vai até ele”.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Predição• Informação sensorial vinda de um objecto

pode ser interrompida temporariamente.• Quando o registo de uma percepção não é

observado:- O seu valor é predito.- Torna-se visível ao sistema como se tivesse

sido realmente observado.• Base para surpresa.

- Um objecto que tenha fornecido um estimulo surpreendente é um excelente candidato para receber o foco de atenção da criatura.

• Predição contribui para o senso comum e a credibilidade de uma criatura.

• Implicam expectativas acerca do mundo.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Video Sheep|Dog

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Selecção de Acções• Responder a 4 questões:

- Quando fazer?- O que fazer e como fazer?- A que o fazer?- Durante quanto tempo?

• Acção modifica estado interno da criatura• Guarda na memória o objecto actual de

interesse

A. Paiva

C4 - ArquitecturaC4 - Arquitectura Grupos de Acções

• Acções avaliadas em função do contexto corrente e do seu valor intrínseco.

• As acções na “Startle List” competem deterministicamente.

• Se nenhuma for relevante, as acções na “Default list” competem probabilisticamente.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura

Sistema de Navegação• Intercepta as ordens escolhidas pelo

sistemas de acções.• Decompõem-nas numa sequência de

movimentos que envia para o Sistema Motor.• Permite uma representação mais conveniente

no Sistema de acções.• Alivia-o de implementar as suas decisões.

A. Paiva

C4 - ArquitecturaC4 - Arquitectura Sistema Motor

• Responsável por tornar a criatura visualmente credível

• Permite- Gestos simples- Locomoção- Simular a atenção da criatura, através do olhar.

• Utiliza grafos de pose.

A. Paiva

VideosVideos

A. Paiva

Introdução C4 – Um Cérebro Virtual

• Arquitectura Embodied Conversational Agents

• Modelo FMTB• REA• MACK

Referências

A. Paiva

Embodied Conversational AgentsEmbodied Conversational Agents

Humanos Virtuais com capacidades sociais e linguísticas para levar a cabo uma conversação face a face.

Utilizam o corpo de uma maneira muito semelhante aos humanos.

Ideais para suportarem uma interacção eficiente entre pessoas e máquinas.

Sistemas de diálogo robustos face a ruido no reconhecimento de fala.

Não é necessário treino por parte dos utilizadores.

A. Paiva

Embodied Conversational AgentsEmbodied Conversational Agents

Propriedades:• Reconhecem e respondem a entradas

verbais e não verbais.• Geram saidas verbais e não verbais.• Lidam com funções conversacionais

(dar a vez, dar feedback).• Dispõem de sinais que indicam o

estado da conversa.

A. Paiva

Modelo FMTBModelo FMTB

Objectivos:• Analisando o processo de conversação

humano e centrando a nossa análise no emissor e no receptor...

• ... Conseguir estabelecer um modelo que estruture a interacção entre um humano e um E.C.A.

Ideias Base:• Funções vs. Comportamentos na

conversação• Sincronização• Divisão entre as contribuições proposicionais

e interaccionais• As diferentes Modalidades na conversação

A. Paiva

Modelo FMTBModelo FMTB

FMTB – Functions• Dois tipos de contribuições:

- Funções proposicionais. Correspondem ao conteúdo da conversa. Discurso informativo, gestos manuais, entoação de voz, etc.

- Exemplo: Gestos que indicam tamanho na sentença “era deste tamanho”.

- Funções Interaccionais. Pistas que regulam e mantêm aberto o canal de comunicação.

- Exemplo: Acenar com a cabeça para indicar que se está a compreender o interlocutor.

A. Paiva

Modelo FMTBModelo FMTB

FMTB – Modalities• Possibilidade de usar várias modalidades de

comunicação simultâneamente.

- Fala, olhar, gestos.• Olhos focam a atenção do interlocutor.• Mãos ajudam a retirar ambiguidades e a

descrever localizações.

- “O café fica ali.”- “Passa-me aquela camisa.”

A. Paiva

Modelo FMTBModelo FMTB

FMTB – Timing• Pessoas assumem que acontecimentos

síncronos têm significado.• O significado de um simples acenar pode

depender da altura em que ocorre na conversa:

- Um acenar de cabeça no preciso momento em que o emissor pede feedback revela que o receptor está a compreendê-lo!

- Um atraso em acenar a cabeça por parte do receptor pode significar discordância.

A. Paiva

Modelo FMTBModelo FMTB FMTB – “Behaviours are not functions”

• A mesma função comunicativa nem sempre se mapeia no mesmo comportamento.

• O mesmo comportamento nem sempre serve a mesma função.

Funções: Comportamentos:

Reagir a uma pessoa Lançar um olhar breve

Desviar-se da conversa Olhar em redor

Despedir-se Acenar com as mãos, Acenar com a cabeça

Pedir Feedback Olhar para o interlocutor, Levantar as sobrancelhas

Fornecer Feedback Olhar para o interlocutor, Acenar com a cabeça

A. Paiva

REAREA

REA (Real Estate Agency) é um ECA no domínio das agências imobiliárias.

Tem uma base de dados com casas à venda. Mostra imagens tridimensionais das casas e

quartos. Duas câmaras permitem detectar a posição da

cabeça e das mãos do utilizador. Utilizador fala com a REA através de um microfone.

A. Paiva

REA - ArquitecturaREA - Arquitectura

A. Paiva

REA - ArquitecturaREA - Arquitectura

Input Manager• Recolhe dados das várias modalidades. • Decide se requerem reacção imediata, ou

processamento deliberativo. Hardwired Reactions

• Lida com reacções espontâneas aos estímulos recebidos.

• O agente pode seguir o utilizador com o olhar enquanto está a processar o que dizer.

A. Paiva

REA - ArquitecturaREA - Arquitectura Action Scheduler

• É responsável pelo escalonamento dos eventos motores a serem enviados à figura que representa o agente

• Uma função crucial é sincronizar as acções entre todas as modalidades, evitando conflitos nos pedidos.

Deliberative Module• Gere todos os inputs que necessitem de um

modelo de discurso para serem devidamente interpretados.

• Isso inclui tanto os comportamentos interaccionais como os proposicionais.

A. Paiva

Understanding Module• Integrar as diferentes modalidades numa única

representação semântica.• Comportamento -> Funções

Decision Module• Interactional Processing• Propositional Processing• Response Planner

Generation Module• Funções -> Comportamento• Gera accções primitivas (gestos,discurso)• Envia-as para o Action Scheduler e monitoriza a

sua execução.

REA - ArquitecturaREA - Arquitectura

A. Paiva

REA - ExemploREA - Exemplo

Mike aproxima-se do ecrâ. Rea está virada noutra direcção.

Rea vira-se, olha para Mike e diz:

“Olá, em que posso ajudá-lo?”

“Procuro uma casa perto do MIT.”

“Tenho uma casa para lhe mostrar.”

Aparece uma imagem da casa no ecrâ. Rea olha para a casa e novamente para Mike.

“Fale-me sobre ela.” Rea olha para um sitio

distante enquanto decide o que dizer.

“É grande.”

A. Paiva

REA - ExemploREA - Exemplo Mike levanta as mão

indicando que vai falar. Rea para e espera. “É muito longe?” “Fica a 5 minutos da estação

de metro” “É muito grande?” “Tem 4 quartos, 3 casas de

banho…” Mike interrompe Rea que

para de falar imediatamente. “Onde é que fica o quarto

principal?” “No andar de cima.” “E a casa de banho

principal?” “Ao lado do quarto”

A. Paiva

Agentes PedagógicosAgentes Pedagógicos

STEVE Carmen VICTEC

A. Paiva

ReferênciasReferências Marques, A., Personagens Sintéticos – Uma Perspectiva

Panorâmica. Bates, J., The Role of Emotion in Believable Agents. Cassell, J., More Than Just Another Pretty Face: Embodied

Conversational Interface Agents. Cassell, J., Embodied Conversational Agents:

Representation and Intelligence in User Interface. Cassell, J., et Al., MACK: Media Lab Autonomous

Conversational Kiosk. Cassell, J., Stocky, T., Shared Reality: Spatial Intelligence

in Intuitive User Interfaces. Blumberg, B., et Al., Creature Smarts: The Art and

Architecture of a Virtual Brain. Blumberg, B., Kline, C., The Art and Science of Synthetic

Character Design.