agentes antropomórficos - fenix.tecnico.ulisboa.pt · agentes antropomórficos 4 1. visão...

Agentes AntropomórficosIST, AASM, 2006-2007Celso Miguel de Melo

Agentes Antropomórficos 2

Sumário1. Visão

2. Aplicações

3. Expressão Corporal

4. Expressão Facial

5. Expressão Vocal

6. Expressão Emocional

7. Controlo de Expressão


1.Visão→ Visão

2. Aplicações



5. Expressão Vocal




1. Visão

“Após milhões de anos sujeitos às forças de selecção natural, os humanos são confrontados com uma séria competição pela sua posição dominadora na escada da evolução — e o adversário iniciou a sua evolução apenas há umas décadas.

Alguns afirmam que tudo o que nós conseguimos fazer, 'humanos virtuais' fazem melhor. ”

• Agentes antropomórficos procuram capturar a riqueza e dinamismo do comportamento humano

• Pretende-se, agora, modelar a razão, inteligência emocional, inteligênciasocial, processos fisiológicos, processos cognitivos e expressão.


1.1 Quais os Desafios?• A construção de um agente antropomórfico é um desafio multidisciplinar

[GRA02]– Computação Gráfica fornece técnicas para modelar e animar corpos

– Ciências Sociais fornecem modelos para o comportamento humano

– Inteligência Artificial aplica e estende, no meio digital, os modelos de comportamento humano

• Um objectivo central é a simulação de expressão multimodal– Expressão de pensamento, emoções, valores, individualidade, criatividade

– Expressão corporal, facial e vocal

– Sincronizada e integrada, como nos humanos


2. Aplicações1. Visão

→ Aplicações



5. Expressão Vocal




2.1 Agentes de Interface• “A melhor metáfora que consigo conceber para

interfaces Homem-Máquina é a de um mordomo inglês bem treinado.” [Neg97]

• “Antropomorfismo sem restrições no desenho de interfaces Homem-Máquina é tanto natural como apropriado” [Lau97]

• “A taxa de crescimento das interfaces interactivas [operações de menu e outras escolhas de interface adicionadas por ano] é insustentável. (...) Agentes de interface introduzem uma escapatória para este dilema.” [Lie97]


2.2 Exploração de Teorias Sociais• Simulação de modelos das ciências sociais em agentes antropomórficos

• Possibilita condições de experimentação favoráveis devido ao relativo baixo custo e precisão no controlo das variáveis

• Permite, através da formalização computacional, identificar as fronteiras das teorias

• Exemplo: Fear Not! [PVA05]– FearNot! é um sistema pedagógico desenvolvido para explorar o fenómeno de bullying

nas escolas


2.3 Agentes pedagógicos• Agentes pedagógicos com carácter podem desempenhar papel motivador

• Estudos desenvolvidos por Lester [LCK97] demonstram que agentes pedagógicos com carácter podem ter um forte efeito positivo na aprendizagem dos alunos – o efeito persona

• O efeito persona é válido mesmo para agentes pouco expressivos ou muito diferentes dos Humanos


2.4 Agentes com Emoções• Agentes com inteligência emocional, capazes de sintetizar e expressar emoções utilizando

gesto, face e voz

• Agentes com emoções são ortogonais a outras áreas de aplicação:– Agentes de interface: Mediação da interacção pelos estados emocionais do utilizador [Pic97]

– Agentes pedagógicos: Feedback afectivo é importante no processo de aprendizagem

– Entretenimento: Afectividade aumenta credibilidade das personagens

• Vídeo: The Sims 2


2.5 Entretenimento


3 Expressão Corporal1. Visão

2. Aplicações

→ Expressão Corporal


5. Expressão Vocal




3.1 Arquitecturas em CamadasCamada de Geometria:

• Define um esqueleto hierárquico, usualmente baseado nos humanos

• Uma norma é o H-Anim [Han]

• Pode definir camadas para músculos e tecido adiposo

Camada de Animação:

• Mecanismos de animação do corpo

• Animação por keyframes, procedimental e de gesticulação

Camada de Comportamento:

• Suporta controlo de alto nível da expressão multimodal

• Define interface com a mente


3.2 Animação Determinística• Animação baseada em sequências de poses do esqueleto humano

exaustivamente definidas por (artistas) humanos

• Animação de Keyframes– Poses chave definidas por animadores

– Poses intermédias interpoladas pelo computador

– Vídeo: humanos virtuais

• Captura de Imagem– Animação corresponde à captura do movimento de um actor

– Vídeo: Gollum


3.3 Animação Não Determinística• Animação procedimental, independente de humanos, baseada em

técnicas de robótica

• Cinemática inversa: Animam-se as extremidades e o modelo gera a animação do resto do corpo

Vídeo: Dança Matemática

• Velocidade inversa: Animam-se as extremidades com base em velocidades cartesianas e angulares

• Dinâmica: Simulação de forças que causam movimento. Gera movimento realista do ponto de vista físico


3.4 Animação de Gesticulação (1/2)• Gestos variam entre voluntários, orientados a objectivos, e involuntários,

inconscientes

• Entre estes extremos existe a classe dos gestos comunicativos [McN00]– Emblemas – gestos culturalmente específicos

– Língua de Sinais - linguagens de comunicação expressas através de gestos visíveis da mão

– Gesticulação - tipo de gesto idiossincrático, inconsciente e não convencional que os humanos fazem em narrativa ou conversação

– Vídeo: Gesticulação de um contador de histórias

Involuntários Voluntários

Emocionais DecepçãoSedução PoderSala de

Aulas

Comunicativos


3.4 Animação de Gesticulação (2/2)• Acredita-se que gesticulação e discurso tem origem no mesmo processo

mental [McN92][McN05]

• Verifica-se sincronização semântica e pragmática entre discurso e gesto

• Existem várias dimensões de gesticulação– Icónico – refere-se a aspectos da acção ou evento descrito

– Metáfora – refere-se a aspectos de um conceito abstracto

– Deíctico - Localizam no espaço físico em frente ao narrador entidades do discurso

– Ritmo – movimentos tipo batuta que não variam de forma com o discurso. Servem funções pragmáticas

• Gesticulação pode ser animada como sequência no tempo de restrições estáticas e dinâmicas– Parâmetros estáticos incluem forma, posição e orientação da mão

– Parâmetros dinâmicos referem-se à interpolação dos parâmetros estáticos

– Vídeo: Animação de gesticulação por restrições


4 Expressão Facial1. Visão

2. Aplicações


→ Expressão Facial

5. Expressão Vocal




4.1 Modelos iniciais• Trabalho pioneiro de Parke [Par72] introduziu modelação baseada em

polígonos e animação por keyframes

• A imensa variedade de expressões faciais conduziu a modelos paramétricos [Par74]– Parâmetros de expressão e personalização controlam subconjuntos da

geometria facial


4.2 Modelos Musculares e Físicos• As limitações de modelos paramétricos

ad-hoc conduziram a modelos musculares paramétricos [PB81][MPT88][Wat87]

• Controlo na maioria dos modelos musculares é baseado no FACS

• [TW90] propuseram ainda um modelo físico hierárquico– Modelo de molas para a pele que

suporta deformações realistas

• Vídeo: Modelo muscular


4.3 FACS (1/2)• Desenvolvido por Paul Ekman, Wallace V. Friesen e Joseph C. Hager

• Objectivo principal: – Desenvolvimento de um sistema compreensivo capaz de distinguir todos os

movimentos faciais visualmente distinguíveis

• FACS é baseado na anatomia Humana

• FACS descreve toda a actividade facial visível com base em 44 Unidades de Acção distinguíveis, tal como várias categorias de movimentos da cabeça e dos olhos

• FACSAID mapeia expressões faciais em emoções

Referência: [EFH02]


4.3 FACS (2/2)


4.4 Captura & Personalização


4.5 Discurso Visual• Os humanos utilizam pistas visuais para perceber discurso [KN99]

• Assim, vários modelos de sincronização labial foram desenvolvidos

– Mapeiam visemas em parâmetros do modelo

– Actualmente, este mapeamento consegue-se fazer em tempo-real e automaticamente

• Um bom modelo deve considerar efeitos de coarticulação, i.e., a influência de visemas precedentes e sucessores [CM93]

• Vídeo: Sincronização labial


5 Expressão Vocal1. Visão

2. Aplicações



→ Expressão Vocal




5 Expressão Vocal (1/2)• Sintetizador de voz é um sistema computacional capaz de ler alto qualquer texto

• Baseado nos humanos, é composto por módulos:– Processamento de Linguagem Natural – que produz uma transcrição fonética do texto com

prosódia

– Processamento do Sinal Digital – que converte a transcrição fonética em som

• Existem dois tipos de sistemas [Sch01] : baseado em regras e concatenativos

• Sistema baseado em regras– Não são utilizadas gravações de voz em tempo de execução

– Voz resultante não tão boa quanto outras técnicas – tipo robot

– Flexível na variação dos parâmetros


5 Expressão Vocal (2/2)• Sistema concatenativo

– Gravações de um locutor humano são concatenadas de modo a gerar a voz sintética

– Gravações efectuadas com um pitch monótono e deformadas em tempo de execução

– Configuração de parâmetros limitada

– Produz resultados mais naturais

• Expressão de emoções– Regras prosódicas globais

– Áudio: Robert Frost


6 Expressão Emocional1. Visão

2. Aplicações



5. Expressão Vocal

→ Expressão Emocional



6.1 Expressão de Emoções• Vimos que é possível expressar emoções através da face, voz e gesto

• Contudo, no meio digital a expressão de emoções não tem de estar limitada ao corpo

• De facto, olhando para as artes, é fácil perceber que a expressão de emoções não está limitada ao corpo [Say07]

• Por exemplo:– No teatro recorre-se não só à expressão dramática e texto, como a cenários,

iluminação, som e música para contar a história

– Na pintura recorre-se a cores, linhas e formas para expressar emoções

– Na dança utilizam-se formas e movimentos do corpo para expressar

• Ora, no meio digital todas estas formas de expressão podem ser simuladas


6.1 Meio Digital e Emoções (1/2)• Para além do corpo, o meio digital

suporta a expressão de emoções através de quatro canais: câmara, luzes, som e ecrã

• O canal cinematográfico reflecte as emoções nos planos de câmara, transições, composição e propriedades das lentes [Arijon76]

• O canal da iluminação reflecte as emoções nos seguintes parâmetros: tipo, posicionamento e ângulo das luzes; sombras; e cor [Birn00]

• O canal da música selecciona música e sons apropriados de acordo com as emoções prevalecentes [Juslin01]

• Vídeo: Expressão pelo ambiente


6.1 Meio Digital e Emoções (2/2)• O canal do ecrã interpreta, ao meta nível, o agente antropomórfico como um

conjunto de píxeis no ecrã. A expressão resulta, analogamente à pintura, da manipulação das propriedades dos píxeis [Say07]

• Duas técnicas relevantes são: filtragem e composição por camadas

• Filtragem consiste em renderizar para uma textura temporária, manipular os píxeiscom shaders, e renderizar para o backbuffer

• Composição por camadas consiste em: distribuir por camadas os vários aspectos da cena – componentes difusa, especular e ambiente das luzes, sombras, etc.; manipular as camadas; e, finalmente, combinar as camadas para a imagem final


7 Controlo de Expressão1. Visão

2. Aplicações



5. Expressão Vocal


→ Controlo de Expressão


7.1 Controlo de Expressão (1/2)• O problema do controlo da expressão multimodal conduziu a várias linguagens de

alto nível [AKM03]. E.g.: [VHML], [SMIL], MURML [KKW02] e o EML [MP06]

• Recentemente, um esforço emergiu para a criação de uma norma para controlo de expressão multimodal – a plataforma SAIBA

• Nesta, distinguem-se três componentes: – Intent planning, onde se define a intenção comunicativa

– Behavior planning, onde se planeia a expressão multimodal da intenção comunicativa

– Behavior realization, que executa o plano de expressão multimodal

• Entre estas componentes, são definidas linguagens markup:– FML, que define a intenção comunicativa sem qualquer referência à manifestação física

– BML, que define a realização da expressão multimodal


7.1 Controlo de Expressão (2/2)


Conclusões• Agentes antropomórficos procuram capturar a riqueza e dinamismo do

comportamento humano, introduzindo novas possibilidades no meio digital

• Central a este esforço é a simulação de expressão multimodal

• Expressão corporal, baseia-se numa arquitectura em camadas que define um esqueleto que é animado por vários mecanismos de animação

• Expressão facial, baseia-se em modelos pseudo-musculares da face que são controlados para expressão de emoções e sincronização labial

• Expressão vocal, consiste na síntese de voz baseada em regras ou concatenação e na manipulação de parâmetros para conferir emoções

• Adicionalmente, no meio digital, a expressão não precisa de estar limitada ao corpo e é possível explorar as possibilidades das luzes, câmara, som e píxeis para conferir emoções

• Finalmente, o controlo de expressão multimodal baseia-se em linguagens markup integradas e sincronizadas que definem a interface com a mente.


Obrigado pela Atenção

• Questões?


Referências (1/3)• [AKM03] - Arafa Y, Kamyab K, Mamdani E. Character Animation Scripting Languages: A

Comparison. In Proceedings of the International Conference on Autonomous Agents 2003, Melbourne, Australia, 2003

• [Arijon76] - Arijon, D.; Grammar of the Film Language; Silman-James Press; 1976

• [Birn00] - Birn, J.; [digital] Lighting & Rendering; New Riders; 2000

• [CM93] - Cohen M, Massaro D. Modeling Coarticulation in Synthetic Visual Speech in N. Magnenat-Thalmann, D. Thalmann (eds.), Models and Techniques in Computer Animation, Springer-Verlag, 1993

• [EFH02] - Ekman P, Friesen W, Hager J. Facial Action Coding System Investigator’s Guide, Consulting Psychologists Press, 2002

• [GRA02] - Gratch J, Rickel J, Andre E, Badler N, Cassell J, Petajan E. Creating Interactive Virtual Humans: Some Assembly Required. In IEEE Intelligent Systems, 17(4):54-63, 2002

• [Han] - H-Anim. H-Anim homepage, http://www.h-anim.org

• [Juslin01] - Juslin, P.; Sloboda, J.; Music and Emotion: theory and research; Oxford UniversityPress; 2001

• [KKW02] - Kranstedt A, Kopp S, Wachsmuth I. MURML: A Multimodal Utterance Representation Markup Language for Conversational Agents. In AAMAS’02 Workshop Embodied conversational agents-let’s specify and evaluate them!, Bologna, Italy, 2002

http://www.h-anim.org/


Referências (2/3)• [KN99] - Kühnert B, Nolan F, The origin of coarticulation in W. Hardcastle, N. Hewlett (eds.),

Coarticulation: Theory, Data and Techniques, Cambridge University Press, 1999

• [KKM06] – Kopp S, Krenn B, Marsella S, Marshall A, Pelachaud C, Pirker H, Thórisson K, Vilhjálmsson H – Towards a Common Framework for Multimodal Generation: The BehaviourMarkup Language

• [Lau97] - Laurel B. Interface Agents: Metaphors with Characters. In J. Bradshaw (ed.), An Introduction to Software Agents, The MIT Press, 1997

• [Lie97] – Lieberman H. Autonomous Interface Agents. In Proceedings of the ACM Conference on Computers and Human Interface, CHI-97, 1997

• [MPT88] - Magnenat-Thalmann N, Primeau E, Thalmann D. Abstract muscle actions procedures for human face animation. In Visual Computer, 3(5):290–297, 1988

• [McN92] - McNeill D. Hand and Mind: What gestures reveal about thought, University of Chicago Press, 1992

• [McN00] – McNeill D. Language and Gesture, Cambrige University Press; 2000

• [McN05] – McNeill D. Gesture and Thought, University of Chicago Press, 2005

• [MP06] – de Melo C, Paiva A. Multimodal Expression in Virtual Humans. In Proceedings of CASA 2006 and Computer Animation and Virtual Worlds Journal, John Wiley, 2006


Referências (3/3)• [Par72] – Parke F. Computer generated animation of faces. In Proceedings of SIGGRAPH 1972,

pp.451-457, 1972

• [Par74] – Parke F. A Parametric Model for Human Faces, PhD thesis, University of Utah, Salt Lake City, 1974

• [PB81] - Platt S, Badler N. Animating Facial Expressions. In Proceedings of SIGGRAPH 1981, pp.245–252, 1981

• [PVA05] - Paiva, A., Dias, J., Vala, M., Aylett, R., Louchart, S.: FearNot! - An Experiment in Emergent Narrative. In Proceedings of IVA 2005, Springer (2005) 305-316

• [Say07] - Sayre, H.: A World of Art. 5th edn. Prentice Hall, 2007

• [Sch01] – Schroder M. Emotional Speech Synthesis: A Review, 2001

• [SMIL] – SMIL. SMIL: Synchronized Multimedia, http://www.w3.org/AudioVideo/

• [TW90] - Terzopoulos D, Waters K. Physically-based Facial Modeling, Analysis and Animation. In Journal of Visualization and Computer Animation, 1(2):73-80, 1990

• [VHML] – VHML. VHML – Virtual Human Markup Language, www.vhml.org/

• [Wat87] - Waters K. A muscle model for animating three-dimensional facial expression. In Proceedings of the 14th Annual Conference on Computer Graphics and interactive Techniques, pp.17-24, and SIGGRAPH 1987, New York, NY: ACM Press, 1987

http://www.w3.org/AudioVideo/

http://www.vhml.org/

agentes antropomórficos - fenix.tecnico.ulisboa.pt · agentes antropomórficos 4 1. visão...

Documents