uso de ontologias em ambientes e humanos virtuais daniel camozzato fernando marson rossana b....

Uso de Ontologias em

Ambientes e Humanos VirtuaisDaniel CamozzatoFernando MarsonRossana B. Queiroz

Sumário

• Introdução• Ambientes Virtuais• Humanos Virtuais• Animação Comportamental• Considerações Finais

Conceito

•Ontos = Existência / Logos = Conhecimento

•Ontologia = Área da metafísica que lida com a natureza da existência.

•“Estudo do que existe”.

Conceito - Especificação

•Modelagem sistemática do que existe.

•Uma especificação formal de como representar objetos, conceitos e relacionamentos que existem em um domínio.

•“Uma especificação de uma conceitualização”.

Conceito – Compreensão Compartilhada

•“Uma compreensão compartilhada a respeito de um domínio”.

•Ontologia é um método para organizar o conhecimento:

▫Acrescentando significado a dados

▫Torna o conhecimento compreensível tanto para humanos como para computadores

Com o que uma ontologia se parece?

•Depende!

Com o que uma ontologia se parece?

•Ontolingua, KIF, Frame Ontology, OKBC, OCML, Flogic, LOOM, SHOE, RDF, RDFS, XOL, OIL, DAML, OWL…

•Formalidade – Informal, semi-informal, semi-formal, formal

•Tipo de conhecimento – genérico, domínio, aplicação, meta-ontologia

Aplicações na Ciência da Computação

•Inter-operabilidade entre sistemas

•Gerenciamento de conhecimento (information retrieval, document management, knowledge base systems)

•Processamento de linguagem natural (análise semântica, estrutura léxica)

•Web semântica (representação dos dados na web)

Aplicação em Computação Gráfica•É útil para aplicações de Computação

Gráfica▫Semântica associada à representação

gráfica, visual▫Compartilhamento de recursos

Muitos formatos, representando o mesmo domínio de conhecimento

▫Representação do mundo virtual Especificação e relação entre seus diversos

componentes Modelagem de comportamentos

Ambientes Virtuais

•São abstrações do ambiente real.

•São cenários que permitem a interação entre usuários, humanos e objetos virtuais.

•Aplicações▫Aprendizagem (Moodle, Teleduc)▫Simulação (Controle de tráfego, circuitos

digitais)▫Entretenimento (MUD’s, MOO’s,

SecondLife)

Ambientes Virtuais 3D•Possuem geometria e topologia

associadas.

•Podem possuir semântica.

•Características▫Habitáveis▫Interativos / Reativo▫Colaborativos▫Inteligentes

Ambientes Virtuais e Semântica•Aplicada à diversas áreas de

conhecimento▫Herança cultural

Resgate histórico Reconstrução de cidades Simulação

▫Arquitetura Reprodução de estilos arquitetônicos

Ambientes Virtuais e Semântica•Representing the Semantics of Virtual

Spaces (Chen, 1999)▫Categoriza os espaços virtuais em eixos

Representação: textual – gráfica Uso: recreativo – profissional

▫Análise da aplicação de semântica em ambientes virtuais

▫Estudo de caso: StarWalker

Ambientes Virtuais e Semântica• Semantics-based representation of virtual

environments (Gutierrez, 2005)

▫Apresenta uma definição para representação e uso de objetos virtuais dentro de ambientes virtuais com o uso de semântica Representação visual Representação funcional Reusabilidade

▫Estudos de caso Animação e representação de humanos virtuais com

multi-definição Humanos virtuais autônomos Condução de orquestra virtual

Ambientes Virtuais e Semântica• Semantics-based representation of virtual

environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica• Semantics-based representation of virtual

environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica• Semantics-based representation of virtual

environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica• Semantics-based representation of virtual

environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a

Proposal Based on Web Standards (Pittarello, 2006)▫ Apresenta uma abordagem para relacionar

semântica e representação gráfica.▫ OWL e X3D (XML)▫ Descrição de funcionalidades do ambiente▫ Ontologias independentes de cenários▫ Estudos de caso

Extração de informação semântica para deslocamento do usuário

Visita guiada a um palácio de Veneza

Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a

Proposal Based on Web Standards (Pittarello, 2006)

Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a

Proposal Based on Web Standards (Pittarello, 2006)

▫ Relações possíveis entre objetos semânticos containedBy: especifica que um objeto está contido

por um componente de maior nível hierárquico.

sharedBy: especifica que o objeto é compartilhado por dois objetos hierarquicamente superiores

boundedBy: expressa que o objeto está associado à um determinado espaço semântico

Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a

Proposal Based on Web Standards (Pittarello, 2006)

Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a

Proposal Based on Web Standards (Pittarello, 2006)

Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a

Proposal Based on Web Standards (Pittarello, 2006)▫ Utilização do VoiceXML

Informações sobre o ambiente são repassadas ao usuário através de voz sintetizada.

Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An

ontology-based approach (Garcia-Rojas, 2008)

▫ Criação de ambientes virtuais habitáveis

▫ Definição de comportamento e funcionalidades de objetos virtuais

▫ Programação Visual

▫ Java, OWL e X3D

Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An

ontology-based approach (Garcia-Rojas, 2008)

Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An

ontology-based approach (Garcia-Rojas, 2008)

Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An

ontology-based approach (Garcia-Rojas, 2008)

Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An

ontology-based approach (Garcia-Rojas, 2008)

Humanos Virtuais

•Representação de um humano em meio virtual▫Modelagem e Animação

Forma 3D (malha de polígonos) Estruturas auxiliares à animação (esqueleto,

músculos, pontos de controle)▫Estruturas que armazenam esses dados

normalmente não “sabem” o que cada um dos componentes representa Falta semântica associada

Humanos Virtuais

•Representação de um humano em meio virtual▫Incorporação de uma “camada semântica”

para a descrição de: Características ou atributos (features) Funcionalidades

O que é um braço? O que um braço faz?

Interação Como ele interage com o corpo e o

ambiente? Habilidades

Modelagem

Rigging Skinning

Preparação de quadros-chave da animação

Exemplo de personagem virtual animado

AQUI ESTAVA O VÍDEO DE MOTION CAPTURE

AQUI ESTAVA O VÍDEO DOS HUMANOS VIRTUAIS(VHLAB e carinhas caminhando no prédio 32)

Humanos Virtuais

•An Ontology of Virtual Humans (Gutiérrez, 2007)▫ Conhecimento relacionado com:

Modelagem do corpo e análise Animação Interação com objetos virtuais

▫ Algoritmos para a aquisição automática ou semi-automática de dados em humanos virtuais já existentes Detecção dos membros e do tronco Detecção das juntas Extração do esqueleto

Humanos Virtuais

•An Ontology of Virtual Humans (Gutiérrez, 2007)

Humanos Virtuais

•An Ontology of Virtual Humans (Gutiérrez, 2007)▫ Questões de competência para determinar o escopo da

ontologia História do modelo Lista de features Seqüências de animação Algoritmos de animação Interação com objetos

Humanos Virtuais•An Ontology of Virtual Humans

(Gutiérrez, 2007)▫ Conceitos definidos para expressar de maneira formal a

informação e conhecimento associados aos HVs: Geometria

Forma do corpo Acessórios

Animação Corpo Face

Morfologia Idade, peso, altura, gênero...

Comportamento Descritor e controles de comportamento

• Descritor de individualidade: personalidade, cultura, histórico, etc

• Algoritmos que conduzem os comportamentos considerando estado emocional e individualidade

An Ontology of Virtual Humans (Gutiérrez, 2007)

Humanos Virtuais

•An Ontology of Virtual Humans (Gutiérrez, 2007)▫ Os Recursos são o produto que o usuário quer obter

quando buscarem por um componente Um ou mais arquivos Algoritmos

▫ Cenários de aplicações Repositório de personagens virtuais Repositório de modelos Reconhecimento/extração/análise de formas

Humanos Virtuais

•An Ontology of Virtual Humans (Gutiérrez, 2007)

Animação Facial

AQUI ESTAVA O VÍDEO DE ANIMAÇÃO FACIAL

Humanos Virtuais

•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Foco em expressões faciais conduzidas pelo estado

emocional Animação certa para uma expressão de emoção

▫ Padrão de Animação Facial MPEG-4 Pontos de controle Parâmetros de animação

Humanos Virtuais

Feature Points(FPs)

Facial Animation Parameter Units(FAPU)

Facial AnimationParameters(FAPs)

Arquivo de animação FAPOverview do MPEG-4 FA

Humanos Virtuais

•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Domínio da ontologia

Algumas questões: Quais são as animações de face para expressar a emoção

sad? Quais os tipos de expressão angry existem? Qual é o intervalo dos FAPs para as seguintes emoções:

worried, terrified? Dado um conjunto de valores FAP qual a emoção que pode

ser produzida?

Humanos Virtuais

50

•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Modelos de emoções

Emoções básicas de Ekman anger joy sadness surprise disgust fear

Espaço de avaliação/ativação de Whissel

Humanos Virtuais

•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Protótipos de expressões

Perfis (profiles) 25 perfis, agrupados nas 6 emoções básicas

▫ Computação de expressões intermediárias

Descrição dos perfis de protótipos e expressões intermediárias e a representação de emoção

Humanos Virtuais

•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Exemplo de população de perfis de expressões na

ontologia Profiles fear e sad geram a expressão intermediária

depressed União dos intervalos dos FAPs dos profiles

Modelagem Hierárquica em CG

•Diferentes níveis de abstração na modelagem de controle de uma animação.

Behavior / Cognitive Modeling

•Behavior Modeling – modela a percepção e o comportamento reativo do ator

•Cognitive Modeling – Governa o que um ator sabe, como o conhecimento é adquirido e como ele pode ser utilizado para planejar as ações

Layered Virtual Human

Layered Virtual Human

Ontologia

Animação Comportamental

• Individualized Reaction Movements For Virtual Humans (García-Rojas 2006)▫ Personagens virtuais com comportamentos realísticos

Providos de autonomia num mundo virtual habitado Reação a estímulos ou eventos, levando em

consideração a individualidade do personagem

Animação Comportamental

• Individualized Reaction Movements For Virtual Humans (García-Rojas 2006)

▫Estudo de caso: objeto vindo em direção ao HV

▫Tipos de reação: Intersect Avoid Protect

Animação Comportamental

• Individualized Reaction Movements For Virtual Humans (García-Rojas 2006)

▫Conceitos para a ontologia Descritor morfológico Individualidade Corpo Controladores de comportamento Comportamento de Reação Cinemática Inversa

Representação semântica da modelagem da reação individual

Animação Comportamental

•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)

▫ Continuação do trabalho, acrescentando um modelo de personalidade (Five Factor Model)

Árvore de decisão para o comportamento reativo

Animação Comportamental

•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)

▫A emoção regula o movimento Generic Personality and Emotion Model

(PEModel) Mapeamento/anotação de ações de acordo com o

estado emocional

Animação Comportamental

•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)

Individualidade do HV Composição da animação de personagens

Animação Comportamental

•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)

Semântica do movimento reativo usando Cinemática Inversa

Descrição das expressões emocionais usando interpolação de Keyframes

Animação Comportamental

•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)

▫ Um cenário de aplicação. Os VHs: Percebem um evento, e viram a cabeça olhando pra ele É obtido o tipo de reação de acordo com a personalidade Têm sua postura e reação computados (animação) Seu estado emocional é atualizado São adicionadas as animações restantes de acordo com o estado

emocional

VH com percepção sintética (visão, audição e tato)

Cena inicial

Seqüência do cenário reativo

Animação Comportamental

•AI-LIVE

▫Simulação/jogo contendo personagens humanos e personagens controlados pelo computador

▫Cenário contém células e entidades

▫ Entidades podem ser atores, paredes, objetos ou relacionamentos entre objetos/atores

▫ A ontologia inclui desde as ações que podem ser realizadas no ambiente até características psicológicas dos atores

AI-LIVE

Animação Comportamental

•Human Behavior Models

▫ Uma ontologia de valor descreve os princípios e preferências de um agente com o conceito “terrorista”

Animação Comportamental

•Human Behavior Models▫ Uma decisão pode ser através da árvore de princípios.

Ex: para cumprir sua missão, o terrorista pode escolher um curso de ação que o leve à morte.

▫ (1,0 * 0,2)+(0,7 * 0,2) – 0,2 = 0,14

Animação Comportamental

•Human Behavior Models

Animação Comportamental

•Ontology-based Crowd Simulation for Normal Life Situations▫ Locais possuem um schedule de funcionamento

▫ Agentes possuem um profile que determina o comportamento espacial ao longo do dia

Animação Comportamental

•Ontology-based Crowd Simulation for Normal Life Situations

Animação Comportamental

Ontology-based Crowd Simulation for Normal Life Situations

Considerações

•Utilização de ontologias para descrição/simulação de:▫Ambientes Virtuais▫Humanos Virtuais

•Conhecimento sobre▫Modelagem▫Animação▫Interatividade▫Funcionalidade▫Comportamento

Considerações• Agrega conhecimentos de outras áreas

▫ História▫ Arquitetura▫ Biologia▫ Psicologia▫ ...

• Pesquisas recentes

• Um grupo de pesquisadores bastante focado no assunto ▫ García-Hojas (École Polytechnique Fédérale de Lausanne,

Suíça)▫ Gutérrez (National Institute for Astrophysics, Optics and

Electronics, México)

Referências• Gutiérrez A., M., García-Rojas, A., Thalmann, D., Vexo, F., Moccozet,

L., Magnenat-Thalmann, N., Mortara, M., and Spagnuolo, M. 2007. An ontology of virtual humans: Incorporating semantics into human shapes. Vis. Comput. 23, 3 (Feb. 2007), 207-218.

• García-Rojas, A., Vexo, F., Thalmann, D., Raouzaiou, A., Karpouzis, K., Kollias, S., Moccozet, L., and Magnenat-Thalmann, N. 2006. Emotional face expression profiles supported by virtual human ontology: Research Articles. Comput. Animat. Virtual Worlds 17, 3-4 (Jul. 2006), 259-269.

• B. G. Silverman, M. Johns, R. Weaver, K. O'Brien, R. Silverman. "Human Behavior Models for Game-Theoretic Agents: Case of Crowd Tipping". In: 10th Conference On Computer Generated Forces and Behavioral Representation, SISO, May 2001.

• S. Fernandez, R. Adarve, M. Perez, M. Rybarczyk, D. Borrajo. "Planning for an AI based virtual agents game". ICAPS Workshop in AI Planning for Synthetic Characters and Computer Games, 2006.

• D. C. de Paiva, R. Vieira, S. R. Musse. "Ontology-based Crowd Simulation in Normal Life Situations". Computers & graphics, v. 1, p. 221-226, 2005.

Referências• García-Rojas, A., Gutiérrez, M., and Thalmann, D. 2008. Simulation of

individual spontaneous reactive behavior. In Proceedings of the 7th international Joint Conference on Autonomous Agents and Multiagent Systems - Volume 1 (Estoril, Portugal, May 12 - 16, 2008). International Conference on Autonomous Agents. International Foundation for Autonomous Agents and Multiagent Systems, Richland, SC, 143-150.

A. Garcia-Rojas, F. Vexo, and D. Thalmann. Individualized reaction movements for virtual humans. In GRAPHITE '06: Proceedings of the 4th international conference on Computer graphics and interactive techniques in Australasia and Southeast Asia, pages 79--85, New York, NY, USA, 2006. ACM Press.

• Gutierrez, M.; Vexo, F. & Thalmann, D. 2005, 'Semantics-based representation of virtual environments', International Journal of Computer Applications in Technology 23(2-4), 229--38.

• Chen, C.; Thomas, L.; Cole, J. & Chennawasin, C. (1999), 'Representing the semantics of virtual spaces', Multimedia, IEEE 6(2), 54-63.

Referências• Pittarello, F. & Faveri, A. D. 2006, Semantic description of 3D

environments: a proposal based on web standards, in 'Web3D '06: Proceedings of the eleventh international conference on 3D web technology', ACM, New York, NY, USA, pp. 85--95.

• Garcia-Rojas, A.; Gutierrez, M. & Thalmann, D. 2008, 'Visual creation of inhabited 3D environments: An ontology-based approach', Visual Computer.