uso de ontologias em ambientes e humanos virtuais daniel camozzato fernando marson rossana b....
TRANSCRIPT
Uso de Ontologias em
Ambientes e Humanos VirtuaisDaniel CamozzatoFernando MarsonRossana B. Queiroz
Sumário
• Introdução• Ambientes Virtuais• Humanos Virtuais• Animação Comportamental• Considerações Finais
Conceito
•Ontos = Existência / Logos = Conhecimento
•Ontologia = Área da metafísica que lida com a natureza da existência.
•“Estudo do que existe”.
Conceito - Especificação
•Modelagem sistemática do que existe.
•Uma especificação formal de como representar objetos, conceitos e relacionamentos que existem em um domínio.
•“Uma especificação de uma conceitualização”.
Conceito – Compreensão Compartilhada
•“Uma compreensão compartilhada a respeito de um domínio”.
•Ontologia é um método para organizar o conhecimento:
▫Acrescentando significado a dados
▫Torna o conhecimento compreensível tanto para humanos como para computadores
Com o que uma ontologia se parece?
•Depende!
Com o que uma ontologia se parece?
•Ontolingua, KIF, Frame Ontology, OKBC, OCML, Flogic, LOOM, SHOE, RDF, RDFS, XOL, OIL, DAML, OWL…
•Formalidade – Informal, semi-informal, semi-formal, formal
•Tipo de conhecimento – genérico, domínio, aplicação, meta-ontologia
Aplicações na Ciência da Computação
•Inter-operabilidade entre sistemas
•Gerenciamento de conhecimento (information retrieval, document management, knowledge base systems)
•Processamento de linguagem natural (análise semântica, estrutura léxica)
•Web semântica (representação dos dados na web)
Aplicação em Computação Gráfica•É útil para aplicações de Computação
Gráfica▫Semântica associada à representação
gráfica, visual▫Compartilhamento de recursos
Muitos formatos, representando o mesmo domínio de conhecimento
▫Representação do mundo virtual Especificação e relação entre seus diversos
componentes Modelagem de comportamentos
Ambientes Virtuais
•São abstrações do ambiente real.
•São cenários que permitem a interação entre usuários, humanos e objetos virtuais.
•Aplicações▫Aprendizagem (Moodle, Teleduc)▫Simulação (Controle de tráfego, circuitos
digitais)▫Entretenimento (MUD’s, MOO’s,
SecondLife)
Ambientes Virtuais 3D•Possuem geometria e topologia
associadas.
•Podem possuir semântica.
•Características▫Habitáveis▫Interativos / Reativo▫Colaborativos▫Inteligentes
Ambientes Virtuais e Semântica•Aplicada à diversas áreas de
conhecimento▫Herança cultural
Resgate histórico Reconstrução de cidades Simulação
▫Arquitetura Reprodução de estilos arquitetônicos
Ambientes Virtuais e Semântica•Representing the Semantics of Virtual
Spaces (Chen, 1999)▫Categoriza os espaços virtuais em eixos
Representação: textual – gráfica Uso: recreativo – profissional
▫Análise da aplicação de semântica em ambientes virtuais
▫Estudo de caso: StarWalker
Ambientes Virtuais e Semântica• Semantics-based representation of virtual
environments (Gutierrez, 2005)
▫Apresenta uma definição para representação e uso de objetos virtuais dentro de ambientes virtuais com o uso de semântica Representação visual Representação funcional Reusabilidade
▫Estudos de caso Animação e representação de humanos virtuais com
multi-definição Humanos virtuais autônomos Condução de orquestra virtual
Ambientes Virtuais e Semântica• Semantics-based representation of virtual
environments (Gutierrez, 2005)
Ambientes Virtuais e Semântica• Semantics-based representation of virtual
environments (Gutierrez, 2005)
Ambientes Virtuais e Semântica• Semantics-based representation of virtual
environments (Gutierrez, 2005)
Ambientes Virtuais e Semântica• Semantics-based representation of virtual
environments (Gutierrez, 2005)
Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a
Proposal Based on Web Standards (Pittarello, 2006)▫ Apresenta uma abordagem para relacionar
semântica e representação gráfica.▫ OWL e X3D (XML)▫ Descrição de funcionalidades do ambiente▫ Ontologias independentes de cenários▫ Estudos de caso
Extração de informação semântica para deslocamento do usuário
Visita guiada a um palácio de Veneza
Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a
Proposal Based on Web Standards (Pittarello, 2006)
Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a
Proposal Based on Web Standards (Pittarello, 2006)
▫ Relações possíveis entre objetos semânticos containedBy: especifica que um objeto está contido
por um componente de maior nível hierárquico.
sharedBy: especifica que o objeto é compartilhado por dois objetos hierarquicamente superiores
boundedBy: expressa que o objeto está associado à um determinado espaço semântico
Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a
Proposal Based on Web Standards (Pittarello, 2006)
Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a
Proposal Based on Web Standards (Pittarello, 2006)
Ambientes Virtuais e Semântica• Semantic Description of 3D Environments: a
Proposal Based on Web Standards (Pittarello, 2006)▫ Utilização do VoiceXML
Informações sobre o ambiente são repassadas ao usuário através de voz sintetizada.
Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An
ontology-based approach (Garcia-Rojas, 2008)
▫ Criação de ambientes virtuais habitáveis
▫ Definição de comportamento e funcionalidades de objetos virtuais
▫ Programação Visual
▫ Java, OWL e X3D
Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An
ontology-based approach (Garcia-Rojas, 2008)
Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An
ontology-based approach (Garcia-Rojas, 2008)
Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An
ontology-based approach (Garcia-Rojas, 2008)
Ambientes Virtuais e Semântica• Visual creation of inhabited 3D environments: An
ontology-based approach (Garcia-Rojas, 2008)
Humanos Virtuais
•Representação de um humano em meio virtual▫Modelagem e Animação
Forma 3D (malha de polígonos) Estruturas auxiliares à animação (esqueleto,
músculos, pontos de controle)▫Estruturas que armazenam esses dados
normalmente não “sabem” o que cada um dos componentes representa Falta semântica associada
Humanos Virtuais
•Representação de um humano em meio virtual▫Incorporação de uma “camada semântica”
para a descrição de: Características ou atributos (features) Funcionalidades
O que é um braço? O que um braço faz?
Interação Como ele interage com o corpo e o
ambiente? Habilidades
Modelagem
Rigging Skinning
Preparação de quadros-chave da animação
Exemplo de personagem virtual animado
AQUI ESTAVA O VÍDEO DE MOTION CAPTURE
AQUI ESTAVA O VÍDEO DOS HUMANOS VIRTUAIS(VHLAB e carinhas caminhando no prédio 32)
Humanos Virtuais
•An Ontology of Virtual Humans (Gutiérrez, 2007)▫ Conhecimento relacionado com:
Modelagem do corpo e análise Animação Interação com objetos virtuais
▫ Algoritmos para a aquisição automática ou semi-automática de dados em humanos virtuais já existentes Detecção dos membros e do tronco Detecção das juntas Extração do esqueleto
Humanos Virtuais
•An Ontology of Virtual Humans (Gutiérrez, 2007)
Humanos Virtuais
•An Ontology of Virtual Humans (Gutiérrez, 2007)▫ Questões de competência para determinar o escopo da
ontologia História do modelo Lista de features Seqüências de animação Algoritmos de animação Interação com objetos
Humanos Virtuais•An Ontology of Virtual Humans
(Gutiérrez, 2007)▫ Conceitos definidos para expressar de maneira formal a
informação e conhecimento associados aos HVs: Geometria
Forma do corpo Acessórios
Animação Corpo Face
Morfologia Idade, peso, altura, gênero...
Comportamento Descritor e controles de comportamento
• Descritor de individualidade: personalidade, cultura, histórico, etc
• Algoritmos que conduzem os comportamentos considerando estado emocional e individualidade
An Ontology of Virtual Humans (Gutiérrez, 2007)
Humanos Virtuais
•An Ontology of Virtual Humans (Gutiérrez, 2007)▫ Os Recursos são o produto que o usuário quer obter
quando buscarem por um componente Um ou mais arquivos Algoritmos
▫ Cenários de aplicações Repositório de personagens virtuais Repositório de modelos Reconhecimento/extração/análise de formas
Humanos Virtuais
•An Ontology of Virtual Humans (Gutiérrez, 2007)
Animação Facial
AQUI ESTAVA O VÍDEO DE ANIMAÇÃO FACIAL
Humanos Virtuais
•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Foco em expressões faciais conduzidas pelo estado
emocional Animação certa para uma expressão de emoção
▫ Padrão de Animação Facial MPEG-4 Pontos de controle Parâmetros de animação
Humanos Virtuais
Feature Points(FPs)
Facial Animation Parameter Units(FAPU)
Facial AnimationParameters(FAPs)
Arquivo de animação FAPOverview do MPEG-4 FA
Humanos Virtuais
•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Domínio da ontologia
Algumas questões: Quais são as animações de face para expressar a emoção
sad? Quais os tipos de expressão angry existem? Qual é o intervalo dos FAPs para as seguintes emoções:
worried, terrified? Dado um conjunto de valores FAP qual a emoção que pode
ser produzida?
Humanos Virtuais
50
•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Modelos de emoções
Emoções básicas de Ekman anger joy sadness surprise disgust fear
Espaço de avaliação/ativação de Whissel
Humanos Virtuais
•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Protótipos de expressões
Perfis (profiles) 25 perfis, agrupados nas 6 emoções básicas
▫ Computação de expressões intermediárias
Descrição dos perfis de protótipos e expressões intermediárias e a representação de emoção
Humanos Virtuais
•Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006)▫ Exemplo de população de perfis de expressões na
ontologia Profiles fear e sad geram a expressão intermediária
depressed União dos intervalos dos FAPs dos profiles
Modelagem Hierárquica em CG
•Diferentes níveis de abstração na modelagem de controle de uma animação.
Behavior / Cognitive Modeling
•Behavior Modeling – modela a percepção e o comportamento reativo do ator
•Cognitive Modeling – Governa o que um ator sabe, como o conhecimento é adquirido e como ele pode ser utilizado para planejar as ações
Layered Virtual Human
Layered Virtual Human
Ontologia
Animação Comportamental
• Individualized Reaction Movements For Virtual Humans (García-Rojas 2006)▫ Personagens virtuais com comportamentos realísticos
Providos de autonomia num mundo virtual habitado Reação a estímulos ou eventos, levando em
consideração a individualidade do personagem
Animação Comportamental
• Individualized Reaction Movements For Virtual Humans (García-Rojas 2006)
▫Estudo de caso: objeto vindo em direção ao HV
▫Tipos de reação: Intersect Avoid Protect
Animação Comportamental
• Individualized Reaction Movements For Virtual Humans (García-Rojas 2006)
▫Conceitos para a ontologia Descritor morfológico Individualidade Corpo Controladores de comportamento Comportamento de Reação Cinemática Inversa
Representação semântica da modelagem da reação individual
Animação Comportamental
•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)
▫ Continuação do trabalho, acrescentando um modelo de personalidade (Five Factor Model)
Árvore de decisão para o comportamento reativo
Animação Comportamental
•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)
▫A emoção regula o movimento Generic Personality and Emotion Model
(PEModel) Mapeamento/anotação de ações de acordo com o
estado emocional
Animação Comportamental
•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)
Individualidade do HV Composição da animação de personagens
Animação Comportamental
•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)
Semântica do movimento reativo usando Cinemática Inversa
Descrição das expressões emocionais usando interpolação de Keyframes
Animação Comportamental
•Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008)
▫ Um cenário de aplicação. Os VHs: Percebem um evento, e viram a cabeça olhando pra ele É obtido o tipo de reação de acordo com a personalidade Têm sua postura e reação computados (animação) Seu estado emocional é atualizado São adicionadas as animações restantes de acordo com o estado
emocional
VH com percepção sintética (visão, audição e tato)
Cena inicial
Seqüência do cenário reativo
Animação Comportamental
•AI-LIVE
▫Simulação/jogo contendo personagens humanos e personagens controlados pelo computador
▫Cenário contém células e entidades
▫ Entidades podem ser atores, paredes, objetos ou relacionamentos entre objetos/atores
▫ A ontologia inclui desde as ações que podem ser realizadas no ambiente até características psicológicas dos atores
AI-LIVE
Animação Comportamental
•Human Behavior Models
▫ Uma ontologia de valor descreve os princípios e preferências de um agente com o conceito “terrorista”
Animação Comportamental
•Human Behavior Models▫ Uma decisão pode ser através da árvore de princípios.
Ex: para cumprir sua missão, o terrorista pode escolher um curso de ação que o leve à morte.
▫ (1,0 * 0,2)+(0,7 * 0,2) – 0,2 = 0,14
Animação Comportamental
•Human Behavior Models
Animação Comportamental
•Ontology-based Crowd Simulation for Normal Life Situations▫ Locais possuem um schedule de funcionamento
▫ Agentes possuem um profile que determina o comportamento espacial ao longo do dia
Animação Comportamental
•Ontology-based Crowd Simulation for Normal Life Situations
Animação Comportamental
Ontology-based Crowd Simulation for Normal Life Situations
Considerações
•Utilização de ontologias para descrição/simulação de:▫Ambientes Virtuais▫Humanos Virtuais
•Conhecimento sobre▫Modelagem▫Animação▫Interatividade▫Funcionalidade▫Comportamento
Considerações• Agrega conhecimentos de outras áreas
▫ História▫ Arquitetura▫ Biologia▫ Psicologia▫ ...
• Pesquisas recentes
• Um grupo de pesquisadores bastante focado no assunto ▫ García-Hojas (École Polytechnique Fédérale de Lausanne,
Suíça)▫ Gutérrez (National Institute for Astrophysics, Optics and
Electronics, México)
Referências• Gutiérrez A., M., García-Rojas, A., Thalmann, D., Vexo, F., Moccozet,
L., Magnenat-Thalmann, N., Mortara, M., and Spagnuolo, M. 2007. An ontology of virtual humans: Incorporating semantics into human shapes. Vis. Comput. 23, 3 (Feb. 2007), 207-218.
• García-Rojas, A., Vexo, F., Thalmann, D., Raouzaiou, A., Karpouzis, K., Kollias, S., Moccozet, L., and Magnenat-Thalmann, N. 2006. Emotional face expression profiles supported by virtual human ontology: Research Articles. Comput. Animat. Virtual Worlds 17, 3-4 (Jul. 2006), 259-269.
• B. G. Silverman, M. Johns, R. Weaver, K. O'Brien, R. Silverman. "Human Behavior Models for Game-Theoretic Agents: Case of Crowd Tipping". In: 10th Conference On Computer Generated Forces and Behavioral Representation, SISO, May 2001.
• S. Fernandez, R. Adarve, M. Perez, M. Rybarczyk, D. Borrajo. "Planning for an AI based virtual agents game". ICAPS Workshop in AI Planning for Synthetic Characters and Computer Games, 2006.
• D. C. de Paiva, R. Vieira, S. R. Musse. "Ontology-based Crowd Simulation in Normal Life Situations". Computers & graphics, v. 1, p. 221-226, 2005.
Referências• García-Rojas, A., Gutiérrez, M., and Thalmann, D. 2008. Simulation of
individual spontaneous reactive behavior. In Proceedings of the 7th international Joint Conference on Autonomous Agents and Multiagent Systems - Volume 1 (Estoril, Portugal, May 12 - 16, 2008). International Conference on Autonomous Agents. International Foundation for Autonomous Agents and Multiagent Systems, Richland, SC, 143-150.
A. Garcia-Rojas, F. Vexo, and D. Thalmann. Individualized reaction movements for virtual humans. In GRAPHITE '06: Proceedings of the 4th international conference on Computer graphics and interactive techniques in Australasia and Southeast Asia, pages 79--85, New York, NY, USA, 2006. ACM Press.
• Gutierrez, M.; Vexo, F. & Thalmann, D. 2005, 'Semantics-based representation of virtual environments', International Journal of Computer Applications in Technology 23(2-4), 229--38.
• Chen, C.; Thomas, L.; Cole, J. & Chennawasin, C. (1999), 'Representing the semantics of virtual spaces', Multimedia, IEEE 6(2), 54-63.
Referências• Pittarello, F. & Faveri, A. D. 2006, Semantic description of 3D
environments: a proposal based on web standards, in 'Web3D '06: Proceedings of the eleventh international conference on 3D web technology', ACM, New York, NY, USA, pp. 85--95.
• Garcia-Rojas, A.; Gutierrez, M. & Thalmann, D. 2008, 'Visual creation of inhabited 3D environments: An ontology-based approach', Visual Computer.