tdc2016sp - medição de diversão a partir da face no apoio ao game design

Globalcode – Open4education

Games – Medição de Diversão a Partir

da Face no Apoio ao Game Design

Luiz Carlos Vieira

Doutorando em Ciência da Computação

Laboratório de Interatividade e Tecnologia em Entretenimento Digital

Universidade de São Paulo

http://www.ime.usp.br/~lidet

http://www.ime.usp.br/~lidet


Agenda

2.

Entendendo a diversão

3.

Medindo a diversão

1.

Motivação

4.

Projeto em produção

5.

Conclusão


MOTIVAÇÃO

Motivação Entendendo a diversão

Medindo a diversão


Conclusão


Jogos: interesse antigo

Rainha Nefertari jogando Senet. Pintura da tumba da Rainha Nefertari do Egito (1295–1255 BC). Imagem de domínio público, reproduzida de

Wikimedia Commons (https://commons.wikimedia.org/wiki/File:Maler_der_Grabkammer_der_Nefertari_003.jpg?uselang=pt)

https://commons.wikimedia.org/wiki/File:Maler_der_Grabkammer_der_Nefertari_003.jpg?uselang=pt


Diversão: interesse natural

Ligada a recompensas cognitivas e emocionais

Motivador natural

para jogar

para agir

para escolher


Diversão é assunto difícil

Difícil de definir precisamente

assunto subjetivo que envolve emoções

Difícil de garantir com o design

dependente do(s) participante(s)

dependente do contexto da atividade


Dificuldades do playtesting

Observação

• Observador se torna parte do fenômeno observado

• Reconhecimento de estar sendo observado influencia participante

Questionários

• Interrupções atrapalham a experiência

• Coletas criam expectativas ou não capturam nuances importantes

Dados utilitários

• Desafios não são o único aspecto da diversão

• Baixo desempenho não significa ausência de divertimento

Dados biométricos

• Sensores corporais podem causar desconforto

• Configuração do ambiente de teste é mais difícil e cara


Por que usar a face?

Importante meio de comunicação humana

• comunicação expressiva

• foco de atenção

• emoções prototípicas

Acessível em dispositivos habilitados para jogos

• câmeras frontais

• alta resolução e baixa oclusão

• bem menos intrusivo


ENTENDENDO A DIVERSÃO


Medindo a diversão


Conclusão


Diversão requer interação

Mecanismo de influência

mútua

Envolve percepções e

atuações no “mundo”

Importante para a

subsistência

Propriedades Relacionais da Interação

Com objetos • Pistas físicas/cognitivas

(affordances)

• Modelos conceituais

• Restrições físicas/lógicas

• Convenções socioculturais

Entre humanos • Ambiente compartilhado

• Interferência social

• Comunicação verbal e não-verbal

• Comportamentos de grupo


Consciência

Diversão requer atenção

A capacidade de

atenção é limitada

126 bits/segundo

(3 conversações

simultâneas)

Da

do

s S

en

so

ria

is

Dados Relevantes

(organizados por intenções)

Foco da

Atenção

...


Diversão inclui desafios

Nível da Habilidade Alta Baixa

Nív

el

do

De

sa

fio

Baixo

Alto

Aflição

Fluxo

Excitação

Controle

Relaxamento

Tédio

Apatia

Ansiedade

Objetivos claros

Desafios factíveis, porém difíceis

Capacidade de concentração total

Absorção da atenção

Percepção reduzida do tempo/ “eu”

Reforço do “eu” (após a atividade)

Feedback de ações e senso de controle


Há outros aspectos

Desafio

oportunidades para a ação e

desenvolvimento

Curiosidade

ambiente apropriadamente

informativo

Fantasia

imagens mentais e experiência Aprendizado

Fantasia

Curiosidade

Desafio


Diversão requer imersão

Engajamento

Absorção

Imersão Total

(Presença)

Engajamento (Engagement)

interesse inicial (curiosidade é

imediatamente relevante)

Absorção (Engrossment)

continuidade do interesse

(fantasia e desafio se tornam

mais relevantes)

Imersão Total (Total

Immersion/Presence)

experiência ótima (Fluxo)

Mic

rofl

uxo

s

Flu

xo


Envolvimento vs interação

Jogos (Sérios) Design Gamificado

Brinquedos Design Ludificado

Parte Todo

Jogar

Brincar

História (“sem” interação)

Brinquedo (sem objetivo)

Puzzle (com objetivo)

Jogo (com vitória)


Emoções são complementares à razão

“marcam” escolhas passadas como mais/menos relevantes

Diversão requer emoções

Sensorial Motor

Comportamental

Reflexivo

Visceral

percepções ações

fluxo de dados/inibições controle


Aspectos emocionais

• Excitação

• Expressão

• Naches/Kvell

• Schadenfreude

• Surpresa

• Deslumbramento

• Fiero

• Frustração

Hard Fun

Easy Fun

Serious Fun

People Fun

Alegria

Tristeza

Medo

Nojo

Raiva

Surpresa

Emoções Prototípicas Emoções Prazerosas

Fiero (Italiano): Triunfo pessoal sobre adversário/adversidade; Naches/Kvell (Ídiche): prazer ou orgulho em ver um filho/aluno obter sucesso;

Schedenfreude (Alemão): satisfação no infortúnio alheio.


MEDINDO A DIVERSÃO


Medindo a diversão


Conclusão


Medição da atenção

Tradicionalmente feita com testes de desempenho

tempo de reação, núm. omissões, mudança de foco, etc

O corpo é um importante canal de atenção

expressões faciais, diâmetro pupilar, taxa de piscadas e

direção do olhar

aproximação/afastamento do objeto de interesse


Medição do fluxo

Tradicionalmente feita com questionários

Automatização envolve métricas de desempenho

dano, acertos, omissões, munição, etc

muito utilizado para DDA (Dynamic Difficulty Adjustment)


Medição da imersão


Literatura não diferencia imersão de atenção

também mensurável de expressões faciais e do olhar

pouca/nenhuma associação ao comportamento corporal


Medição das emoções


medição totalmente acurada é improvável

Respostas psicofisiológicas excitação

altamente inconsistentes com emoções prototípicas

Expressões corporais excitação ou valência

voz: correlação com excitação

face: correlação com valência e emoções prototípicas

corpo como um todo: tem recebido pouca atenção


Alguns exemplos

Negativa Positiva

Ativo/Excitado

Passivo/Calmo

Valência E

xcit

ação

Raiva Medo

Nojo

Tristeza

Vergonha

Tédio Esperança

Prazer

Felicidade

Admiração

Luxúria Difíceis de

diferenciar só

pela excitação


PROJETO EM PRODUÇÃO


Medindo a diversão


Conclusão


Proposta

De imagens da face

Apoio ao Game Design

sem integração com

jogos

Diversão

Emoções Prototípicas

Gradiente de Proximidade

Número de Piscadas

foco nos aspectos atentivo

e emocional da diversão


Imagens digitais

Birthday ball pool (The Richardson Fosters, 2010). Reproduzida sob licença Creative Commons CC BY 2.0 a partir de https://flic.kr/p/7Cit8p

https://creativecommons.org/licenses/by/2.0/




https://flic.kr/p/7Cit8p


Representação

Matrizes bidimensionais

1 ou mais “bandas” (ex.: RGB)

diferentes escalas para intensidade luminosa (pixels)

Exemplo (1 banda, escala de 1 a 4):


Amostragem

Photo of fence and sign. Reproduzidas de Wikimedia Commons sob

licença GPL versão 1.2 (http://en.wikipedia.org/wiki/Image:Neighborhood_watch_color.jpg)

http://en.wikipedia.org/wiki/Image:Neighborhood_watch_color.jpg

http://en.wikipedia.org/wiki/Image:Neighborhood_watch_color.jpg


Processamento

Comumente realizado por convolução

total de sobreposição de duas funções conforme uma é

“movida” sobre a outra

Imagens reproduzidas para uso exclusivamente educacional conforme regras do site MathWorld. Fonte original: Weisstein, Eric W.

"Convolution." From MathWorld - A Wolfram Web Resource. http://mathworld.wolfram.com/Convolution.html

http://mathworld.wolfram.com/Convolution.html


Mais simples do que parece

Translação de uma “máscara” de pesos (kernel)

somatória ponderada, aplicada ao pixel central

conforme a máscara é movida pela imagem

Simula a convolução entre duas funções

bidimensionais

imagem vs kernel


Exemplo: filtro média

𝐺 =

19

19

19

19

19

19

19

19

19

kernel imagem

𝐹 =


Exemplo: filtro média

3 3 3 3 1 1 1 1 1

3 3 3 3 3 1 1 4 4

1 1 1 1 3 3 1 1 1

2 2 2 2 1 2 3 1 3

3 3 3 3 2 1 2 3 2

1 3 1 1 3 2 3 2 3

1 1 4

4 1 1

3 3 3

2 2 2

1 1 1

2 2 2

1,3 1,8 1,8 1,6 1,1


Exemplo de aplicação

Figuras de exemplo do filtro linear de suavização (© Rodrigo de Freitas Santos, 2016). Reproduzidas sob licença Creative Commons CC BY

SA 4.0 a partir de https://pt.wikipedia.org/wiki/Filtro_linear_de_suavização

https://creativecommons.org/licenses/by-sa/4.0/






https://pt.wikipedia.org/wiki/Filtro_linear_de_suavização

https://pt.wikipedia.org/wiki/Filtro_linear_de_suavização


Outro exemplo: gradiente

𝐺𝑥 =−1 0 +1−1 0 +1−1 0 +1

𝐺𝑦 =−1 −1 −10 0 0+1 +1 +1

𝐺 = 𝐺𝑥2 + 𝐺𝑦

2

Figuras de exemplo do filtro Prewitt (© Simpsons, 2008). Reproduzidas sob licença Creative Commons CC BY SA 3.0 a partir de

https://en.wikipedia.org/wiki/Sobel_operator






https://en.wikipedia.org/wiki/Sobel_operator


Arquitetura do sistema

Rastreador facial

Rastreador de olhar

Monitor de emoções

Monitor de imersão

Classificador de diversão


Rastreador facial

CSIRO Face Analysis SDK

API de rastreamento de 66 marcas faciais

ajuste de modelo deformável

Imagem de um dos primeiros modelos deformáveis traduzida da apresentação Object Recognition with Deformable Models de Pedro F.

Felzenszwalb: http://cs.brown.edu/~pff/talks/deformable.pdf

http://cs.brown.edu/~pff/talks/deformable.pdf


Monitor de imersão

Máquina de Vetores de Suporte (SVM)

treinada com num. piscadas e gradiente de proximidade

Número de piscadas

comparação da região dos olhos entre os quadros

Gradiente de proximidade

variações na escala do modelo facial


Monitor de emoções


treinada com imagens rotuladas de um banco público

Características extraídas com filtros Gabor

bom descritor de textura

similar ao funcionamento do córtex visual humano


Banco de imagens faciais

CK+: 593 imagens de 123 indivíduos

18-50 anos, 69% mulheres

68 marcas faciais

rótulos emocionais validados

Imagens do banco de imagens faciais Cohn-Kanade (referência no final dos slides). Reproduzidas com autorização dos participantes.


Kernel do filtro Gabor


Parâmetros dos kernels

Parâmetro Lista de Valores

𝜽 𝟎 𝝅

𝟖 𝟐

𝝅

𝟖 𝟑

𝝅

𝟖 𝟒

𝝅

𝟖 𝟓

𝝅

𝟖 𝟔

𝝅

𝟖 𝟕

𝝅

𝟖

𝜸 𝟑 𝟔 𝟗 𝟏𝟐


Classificador de diversão


treinada com respostas à questionários e vídeos

capturados em experimento de coleta

Experimento de coleta

jogos livres/gratuitos com diferentes gêneros

horror, puzzle, plataforma e estratégia em tempo real

sob análise do conselho de ética


CONCLUSÃO


Medindo a diversão


Conclusão


Visão geral

Experiências divertidas não podem ser garantidas

heurísticas procuram maximizar as chances de sucesso

Avaliação é fundamental para o game design

permite verificar ambos os aspectos utilitário e hedônico

Análise de expressões faciais parece promissora

inclui os aspectos atentivo e emocional da diversão

mínimas dificuldades com oclusão no domínio de jogos


Resultados preliminares

Emoções mais

fáceis de detectar

medo (96%)

desprezo (94%)

Emoção mais difícil

de detectar

surpresa (68%)


Dificuldades esperadas

Expressões posadas vs não-posadas

expressões naturais são mais sutis

Valência das emoções

variância no papel das emoções positivas/negativas

Dinâmica temporal das expressões

medição acurada pode depender de considerações

históricas numa sessão de jogo


Créditos (ícones)

Ícones das emoções

• www.fatcow.com/free-icons

Demais ícones • iconmonstr.com

Os ícones de FatCow são publicados sob licença Creative Commons Attribution 3.0 (https://creativecommons.org/licenses/by/3.0/br/). Os

ícones de iconmonstr são publicados sob licença própria para uso livre (http://iconmonstr.com/license/).

https://creativecommons.org/licenses/by/3.0/br/

https://creativecommons.org/licenses/by/3.0/br/

http://iconmonstr.com/license/

http://iconmonstr.com/license/


Algumas referências

P. Ekman e W. V. Friesen, Constants across cultures in the face and emotion, Journal of

Personality and Social Psychology, 17(2), 1971.

T. Kanade, J. F. Cohn e Y. Tian, Comprehensive Database for Facial Expression Analysis,

IEEE Computer Society, 2000.

N. Lazzaro, The 4 Keys to Fun, XEODesign, 2004. Disponível em:

http://www.nicolelazzaro.com/the4-keys-to-fun/

D. A. Norman, Emotional Design: Why We Love (or Hate) Everyday Things, Basic Books, 1ª

edição, 2005.

K. R. Scherer, What are emotions? And how can they be measured? Social Science

Information, 44(4), 2005.

M. Csikszentmihalyi, Flow: The Psychology of Optimal Experience, Harper Perennial Modern

Classics, 1ª edição, 2008.

T. Fullerton, Game Design Workshop: A Playcentric Approach to Creating Innovative Games,

CRC Press, 2008.

F. Groh, Gamification: State of the Art Definition and Utilization, Institute of Media Informatics

Ulm University, 2012.

M. Cox et al., CSIRO Face Analysis SDK, AFGR 2013. Disponível em: http://face.ci2cv.net/









http://face.ci2cv.net/


Para saber mais

Luiz C. Vieira e Flávio S. Corrêa da Silva, Understanding Fun, Videojogos 2014, Barcelos,

Portugal, 2014. Disponível em:

http://web.ipca.pt/videojogos/Papers/videojogos2014_submission_30.pdf

Luiz C. Vieira e Flávio S. Corrêa da Silva, Assessment of Fun in Interactive Systems: a Survey,

10th International Brazilian Meeting on Cognitive Science, São Paulo, Brasil, 2015.

(Futuramente disponível em: http://www.lsi.usp.br/ebicc-2015/)

Luiz C. Vieira e Flávio S. Corrêa da Silva, Assessment of Fun from the Analysis of Facial

Expressions to Support Video Game Design, Convention of the Society for the Study of Artificial

Intelligence and Simulation of Behaviour, Sheffield, England, 2016. (Futuramente disponível

em: http://www.sheffieldrobotics.ac.uk/conferences/aisb-2016/)



http://www.lsi.usp.br/ebicc-2015/




http://www.sheffieldrobotics.ac.uk/conferences/aisb-2016/





Apresentação

Esta apresentação está

licenciada com uma

Licença Creative Commons -

Atribuição-CompartilhaIgual 4.0

Internacional.

Os diagramas incluídos

nesta apresentação foram

criados com base na

literatura referenciada. Todos

os direitos do conteúdo

original pertencem aos seus

autores.

http://creativecommons.org/licenses/by-sa/4.0/











tdc2016sp - medição de diversão a partir da face no apoio ao game design

Education