Globalcode – Open4education
Games – Medição de Diversão a Partir
da Face no Apoio ao Game Design
Luiz Carlos Vieira
Doutorando em Ciência da Computação
Laboratório de Interatividade e Tecnologia em Entretenimento Digital
Universidade de São Paulo
http://www.ime.usp.br/~lidet
Globalcode – Open4education
Agenda
2.
Entendendo a diversão
3.
Medindo a diversão
1.
Motivação
4.
Projeto em produção
5.
Conclusão
Globalcode – Open4education
MOTIVAÇÃO
Motivação Entendendo a diversão
Medindo a diversão
Projeto em produção
Conclusão
Globalcode – Open4education
Jogos: interesse antigo
Rainha Nefertari jogando Senet. Pintura da tumba da Rainha Nefertari do Egito (1295–1255 BC). Imagem de domínio público, reproduzida de
Wikimedia Commons (https://commons.wikimedia.org/wiki/File:Maler_der_Grabkammer_der_Nefertari_003.jpg?uselang=pt)
Globalcode – Open4education
Diversão: interesse natural
Ligada a recompensas cognitivas e emocionais
Motivador natural
para jogar
para agir
para escolher
Globalcode – Open4education
Diversão é assunto difícil
Difícil de definir precisamente
assunto subjetivo que envolve emoções
Difícil de garantir com o design
dependente do(s) participante(s)
dependente do contexto da atividade
Globalcode – Open4education
Dificuldades do playtesting
Observação
• Observador se torna parte do fenômeno observado
• Reconhecimento de estar sendo observado influencia participante
Questionários
• Interrupções atrapalham a experiência
• Coletas criam expectativas ou não capturam nuances importantes
Dados utilitários
• Desafios não são o único aspecto da diversão
• Baixo desempenho não significa ausência de divertimento
Dados biométricos
• Sensores corporais podem causar desconforto
• Configuração do ambiente de teste é mais difícil e cara
Globalcode – Open4education
Por que usar a face?
Importante meio de comunicação humana
• comunicação expressiva
• foco de atenção
• emoções prototípicas
Acessível em dispositivos habilitados para jogos
• câmeras frontais
• alta resolução e baixa oclusão
• bem menos intrusivo
Globalcode – Open4education
ENTENDENDO A DIVERSÃO
Motivação Entendendo a diversão
Medindo a diversão
Projeto em produção
Conclusão
Globalcode – Open4education
Diversão requer interação
Mecanismo de influência
mútua
Envolve percepções e
atuações no “mundo”
Importante para a
subsistência
Propriedades Relacionais da Interação
Com objetos • Pistas físicas/cognitivas
(affordances)
• Modelos conceituais
• Restrições físicas/lógicas
• Convenções socioculturais
Entre humanos • Ambiente compartilhado
• Interferência social
• Comunicação verbal e não-verbal
• Comportamentos de grupo
Globalcode – Open4education
Consciência
Diversão requer atenção
A capacidade de
atenção é limitada
126 bits/segundo
(3 conversações
simultâneas)
Da
do
s S
en
so
ria
is
Dados Relevantes
(organizados por intenções)
Foco da
Atenção
...
Globalcode – Open4education
Diversão inclui desafios
Nível da Habilidade Alta Baixa
Nív
el
do
De
sa
fio
Baixo
Alto
Aflição
Fluxo
Excitação
Controle
Relaxamento
Tédio
Apatia
Ansiedade
Objetivos claros
Desafios factíveis, porém difíceis
Capacidade de concentração total
Absorção da atenção
Percepção reduzida do tempo/ “eu”
Reforço do “eu” (após a atividade)
Feedback de ações e senso de controle
Globalcode – Open4education
Há outros aspectos
Desafio
oportunidades para a ação e
desenvolvimento
Curiosidade
ambiente apropriadamente
informativo
Fantasia
imagens mentais e experiência Aprendizado
Fantasia
Curiosidade
Desafio
Globalcode – Open4education
Diversão requer imersão
Engajamento
Absorção
Imersão Total
(Presença)
Engajamento (Engagement)
interesse inicial (curiosidade é
imediatamente relevante)
Absorção (Engrossment)
continuidade do interesse
(fantasia e desafio se tornam
mais relevantes)
Imersão Total (Total
Immersion/Presence)
experiência ótima (Fluxo)
Mic
rofl
uxo
s
Flu
xo
Globalcode – Open4education
Envolvimento vs interação
Jogos (Sérios) Design Gamificado
Brinquedos Design Ludificado
Parte Todo
Jogar
Brincar
História (“sem” interação)
Brinquedo (sem objetivo)
Puzzle (com objetivo)
Jogo (com vitória)
Globalcode – Open4education
Emoções são complementares à razão
“marcam” escolhas passadas como mais/menos relevantes
Diversão requer emoções
Sensorial Motor
Comportamental
Reflexivo
Visceral
percepções ações
fluxo de dados/inibições controle
Globalcode – Open4education
Aspectos emocionais
• Excitação
• Expressão
• Naches/Kvell
• Schadenfreude
• Surpresa
• Deslumbramento
• Fiero
• Frustração
Hard Fun
Easy Fun
Serious Fun
People Fun
Alegria
Tristeza
Medo
Nojo
Raiva
Surpresa
Emoções Prototípicas Emoções Prazerosas
Fiero (Italiano): Triunfo pessoal sobre adversário/adversidade; Naches/Kvell (Ídiche): prazer ou orgulho em ver um filho/aluno obter sucesso;
Schedenfreude (Alemão): satisfação no infortúnio alheio.
Globalcode – Open4education
MEDINDO A DIVERSÃO
Motivação Entendendo a diversão
Medindo a diversão
Projeto em produção
Conclusão
Globalcode – Open4education
Medição da atenção
Tradicionalmente feita com testes de desempenho
tempo de reação, núm. omissões, mudança de foco, etc
O corpo é um importante canal de atenção
expressões faciais, diâmetro pupilar, taxa de piscadas e
direção do olhar
aproximação/afastamento do objeto de interesse
Globalcode – Open4education
Medição do fluxo
Tradicionalmente feita com questionários
Automatização envolve métricas de desempenho
dano, acertos, omissões, munição, etc
muito utilizado para DDA (Dynamic Difficulty Adjustment)
Globalcode – Open4education
Medição da imersão
Tradicionalmente feita com questionários
Literatura não diferencia imersão de atenção
também mensurável de expressões faciais e do olhar
pouca/nenhuma associação ao comportamento corporal
Globalcode – Open4education
Medição das emoções
Tradicionalmente feita com questionários
medição totalmente acurada é improvável
Respostas psicofisiológicas excitação
altamente inconsistentes com emoções prototípicas
Expressões corporais excitação ou valência
voz: correlação com excitação
face: correlação com valência e emoções prototípicas
corpo como um todo: tem recebido pouca atenção
Globalcode – Open4education
Alguns exemplos
Negativa Positiva
Ativo/Excitado
Passivo/Calmo
Valência E
xcit
ação
Raiva Medo
Nojo
Tristeza
Vergonha
Tédio Esperança
Prazer
Felicidade
Admiração
Luxúria Difíceis de
diferenciar só
pela excitação
Globalcode – Open4education
PROJETO EM PRODUÇÃO
Motivação Entendendo a diversão
Medindo a diversão
Projeto em produção
Conclusão
Globalcode – Open4education
Proposta
De imagens da face
Apoio ao Game Design
sem integração com
jogos
Diversão
Emoções Prototípicas
Gradiente de Proximidade
Número de Piscadas
foco nos aspectos atentivo
e emocional da diversão
Globalcode – Open4education
Imagens digitais
Birthday ball pool (The Richardson Fosters, 2010). Reproduzida sob licença Creative Commons CC BY 2.0 a partir de https://flic.kr/p/7Cit8p
Globalcode – Open4education
Representação
Matrizes bidimensionais
1 ou mais “bandas” (ex.: RGB)
diferentes escalas para intensidade luminosa (pixels)
Exemplo (1 banda, escala de 1 a 4):
Globalcode – Open4education
Amostragem
Photo of fence and sign. Reproduzidas de Wikimedia Commons sob
licença GPL versão 1.2 (http://en.wikipedia.org/wiki/Image:Neighborhood_watch_color.jpg)
Globalcode – Open4education
Processamento
Comumente realizado por convolução
total de sobreposição de duas funções conforme uma é
“movida” sobre a outra
Imagens reproduzidas para uso exclusivamente educacional conforme regras do site MathWorld. Fonte original: Weisstein, Eric W.
"Convolution." From MathWorld - A Wolfram Web Resource. http://mathworld.wolfram.com/Convolution.html
Globalcode – Open4education
Mais simples do que parece
Translação de uma “máscara” de pesos (kernel)
somatória ponderada, aplicada ao pixel central
conforme a máscara é movida pela imagem
Simula a convolução entre duas funções
bidimensionais
imagem vs kernel
Globalcode – Open4education
Exemplo: filtro média
3 3 3 3 1 1 1 1 1
3 3 3 3 3 1 1 4 4
1 1 1 1 3 3 1 1 1
2 2 2 2 1 2 3 1 3
3 3 3 3 2 1 2 3 2
1 3 1 1 3 2 3 2 3
1 1 4
4 1 1
3 3 3
2 2 2
1 1 1
2 2 2
1,3 1,8 1,8 1,6 1,1
Globalcode – Open4education
Exemplo de aplicação
Figuras de exemplo do filtro linear de suavização (© Rodrigo de Freitas Santos, 2016). Reproduzidas sob licença Creative Commons CC BY
SA 4.0 a partir de https://pt.wikipedia.org/wiki/Filtro_linear_de_suavização
Globalcode – Open4education
Outro exemplo: gradiente
𝐺𝑥 =−1 0 +1−1 0 +1−1 0 +1
𝐺𝑦 =−1 −1 −10 0 0+1 +1 +1
𝐺 = 𝐺𝑥2 + 𝐺𝑦
2
Figuras de exemplo do filtro Prewitt (© Simpsons, 2008). Reproduzidas sob licença Creative Commons CC BY SA 3.0 a partir de
https://en.wikipedia.org/wiki/Sobel_operator
Globalcode – Open4education
Arquitetura do sistema
Rastreador facial
Rastreador de olhar
Monitor de emoções
Monitor de imersão
Classificador de diversão
Globalcode – Open4education
Rastreador facial
CSIRO Face Analysis SDK
API de rastreamento de 66 marcas faciais
ajuste de modelo deformável
Imagem de um dos primeiros modelos deformáveis traduzida da apresentação Object Recognition with Deformable Models de Pedro F.
Felzenszwalb: http://cs.brown.edu/~pff/talks/deformable.pdf
Globalcode – Open4education
Monitor de imersão
Máquina de Vetores de Suporte (SVM)
treinada com num. piscadas e gradiente de proximidade
Número de piscadas
comparação da região dos olhos entre os quadros
Gradiente de proximidade
variações na escala do modelo facial
Globalcode – Open4education
Monitor de emoções
Máquina de Vetores de Suporte (SVM)
treinada com imagens rotuladas de um banco público
Características extraídas com filtros Gabor
bom descritor de textura
similar ao funcionamento do córtex visual humano
Globalcode – Open4education
Banco de imagens faciais
CK+: 593 imagens de 123 indivíduos
18-50 anos, 69% mulheres
68 marcas faciais
rótulos emocionais validados
Imagens do banco de imagens faciais Cohn-Kanade (referência no final dos slides). Reproduzidas com autorização dos participantes.
Globalcode – Open4education
Parâmetros dos kernels
Parâmetro Lista de Valores
𝜽 𝟎 𝝅
𝟖 𝟐
𝝅
𝟖 𝟑
𝝅
𝟖 𝟒
𝝅
𝟖 𝟓
𝝅
𝟖 𝟔
𝝅
𝟖 𝟕
𝝅
𝟖
𝜸 𝟑 𝟔 𝟗 𝟏𝟐
Globalcode – Open4education
Classificador de diversão
Máquina de Vetores de Suporte (SVM)
treinada com respostas à questionários e vídeos
capturados em experimento de coleta
Experimento de coleta
jogos livres/gratuitos com diferentes gêneros
horror, puzzle, plataforma e estratégia em tempo real
sob análise do conselho de ética
Globalcode – Open4education
CONCLUSÃO
Motivação Entendendo a diversão
Medindo a diversão
Projeto em produção
Conclusão
Globalcode – Open4education
Visão geral
Experiências divertidas não podem ser garantidas
heurísticas procuram maximizar as chances de sucesso
Avaliação é fundamental para o game design
permite verificar ambos os aspectos utilitário e hedônico
Análise de expressões faciais parece promissora
inclui os aspectos atentivo e emocional da diversão
mínimas dificuldades com oclusão no domínio de jogos
Globalcode – Open4education
Resultados preliminares
Emoções mais
fáceis de detectar
medo (96%)
desprezo (94%)
Emoção mais difícil
de detectar
surpresa (68%)
Globalcode – Open4education
Dificuldades esperadas
Expressões posadas vs não-posadas
expressões naturais são mais sutis
Valência das emoções
variância no papel das emoções positivas/negativas
Dinâmica temporal das expressões
medição acurada pode depender de considerações
históricas numa sessão de jogo
Globalcode – Open4education
Créditos (ícones)
Ícones das emoções
• www.fatcow.com/free-icons
Demais ícones • iconmonstr.com
Os ícones de FatCow são publicados sob licença Creative Commons Attribution 3.0 (https://creativecommons.org/licenses/by/3.0/br/). Os
ícones de iconmonstr são publicados sob licença própria para uso livre (http://iconmonstr.com/license/).
Globalcode – Open4education
Algumas referências
P. Ekman e W. V. Friesen, Constants across cultures in the face and emotion, Journal of
Personality and Social Psychology, 17(2), 1971.
T. Kanade, J. F. Cohn e Y. Tian, Comprehensive Database for Facial Expression Analysis,
IEEE Computer Society, 2000.
N. Lazzaro, The 4 Keys to Fun, XEODesign, 2004. Disponível em:
http://www.nicolelazzaro.com/the4-keys-to-fun/
D. A. Norman, Emotional Design: Why We Love (or Hate) Everyday Things, Basic Books, 1ª
edição, 2005.
K. R. Scherer, What are emotions? And how can they be measured? Social Science
Information, 44(4), 2005.
M. Csikszentmihalyi, Flow: The Psychology of Optimal Experience, Harper Perennial Modern
Classics, 1ª edição, 2008.
T. Fullerton, Game Design Workshop: A Playcentric Approach to Creating Innovative Games,
CRC Press, 2008.
F. Groh, Gamification: State of the Art Definition and Utilization, Institute of Media Informatics
Ulm University, 2012.
M. Cox et al., CSIRO Face Analysis SDK, AFGR 2013. Disponível em: http://face.ci2cv.net/
Globalcode – Open4education
Para saber mais
Luiz C. Vieira e Flávio S. Corrêa da Silva, Understanding Fun, Videojogos 2014, Barcelos,
Portugal, 2014. Disponível em:
http://web.ipca.pt/videojogos/Papers/videojogos2014_submission_30.pdf
Luiz C. Vieira e Flávio S. Corrêa da Silva, Assessment of Fun in Interactive Systems: a Survey,
10th International Brazilian Meeting on Cognitive Science, São Paulo, Brasil, 2015.
(Futuramente disponível em: http://www.lsi.usp.br/ebicc-2015/)
Luiz C. Vieira e Flávio S. Corrêa da Silva, Assessment of Fun from the Analysis of Facial
Expressions to Support Video Game Design, Convention of the Society for the Study of Artificial
Intelligence and Simulation of Behaviour, Sheffield, England, 2016. (Futuramente disponível
em: http://www.sheffieldrobotics.ac.uk/conferences/aisb-2016/)
Globalcode – Open4education
Apresentação
Esta apresentação está
licenciada com uma
Licença Creative Commons -
Atribuição-CompartilhaIgual 4.0
Internacional.
Os diagramas incluídos
nesta apresentação foram
criados com base na
literatura referenciada. Todos
os direitos do conteúdo
original pertencem aos seus
autores.