interação gestual em ambiente residencial: estudo ... · of the gestural interaction and,...
TRANSCRIPT
UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE CIÊNCIAS EXATAS E DA TERRA
DEPARTAMENTO DE INFORMÁTICA E MATEMÁTICA APLICADA PROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃO
MESTRADO EM SISTEMAS E COMPUTAÇÃO
Interação Gestual em Ambiente Residencial: Estudo, Concepção e Desenvolvimento
Ana Carla de Carvalho Correia
Natal-RN
Março de 2014
Ana Carla de Carvalho Correia
Interação Gestual em Ambiente Residencial: Estudo, Concepção e Desenvolvimento
Exame de Defesa de Mestrado apresentado ao
Programa de Pós-Graduação em Sistemas e
Computação do Departamento de Informática e
Matemática Aplicada da Universidade Federal do
Rio Grande do Norte como requisito final para a
obtenção do grau de Mestre em Sistemas e
Computação.
Linha de pesquisa:
Engenharia de Software
Orientador
Prof. Dr. Leonardo Cunha de Miranda
PROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃO (PPGSC) DEPARTAMENTO DE INFORMÁTICA E MATEMÁTICA APLICADA (DIMAP)
CENTRO DE CIÊNCIAS EXATAS E DA TERRA (CCET) UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE (UFRN)
Natal-RN
Março de 2014
Catalogação da Publicação na Fonte. UFRN / SISBI / Biblioteca Setorial
Centro de Ciências Exatas e da Terra – CCET.
Correia, Ana Carla de Carvalho.
Interação gestual em ambiente residencial: estudo, concepção e desenvolvimento
/ Ana Carla de Carvalho Correia. - Natal, 2014.
115 f.: il.
Orientador: Prof. Dr. Leonardo Cunha de Miranda.
Dissertação (Mestrado) – Universidade Federal do Rio Grande do
Norte. Centro de Ciências Exatas e da Terra. Programa de Pós-
Graduação em Sistemas e Computação.
1. Interação humano-computador – Dissertação. 2. Domótica – Dissertação. 3. Recomendações –
Dissertação. 4. Semiótica organizacional – Dissertação. 4. Formalização gestual - Dissertação. 5. Kinect -
Dissertação. I. Miranda, Leonardo Cunha de. II. Título.
RN/UF/BSE-CCET
CDU: 004.5
Dissertação de Mestrado sob o título Interação Gestual em Ambiente Residencial: Estudo, Concepção e
Desenvolvimento apresentada por Ana Carla de Carvalho Correia e aceita pelo Programa de Pós-
Graduação em Sistemas e Computação do Departamento de Informática e Matemática Aplicada
da Universidade Federal do Rio Grande do Norte, sendo aprovada por todos os membros da
banca examinadora abaixo especificada:
_____________________________________________________________
Prof. Dr. Leonardo Cunha de Miranda
Presidente
Departamento de Informática e Matemática Aplicada (DIMAp)
Universidade Federal do Rio Grande do Norte (UFRN)
_____________________________________________________________
Prof.a Dr.a Maria Cecília Calani Baranauskas
Examinadora Externa
Instituto de Computação (IC)
Universidade Estadual de Campinas (UNICAMP)
_____________________________________________________________
Prof. Dr. Jair Cavalcanti Leite
Examinador Interno
Departamento de Informática e Matemática Aplicada (DIMAp)
Universidade Federal do Rio Grande do Norte (UFRN)
Natal-RN, 24, Março de 2014
À minha Mãe
Agradecimentos
Cada pessoa consegue ensinar algo positivo para nossas vidas, algo que nos engrandece. Cabe a
nós percebemos esses detalhes tão minuciosos, que muitas vezes são expressos de formas
implícitas. Cabe a nós termos a delicadeza de perceber a essência, aquilo que faz cada pessoa ser
especial e única, e agradecer.
Assim, inicio meus agradecimentos à minha família que soube compreender e apoiar,
dispensando tempo precioso de nosso convívio para o desenvolvimento desta pesquisa.
Em especial agradeço à minha mãe, Ana Regina de Carvalho Correia, por todo o esforço,
dedicação, companheirismo e pelo seu amor incondicional. Por sempre me ouvir nas horas que
mais precisei, por todos os dias, noites e finais de semana de seu trabalho árduo para que eu
pudesse realizar o um sonho. Agradeço ao meu pai, José Correia Filho, que apesar de sua
ausência física sempre está presente em tudo que faço e por sempre lembrar que seu “amor é
maior do que tudo”. Agradeço aos meus irmãos, Ana Carolina de Carvalho Correia e Carlos
Arthur de Carvalho Correia, pelo grande apoio na minha jornada longe de casa, por suas
preocupações comigo e por sempre torcer por mim.
Agradeço ao meu companheiro, Wagner Ranter Gouveia da Silva, pelos conselhos, ao incentivo
cotidiano as minhas escolhas, acreditando sempre em meu potencial e nos momentos mais
difíceis dessa jornada me motivando a concluir com êxito esta pesquisa.
Agradeço à Universidade Federal do Rio Grande do Norte – UFRN – e ao Departamento de
Informática e Matemática Aplicada – DIMAp – pela oportunidade de cursar a pós graduação em
seu programa e ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)
pela bolsa de mestrado.
Agradeço a todos os membros do grupo Physical Artifacts of Interaction Research Group –
PAIRG – pelo acolhimento e as reuniões que puderam contribuir através das críticas e sugestões
para esta pesquisa. As trocas de conhecimento e habilidades da Juvane Nunes Marciano.
Agradeço a Érica Esteves Cunha de Miranda, ao irmão do Alison de Araújo Bento e a ele
também, ao Manoel Pedro Medeiros Neto. Agradeço também ao Paulo Leonardo Souza
Brizolara que muito me auxiliou no desenvolvimento desta pesquisa, por sua dedicação e
disponibilidade, que com sua colaboração enriqueceu esta pesquisa. Agradeço ao Alessandro Luiz
Stamatto Ferreira e a minha amiga Sarah Gomes Sakamoto, principalmente nessa reta final e
árdua do trabalho pela grande amizade, mensagens de incentivo, apoio e dedicação que sem
dúvida levarei nossa amizade para o resto da vida.
Agradeço ao meu orientador, Prof. Leonardo Cunha de Miranda, primeiramente pela
oportunidade de realizar o Mestrado, por todos os momentos bons e ruins que me fizeram
crescer e amadurecer além da vida acadêmica.
Também agradeço a professora Maria Cecília Calani Baranauskas e ao professor Jair Cavalcanti
Leite que aceitaram o convite para compor a banca desta pesquisa de Mestrado, disposição de
tempo e dedicação para avaliar e contribuir com este trabalho.
Meus sinceros agradecimentos.
“Por vezes sentimos que aquilo que
fazemos não é senão uma gota de água no
mar. Mas o mar seria menor se lhe faltasse
uma gota”
Anjezë Gonxhe Bojaxhiu
(Madre Teresa de Calcutá)
Interação Gestual em Ambiente Residencial: Estudo, Concepção e Desenvolvimento
Autora: Ana Carla de Carvalho Correia
Orientador: Prof. Dr. Leonardo Cunha de Miranda
RESUMO
O controle e automação de ambientes residenciais – domótica – é uma área emergente de
aplicação da computação. O desenvolvimento de sistemas computacionais para domótica é
complexo, devido à diversidade de potenciais usuários e por imergir em um contexto de uso de
relações emocionais e de construção familiar. Atualmente, o foco do desenvolvimento desse tipo
de sistema está direcionado, sobretudo, aos aspectos tecnológicos e físicos. Em virtude deste
fato, a interação gestual nesta pesquisa é investigada sob a ótica da área de Interação Humano-
Computador (IHC). Inicialmente, abordamos a temática através da construção de um framework
conceitual para discussão de desafios da área, de forma integrada as dimensões: pessoas, modo de
interação e domótica. Uma análise mais aprofundada do domínio é realizada empregando o
referencial teórico-metodológico da Semiótica Organizacional. Posteriormente, são definidas
recomendações para a diversidade que embasam/inspiram o design inclusivo, norteado pelas
habilidades físicas, perceptivas e cognitivas, que visam melhor representar a diversidade em
questão. Embora os desenvolvedores tenham o apoio de tecnologias de reconhecimento gestual
que auxiliam o desenvolvimento “mais rápido”, esses profissionais enfrentam outra dificuldade
em não restringir os comandos gestuais da aplicação aos gestos padrões fornecidos por
frameworks de desenvolvimento. Portanto, uma abstração da interação gestual foi idealizada por
meio de uma formalização, descrita de forma sintática através de blocos de construção que
origina uma gramática da interação gestual e, de forma semântica, abordada sob o ponto de vista
do sistema residencial. Assim, definimos um conjunto de métricas fundamentadas nas
recomendações que são descritas com informações oriundas da gramática preestabelecida e,
ainda, concebemos e implementamos em Java, sob o alicerce dessa gramática, um sistema
residencial baseada em interação gestual para uso com o Microsoft Kinect. Por fim, realizamos
experimento com potenciais usuários finais do sistema com o intuito de melhor analisar os
resultados da pesquisa.
Palavras-chave: Interação Humano-Computador, Domótica, Recomendações, Semiótica
Organizacional, Formalização Gestual, Kinect.
Gestural Interaction in Residential Environment: Study, Design and Development
Author: Ana Carla de Carvalho Correia
Advisor: Prof. Dr. Leonardo Cunha de Miranda
ABSTRACT
Control and automation of residential environments – domotics – is emerging area of computing
application. The development of computational systems for domotics is complex, due to the
diversity of potential users, and because it is immerse in a context of emotional relationships and
familiar construction. Currently, the focus of the development of this kind of system is directed,
mainly, to physical and technological aspects. Due to the fact, gestural interaction in the present
research is investigated under the view of Human-Computer Interaction (HCI). First, we
approach the subject through the construction of a conceptual framework for discussion of
challenges from the area, integrated to the dimensions: people, interaction mode and domotics. A
further analysis of the domain is accomplished using the theoretical-methodological referential of
Organizational Semiotics. After, we define recommendations to the diversity that base/inspire
the inclusive design, guided by physical, perceptual and cognitive abilities, which aim to better
represent the concerned diversity. Although developers have the support of gestural recognition
technologies that help a “faster” development, these professionals face another difficulty by not
restricting the gestural commands of the application to the standard gestures provided by
development frameworks. Therefore, an abstraction of the gestural interaction was idealized
through a formalization, described syntactically by construction blocks that originates a grammar
of the gestural interaction and, semantically, approached under the view of the residential system.
So, we define a set of metrics grounded in the recommendations that are described with
information from the preestablished grammar, and still, we conceive and implement in Java,
under the foundation of this grammar, a residential system based on gestural interaction for usage
with Microsoft Kinect. Lastly, we accomplish an experiment with potential end users of the
system, aiming to better analyze the research results
Keywords: Human-Computer Interaction, Domotics, Recommendations, Organizational
Semiotics, Gestural Formalization, Kinect.
xi
Lista de Figuras
Fig. 1 Framework of socio-technical aspects of gesture interaction ................................................... 32
Fig. 2 Partes Interessadas resultante da análise do domínio. ................................................................ 45
Fig. 3 Recommendations classified by physical, perceptual and cognitive skills. ............................. 55
Fig. 4 Gestural language structure for residential applications............................................................. 63
Fig. 5 Basic semantics structure of the residential applications ........................................................... 65
Fig. 6 Example of semantics and syntactic structures to the “open the door” service.................... 65
Fig. 7 Diagrama de Caso de Uso do Sistema Hands in Home. ........................................................... 78
Fig. 8 Protótipo de interface circular com manipulação direta via interação gestual. ...................... 79
Fig. 9 Interface utilizando o padrão de design carrossel com manipulação indireta via interação
gestual do Hands in Home ......................................................................................................................... 80
Fig. 10 Diagrama de classes da representação sintática da interação gestual. .................................... 82
Fig. 11 Representação sintática do comando gestual de passar os objetos da casa, baseada na
gramática [15]. ............................................................................................................................................... 83
Fig. 12 Ambiente utilizado na execução do experimento ..................................................................... 94
Fig. 13 Problemas na execução do clique ................................................................................................ 98
Fig. 14 Esqueleto deslocado ....................................................................................................................... 98
Fig. 15 Execução do serviço de ligar a lâmpada ..................................................................................... 99
xii
Lista de Tabelas
Tab. 1 HCI-related topics addressed by the works ................................................................................ 31
Tab. 2 Summary of gestural interaction solutions for domotic environments.................................. 42
Tab. 3 Escada Semiótica resultante da análise do domínio. ................................................................. 46
Tab. 4 Classificação dos trabalhos da literatura na Escada Semiótica. ............................................... 48
Tab. 5 Recommendations for gesture-based residential interactive systems ..................................... 53
Tab. 6 Syntactic formalization of gestural interaction ........................................................................... 64
Tab. 7 Metrics list based on the syntactic formalization ....................................................................... 66
Tab. 8 GQM Approach .............................................................................................................................. 66
Tab. 9 Síntese das tecnologias de reconhecimento gestual encontradas para controlar o Kinect . 75
Tab. 10 Roteiro de Tarefas ......................................................................................................................... 91
Tab. 11 Dados etnográficos dos participantes do experimento........................................................... 93
Tab. 12 Preferências e considerações de tecnologias de controle residencial dos participantes .... 95
Tab. 13 Desejo dos participantes em controlar objetos da casa .......................................................... 95
Tab. 14 Tempo gasto na realização de cada tarefa ................................................................................. 96
Tab. 15 Formalização sintática dos comandos gestuais de iniciar aplicação ................................... 100
xiii
Lista de Abreviaturas e Siglas
AIR Adjustable Interactive Ring
EBNF Extended Backus–Naur Form
EPG Electronic Program Guide
GQM Goals Questions Metrics
HCI Human-Computer Interaction
HMM Hidden Markov Model
iDTV interactive Digital Television
IHC Interação Humano-Computador
NUI Natural User Interface
PAM Problem Articulation Method
PTAMM Parallel Tracking and Multiple Mapping
SO Semiótica Organizacional
Sumário
Lista de Figuras ................................................................................................................ xi
Lista de Tabelas ............................................................................................................... xii
Lista de Abreviaturas e Siglas ......................................................................................... xiii
1 Introdução ................................................................................................................ 16
1.1 Contexto, Problemática e Motivação .............................................................................. 16 1.2 Objetivos .............................................................................................................................. 17 1.3 Relevância da Pesquisa ....................................................................................................... 18 1.4 Estrutura do Trabalho ....................................................................................................... 19
2 State of the Art and HCI Framework Inspired by the Diversity ............................... 23
2.1 Introduction ......................................................................................................................... 23 2.2 Domotics and gestural interaction ................................................................................... 24 2.3 State of the art of gestural interfaces for intelligent domotic ...................................... 26
2.3.1 Perceptual technologies ............................................................................................. 26 2.3.2 Non-perceptual technologies ................................................................................... 28 2.3.3 A synthesis of the main findings of the literature review .................................... 30
2.4 Socio-technical aspects of gestural interaction: framework and challenges ............. 31 2.5 Discussion ............................................................................................................................ 37 2.6 Conclusion ........................................................................................................................... 39
3 Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica ........................ 40
3.1 Introdução............................................................................................................................ 40 3.2 Interação Gestual em Aplicações Residenciais .............................................................. 41 3.3 Análise Socio-Técnica do Cenário Brasileiro ................................................................. 44 3.4 Discussão ............................................................................................................................. 49 3.5 Considerações Finais .......................................................................................................... 51
4 Recommendations for Gesture-based Residential Interactive Systems Inspired by
Diversity ........................................................................................................................... 52
4.1 Introduction ......................................................................................................................... 52 4.2 Recommendations for Diversity ...................................................................................... 53 4.3 Usage Scenarios................................................................................................................... 56 4.4 Discussion ............................................................................................................................ 57
4.5 Conclusion ........................................................................................................................... 58
5 Syntactic/Semantic Formalizations and Metrics of Residential Applications based
on Gestural Interface ....................................................................................................... 59
5.1 Introduction ......................................................................................................................... 59 5.2 Related Work ....................................................................................................................... 60 5.3 Formalizations ..................................................................................................................... 62
5.3.1 Syntactic Formalization ............................................................................................. 62 5.3.2 Semantic Formalization of the Application ........................................................... 64
5.4 Metrics .................................................................................................................................. 66 5.5 Discussion ............................................................................................................................ 68 5.6 Conclusion ........................................................................................................................... 69
6 Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 71
6.1 Introdução............................................................................................................................ 71 6.2 Aplicações Residenciais Com Interação Gestual .......................................................... 72 6.3 Hands in Home ................................................................................................................... 73
6.3.1 Decisões Tecnológicas .............................................................................................. 74 6.3.2 Decisões Funcionais do Sistema .............................................................................. 76 6.3.3 Decisões de Interface ................................................................................................ 78 6.3.4 Decisões de Interação Gestual ................................................................................. 81
6.4 Discussão e Desafios.......................................................................................................... 85 6.5 Conclusão ............................................................................................................................. 88
7 Um Cenário Experimental para Análise dos Comandos Gestuais ............................ 89
7.1 Introdução............................................................................................................................ 89 7.2 Cenário de Pesquisa e Metodologia ................................................................................. 90
7.2.1 Execução do Experimento ....................................................................................... 93 7.3 Resultados sobre a Interação Gestual ............................................................................. 95
7.3.1 Resultados Quantitativos .......................................................................................... 95 7.3.2 Resultados Qualitativos ............................................................................................. 96
7.4 Análise dos comandos gestuais ...................................................................................... 100 7.5 Discussão ........................................................................................................................... 102 7.6 Conclusão ........................................................................................................................... 103
8 Considerações Finais .............................................................................................. 105
8.1 Trabalho Realizado ........................................................................................................... 105 8.2 Meta reflexão ..................................................................................................................... 106 8.3 Resultados .......................................................................................................................... 107 8.4 Perspectivas e Trabalhos Futuros .................................................................................. 108
Referências Bibliográficas .............................................................................................. 110
Apêndice A Copyright dos Artigos Publicados .......................................................... 115
Capítulo 1
1 Introdução
Desde a década de 80 a utilização da interação gestual é apresentada na literatura. Com os
avanços tecnológicos impulsionados principalmente pela área de jogos, fez com que a interação
gestual se expandisse além da utilização frente a televisores, para o restante da casa como um
todo. Juntamente com a busca pelo conforto, segurança e monitoramento da saúde dos
usuários/moradores fez emergir o desenvolvimento de aplicações residenciais com interação
gestual.
No entanto, o desenvolvimento de aplicações para o contexto residencial não é trivial,
por referenciar um ambiente íntimo que envolve várias pessoas com comportamentos diferentes
e com níveis distintos de tolerância com relação aos efeitos do uso das tecnologias.
1.1 Contexto, Problemática e Motivação
O desenvolvimento de interações mais naturais para as aplicações residenciais é marcado pela
diversidade de pessoas que usufruem deste espaço como um local de relações emocionais e
significativas entre as pessoas e o lar. Visto essa particularidade do contexto residencial, uma das
formas de interação que começou a ser explorada neste domínio é a utilização de interfaces
gestuais, por ser um tipo de comunicação naturalmente já utilizado pelos moradores/usuários.
Todavia, a utilização da interação gestual em aplicações residenciais por si só já é um
desafio. Principalmente quando são levados em conta aspectos da área de IHC para melhor
compreender como diversos usuários podem interagir gestualmente com a aplicação residencial.
Este problema é evidenciado principalmente pelo desenvolvimento focado, sobretudo, em
aspectos tecnológicos e físicos na construção de suas aplicações. No entanto, o domínio que
Introdução 17
envolve o ambiente residencial merece e necessita de preocupações mais “humanizadas”
relacionadas com a maneira de interagir.
Embora, haja tecnologias que auxiliam o reconhecimento gestual para essas aplicações sua
utilização também restringe os comandos gestuais da aplicação, não extrapolando os gestos
padrões fornecidos por essas tecnologias, além da falta de uma abstração dos comandos gestuais
da aplicação. Assim sendo, a abstração dos comandos gestuais é vista como necessidade para
melhor analisar e desenvolver aplicações gestuais.
1.2 Objetivos
Em vista da necessidade de estudos sobre a interação gestual no contexto residencial, temos
como objetivo principal:
Propor uma formalização da linguagem gestual utilizada para interação das aplicações
residenciais embasada pelo desenvolvimento centrado nos aspectos humanos necessários
a este contexto.
Para efetivamente alcançarmos este objetivo, é necessário realizar estudos para identificar
as limitações atuais, sob a perspectiva de IHC, das interfaces gestuais para o contexto de
domótica. O objetivo principal deste trabalho pode ser detalhado através dos objetivos
específicos:
Identificar as limitações atuais das aplicações residenciais e estruturar os desafios
sob a ótica de IHC;
Investigar o cenário de desenvolvimento de aplicações residenciais;
Identificar características para um desenvolvimento mais “humanizado” dos
comandos gestuais utilizados nas aplicações residenciais;
Caracterizar os movimentos gestuais sob uma estrutura formal de construção
sistemática de comandos gestuais para as aplicações residenciais;
Identificar métricas quantitativas baseadas na estrutura formal da interação gestual
Projetar uma aplicação residencial baseada na estrutura formal da interação gestual
Implementar uma aplicação residencial
Analisar a interação gestual através de um experimento
Introdução 18
1.3 Relevância da Pesquisa
Aplicações para o controle e automação de ambientes residenciais – domótica – é uma área de
estudo emergente da área de IHC. Fazendo parte deste contexto, a relevância desta pesquisa
contempla, em nossa visão, duas vertentes:
Comunidade acadêmica de IHC – Esta pesquisa mostra-se relevante para a
comunidade acadêmica de IHC por apontar desafios da área, sendo esses
caracterizados por meio de uma visão socio-técnica que permite uma visão mais
ampla da utilização da interação gestual nas aplicações. Esta pesquisa é relevante
também para o contexto brasileiro por almejar uma apresentação de seu cenário
acadêmico atuante e por estruturar e embasar, também pela visão socio-técnica, a
identificação de requisitos para as aplicações residenciais. A formalização de uma
nova linguagem gestual é relevante academicamente por necessitar de estudos que
auxiliem na incorporação de aspectos importantes de IHC a interação gestual, além
da própria formalização da linguagem, que permitirá um melhor estudo futuro da
interação gestual e no auxílio de novas métricas relacionadas à interação juntamente
a análise da concepção da interação através do experimento realizado;
Comunidade profissional de IHC – Para a comunidade profissional de IHC
relataremos as tecnologias de reconhecimento gestual disponível no mercado, às
empresas brasileiras atuantes na área, bem como também enfatizamos a
necessidade de desenvolver essas aplicações extrapolando a visão tecnológica
constantemente adotada a essas aplicações. Para tornar factível esta visão
apresentaremos recomendações para uma aplicação residencial com interação
gestual mais “humanizada”. A utilização da formalização de uma nova linguagem
gestual junto a métricas embasadas na biomecânica dos usuários torna-se
importante também para a comunidade profissional por sistematizar a construção
de vocabulários gestuais que considerem, efetivamente, aspectos da área de IHC.
Diante da proximidade de utilização efetiva dessa formalização, acreditamos que a
comunidade profissional poderá usufruir do desenvolvimento acadêmico adotado
para também expandir a formalização com as tendências e inovações do mercado.
Introdução 19
1.4 Estrutura do Trabalho
Essa dissertação de mestrado é composta por artigos desenvolvidos ao longo desta pesquisa.
Esses artigos são apresentados como capítulos nas suas versões revisadas e no idioma em que
originalmente foram produzidos.
Cada artigo/capítulo compõe uma etapa de desenvolvimento desta dissertação. Assim,
para uma melhor compreensão do trabalho relatamos brevemente o conteúdo de cada capítulo
que será apresentado juntamente com as motivações e decisões que levaram ao prosseguimento
das demais etapas.
Capítulo 2 - State of the Art and HCI Framework Inspired by the Diversity:
Visa esclarecer as terminologias utilizadas na literatura para referenciar as aplicações
voltadas para o contexto residencial. Este capítulo foca principalmente na
apresentação de um gama de aplicações que utilizam a interação gestual para interagir
com o ambiente residencial, ou seja, apresentamos o estado da arte do tema. Para
melhor apresentação dessas aplicações, categorizamos as soluções conforme a
tecnologia utilizada, sendo elas perceptual ou não-perceptual [34]. Através da análise
do estado da arte percebemos a necessidade de abordarmos cada desafio identificado
sob uma visão que considere também o modo de interação utilizado nas aplicações,
características humanas e do domínio o qual se aplica. Considerando essa necessidade
elaboramos um framework que estabelece uma análise de cada item em consonância às
suas três dimensões: pessoas, modo de interação e o contexto. Através dessa estrutura
triádica instanciamos o framework com os itens identificados na análise do estado da
arte, resultando em discussões não convencionais de acessibilidade, usabilidade,
personalização, antropologia, ambiguidade e privacidade. Posteriormente abrimos
uma discussão do framework junto às soluções utilizadas no estado da arte;
Tomadas de decisões: Os resultados desse capítulo fornecem uma base extensa de
trabalhos que propõem soluções de aplicações residenciais com interação gestual
como também trabalha reflexões que se enquadram no campo da IHC. Naturalmente
questionamentos sobre o tema surgem e nos direcionam a próxima etapa da pesquisa.
Assim, sentimos a necessidade de focar o estudo do Design da Interação in loco no
contexto de uso do público-alvo com o intuito de identificar características referentes
a interação gestual devem ser idealizadas no desenvolvimento de aplicações
residenciais que se embasam na diversidade do público.
Capítulo 3 - Interação Gestual em Aplicações Residenciais: Análise Socio-
Técnica do Cenário Brasileiro baseada na Semiótica: Utilizamos a Semiótica
Introdução 20
Organizacional para melhor analisar o domínio de interação gestual em aplicações
residenciais no Brasil. Destacamos neste capítulo a análise da interação gestual
realizada sob a ótica socio-técnica utilizando os artefatos Partes Interessadas e Escada
Semiótica, que clarificam melhor as preocupações do desenvolvimento de aplicações
implantadas nos lares dos usuários. Revelando por vez um conjunto de oportunidades
e desafios em relação às interfaces gestuais para esse contexto de uso tão complexo
que é o ambiente familiar de uma residência;
Capítulo 4 - Recommendations for Gesture-based Residential Interactive
Systems Inspired by Diversity: Como a interação gestual está se tornando um
importante modo de interação com sistemas residenciais, seja com ou sem o uso de
artefatos físicos, tais como controles remotos ou telefones celulares, ao construir
respectivos vocabulários gestuais implicações sociais precisam ser consideradas. A
importância do ambiente residencial para os utilizadores e a sua heterogeneidade de
perfis fazem do tema “diversidade” uma preocupação importante para o
desenvolvimento dessas aplicações. Portanto, o principal objetivo deste capítulo é
descrever recomendações para a diversidade que suportam o design inclusivo de
sistemas interativos residenciais baseados em gestos;
Tomadas de decisões: Embora um dos resultados desse capítulo seja as
recomendações – características interessantes que contemplam aspectos físicos,
cognitivos e perceptivos da interação gestual para um desenvolvimento mais efetivo
da interação gestual –, sentimos a necessidade de elaborar uma abstração maior da
interação que possa auxiliar desenvolvedores. Assim, a próxima etapa da pesquisa é
direcionada pelos questionamentos: Como podemos abstrair a interação gestual em
consonância as recomendações já identificadas? E como mensurar a interação gestual?
Capítulo 5 - Syntactic/Semantic Formalizations and Metrics of Residential
Applications based on Gestural Interface: O desenvolvimento de aplicações
residenciais com interação gestual concentra-se muitas vezes apenas nos aspectos
tecnológicos e físicos da construção de suas aplicações. O uso de tecnologias que
suportam reconhecimento gestual pode restringir os comandos gestuais de um
aplicativo. Argumentamos neste capítulo que uma abstração da interação gestual é
necessária para uma abordagem mais abrangente da interação. Em uma tentativa de
reduzir os problemas relacionados com a interação gestual, neste capítulo,
formalizamos interação gestual de forma sintática e semântica. A formalização
sintática utiliza blocos de construção que produzem uma gramática do tipo Extended
Backus–Naur Form (EBNF). A informação semântica é descrita pelo ponto de vista
da aplicação residencial, junto com suas ações ou serviços oferecidos na aplicação.
Introdução 21
Além disso, analisamos as relações e combinações da formalização sintática da
interação na geração de um conjunto de métricas para avaliar qualidades de interação
que são baseados em recomendações para sistemas residenciais, em que toda a
descrição vem da formalização sintática pré-estabelecida;
Tomadas de decisões: Os resultados dessa etapa da pesquisa instiga o
desenvolvimento de uma solução de aplicação residencial com interação gestual
baseada no resultado de formalização deste capítulo. Assim, iremos ter resultados para
discutirmos os pós e contras da utilização da formalização no processo de
desenvolvimento de uma aplicação gestual, visando à funcionalidade de
personalização que irão auxiliar os usuários em suas diversas preferências e que
podem ser orientado pelos indicadores deste estudo.
Capítulo 6 - Design and Implementation of a Gesture-based Residential
System: Visa apresentar o design e desenvolvimento do sistema residencial – Hands
in Home – baseado em interação gestual, descrevendo as decisões de projeto
realizadas sobre quatro aspectos, i.e. tecnologia, funcionalidades, interface e interação.
Apresentando as reflexões, dificuldades, problemas, soluções e lições aprendidas com
o desenvolvimento deste sistema;
Tomadas de decisões: Com base nestes resultados, trabalhos futuros poderão ser
realizados para melhor compreender a concepção dos usuários sobre a interação
gestual, buscando solucionar alguns dos desafios apresentados.
Capítulo 7 - Um Cenário Experimental para Análise dos Comandos Gestuais:
Visa analisar a interação dos usuários a partir de um experimento conduzido por
tarefas realizado com a aplicação Hands in Home. Neste capítulo é relatada toda a
etapa de elaboração do experimento que consistiu em quatro etapas: questionário pré-
experimento, execução do experimento, questionário pós-experimento e entrevista.
Os resultados quantitativos e qualitativos extraídos do experimento e formalização
sintática dos comandos gestuais criados pelos participantes. Em um discussão
também apresentamos desafios e fatos interessantes sobre a interação gestual para o
controle de aplicações residenciais.
Capítulo 8 - Considerações finais: Este capítulo relata as contribuições esperadas,
até a versão final deste trabalho, junto aos resultados da pesquisa. São esboçadas
também as atividades norteadoras para a obtenção do nosso objetivo principal, ou
seja, a formalização de uma nova linguagem gestual para as aplicações residenciais, em
forma de um cronograma.
Introdução 22
Chapter 2
2 State of the Art and HCI Framework
Inspired by the Diversity1
2.1 Introduction
Home automation technology has emerged with the aim to facilitate activities in the household or
at home, and to provide a more comfortable life for residents. Example tasks include
programming the TV set, opening/closing window blinds, or controlling a home entertainment
system. However, there are no user interface standards for these devices, often resulting in
greater complexity of use. The same technology that simplifies life by enabling a greater number
of features in a single device can also complicate our daily lives, making it more difficult to learn
and use this technology. For example, changing the sound volume with some controls is done by
up/down buttons, with others by left/right buttons.
This is the paradox of technology, and the challenge of the area of Human-Computer
Interaction (HCI) is to minimize these effects via interfaces that are better suited to the growing
diversity of users with access to digital technology. Intelligent domotics can offer many benefits
to the residents of a house in order to decrease the complexity of using technology for this
purpose, providing greater autonomy, comfort and safety. However, the field of residential
applications poses some challenges to designers, since this usage context refers to an intimate
setting that involves multiple people with different behaviors and different levels of tolerance
regarding the effects of technology. Thus, further HCI-related studies are required in order to
understand the effects of home automation and promote its benefits, considering socio-technical
1 . This is the revised version of the article published in INTERACT 2013, (http://www.interact2013.org/): Correia, A.C.C.,
Miranda, L.C., Hornung, H.H.: Gesture-based Interaction in Domotic Environments: State of the Art and HCI Framework
Inspired by the Diversity. In: 14th IFIP TC 13 International Conference on Human-Computer Interaction, pp. 300–317.
Springer (2013) [17].
State of the Art and HCI Framework Inspired by the Diversity 24
aspects and the diversity of people regarding culture, gender, social backgrounds, psychological
states, physical capabilities, etc.
As a result of making technology available to everyone and integrating multiple device
types, challenges arise related to the forms and modes how people interact with these systems.
Because of these challenges and advances in hardware and software, the use of gestural
interaction has been explored in literature as a viable alternative. Domotics frequently provides
solutions for elderly and people with special needs. Without intending to enter the discussion
whether these solutions really empower these groups of people [5], we understand that any user,
regardless of capabilities or preferences is also a potential user of home automation interfaces,
including interfaces with more natural interaction based on gestures.
Literature in domotics frequently studies the development of applications which control
lighting, temperature or television in the home, often focusing on technological aspects of gesture
recognition. There are few works in HCI dedicated to the theme of human aspects of this form
of interaction, e.g. [67]. Thus, studies are required to identify limitations of gestural interfaces for
the domotic context. This work presents the state of the art of gestural interaction in domotics.
Additionally, we devised a framework for identifying and discussing topics and challenges for
research and development of solutions, considering socio-technical aspects.
The chapter is organized as follow: Section 2.2 contextualizes domotics and gestural
interaction; Section 2.3 presents the state of the art of gestural interfaces for residential
environments; Section 2.4 presents a triadic framework of multimodal interaction and identifies
challenges of gestural interaction in domotics; Section 2.5 discusses these challenges on the optic
of HCI; Section 2.6 concludes the chapter.
2.2 Domotics and gestural interaction
The words “home” and “house” are often used interchangeably in literature. In 1985, Dovey [20]
discussed the differences of these two concepts. His conception of the subject resonates well
with HCI-related perspectives on domotic environments, such as those of Saizmaa and Kim [67].
According to Dovey [20], the “house” is an object, and “home” constitutes an emotional and
significant relationship between people and their houses, i.e. the house is the local where the
experiences of the home take place. For a more accurate conception of the phenomenon living”,
Dovey proposes to examine the house with respect to the concepts “order”, “identity” and
“compliance”. The terms home automation, domotics, home computing, smart home and
intelligent domotics have been employed in scientific papers in the area. However, there is still no
consensus in literature regarding the use of these terms. Saizman and Kim [67] presented five
scenarios of smart homes and analyzed common ideas between them. The conclusion was that
applications use automated and intelligent computing in the context of the home. However, we
State of the Art and HCI Framework Inspired by the Diversity 25
believe that this description defines the “domotics” incompletely, since only the isolated
meanings of each word are considered, and since it does not distinguish between what is, in fact,
automated and what is intelligent.
For Aldrich [2, pp. 17], smart homes can be defined as a residence equipped with
computing and information technology which anticipates and responds to the needs of the
occupants, working to promote their comfort, security and entertainment through the
management of technology within the home and connections to the world beyond. In this view,
“smart homes” infer the needs of residents and (semi-)automatically execute them. On the other
hand, “automated homes” require explicit commands from users to perform some action. In
order to not to restrict ourselves to only either smart or automated homes, we chose the term
“intelligent domotics” in our research, since its definition cover both cases. Our own preliminary
definition of “intelligent domotics”, which is based on the current state of the art, is: intelligent
domotics comprises the use of automated and smart applications in the home, aiming at
improving aspects such as security, comfort, and health of residents.
For Cook and Das [14], smart environments are able to acquire and apply “knowledge”
about the environment and its inhabitants in order to improve the inhabitants’ experience with
the environment. Sadri [65] includes to the description of this environment the concepts
“interconnection”, “adaptation”, “dynamism”, “intelligence”, and “integration”. In this view, the
traditional means of a system’s input and output disappear. For environments controlled by
technology, Sadri stipulates that the way of interaction should be the most intuitive and closest to
the daily lives of residents. The use of gestural interaction, for being frequently used in everyday
social life, is considered intuitive in human communication. Thus, joining gestures and intelligent
domotics seems a topic that should be further explored.
In HCI, gestural interfaces can be studied within the context of Natural User Interfaces
(NUIs). Studies in the area of NUIs are concerned with questions such as how the five senses of
the human being can serve as a form of interaction with electronic devices. The basic idea is to
approximate user experience to everyday contexts and dialogues without the need for complex
learning. However, to Norman [57] NUIs are not “natural”. Norman states that the gestural
vocabulary of applications with interfaces based on gestures is artificial from the time of its
definition. Developers typically define gestures arbitrarily, and over time these settings can
become “natural”, i.e. customary, for a group of people, but probably not for a user population
with a great cultural diversity. To illustrate that many gestures are not intuitive or natural,
Norman and Nielsen [56] cite the example of the zoom multi-touch interface, claiming that the
“pinch to zoom” gesture is not natural: when reading a book and “zooming in”, we bow our
heads closer to the book without thinking. We concur with Norman’s critique. When addressing
the “naturalness” of interaction, i.e. an interaction that is “intuitive” and “easy to learn”, it is
indispensable to consider social and cultural aspects of a target audience when defining a gestural
vocabulary. Since the adjective “natural” is now widespread in HCI literature of the area, we
State of the Art and HCI Framework Inspired by the Diversity 26
continue to use it in this text, however in quotes and as a synonym to “meaningful”, i.e. when we
write “natural gestures” we use it in the sense of “meaningful gestures that are intuitive and easy
to learn”.
2.3 State of the art of gestural interfaces for intelligent
domotic
In this section we present the state of the art of gestural interfaces and synthesize the main
findings. In concordance with the taxonomy in [34] we grouped the analyzed literature into two
distinct forms of gestural interaction, perceptual and non-perceptual, whereas perceptual input
allows the recognition of gestures without the need for any physical contact with an input device
or any physical objects.
2.3.1 Perceptual technologies
While the Kinect has been a success in the games area, Panger [60] investigated the possibilities
outside the living room. The author studied the problem of people who want to flip through a
recipe book or select a tune to listen while cooking, even with sticky or oily fingers, or hands
occupied with kitchen utensils. He proposed an application based on Kinect’s depth camera that
captures the user’s joints for the recognition of movements that consist only in left, right, front
and back. Another application that uses the Kinect is the Ambient Wall [36], a smart home
system that can display the current status of the house through a projection on a wall, allowing
the user to control the TV, check the room temperature, etc. Hands-Up [58] uses the Kinect
device with a projector to project images onto the ceiling of the room. This projection location
was chosen for usually being the least-used surface inside a house. Additionally, when people get
tired of their jobs they often lie down on the bed or sofa and stare at the ceiling of the room. The
Hands-Up application interface consists of a circular main menu, in which users can control
various devices in the home.
The Kinect has also been used for applications that provide security to the user. Rahman et
al. [62] mention a number of functions contained on a car dashboard that are controlled by touch
interfaces, which increases the risk and distraction of drivers on the roads. To alleviate this
problem, the authors developed and evaluated a purely gestural interface to control secondary
functions of a car, that does not use a graphical interface, but audible and haptic feedback.
Although this solution has been developed to control the sound system of a car, we deem it
relevant for your presentation because it could be adjusted to the residential environment.
State of the Art and HCI Framework Inspired by the Diversity 27
The need to always have a remote control on hand to interact with the devices was the
main motivation of Solanki and Desai [70] to develop Handmote, an application which
recognizes gestural movements to interact with various devices that use a remote control. Their
Arduino-based solution recognizes images of the user’s hand and processes them in real-time,
sending infrared signals to the respective appliance. Example gestures that are converted to
infrared signals for a TV set include signalizing a cross for muting the TV, or turning the hand
clockwise or counter-clockwise to change the volume level or TV channel.
Irie et al. [29] discussed a three-dimensional measurement of smart classrooms using a
distributed camera system to improve the recognition of three-dimensional movements of the
hands and fingers. Their solution allows controlling appliances, TV sets and room lighting
through gestures, even when multiple users are present. The Light Widgets [22] application was
developed to enable an interaction that is “transparent” and low-cost and that might be accessed
on different surfaces, e.g. on walls, floors or tables. Based on the configuration of a surface as the
locus of interaction, Light Widgets “reacts” when a user approximates his or her hand to the
surface. Users are identified by their skin color. Yamamoto et al. [75] stated that various methods
of gesture recognition using the recognition of the user skin color have limitations being sensitive
to changes in illumination and certain colors of clothes. Furthermore, using single fixed cameras
in narrow spaces, the gesture recognition is restricted to only one person. Thus, the authors use
multiple cameras in the corners of the ceiling pointing downwards, to view the entire bodies of
users and their faces. A distinguishing feature of this system is its ability to simultaneously
process body movements, gestures and face recognition.
For Kim and Kim [35] a major concern is the recognition of gestures as a segment of a few
significant gestures from a continuous sequence of movements, i.e., the question of how to
detect the start and end points of an intentional gesture. This is a complex process because the
gestures have two properties: ambiguity of recognition – due to the difficulty to determine when
a gesture starts and ends in a continuous sequence of movements, and segmentation – since
multiple instances of the same gesture vary in shape, length and trajectory, even for the same
person. To solve these problems Kim and Kim [35] proposed a sequential identification scheme
that performs gesture segmentation and recognition simultaneously.
Henze et al. [26] analyzed static and dynamic gestures as forms of interaction with a music
application. Static gestures refer to the user’s pose or spatial configuration, and dynamic gestures
to his or her movement in a certain time interval. These authors performed a 3-step evaluation
with twelve users with different profiles, five male and seven female. The results indicated that
dynamic gestures are easier to remember, more intuitive and simpler for controlling a music
application. Kleindienst et al. [40] discuss the HomeTalk platform that assists users in some
domestic services via multimodal interaction. The core of the platform is a residential gateway
that acts as a center of family communication. Through direct interaction with a home appliance
it is possible to automate different services, and monitor their progress on a PDA. This
State of the Art and HCI Framework Inspired by the Diversity 28
application provides a greater level of security to residents by providing information about
different locations in the home as well as by controlling the food cooking temperature and time,
thereby avoiding possible fires.
As an attempt to design more intuitive interfaces in domotic environments, the system
developed by Hosoya et al. [27] uses a technique of real-time self-imaging on a translucent in
order to improve feedback to the performer of the gestural interaction. The system developed by
the authors visualizes the objects in a local or remote room on a screen and superimposes a
translucent image of the user. That way, a user can “touch” an object without making real contact
– the user’s translucent mirror image touches the object on the screen –, and manipulate or
interact with objects such as the TV set, or a lamp. Objects in remote rooms need to be tagged
with infrared tags.
2.3.2 Non-perceptual technologies
After having reviewed “perceptual technologies” for gestural interaction, we now present
solutions that use non-perceptual technologies, i.e. solutions that enable gestural interaction via
gloves, rings, wands or other physical artifacts.
Bonino et al. [9] mentioned that many domotic applications support interaction with
devices by fixed touch panels, or by applications on desktop computers, tablets or smartphones.
However the use of these technologies has limitations with respect to user interaction, e.g.
regarding multi-purpose devices. Furthermore, in the case of mobile devices, there are situations
where their use is not possible, e.g. during a shower. In order to circumvent these limitations, the
authors chose to use a wristwatch-based solution they call dWatch [9]. Additionally to five other
watch functions (time, alarm, temperature, motion, and list of favorite functions), gestural
interaction is specifically responsible for controlling household appliances.
Rahman et al. [61] used a residential application to test the trajectory recognition of a user’s
gestural movements. Their glove-based system enables residential users to interact with the
environment. This application consists of infrared cameras, infrared LEDs, and gloves, with the
rationale to increase accuracy and to enable gesture recognition in the dark and at relatively low
costs. To initiate interaction, the user presses a switch contained in the glove and then “draws” in
the air. The system was built to control the lighting of the house, movies and music through
movements that resemble some characteristic of the target object’s interaction. For example, to
control sound, the user “draws” the letter “S”, to start media playback the sign “>”.
Jing et al. [30] proposed a new physical interaction device called the Magic Ring (MR)
which is intended to serve as a means of interaction with different electronics in a residential
environment. A comparative evaluating of the use of a traditional remote control and the MR
was performed. The results suggested that the use of MR has a smaller learning curve and
provides the user with less fatigue than a traditional remote control. For Miranda et al. [48] the
State of the Art and HCI Framework Inspired by the Diversity 29
remote control in its current form is unsuitable for applications of interactive Digital Television
(iDTV). For this reason, the authors proposed the use of Adjustable Interactive Rings (AIRs) to
better interact with these applications. With a focus on diverse user capabilities and different
contexts of use, the solution consists of three AIRs with distinct functionalities. According to its
functionality, each ring has a different color, a single button and a Braille label.
XWand [74] is a multimodal application that enables input of speech and gestures to
control various devices in the home. XWand is shaped like a wand that, when pointed at a device,
can control it through speech or wand movement. To turn on a lamp, for example, the user has
to point the wand at the lamp and say “connect”. The system emits an auditory feedback when
recognizing a target object. However, the interaction using the Magic Wand itself does not
provide feedback to the user [59].
Carrino et al. [11] also described a multimodal approach based on deictic gestures, symbolic
gestures and isolated words with the Wiimote control. The conceptual elements used in this study
for three types of entries are: camera, accelerometer and microphone. The camera is attached to
the arm or the hand of the user and dedicated to the recognition of deictic gestures using the
method Parallel Tracking and Multiple Mapping (PTAMM). The accelerometer is used for
recognition of symbolic gestures. The application provides auditory or haptic feedback, or gives
feedback through the environment itself, e.g. the feedback of the successful execution of the
command “turn on the lights” are turned on lights. The authors conducted a questionnaire-based
usability evaluation of a prototype with ten participants using a Likert scale with questions of
effectiveness, efficiency, experience and satisfaction. Another application that uses the Wiimote
was developed by Neßelrath et al. [51] for gestural interaction with three appliances: kitchen
hood, room lighting and TV. The main concern of the authors was to find a small set of
commands for the application. They found that one way to decrease the set of commands is by
gesture control in context, i.e., one gesture can activate functions of various applications. Another
study that also is concerned with the gestural vocabulary is that of Kühnel et al. [41]. The
application employs a smartphone and accelerometers as a means of gesture recognition, and can
be used for controlling the TV, lamps, window blinds, as well as for interacting with an
Electronic Program Guide (EPG).
Jung et al. [31] focused on the support of daily tasks of the elderly and people with special
needs, especially those that require the use of wheelchairs. In order to increase comfort in
posture and mobility, the authors developed an “intelligent bed”, an “intelligent wheelchair” and
a robot for transferring a user between bed and wheelchair. The authors developed interfaces
based on hand gestures and voice to control equipment and a health monitoring system that was
used not only to assess the state of health, but also as a means to improve comfort by controlling
the environment temperature and the transfer of the user between bed and wheelchair.
The work related to health is usually related to monitoring and health care of the residents
of the house. The motivation for the creation of the “Gesture Pendant” [24] was the need to
State of the Art and HCI Framework Inspired by the Diversity 30
reduce the number and complexity of the vocabulary gestures used to interact with the appliances
in the home. The Gesture Pendant has a camera surrounded by LEDs, which recognizes gestures
also in dark environments. A user can interact through pre-defined control gestures, user-defined
gestures or voice commands. Another feature of this application is the monitoring of the user for
diagnosis, therapy or emergency services, such as reminding the user to take medication or notify
family members.
2.3.3 A synthesis of the main findings of the literature review
Regarding HCI-related topics, the following were addressed in the works presented in the
previous two subsections: accessibility, usability, personalization, privacy, ambiguity of gestures,
gestural anthropology (i.e. the relation between gestures and culture), and gender-related issues.
Although many solutions address usability in some form, it can be noted that the
“perceptual” solutions seem to put less focus on the other topics. This might be explained by the
focus the “perceptual” solutions put on the quality of gesture recognition and related issues, i.e.
before addressing accessibility, privacy or personalization, the underlying system of gesture
recognition has to work at a satisfying level. On the other hand, when addressing the topics listed
in Tab. 1, in the case of “non-perceptual” solutions this is not necessarily done considering
gestural interaction per se but other components of the system. When addressing accessibility,
this is often related to components of the system that provide visual feedback or related to
specific solutions for people with specific special needs. Accessibility considering gestural
interaction would mean to investigate how e.g. people with motor impairments would be able to
interact with the system. Usability is arguably the most completely considered area, however, in
the case of non-perceptual solutions, usability tests usually focus on graphical interfaces or
different modes of feedback. Few works address personalization of gestural interaction, which is
a complex problem, e.g. due to the complexity of guaranteeing fast and accurate recognition of
personalized gestures. Privacy is often concerned with camera positions or data storage of user
images, and not with issues regarding the privacy of performing gestures. Ambiguity in the
reviewed solutions is only discussed regarding the relation between already habitually used
gestures and gestures used for interacting with the system, however without regarding other
contextual factors, such as characteristics of the target audience. Only one solution treated issues
related to anthropology, e.g. questions such as cultural aspects that influence the understanding
or appropriateness of gestures within a certain context. Regarding gender-related issues, none of
the solutions of Tab. 1 reported that these were a concern during the earlier stages of
development, and only three studies reported at least the number of male or female participants
[24,31,41], however without stating whether gender had any influence on testing or subsequent
design cycles.
State of the Art and HCI Framework Inspired by the Diversity 31
Tab. 1 HCI-related topics addressed by the works
Perceptual Non-perceptual
[60]
Am
bie
nt
Wal
l [3
6]
Han
ds-
Up
[58]
[62]
Han
dm
ote
[70]
[29]
Lig
ht
Wid
gets
[22]
[75]
[35]
[26]
Ho
meT
alk [
40]
[27]
dW
atch
[9]
[61]
[30]
AIR
s [4
8]
XW
and [
74]
Mag
ic W
and [
59]
[11]
[51]
[41]
Sm
artK
om
[73]
[31]
Ges
ture
Pen
dan
t[24]
Accessibility
Usability
Personalization
Privacy
Ambiguity
Anthropology
Gender
We believe that some of these limitations are a result of considering the topics of Tab. 1 in
an isolated manner regarding technology, gestural interaction, and individual/social aspects. For
current solutions in the area of domotics this might be adequate to some extent, since the
problems they address are of a relatively low complexity, e.g. functionalities in the areas of
comfort or security such as turning on the lights. However, regarding the area of health, or more
complex problems in the areas of comfort and security, or even new areas that are not yet
addressed in domotics, we think a more comprehensive and particularly a socio-technical
perspective is required, grounded on methods and frameworks of contemporary HCI. As a first
step towards this direction, we thus propose in the next chapter a framework for conceptualizing
research and design questions in an integrated manner.
2.4 Socio-technical aspects of gestural interaction:
framework and challenges
After analyzing the state of the art, we can observe that researchers and developers are more
concerned with trying to offer “comfort” to users through some complex computational
solutions that can control e.g. the lighting, the room temperature, TVs or home entertainment
systems. However, besides of technical aspects of controlling appliances in the home, also aspects
from the social sphere need to be considered.
In order to identify and discuss these HCI-related aspects and challenges of multimodal
interaction, we propose a socio-technical framework of multimodal interaction in the context of
intelligent domotics. The framework consists of the main dimensions technology, modes of
interaction, and people. The concentric organization of these three dimensions symbolizes their
State of the Art and HCI Framework Inspired by the Diversity 32
interdependency in a triadic relationship. The main idea of this framework is to identify and
discuss the challenges of different forms of interaction with technology considering socio-
technical aspects in an integrated manner, i.e. we acknowledge that a challenge should not be
considered isolatedly under a single perspective, but under a perspective that combines
multimodal, technological, and social aspects and considers their interdependencies. It should be
noted that in the context of this work, we only consider the mode of “gestural interaction”, and
only technology in the context of domotics (Fig. 1). Possible users of the framework include
researchers and developers, who can catalog socio-technical research challenges and discuss
challenges that permeate the implementation of their solutions.
The aspects discussed in this chapter do not comprise an exhaustive list, but are the ones
that emerged from the literature review presented in the previous chapter, namely accessibility,
usability, personalization, privacy, ambiguity, and anthropology. Each aspect is represented by a
dashed ellipse in Fig 1 and has intersections with the three dimensions domotics, gestural
interaction, and people.
Fig. 1 Framework of socio-technical aspects of gesture interaction
A noticeable characteristic of the state of the art presented in the previous chapter is the
high share of concepts or techniques based mainly on solutions that use graphical interfaces or
non-perceptual technologies. These solutions, e.g. guidelines or methods, were developed and
used for traditional GUI or Web applications and often do not meet requirements for interaction
with domotics, i.e. an interaction that should be more “natural” in the sense of being meaningful
and intuitive. In the following, we will discuss the challenges regarding the six aspects of gestural
interaction in the domain of intelligent domotics presented in Fig. 1. We will analyze which
challenges can be addressed by adapting work from related areas (e.g. gestural interaction in other
contexts, or general literature in HCI), and which research issues remain.
Accessibility – Accessibility has generally been perceived as a necessary attribute of quality
of software and hardware systems. Consequently, we believe it is essential to provide accessibility
in residential solutions. Some studies proposed multimodal interfaces for gesture and voice,
State of the Art and HCI Framework Inspired by the Diversity 33
aiming at the inclusion of a greater diversity of users, e.g. [24,40,62,73,74]. However, none of
these studies was concerned with analyzing e.g. the accessibility of the gestural vocabulary with
respect to people with mental or physical impairments.
Computing solutions from various contexts have visual interfaces, whether in tablets,
phones, computers or through projections. Often, researchers focus on accessibility in these
conditions. However, for the context of intelligent domotics, considering technologies that allow
gestural interaction and that have no visual interfaces, accessibility is poorly explored. Although
there are already consolidated accessibility guidelines aimed at a content that is perceivable,
operable, and understandable by a wide range of users, as well as compatible with a wide variety
of assistive technologies, not all principles of accessibility are “compatible” with the context of
home automation applications. Examples include some guidelines for Web applications or
guidelines such as “making all features also available to keyboard use” or “provide alternative text
to non-textual content”. Changing the way people interact with the environment brings out new
aspects of accessibility that require more research. There are several questions about how we can
develop gestural applications that are more accessible to the diversity of the audience, and the
challenge becomes even more complex by the lack of development methodologies for gestural
applications, as well as evaluation methods for this particular type of interaction.
Kane et al. [33] reported a study on accessibility in gestural interfaces applied to
touchscreen surfaces. They found that, given a gestural vocabulary, blind participants chose
significantly different gestures than sighted participants. Blind participants showed strong
preferences for gestures that were in the corners and edges of the screen, as well as for
multitouch gestures. Kane et al. also discovered differences regarding the performance of
gesturing, e.g. gestures produced by the blind participants were bigger, slower, and showed a
greater variation in size than those produced by sighted participants. An important result of the
study is that according to some blind participants, they did not know how to perform some of
the gestures used in the defined gestural vocabulary, including letters, numbers and other
symbols. However, there has been little research about the differences or peculiarities of gestures
regarding so perceptual aspects and the residential context.
Another aspect not yet studied in literature is the accessibility depending on the gender of
the users, since physical and psychological conditions differ for each gender. The structure of our
framework considers the mutual dependencies of the mentioned challenges: accessibility may be
interplaying with usability, personalization of gestures, privacy and the gestural ambiguity of the
solution.
Usability – Most of the works presented in the previous chapter that discuss usability are
concerned with efficiency and learnability, which are only two of Nielsen’s [53] five main topics:
learnability, efficiency, memorability, errors and satisfaction. One of the benefits of graphical
interfaces is to aid the memorization of commands for interaction, because the information is
organized graphically in windows and is represented by text, icons or other visual elements. The
State of the Art and HCI Framework Inspired by the Diversity 34
language of commands based on a menu structure has the cognitive advantage that commands
can be recognized instead of being required to recalled. For solutions that use GUIs Lenman et
al. [42] proposes the use of “marking menus”. Learning the command set is performed gradually
through “pie-menus” that indicate the direction of the movement that the user needs to perform.
Another progressive form of learning gestures is through multimodal voice interaction, where the
application supports the user by describing the movements required to perform an action. As the
user learns to perform gestures, the application no longer provides the respective instructions.
For gestural interfaces, gestural ergonomics is also important, since the interface should not
be physically stressing [54]. The comfort when interacting with the system is important, which is
not achieved when a user has to “wear” technology, like a glove. With respect to the use of
perceptual technology, discomfort and fatigue might arise when the user’s main means of
interaction are arms and hands interacting without a supporting surface. Nielsen et al. [54]
describes ergonomic principles for building a good interface with gestures, e.g. relax muscles,
avoid repetition or staying in a static position, avoid internal and external force on the joints.
Although usability guidelines are widely used in traditional solutions, new principles or the
adaptation of existing ones are required for gestural interfaces [57], especially those without a
GUI. Fundamental principles of interaction design that are independent of technology [57] might
provide starting points for this investigation, e.g. visibility (related to affordances), feedback,
consistency, non-destructive operations, discovery, scalability, and reliability.
Personalization – Many problems involving customization are related to the huge amount
of information that needs to be managed simultaneously. To support versatility of gestural
commands for different types of solutions it is essential that applications are customizable, as
well as easy and fast to train. Achieving these properties leads to the problem of forming and
recognizing gestures freely. In order for the application to learn new commands, users have to
train it repeating the same command several times. This repetition might generate discomfort for
the user. Liu et al. [44] aim to decrease the number of required repetitions by using discrete
Hidden Markov Models (HMMs). However, the authors point out that there are several technical
challenges for interaction based on gestures. Unlike many pattern recognition problems such as
speech or writing recognition, gesture recognition lacks a commonly accepted standard or
“vocabulary”. Therefore, it is sometimes desirable and often necessary for users to create their
own gestures. With customized gestures, it is difficult to gather a large set of training samples that
is required to establish statistical methods. Furthermore, the gesture-based spontaneous
interaction requires immediate engagement, i.e. the overhead of creating recognition instruments
should be minimal. More importantly, the application platforms for specific custom gesture
recognition are generally very limited in terms of cost and system characteristics, such as battery
capacity or the buttons presented in [44].
A clear difference between customization of perceptual solutions of gestural interaction
and “traditional” means of interaction is the difficulty of recognizing who interacts with the
State of the Art and HCI Framework Inspired by the Diversity 35
system, e.g. in a home, all residents are possible users of the application. Recognizing the user is
indispensable for enabling customization. Thus challenges include how to recognize the
interacting person, and how to achieve this unobtrusively, i.e. without e.g. requiring the person to
utter his or her name or to look at a particular location for facial recognition. With regard to the
integrated consideration of personalization within our framework, it is worth noting, that the
technical feature “personalization”, applied to the context of gestural interaction with domotics
also has a strong social component, i.e. personalization should be consistent with the ideals of a
natural, meaningful of interaction that respects the privacy of the users within the home.
Furthermore, personalization may have a positive effect on usability and accessibility.
Ambiguity – In order to actually enable a “natural” interaction, the ambiguity of gestures,
which is very present in the real world, needs to be reduced for interacting with the virtual world
[57]. Gestures need to be cohesive and consistent in their meanings. For instance, if used as a
command for interacting with a system, the movements used to express a farewell in the real
world should to be used for the same purpose and with the same meaning, i.e. as a gesture of
“farewell”. Following this principle, the gestural vocabulary would become more intuitive, easing
the learning curve of users. Some solutions acknowledge this principle [26,51], but do not take
into account whether the gestures are ambiguous regarding the target population, since ambiguity
is intrinsically related to the cultural aspects of the population. As an example of the problem of
not considering the interdependency of gestural ambiguity with cultural aspects, the application in
[63] uses only deictic gestures (pointing gestures). Gestures for some commands for this
application resemble a firearm, which is probably not desired in a home or in war- or conflict-
ridden regions of the world.
During social interactions, people use a large vocabulary of gestures to communicate in
daily life. The gestures used vary according to contextual and cultural aspects [39] and are closely
linked to other aspects of communication. A challenge that arises is that gestures for interaction
with domotics must be sufficiently “natural”, i.e. resemble to some degree the gestures used in
everyday life. At the same time, these gestures must be recognized as intentional commands to
the system, i.e. they must be distinguished from gestures of inter-person communication. This
problem has also been called “immersion syndrome” [4], i.e. in a scenario in which all gestures
are captured and can be interpreted by the system, gestures may or may not be intended for
interaction with the system, and people can no longer interact simultaneously with the system and
other people using gestures.
To clarify the idea of gestural ambiguity, we can draw an analogy to sign language. When
the gestures of a domotics solution are established without a previous study, gestural ambiguity
might occur on two levels, i.e. different gestures/signs might be required for asking a person or
commanding the system to turn on the lights or draw the curtain, or the gesture for the
command “draw the curtain” might have a different meaning in sign language. There are no
studies on “gestural affordances”, i.e. the problem of gesture discoverability. Another question
State of the Art and HCI Framework Inspired by the Diversity 36
related to gestural affordances is if there exist any universal gestures. A positive answer to this
question might reduce ambiguity and cultural dependencies. From these last considerations, it
also becomes clear, that ambiguity has a strong relation to anthropology.
Anthropology – Symbolic gestures, the meanings of which are unique within the same
culture, are an example of a classification used to discriminate gestures depending on the
anthropology of a certain population. An example is the “thumbs-up” gesture which signifies
approval in Brazilian culture but can be an insult in some middle-eastern countries. Sign
languages also fall into this category and vary significantly between countries.
Researchers are still trying to understand how the gestures are influenced by culture [43].
Due to this still largely unexplored area, applications often make use of deictic gestures [10,74],
i.e. pointing gestures which have much less cultural dependency, but which are also limited since
not every function in a domotic environment can be executed by “pointing at things”.
Furthermore, regarding the “naturalness” or “intuitiveness” of interaction in domotic
environments, the use of only deictic gestures also imposes a limitation. Kühnel et al. [41]
described anthropology as a requirement for computational solutions for domotic environments,
not only with respect to gestural interaction, but in a broad context. One of the authors’ concerns
was the writing direction of the user. Although this detail might seem irrelevant for the definition
of gestures, it might very well influence whether a certain gesture is considered appropriate in a
certain cultural context.
Privacy – With the rapid advancement of technology, sensors and information storage
devices are becoming increasingly integrated in the solutions. These devices provide various
benefits such as accuracy of command recognition, and mobility in use. However, the context of
the home requires a number of concerns about the privacy of those who utilize these
technologies, because it refers to an intimate environment in which the lack of privacy can have
negative effects on the social relationships among residents and result in failure of the domotic
application.
Considering the difficulties in the development of applications that address the
requirements of the involved stakeholders in a home environment, Choe et al. [13] aim to
investigate the types of activities of which residents do not want to have stored records. To
obtain these results, the authors analyzed the questionnaires of 475 respondents, with 71.6%
female and 28.4% male participants. A total of 1533 different activities that respondents did not
want to be stored was identified. The male respondents most frequently reported activities related
to the category of intimacy and the use of media. Female respondents reported activities related
to the category of self-appearance and oral expressions. Moreover, Choe et al. identified places
that need more care regarding residents’ privacy, e.g. bedrooms and bathrooms.
State of the Art and HCI Framework Inspired by the Diversity 37
2.5 Discussion
Given the diversity of the population, designing purely gestural interfaces for residential
environments might not be the most appropriate approach, because the sheer amount of gestures
that would have to be memorized and performed would be exhaustive for the population as a
whole, and especially for the elderly and people with special needs. As presented in section 2,
many applications choose to use multimodal interaction. Among the works mentioned, many
authors use a combination of speech with gestures, in order to provide greater accessibility of the
system, to facilitate recognition of user commands, or to decrease the complexity of the
vocabulary of gestural applications.
However, as stated earlier, home automation has consequences far beyond the way we
interact with the appliances in the home. Besides the technical, several other aspects about
building those applications have to be addressed and analyzed under an integrated socio-technical
perspective. These aspects include, but might not be limited to, accessibility, usability, ambiguity,
privacy, anthropology and gender of users, since this context is closely related to physical, social,
psychological, emotional and even spiritual concerns of each resident. Addressing these issues
also increases the “naturalness” or “intuitiveness” of smart home automation applications.
Currently, the development of intelligent home automation applications often focuses
exclusively on technological aspects, not taking into account what is actually necessary and
desirable for users. Although affective, psychosocial and other aspects that cause an impact on
residents are being explored more actively in the area of HCI, many open questions need to be
studied, especially in the area of domotics.
Bardzell et al. [6] intended to explore issues of feminist thought intertwined with human-
computer interaction. Both feminism and HCI have made important contributions to social
science in recent decades. However, despite of the potential, there has been no engagement
between the two areas until recently. A series of surveys, focused mainly in perceptual and
cognitive tasks, revealed gender differences that can have implications for interactive systems
design. However, believes still seem to be prevalent that gender does not have much influence on
technology usage. Thus, one of the research objectives of Rode [64] is to show the importance of
treating gender in HCI and to emphasize that it permeates all aspects of daily life, including
domestic life. Many studies ignore important social aspects, in which the issues of gender occur
daily. This point of view on users’ gender is relevant for home automation applications, as in a
home environment all people need to interact with the applications. Thus, applications must meet
the needs of both genders and should be designed and developed for this.
Aiming to address more adequately the challenges presented above, we found it necessary
to design a framework that specifically addresses the challenges contained in gestural interaction
with domotics. Although used exclusively in the context of gestural interaction and domotics, the
State of the Art and HCI Framework Inspired by the Diversity 38
framework presented in this work could be used for a similar discussion in other application
contexts and regarding other or additional modes of interaction. Saizmaa and Kim [67] presented
a framework that addresses some conceptual aspects similar to the framework presented here.
Saizmaa and Kim [67] identified important issues that are considered or omitted in the
development of intelligent homes, and organized these issues into three dimensions, human,
home and technology, highlighting the need to not only to see a house as a physical thing, with
walls and ceiling, but also as a “home”.
The holistic approach advocated by Saizmaa and Kim [67] elucidates the complexity of
smart home automation, as well as draws attention to not limiting an analysis in this domain to
technological aspects alone. Although similarities such as the problem domain of domotics exist
between our framework and the framework of Saizmaa and Kim, there also exist significant
differences. While Saizmaa and Kim discuss different aspects of interaction, they do not elaborate
on the peculiarities of different modes of interaction. In this work, we discussed gestural
interaction, but in principle the discussion could be extended to other types or combinations of
modes. Saizman and Kim discuss issues in the dyads home-technology, technology-human, and
human-home, and assign research topics to each dyad. Maintainability, e.g., is assigned to the
dyad home-technology, although we think that also personal, cultural, or social aspects might be
relevant for this topic. Hence, our framework uses a triadic structure which enables to discuss
topics in all three dimensions of people, domotics, and gestural interaction. Depending on the
role of the framework user, it is thus also possible to investigate one or more topics in only one
or two dimensions. For instance a sociologist in the research or development team might be
interested in the “people dimension” of different aspects, while a developer might be interested
in technical aspects of accessibility.
The contribution of this framework is to analyze an explicit context from its initial form of
interaction until its possible social implications. When we addressed these challenges from the
perspective of the framework, we did not take the traditional way of analyzing only parameters of
a graphical interface. This framework enables the discussion on a triadic unfolding of the
dimensions that make up the framework. Although only discussed for gestural interaction, it can
be applied to other modes of interaction as well, for example, gestural, mobile, brain-machine
sound, among other perceptual or non-perceptual interaction. Consequently the analyses of these
challenges can provide insights to the particularities of each specific mode of interaction.
We understand that regardless of the utilized technology, one of the main questions is the
definition of the gestural vocabulary of the application. This definition should not be driven by
technology, but by a human-centered perspective that considers the “naturalness” and
“intuitiveness” of gestural interaction. In order to formalize gestural interaction we consider it
essential to create a grammar which is initially free of technological aspects and which considers
both multimodal commands as well as the points already discussed in this work.
State of the Art and HCI Framework Inspired by the Diversity 39
2.6 Conclusion
This chapter presented the state of the art of residential applications that use gestural interaction
to communicate with various types of appliances in the home. An analysis of scientific literature
in the area of gestural interaction with domotics revealed that aspects such as accessibility,
usability, personalization, privacy, ambiguity, or anthropology of gestural interaction are often not
considered, or only considered in a restricted, isolated way. We argued that aspects of gestural
interaction with domotics need to be discussed in a more integrated, socio-technical way, and
proposed a framework that permitted us to discuss these aspects within the triadic relationship
consisting of the dimensions people, domotics, and gestural interaction. We identified open
research questions and challenges. Literature outside the domain of domotics provides some
pointers to these questions, e.g. literature about HCI-related aspects of gestural interaction in
general, or literature from HCI and related areas. However, we conclude that there are no
formalized design and evaluation methods in literature about gestural interaction with perceptual
technologies, i.e. applications without GUIs and without physical artifacts of interaction.
Furthermore, literature in the domain of gestural interaction with domotics that discusses aspects
such as anthropology, accessibility, usability, gender, personalization and privacy is scarce.
Capítulo 3
3 Análise Socio-Técnica do Cenário Brasileiro
baseada na Semiótica
3.1 Introdução
A domótica inteligente relaciona-se com o uso de sistemas automatizados e inteligentes que
visam, por exemplo, melhorias na qualidade de vida, aumento da segurança dos moradores, como
também viabiliza racionalmente os recursos presentes nas casas. Os avanços tecnológicos
impulsionam o desenvolvimento de interações mais naturais para essas aplicações, uma vez que
este ambiente é marcado pela diversidade de pessoas que usufruem deste espaço como um local
de relações emocionais e significativas entre as pessoas e o lar [20]. Por esse contexto ser
caracterizado também como um ambiente íntimo que envolve várias pessoas com
comportamentos diferentes e com níveis distintos de tolerância com relação aos efeitos do uso
das tecnologias, as proliferações de dispositivos integrados no meio diário dos moradores
necessitam de estudos mais aprofundados relacionados com a área de Interação Humano-
Computador (IHC) para que os benefícios da domótica inteligente possam ser, de fato,
usufruídos pela população brasileira.
A fim de tornar disponíveis as aplicações residenciais para todos, de forma a integrar vários
tipos de elementos/dispositivos de uma casa, as aplicações esbarram em um dos problemas da
área que é como interagir com o sistema, uma vez que esse contexto de uso necessita de formas
mais naturais de interação, do que os praticados atualmente. Em virtude dessa necessidade e dos
avanços de hardware e software, o uso da interação gestual começa a ser uma alternativa viável,
que vem sendo explorada neste domínio, por ser um tipo de comunicação naturalmente já
utilizado nesse ambiente.
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 41
Em um trabalho anterior [17], percebemos que aspectos de acessibilidade, usabilidade,
personalização, ambiguidade, privacidade e antropologia, como são convencionalmente
conhecidos, estão sendo por muitas vezes aplicados de forma incompleta sem uma integração
com as seguintes dimensões: pessoas, gestos e contexto de interação. A naturalidade almejada em
interfaces gestuais para casas inteligentes tem exigido novos referenciais teóricos e metodológicos
que possam apoiar mais efetivamente os profissionais de computação em projetar interfaces
adequadas para um ambiente que, agora, apresenta-se muito mais complexo extrapolando,
portanto, os limites do contexto habitual de trabalho para entrar, de vez, na vida das pessoas.
Este trabalho está inserido no contexto de um projeto de pesquisa relacionado à temática
de domótica inteligente que vem sendo investigado sob a ótica da área de IHC. É sob a
perspectiva desta subárea da computação e com uma visão socio-técnica que este trabalho foi
conduzido e possui seus resultados apresentados neste capítulo. Na literatura, não existe estudo
sobre essa temática, ou seja, interação gestual especificamente em aplicações residências no
cenário brasileiro, tornando-se relevante por identificar e analisar oportunidades e desafios sob
uma visão socio-técnica ao contexto brasileiro, utilizando como referencial teórico-metodológico
a Semiótica Organizacional [45].
Cabe destacar, que a base teórica e metodológica utilizadas na realização deste trabalho já
foi empregada, com sucesso, para analisar, por exemplo, sistemas colaborativos [3] e o contexto
brasileiro em outros domínios, tal como, Televisão Digital Interativa (TVDI) [49]. De forma
diferenciada, neste capítulo, apresentamos resultados da análise da interação gestual em
aplicações residenciais com o foco no Brasil.
O capítulo está organizado da seguinte maneira: a Seção 3.2 apresenta uma visão geral das
aplicações residenciais via interação gestual presentes na literatura; a Seção 3.3 descreve
oportunidades e desafios desse contexto de pesquisa sob a ótica da Semiótica Organizacional; a
Seção 3.4 apresenta uma discussão sob uma perspectiva socio-técnica do tema; e a Seção 3.5
apresenta as considerações finais.
3.2 Interação Gestual em Aplicações Residenciais
A utilização de comandos gestuais em interfaces de sistemas computacionais é apresentada na
literatura desde a década de 80 com a aplicação “put-that-there” [8]. Contudo, o reconhecimento
gestual através das tecnologias utilizadas fazia desta modalidade de interação pouco empregada
em trabalhos acadêmicos e, principalmente, na indústria. Os avanços tecnológicos impulsionados
principalmente pela indústria de jogos trouxe novamente à tona este tipo de interação. A
utilização dos artefatos físicos reconhecedores gestuais se expandiu, além de sua utilização frente
a televisores, para o restante da casa como um todo, visando proporcionar maior conforto,
segurança e monitoramento da saúde dos moradores.
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 42
A Tab. 2 sumariza os trabalhos da literatura que utilizam a interação baseada em gestos em
aplicações do contexto residencial, ou seja, que utilizam essa forma de interação para controlar
dispositivos eletrônicos de consumo doméstico. A coluna “Forma” descreve a forma de atuação
da solução apresentada, ou seja, Perceptual (P) ou Não Perceptual (NP) [34]. A coluna
“Tecnologia” descreve as tecnologias empregadas para proporcionar a interação gestual da
aplicação residencial. Já a coluna “Feedback” descreve o tipo de feedback da interação do usuário
na aplicação, i.e. (V)isual, (S)onoro, (H)áptico, ou “-” caso a aplicação não possua feedback. Por
último, a coluna “Foco” apresenta o(s) foco(s) de atuação que cada trabalho se propõe ao
usuário, i.e. (C)onforto, (S)egurança, ou monitoramento à sa(Ú)de.
Tab. 2 Summary of gestural interaction solutions for domotic environments.
Solução Tecnologia Feedback Propósito/Foco
[60] P Kinect V
visualizar receitas, ajustar o relógio
temporizador para cozinha, e escutar música
na cozinha
C
Ambient Wall [36]
P Kinect e projetor V controlar TV, e a temperatura do ambiente
ajustando o ar condicionado C
Hands-Up [58]
P Kinect e projetor V controlar iluminação, TV, abajur, e relógio C
[62] P Câmera infravermelho – controlar TV S
Handmote [70]
P Câmeras pan-tilt-zoom CCD V/S controlar iluminação, TV, e ventilador C
[29] P Câmera de vídeo – controlar TV C
Light Widgets[22]
P Câmeras estéreos, Bluetooth, e
infravermelho V controlar TV C
[75] P Câmeras CNB-AN202L
CCD – controlar iluminação, e abrir/fechar cortinas C
[35] P Câmera infravermelho V controlar aplicação de música C
[26] P PDA e câmera de vídeo V controlar forno, máquina de lavar roupa, e
iluminação C
HomeTalk [40]
P
Câmeras IR e colorida,
sensores infravermelho e de
radiofrequência
V controlar TV, iluminação, e livros através de
uma estante de livros virtual C/S
[27] P Câmera de vídeo de alta
resolução 3D V controlar TV C
dWatch [9] P Câmera de vídeo V controlar TV C/S
[61] NP Relógio de pulso, e
acelerômetros V/S
controlar iluminação, portas, janelas, e
tomadas de energia C
[30] NP Luvas, câmeras IR, e LEDs
infravermelho V controlar iluminação, som, e filmes C
AIRs [48] NP Anel – controlar TV, lâmpadas, e o aparelho de
som C
XWand [74] NP Anéis Interativos Ajustáveis V controlar TV digital, e interagir com
aplicações de TVDI C
Magic NP Varinha S controlar iluminação, e aparelho de som C
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 43
Solução Tecnologia Feedback Propósito/Foco
Wand[59]
[11] NP Varinha – controlar ar condicionado, TV, e iluminação C
[51] NP Câmera de vídeo, microfone,
e Wiimote S/H
controlar media center, ventilador,
interruptor, e lâmpadas C/Ú
[41] NP Wiimote S controlar exaustor da cozinha, iluminaria, e
TV C
SmartKom [73]
NP Smartphone V controlar persianas, TV, lâmpadas, e
interagir com EPG C
[31] NP Superfície de toque, câmera e
microfone V/S controlar TV C/Ú/S
Gesture Pendant[24]
NP Câmeras coloridas e
microfone –
controlar temperatura, TV, cortina, luz,
cadeira de rodas, ajustar cama, e fazer
transferências de pessoas entre a cama e a
cadeira de rodas
C/Ú
Em relação aos trabalhos citados na Tab. 2, cabe destacar que a maioria das aplicações se
limita no desenvolvimento pouco complexo no controle de lâmpadas, TVs e aparelhos de som.
Essa simplicidade é repetida em tantos outros meios tecnológicos, tais como, celulares, colares,
varinhas ou anéis. Esse fato nos faz refletir sobre o quão rápido é o surgimento de novos e
diversificados artefatos físicos de/para interação, assim como, na mesma proporção, esses
artefatos podem se tornar obsoletos. Embora a mudança de artefatos físicos nas aplicações não
implique ainda em uma maior integração dos elementos/dispositivos que as aplicações
residenciais potencializam. O que é percebido atualmente é que as necessidades impostas pelos
avanços tecnológicos atuais instigam, sobretudo no aprimoramento de técnicas para
reconhecimento gestual, principalmente pelas formas perceptuais uma vez que não existe o
auxilio de sensores nas mãos dos usuários. Embora haja tecnologias que pregam maior
naturalidade como as invisíveis, ubíquas e pervasivas, cada vez mais integrada com o ambiente,
seu uso na prática da interação é perceptível, notável e impactado – às vezes, negativamente – aos
seus usuários.
Uma das razões pela qual torna esse cenário tão complexo é fruto da própria relação
imposta pelos usuários à necessidade de conviver com a tecnologia. Em nossa visão, o
desenvolvimento computacional deve ser evidenciado e enfatizado também por visões
pragmáticas e sociais, independente da tecnologia escolhida em sua construção, seja para
ambientes residenciais ou para aqueles que são influenciados ou influenciam esse contexto. Deste
modo, o referencial teórico-metodológico da Semiótica Organizacional é utilizado neste trabalho
para analisar, especificamente, a interação gestual no ambiente residencial, visto que nossa
intenção é investigar esse tipo de interação não apenas do ponto de vista técnico, mas também
nos aspectos relacionados aos níveis formal e informal.
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 44
3.3 Análise Socio-Técnica do Cenário Brasileiro
Nesta seção, primeiramente, apresentamos uma breve descrição sobre a metodologia e artefato
empregado para a realização da análise do domínio sob o contexto brasileiro para,
posteriormente, apresentarmos seus resultados. Como mencionado anteriormente utilizamos a
Semiótica Organizacional (SO) [45] como referencial teórico-metodológico para a realização da
análise do domínio no cenário brasileiro. A SO mostra-se relevante neste trabalho ao analisar as
plataformas tecnológicas e o sistema de informação humano, em relação ao domínio do
problema supradescrito.
Especificamente iremos utilizar neste trabalho o método Problem Articulation Method
(PAM) da SO, o qual é direcionado a fase inicial do desenvolvimento de sistemas
computacionais, quando a definição de problema ainda pode ser vaga e complexa, como é o caso
do desenvolvimento de uma nova interface gestual para aplicações residenciais. Este método
contem dois artefatos principais: Partes Interessadas (PI) e a Escada Semiótica (ES).
O objetivo desses artefatos serem utilizados neste trabalho constitui razões “cronológicas”
de análise do domínio do problema, visto que o PI inicialmente, contribui na identificação dos
stakeholders, ou seja, das partes interessadas que sofrem influencia ou influenciam, direta ou
indiretamente, a interação gestual em aplicações residenciais, e seu impacto na sociedade
brasileira. Após os stakeholders serem investigados, questionamentos são levantados através da ES
com base nos trabalhos existentes (Seção 3.2) junto aos resultados obtidos do PI. Este artefato –
ES – desempenha um papel importante no estudo, não apenas por levantar oportunidades e
desafios de pesquisa acerca do tema, mas por estruturar o domínio seguindo o processo de
comunicação do sistema semiótico de forma simplificada. A ES contribui com a compreensão do
sistema organizacional como um sistema de informação e, ainda, ajuda a enxergá-la sob a ótica,
pontualmente, de cada uma de suas seis camadas.
O PI é composto por cinco níveis que colaboram para a clarificação e/ou solução do
problema. Iniciando em Operação, no centro do artefato, temos a representação da ação em
curso ou do sistema de informação focado; em Contribuição temos as partes interessadas
diretamente envolvidas com o sistema de informação e com autoridade de tomada de decisão
para o desenvolvimento do sistema, ou seja, quem são os atores e responsáveis que contribuem
diretamente para o problema ou para a solução e/ou são afetados por eles; em Fonte temos os
clientes e fornecedores que são afetados ou têm impacto no sistema. Podem fornecer dados e/ou
é fonte de informação ao problema ou a sua solução, ou faz uso desses dados; em Mercado
temos parceiros e concorrentes que impactam no curso da ação ou do sistema, ou seja, estão
relacionados com o mercado no qual o problema está relacionado; e em Comunidade
destacamos o espectador e legislador que, mesmo indiretamente, pode exercer certa influência
e/ou são influenciados pelo problema em determinado contexto social.
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 45
A Fig. 2 apresenta o PI resultante da análise do domínio.
Fig. 2 Partes Interessadas resultante da análise do domínio.
Algumas considerações adicionais merecem ser comentadas em relação ao PI da Fig. 2. O
usuário e grupo de usuários foram propositalmente colocados na fronteira de Contribuição e
Fonte, pois podem contribuir diretamente com o problema e são afetados diretamente pelo
mesmo. Em Fonte destacamos as Universidades e os Grupos de Pesquisa que investigam esse
tema no Brasil. É interessante aqui a proximidade de Fonte e Mercado, no sentido colaborativo
de que empresas brasileiras ou internacionais possam produzir aplicações com o apoio acadêmico
brasileiro. Também observamos que os Institutos Federais parecem ser quantitativamente bem
atuantes nesse ramo, talvez pelo enfoque maior em Ciência e Tecnologia com forte realização de
pesquisa aplicada.
Há também o destaque da diversidade de artefatos encontrados para o reconhecimento
gestual, alguns desses originados da revisão de literatura (Seção 3.2). Não necessariamente estes
são desenvolvidos para o propósito das aplicações residenciais, mas revelam que outros campos
devem ser analisados, como o de entretenimento, para o próprio ambiente residencial. Os
artefatos confeccionados destinados a domótica são originados, normalmente, em projetos
acadêmicos, como os Anéis Interativos Ajustáveis (AIRs), as varinhas e os colares. Com o forte
interesse atual a indústria inicia o processo de fabricação de artefatos para esse propósito, como é
o caso do MYO (The Gesture Control Armband); este dispositivo detecta atividades elétricas nos
músculos do braço através de uma “pulseira”.
Entre as camadas Mercado e Comunidade pontuamos também os Jogos. Como
mencionado anteriormente o mercado de jogos possui uma forte influência no desenvolvimento
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 46
de tecnologias de reconhecimento gestual que, por sua vez, é intensamente estimulada pela
comunidade que usufruem os games. Provocando assim, um forte influencia nas aplicações
residenciais como, por exemplo, na escolha tendenciosa dos comandos gestuais da aplicação e na
própria utilização tecnologia mais atuante no mercado de jogos. Em Comunidade destacamos os
órgãos legisladores que influenciam as aplicações residenciais no Brasil, tais como, AURESIDE e
INPI, bem como, a própria forma como as aplicações de outros contextos – e.g. cidades, escolas
e transporte públicos – podem influenciar com suas formas de interagir gestualmente, e no
impacto social que poderá também afetar o lar da população brasileira.
Agora em relação às considerações do design de um sistema residencial utilizamos o
artefato ES. Este artefato é estruturado através de seis camadas que favorecem diferentes visões
para analisar diferentes aspectos dos signos. Essas camadas podem ser resumidamente
apresentadas em: (i) Mundo Físico que possui relação com os aspectos físicos dos signos, Suas
propriedades como tamanho, formato e mídia, o hardware utilizado para enviá-los, guardá-los e
os processamentos de sinais são analisados; (ii) Empírico, relativo as propriedades estáticas dos
signos quando diferentes meios e dispositivos físicos são utilizados. Os signos são vistos como
sequências de sinais não considerando seus significados. De acordo com Liu [45] algumas
questões a serem estudadas neste nível são codificações, medidas de entropia, transmissões de
sinais óticos, e capacidade do canal; (iii) Sintático, relacionado às combinações dos signos sem
considerar suas significações específicas. As regras utilizadas para compor signos complexos são
descritas neste nível; (iv) Semântico, relativo ao relacionamento entre o signo e o objeto a que se
refere. A partir do conceito de “significado comportamental”, os significados são construídos,
constantemente testados e modificados através do uso dos signos, agindo como a ligação
operacional entre os signos e a prática; (v) Pragmático, relativo ao uso intencional de signos e o
comportamento de agentes, por exemplo, questões de intenção e negociação são temas do nível
pragmático; e (vi) Mundo Social, relativo as consequências sociais do uso dos signos nas
atividades humanas; lidam, por exemplo, com crenças, leis e cultura.
Tab. 3 Escada Semiótica resultante da análise do domínio.
Nível Questões
Fu
nçõ
es
do
S
iste
ma
d
e In
form
açã
o
Hu
ma
no
Mu
nd
o S
oci
al
S1. Quais são os impactos sociais das aplicações residenciais no contexto brasileiro? S2. Como podemos desenvolver aplicações nesse domínio sem ferir os aspectos psicológicos, emocionais e espirituais de cada morador? S3. Como os aspectos culturais podem influenciar nos comandos da aplicação? S4. Como auxiliar as pessoas a gerenciar a sobrecarga de informação a que são expostas? S5. A utilização de determinados gestos pode denegrir a cultura dos moradores? S6. Como os gestos podem ser acessíveis à toda população brasileira? S7. Como passar segurança da aplicação em relação à privacidade do usuário? S8. Há funcionalidades que não são desejáveis para a aplicação de domótica? S9. Qual seria a influencia de uma interação gestual na vida social das famílias? S10. Quais são as consequências do desenvolvimento sem a preocupação com o gênero dos moradores? S11. Quais os impactos negativos no uso dessas aplicações, e.g., sedentarismo?
Pra
gm
áti
co
P1. Os gestos e expressões faciais da vida cotidiana dos moradores podem ser utilizados como um dos meios de input da interação? P2. Como o usuário pode expressar, de forma intencional, a sua intenção de interagir com o ambiente sem que a aplicação possa confundir com a vida cotidiana? P3. O que seria melhor: personalização dos gestos ou um conjunto de opções de comandos já estudados? P4. Existe algum perfil de usuário implícito a esse tipo de interação?
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 47
Sem
ân
tico
Se1. Como podemos criar um vocabulário gestual que possa ser de fácil entendimento e memorização? Se2. Como podemos estabelecer um protocolo de comunicação natural para o usuário via interação gestual em aplicações residenciais no Brasil? Se3. Os comandos da aplicação podem ser entendidos de outra maneira, fora do contexto da aplicação? Se4. A utilização de um vocabulário gestual é ambígua em relação aos movimentos utilizados no cotidiano?
Pla
tafo
rma
Tec
noló
gic
a
Sin
táti
co Si1. Como seria a linguagem de interação gestual de forma perceptual com os dispositivos da casa
contextualizado ao cenário brasileiro? Si2. Como pode ser formalizada uma nova linguagem de interação gestual? Si3. Como desenvolver uma linguagem que não se baseie apenas em tecnologias? Si4. Que tipo e quais são as restrições uma nova linguagem de interação gestual para o público de usuários com diferentes níveis de deficiência motora?
Em
pír
ico
E1. Quais tecnologias permitem o reconhecimento gestual? E2. O reconhecimento gestual é possível de ser realizado mesmo na oclusão de luz? E3. Qual a resolução das câmeras e quantos frames por segundo são necessários para obter uma boa precisão dos movimentos do usuário? E4. O usuário precisa está a quantos metros do dispositivo de reconhecimento para interagir com a casa?
Mu
nd
o
Fís
ico
F1. Quais são as disposições físicas dos dispositivos de reconhecimento da aplicação na casa, e.g., no teto ou nas paredes? F2. Para maior “transparência” esses dispositivos devem ser visíveis para os usuários ou devem ser “camuflados”? F3. Como pessoas com deficiência visual podem localizar esses dispositivos nas residenciais? F4. Quantos dispositivos para reconhecimento gestual são necessários em uma aplicação?
A Tab. 3 apresenta o resultado da análise do domínio, através de questões de pesquisa
relevantes, que possuem relação com diversos aspectos do projeto de interfaces gestuais para o
contexto de uso das aplicações residenciais no Brasil.
Em alguns questionamentos da ES podemos correlacionar diretamente à PI. Os
questionamentos do Mundo Físico como, por exemplo, a questão F1 pode estar relacionada a
Arquitetos ou projetistas de aplicações residenciais que fazem alocação dos recursos necessários
para as aplicações. Ainda, o Mercado da PI fornece um forte ponto de partida de estudo sobre as
questões E1 e E2. Nos níveis mais acima da ES começamos a nos distanciar das características
puramente tecnológicas e passamos a questionar o domínio sob a ótica da interação com o
sistema, ou seja, o vocabulário gestual utilizado nas aplicações e os movimentos gestuais para
criar a gramática sintaticamente, por exemplo. Destacamos, ainda, a vertente cultural que
permeiam as questões do nível sintático, tal como a questão Si1, deixando explícito o contexto
brasileiro como um desafio que deve ser investigado com maior atenção.
A questão Se2 fortalece o objetivo de utilizarmos interfaces de usuário naturais para
desempenhar a “invisibilidade” da interação no ambiente residencial. Contudo entramos em um
dilema na camada pragmática refletido principalmente na questão P2. Neste nível pragmático os
signos são analisados sob a forma como eles são interpretados, nesse sentido, reflexões sobre
acessibilidade e, principalmente, a usabilidade do vocabulário gestual é importante devido a sua
transversalidade a diferentes níveis da ES. Essa transversalidade pode ser melhor compreendida
pela preocupação de acessibilidade, por exemplo, cogitada em todas os níveis da ES como em F3,
E4, Si4, Se1,P2 e S6.
A abordagem adotada na camada pragmática, a essas duas qualidades, acessibilidade e
usabilidade da/na interação, necessitam de informações sobre a compreensão do usuário sobre a
sua forma de interagir com o intuito de aprimorar metodologias, diretrizes, guias, dentre outras
fontes de informação. Isso é necessário e torna-se um grande desafio visto a ausência de estudos
que analisem os fatores psicológicos dos usuários com as formas de interação, para que uma base
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 48
mais consolidada dos gestos possa ser incorporada nos objetivos da acessibilidade e usabilidade
das aplicações.
Disparadamente a camada mais acima (Mundo Social), possui uma maior quantidade de
questionamentos perante as demais camadas. A razão deste “desbalanceamento” pode ser mais
bem visualizada e debatida a partir do mapeamento na ES (Tab. 3) dos trabalhos da literatura
citados na Seção 3.2, sobre interação gestual em aplicações residenciais. Cabe mencionar que a
forma como a interação gestual é realizada na aplicação foi a “visão” adotada para a realização do
mapeamento do trabalho na ES. Ou seja, as características que referenciam a forma como a
interação gestual é realizada, sua comunicação com os dispositivos, como os gestos são
realizados, como são escolhidos, intencionalmente utilizados e pensados para a sociedade.
Antes de qualquer análise prévia, notamos aqui, através dos questionamentos da ES e como
também destacado em [17], que as aplicações residenciais existentes focam sobretudo, ou se
limitam apenas, em requisitos tecnológicos das aplicações. Esse fato demonstra que as diversas
partes interessadas deste domínio de problema/solução devem buscar, também, soluções
pautadas sobre os fatores humanos e sociais, já que esse seguimento de aplicações irá fazer parte,
intrinsecamente, da vida cotidiana dos seus usuários.
Desta forma, para melhor analisar a realidade trabalhada nas aplicações já existentes,
seguimos a categorização dos níveis da ES mapeando, na Tab. 4, os trabalhos de aplicações
residenciais com interação gestual apresentadas na Seção 3.2.
Tab. 4 Classificação dos trabalhos da literatura na Escada Semiótica.
Perceptual Non-perceptual
[60]
Am
bie
nt
Wal
l [3
6]
Han
ds-
Up
[58]
[62]
Han
dm
ote
[70]
[29]
Lig
ht
Wid
gets
[22]
[75]
[35]
[26]
Ho
meT
alk [
40]
[27]
dW
atch
[9]
[61]
[30]
AIR
s [4
8]
XW
and [
74]
Mag
ic W
and [
59]
[11]
[51]
[41]
Sm
artK
om
[73]
[31]
Ges
ture
Pen
dan
t[24]
Mundo Social
Pragmático
Semântico
Sintático
Empírico
Mundo Físico
Marcamos na camada Mundo Físico da ES os trabalhos da literatura que incluem a
utilização tátil de objetos físicos para interagir com a aplicação. Embora esses trabalhos na Seção
3.2 estejam categorizados em tecnologias não perceptuais – para aqueles que possuem artefatos
físicos na aplicação – não marcamos no Mundo Físico da ES os trabalhos de Jung et al. [31] e
Wahlster et al. [73] pelo fato de que o ato de interagir gestualmente na aplicação é dado sem
nenhum objeto de auxílio. A preocupação na transferência de dados da aplicação para os
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 49
dispositivos da casa faz todos os trabalhos constarem na camada Empírica da ES, pela
preocupação explícita na comunicação sem fio, infravermelho, bluetooth, dentre outras formas de
comunicação de dados. Provavelmente esse requisito é bem adotado nas aplicações existentes por
ser um requisito estreitamente necessário para a aplicação. Na camada Sintática da ES todos os
trabalhos também são marcamos pelo fato dos seus autores determinarem as sequencias gestuais
para os comandos do vocabulário gestual, embora os autores apresentados não se preocupem
com a elaboração de uma gramática gestual para sua aplicação, a sintática do comando é
idealizada nas aplicações. Apesar disso, vale mencionar que em nenhum dos trabalhos citados os
autores tratam questões relacionas a adequabilidade da sintaxe da gramática gestual para seu
público-alvo. Por não haver este tipo de preocupação em nenhum dos trabalhos, certamente a
sintaxe gestual dessas soluções para a população brasileira pode não ser adequada, ainda mais
pensando na pluralidade de nossa população. É importante ainda destacar que para o contexto
residencial, no qual realmente tenha aplicações automatizadas e inteligentes, onde “tudo” possa
ser utilizado via interação gestual a análise do vocabulário gestual utilizado deverá ser
previamente estudada para melhor se adequar as diversidades e especificidades da população
brasileira.
Os trabalhos demarcados na camada Semântica, nesse contexto, são marcados por
preocupações metafóricas do vocabulário gestual, por exemplo, os gestos utilizados pela
população em suas atividades cotidianas são utilizados propositalmente de forma semelhante nas
aplicações residenciais.
Poucos são os trabalhos que possuem preocupações relativas à camada Mundo Social.
Kühnel et al. [41] atentam-se em aspectos culturais da sua aplicação, por exemplo, preocupados
como o modo como as pessoas escrevem da esquerda para direita ou vice-versa. Os AIRs são,
também, marcados nessa camada por seu desenvolvimento ser baseado na própria SO e por
utilizar recursos de Braille em seus AIRs para expandir sua acessibilidade. Os AIRs e o Pingente
Gesto também estão marcados na camada Pragmática da ES pela preocupação com a intenção do
uso da solução “marcadas” nos detalhes de design dessas soluções.
3.4 Discussão
A redução nos custos na fabricação de sistemas de automação pode ser vista como uma
oportunidade para as construtoras oferecerem casas mais “charmosas” aos consumidores, sendo
uma extensão do consumo da tecnologia pessoal que o próprio comprador já exige. Tendo em
vista a necessidade de proporcionar maior facilidade na interação, algumas aplicações optam pelo
uso da interação multimodal. Alguns dos trabalhos citados da literatura, por exemplo, utilizam a
combinação da fala com gestos, seja para fornecer maior acessibilidade do sistema, para facilitar o
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 50
reconhecimento dos comandos do usuário, ou mesmo para diminuir a complexidade do
vocabulário gestual.
Através da análise socio-técnica desse domínio percebemos que os trabalhos em domótica
terão consequências muito além da aparência e da forma como interagirmos com a casa (e.g., as
questões S9 e S11). Embora os trabalhos atuais ainda foquem, quase que puramente, em aspectos
tecnológicos (vide Tab. 4), os questionamentos das camadas Semântica, Pragmática e Mundo
Social (Tab. 3) devem ser reforçados pela escassez de seus tratamentos nos trabalhos da literatura.
Além do desafio inicial de respondermos as “indagações da ES” temos outro grande desafio em
esquematizar a implantação dessas soluções nas aplicações residenciais futuras. Assim como, as
preocupações sobre os relacionamentos entre os usuários também devem ser vistas como pontos
importantes de sucesso e de real beneficio a sociedade.
A visão trabalhada neste capítulo, de certo modo, abre possibilidades e discussões para as
aplicações com tendências de interação mais naturais, especialmente a gestual, aplicadas em casas,
cidades e/ou transportes públicos inteligentes, dado que a análise de domínio tem pontos em
comum no que tange a imersão da tecnologia e da interação gestual.
A visão socio-técnica fornecida pela SO é interessante por detalhar o domínio do problema
através de níveis e camadas que permitem uma melhor compreensão para o desenvolvimento de
aplicações desse seguimento, sendo este estruturado/simplificado como um sistema de
informação. O que auxilia o desenvolvimento futuro dessas aplicações para o Brasil indicando
quem são os envolvidos que podem influenciar em seu desenvolvimento como também os que
podem sofrer influências, assim como, deixam explícitos questionamentos proeminentes desde os
campos mais tecnológicos a relações sociais dos usuários desses sistemas.
Os resultados apresentados através das instanciações dos artefatos da PI e ES instigaram a
realização do mapeamento dos trabalhos da literatura aos resultados obtidos da ES. Os três
últimos níveis da ES, Tab. 4, foram pouco empreendidos nas pesquisas, quanto na concepção de
novas soluções de interação gestual para aplicações residenciais. Além de fornecer como
resultados a listagem de grupos de pesquisas e tecnologias presentes no contexto brasileiro,
desafios categorizados em níveis de um sistema de informação com interessantes indagações
sobre o tema, além de explicitamente apontar que a camada Mundo Social e Pragmática da ES
que é pouco abordada nos estudos realizados. Por fim, cabe destacar que não tivemos a intenção
de esgotar as questões de pesquisa relacionada com o tema apenas com a realização deste
trabalho, mas caracterizar a diversidade e a complexidade de questões que os desenvolvedores se
deparam, bem como, no impacto que esse domínio traz a sociedade.
Análise Socio-Técnica do Cenário Brasileiro baseada na Semiótica 51
3.5 Considerações Finais
Este trabalho apresentou uma análise socio-técnica do domínio de interação gestual em
aplicações residenciais no cenário brasileiro norteado pelo referencial teórico-metodológico da
Semiótica Organizacional. Os resultados obtidos revelam os stakeholders desse contexto de forma
estruturada que evidencia os níveis de categorização, utilizados em sua apresentação,
correlacionando os envolvidos de cada nível com a influência exercida as aplicações e os
envolvido que também são influenciados por elas. São apresentados também questionamentos
proeminentes que devem ser cogitados no desenvolvimento mais consciente, no futuro, de novas
soluções de interface e interação para aplicações residenciais no Brasil.
Este trabalho, portanto, contribui com a literatura da área, apresentando direções concretas
de pesquisas para melhor associação das aplicações residenciais aos seus usuários, para que de
fato, caminhando nesta direção de integração tecnológica com a sociedade, possamos beneficiar a
população brasileira.
Chapter 4
4 Recommendations for Gesture-based
Residential Interactive Systems Inspired by
Diversity2
4.1 Introduction
One of the first challenges of developing residential interactive systems based on gestures is the
requirements elicitation. The search of a more unobtrusive integration of the technology into the
environment has led to an increase of the use of perceptual technologies [34] for residential
applications. Analyzing publications in this context (e.g. [24,40,62,73,74]), we noticed that the
development of these systems is primarily focused on technological requirements, and that there
are few studies on user interaction with the system [17].
Due to the heterogeneity of users that are part of this context, the inclusion of con-cerns
about diversity in the development of residential applications becomes an im-portant aspect.
From this perspective, going beyond the technological requirements, we found that usability and
accessibility of user interaction with the system are only considered in a limited way in literature.
Norman and Nielsen [56] already mentioned the need for further exploration and study.
In previous work [17], we reported on Human-Computer Interaction (HCI)-related
challenges in the context of gestural interaction with residential applications. In this chapter we
report on the recommendations that can mitigate these challenges by considering requirements
2 . This is the revised version of the article published in HCII 2014, (http://www.hcii2014.org/): Correia, A.C.C., Miranda, L.C.,
Hornung, H.H., Marciano, J.N.: Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity.
In: 16th International Conference on Human-Computer Interaction, in press, Springer (2014) [16].
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity 53
for a development oriented to diversity, such as issues related to culture [39], ergonomics [55],
and gender [6,64], among others.
Considering the questions related to diversity that inform the inclusive design for
residential interactive systems based on gestures, the construction of these recommendations is
based on two important topics for any system in development, i.e. usability and accessibility. A
goal of this chapter is to support developers during the requirements elicitation phase.
The chapter is organized as follows: in Section 3.2, we present the description of the
recommendations for diversity; in Section 3.3, we present a real usage scenario; in Section 3.4, we
discuss our proposal; in Section 3.5, we present the conclusion.
4.2 Recommendations for Diversity
Different authors found that traditional usability models, methods, or guidelines have to be
revisited for gestural interaction, especially in the context of residential applications [17,56].
Similarly, accessibility guidelines need to be reevaluated. We did not find guidelines or
recommendations for smart homes that specifically consider gestural interaction. However,
already existing guidelines for smart homes (e.g. [25,69]) might be built upon, and existing general
usability or accessibility standards and guidelines, e.g. [9,10,26] might be adapted. Furthermore,
we follow the argument of Chi [12] and acknowledge that accessibility and usability should not be
considered as two separate or dichotomous concepts.
The construction of this set of recommendations is not specified to any graphical of
visual interfaces or technologies that allow gestural recognition. The recommendations allow
specifying the context of use in a systematic way, also simplifying the process of describing the
context and thus reducing reliance on specialists.
Analyzing usability and accessibility literature [21,23,47,50,52,53,55,56,68], we realize that
diversity regarding gestural interaction is still an underexplored topic. We did not find scientific
literature about diversity-specific recommendations or guidelines for gestural interaction with
residential applications and hence focused on literature in the area of Web applications. In Tab. 5
we describe recommendations inspired by user diversity regarding physical, perceptual and
cognitive abilities, using the following coding: (C)ognitive, ph(Y)sical, and (P)erceptual.
Tab. 5 Recommendations for gesture-based residential interactive systems
Recommendation Description Ability
Help The system should provide means to aid the user to deduct or remember
how to use the system and its gestures C
Confidence The system has to provide confidence to the user in performing a command C
Memorization Property of construction of gestural vocabulary guided by the memorization
capacity of the gestures of its users C
Satisfaction System’s ability to produce comfort, relaxation and enjoyment to the user C
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity 54
Recommendation Description Ability
Effort Ability of the system to be used with the minimum physical and mental
effort from the user C & Y
Stress
The system should avoid psychic disturbances on the functioning of the
system, derived from repetitions of unnecessary commands, complex
interaction flow, misinterpretation of commands, inappropriate gestures or
feedback out of context
C & Y
Discomfort The gestures should be designed so that even with many repetitions, they can
be used without causing discomfort to users C & Y
Progressive learning Mechanisms that guide the user of the simplest tasks to the most complex,
encouraging continuous learning C, Y & P
Culture Appropriateness of gestures to cultural habits in which they are immersed C, Y & P
Feedback Various informational output resources to the user C, Y & P
Gender Ability of the system to adjust its functioning considering particularities that
differentiate users of different genders C, Y & P
Customization Property of the system to allow the users to configure their gestural
commands the way they prefer to C, Y & P
Metaphorical property Metaphoric property of gestures to express their functionality C, Y & P
Learnability The system should help the users through mechanisms that can help them
understand and apply the gestures C & P
Completeness The gestural interaction must have commands that are complementary to
additional features of the application, for example, open/close and on/off C & P
Predictability
Property of navigation in the system that induces the sequence of gestures
used for a given task, i.e., the sequence of gestures used should be
predictable to the user
C & P
Coordination The sequence or number of members used in the gestures must comply with
the coordinative ability of its users Y
Balance The gestures should be designed so that even during its execution, users do
not lose balance Y
Explosion Ability of users to execute commands with variations in speed and intensity Y
Tension Gestures should not keep the muscles tight during execution Y
Ergonomics Related to characteristics of the human anatomy, anthropometry, physiology
and biomechanics, in building gesture Y & P
Accuracy Property of the system to recognize the gestures to a certain degree of
tolerance Y & P
Efficiency System property that determines how efficiently the human and automation
resources are used by the application P
Operability Property that expresses how much operational is the gestural vocabulary of
the application, in terms of its construction and ease of setup/configuration P
Fig. 3 graphically illustrates these items of recommendations, highlighting the contemplated
skills and embracing in an inclusive way the diversity that the group of users needs in the
physical, perceptual and cognitive framework.
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity 55
Fig. 3 Recommendations classified by physical, perceptual and cognitive skills.
Some items of recommendations might influence others. Consider for example
memorization. If each interaction object has a unique gesture, the gestural vocabulary of the
application is extensive and people will probably not learn the commands easily. But what would
be the “ideal” amount of commands for an application with respect to diversity? As we do not
yet have that answer, some steps can be performed as in the reuse of gestures itself. To give a
concrete example: a gesture of farewell or goodbye to turn off a TV might also be used to turn
off a stereo system or a fan. We can also use other metaphorical properties for each given
service, or, still, use completeness to help memorization. That is, to additional features, their
gestures are also performed in complementary way, for example, open and close the arms.
Feedback can facilitate progressive learning displaying messages of how the gestural
command is performed, which are the options that the user can perform, or help messages that
may also be gradually hidden from the application. The variety of ways to externalize the
information includes acoustic, haptic, or visual feedback. Feedback should be given directly by
the application since a user is not necessarily near a controlled device where the effect of the
action could be directly perceived.
Other recommendation that are beyond the usual field of usability and accessibility have
been added to this set, for example, culture, which refers to a study of the cultural context in
which the application is deployed. Since we know that there are particular gestures in different
cultures or with different meanings in each of them. Although today there is still no explicit
evidence of what the ethnic differences of gesticulation are, considering cultural aspects avoids
gradually decrease the cultural identity of certain user groups within the context of an application
[39].
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity 56
Another important item of recommendations is gender. There are still many open research
questions. In addition, an important factor is the large number of men in Information and
Communications Technology (ICT)-related professions that may be implicitly bring a bias
towards the development of products that not adequately consider gender-related aspects [6,64].
Coordination, balance, tension, explosion and discomfort are recommendations that should
influence directly and mainly the construction of the gestural vocabulary of the application. All
presented recommendations are intended to provide a reflection for the application development.
4.3 Usage Scenarios
The recommendations is large and complex enough to possibly pose a barrier to developers that
would like to employ this set. Specific studies on each category of the recommendations are
necessary to facilitate understanding of respective impacts on application design, evaluation and
use.
Knowledge of these recommendations helps developers to adequately consider diversity in
their designs. To illustrate the recommendations, we presented the recommendations (Tab. 5) to
a group of undergraduate and graduate computer science students who were involved in a
research and development project in the area of gesture-based residential systems. The group
identified four items to be explicitly addressed in their project.
The group’s research and development project was at an initial stage. The most prominent
idea in the group was developing a system that targets diversity. Another feature already defined
was that the application would be perceptual, i.e. would not use any physical device to aid the
recognition of gestures for the application. Thus, a goal was to enable the user to control doors,
lights, air conditioning and other features seen as basic in a residential application from any
location within the house. The development team had prior knowledge of usability and
accessibility.
In this scenario, the recommendations already supported the requirements elicitation for
the system. Exposing the recommendations to the development team, it was perceived that all
members identified new requirements. The additional recommendations were related to
customization, memorization, discomfort and metaphorical property: customization, since the
physical skills of the users may interfere in the gestures performance; memorization, due to the
need to relate functionalities with gestures; discomfort because of the gesture repetitions;
metaphorical property because of similarities among chosen gestures and static or animated
graphical interface elements.
Regarding customization, the user can assign gestures to the services that the application
provides. When designing the graphic interface, the number of commands for navigation in the
system was reduced to five, i.e. horizontal movements (right/left and left/right), vertical
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity 57
movement (up/down), selection (forward motion), and back (rearward movement). While the
up/down movement appeared, the down/up movement was eliminated from the gestural
vocabulary due to the use of a carrousel widget. The gesture for interacting with a carrousel
widget has a metaphoric quality. To decrease the discomfort of the execution of the gestures,
they were limited to the trunk region of the body, allowing users to use the application while
sitting.
The team implicitly used other concepts, such as: completeness in the horizontal
movement; confidence, clearly stating to the user that the requested service has been properly
executed or not; decreased effort; flexibility in the choice of gestures and precision, seeking to
improve the representation of gestural commands to be better recognized by the application.
4.4 Discussion
There are several attributes of a house that make it a home, which is much more than a
physical entity [67]. According to Dovey [20] a house is an object and home is an emotional and
significant relationship between people and their houses, that is, the house is where the
experience of home occurs. This definition shows the importance and complexity of the context,
and resonates well with approaches in HCI consider issues beyond the technological nature of
residential systems.
A contribution of this chapter are the recommendations that resulted from an analysis of
the interaction with gesture-based residential applications. These recommendations promote the
consideration of diversity during the development of residential applications as well as reflections
about gesture-based interaction in these applications. The identified recommendations go beyond
accessibility and usability and include aspects such as accuracy, stress, culture, genre, flexibility,
balance, coordination, ergonomics, tension, discomfort, completeness, explosion and
metaphorical properties. In the present stage of this research, developers might be supported in
the step of eliciting the requirements of application.
Current visions of gestural interaction design do not consider diversity sufficiently. Diverse
perspectives on these applications should be investigated so that the impact of technological
immersion on user’s lives and family relationships can be evaluated. Correia et al. [17] identified
the visual, haptic and acoustic resources in residential applications to support gestural interaction.
These features can help the user to utilize the functionalities the application provides.
Another important point to this discussion is the requirement of customization, which is a
means to promote diversity and facilitate the access of users with or without disabilities. By
offering customization, users can define or adapt gestures that match their personal preferences
or capabilities.
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity 58
Gestural interaction, even if informed by the recommendations presented in this chapter,
might be inadequate for certain users; for example, quadriplegics are limited to performing
movements above the neck. Even considering memorization, predictability of gestures or
through the mechanisms of continuous learning, the controlling of many remote devices in a
house with many rooms might exert a large cognitive load on the user. Thus, we emphasize the
need to other mechanisms to mitigate this kind of problems, such as multimodal interactions, or
visual interfaces.
Although the presented recommendations are not exhaustive, they contribute to making
explicit and reflecting about some important values of designing residential systems. Besides
being used during requirements elicitation, e.g. in form of a questionnaire, the list of
recommendations also serves to broaden the discussion and research about gestures used in these
applications.
4.5 Conclusion
This chapter presented recommendations for residential systems with gestural interaction,
grounded in the points of view of usability and accessibility. Besides adapting concerns of these
two areas of study other recommendations were added to best suit the diversity of users. The
main contribution of this research includes identifying key recommendations that aim to support
the inclusive design of residential applications of gestural interaction.
We also presented a scenario of real use, along with the classification of the
recommendations according to physical, perceptual and cognitive abilities. The tabulation of
these recommendations allows the study of methodological grounding of development,
contextualizes the conceptual visions of accessibility and usability found in the literature for
domotic and gestural contexts, and instigates reflections about building applications’ gestural
commands.
Furthermore, it is possible to apply the proposed recommendations during requirements
elicitation process of design projects, e.g. through questionnaires. These experiences will
contribute to refining and validating our recommendations. Since many recommendations have
interdependencies, another step will be to articulate requirements derived from the
recommendations with design values in order to support prioritizing requirements.
Capítulo 5
5 Syntactic/Semantic Formalizations and
Metrics of Residential Applications based
on Gestural Interface3
5.1 Introduction
The use of gestures is an emerging approach to interaction with residential systems. In a
previous work [17], we described several solutions that take advantage of this type of interaction,
with or without using physical artifacts such as wands (e.g. [59,74]), rings (e.g. [48]), or remote
controls. With the emergence of hardware able to recognize a predefined set of gestures such as
“horizontal”, “vertical” or ”depth”, developers can speed up the development process.
Residential interactive systems generally require solutions that provide a wide variety of
services to the residents some of which still might have an innovative character for them. Thus,
the design of these solutions should consider factors that support constructing the gestural
vocabulary of their applications. Without an abstraction of implementation details of gesture
recognition, a large workload is imposed to the programmer [32]. In an attempt to reduce this
problem, to devise a formalization of gestural interaction shows up to be evident
[1,19,18,32,37,38,71,72], as we also realize the need to analyze what are the consequences of the
gestural vocabulary imposed to the users [17]. For this, the semiotic foundation to involve
syntactic, semantic and pragmatic layers on the linguistic form in question is necessary.
3 This is the revised version of the article published in HCII 2014, (http://www.hcii2014.org/): Correia, A.C.C., Brizolara,
P.L.S., Miranda, L.C. and Marciano, J.N. Syntatic/Semantic Formalizations and Metrics of Residential Applications based on
Gestural Interface. In Proc. HCII’14, in Press (2014).[15]
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 60 Gestural Interface
In this context, this chapter proposes an abstraction of the gestural vocabulary in the form
of building blocks that aim to support developers in defining gestures with desired properties,
and that also might assist in users’ customization of gestures. The two sides – i.e. developers and
users – can communicate through a uniform description for different types of gestures that might
be used. Specifically, we discuss the syntactic and semantic layers the formalization.
First, the syntactic information of gestural interaction are worked through the specification
of a grammar of Extended Backus-Naur Form (EBNF) type [32]. We then discuss semantic
information of gesture usage that is described by instantiating the grammar for a residential
application, together with their actions or services offered by the application. Subsequently, we
analyze the combinations and relations of the micro-gestures4 derived from the syntactic
grammar, generating a set of metrics based on recommendations for residential systems [16], in
which the whole description of the movements used to interact is described in predetermined
syntactic formalization.
The chapter is organized as follows: Section 4.2 presents related work; Section 4.3 presents
syntactic and semantic formalizations; Section 4.4 presents the metrics; Section 4.5 discusses the
proposed formalization and metrics; and Section 4.6 exhibits the conclusion.
5.2 Related Work
The search for a standardization of gestural properties used to interact with applications
motivated many researchers to immerse themselves in research to this end; presenting solutions
that provides subsidies for applications of interaction by area or by the whole body, in perceptual
form through Microsoft Kinect5, Play Station (PS) Motion6 or just using cameras.
Spano et al. [72] reported the importance of a temporal analysis of gestural interaction,
since multi-touch interface notifications are only transmitted after the full detection of the
gestural command. The authors structure gestural interaction in a compositional and declarative
way through meta-models based on Petri Nets7, mentioning support for whole body gestures.
Their approach is achieved by building blocks. More complex gestures are formed by
combinations of simpler construction blocks and the behavior of the User Interface (UI) may be
associated with the entire gesture recognition or any other subcomponent, addressing the
problem of granularity8 for notification events.
4 Correspond to smaller syntactic descriptions of gestures.
5 http://www.microsoft.com/en-us/kinectforwindows/ . 6 http://us.playstation.com/ps3/playstation-move/. 7 A Petri net is a bipartite graph consisting of two types of nodes – i.e. places and transitions – which are connected by directed
arcs [72]. 8 Granularity is a partial recognition of the interaction that enables notifications during the process of interaction [72].
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 61 Gestural Interface
Doherty et al. [18] show how formal modeling can be used in designing a dynamic gestural
language defined by sequences of poses. These authors discuss models at different levels of
abstraction to deal with usability issues, such as ambiguity and overlap in gesture recognition. The
application object of analysis in this chapter allows the definition of a language of gesture in an
initialization phase separated from the real gesture recognition. At this stage, the user “shows”
the system different poses that appear in the command. The characteristics of the individual
postures are captured and stored. Subsequently, the poses captured may consist in sequences,
each one defining a gesture. After this initialization the application is ready for gestural
interaction using the defined language. The typical characteristics which are used to characterize
the positions are the hand orientation and the values of bending joints of the fingers. For some
dynamic poses, the trajectory of motion is also specified.
GestIT [71] and Proton++ [37,38] present a declarative and compositional framework of
gestural interaction. Proton++ allows developers to declaratively describe the custom gestures
separating the temporal sequence of events from the code associated with the UI behavior,
representing them as regular expressions. In GestIT custom gestures are defined by an
expression, from a set of basic conditions which can be composed by a set of operators, for
defining temporal relations in task modeling. One of the explicit concerns in both studies is the
need for an intermediary feedback while performing the gesture to the application. Both
approaches are directly related to events and the development of gestural interfaces. However,
their representation with respect to the execution of the gesture by the user does not include
position, angles and directions information.
GeForMT (Gesture Formalization for Multi-touch) [32] uses an EBNF grammar for
describing the syntactic form of multi-touch gestures. Thus, the chapter aims to formalize the
multi-touch gestural language based on semiotics. Although the syntactic, semantic and pragmatic
dimensions are mentioned in the research, its main focus is in the description of the symbols and
their combinations that permeate the syntactic study of multi-touch gestural interaction;
producing a two-dimensional approach to the grammar developed in this study. Basic gestures of
multi-touch interaction can be described by GeForMT in a general and understandable way,
through the use of functions, operations and atomic units of composition that are easy to
memorize. By identifying the similarities of touch sensitive and point interactions, Kammer et al.
[32] extend their approach to a three-dimensional representation that combines both interactions,
i.e. multi-touch and point.
Concerns about standardization of gestural interaction and some of its problems become
evident. Although some studies mention that the approach is by whole body, neither of these
works depicts gestural interaction beyond the use of hands. We are also seeking for more detailed
descriptions on the execution of performed gestures, mainly with the vision of the conception of
gestural interaction for the user [17]. Thus, with a more descriptive formalization we aim to
obtain more subsidies to describe metrics from this syntactic formalization.
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 62 Gestural Interface
Of all the works, semantics is explicit only in the approach of Kammer et al. [17] by
exposing a set of researchers who use classifications to human gestures; without a clear
association of gestural interaction used in the application to the semantics of the gestures. Spano
et al. [72] through Petri Nets that binds the application interface, but it is difficult to understand
for an effective use in developing applications.
5.3 Formalizations
In the following subsections, we describe the syntactic formalization of gestural inter-action and
the semantic formalization of the interaction. Subsequently, we present examples of both
approaches.
5.3.1 Syntactic Formalization
According to Liu [45] we can define a syntax based on Organizational Semiotics (OS) using
names of syntactic categories and production rules. In this case the syntactic form is concerned
with the rules of composition of complex signs from the simpler ones. For a formal language, Liu
[45] mentions that the rules for the generation and analysis of formal expressions allow us to
measure the complexity of a single method and a system of signs. An important reason for the
study of syntax is to provide a clear and structured window of the human mind over the gestural
language in question.
So to describe gestural interaction as a set of blocks for syntactic formalization, we
developed a dismemberment of gestural interaction as movements which are derived from
gestures or micro-gestures. This gestures can be static or dynamic, these being specified as a
function that designates which part of the body is required to gesture and its action. For the
static gestures its corresponding action is to maintain the function in a given direction or at an
angle relative to a function of the body for a minimum and/or maximum time. Dynamic
gestures have the move action. The execution of the gesture may be in linear or circular
direction. In the linear direction you can determine a direction and a displacement. In the circular
direction it is possible to determine the rotation in degrees, the axis of rotation and direction, i.e.
clockwise or counter-clockwise.
These movements can be combined of several micro-gestures, being them executed in
parallel (*), composition (+) or in sequence (,) (Fig. 4a). Furthermore, as the gestural
interaction is complex, we can enforce relationships between various movements such as cross,
join and separate, (Fig. 4b), we can also make combinations between these movements and their
relationships (Fig. 4c). Fig. 4 is a representation of the elements used in syntactic formalization to
aid the understanding of the dismemberment of gestural interaction.
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 63 Gestural Interface
Fig. 4 Gestural language structure for residential applications
To better understand the grammar proposal is valid to mention that the EBNF grammar is
defined as an ordered sequence of rules. Each rule contains a left and right side separated by a
symbol formed of a colon followed by an equal sign (“::=”).Forms of right-hand control may
include: (a) a sequence given from left to right; (b) choice, represented by the character pipeline
(“|”); (c) option, square brackets (“[]”) allow to include optional items between the square
brackets; and (d) repetition, brackets (“{}”) allow to include items repeated zero or more times,
between brackets.
For the construction of a representative grammar of three-dimensional gestures to control
residential applications that prioritizes upper body movements, Tab. 6 presents the results of the
formalization.
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 64 Gestural Interface
Tab. 6 Syntactic formalization of gestural interaction
<gestural_interaction> ::= <movement> | <relation>[<movement>{,<movement>}] | <gestural_interaction><combination>[[]<gestural_interaction>[]]
<movement> ::= <gesture>{<combination><gesture>}
<gesture> ::= <static> | <dynamic>
<static> ::= MAINTAIN(<function>,<direction>[,<time>]) | MAINTAIN(<function>,<angle><function>[,<time>])
<function> ::= <finger> | <hand> | <arm> | <forearm> | HEAD | THORAX
<finger> ::= <hand>[FINGER((1-5){,(1-5)})]
<hand> ::= HAND_(RIGHT | LEFT)
<arm> ::= ARM_(RIGHT | LEFT)
<forearm> ::= FOREARM_(RIGHT | LEFT)
<dynamic> ::= MOVE(<function>,<linear>| <circular>[,<time>])
<linear> ::= LINE <direction>[,<displacement>]
<circular> ::= CIRCLE <rotation>
<direction> ::= N | NE | E | SE | S | SW | W | NW | FRONT | BACK | N-F | NE-F | E-F | SE-F | S-F | SW-F | W-F | NW-F | N-B | NE-B | L-B | SE-B | S-B | SW-B | W-B | NW-B
<time> ::= (MAX | MIN)(1-9){0-9}s | MAX (1-9){0-9}s, MIN (1-9){0-9}s
<rotation> ::= <angle>(CLOCKWISE | COUNTERCLOCKWISE)
<angle> ::= (0-9){0-9}°<axis>
<axis> ::= x | y | z
<combination> ::= * | + | ,
<relation> ::= CROSS | JOIN | SEPARATE
<displacement> ::= (0-9){0-9}cm
<position> ::= POSITION<function>(TO RIGHT, TO LEFT, UP, DOWN, AHEAD, BEHIND)[<displacement>]OF<function>
Besides the detailed description of gestural interaction, it is perceived that formalization
abstracts any technological evidence involved in the interaction and UI. In the next subsection we
illustrate the syntax of the interaction in an example with the semantic description.
5.3.2 Semantic Formalization of the Application
The Semantic mentioned in Organizational Semiotics [45] is given as meaning or semantics
of a sign, usually considered as a relationship between a referred sign. Under this definition of
meaning, there must be a “reality” assumed, so that the signs can be mapped to objects in
“reality”.
From previous studies of residential applications we extracted a set of basic functionalities
ideally required for such applications, as services, for example, to open the door and turn on the
lamp. The semantic description of gestural interaction relates to changes in the environment that
the application works through the features, available to the user, which are executed through
gestural commands.
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 65 Gestural Interface
Idealizing a residential application, the features observed to be the most important are:
available services for the user to interact directly with objects/elements of the house such as
door, lamp, window, fan; and offer scenarios that allow users to modify the home environment,
as previously defined scenarios which can modify multiple objects/elements of the house
through the same control as, for example, prepare the environment for watching a movie.
Thus, to represent the semantics of this application, Fig. 5 shows basic elements detailing
the application. As mentioned, a basic application for residential environments must provide their
features (Fig. 5a), present interaction commands (Fig. 5b) that will be externalized to changes in
the environment (Fig. 5c) and in the respective feedbacks (Fig. 5d).
Fig. 5 Basic semantics structure of the residential applications
For a better understanding of the importance of this formalization to residential
applications, in Fig. 6 we exemplify its use.
Fig. 6 Example of semantics and syntactic structures to the “open the door” service
The semantic formalization of the application is crucial for the definition of gestures.
Through all of the features of the application, containing the details of what will happen in the
residential environment, designers will be helped to choose which gestural command better suits
the context; since there will be an association of the application and the use environment with the
design of the gesture. This will allow designers to predict the gestures for their applications,
idealizing and better suiting the gestural commands to the context in which they are submitted
before they even implement the application. It is also possible to check the application
complexity and better analyze the aspects of gestural interaction based on [16].
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 66 Gestural Interface
5.4 Metrics
Correia et al. [16] mention a number of key recommendations for residential interactive
systems that use gestural interaction. The set of recommendations is classified according to
physical, perceptual and cognitive abilities. Some of these recommendations have been mapped
in metrics based on the syntactic formalization details.
GQM [7] will be used, a general purpose approach composed of three levels, i.e. goal,
question and metric. Being an adaptive approach, the various environments and organizations
make use. Thus, as Hussain and Kutar [28] we extend the use of the approach for larger
prospects, being allowed to apply in some recommendations for residential interactive systems
[16]; configuring the recommendations (F)lexibility, (B)alance, e(X)plosion, (C)oordination,
(T)ension, (R)esistance and (E)ffort, now in goals of the GQM approach.
From these objectives, several questions can be formulated, then a series of metrics is
chosen to answer them. According to Basili et al. [7], the same metric can be used to answer
different questions; in the same way, metrics and questions may be used in several GQM models
for different purposes. In should be noted that the metrics are based on the syntactic
formalization described in previous section. Tab. 7 and Tab. 8 represent the result of GQM
approach to gestural interaction. Tab. 7 lists 19 metrics that are used for mapping with the
questions and goals presented in Tab. 8.
Tab. 7 Metrics list based on the syntactic formalization
M1. Variation in body axis M11. Angle between body parts
M2. Variation of position M12. Rotation
M3. Variation of direction M13. Opposite rotations
M4. Direction M14. Distinct movements
M5. Position M15. Displacement
M6. Number of combinations of static and dynamic
gestures
M16. Duration of a static
gesture
M7. Number of combinations of relationships M17. Maximum execution time
M8. Number of combinations M18. Minimum execution time
M9. Number of relations M19. Parallel execution
M10. Number of body parts
Tab. 8 GQM Approach
Goals Question Metrics
F Does the gesture require a strong curvature of the
body parts? M5, M11 & M12
F Is there a large displacement of a body part?
M2, M3, M4, M12 &
M15
F Is there a sudden change of direction of a body part? M3 & M12
B Is there an intense rotation of the body? M11, M12 & M13
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 67 Gestural Interface
Goals Question Metrics
B Is there an intense change in the inclination of the
body? M1, M3, M11 & M12
X Do the gestures have abrupt changes in motion? M6, M7 & M13
X Are the gestures fast? M11, M15, M17 & M18
C Are there many parts of the body involved in gestural
command? M10
C Are there distinct movements being performed by
various parts of the body simultaneously? M10, M14 & M19
C Are there movements of more than a body part being
performed in parallel? M10 & M19
C Does the user need to rotate sequentially clockwise
and anti-clockwise? M13 & M19
R Do members need to be elevated several times? M4, M5, M8 & M11
E Is the gesture very elaborate? M7, M8, M9 & M10
E Does the gesture require the user to move a body
part? M1, M2, M12 & M15
E Could the gesture be performed lying down or sitting? M1
F & B Does the user need to stoop?
M1, M2, M4, M11 &
M12
F & T Does the gesture require the user to maintain a body
part much flexed? M11 & M12
F & T Does the gesture require the user to maintain a body
part very extended? M11 & M12
B & X Is there a sudden change in direction of the body? M1, M3 & M12
B & T Does the gesture requires to position a body part out
of the relaxed position? M1, M2, M3, & M11
B & T Do members need to be elevated? M4, M5 & M11
B & R Is the gesture long? M16, M17 & M18
T & R Does the user need to strike a pose for a long time? M16 & M18
The questions that are associated with flexibility are characterized by concern to require the
user a high degree of movement of the joints or strong curvature of the body parts; about the
need to keep a part of the body very flexed or too extended while performing the gesture
command; and also if there is a displacement, a sudden change of direction of movement or if
the gestural command requires the user to stoop. Through syntactic formalization of gestural
commands that comprise the vocabulary of the application, it is possible to check these aspects
of flexibility through the angles between body parts, different positions and direction,
displacements and rotation of the movement that characterize its metrics.
The questions related to balance are intended to verify gestures that may cause imbalance
to the user. An intense rotation or a sudden change in direction of the body, body inclination and
need of the user to stoop, show evidence that gestures may cause imbalance to the user.
The sudden changes of direction in any part of the body, such as moving the hand from
north to south, or whether there is a variation of movements – a variation of static and dynamic
gestures in a given time period will result in natural acceleration of user movement. Under these
conditions the command will require the user an explosion to execute the command.
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 68 Gestural Interface
By involving various body parts on the gesture and assigning difficulties of doing different
movements between these parts, the degree of difficulty increases for users who have little
coordination. For example, rotate the right hand clockwise and the left hand counterclockwise.
Likewise the movements being executed in parallel by several body parts.
Flex or extend the arm too much, elevate body parts, make a pose for a long time, tense
the muscles of users. Commands that are executed in a period of time should be analyzed by the
resistance of potential users. Besides gestures of elevation that takes the user from the comfort
zone, i.e. raise the arms above the head for a certain time, especially when they are performed
repeatedly. The main gestures should observe these requirements.
Commands that require a greater degree of effort from the users are those more elaborate,
with several sequences of steps to termination, also characterized by excessive time, changes in
the user position, perform commands standing and sitting.
5.5 Discussion
Technological advances stimulate the development of more natural interactions for residential
applications, mostly by referencing a context of intimate and familiar use. Seen this need, a form
of interaction that begins to be explored further in this field is the use of gestural interfaces, being
a kind of communication already used naturally in this environment.
But the choice of gestural interaction also brings many challenges of development that go
beyond the difficulties of gesture recognition. The unrepresentative choice of gestural commands
to the context, the lack of concern with the diversity of users, lack of standardization of controls,
the little detailed description of the commands used are some problems that are not directly
associated with the application technology.
So, with a syntactic formalization of gestural interaction, the problems encountered in the
analysis of the application can be treated with a level of abstraction that effectively hides the
details of any specific technology that can be employed for interaction. Addressing the syntactic
form of gestural interaction for developing applications brings benefits such as standardization.
Any gesture described by grammar owns the same properties which also facilitates its extension.
As perceived, the grammar only formalizes gestures of the upper body, which is not impossible
to extend to the whole body, while still maintaining their properties.
With syntactic description, we still have the flexibility to create new commands or change
existing ones without getting into conflicts with other gestures of the application. Moreover, their
use facilitates the reuse of the generated code on these syntactic specifications.
A counterpoint to the benefits is the long description of the command. As a gesture is
broken into several micro-gestures, its description results in an extensive sequence of
combinations. This problem is more evident to commands that are naturally more complex.
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 69 Gestural Interface
Another important fact is that the user will not be able to repeat exactly the same command, for
example, with the same angles and rotations. In this case, it is needed to assign a tolerance
concerning the recognition of the application.
Through semantic formalization of the application, all the features are displayed globally,
helping developers to project more adequately gestures to their context; since there will be an
explicit association of possible gestures with its functionality and the changes they caused in the
environment, together with its feedback. Perform semantic formalization in an initial form in the
development process will allow to analyze various recommendations of gestural interaction
predicting possible interaction problems.
However, the semantic formalization described in this chapter is referred to the
application. It is not purely an analysis of gestural interaction. This other type of formalization
yields many challenges of how to represent semantically and “precisely” the human gestures;
since even representation by images of gestures also needs a caption to avoid ambiguity of
interpretations. Also working the semantics of gestural interaction only discursively can give
different meanings due to various forms of interpretation. Furthermore, there is an assignment of
meanings also in facial expressions of users when performing gestures. A formalization of this
level will help further the construction of a most representative vocabulary to the diversity of
users, covering cultural, of learning and gender aspects, among others recommendations covered
by Correia et al. [16].
In addition to the metrics, the questions prominent of the GQM approach are important in
the construction of gestural vocabulary. Even without actually using the metrics in the analysis of
the gestural vocabulary of the application, the knowledge of the goals and their questions help
designers in a further reflection in building their own vocabulary for applications.
From this study, a set of indicators for each user profile can be investigated to adapt the
gestural interaction of the application to the users. Indicators allowed to qualify a gesture
described by the syntactic form in accordance with the recommendations/goals. As a
hypothetical example, we can report that older users can perform arm movements to an angle of
80 degrees. From this indicator, it is possible to check through the metrics, a more appropriate
set to the profile described, and can automate this analysis.
5.6 Conclusion
In this work, we present the syntactic grammar that abstracts and describes a wide variety of
potential gestures for the interaction of a residential application, homogenizing its gestural
vocabulary. Also, we present the semantic formalization of residential application that assists in
building the gestural vocabulary, allowing a preliminary review of the application before its
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on 70 Gestural Interface
development. The metrics presented in this chapter helped designers analyzing the application
vocabulary.
Capítulo 6
6 Hands in Home: Desenvolvimento de um
Sistema Residencial baseado em Gestos
6.1 Introdução
Desenvolver sistemas residenciais requer reflexões sobre o caráter social que estes adquirem no
contexto de uso em que estarão inseridos. Diversas perspectivas sobre essas aplicações devem ser
investigadas para que o impacto da imersão tecnológica influencie positivamente a vida e o
relacionamento familiar dos usuários. Sob as características de diversidade e naturalidade, visões
sobre como a interação gestual é concebida apresentam-se pouco debatidas tanto para
desenvolvedores quanto pesquisadores para que a construção de novas aplicações seja melhor
embasada [17].
Uma das características encontradas nas publicações científicas de aplicações residenciais
com interação gestual é que seu desenvolvimento tem sido focado principalmente em requisitos
de caráter tecnológico, sendo pouco estudado, de fato, como ocorre a interação do usuário com o
sistema [17]. Além disso, percebemos também a existência do hábito de reutilizar comandos
gestuais que são oriundos de outras tecnologias como as interfaces de celulares, smartphones,
jogos, dentre outros meios de interação gestual, muitas vezes de forma independente do tipo de
interação, seja ela perceptual, não-perceptual [34], touchscreen e/ou tangível, e independente do
contexto da aplicação. Um ponto problemático nesse caso é que essa propagação de comandos
seja efetuada sem estudos prévios sobre aspectos como a ergonomia, o comportamento dos
usuários diante da interação gestual, impactos no relacionamento familiar ou que possam afetar
na saúde, educação ou segurança dos moradores. Ou seja, os problemas e erros não analisados na
construção dos comandos gestuais de uma aplicação podem ser propagados para diversos
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 72
domínios que envolvem a interação gestual, ou mesmo surgirem em virtude do uso desses
comandos fora do contexto para o qual foram projetados.
Em trabalhos anteriores, descrevemos desafios sobre a ótica de como a interação gestual
é concebida e apresentamos recomendações para o desenvolvimento de aplicações desse
contexto [16]. Assim, abordamos neste trabalho as principais decisões tomadas, de fato, no
processo de desenvolvimento de um sistema residencial baseado em interação gestual.
Todas as fases do desenvolvimento foram influenciadas pela escolha da interação gestual.
Assim, apresentamos o processo de construção da aplicação em quatro etapas, i.e. decisões
tecnológicas, funcionais, de interface e de interação. Cada uma delas contribui para entender a
necessidade de preocupar-se com a interação desde o início do processo, além de apresentar
reflexões, dificuldades, problemas e algumas soluções realizadas no desenvolvimento de uma
aplicação residencial de interação gestual.
O capítulo está organizado da seguinte maneira: na próxima seção descrevemos o contexto
e os objetivos gerais da aplicação em questão. Em seguida apresentamos o seu processo de
desenvolvimento, subdividido em quatro etapas. Por fim apresentamos uma discussão geral sobre
os resultados do trabalho e, em seguida, a conclusão.
6.2 Aplicações Residenciais Com Interação Gestual
Aplicações residenciais relacionam-se com o uso de sistemas automatizados e/ou inteligentes que
visam melhorar aspectos da vida de seus usuários, como segurança, conforto e o uso racional dos
recursos domésticos. Os avanços tecnológicos, e as transformações sociais resultantes,
impulsionam o desenvolvimento de interações mais naturais para essas aplicações, que
considerem a diversidade de pessoas, bem como as relações que elas constroem neste espaço,
entre si e com o próprio ambiente ao seu redor [20]. Visto estas necessidades, uma das formas de
interação que começa a ser mais explorada neste domínio são as interfaces gestuais, por
utilizarem um tipo de comunicação natural aos seres humanos.
No entanto, através do levantamento de trabalhos desse contexto [17] identificamos que o
desenvolvimento de aplicações residenciais tem sido focado, sobretudo, em aspectos tecnológicos
e físicos da interação. Considerações sobre as características dos usuários no contexto de imersão
da aplicação e da própria forma como ocorre a interação, especificamente a interação gestual, são
muito superficialmente e/ou indiretamente abordados nas aplicações atuais para ambientes
residenciais.
Os trabalhos Kinect in the Kitchen [60], Ambient Wall [36] e Hands-Up [58], se
aproximam em alguns aspectos aos objetivos de desenvolvimento da nossa aplicação. Sobre o
aspecto tecnológico, todas as soluções utilizam o mesmo artefato de reconhecimento gestual, i.e.
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 73
o Microsoft Kinect9, junto a algum tipo de interface gráfica. O Kinect in the Kitchen [60] utiliza
um monitor localizado na cozinha para auxiliar o usuário, que com as mãos sujas ou ocupadas
não consiga folhear um livro de receita. Ele disponibiliza também um temporizador de cozinha e
um gerenciador de músicas para que o usuário escute enquanto cozinha. Já o Ambient Wall [36] e
Hands-Up [58] projetam suas interfaces, respectivamente, na parede e teto da casa.
De forma geral, nossa visão sobre as aplicações residenciais via interação gestual vai além
das preocupações com a melhoria dos algoritmos de reconhecimento gestual. Tão pouco foca
apenas em disponibilizar um vasto conjunto de funcionalidades. Uma vez que essas aplicações
estão diretamente relacionadas ao ambiente da casa – diferente de outras tecnologias de interação,
como mobile ou web que promovem uma experiência mais individual e pessoal – o uso da
interação gestual pode afetar todo o ambiente familiar.
Desde o início do design e desenvolvimento do sistema residencial baseado em gestos, que
será melhor detalhado na próxima seção, nos preocupamos com os impactos da interação gestual
sobre a aplicação. Independente dos benefícios e desafios acarretados por esta escolha almejamos
uma aplicação imersa de forma “sutil” e tão adaptável quanto possível à diversidade de usuários
que o contexto residencial incorpora.
6.3 Hands in Home
O sistema residencial baseado em interação gestual denominado de Hands in Home10 (HiH) foi
projetado para o contexto de uso residencial da diversidade. Ao interagir com ele, os usuários
podem utilizar gestos estáticos (poses) ou dinâmicos para comandar os dispositivos de
automação e controle residencial da casa. Os gestos dos usuários são reconhecidos a partir de
dados capturados por um sensor de profundidade do Microsoft Kinect. O sistema é composto
também por uma interface gráfica, concebida para ser projetada sobre uma das paredes da
residência. Ela provê feedback aos usuários e os auxilia a interagir com a aplicação e com os
dispositivos da residência. Um modo de interação “puramente gestual”, sem interface gráfica,
também está previsto para futuras versões. O sistema é opensource e possui código-fonte
disponível online11 para livre acesso.
O Hands in Home é integrado a outro sistema, i.e. ao HouseHUB12, responsável por
manter informações sobre as configurações dos usuários e por gerenciar a comunicação com os
dispositivos de automação e controle residenciais. Esses dispositivos, denominados appliances,
são a base das funcionalidades do HouseHUB. Para cada um deles o sistema apresenta um
conjunto de serviços, as ações que ele pode executar; status, as informações mantidas pelo
9 Site do Kinect para XBox: http://www.xbox.com/en-US/kinect 10 Disponível gratuitamente para download em http://www.handsinhome.pairg.dimap.ufrn.br. 11 http://www.handsinhome.pairg.dimap.ufrn.br/sourcecode/. 12 http://www.househub.pairg.dimap.ufrn.br.
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 74
dispositivo sobre si ou sobre o ambiente ao seu redor; e configurações, definições que podem
modificar o seu comportamento.
O HouseHUB provê uma API, que dá suporte a múltiplas interfaces ou sistemas cliente. O
Hands In Home é um deles. Por isso, ele provê um conjunto de funcionalidades básicas que
permitem a interação com os recursos do HouseHUB. Tais como a visualização das appliances e
de seus serviços, bem como a execução destes. Isto permite o controle de funcionalidades dos
dispositivos da casa, como abrir a porta, ligar a lâmpada ou desligar o ventilador, através de
comandos gestuais. O Hands in Home disponibiliza também a execução dos cenários, ações
realizadas em conjunto sobre diferentes dispositivos da casa. Um cenário pode ser definido, por
exemplo, para preparar o ambiente para um usuário assistir um filme, desligando as luzes,
fechando as cortinas e ligando a TV. Para contemplar um número maior de perfis de usuários a
funcionalidade de personalização também foi projetada na aplicação.
A escolha destas funcionalidades, bem como a forma de implementá-las, exigiu que
fizéssemos escolhas e solucionássemos desafios. No decorrer desta seção abordaremos essas
decisões e desafios enfrentados durante o desenvolvimento do Hands in Home, divididos em
quatro subseções. Cada uma delas enfatiza as decisões de projeto sobre um aspecto da aplicação.
Respectivamente são eles: aspectos tecnológicos, funcionais, de interface e da interação gestual.
6.3.1 Decisões Tecnológicas
Segundo Saffer [66], os tipos de sensores utilizados em um sistema gestual determinam
inteiramente as interações gestuais possíveis. Por isso, e buscando atender ao conjunto de
recomendações definidas anteriormente [16], analisamos, durante a etapa inicial de
desenvolvimento do sistema HiH, os aspectos tecnológicos que suportariam a interação gestual.
Dentre as opções disponíveis atualmente para interfaces gestuais – e.g. câmeras, controles
com infravermelho, varinhas [59,74] e anéis [48]– os sensores de profundidade são uma das
alternativas que permitem um maior número de interações. Através deles é possível realizar
gestos com todo o corpo, sem que os usuários necessitem utilizar algum dispositivo físico para
auxiliar o reconhecimento gestual. Entretanto, alguns pontos negativos de sua utilização são a
baixa precisão e a falta de feedback “direto” aos usuários. Uma vez que com a utilização de
interações perceptíveis é possível fornecer outros tipos de notificações, como táteis ou hápticas,
que auxiliam o usuário a identificar os comandos realizados.
O que percebemos é que além da escolha do hardware, os componentes de software
utilizados para a interação gestual podem influenciar no desenvolvimento de toda a aplicação.
Algumas características e restrições podem ser priorizadas na escolha desses componentes. Tais
como as linguagens de programação e sistemas operacionais suportados, tipos de licença – e.g.
opensource e comercial –, dispositivos suportados e as funcionalidades oferecidas. Além de
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 75
outros fatores mais subjetivos como a facilidade de aprendizado, as experiências anteriores da
equipe, os custos para desenvolvimento e restrições de distribuição.
Optamos pelo uso do sensor Kinect, em detrimento de outros dispositivos similares –
como o Asus Xtion13 e o Carmine14 da Prime Sense. Devido ao maior acesso ao dispositivo da
Microsoft, decorrente de sua predominância no mercado de sensores de profundidade, em
virtude de seu uso em jogos digitais na plataforma Xbox.
Para controlar o Kinect, foram encontradas três APIs: o Kinect for Windows SDK15, o
framework OpenNi16 e a biblioteca Libfreenect17. Essas APIs permitem acesso às funcionalidades
oferecidas pelo sensor de profundidade. Entretanto, para o desenvolvimento de aplicações
gestuais, outras tecnologias, desenvolvidas com base nestas APIs, podem ser utilizadas para
incrementar as funcionalidades ofertadas, simplificar seu uso, ou ainda prover serviços auxiliares.
Algumas das principais tecnologias são apresentadas na Tab. 9
Tab. 9 Síntese das tecnologias de reconhecimento gestual encontradas para controlar o Kinect
Tecnologias APIs Linguagem SO
OpenFrameworks Libfreenect C++ OS X, Linux, Windows, IOS, Android,
ARM
Processing
OpenNi(SimpleOpenNi)
Libfreenect
(OpenKinect)
Java Linux, Windows, Mac
Cinder Libfreenect C++ Windows, MacOS
Microsoft Visual Studio
Express 2012; XNA Game
Studio 4.0
Kinect for Windows
SDK
C++, C#,
Visual Basic Windows
Os fatores priorizados na escolha dos componentes de software foram a disponibilidade
em múltiplas plataformas, as restrições para distribuição, facilidade de aprendizado,
documentação e linguagem de programação disponível. Com base nisso, optamos pelo uso do
SimpleOpenNi18, um wrapper escrito em Java do OpenNi baseado no Processing19.
Definida a necessidade de uma interface gráfica, como apresentado na próxima subseção,
analisamos alguns frameworks e bibliotecas para a construção desta. Algumas restrições foram
impostas dadas as nossas decisões tecnológicas já mencionadas, como a compatibilidade com a
linguagem de programação Java. Buscamos também a flexibilidade para a construção de
componentes de interface gráfica personalizados. Tendo em vista que estes componentes
precisam ser adaptados à interação gestual, para aprimorar a facilidade de uso e de aprendizado
13 http://event.asus.com/wavi/product/xtion.aspx 14 http://www.primesense.com/ 15 http://www.microsoft.com/en-us/kinectforwindowsdev/. 16 http://www.openni.org. 17 https://github.com/OpenKinect/libfreenect. 18 http://code.google.com/p/simple-openni. 19 Processing é uma linguagem de programação de código aberto e ambiente de desenvolvimento integrado
(http://www.processing.org).
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 76
da aplicação. Com base nestes critérios, analisamos três diferentes tecnologias para o
desenvolvimento da interface gráfica da aplicação: Swing20, JavaFX21 e Processing.
O Swing fornece muitos componentes, possui boa documentação e várias ferramentas para
auxiliar criação de interfaces. Porém é difícil personalizar seus elementos gráficos. JavaFX
também possui um grande número de componentes gráficos, no entanto possui menos
ferramentas disponíveis para criação e também apresenta dificuldades de personalização dos
componentes. Com o Processing, o número de componentes é reduzido há pouco suporte para a
construção de componentes de interface gráfica. Entretanto, apresenta maior flexibilidade para
construção de componentes adaptados à interação gestual e uma menor curva de aprendizado,
devido à relativa simplicidade de sua API e à documentação abrangente. Além disso, ele possui
maior compatibilidade com a biblioteca SimpleOpenNi, que é baseada no Processing. Tornando
a integração entre eles mais simples.
6.3.2 Decisões Funcionais do Sistema
Paralelamente às definições de aspectos tecnológicos, analisamos o contexto de uso e as
necessidades dos usuários com base em um conjunto de recomendações que embasam/inspiram
um design inclusivo para soluções residenciais [16], buscando aumentar a qualidade de uso da
aplicação.
Vislumbramos inicialmente o Hands in Home como uma aplicação “invisível” no ambiente
residencial, sem a necessidade de interface gráfica. Dessa forma, o usuário concentraria sua
atenção em apenas interagir com o ambiente. Contudo, com a construção dos protótipos, foram
levantados alguns desafios relacionados ao feedback e à quantidade de comandos gestuais
utilizados. Percebemos que quanto maior o número de comandos gestuais, maior seria o esforço
de memorização e aprendizado pelos usuários. Nos deparamos com um conjunto de indagações:
como aprender de forma eficiente os gestos da aplicação sem visualizá-los? Como relembrar um
gesto esquecido? Ou mesmo, onde acessar a informação sobre os gestos se a aplicação é
“invisível”? Como comunicar os usuários quais ações eles podem executar no sistema? Sem
solucionar esses questionamentos, com o crescimento dos dispositivos de automação e controle
em uma residência, o uso da aplicação sem uma interface gráfica tornaria a interação inviável.
Entretanto, algumas limitações dessa forma de interação podem impor dificuldades ao uso
de uma interface gráfica. Navegar através da interface, mesmo para executar as tarefas mais
simples, pode se tornar cansativo e ineficiente. Para equilibrar esses requisitos adotamos uma
abordagem híbrida. Através da interface gráfica o usuário poderia ter acesso a todas as
funcionalidades do sistema, o que eliminaria a necessidade de memorizar todos os comandos
20 Swing é um widget toolkit para uso com o Java 21 JavaFX é uma plataforma de software multimídia desenvolvida pela Oracle baseada em Java para a criação e disponibilização
de aplicações de interfaces elaboradas para Internet que pode ser executada em vários dispositivos diferentes.
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 77
gestuais disponíveis. Por outro lado, os usuários poderiam executar comandos gestuais para ativar
“diretamente” cenários e serviços mais utilizados, aumentando a eficiência do sistema.
A qualidade de uso destas funcionalidades está relacionada, no entanto, com a “qualidade
dos gestos” definidos. Porém, definir gestos que atendam às preferências e limitações de cada
usuário, dadas as diferenças físicas, cognitivas e perceptivas já levantadas [16], não é uma tarefa
simples. Identificamos, portanto, a necessidade de prover funcionalidades para personalização
dos comandos gestuais.
Inicialmente consideramos a criação de uma ferramenta externa que permitisse aos usuários
especificar novos gestos para o sistema. Entretanto, a potencial complexidade desta tarefa
poderia impor barreiras aos usuários finais. Desta forma, decidimos que a personalização dos
gestos deveria ser realizada com o mesmo tipo de interface e de interação adotados pelo sistema.
De forma que a “especificação” de novos gestos pelos usuários seria similar a execução dos
gestos no sistema. E embora esta abordagem eleve a complexidade de desenvolvimento, pode
prover uma interação mais natural aos usuários. Essa personalização, por sua vez, pode auxiliar a
memorização e o aprendizado dos comandos gestuais. Tendo em vista que os próprios usuários
terão definido os comandos gestuais com base em suas experiências, preferências ou nas
associações construídas entre os gestos e as ações correspondentes no sistema. Todavia, para
prover uma experiência de uso satisfatória, ainda é necessário que a aplicação auxilie o
aprendizado progressivo e a memorização desses comandos. Este problema pode ser minimizado
através de representações visuais de cada gesto, que demonstrem como realizá-los, aliado ao uso
de ajuda contextualizada que introduza os usuários às funcionalidades da aplicação.
A Fig. 6 apresenta o diagrama de casos de uso do sistema Hands in Home, que sintetiza as
funcionalidades examinadas nesta subseção. Os casos de uso destacados em vermelho tem um
enfoque na execução de operações sobre os dispositivos da casa, através do sistema HouseHub.
Aqueles marcados em amarelo, por sua vez, relacionam-se à execução e personalização de
comandos gestuais da aplicação. Enquanto os casos de uso em azul representam funcionalidades
relacionadas à visualização de dados e à interação com a interface do sistema.
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 78
Fig. 7 Diagrama de Caso de Uso do Sistema Hands in Home.
Embora o número de casos de uso seja reduzido, a complexidade destes é elevada, pois
abrangem aspectos de tecnologia e de interação ainda pouco consolidados. O projeto das
interfaces, por exemplo, já não é uma tarefa trivial nos sistemas interativos “tradicionais”. Em
sistemas baseados na interação gestual isto pode ser um desafio ainda maior, dado a falta de
padrões de interação bem estabelecidos, questões de feedback, apresentação, manipulação da
informação, dentre outras preocupações. Assim, a próxima subseção se propõe a analisar e
discutir os desafios relacionados à interface gráfica adotada na aplicação.
6.3.3 Decisões de Interface
Vários trabalhos [17] utilizam interfaces gestuais baseadas na manipulação direta dos elementos
virtuais. Usualmente, as mãos são utilizadas para mover e selecionar elementos da interface, com
características similares ao mouse nos sistemas desktop ou do toque em sistemas touchscreen.
Assim, seguindo este princípio, construímos um protótipo (Fig. 8) para validar a ideia.
A Fig. 8a representa um objeto de interação como, por exemplo, uma porta, ainda não
selecionado pelo usuário. A Fig. 8b representa a animação circular dos serviços oferecidos por
aquele “objeto”, por exemplo, abrir, fechar, trancar a porta. Os serviços saem do centro do
objeto de interação e ficam dispostos de forma circular, ao redor do objeto selecionado. Por fim,
a Fig. 8c mostra o protótipo implementado, seguindo estas propriedades. É possível notar que a
mão do usuário é representada como um cursor na interface. Ao passar a mão sobre o objeto,
seus serviços são dispostos, como ilustra a figura.
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 79
Esta interface é baseada em elementos circulares, o que aumenta a área de seleção,
amenizando a imprecisão do sistema. Isto também induz a um menor deslocamento das mãos
dos usuários, o que consequentemente diminui o esforço durante a seleção [46]. Entretanto, essa
solução apontou alguns problemas de usabilidade, destacados a seguir, que nos instigaram a
desenvolver outra abordagem para a interface do sistema.
Uma interface de manipulação direta, como a apresentada (Fig. 8), iria impor que o usuário
mantivesse as mãos levantadas a maior parte do tempo, o que poderia causar fadiga, em especial
aos usuários com limitações motoras. Como o espaço de manipulação dos elementos estaria
invisível e posicionado “no ar”, o usuário poderia ter dificuldades também para “alcançar” e
interagir com a interface, devido a dificuldade de localização nesse espaço virtual. As limitações
de precisão atuais do Microsoft Kinect poderiam também dificultar a manipulação e
posicionamento precisos na interface. Além disso, como ainda não é disponibilizado algum
suporte nativo de reconhecimento dos movimentos dos dedos, haveria uma maior limitação nos
comandos que poderiam ser realizados com as mãos.
Fig. 8 Protótipo de interface circular com manipulação direta via interação gestual.
Para solucionar os problemas detectados, as formas de manipulação e interação foram
reprojetadas. Optamos por utilizar gestos corporais ao invés de apenas capturar o
posicionamento das mãos. Com isto, a necessidade de precisão foi reduzida, pois a posição exata
dos membros do corpo do usuário não seria mais importante, invés disso, o movimento como
um todo seria considerado. Isto tornaria também a interação com o sistema mais consistente,
pois estaria toda baseada em gestos. E mais adaptável, pois os comandos gestuais poderiam ser
modificados para atender a diferentes usuários, inclusive considerando necessidades especiais,
como um indivíduo sem algum dos membros.
Essa decisão implica também em outros desafios. Interfaces gestuais tendem a ser
naturalmente mais cansativas, pois são baseadas em movimentos do corpo. Com isto, o número
de comandos gestuais necessários para acessar os elementos da aplicação deve ser o mínimo
possível. Igualmente, a variedade de comandos de navegação deve ser reduzida devido aos
problemas anteriormente mencionados. Dessa forma, a interface deve ser adaptada para otimizar
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 80
o acesso aos elementos de interesse do usuário, mas mantendo o conjunto de gestos para
navegação reduzido e consistente. Além disso, como não seria possível utilizar ações “point and
click”, todos os elementos deveriam ser acessíveis através dos comandos gestuais de navegação.
Tendo como base estes princípios, idealizamos uma navegação direcional. Cada
movimentação dentro da interface – para a direita, para a esquerda, para cima e para baixo –
estaria relacionada a um gesto. Estes movimentos modificariam o elemento selecionado,
permitindo a navegação pela interface.
Outra preocupação identificada estava relacionada ao tamanho e visibilidade dos elementos
da interface. O Kinect é capaz de identificar distâncias entre cerca de 50 cm e 7,5 m. Erro! Fonte
de referência não encontrada.Entretanto, a distância recomendada para uso é de
aproximadamente 2 metros, para um único usuário22. Seria necessário, portanto, garantir que
mesmo a esta distância os usuários ainda pudessem visualizar os elementos da interface sem
dificuldades. Era importante também buscar reduzir o esforço de navegação entre os elementos.
Por isso, optamos por utilizar containers do tipo carrossel circular. Esses componentes
permitem reduzir o espaço utilizado para visualizar os itens de uma coleção, mas sem impedir a
navegação entre eles. Isso é feito mantendo os itens organizados em uma faixa, com parte deles
visível, tipicamente entre 5 e 8 itens, e o resto oculto, com até 3 vezes o número de itens visíveis.
Através deles também é possível navegar nos dois sentidos – i.e. direita/esquerda ou cima/baixo
–, agilizando o acesso a cada componente.
Fig. 9 Interface utilizando o padrão de design carrossel com manipulação indireta via interação gestual do Hands in
Home
22 Manual do kinect: http://download.microsoft.com/download/f/6/6/f6636beb-a352-48ee-86a3-
abd9c0d4492a/kinectmanual.pdf
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 81
A Fig. 9 apresenta a interface projetada com base nestes conceitos. Em (a) e (d) temos
componentes do tipo carrossel. Em (a) temos as disposições dos objetos da casa, com o carrossel
alinhado na horizontal. Em (d) são apresentados os serviços do objeto selecionado, alinhados na
vertical. Os elementos selecionados correspondem a (b), o objeto selecionado, e (c), seu serviço.
Para estruturar a informação, optamos por um modelo “em níveis”. Nele a interface estaria
distribuída em telas, que exibiriam conjuntos de itens relacionados. Dentro de cada tela, seria
possível navegar nos dois eixos, vertical e horizontal, para selecionar os itens, seguindo o mesmo
padrão ilustrado na Fig. 9. Utilizando um comando gestual específico, o usuário poderia acionar o
item selecionado e o sistema executaria uma ação ou navegaria para outra tela. O usuário poderia
também utilizar outro comando gestual para voltar às telas anteriores. O sistema foi organizado
de forma a exigir no máximo de dois a três movimentos para descer da tela inicial até os níveis
mais baixos.
6.3.4 Decisões de Interação Gestual
Ainda segundo Saffer [66], os sistemas gestuais são compostos de três principais componentes,
i.e. sensores, comparadores e atuadores. Os atuadores determinam quais as ações que o sistema
pode realizar sobre o meio externo. Enquanto, os sensores e comparadores definem o
“vocabulário gestual” do sistema. Embora as variações de sensores empregados delimitem os
tipos de interações gestuais possíveis, é o comparador quem determina quais gestos são válidos
para aplicação. Para isso, ele necessita de um ou mais artefatos computacionais, sejam classes,
funções ou documentos, que especifiquem os comandos gestuais da aplicação.
A preocupação com esses artefatos é pouco explícita nas aplicações residenciais via
interação gestual encontradas [16]. Entretanto, o tipo de artefato utilizado pode determinar o
próprio vocabulário da aplicação, bem como a flexibilidade, expansibilidade e capacidade de
personalização deste. Gestos definidos em tempo de compilação, por exemplo, podem exigir a
reconstrução do sistema para serem alterados. Neste sentido é que buscamos um formato para
especificação dos comandos gestuais que tornasse o vocabulário gestual do sistema Hands in
Home mais flexível e extensível. Para isso, utilizamos uma gramática gestual, definida a partir da
formalização sintática da interação gestual, apresentadas em um trabalho anterior [15].
Nessa gramática, os comandos gestuais são especificados através de blocos de construção
menores, denominados de microgestos. Um conjunto de combinações e relações pode ser
utilizado também para formar, a partir desses microgestos, gestos mais complexos. Estes, por sua
vez, podem também ser combinados e relacionados entre si. Esta estrutura, além de aumentar a
flexibilidade e expansão dos comandos gestuais, auxilia no reuso e implementação desses gestos.
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 82
Fig. 10 Diagrama de classes da representação sintática da interação gestual.
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 83
Fig. 11 Representação sintática do comando gestual de passar os objetos da casa, baseada na gramática [15].
No sistema Hands in Home buscamos seguir a gramática gestual adotada. Para isso,
mapeamos um subconjunto dos microgestos e das relações entre eles em uma hierarquia de
classes do sistema (Fig. 10). Cada um dos componentes da hierarquia é responsável por
identificar, a partir da posição das partes do corpo de um usuário, se um determinado microgesto
foi reconhecido. Com esta estrutura será possível expandir, em versões futuras, o número de
microgestos presentes na gramática, sem impactar os gestos já definidos, e até suportar a
definição de novos comandos gestuais em tempo de execução, através da tradução da
especificação de um gesto, definida de acordo com essa gramática, em uma representação
manipulável pelo sistema, como apresentado na Fig. 11.
Com base nesta arquitetura, utilizamos um processo informal para a definição dos
comandos gestuais da aplicação. Inicialmente a semântica da aplicação [15] associada ao
comando, ou seja a ação que este comando deveria executar no sistema, era analisada. A partir
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 84
dela a sintaxe do gesto era concebida. Para os movimentos de navegação, por exemplo, foram
idealizados gestos que se relacionassem às ações realizadas pela interface. Após essa concepção, o
gesto era descrito em sua forma sintática, através da gramática. E por fim, essa representação
sintática era codificada no sistema.
Esse processo pode ser realizado de forma iterativa e evolutiva. Ou seja, enquanto o
comando gestual não estiver “satisfatório” para uso na aplicação, é possível repetir o processo,
refinando os resultados. Da mesma forma, se necessário, é possível retornar a uma etapa anterior
para redefinir algum aspecto do comando gestual. Neste contexto, a gramática é utilizada não
apenas como uma representação do comando gestual, mas como uma ferramenta para auxiliar na
construção desse comando e na tradução de seu conceito inicial para uma forma “concreta”,
codificada no sistema.
A Fig. 11 exemplifica esse processo de definição, apresentando três diferentes
representações de um comando gestual, utilizado para navegar para a direita. O gesto busca
refletir o movimento de mover um objeto, ou elemento da interface, da direita para a esquerda.
Em (1) tem-se a uma execução válida deste gesto, em (2) a sua representação na gramática e em
(3) o código utilizado para implementá-lo. As letras (a) e (b) mapeiam, entre as representações, as
duas partes que compõem o gesto, respectivamente a descrição de sua pose inicial e o movimento
posterior da mão. Em seguida, detalhamos as etapas desse processo de definição de um comando
gestual, i.e. concepção, especificação e implementação.
A etapa de concepção dos gestos, análise semântica da interação, envolve uma série de
questionamento baseados nas recomendações baseadas na diversidade do público alvo [16],
refletindo a viabilidade do comando gestual aos perfis de usuários da aplicação. As
recomendações mencionadas são agrupadas em três dimensões, i.e. cognitivo, físico e perceptivo.
Buscamos incorporar aspectos das recomendações em suas três dimensões na aplicação. Assim,
para as recomendações cognitivas, como memorização e aprendizado, buscamos conceber gestos
cujos aspectos sintáticos sejam simples quanto a movimentação e que estivessem também
relacionados a sua semântica. Para tanto, como descrito anteriormente, exploramos associações
metafóricas dos gestos com sua utilização na aplicação, quanto as ações que serão executadas,
além de relações de completude – um gesto para mover para a direita, por exemplo, deve ser,
idealmente, simétrico ou oposto ao gesto de mover para a esquerda – buscando manter uma
consistência sintática e semântica entre os gestos da aplicação.
Relacionado à dimensão física das recomendações para a diversidade, buscamos identificar
quais tipos de dificuldades poderiam ser enfrentadas pelos usuários, como reduzi-las ou eliminá-
las e o quanto estas iriam interferir no uso do sistema. Para isso, iterativamente analisávamos os
comandos pelas questões de flexibilidade, equilíbrio e resistência buscando um aprimoramento.
Consideramos também as repetições que seriam exigidas para cada gesto. Gestos que seriam
utilizados com maior frequência deveriam ser menos cansativos. A dimensão perceptiva foi
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 85
abordada através das decisões funcionais da aplicação, focada sobretudo na eficiência desta,
através de atalhos “puramente gestuais”, como mencionado.
A especificação do comando gestual é formada por um conjunto de restrições baseadas na
gramática oriunda da formalização sintática. Essas restrições são definidas a partir das
“características marcantes” identificadas para um determinado gesto. Durante a execução do
sistema, o reconhecimento do comando ocorrerá quando o conjunto de restrições de sua
especificação for atendido. Portanto, a primeira tarefa da especificação consiste em caracterizar o
gesto. Ou seja, definir os atributos que permitem distingue-lo. Isto pode ser feito pela análise dos
movimentos e posições que devem ser realizadas pelos usuários, quando desejem executar este
comando, e pelas variações do movimento que não o representam. Ainda assim, alguns gestos
que apresentem significados divergentes entre si, do ponto de vista do usuário, podem não ser
facilmente identificáveis/diferenciáveis sintaticamente, o que consequentemente dificulta seu
reconhecimento pela aplicação. Esta dificuldade de reconhecimento pode ser fruto tanto de
limitações tecnológicas, por exemplo, o sensor de profundidade não prover dados suficientes, ou
mesmo pela dificuldade de caracterização dos gestos pelos projetistas.
A etapa de implementação de um comando gestual pode envolver outros desafios, além da
tradução da especificação para uma representação suportada pelo sistema. Cada especificação
gestual pode ser dependente de diferentes medidas, como tempo, posição e orientação, definidas
através de parâmetros presentes nos microgestos. Os valores desses parâmetros precisam ser
definidos pela aplicação, o que pode influenciar na execução do gesto, assim como na adequação
da especificação ao gesto concebido, ou seja à semântica gestual.
Como mencionado em um trabalho anterior [15] é necessário o estudo dos diferentes
perfis de usuários para apresentar um conjunto de indicadores que permitam otimizar esses
parâmetros. Permitir a configuração ou o auto-ajuste desses parâmetros durante o uso pode
também melhorar a usabilidade do sistema. Por exemplo, fornecer um controle que regule a
velocidade dos gestos em rápido, médio e devagar pode auxiliar a adaptação desses gestos aos
diferentes perfis de usuários.
6.4 Discussão e Desafios
Novas interfaces e formas de interação, como a gestual, apresentam um conjunto de
particularidades que dificultam o uso dos padrões e guias já consolidados. Como apresentado na
seção anterior, o desenvolvimento de uma aplicação como esta pode enfrentar uma série de
desafios e obstáculos de diferentes naturezas. E embora tenhamos encontrado soluções para
alguns destes, outros tantos ainda exigirão novos estudos. Aqui discutiremos alguns desses
desafios e questionamentos não solucionados.
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 86
Alguns destes desafios já foram descritos na literatura da área. Saffer [66], por exemplo, já
relata um conjunto de limitações da interação gestual que observamos também, durante o
desenvolvimento do sistema Hands in Home, como os listados a seguir. A entrada de dados
complexos pode ser uma tarefa árdua para os usuários e acabar limitando as funcionalidades do
sistema. Como digitar um texto, por exemplo, apenas com comandos gestuais? A dependência de
feedback visual é também um fator limitante. Como apresentado na seção anterior, fatores de
aprendizado e memorização, por exemplo, podem exigir o uso de uma interface mais explícita
para prover feedback aos usuários. Outro desafio está relacionado ao contexto da interação.
Mesmo no ambiente doméstico, usuários podem se sentir constrangidos ao realizar determinados
gestos, por exemplo, na frente de estranhos. Mesmo que os comandos gestuais tenham sido
definidos por eles anteriormente.
Balancear as recomendações de memorização, facilidade de aprendizado e eficiência,
levando em consideração a diversidade do público-alvo, pode ser também um grande desafio.
Pois, assim como em outras formas de interação “tradicionais”, há metas conflitantes entre as
recomendações, ou seja, os ideais de uma recomendação podem influenciar negativamente
outras. Se optássemos por utilizar comandos gestuais para todas as tarefas do sistema, por
exemplo, poderíamos aumentar a eficiência de uso, mas acabaríamos por prejudicar os requisitos
de memorização e facilidade de aprendizado. O uso de personalização pode ser uma solução para
este e outros desafios, na medida em que dá ao usuário o poder de adaptar a interação às suas
preferências e necessidades. Entretanto, esta funcionalidade impõe outros obstáculos relativos ao
desenvolvimento de interfaces gestuais, como a determinação da “intencionalidade gestual”.
Idealmente o sistema deveria ser capaz de capturar qualquer gesto realizado por um usuário e
associá-lo a aplicação. Entretanto, diante de todos os movimentos e poses realizados, como
identificar quais deles foram intencionais? Ou seja, como extrair qual a semântica gestual
idealizada pelos usuários? E como gerar, a partir desta, uma sintaxe compatível?
Como também mencionado anteriormente, estes questionamentos também podem ser
enfrentados pelos projetistas durante a especificação de um comando gestual. Durante a
“caracterização” de um gesto, é preciso determinar os atributos que o caracterizam e especificar
uma sintaxe compatível a sua concepção. Como, apesar disso, é preciso abranger as variações
naturais entre cada execução do gesto, podem surgir ambiguidades, pois, dois ou mais gestos com
semânticas diferentes podem ser reconhecidos como “válidos” a partir de uma única
especificação.
Desta forma, identificamos que cada especificação pode definir um conjunto de gestos
como equivalentes entre si. Embora nem todos sejam semanticamente equivalentes. Por outro
lado, gestos que apresentem a mesma semântica para os usuários podem não ser sintaticamente
equivalentes, de acordo com uma especificação. Sobre este aspecto, uma especificação ideal seria
aquela que definisse como equivalentes apenas os gestos de mesma semântica. Entretanto, obter
esta especificação pode não ser uma tarefa trivial ou nem mesmo factível [15].
Hands in Home: Desenvolvimento de um Sistema Residencial baseado em Gestos 87
Além disso, a definição de um comando gestual pode ainda interferir em outros já
presentes na aplicação, caso suas especificações possuam interseções em seus conjuntos de gestos
sintaticamente equivalentes. Podem ainda conter características em comum que façam, por
exemplo, uma definição englobar outra. Um comando gestual definido como “bater palmas”, por
exemplo, estará contido em outro que corresponda a “bater duas palmas”. Como identificar,
nesse caso, quando a intenção do usuário é realizar o primeiro gesto duas vezes ou realizar apenas
o segundo?
Outro desafio está relacionado ao processo de “tradução” de um comando gestual.
Conforme a concepção original de um comando – a semântica do gesto – é transformada até
uma representação computacional, seu significado inicial pode sofrer alterações. Além disso, o
entendimento do gesto por parte dos usuários durante o uso pode também ser diferente do
esperado. Embora esse problema seja minimizado com a formalização da interação gestual.
Algumas técnicas e ferramentas podem ser utilizadas para auxiliar a manutenção da
coerência entre o significado de um gesto ao longo de sua definição. A construção de
representações de execuções válidas e inválidas de um gesto pode auxiliar a elaboração de testes
de software que validem a especificação de um gesto. Ferramentas que utilizem as especificações
gestuais para definir mecanismos de validação podem também ser desenvolvidas para esse
propósito. E, para auxiliar a compreensão do conceito dos gestos pelos usuários, podem ser
utilizados mecanismos que reforcem a ajuda e o aprendizado progressivo, como demonstrações
dos comandos gestuais e ajuda contextualizada. O uso de testes com usuários e/ou o design
participativo podem auxiliar também, durante o projeto dos gestos, a garantir que a interação
desenvolvida atenda recomendações de uso esperados.
Todos estes desafios impactam também na funcionalidade de personalização dos
comandos gestuais, aumentando a sua complexidade. Entretanto, é possível recorrer a uma
simplificação do problema para ajudar a tornar esta funcionalidade viável. Se considerarmos, que
os gestos realizados pelos usuários, durante a personalização, fazem parte de um vocabulário pré-
definido, conhecido pelos usuários e pela aplicação, a tarefa de criação de um comando gestual
em tempo de execução, poderia ser simplificada para o reconhecimento e a composição desse
vocabulário em comandos gestuais mais complexos.
Esta abordagem pode reduzir significativamente a quantidade de gestos possíveis de serem
realizados. Entretanto, além de simplificar sua implementação, pode também guiar os usuários
durante o processo de personalização, de forma similar às regras gramaticais das linguagens
naturais. Estas regras definem a ordem e a forma com que determinadas classes de palavras
podem se relacionar e auxiliam os interlocutores a expressarem uma mensagem e se
comunicarem. De forma análoga, regras podem ser definidas em uma “linguagem gestual”, para
uma determinada aplicação, buscando definir como os usuários podem compor novos
comandos. Isto pode exigir o aprendizado destas regras e talvez limitar a quantidade de
Hands in Home: Desenvolvimento de um Sistema Residencial Baseado em Gestos 88
expressões, mas pode também tornar a criação de um comando quase tão intuitiva quanto
formular uma frase.
6.5 Conclusão
Este capítulo apresentou as decisões de desenvolvimento do sistema Hands in Home.
Apresentamos as reflexões, dificuldades, problemas e soluções encontradas, bem como as
consequências destas sobre o projeto e o contexto de uso. Discutimos também alguns dos
desafios e questionamentos que permaneceram em aberto.
Capítulo 7
7 Um Cenário Experimental para Análise dos
Comandos Gestuais
7.1 Introdução
Existe uma necessidade de trabalharmos os comandos gestuais em ambientes residenciais de
forma mais integrada ao contexto de uso, analisando diversos aspectos que são relacionados à
área de IHC, como menciona Correia et al. [16,17]. E um dos desafios relatados em seu trabalho
é a personalização que permite ampliar a cobertura dos comandos gestuais a diversos perfis que a
residência possa conter. Embora esse seja um dos benefícios da personalização, seu desafio atual
– para incorporar essa funcionalidade às aplicações residenciais – consiste em como identificar o
novo comando gestual e reconhece-lo no uso cotidiano. Ou seja, por esse ponto de vista consiste
em um desafio de caráter especialmente tecnológico.
Apesar deste grande envolvimento tecnológico e matemático para resolver os problemas de
reconhecimento e intenção de interagir, focamos e iremos contribuir principalmente na outra
ponta do desafio, a concepção do usuário na utilização da interação gestual para aplicações
residenciais e quais comandos gestuais os usuários definem para determinadas funcionalidades. A
partir desses comandos também analisamos outros desafios/tópicos nesta pesquisa.
Tomando como base as pesquisas anteriormente realizadas sobre a interação gestual em
ambientes residenciais [15,16,17], correspondentes aos capítulos anteriores, realizamos um
experimento com usuários, motivado por esta necessidade de melhor compreender a interação
gestual para aplicação residencial na ótica dos próprios usuários sobre os comandos da aplicação.
Utilizamos a aplicação residencial Hands in Home como instrumento de análise. Essa aplicação
foi desenvolvida com o intuito de fazermos o experimento para análise da interação, como
Um Cenário Experimental para Análise dos Comandos Gestuais 90
mencionado anteriormente, ao invés de realizarmos um teste da aplicação e verificarmos,
sobretudo se as funcionalidades e comandos gestuais pré-definidos são satisfatórios.
O experimento possui viés humano/conceitual e tecnológico. Norteado e fundamentados
pelos capítulos anteriores, estabelecemos os seguintes tópicos principais para o experimento:
idealização dos usuários na definição de novos comandos gestuais? Existe alguma associação na
realização de um novo comando gestual? Capacidade de reconhecimento gestual pelas
tecnologias atuais? Capacidade de formalização sintática dos gestos.
O capítulo está organizado da seguinte maneira: a Seção 6.2 descreve a metodologia
utilizada para elaboração do experimento e o seu procedimento de execução; na Seção 6.3 são
analisados os resultados obtidos com o experimento; na seção seguinte é levantada uma discussão
sobre o trabalho; e a Seção 5 conclui o capítulo.
7.2 Cenário de Pesquisa e Metodologia
A utilização da aplicação Hands in Home foi projetada e planejada para ser executada
individualmente, com atividades concretas de interação com o cenário do experimento. Essas
atividades foram gravadas em áudio e vídeo - com aviso e consentimento do participante - a fim
de facilitar a análise da atividade posteriormente.
Este experimento foi composto por 4 (quatro) etapas: um questionário pré-experimento;
execução do experimento guiado por tarefas; questionário pós-experimento; e concluído com
uma entrevista. Um teste piloto foi realizado para ajustarmos toda a execução do experimento
incluindo ajustes na aplicação.
O cenário para executar o experimento proposto continha os seguintes equipamentos:
01 (um) projetor
01 (um) Kinect Sensor
01 (um) notebook
02 (duas) câmeras
01 (um) gravador de áudio
10 (dez) formulários de observação
Na primeira etapa o questionário pré-experimento foi aplicado com o intuito de coletar
informações etnográficas dos participantes e de conhecimentos prévios e preferências
relacionadas às aplicações residenciais. Este questionário conteve 8 questões que abordava sobre:
Nível de escolaridade
Destro e/ou canhoto das mãos
Destro e/ou canhoto das pernas
Tecnologias já tem familiaridade
Utilização dessas tecnologias em casa
Utilização de alguma aplicação residencial
Um Cenário Experimental para Análise dos Comandos Gestuais 91
O que o usuário gostaria de controlar com uma aplicação residencial
Se o usuário gostaria de estar em um local da casa e controlar aparelhos de outro cômodo
Para a segunda etapa do experimento idealizamos um conjunto de objetivos para
posteriormente definirmos o roteiro de tarefas a serem realizadas por cada participante. Nossos
objetivos iniciais foram:
Analisar como é definido um comando gestual representativo para iniciar a aplicação
Identificar quais mecanismos os usuários utilizam para conceber os gestos e como isso impacta na memorização e uso destes gestos
Compreender quais tipos de ambiguidades pode existir nos comandos gestuais definidos pelos usuários
Identificar as percepções e impressões dos usuários sobre a interação gestual para aplicações residenciais
Verificar se a formalização gestual é também capaz de especificar os novos comandos gestuais adicionados pelos usuários
Saber se os novos comandos gestuais definidos pelos próprios usuários são factíveis para o reconhecimento com o Kinect
Identificar características dos novos comandos gestuais que podem ser abordadas nas métricas
Esses objetivos originaram um conjunto de 21 tarefas. As tarefas escolhidas, assim como
sua sequência, foram elaboradas com o intuito de colaborar com a resolução dos objetivos
mencionados anteriormente.
Tab. 10 Roteiro de Tarefas
Tarefa Descrição
T01 Você vai definir um gesto para iniciar a aplicação
T02 Nesta aplicação, projetada na parede, você deve ativar a opção <Objetos da Casa>
T03 Fechar a porta
T04 Voltar para a tela incial
T05 Ativar a opção de adicionar gestos
T06 Adicionar um gesto que irá apagar todas as luzes da casa
T07 Repetir o gesto que definiu por 10 vezes.
T08 Você gostaria de mudar o gesto que você definiu? (Você usaria esse gesto em sua casa
para ligar a luz, ou prefere mudar. Não precisa repetir)
T09 Agora você vai fazer um gesto que irá abrir a porta
T10 Um gesto que irá ligar a lâmpada
T11 E outro que irá fechar a porta
T12 Agora você vai repetir o comando de ligar a lâmpada por 5 vezes
T13 Novamente na aplicação, que está projetada na parede, você deve ativar a opção
<Objetos da Casa>
T14 Ligar uma lâmpada
T15 Voltar para a tela incial
T16 Ativar a opção de adicionar gestos
T17 Adicionar um gesto que vai deixar o ambiente pronto para você assistir a um filme. Irá
apagar as luzes, fechar a cortina e ligar a TV
T18 Agora você vai repetir esse gesto por até 15 vezes.
T19 Você gostaria de mudar o gesto que você definiu? (Você usaria esse gesto em sua casa
para assistir filme, ou prefere mudar. Não precisa repetir)
T20 Pronto, agora como você desligaria a aplicação?
Um Cenário Experimental para Análise dos Comandos Gestuais 92
T21 Por ultimo, ligue novamente a aplicação
As tarefas (T01, T06, T08, T09, T10, T11, T17 e T19) buscaram entender que tipos de
gestos seriam escolhidos pelos participantes, se fariam algum tipo de associação metafórica ou
para as tarefas (T01 e T20) e (T09 e T11) de simetria, e a capacidade destes gestos serem
definidos pela gramática gestual utilizada.
Em especial, as duas tarefas de simetria foram dispostas de forma próxima e distante de seu
momento de execução para analisarmos também a capacidade de memorização dos comandos
gestuais. A intenção de verificarmos a memorização do usuário aparece mais nítida nas tarefas
T01 e T21 que são iguais, porém são solicitadas na primeira e ultima tarefa do experimento.
Outras tarefas envolviam a repetição (T07, T12, T18) com o intuito de investigar possíveis
problemas relacionados a requisitos físicos, como esforço, tensão e flexibilidade através das
comparações das variações entre cada execução e se ainda eles correspondiam ao gesto original.
Essas tarefas também buscaram mostrar aos usuários que os comandos gestuais poderiam ser
executados diversas vezes no ambiente residencial. Com isso, a intenção era analisar se as
próximas definições de comandos gestuais exigiriam menos requisitos físicos implicando em uma
melhor definição gestual.
As tarefas (T02, T03, T04, T05, T13, T14, T15 e T16) foram definidas especificamente para
entender o uso da interface pelos participantes, bem como identificar possíveis problemas de
usabilidade da interação. Nestas tarefas os usuários deveriam navegar pela aplicação utilizando os
comandos gestuais pré-definidos para ativar algum dos comandos disponíveis, como abrir porta,
ligar a lâmpada, por exemplo, (T03 e T14).
As informações resultantes da execução dessas tarefas são complementadas pela terceira
etapa que busca entender qual a percepção da experiência pelos participantes. Para isso,
solicitamos aos usuários que classificassem, a partir de um conjunto de atributos (prático,
confortável, viável, cansativo, de fácil memorização, estressante, fácil de definir, as articulações
do corpo ficaram doendo nas repetições), como foi controlar a casa através de gestos. Cada um
desses atributos foi mapeado em uma questão de múltipla escolha, com as opções estruturadas
com base na escala Likert, utilizando 5 pontos. Para cada uma destas, o questionário incluía um
espaço para que os usuários justificassem livremente a sua resposta, caso desejassem.
Outro detalhe que abordamos no questionário foi verificar a preferência do modo de
acionar os comandos da aplicação. Elaboramos esse tipo de pergunta para os dois serviços que os
participantes adicionaram gestos – acender a luz e fechar a porta – perguntamos se sua
preferência era acionar o serviço através da aplicação, dos gestos que o participante definiu ou
manualmente.
Para obter informações mais qualitativas sobre as sensações e opiniões dos participantes
durante o experimento utilizamos o método SAM e separamos um espaço para que os usuários
deixassem comentários livres sobre sua experiência.
Como um questionário impõe um limite na quantidade de perguntas e no tamanho das
respostas, e também não permite que se esclareça algum acontecimento específico de um dos
Um Cenário Experimental para Análise dos Comandos Gestuais 93
experimentos durante sua execução a última etapa do experimento consistiu na realização de uma
entrevista semi-estruturada para obter informações além dos questionários.
7.2.1 Execução do Experimento
A escolha dos participantes foi feita priorizando a diversidade. Buscamos um conjunto de
potenciais usuários que incluíssem diferentes faixas etárias, gêneros, graus de instrução e papeis
dentro da família (pai, mãe, filhos). Houve uma preocupação também em balancear o número de
homens e mulheres entre os participantes, por entender que existem diferenças de gênero e que
um grupo desbalanceado poderia levar a resultados tendenciosos. A Tab. 11 informa os dados
etnográficos dos dez participantes do experimento.
Tab. 11 Dados etnográficos dos participantes do experimento
ID Idade Gênero Mão com que escreve Perna com que chuta Escolaridade
U1 27 M Destro Destro Mestrado Incompleto
U2 20 F Destro Destro Superior Incompleto
U3 24 M Destro Destro Superior
U4 21 F Destro Destro Superior Incompleto
U5 19 M Destro Destro Superior Incompleto
U6 24 F Destro Destro Mestrado Incompleto
U7 48 F Destro Destro/Canhoto Superior
U8 42 F Destro Destro Fundamental
U9 30 M Destro Destro Mestrado Incompleto
U10 48 M Destro Destro Superior
O experimento foi executado em um ambiente “controlado” em uma sala do
Departamento de Informática e Matemática Aplicada. O ambiente foi organizado para permitir
que os usuários tivessem um espaço para interagir de forma mais livre com a aplicação, ou seja,
pudesse se locomover facilmente, sentar-se e interagir em pé. A aplicação foi projetada na parede
deste espaço e abaixo da área de projeção posicionamos o Kinect Sensor – dispositivo de
reconhecimento.
No centro da sala uma cadeira foi posicionada para oferecer a opção de o usuário querer
sentar durante a realização das tarefas Fig. 12(d). Posicionamos também as cadeiras dos
colaboradores da execução do experimento de forma afastada para diminuir a interferência sobre
os usuários, mas de forma a permitir a observação e execução do experimento. As posições Fig.
12(a, b e c) são direcionadas aos colaboradores. Na Fig. 12(a) posicionava-se a facilitadora –
responsável para explicar aos usuários como a prática da interação gestual seria realizada. Ela
também foi designada para o fluxo geral da dinâmica e para a gravação de áudio na entrevista. Na
Fig. 12(b) posicionava-se o observador – o observador tem a tarefa de preencher o formulário
Um Cenário Experimental para Análise dos Comandos Gestuais 94
de acompanhamento para as tarefas, incluindo cronometrar o tempo preciso de realização de
cada tarefa. Na Fig. 12(c) posicionava-se a ajudante – responsável pelas modificações no
ambiente que o usuário acionar na aplicação, que seguia a ideia do Mágico de Oz.
Fig. 12 Ambiente utilizado na execução do experimento
Para capturar os dados do experimento e permitir reproduzir e analisar os fatos
posteriormente foi registrado o áudio e vídeo dos participantes, o vídeo da janela da aplicação e,
através de uma ferramenta desenvolvida por nós, os dados capturados pelo Kinect sobre o
esqueleto do usuário.
No primeiro momento da execução do experimento houve uma breve explicação sobre
como a atividade seria realizada e como o participante poderia participar, explicação dada
individualmente a cada participante. Ainda neste momento, foi mencionado que esta atividade foi
motivada, entre outros fatores, pela necessidade de aprofundar algumas questões relacionadas
sobre a interação gestual seguido da explicação dos termos de autorização para gravação de áudio
e vídeo. Dando em seguida o prosseguimento das etapas mencionadas anteriormente.
Um Cenário Experimental para Análise dos Comandos Gestuais 95
7.3 Resultados sobre a Interação Gestual
Nesta seção iremos apresentar os resultados quantitativos e qualitativos do experimento através
de tabelas, imagens obtidas durante o experimento.
7.3.1 Resultados Quantitativos
As tabelas a seguir apresentam dados quantitativos extraídos dos questionários pré-experimento e
da análise de tempo gasto na realização de cada tarefa.
Tab. 12 Preferências e considerações de tecnologias de controle residencial dos participantes
ID Usaria aplicação residencial com
interação gestual*
Controlaria
remotamente
Você utiliza algum tipo de tecnologia para
controlar sua casa? Qual?
U1 Com certeza eu usaria Sim Controles remotos distintos para controlar,
portão, TV e ar condicionado
U2 Sim eu usaria Sim Não
U3 Sim eu usaria Sim Controle remoto
U4 Com certeza eu usaria Sim Controle remoto para a TV e DVD
U5 Sim eu usaria Sim Não
U6 Sim eu usaria Não Não
U7 Com certeza eu usaria Sim Não
U8 Com certeza eu usaria Sim Controle remoto
U9 Com certeza eu usaria Sim Não
U10 Com certeza eu usaria Sim Controle remoto de som e TV
Tab. 13 Desejo dos participantes em controlar objetos da casa
Objetos de interação U1 U2 U3 U4 U5 U6 U7 U8 U9 U10 Porcentagem
Lâmpada X X X X X X X X X X 100%
TV X X X X X X X X 80%
Porta X X X X X X X 70%
Cortina X X X X X X 60%
Ar-Condicionado X X X X X X 60%
Janela X X X X X 50%
Chuveiro X X X X X 50%
Torneira X X X X X 50%
Máquina de lavar X X X X 40%
Geladeira X X X X 40%
Um Cenário Experimental para Análise dos Comandos Gestuais 96
Lixeira X X 20%
Aquário X 10%
Ferro de Passar X 10%
Microondas X 10%
Ventilador X 10%
Os resultados quantitativos reforçam o interesse por aplicações residenciais com interação
gestual, sendo utilizadas mesmo de forma remota para controlar objetos de interação em outros
locais da casa que o usuário não esteja presente, Tab. 12.
Como exposto na Tab. 13, a lâmpada é o objeto de interação que unanimemente é
almejado pelos participantes, seguidos da TV, porta, cortinas e ar-condicionado.
Tab. 14 Tempo gasto na realização de cada tarefa
U1 U2 U3 U4 U5 U6 U7 U8 U9 U10 Média
T01 0:00:04 0:00:08 0:00:04 0:00:05 0:00:04 0:00:03 0:00:07 0:00:07 0:00:03 0:00:05 00:00:05
T02 0:03:39 0:02:37 0:00:04 0:00:14 0:01:38 0:00:23 0:01:02 0:01:02 0:00:17 0:02:05 00:01:18
T03 0:00:04 0:00:38 0:00:53 0:00:17 0:01:08 0:00:54 0:02:41 0:01:53 0:00:24 0:00:32 00:00:56
T04 0:00:03 0:00:05 0:00:02 0:00:04 0:00:07 0:00:07 0:00:40 0:01:06 0:00:31 0:00:29 00:00:19
T05 0:00:09 0:00:08 0:00:03 0:00:03 0:00:09 0:00:51 0:00:44 0:00:48 0:00:12 0:00:07 00:00:19
T06 0:00:30 0:00:07 0:00:03 0:00:20 0:00:15 0:00:12 0:00:07 0:00:30 0:00:13 0:00:15 00:00:15
T07 0:00:01 0:00:31 0:00:21 0:00:25 0:00:44 0:00:27 0:00:10 0:00:43 0:00:17 0:00:51 00:00:27
T08 0:00:07 0:00:05 0:00:03 0:00:04 0:00:12 0:00:06 0:00:42 0:00:11 0:00:08 0:00:17 00:00:11
T09 0:00:08 0:00:12 0:00:09 0:00:12 0:00:09 0:00:06 0:00:08 0:00:23 0:00:16 0:00:12 00:00:11
T10 0:00:20 0:00:05 0:00:04 0:00:09 0:00:11 0:00:06 0:00:09 0:02:04 0:00:09 0:00:08 00:00:21
T11 0:00:20 0:00:04 0:00:01 0:00:24 0:00:08 0:00:05 0:00:08 0:00:28 0:00:34 0:00:08 00:00:14
T12 0:00:10 0:00:27 0:00:15 0:00:20 0:00:24 0:00:18 0:00:06 0:02:05 0:00:14 0:00:31 00:00:29
T13 0:00:09 0:00:07 0:00:04 0:00:47 0:00:50 0:00:17 0:00:33 0:01:34 0:00:22 0:00:19 00:00:30
T14 0:00:04 0:00:23 0:00:07 0:00:18 0:00:20 0:00:28 0:00:50 0:03:15 0:00:28 0:00:19 00:00:39
T15 0:00:04 0:00:02 0:00:10 0:00:20 0:00:56 0:00:05 0:00:16 0:00:13 0:00:08 0:00:08 00:00:14
T16 0:00:14 0:00:08 0:00:06 0:00:08 0:00:47 0:00:13 0:00:09 0:00:19 0:00:05 0:00:12 00:00:14
T17 0:00:26 0:00:12 0:00:16 0:00:31 0:00:18 0:01:23 0:00:06 0:00:24 0:00:28 0:00:23 00:00:27
T18 0:00:02 0:00:30 0:00:14 0:00:49 0:01:04 0:01:11 0:00:12 0:00:17 0:00:38 0:00:54 00:00:35
T19 0:00:18 0:00:00 0:00:00 0:00:04 0:00:03 0:00:09 0:01:08 0:00:10 0:00:08 0:00:06 00:00:13
T20 0:00:01 0:00:12 0:00:19 0:00:32 0:00:15 0:00:15 0:00:15 0:00:30 0:00:09 0:00:21 00:00:17
T21 0:00:03 0:00:09 0:00:03 0:00:11 0:00:02 0:00:03 0:00:05 0:00:03 0:00:02 0:00:09 00:00:05
7.3.2 Resultados Qualitativos
Os resultados qualitativos deste experimento foram obtidos a partir das observações durante o
experimento, dos questionários pós-experimento, entrevistas e nas análises de vídeo.
Um Cenário Experimental para Análise dos Comandos Gestuais 97
Apresentaremos nesta seção os resultados qualitativos em forma de situações que nos permiti
identificar barreiras na interação gestual.
Situação 1 – Definição dos comandos gestuais: Um dos fatores que influenciaram a escolha
dos gestos definidos pelos usuários foi o conhecimento prévio, adquiridos através de filmes de
ficção científica, por exemplo. Isso se torna perceptivo na tarefa de definir um comando para
ligar a lâmpada que para os participantes U4, U5, U9 rapidamente definiu o comando como bater
uma ou duas palmas.
Foi relatado também certo constrangimento em definir esses gestos em público, uma vez
que havia os colaborados do experimento analisando o participante. Em alguns casos, vide o
participante U7, embora os usuários estivessem contentes com o uso do sistema, buscaram se
controlar por estarem em um ambiente “público”. Assim, realçamos como um desafio o
tratamento da privacidade dos gestos no desenvolvimento das aplicações residenciais.
Outro ponto em destaque na definição dos gestos está a propriedade associativa que
também está presente no exemplo anteriormente dado, mas também, através dos sons como
relatou a participante U7.
Os participantes também apresentaram certa preocupação com relação a completude dos gestos.
Comandos que são dados como opostos, como, por exemplo, ligar/desligar a lâmpada, são
definidos com movimentos que se complementam.
Situação 2 – Dificuldades de reconhecimento: E possível notar que com a utilização da
aplicação as tarefas de interação com a aplicação se tornam mais rápidas. Os participantes
compreendem melhor como devem realizar os comandos para interagir com a aplicação.
Dos cinco comandos da aplicação (clique, direita, esquerda, baixo e voltar) o que ocorreu
maior dificuldade de ser executado foi o clique. Sua definição apesar de ser bem simples – manter
a mão direita à frente de seu peito por alguns segundos – houve algumas dificuldades como: ao
posicionar a mão direita para frente o corpo rotacionar, como mostra a Fig. 13; também ocorreu
o problema de tentar clicar o ícone na altura que ele se encontrava projetado na parede, Fig. 13.
Um Cenário Experimental para Análise dos Comandos Gestuais 98
Fig. 13 Problemas na execução do clique
Também ocorreram problemas inesperados de reconhecimento do Sensor Kinect para
esse comando gestual, uma vez que posicionando a mão para frente, em determinadas posições a
mão ficava cobrindo o cotovelo do usuário e passava a não reconhecer o braço naquele instante.
Ou simplesmente a paralização do reconhecimento dos braços do participante, ou mesmo no
deslocamento do esqueleto da imagem real do participante, como ilustra a Fig. 14 - os ombros do
esqueleto estão na altura do pescoço do participante.
Fig. 14 Esqueleto deslocado
Uma das possíveis explicações está nas suas dimensões físicas. Usuários maiores, por
exemplo, podem ter de se afastar mais do dispositivo para serem completamente visualizados. O
OpenNi provê um meio de calibrar o sistema para os usuários. Entretanto, exigir que isto seja
feito a cada interação o que pode se tornar extenuante. Outra possibilidade é utilizar um
determinado gesto, o mesmo gestos já definido pela OpenNI para calibração, para que o usuário
possa calibrar o sistema quando necessário/desejado. No entanto é um gesto que lembra
fortemente a ação de “mãos para o alto”.
Um Cenário Experimental para Análise dos Comandos Gestuais 99
Também esses problemas puderam ser percebidos na Tab. 14, principalmente na T02 que
o participante tinha que Ativar a opção Objetos da Casa, ou seja, executar o comando de clique.
Como esse comando foi o mais problemático para o reconhecimento essa tarefa obteve a maior
média de tempo de execução. Com o passar da interação na aplicação, os participantes puderam
aprimorar seus gestos e compreender melhor como era o movimento correto para seu efetivo
reconhecimento.
Situação 3 – Sensação de poder: Foi relato uma boa sensação de poder em utilizar gestos para
interagir com a casa. O experimento contava com a técnica Mágico de Oz para efetivamente
interagir com o ambiente. Uma das participantes ao realizar o comando de acender a lâmpada
ficou estarrecida por ela ter de fato ligado.
(a) (b)
(c) (d) Fig. 15 Execução do serviço de ligar a lâmpada
Na Fig. 15(a) a primeira lâmpada da sala estava apagada e a colaboradora do experimento,
sentada ao fundo da sala, posicionada para ligar a lâmpada. Ao efetivamente ter ligado a lâmpada
a participante U8 não acreditou que tinha ligado com seu comando gestual dizendo “Oxê, ligou!
A lâmpada ligou! Vou fazer esse gesto lá em casa”.
Situação 4 – Utilização de uma ou de ambas as mãos para interagir: Os participantes que já
estavam envolvidos, ou seja, que já tinham passado algum tempo de interação com a aplicação e
já realizado algumas atividades, demonstraram intuitivamente a utilização de uma mão apenas
para interagir. O comando gestual para passar para a esquerda e direita, também foi tentado ser
Um Cenário Experimental para Análise dos Comandos Gestuais 100
realizado por uma mão apenas. No entanto para que houvesse um melhor reconhecimento da
aplicação esses comandos foram realizados por ambas as mãos.
O participante U10, que apresentava ter deficiência em uma das pernas, mostrou que
tinha a preocupação na hora de definir seus próprios comandos gestuais. Deixando sua
declaração explícita na entrevista pós-experimento que procurou realizar os comandos com uma
mão apenas por contas das pessoas que são deficientes e que tinha se inspirado na língua de
sinais, que tinha aprendido em um curso realizado.
Situação 5 – Utilização dos membros inferiores e do espaço: Nenhum dos participantes
definiu seus comandos gestuais envolvendo outras partes do corpo além de seus braços. Também
nenhuma locomoção foi realizada durante essas definições. Além disso, apesar do ambiente do
experimento ter fornecido cadeiras e uma centralizada no centro da sala, nenhum usuário sentou-
se.
Situação 6 – Memorização: Mais da metade dos participantes demonstraram problemas de
memorização. Como mencionado à ordem das tarefas foi propositadamente organizada para
verificar se os participantes lembravam o primeiro comando gestual definido, o de iniciar a
aplicação. Como a penúltima tarefa era de desligar a aplicação, também houve uma associação
direta com esse comando.
7.4 Análise dos comandos gestuais
A Tab. 15 mostra em até quatro etapas o comando gestual criado por cada participante para
iniciar a aplicação. Abaixo das ilustrações descrevemos o comando gestual seguido de sua
formalização sintática com base na gramática desenvolvida.
Tab. 15 Formalização sintática dos comandos gestuais de iniciar aplicação
U1
Descrição: Bater palmas duas vezes
JOIN[MOVE(HAND_RIGHT, FRONT)* MOVE(HAND_LEFT, FRONT)] +
JOIN[MOVE(HAND_RIGHT, FRONT)* MOVE(HAND_LEFT, FRONT)]
Um Cenário Experimental para Análise dos Comandos Gestuais 101
U2
Descrição: Fazer um círculo no sentido horário
MOVE(HAND_RIGHT, CIRCLE 360°y CLOCKWISE)
U3
Descrição: Manter as duas mãos para frente por 1segundo
MAINTAIN (HAND_RIGHT, FRONT, MAX_1s) *
MAINTAIN (HAND_LEFT, FRONT, MAX_1s)
U4
Descrição: Bater palmas uma vez
JOIN[MOVE(HAND_RIGHT, FRONT)* MOVE(HAND_LEFT, FRONT)]
U5
Descrição: Fazer um semicírculo no sentido horário
MOVE(HAND_RIGHT, CIRCLE 180°y CLOCKWISE)
U6
Descrição: Fazer o V com os dedos
MAINTAIN (HAND_RIGHT [FINGER 3,4], FRONT, MAX_1s)
Um Cenário Experimental para Análise dos Comandos Gestuais 102
U7
Descrição: Permanecer com a mão direita para frente por 2 segundos
MAINTAIN (HAND_RIGHT, FRONT, MAX_2s)
U8
Descrição: Passar a mão no cabelo
JOIN[MOVE (HAND_RIGHT, BACK) * MAINTAIN (HEAD, UP)]
U9
Descrição: Rotacionar os dedos no sentindo horário e fechar a mão
MOVE(HAND_RIGHT[FINGER 1-5], FRONT, CIRCLE 360°y) *
JOIN[MAINTAIN (HAND_RIGHT[FINGER 1-5], FRONT, MAX_1s)]
U10
Descrição: Permanecer com a mão direita para frente por 2 segundos
MAINTAIN (HAND_RIGHT, FRONT, MAX_2s)
7.5 Discussão
Através do experimento melhorias na definição dos comandos gestuais já definidos podem ser
realizados como no aprimoramento do clique e um estudo em como permitir que o usuário
pudesse interagir com uma mão apenas.
Um Cenário Experimental para Análise dos Comandos Gestuais 103
Este experimento foi de fundamental importância tanto para a aplicação quanto e
principalmente para um melhor entendimento da interação gestual do usuário. Embora dado as
formalidades da realização do experimento possa ter interferido nos resultados obtidos.
Durante a construção de uma interface gestual, seus desenvolvedores estarão,
provavelmente, continuamente experimentando os gestos definidos. Entretanto, naturalmente
estes desenvolvedores se adaptam a esses gestos, seja pela experiência com a aplicação ou pelo
conhecimento da especificação dos seus gestos. Ao observar o uso dos gestos por usuários em
potencial é possível compreender de que forma eles entendem e realizam estes gestos, assim
como as dificuldades encontradas por eles.
A maior ou menor formalidade desses experimentos pode também influenciar nos dados
obtidos. Ao assumir uma maior formalidade, os desenvolvedores se colocam em uma postura
diferente para observar com mais atenção àquilo que os usuários realizam e tentar entender o
porquê desse comportamento e como solucionar as dificuldades encontradas. A construção de
um roteiro para essas atividades pode também ajudar tanto a refletir sobre as características do
sistema, quanto a direcionar os “testes” para aquilo que se deseja saber – os possíveis problemas
do sistema ou funcionalidades que precisam de validação.
Embora tenha sido possível formalizar sintaticamente os dez comandos gestuais de iniciar
a aplicação, com o Sensor Kinect ainda não é possível fazer todos os reconhecimentos. O
comando gestual definido pelos participantes U6 e U9 envolve a especificação dos dedos das
mãos em seu comando, impossibilitando dessa forma sua implementação na aplicação.
7.6 Conclusão
Um melhor entendimento da interação gestual é a maior contribuição deste trabalho que podem
auxiliar desenvolvedores a definirem seus comandos gestuais levando em consideração a forma
como os usuários tem a concepção sobre os gestos.
Além disso, através dos resultados é nítido o interesse por aplicações residenciais e quais
são os objetos de interação mais desejados para os usuários. Como trabalho futuro desejava-se
realizar o experimento em um ambiente doméstico real. Dessa forma, seria possível observar o
comportamento dos usuários e do sistema no contexto de uso planejado.
Capítulo 8
8 Considerações Finais
Neste capítulo, apresentamos um resumo de cada capítulo anterior aqui apresentado, apontando
sua importância e relevância para a pesquisa como um todo, como também os resultados
alcançados. Relacionamos ainda cada capítulo com os objetivos específicos desta pesquisa.
8.1 Trabalho Realizado
Esta pesquisa explora a literatura da área de aplicações residenciais com interação gestual
revelando alguns aspectos relacionados à IHC que são tratados de maneira restrita as dimensões
socio-técnicas e as especificidades do contexto residencial. No qual ultrapassa os contextos
padrões de desenvolvimento para imergir no ambiente de relações emocionais e de construção
familiar dos usuários.
O processo de desenvolvimento desta pesquisa aborda a concepção da interação gestual
inicialmente através da construção de um framework para discursão de desafios da área de forma
integrada sob as dimensões: pessoas, modo de interação e domótica. Posteriormente uma análise
mais aprofundada e restritiva ao domínio brasileiro foi realizada com a utilização da Semiótica
Organizacional. Clarificando melhor as preocupações e revelando por vez um conjunto de
oportunidades e desafios estruturados pelo artefato da Escada Semiótica em relação às interfaces
gestuais.
A heterogeneidade de perfis que marca esse contexto fazendo o tema diversidade uma
preocupação importante no desenvolvimento dessas aplicações. Desta forma, apresentamos
também recomendações para a diversidade que embasam/inspiram o design inclusivo de sistemas
interativos residenciais baseados em gestos. Juntamente com uma visualização gráfica mais
representativa, norteada pelas habilidades físicas, perceptivas e cognitivas, que visam melhor
representar a diversidade em questão para desenvolvedores.
Considerações Finais 106
Porém como desenvolvimento de aplicações que usufruem da interação gestual necessitam
de meios tecnológicos que auxiliem no desenvolvimento das soluções, percebemos que a
utilização de tecnologias que auxiliam o reconhecimento gestual também restringe os comandos
gestuais da aplicação, não extrapolando os gestos padrões fornecidos por essas tecnologias.
Assim sendo, abstraímos a interação gestual através de sua formalização descrita de forma
sintática através de blocos de construção que produzem uma gramática do tipo EBNF. Uma
formalização semântica também é abordada sob o ponto de vista da aplicação residencial, juntos
as suas ações e/ou serviços oferecidos na aplicação. Adicionalmente, analisamos as combinações
e relações da interação gestual formalizada sintaticamente na geração de um conjunto de métricas
baseada em recomendações para as aplicações residenciais, na qual toda a descrição é proveniente
da formalização sintática preestabelecida.
Para uma melhor análise da concepção dos usuários quanto a interação gestual
desenvolvemos uma aplicação intitulada de Hands in Home. No qual suas etapas de
desenvolvimento forma focadas, sobretudo, na interação gestual utilizando o mecanismo de
abstração previamente definido. Descrevemos as reflexões, dificuldades, problemas, soluções e
lições aprendidas com o desenvolvimento deste sistema através de quatro etapas: tecnologia,
funcionalidades, interface e interação.
Por último, realizamos um experimento com dez participantes para melhor entender a
interação gestual. O experimento foi conduzido através de quatro etapas que possibilitaram a
extração de informações quantitativas e qualitativas sobre a interação. Além disso, foi possível
verificar a cobertura da formalização sintática desenvolvida para comandos gestuais definidos
pelos próprios participantes. Nesta etapa final do trabalho, identificamos também situações que
ocorreram durante do experimento no ambito da concepção gestual dos participantes e também
tecnológicos.
8.2 Meta reflexão
Após a realização desta pesquisa é importante destacar também algumas de suas limitações que
foram identificadas no decorrer de sua elaboração e em discussões após sua conclusão.
Apesar de termos pesquisado uma vasta quantidade de artigos referentes a aplicações
residenciais com interação gestual e a partir de sua análise ter destacado desafios. Eles não são
exaustivos e outros como idade e diversidade física surgiram, assim como outro podem surgir,
mas que o framework proposto enfatiza a preocupação desejada de que nas três dimensões cada
desafio seja discutido. Da mesma forma isso ocorre nas recomendações e métricas.
Um ponto fortemente debatido foi a importância de analisar a interação antes do efetivo
desenvolvimento da aplicação. Mencionado diversas vezes durante o texto. O capítulo de
Considerações Finais 107
desenvolvimento da aplicação Hands in Home parece a priori ser controverso ao que várias vezes
é debatido na pesquisa. No entanto, é importante deixar claro que seu desenvolvimento, ainda em
fase de aprimoramento, foi realizado para melhor entender a interação e os comandos “padrão”
de interação com a aplicação. Para posteriormente dar continuidade no seu desenvolvimento e
integração com demais aplicações para que os seus serviços ofertados sejam executados de forma
real no ambiente residencial.
O experimento sendo realizado fora do ambiente residencial, com pessoas analisando seu
comportamento e várias câmeras puderam ter alguma influência nos resultados, não invalidando
o experimento, mas inibindo o comportamento e a elaboração dos comandos gestuais definidos
pelos participantes. Que poderiam sentar, deitar e também ter a interferência de outras pessoas na
casa.
Outra lição aprendida é que a interação gestual é complexa e muito ainda temos que
estudar e definir, ainda mais, diretrizes para seu desenvolvimento. Mesmo com a formalização
para o desenvolvimento, que tornou as modificações e ajustes dos comandos gestuais muito mais
rápido e prático, devido a pouca disponibilidade de códigos fonte e equipamentos para obter um
bom reconhecimento gestual, a prática da pesquisa até então fica comprometida pelo grande
esforço de um reconhecimento eficiente. Que mesmo utilizando técnica como Mágico de Oz
para apenas a análise da interação, como vimos, pode interferir nos resultados desejados da
pesquisa.
8.3 Resultados
Através das contribuições citadas neste trabalho apresentamos os resultados da pesquisa:
Capítulo 2: Esse capítulo responde os objetivos específicos – Identificar as
limitações atuais das aplicações residenciais e estruturar os desafios sob a ótica de
IHC e Investigar o cenário de desenvolvimento de aplicações residenciais.
Resultado: Correia, A.C.C., Miranda, L.C., Hornung, H.H.: Gesture-based
Interaction in Domotic Environments: State of the Art and HCI Framework
Inspired by the Diversity. In: 14th IFIP TC 13 International Conference on
Human-Computer Interaction, pp. 300–317. Springer (2013)
Capítulo 3: Visa responder o objetivo específico – Investigar o cenário brasileiro
para o desenvolvimento de aplicações residenciais.
Considerações Finais 108
Capítulo 4: Visa responder o objetivo específico – Identificar características para
um desenvolvimento mais “humanizado” dos comandos gestuais utilizados nas
aplicações residenciais.
Resultado: Correia, A.C.C., Miranda, L.C., Hornung, H.H., Marciano, J.N.:
Recommendations for Gesture-based Residential Interactive Systems Inspired by
Diversity. In: 16th International Conference on Human-Computer Interaction, in
press, Springer (2014)
Capítulo 5: Visa responder os objetivos específicos – Caracterizar os movimentos
gestuais sob uma estrutura formal de construção sistemática de comandos gestuais
para as aplicações residenciais e Identificar métricas quantitativas baseadas na
estrutura formal da interação gestual.
Resultado: Correia, A.C.C., Brizolara, P.L.S., Miranda, L.C., Marciano, J.N.:
Syntactic/Semantic Formalizations and Metrics of Residential Applications based
on Gestural Interface. In: 16th International Conference on Human-Computer
Interaction, in press, Springer (2014)
Capítulo 6: Visa responder os objetivos específicos – Projetar uma aplicação
residencial baseada na estrutura formal da interação gestual e Implementar uma
aplicação residencial.
Capítulo 7: Visa responder o último objetivo específico – Analisar a interação
gestual através de um experimento.
8.4 Perspectivas e Trabalhos Futuros
A realização deste trabalho, com suas contribuições, dá-nos a oportunidade de seguir
pesquisando este campo da ciência que é a interação gestual em aplicações residenciais. Foi
possível cumprir diversas metas, e ao longo desse estudo, é perceptível o quanto a área oferece
em termos de oportunidade de pesquisa. As contribuições aqui geradas despertam novas questões
de pesquisa que podem ser estudadas a fundo, gerando diversos outros trabalhos.
Como trabalhos futuros, indicamos dar continuidade à evolução do Hands in Home,
focados nos desafios de personalização dos comandos gestuais. Também indicamos o estudo e
Considerações Finais 109
desenvolvimento de bibliotecas ou de uma linguagem de programação para o reconhecimento
gestual a partir da formalização sintática desenvolvida nesta pesquisa, facilitando o
desenvolvimento da interação gestual para as aplicações residenciais e também para outros
contextos. Além disso, indicamos o estudo e desenvolvimento da formalização semântica e
pragmática puramente da interação gestual para o contexto residencial juntamente com a
evolução das métricas desenvolvida nesta pesquisa.
Referências Bibliográficas
1. Alahverdzhieva, K., Flickinger, D., Lascarides, A.: Multimodal Grammar Implementation. In:
Conference of the North American Chapter of the Association for Computational
Linguistics: Human Language Technologies, 582–586 (2012)
2. Aldrich, F.K.: Smart Homes: Past, Present and Future. Inside the Smart Home. pp. 17–39,
Springer (2003)
3. Almeida, L.D.A. e Baranauskas, M.C.C. “Um Prospecto de Sistemas Colaborativos: Modelos
e Frameworks”. In: VIII Simpósio Brasileiro de Fatores Humanos em Sistemas
Computacionais, 2008, pp. 204-213.
4. Audel, T., Beaudouin-Lafon, M.: Charade: Remote Control of Objects Using Free-Hand
Gestures. Communications of the ACM 36(7), 28–35 (1993)
5. Bannon, L.: Reimagining HCI: Toward a more Human-Centered Perspective. Interactions
18(4), 50–57 (2011)
6. Bardzell, S., Churchill, E., Bardzell, J., Forlizzi, J., Grinter, R., Tatar, D.: Feminism and
Interaction Design. In: CHI’11, pp. 1–4, ACM (2011)
7. Basili, V., Caldiera, G., Rombach, H.: Goal Question Metric Paradigm. In: Encyclopedia of
Software Engineering, pp. 528–532. John Wiley & Sons (1994)
8. Bolt, R.A.: Put-that-there: Voice and Gesture at the Graphics Interface”. In: SIGGRAPH’80,
14, 3, pp. 262–270, ACM (1980)
9. Bonino, D., Corno, F., Russis, L.: dWatch: A Personal Wrist Watch for Smart Environments,
In: Procedia Computer Science 10, 300-307 (2012)
10. Cabral, M.C., Morimoto, C.H., Zuffo, M.K.: On the Usability of Gesture Interfaces in Virtual
Reality Environments. In: CLIHC’05, pp. 100–108 (2005)
11. Carrino, S., Péclat, A., Mugellini, E., Khaled, O.A., Ingold, R.: Humans and Smart
Environments: A Novel Multimodal Interaction Approach. In: ICMI’11, pp. 105–112,
Alicante, Spain (2011)
12. Chi, E.H.: The False Dichotomy Between Accessibility and Usability. In: 10th International
Cross-Disciplinary Conference on Web Accessibility, pp. 1–2. ACM (2013)
13. Choe, E.K., Consolvo, S., Jung, J., Harrison, B., Kientz, J. A.: Living in a Glass House: A
Survey of Private Moments in the Home. In: UbiComp’11, pp. 41–44 (2011)
14. Cook, D.J., Das. S.K.: How Smart are Our Environments? An Updated Look at the State of
the Art. Pervasive Mob. Comput. 3(2), 53–73 (2007)
Referências Bibliográficas 111
15. Correia, A.C.C., Brizolara, P.L.S., Miranda, L.C. and Marciano, J.N. Syntatic/Semantic Formalizations and Metrics of Residential Applications based on Gestural Interface. In Proc. HCII’14, in Press (2014).
16. Correia, A.C.C., Miranda, L.C., Hornung, H.H., Marciano, J.N.: Recommendations for
Gesture-based Residential Interactive Systems Inspired by Diversity. In: 16th International
Conference on Human-Computer Interaction, in press, Springer (2014)
17. Correia, A.C.C., Miranda, L.C., Hornung, H.H.: Gesture-based Interaction in Domotic
Environments: State of the Art and HCI Framework Inspired by the Diversity. In: 14th IFIP
TC 13 International Conference on Human-Computer Interaction, pp. 300–317. Springer
(2013)
18. Doherty, G.J., Faconti, G., Massink, M.: Formal Verification in the Design of Gestural
Interaction. Electronic Notes in Theoretical Computer Science. 43, 75–96 (2001)
19. Donmez, N., Singh, K.: Concepture: A Regular Language based Framework for Recognizing
Gestures with Varying and Repetitive Patterns. In: International Symposium on Sketch-Based
Interfaces and Modeling, pp. 29–37 (2012)
20. Dovey, K.: Home and Homeless. Home Environments. 36–61, Plenum Press (1985)
21. Eason, K.D.: Towards the Experimental Study of Usability. Behaviour and Information
Technology. 3, 133–143 (1984)
22. Fails, J.A., Olsen, D.: Light Widgets: Interacting in Every-Day Spaces. In: IUI’02, pp. 63–69,
ACM (2002)
23. Gabbard, J.L.: A Taxonomy of Usability Characteristics for Virtual Environments. Masters
Thesis, Virginia Tech (1997)
24. Gandy, M., Starner, T., Auxier, J., Ashbrook, D.: The Gesture Pendant: A Self-Illuminating,
Wearable, Infrared Computer Vision System for Home Automation Control and Medical
Monitoring. In: ISWC’00, 1–8, IEEE (2000)
25. Guidelines for Design of Smart Homes:
http://www.johngilltech.com/guidelines/guidelines_list.htm
26. Henze, N., Löcken, A., Boll, S., Hesselmann, T., Pielot, M.: Free-Hand Gestures for Music
Playback: Deriving Gestures with a User-Centred Process. In: MUM’10, pp. 1–10, ACM
(2010)
27. Hosoya, E., Kitabata, M., Sato, H., Harada, I., Nojima, H., Morisawa, F., Mutoh, S.,
Onozawa, A.: A Mirror Metaphor Interaction System: Touching Remote Real Objects in an
Augmented Reality Environment. In: ISMAR’03, pp. 1–2, Tokyo, Japan (2003)
28. Hussain, A., Kutar, M.: Usability Metric Framework for Mobile Phone Application. In: 10th
Annual Conference on the Convergence of Telecommunications, pp. 1–5 (2008)
29. Irie, K., Wakamura, N., Umeda, K.: Construction of an Intelligent Room Based on Gesture
Recognition: Operation of Electric Appliances with Hand Gestures. In: IROS’04, pp. 193–
198, Sendai, Japan (2004)
Referências Bibliográficas 112
30. Jing, L., Yamagishi, K., Wang, J., Zhou, Y., Huang, T., Cheng, Z.: A Unified Method for
Multiple Home Appliances Control through Static Finger Gestures. In: SAINT’11, pp. 82–90,
IEEE (2011)
31. Jung, J., Do, J., Kim, Y., Suh, K., Kim, D., Bien, Z.Z.: Advanced Robotic Residence for the
Elderly/the Handicapped: Realization and User Evaluation. In: ICORR’05, pp. 492–495,
Chicago, Illinois (2005)
32. Kammer, D., Wojdziak, J., Keck, M., Groh, R., Taranko, S.: Towards a Formalization of
Multi-Touch Gestures. In: ACM International Conference on Interactive Tabletops and
Surfaces, pp. 49–58. ACM (2010)
33. Kane, S.K., Wobbrock, J.O., Ladner, R.E.: Usable Gestures for Blind People: Understanding
Preference and Performance. In: CHI’11, pp. 413–422 (2011)
34. Karam, M., Schraefel, MC.: A Taxonomy of Gestures in Human Computer Interactions.
Technical Report ECSTR-IAM05-009, University of Southampton (2005)
35. Kim, D., Kim, D.: An Intelligent Smart Home Control Using Body Gestures. In: ICHIT’06,
pp. 439–446, IEEE (2006)
36. Kim, H., Jeong, K., Kim, S., Han, T.: Ambient Wall: Smart Wall Display Interface which can
be Controlled by Simple Gesture for Smart Home. In: SA’11, pp. 1–2, Hong Kong, China
(2011)
37. Kin, K., Hartmann, B., DeRose, T., Agrawala, M.: Proton: Multitouch Gestures as Regular
Expressions. In: SIGCHI Conference on Human Factors in Computing Systems, pp. 2885–
2894. ACM (2012)
38. Kin, K., Hartmann, B., DeRose, T., Agrawala, M.: Proton++: A Customizable Declarative
Multitouch Framework. In: 25th Annual ACM Symposium on User Interface Software and
Technology, pp. 477–486. ACM (2012)
39. Kita, S.: Cross-Cultural Variation of Speech-Accompanying Gesture: A review. Language and
Cognitive Processes 24(2), 145–167 (2009)
40. Kleindienst, J., Macek, T., Serédi, L., Šedivý, J.: Vision-Enhanced Multi-Modal Interactions in
Domotic Environments. In: ERCIM’04 (2004)
41. Kühnel, C., Westermann, T., Hemmert, F., Kratz, S., Müller, A., Möller, S.: I’m Home:
Defining and Evaluating a Gesture Set for Smart-Home Control. Int. J. Hum.-Comput. Stud.
69, 693–704 (2011)
42. Lenman, S., Bretzner, L., Thuresson, B.: Using Marking Menus to Develop Command Sets
for Computer Vision Based Hand Gesture Interfaces. In: NordiCHI’02, pp. 239–242 (2002)
43. Lim, C.J., Pan, Y., Lee, J.: Human Factors and Design Issues in Multimodal
(Speech/Gesture) Interface. In: JDCTA’08, pp. 67–77 (2008)
44. Liu, J., Zhong, L., Wickramasuriya, J., Vasudevan, V.: uWave: Accelerometer-Based
Personalized Gesture Recognition and its Applications. Pervasive Mob. Comput. 5(6), 657–
675 (2009)
Referências Bibliográficas 113
45. Liu, K.: Semiotics in Information Systems Engineering. Cambridge University Press (2000)
46. MacKenzie, I.S. Fitts’ law as a research and design tool in human-computer interaction.
Human-Computer Interaction, vol. 7, pp.91-139, (1992)
47. Madan, A., Dubey, S.K.: Usability Evaluation Methods: A Literature Review. International
Journal of Engineering Science and Technology. 4, 590–599 (2012)
48. Miranda, L.C., Hornung, H.H., Baranauskas, M.C.C.: Adjustable Interactive Rings for iDTV.
IEEE Trans. Consum. Electron. 56(3), 1988–1996 (2010)
49. Miranda, L.C., Piccolo, L.S.G. e Baranauskas, M.C.C. “Artefatos Físicos de Interação com a
TVDI: Desafios e Diretrizes para o Cenário Brasileiro”. In: VIII Simpósio Brasileiro de
Fatores Humanos em Sistemas Computacionais, 2008, pp. 60-69.
50. Mosqueira-Rey, E., Alonso-Ríos, D., Moret-Bonillo, V.: Usability Taxonomy and Context-of-
Use Taxonomy for Usability Analysis. In: IEEE International Conference on Systems, Man
and Cybernetics, pp. 812–817. IEEE (2009)
51. Neßelrath, R., Lu, C., Schulz, C.H. Frey, J., Alexandersson, J.: A Gesture Based System for
Context-Sensitive Interaction with Smart Homes. Ambient Assisted Living, 1–12, (2011)
52. Nielsen, J., Loranger, H.: Prioritizing Web Usability, New Riders Press (2006)
53. Nielsen, J.: Usability Engineering. Morgan Kauffmann, San Diego, California (1993)
54. Nielsen, M., Moeslund, T., Störring, M., Granum, E.: A Procedure for Developing Intuitive
and Ergonomic Gesture Interfaces for Human Computer Interaction. In: Internation
Gesture Workshop, Genova, Italy (2003)
55. Nielsen, M., Störring, M., Moeslund, T.B., Granum, E.: A Procedure for Developing Intuitive
and Ergonomic Gesture Interfaces for HCI. International Gesture Workshop, pp. 409–420
(2003)
56. Norman, D.A., Nielsen, J.: Gestural Interfaces: A Step Backward in Usability. Interactions
17(5), 46–49 (2010)
57. Norman, D.A.: Natural User Interfaces are Not Natural. Interactions 17(3), 6–10 (2010)
58. Oh, O., Jung, Y., Cho, Y., Hahm, C., Sin, H., Lee, J.: Hands-up: Motion Recognition Using
Kinect and a Ceiling to Improve the Convenience of Human Life. In: CHI EA’12, pp. 1655–
1660, Texas, USA (2012)
59. Ouchi, K., Esaka, N., Tamura, Y., Hirahara, M., Doi, M.: Magic Wand: An Intuitive Gesture
Remote Control for Home Appliances. In: AMT’05, IEEE (2005)
60. Panger, G.: Kinect in the Kitchen: Testing Depth Camera Interactions in Practical Home
Environments. In: CHI’12, pp. 1985–1990, ACM (2012)
61. Rahman, A.M., Hossain, M.A., Parra, J., Saddik, A.E.: Motion-Path Based Gesture
Interaction with Smart Home Services. In: MM’09, pp. 761-764, ACM (2009)
62. Rahman, A.S.M.M., Saboune, J., Saddik, A.E.: Motion-Path Based in Car Gesture Control of
the Multimedia Devices. In: DIVANet’11, pp. 69–76, ACM (2011)
Referências Bibliográficas 114
63. Richarz, J., Plötz, T., Fink, G.A.: Real-Time Detection and Interpretation of 3D Deictic
Gestures for Interaction with an Intelligent Environment. In: Int. Conf. on Pattern
Recognition, pp. 1–4 (2008)
64. Rode, J.A.: A Theoretical Agenda for Feminist HCI. Interacting with Computer 23(5), 393–
400 (2011)
65. Sadri, F.: Ambient Intelligence: A Survey. ACM Computing Surveys 43(4), 1–66 (2011)
66. Saffer, D. Designing Gestural Interfaces: Touchscreens and Interactive Devices. O'Reilly
Media, Inc. (2008)
67. Saizmaa, T., Kim, H.C.C.: A Holistic Understanding of HCI Perspectives on Smart Home.
In: NCM’08, pp. 59–65, IEEE (2008)
68. Shackel, B.: Usability-Context, Framework, Definition, Design and Evaluation. In: B. Shackel
and S. Richardson, Human Factors for Informatics Usability, pp. 21–38, Cambridge
University Press (2011)
69. Smart Home Guidelines. http://www.tiresias.org/research/guidelines/smart_home.htm
70. Solanki, U.V., Desai, N.H.: Hand Gesture Based Remote Control for Home Appliances:
Handmote. In: WICT’11, pp. 419–423, IEEE (2011)
71. Spano, L.D., Cisternino, A., Paternò, F., Fenu, G.: GestIT: A Declarative and Compositional
Framework for Multiplatform Gesture Definition. In: 5th ACM SIGCHI Symposium on
Engineering Interactive Computing Systems, pp. 187–196. ACM (2013)
72. Spano, L.D., Cisternino, A., Paternò, F.: A Compositional Model for Gesture Definition. In:
4th International Conference on Human-Centered Software Engineering, pp. 34–52. Springer
(2012)
73. Wahlster, W., Reithinger, N., Blocher, A.: SmartKom: Multimodal Communication with a
Life-Like Character. In: Eurospeech’01, pp. 1547–1550, ISCA (2001)
74. Wilson, A., Shafer, S.: XWand: UI for Intelligent Spaces. In: CHI’03, pp. 545–552, ACM
(2003)
75. Yamamoto, Y., Yoda, I., Sakaue, K.: Arm-Pointing Gesture Interface Using Surrounded
Stereo Cameras System. In: ICPR’04, pp. 965–970, IEEE (2004)
Apêndice A
Apêndice A Copyright dos Artigos Publicados
Apêndice A – Copyright dos Artigos Publicados 116
Apêndice A – Copyright dos Artigos Publicados 117