apresentação favihc - ihc 2010

Laboratório de estudos do Usuário e da Qualidade do Uso de SistemasLaboratório de estudos do Usuário e da Qualidade do Uso de Sistemas

FAVIHC – Framework de AValiação da Interação Humano Computador,

estudo de caso na Televisão Digital

Albert Schilling Gomes, M.Sc.Elizabeth Furtado, D.Sc

Agenda

• Contexto• Objetivo do trabalho• Apresentação do FAVIHC• Estudo de caso• Resultados obtidos• Contribuições• Trabalhos futuros

• TV Digital interativa: uma oportunidade para a Inclusão Digital;

• Projeto - Sistema Brasileiro de Televisão Digital [SBTVD, 2005], nossas primeiras experiências em desenvolvimento e avaliação de TVD;

• Dentre as contribuições da UNIFOR, foi especificado e aplicado um Processo de Avaliação de Sistemas Interativos – UPi-Test [Schilling, 2005] [Schilling et al 2005].

Contexto

4

Projeto Samba

• Projeto grande e complexo;

• 30 pessoas, 02 organizações brasileiras, 04 européias e 02 universidades;

• Sem processo definido. Mas, com ciclo de vida Iterativo e incremental

• Inclusão social e digital;

• Publico alvo carente (recursos, acesso a tecnologia, oportunidades etc);

• Pacote de trabalho específico para as atividades de testes.

Upi-Test: Necessidade de Realiamento

• Baseado no RUP (processo e artefatos específicos);

• Sem flexibilidade para inclusão de outras atividades de avaliação;

• Nenhuma adesão a modelos de qualidade com foco na usabilidade do produto;

• Sem rigor na diferenciação das atividades de verificação e validação.

Sendo assim, era necessário

• Adaptar o processo UPi-Test ao framework conceitual de avaliação da interação humano computador;

• Realizar um estudo de caso, aplicando o framework nas aplicações desenvolvidas para o projeto SAMBA e;

• Fazer uma análise crítica dessa aplicação.

FAVIHCFramework conceitual de AValiação da IHC

Características do FAVIHC• Desassociação de processos de desenvolvimento específicos

tornando-o mais genérico;

• Desassociação de artefatos avaliados;

• Consideração de técnicas de avaliação das engenharias de Software, Usabilidade, Semiótica, assim como, técnicas de Experiência do Usuário e abordagens lúdicas de avaliação;

• Adesão ao modelo de qualidade definido na ISO/IEC 9126.

Verificação: Estamos construindo certo o produto? [Boehm, 1981]; Tem o propósito de revisar os produtos (casos de uso, protótipos,

sistema etc.) quanto ao atendimento a padrões, requisitos, layouts, heurísticas, entre outros.

Validação: Estamos construindo o produto certo? [Boehm, 1981]; Tem o propósito de confirmar se os produtos atendem às

necessidades e requisitos dos usuários (clientes).

Fundamentação do FAVIHC

Áreas Tipo Técnicas

Eng. de SoftwareVerificação Revisões técnicas

Validação Teste sistêmico

Eng. de UsabilidadeVerificação

Avaliação Heurística

Percurso cognitivo

Revisão de guidelines

Inspeção de consistência

Validação Teste de usabilidade

Eng. SemióticaVerificação Inspeção Semiótica

Validação Avaliação da Comunicabilidade

User Experience Validação

Encenação

Registro de atividades

Experience prototyping



Modelo de qualidade da ISO/IEC 9126:

QualidadeQualidade

InternaInterna

QualidadeQualidade

InternaInterna

influencia influencia

depende de depende de

QualidadeQualidade

ExternaExterna

QualidadeQualidade

ExternaExterna

QualidadeQualidade

em Usoem Uso

QualidadeQualidade

em Usoem Uso

Contextos de UsoContextos

de UsoContextos de Uso

Componentes do FAVIHC

Necessidades

Sistema Produtos

Requisitos e Soluções de

Projetos

FAVIHC no SAMBA: Atividades de V&V

Qualidade Interna

Qualidade Interna

Qualidade Externa

Qualidade em uso

Revisar individualmente

Revisar em grupo

Realizar workshop

Realizar encenações

Realizar brainstorm

1

2

3

4

5

Necessidades

Revisão individual dos usuários finais (personas), cenários de uso (storyboard).

1

2

Revisão em grupo dos usuários finais (personas), cenários de uso (storyboard).

[Madeira & Furtado, 2007]


Necessidades

Validação dos cenários econtexto de uso com

encenações

Workshop de validação dos usuários finais (personas)

e cenários de uso (storyboard)

3

4

5

Brainstorm de validação dos resultados


Necessidades

Sistema Produtos


Projetos

Resumo das atividades de V&V aplicadas no SAMBA:

Qualidade Interna

Qualidade Interna

Qualidade Externa

Qualidade em uso


Revisar em grupo

Realizar workshop


Realizar brainstorm

1

2

3

4

5

Revisar protótipos de baixa fidelidade

Realizar avaliação heurística dos protótipos de alta fide.

Validar personas com painéis

Validar cenários com vídeo ilustrado

Validar cenários com encenações

6

7

8

9

10


Revisão dos protótipos de baixa fidelidade

Avaliação heurística dos protótipos de alta fidelidade

6 7

FAVIHC no SAMBA: Atividades de V&VRequisitos e Soluções

de Projetos

Requisitos e Soluções

de Projetos

Validação das personas com painéis

Validação dos cenários com vídeo ilustrado

Validação dos cenários com encenações

8

9

10

Edição do vídeo ilustrado


Necessidades

Sistema Produtos


Projetos


Qualidade Externa

Qualidade Interna

Qualidade Interna

Qualidade em uso






6

7

8

9

10

Realizar inspeção “ad hoc” de usabilidade

Realizar teste funcional

11

12


Revisar em grupo

Realizar workshop


Realizar brainstorm

1

2

3

4

5


Aplicação Photo Gallery “antes” da Verificação Aplicação Photo Gallery “depois” da Verificação

Inclusão de labels

Formatação dos textos

Inclusão de realceInclusão de

setas indicativas

Relatório técnico com os resultados da inspeção “ad hoc” de usabilidade.

11

FAVIHC no SAMBA: Atividades de V&VProdutos

Produtos

Relatório técnico com os resultados dos testes funcionais dos produtos gerados

Exemplos de “bugs” encontrados: Duplicação de páginas; Botões inoperantes; Tempo de resposta; Ausência de funcionalidades; Textos e imagens perdidas.

Teste Funcional em um ambiente simulado

12


Necessidades

Sistema Produtos


Projetos


Qualidade em uso

Qualidade Interna

Qualidade Interna

Qualidade Externa

Realizar workshop

Observar o uso

Aplicar questionário

Realizar grupo focal


13

14

15

16

17






6

7

8

9

10


Revisar em grupo

Realizar workshop


Realizar brainstorm

1

2

3

4

5


Realizar teste funcional

11

12


Exemplos de “ajustes” finais: Alinhamentos; Tamanho de fontes; Tradução de alguns labels; Criação de um novo template de

conteúdo.

Inspeção “ad hoc” em grupo

13

FAVIHC no SAMBA: Atividades de V&V Sistema

Sistema

Observação do uso (checklist)

Aplicação de Questionário

Workshop de apresentação das aplicações

Realização de Grupo Focal

14

17

15

16


Resultados obtidos

• Ampliação do entendimento dos usuários e do ambiente em que estariam envolvidos e utilizariam o sistema;

• Sugestões de melhorias e problemas identificados;

• Opiniões dos usuários, respostas dos questionários, fotos, vídeos utilizados na melhoria do produto;

• Expectativas dos usuários alinhadas ao SAMBA.

Para a melhoria do produto:

Resultados obtidos

• O framework auxiliou no processo de conhecimento dos usuários e de suas necessidades desde o início do ciclo de vida do sistema, além de favorecer a integração de uma equipe multidisciplinar;

• As atividades de avaliação realizadas desde o início do processo de desenvolvimento diminuíram o retrabalho;

• O framework incentivou equipes de avaliadores a utilizarem diferentes técnicas de avaliação;

• Utilização de técnicas de avaliação sobre experiências do usuário, diminuíram os riscos de o projeto não atender às necessidades dos usuários.

Para a melhoria do processo:

• Definição de um framework que considera atividades de Ver & Val com diferentes objetivos de qualidade (interna, externa e em uso – ISO/IEC 9126);

• Mapeamento de técnicas de avaliação com as áreas de Eng. de Software, Eng. de Usabilidade, Eng. Semiótica e User Experience (tabela 1);

• Definição e demonstração de técnicas “lúdicas” de avaliação, a exemplo de Encenações, Vivências com materiais alternativos e Diários;

• Elaboração de uma lista de técnicas de V&V com pontos positivos e negativos baseados nas experiências relatadas neste trabalho (descrito na dissertação).

Contribuições

Trabalhos futuros

• Desenvolver um ambiente web de suporte ao framework;

• Elaborar uma estratégia de análise e seleção das técnicas de avaliação adequadas para um determinado projeto;

• Analisar a aderência do framework proposto aos modelos CMMI e MPsBr.

Publicações relacionadas ao FAVIHC1. FURTADO, E., CARVALHO, F. A. G., SCHILLING, A., FALCÃO, D., SOUSA, K., FAVA, F. Projeto de Interfaces de

Usuário para a Televisão Digital Brasileira, SIBGRAPI 2005 – Simpósio Brasileiro de Computação Gráfica e Processamento de Imagens. Natal, RN, 2005.

2. FURTADO, E., F. CARVALHO, K. SOUSA, SCHILLING, A., FALCÃO, D. e FAVA, F. Interatividade na Televisão Digital Brasileira: Estratégias de Desenvolvimento das Interfaces, Simpósio Brasileiro de Telecomunicações. São Paulo: SBC, 2005.

3. SCHILLING, Albert; MADEIRA, Kelma; DONEGAN, Paula; SOUSA, Kênia; FURTADO, Elizabeth; FURTADO, Vasco. An Integrated Method for Designing User Interfaces Based on Tests, In: ICSE 2005 – Workshop on Advancesi in Model-Based Software Testing. Missouri, 2005.

4. SCHILLING, Albert. Upi Test – Um Processo de Avaliação de Interface Baseado na Integração das Engenharias de Software, Usabilidade e Semiótica. 100f. Monografia (Graduação). Orientação: Elizabeth Furtado. Universidade de Fortaleza - UNIFOR, CCT, Fortaleza, 2005.

5. SOUSA, Kênia; SCHILLING, Albert; FURTADO, Elizabeth. Integrating Usability, Semiotic, and Software Engineering into a Method for Evaluating User Interfaces, In: DASSO, Aristides; FUNES, Ana.(Org.). Verification, Validation and Testing in Software Engineering. San Luis, Idea Group Inc. 2007.

6. FURTADO, E., SCHILLING, A., FAVA, F., CAMARGO, L. Promoting Communication and Participation Through Enactments of Interaction Design Solutions - A study case for validating requirements for Digital TV. In: International Conference on Enterprise Information Systems - ICEIS, Barcelona, 2008.

7. FURTADO, E., SCHILLING, A., CAMARGO, L. Stories and Scenarios Working with Culture-Art and Design in a Cross-Cultural Context. In: International Conference on Enterprise Information Systems - ICEIS, Milão, Itália, 2009.

Laboratório de estudos do Usuário e da Qualidade do Uso de SistemasLaboratório de estudos do Usuário e da Qualidade do Uso de Sistemas

Obrigado!Daniel, Albert, Lana, Fabrício,

Kelma, Marília, Patrícia, Beth e Pedro

apresentação favihc - ihc 2010

Documents