Download - Apresentação favihc - ihc 2010
Laboratório de estudos do Usuário e da Qualidade do Uso de SistemasLaboratório de estudos do Usuário e da Qualidade do Uso de Sistemas
FAVIHC – Framework de AValiação da Interação Humano Computador,
estudo de caso na Televisão Digital
Albert Schilling Gomes, M.Sc.Elizabeth Furtado, D.Sc
Agenda
• Contexto• Objetivo do trabalho• Apresentação do FAVIHC• Estudo de caso• Resultados obtidos• Contribuições• Trabalhos futuros
• TV Digital interativa: uma oportunidade para a Inclusão Digital;
• Projeto - Sistema Brasileiro de Televisão Digital [SBTVD, 2005], nossas primeiras experiências em desenvolvimento e avaliação de TVD;
• Dentre as contribuições da UNIFOR, foi especificado e aplicado um Processo de Avaliação de Sistemas Interativos – UPi-Test [Schilling, 2005] [Schilling et al 2005].
Contexto
4
Projeto Samba
• Projeto grande e complexo;
• 30 pessoas, 02 organizações brasileiras, 04 européias e 02 universidades;
• Sem processo definido. Mas, com ciclo de vida Iterativo e incremental
• Inclusão social e digital;
• Publico alvo carente (recursos, acesso a tecnologia, oportunidades etc);
• Pacote de trabalho específico para as atividades de testes.
Upi-Test: Necessidade de Realiamento
• Baseado no RUP (processo e artefatos específicos);
• Sem flexibilidade para inclusão de outras atividades de avaliação;
• Nenhuma adesão a modelos de qualidade com foco na usabilidade do produto;
• Sem rigor na diferenciação das atividades de verificação e validação.
Sendo assim, era necessário
• Adaptar o processo UPi-Test ao framework conceitual de avaliação da interação humano computador;
• Realizar um estudo de caso, aplicando o framework nas aplicações desenvolvidas para o projeto SAMBA e;
• Fazer uma análise crítica dessa aplicação.
FAVIHCFramework conceitual de AValiação da IHC
Características do FAVIHC• Desassociação de processos de desenvolvimento específicos
tornando-o mais genérico;
• Desassociação de artefatos avaliados;
• Consideração de técnicas de avaliação das engenharias de Software, Usabilidade, Semiótica, assim como, técnicas de Experiência do Usuário e abordagens lúdicas de avaliação;
• Adesão ao modelo de qualidade definido na ISO/IEC 9126.
Verificação: Estamos construindo certo o produto? [Boehm, 1981]; Tem o propósito de revisar os produtos (casos de uso, protótipos,
sistema etc.) quanto ao atendimento a padrões, requisitos, layouts, heurísticas, entre outros.
Validação: Estamos construindo o produto certo? [Boehm, 1981]; Tem o propósito de confirmar se os produtos atendem às
necessidades e requisitos dos usuários (clientes).
Fundamentação do FAVIHC
Áreas Tipo Técnicas
Eng. de SoftwareVerificação Revisões técnicas
Validação Teste sistêmico
Eng. de UsabilidadeVerificação
Avaliação Heurística
Percurso cognitivo
Revisão de guidelines
Inspeção de consistência
Validação Teste de usabilidade
Eng. SemióticaVerificação Inspeção Semiótica
Validação Avaliação da Comunicabilidade
User Experience Validação
Encenação
Registro de atividades
Experience prototyping
Fundamentação do FAVIHC
Fundamentação do FAVIHC
Modelo de qualidade da ISO/IEC 9126:
QualidadeQualidade
InternaInterna
QualidadeQualidade
InternaInterna
influencia influencia
depende de depende de
QualidadeQualidade
ExternaExterna
QualidadeQualidade
ExternaExterna
QualidadeQualidade
em Usoem Uso
QualidadeQualidade
em Usoem Uso
Contextos de UsoContextos
de UsoContextos de Uso
Componentes do FAVIHC
Necessidades
Sistema Produtos
Requisitos e Soluções de
Projetos
FAVIHC no SAMBA: Atividades de V&V
Qualidade Interna
Qualidade Interna
Qualidade Externa
Qualidade em uso
Revisar individualmente
Revisar em grupo
Realizar workshop
Realizar encenações
Realizar brainstorm
1
2
3
4
5
Necessidades
Revisão individual dos usuários finais (personas), cenários de uso (storyboard).
1
2
Revisão em grupo dos usuários finais (personas), cenários de uso (storyboard).
[Madeira & Furtado, 2007]
FAVIHC no SAMBA: Atividades de V&V
Necessidades
Validação dos cenários econtexto de uso com
encenações
Workshop de validação dos usuários finais (personas)
e cenários de uso (storyboard)
3
4
5
Brainstorm de validação dos resultados
FAVIHC no SAMBA: Atividades de V&V
Necessidades
Sistema Produtos
Requisitos e Soluções de
Projetos
Resumo das atividades de V&V aplicadas no SAMBA:
Qualidade Interna
Qualidade Interna
Qualidade Externa
Qualidade em uso
Revisar individualmente
Revisar em grupo
Realizar workshop
Realizar encenações
Realizar brainstorm
1
2
3
4
5
Revisar protótipos de baixa fidelidade
Realizar avaliação heurística dos protótipos de alta fide.
Validar personas com painéis
Validar cenários com vídeo ilustrado
Validar cenários com encenações
6
7
8
9
10
FAVIHC no SAMBA: Atividades de V&V
Revisão dos protótipos de baixa fidelidade
Avaliação heurística dos protótipos de alta fidelidade
6 7
FAVIHC no SAMBA: Atividades de V&VRequisitos e Soluções
de Projetos
Requisitos e Soluções
de Projetos
Validação das personas com painéis
Validação dos cenários com vídeo ilustrado
Validação dos cenários com encenações
8
9
10
Edição do vídeo ilustrado
FAVIHC no SAMBA: Atividades de V&V
Necessidades
Sistema Produtos
Requisitos e Soluções de
Projetos
Resumo das atividades de V&V aplicadas no SAMBA:
Qualidade Externa
Qualidade Interna
Qualidade Interna
Qualidade em uso
Revisar protótipos de baixa fidelidade
Realizar avaliação heurística dos protótipos de alta fide.
Validar personas com painéis
Validar cenários com vídeo ilustrado
Validar cenários com encenações
6
7
8
9
10
Realizar inspeção “ad hoc” de usabilidade
Realizar teste funcional
11
12
Revisar individualmente
Revisar em grupo
Realizar workshop
Realizar encenações
Realizar brainstorm
1
2
3
4
5
FAVIHC no SAMBA: Atividades de V&V
Aplicação Photo Gallery “antes” da Verificação Aplicação Photo Gallery “depois” da Verificação
Inclusão de labels
Formatação dos textos
Inclusão de realceInclusão de
setas indicativas
Relatório técnico com os resultados da inspeção “ad hoc” de usabilidade.
11
FAVIHC no SAMBA: Atividades de V&VProdutos
Produtos
Relatório técnico com os resultados dos testes funcionais dos produtos gerados
Exemplos de “bugs” encontrados: Duplicação de páginas; Botões inoperantes; Tempo de resposta; Ausência de funcionalidades; Textos e imagens perdidas.
Teste Funcional em um ambiente simulado
12
FAVIHC no SAMBA: Atividades de V&V
Necessidades
Sistema Produtos
Requisitos e Soluções de
Projetos
Resumo das atividades de V&V aplicadas no SAMBA:
Qualidade em uso
Qualidade Interna
Qualidade Interna
Qualidade Externa
Realizar workshop
Observar o uso
Aplicar questionário
Realizar grupo focal
Realizar inspeção “ad hoc” de usabilidade
13
14
15
16
17
Revisar protótipos de baixa fidelidade
Realizar avaliação heurística dos protótipos de alta fide.
Validar personas com painéis
Validar cenários com vídeo ilustrado
Validar cenários com encenações
6
7
8
9
10
Revisar individualmente
Revisar em grupo
Realizar workshop
Realizar encenações
Realizar brainstorm
1
2
3
4
5
Realizar inspeção “ad hoc” de usabilidade
Realizar teste funcional
11
12
FAVIHC no SAMBA: Atividades de V&V
Exemplos de “ajustes” finais: Alinhamentos; Tamanho de fontes; Tradução de alguns labels; Criação de um novo template de
conteúdo.
Inspeção “ad hoc” em grupo
13
FAVIHC no SAMBA: Atividades de V&V Sistema
Sistema
Observação do uso (checklist)
Aplicação de Questionário
Workshop de apresentação das aplicações
Realização de Grupo Focal
14
17
15
16
FAVIHC no SAMBA: Atividades de V&V
Resultados obtidos
• Ampliação do entendimento dos usuários e do ambiente em que estariam envolvidos e utilizariam o sistema;
• Sugestões de melhorias e problemas identificados;
• Opiniões dos usuários, respostas dos questionários, fotos, vídeos utilizados na melhoria do produto;
• Expectativas dos usuários alinhadas ao SAMBA.
Para a melhoria do produto:
Resultados obtidos
• O framework auxiliou no processo de conhecimento dos usuários e de suas necessidades desde o início do ciclo de vida do sistema, além de favorecer a integração de uma equipe multidisciplinar;
• As atividades de avaliação realizadas desde o início do processo de desenvolvimento diminuíram o retrabalho;
• O framework incentivou equipes de avaliadores a utilizarem diferentes técnicas de avaliação;
• Utilização de técnicas de avaliação sobre experiências do usuário, diminuíram os riscos de o projeto não atender às necessidades dos usuários.
Para a melhoria do processo:
• Definição de um framework que considera atividades de Ver & Val com diferentes objetivos de qualidade (interna, externa e em uso – ISO/IEC 9126);
• Mapeamento de técnicas de avaliação com as áreas de Eng. de Software, Eng. de Usabilidade, Eng. Semiótica e User Experience (tabela 1);
• Definição e demonstração de técnicas “lúdicas” de avaliação, a exemplo de Encenações, Vivências com materiais alternativos e Diários;
• Elaboração de uma lista de técnicas de V&V com pontos positivos e negativos baseados nas experiências relatadas neste trabalho (descrito na dissertação).
Contribuições
Trabalhos futuros
• Desenvolver um ambiente web de suporte ao framework;
• Elaborar uma estratégia de análise e seleção das técnicas de avaliação adequadas para um determinado projeto;
• Analisar a aderência do framework proposto aos modelos CMMI e MPsBr.
Publicações relacionadas ao FAVIHC1. FURTADO, E., CARVALHO, F. A. G., SCHILLING, A., FALCÃO, D., SOUSA, K., FAVA, F. Projeto de Interfaces de
Usuário para a Televisão Digital Brasileira, SIBGRAPI 2005 – Simpósio Brasileiro de Computação Gráfica e Processamento de Imagens. Natal, RN, 2005.
2. FURTADO, E., F. CARVALHO, K. SOUSA, SCHILLING, A., FALCÃO, D. e FAVA, F. Interatividade na Televisão Digital Brasileira: Estratégias de Desenvolvimento das Interfaces, Simpósio Brasileiro de Telecomunicações. São Paulo: SBC, 2005.
3. SCHILLING, Albert; MADEIRA, Kelma; DONEGAN, Paula; SOUSA, Kênia; FURTADO, Elizabeth; FURTADO, Vasco. An Integrated Method for Designing User Interfaces Based on Tests, In: ICSE 2005 – Workshop on Advancesi in Model-Based Software Testing. Missouri, 2005.
4. SCHILLING, Albert. Upi Test – Um Processo de Avaliação de Interface Baseado na Integração das Engenharias de Software, Usabilidade e Semiótica. 100f. Monografia (Graduação). Orientação: Elizabeth Furtado. Universidade de Fortaleza - UNIFOR, CCT, Fortaleza, 2005.
5. SOUSA, Kênia; SCHILLING, Albert; FURTADO, Elizabeth. Integrating Usability, Semiotic, and Software Engineering into a Method for Evaluating User Interfaces, In: DASSO, Aristides; FUNES, Ana.(Org.). Verification, Validation and Testing in Software Engineering. San Luis, Idea Group Inc. 2007.
6. FURTADO, E., SCHILLING, A., FAVA, F., CAMARGO, L. Promoting Communication and Participation Through Enactments of Interaction Design Solutions - A study case for validating requirements for Digital TV. In: International Conference on Enterprise Information Systems - ICEIS, Barcelona, 2008.
7. FURTADO, E., SCHILLING, A., CAMARGO, L. Stories and Scenarios Working with Culture-Art and Design in a Cross-Cultural Context. In: International Conference on Enterprise Information Systems - ICEIS, Milão, Itália, 2009.
Laboratório de estudos do Usuário e da Qualidade do Uso de SistemasLaboratório de estudos do Usuário e da Qualidade do Uso de Sistemas
Obrigado!Daniel, Albert, Lana, Fabrício,
Kelma, Marília, Patrícia, Beth e Pedro