apresentacao free final
DESCRIPTION
Presentation of Mestrado em Tecnologias da Informação e Comunicação Especialização em Comunicação Multimédia 2012TRANSCRIPT
Avaliação da Usabilidade e da Acessibilidade do Protó4po Mul4média Educa4vo F.R.e.e.
(Formação Reclusas em e-‐learning)
INSTITUTO PIAGET Campus Académico de Vila Nova de Gaia
Escola Superior de Educação Jean Piaget – Arcozelo (Decreto-Lei n.º 468/88, de 16 de Dezembro)
Mestrado em Tecnologias da Informação e Comunicação Especialização em
Comunicação Multimédia Celes4no Gomercindo Ribeiro de Magalhães
Vila Nova de Gaia, 20 de julho de 2012
Estrutura do Estudo
• Introdução
• Capítulo 1: Formação de Reclusos e Desenvolvimento de Protótipos Multimédia
• Capítulo 2: Usabilidade
• Capítulo 3: Acessibilidade
• Capítulo 4: Caracterização das metodologias utilizadas
• Capítulo 5: Criação e Desenvolvimento do Protótipo Multimédia Educativo F.R.e.e.
• Capítulo 6: Apresentação e Análise dos Resultados
• Conclusão
Introdução
• ( e-Pris ) tem como objetivo avaliar a viabilidade de formação via e-learning nos serviços prisionais em Portugal.
• Valorizar a inclusão digital como contributo para uma melhor reinserção social da população reclusa, criando um modelo de intervenção integrado e estruturado (pedagógico e estratégico) suscetível de replicação/disseminação.
• Formação em e-learning poderá ser uma solução sólida, pois permitirá promover uma formação adaptada e dirigida ao tipo de público.
Objetivos
Objetivo geral: apresentação dos procedimentos e materiais que envolveram a criação do protótipo multimédia F.R.e.e. – “Técnicas de Procura de Emprego” e condução dos testes de usabilidade e de acessibilidade ao protótipo multimédia e a análise dos resultados.
Os objetivos específicos:
• Caraterizar o público-alvo da formação.
• Definir o contexto em que os utilizadores estão inseridos.
• Avaliar a usabilidade do protótipo.
• Avaliar a acessibilidade do protótipo.
Criação do Protótipo Multimédia
• O modelo ADDIA é um processo de design interativo formativo, onde os resultados da avaliação formativa de cada fase podem levar o designer de volta para qualquer fase anterior.
• Objetivo centrado no utilizador e não na abordagem tradicional do formador (centrada na instrução), para que a aprendizagem seja eficaz.
O modelo ADDIA (adaptado de Clark, 2000)
Analisar
Análise
Necessidades de Formação
Características do Público-Alvo
As tarefas
Restrições
adaptado de Clark (2000)
Desenhar
Desenho
Objetivos da Formação
Integração das TIC
Interface
Avaliação Fontes de Informação
Estratégias de Ensino
e Motivação
Currículo
adaptado de Clark (2000)
Desenvolver
Desenvolvimento Mensagem Instrucional
adaptado de Clark (2000)
Conteúdo Formativo
Pesquisa e duração do Pacote Formativo
Menu de Navegação pelos vários conteúdos
Forma de apresentação do conteúdo: tex to , imagens, animações, vídeo, flipbook.
T í t u l o d o P a c o t e Formativo
Usabilidade
• A usabilidade traduz-se no facto de ser (i) fácil de usar e (ii) fácil de aprender a usar, bem como no grau de (iii) satisfação sentido pelo utilizador.
• O design centrado nos utilizadores é um dos aspetos mais importantes dos pacotes formativos de aprendizagem online. Tendo esta premissa em mente, o utilizador torna-se o centro no desenvolvimento do design dos cursos.
Usabilidade Utilizamos cinco critérios para medir a usabilidade: • Fácil de aprender: a capacidade com que os utilizadores
conseguem realizar tarefas básicas quando usam o protótipo pela primeira vez.
• Eficiente para usar: após os utilizadores terem aprendido o funcionamento do protótipo, conseguem facilmente localizar a informação de que precisam.
• Fácil de lembrar: depois de algum tempo sem utilizar o protótipo, conseguem facilmente recordar o seu funcionamento.
• Pouco sujeito a erros: os utilizadores cometem poucos erros durante a utilização do protótipo e, caso aconteça, estes possuem um grau de gravidade baixo e são de fácil correção.
• Agradável de usar: os utilizadores sentem-se satisfeitos com a utilização do protótipo.
Usabilidade
Para avaliar a usabilidade do protótipo, foram utilizados dois métodos: • Avaliação heurística: realizada à versão alpha do
protótipo multimédia educativo no final da fase de desenho e por peritos da área, segundo as heurísticas definidas;
• Teste de Usabilidade: realizado por um grupo de utilizadores com características semelhantes às do público-alvo, realizado na fase de desenvolvimento.
Avaliação heurística
• A avaliação heurística envolveu uma revisão do protótipo multimédia educativo por avaliadores que não tiveram participação no projeto.
• Cada avaliador especialista apresentou os seus comentários individualmente, de acordo com as heurísticas definidas.
• A avaliação heurística do protótipo multimédia foi realizada por três avaliadores, o que, segundo Nielsen (1994), e atendendo à relação custo/benefício, encontra-se dentro do número suficiente de avaliadores que permite identificar a maior parte dos erros de usabilidade.
Avaliação heurística Heurísticas (Nielsen,1994): 1. Tornar o estado do sistema visível
2. Falar a linguagem do utilizador
3. Utilizador controla e exerce livre-arbítrio 4. Consistência e Adesão a Normas
5. Evitar erros 6. Reconhecimento em vez de Memorização
7. Flexibilidade e Eficiência
8. Desenho de ecrã estético e minimalista 9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros
10. Dar Ajuda e Documentação
Teste de Usabilidade
• Realizado no ciclo de desenvolvimento, o teste de usabilidade certifica a usabilidade do protótipo multimédia educativo antes da sua distribuição.
• O objetivo foi verificar como o protótipo multimédia educativo se enquadra em relação aos:
– padrões de usabilidade,
– padrões de utilização e
– padrões educacionais.
Teste de Usabilidade • Nos testes de usabilidade realizados a recolha dos dados foi através
de um inquérito por questionário.
• O questionário (Guião de Participação) encontra-se subdividido em 3 partes:
Parte 1 – Questionário Pessoal
Parte 2 – Consulta e Navegação pelo protótipo
Parte 3 – Questionário composto por 13 questões de resposta fechada e uma de resposta aberta.
Acessibilidade • Acessibilidade na Web é sinónimo de possibilidade de todos
acederem, de forma igual, ao protótipo multimédia educativo.
• Em conformidade com o World Wide Web Consortium (W3C), acessibilidade significa que “pessoas com deficiências possam usar a Web”, isto é, “percebam, naveguem e interajam com a Web”.
• A acessibilidade é definida por três níveis de prioridade:
i. aspetos que os criadores de conteúdos Web têm que cumprir;
ii. aspetos que os criadores de conteúdos Web devem cumprir
iii. aspetos que os criadores de conteúdos Web podem cumprir.
Acessibilidade • Escolher um método ou uma técnica para a realizar dependeu dos objetivos
com que o fizemos para determinar, por exemplo, o seu nível de conformidade.
• Os níveis de conformidade atribuídos dependem da verificação das prioridades assim:
– nível de conformidade "A” , se foram satisfeitos todos os pontos de verificação de prioridade 1;
– nível de conformidade "AA", se foram satisfeitos todos os pontos de verificação das prioridades 1 e 2 e
– nível de conformidade "AAA", se foram satisfeitos todos os pontos de
verificação das prioridades 1, 2 e 3.
• Os testes de acessibilidade realizados foram baseados nas recomendações WCAG 2.0 da W3C.
Metodologia
• “metodologia de desenvolvimento”
• caracteriza-se não apenas pelo desenvolvimento de intervenções, mas pela sua característica de que estas intervenções contêm reclamações teóricas específicas sobre ensinar e aprender, refletindo um compromisso ao estabelecer as relações entre teoria, protótipos criados e a prática educativa.
• refere-se à investigação e ao desenvolvimento de intervenções nas práticas educativas, a partir da construção de protótipos multimédia educativos, possibilitando o delineamento de conhecimentos sobre os processos de desenvolvimento e de aprendizagem.
Análise de problemas prá4cos
(inves4gador e profissionais no
terreno)
Desenvolvimento de soluções no quadro de um referencial teórico.
Avaliação e testagem de soluções no
terreno.
Documentação e reflexão que possa
conduzir a inves4gação futura.
Refinamento de problemas, soluções e métodos.
ANÁLISE DESENHO TESE
AVALIAÇÃO Representação esquemá4ca da metodologia de desenvolvimento segundo Cou4nho; Chaves (2001),
(adaptada)
DESENVOLVIMENTO
Apresentação e Análise dos Resultados
• Avaliação heurística: durante a avaliação heurística foram recolhidos dados quantitativos – número de transgressões observadas em cada uma das heurísticas – e dados qualitativos, através dos comentários efetuados pelos avaliadores.
Sim Não Não Avaliado
1. Tornar o estado do sistema visível 100% 0% 0%
2. Falar a linguagem do utilizador 95% 0% 5%
3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%
4. Consistência e Adesão a Normas 100% 0% 0%
5. Evitar erros 83% 0% 17%
6. Reconhecimento em vez de Memorização 97% 0% 3%
7. Flexibilidade e Eficiência 92% 0% 8%
8. Desenho de ecrã estético e minimalista 94% 0% 6%
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros
67% 0% 33%
10. Dar Ajuda e Documentação 80% 13% 7%
% de RespostasHeurísticas
Apresentação e Análise dos Resultados
• Das dez heurísticas avaliadas, duas apresentaram problemas. As heurísticas estão subdivididas em 62 sub-heurísticas.
• As heurísticas e respetivas sub-heurísticas com problemas foram classificadas de acordo com o grau de severidade do problema encontrado.
• Das 62 sub-heurísticas observadas, três (cerca de 5%) apresentaram problemas de menor usabilidade e 59 (cerca de 95%) foram referenciadas como não apresentando qualquer tipo de problema.
Apresentação e Análise dos Resultados
• Teste de Usabilidade: para a recolha de dados dos testes de usabilidade foram utilizadas/os:
– Inquérito por questionário, feito em papel e entregue às participantes no início da sessão;
– Observação, os dados e informações foram registados em Grelhas de Observação (tempo gasto na realização das tarefas, tempo gasto para concluir o teste e registo das classificações obtidas pelas participantes).
• A seleção dos u4lizadores que realizaram os testes de avaliação da usabilidade foi feita tendo em conta dois critérios: caracterís+cas pessoais (idade, género, habilitações) e experiência tecnológica (u4lização de computador, u4lização de documentos mul4média, u4lização da Internet, conhecimentos dos conteúdos).
• Devido ao elevado grau de especificidade do nosso público-‐alvo, não nos foi possível sa4sfazer todas as caracterís4cas apresentadas mas tentamos selecionar os u4lizadores com o maior número de caracterís4cas em comum com este.
Caracterís+ca Público-‐alvo U+lizadores “Moodle”
U+lizadores FRee “Técnicas de Procura de Emprego”
Média de idades 35,6 anos 14,2 anos 17,8 anos Género 100% Feminino 100% Feminino 100% Feminino
Habilitações académicas 3.º Ciclo: 33% Secundário: 60% Ensino Superior: 7%
8.º ano concluído: 100% 10.º ano concluído: 100%
Apresentação e Análise dos Resultados
• Relativamente aos testes de usabilidade dos protótipos e tendo em atenção as respostas apresentadas nos inquéritos por questionário feitos, consideramos uma escala onde a resposta “Nunca” corresponde a 0 e a resposta “Sempre” corresponde a 2.
Parâmetros Questões
Média Protótipo Multimédia
"Técnicas de Procura de Emprego"
Média Pré-Versão Protótipo
Multimédia "Moodle"
1. O ambiente gráfico do protótipo é agradável? 1,8 22. A informação no protótipo encontra-se bem organizada? 2 23. A linguagem utilizada é simples e clara? 1,8 1,6
4. Sentiu-se à-vontade a usar o protótipo? 1,8 1,6
5. O protótipo permite uma fácil navegação? 1,6 1,86. Foi fácil encontrar a informação que precisou? 2 1,87. O protótipo tem as funcionalidades e capacidades que esperava? 2 28. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8 29. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2 210. A informação fornecida pelo protótipo foi fácil de entender? 2 211. Conseguiu completar eficazmente o seu trabalho? 1,8 212. Na globalidade ficou satisfeito com o seu trabalho? 1,8 2
Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8 1,8
Design
Facilidades de utilização
Funcionalidades
Aprendizagem
Satisfação
Apresentação e Análise dos Resultados
Critérios Protótipo Multimédia FRee "Técnicas de Procura de Emprego" Pré-Versão Protótipo Multimédia "Moodle"
Fácil de aprender
Média de 46 min na realização do teste (60 min) 80% das utilizadoras mostraram-se à vontade com a utilização do protótipo
Média de 16 min na realização do teste (60 min) 100% das utilizadoras mostraram-se à vontade com a utilização do protótipo
Eficiente para usar
80% de sucesso na realização das tarefas propostas.
100% de sucesso na realização das tarefas propostas.
Maioria das utilizadoras indicou que a informação disponibilizada pelo protótipo multimédia foi fácil de entender e útil para a realização das tarefas propostas.
Fácil de lembrar Para medir convenientemente este critério precisaríamos de realizar o teste mais do que uma vez, o que não aconteceu.
Pouco sujeito a erros 80% das utilizadoras conseguiram recuperar dos erros cometidos (pela observação direta pudemos constatar que os erros que existiram deveram-se a distrações (fechar janela do browser em vez do separador, por exemplo)).
Agradável de usar 80% das utilizadoras ficaram satisfeitas com o seu trabalho.
100% das utilizadoras ficaram satisfeitas com o seu trabalho.
Apresentação e Análise dos Resultados
• Acessibilidade: Total Validator. • O principal objetivo foi permitir que o protótipo
multimédia educativo passasse os testes de acessibilidade para a prioridade 1 (nível de conformidade A). Submetemos o protótipo multimédia educativo ao validador automático e obtivemos o seguinte resultado:
Apresentação e Análise dos Resultados
• O único erro apresentado, refere-se a um erro de sintaxe no xhtml, nomeadamente, atributos que foram utilizados unicamente para criar uma apresentação visual e está relacionado com a ferramenta utilizada para a criação do protótipo multimédia educativo.
Apresentação e Análise dos Resultados
• Aplicamos também o validador da W3C, para validar o protótipo multimédia educativo, não tendo obtido qualquer erro, encontrando-se o protótipo multimédia educativo em conformidade com as normas de avaliação da acessibilidade.
Considerações Finais
• Respondendo aos objetivos do nosso estudo:
• iniciamos com a caraterização do público-alvo, formandas do estabelecimento prisional, e definimos o contexto em que estão inseridas. Isto permitiu identificar as necessidades de aprendizagem, definir os objetivos de ensino e as restrições envolvidas.
• desenhamos o protótipo no quadro de um referencial teórico e fizemos a avaliação com os peritos.
• desenvolvemos o protótipo e avaliamos a usabilidade com utilizadores semelhantes ao público-alvo.
• avaliamos a acessibilidade.
Considerações Finais
• Respondendo aos objetivos do nosso estudo:
• É fácil de aprender
• É eficiente para usar
• É fácil de lembrar
• É pouco sujeito a erros
• É agradável de usar
Considerações Finais
• A fase da implementação não foi realizada, uma vez que a formação às reclusas no âmbito do projeto de investigação ( e-Pris ), onde o protótipo será utilizado, não coincidiu em tempo útil com a redação desta dissertação.
Considerações Finais
• a avaliação de um protótipo multimédia educativo não
pode ser vista como algo fechado e exato, não existindo
nenhuma fórmula “mágica” que nos permita criar e
desenvolver um protótipo multimédia educativo cem por
cento eficaz. No entanto, a avaliação da sua usabilidade
e da sua acessibilidade permitirá que seja utilizado com
maior probabilidade de sucesso por parte dos
utilizadores finais.