1

Teresa Vasconcelos eJ. António Moreira

15 de julho de 2013

O DESENHO, DESENVOLVIMENTO E AVALIAÇÃO DA

USABILIDADE DE UM PROTÓTIPO EDUCATIVO MULTIMÉDIA

PARA A DISCIPLINA DE PORTUGUÊS

2

Análise, Desenho e Desenvolvimento do Protótipo Multimédia Educativo

Introdução

Problema, objetivos, metodologia e procedimentos da investigação

Análise

Desenho

Usabilidade

Avaliação da usabilidade

Conclusões

Apresentação do estudo

Introdução

3

Os recursos educativos multimédia têm o potencial de fornecer acesso à educação para

todos, por isso, o desenvolvimento de um protótipo adaptado a um número muito elevado

de estudantes e que seja potenciador da aprendizagem é um grande desafio.

A usabilidade, especificamente os testes conduzidos com utilizadores, constitui uma

importante modalidade de avaliação de qualquer produto multimédia, sobretudo no caso

de software educativo, porque estes testes permitem detetar problemas que, de outro

modo, não seriam facilmente encontrados pelo designer do protótipo.

4

O Projeto: “QIMTERATIVO DE PORTUGUÊS”

Para criar um curso, ou um módulo de um curso, Allen (2007, 2006, 2003) e Clark

(2000) referem cinco passos essenciais: Analisar; Desenhar; Desenvolver;

Implementar e Avaliar.

Figura 1 - Adaptado de Allen, 2003 e Clark, 2000

5

O ProjetoO “QIMTERATIVO DE PORTUGUÊS” tem por objetivos:

aumentar a frequência de utilização dos QIM;

potenciar uma exploração mais diversificada dos QIM;

propiciar momentos pedagógicos atrativos para os alunos;

avaliar a conceção, desenvolvimento e implementação de um protótipo multimédia;

analisar se os materiais estruturados nos QIM (protótipo multimédia /elaborados pelos professores),

promovem o alcance das metas de aprendizagem definidas para a disciplina de Português.

6

Ponto de Partida

Constatámos:

(i) ensino centrado na transmissão de conhecimentos desligados da realidade

social e tecnológica;

(ii) necessidade de capacitar os professores para o desenvolvimento de

mudanças na disciplina de Português;

(iii) falta de recursos pedagógicos para QIM.

7

A metodologia utilizada no processo de criação do protótipo multimédia

QIMTERATIVO de Português foi a Development Research

(i) InvestigaçãoPreliminar;

(ii) Fundamentação

Teórica,

(iii) Testagemdas soluções no

terreno

(iv) Documentaçãosistemática, análise e reflexão

sobre o processo de conceção.

Refinamento dos problemas, soluções e métodos

Metodologia de Investigação

8

Análise - Instrumentos de recolha de dados

População-Alvo (Professores de Português)

Todos os Professores de Português do AEA

Inquérito por questionário. Foram validados 20 inquéritos.

Grelhas de observação.

Entrevistas não-estruturadas (focus group).

9

Análise

Grupo de estudo (Professores de Português)

Pré-requisitos:

• Nível de qualificação na utilização das ferramentas de Tecnologias de

Informação e Comunicação (TIC);

• Possuírem alguns conhecimentos na utilização dos Quadros Interativos

Multimédia;

• A utilização dos QIM na prática docente (uso deste software no processo de

ensino-aprendizagem).

10

Desenho

O Desenho é o processo onde pretendemos especificar a

forma e sequência dos conteúdos a serem

apresentados, definir o conteúdo do projeto, determinar a

estrutura das atividades e apresentar tarefas conducentes à

avaliação.

11

Desenho

1. Definição dos objetivos.

2. Recolha e seleção de conteúdos.

3. Definição da interface

4. Criação da versão “alpha”.

5. Avaliação Heurística.

Passos seguidos no desenho do protótipo:

12

Desenho do protótipo

O desenvolvimento do protótipo multimédia teve como linhas orientadoras o modelo de

investigação e desenvolvimento ADDIA:

Analisar

Desenhar

Desenvolver

Implementar Avaliar

Este modelo consiste num processo dinâmico e interativo entre as fases que o constituem

permitindo o constante melhoramento através da avaliação contínua do processo de design.

13

Desenho - O Protótipo de Português

Menu de

Navegação

pelos

vários

conteúdos

Título da disciplina

Conteúdo

Formativo

Desenho - Protótipo

a) Estrutura

b) Navegação

c) Interface e layout

d) Rapidez de acesso

e) Níveis de interatividade

f) Informação

14

Usabilidade

Usabilidade é a “facilidade de utilização” ou o conhecimento necessário para fazer algo

funcionar.

Nielsen (1993) indica cinco critérios para medir a usabilidade:

• Fácil de aprender

• Eficiente para usar

• Fácil de lembrar

• Pouco sujeito a erros

• Agradável de usar

15

3 grandes objetivos do Protótipo

Objetivos do Protótipo Multimédia Educativo – Allen (2007)

Experiências de

aprendizagem significativas

Experiências de

aprendizagem memoráveis

Experiências de

aprendizagem motivadoras

Resultados Mesuráveis16

Usabilidade

• Avaliação Heurística: realizada por peritos, segundo parâmetros

definidos (10 heurísticas). Esta avaliação foi feita à versão alpha do

protótipo no final da fase de desenho.

• Avaliação com utilizadores: realizada com uma amostra de utilizadores

cujo perfil é semelhante ao do público-alvo. Este teste foi realizado na fase

de desenvolvimento.

17

• Para avaliar as 10 heurísticas (da Xerox - Heuristic Evaluation - A

System Checklist de Deniese Pierotti) foram efetuadas 68 subquestões

às quais os peritos poderiam responder Sim, Não ou Não Avaliado.

• Em cada uma destas subquestões o perito poderia, ainda, efetuar um

comentário.

A usabilidade

18

A Avaliação heurística

Resultados obtidos na avaliação heurística ao protótipo

Gráfico 1 - Distribuição das respostas das 10 heurísticas (versão alpha)

19

Desenvolver

Com base nos resultados das fases de análise e desenho,

nesta etapa foi produzida a versão beta do protótipo

multimédia educativo.

Após a correção dos erros apontados pelos peritos, detetados

na avaliação heurística, o designer instrucional avaliou o seu

protótipo através de testes de usabilidade com utilizadores.

20

Avaliação da Usabilidade

Recolha de dados:

• inquérito por questionário (guião de participação) constituído por três partes:

a. identificação das características dos participantes

b. guião de utilização do protótipo com uma série de tarefas a realizar

c. questionário com treze questões de resposta fechada e uma de resposta

aberta

d. observação, de forma a aferir os resultados dos utilizadores na

execução de tarefas definidas (registo numa grelha), a duração da

realização do teste e o registo de ocorrências durante o teste (erros,

dúvidas, etc.).21

Avaliação da Usabilidade

Condições de realização do teste de usabilidade

• O Monitor

De acordo com Rubin (1994) será necessário abordar o como, o

quando, o onde, a quem, o porquê e o quê do teste de usabilidade.

• Número de Participantes Cinco participantes são capazes de

expor cerca de 80 por cento dos erros de um protótipo (Nielsen,

2000) no entanto a nossa amostra foi constituída por (n=7, média

de idades de 40,1% anos).22

Avaliação da Usabilidade

Os utilizadores que participaram no teste da usabilidade do

protótipo deveriam ter as mesmas características dos

utilizadores finais, estudadas na fase da análise.

Podemos classificar estas características quanto a:

• atributos pessoais (idade, género, habilitações

académicas, etc.);

• quanto à experiência dos utilizadores.

23

Avaliação da Usabilidade - Realização do teste de usabilidade

Os procedimentos gerais para testes de usabilidade de acordo com Dumas

e Redish (1993) e Rubin (1994) são os seguintes:

(i) planificação do teste;

(ii) seleção e recrutamento dos participantes;

(iii) preparação dos materiais para além do software que se pretende testar;

(iv) realização do teste de usabilidade;

(v) diálogo com o participante;

(vi) compilação e análise de dados e

(vii)relatório final.

24

Avaliação da Usabilidade - Recolha e tratamento dos dados

Todos os problemas encontrados apresentaram um grau de severidade

cosmético ou sem importância, concretamente nas heurísticas um, três,

cinco e nove - resultados do teste de avaliação da usabilidade

considerando uma escala de 0 (sem importância) a 4 (catastrófico).Tabela 2 - Grau de severidade dos problemas de usabilidade

25

Avaliação da Usabilidade - Recolha e tratamento dos dadosTabela 1 - Análise estatística das respostas às dez heurísticas (versão alpha)

26

Avaliação da Usabilidade - Recolha e tratamento dos dadosTabela 3 - Avaliação da versão beta do protótipo

27

Avaliação da Usabilidade - Análise dos dados

Considerando os cinco critérios apresentados por Nielsen (1993) para medir a

usabilidade e com base nos resultados obtidos podemos concluir que o

protótipo é:

• Fácil de aprender (Easy to learn): as participantes, em

média, terminaram as tarefas em 37 minutos, quando o tempo previsto era de

50 minutos. Apenas uma participante necessitou de 45 minutos. 95,3%

Sentiram-se sempre à-vontade a interagir com o protótipo enquanto 4,6%

revelaram, por vezes, algumas dificuldades.

28

Avaliação da Usabilidade - Análise dos dados

• Eficiente para usar (Efficiency):a avaliação à realização das tarefas foi

muito positiva, com uma aprovação média de 78 pontos em 100. Todos os

participantes indicaram que a informação fornecida pelo protótipo foi sempre

fácil de entender e que a informação disponibilizada pelo protótipo foi útil para

completar as tarefas.

• Fácil de lembrar (Memorability): este critério não pôde ser avaliado

convenientemente porque o teste só foi realizado uma única vez. No entanto,

sendo que uma das condições para que o protótipo seja fácil de memorizar é

ter um bom design, a avaliação obtida neste parâmetro (81%) permite-nos

pensar que o protótipo possui estas características.

29

Avaliação da Usabilidade - Análise dos dados

• Pouco sujeito a erros (Errors): 71% das utilizadoras conseguiram

sempre recuperar dos erros que cometeram. Pela observação direta

pudemos constatar que os erros que existiram deveram-se,

principalmente, a distrações (fechar janela do browser em vez do

separador, por exemplo).

• Agradável de usar (Satisfaction): 86% das participantes

conseguiram sempre completar eficazmente as tarefas e, na

globalidade, ficaram totalmente satisfeitas.

30

Avaliação da Usabilidade - Análise dos dados

Apesar desta avaliação da usabilidade ter sido francamente

positiva, um produto deste tipo poderá sempre sofrer

ajustes. Futuramente, poderemos atualizar a aplicação

complementando-a com novos módulos, caso as

características do público-alvo se alterem.

31

Conclusão

A necessidade de realizarmos os testes de avaliação de usabilidade evidencia uma clara

vantagem de reconhecimento de potenciais erros no protótipo multimédia, que podem ser

identificados e corrigidos pelos peritos e pelos utilizadores.

A multiplicidade de instrumentos de recolha de dados permitiu-nos certificar o desenho do

nosso protótipo.

Após a avaliação do “QIMTERATIVO de Português” junto de peritos (versão alpha) e de

utilizadores (versão beta) podemos comprovar que é fácil de aprender, fácil de usar e

satisfaz os utilizadores (Smith & Mayes, 1996), pelo que está pronto a ser aplicado com o

público-alvo e em contexto de ensino e de aprendizagem.

32

33

Muito Obrigada pela Vossa Atenção!

Apesar de fazermos a apologia do QIM em detrimento de outras

tecnologias, pensámos que caberá ao docente a seleção daquela que se

coadune melhor em função do público-alvo, dos conteúdos a abordar, das

estratégias a seguir e das atividades a implementar dentro do espaço sala de

aula.