desenvolvimento e avaliação de um sistema multimodal e multiusuário de navegação web

Desenvolvimento e Avaliação

de um Sistema Multimodal e

Multiusuário de Navegação Web

Elizabete Munzlinger& Carlos Henrique Q. Forster

ITA – Instituto Tecnológico de AeronáuticaEEC-I – Engenharia Eletrônica e Computação –

InformáticaDivisão de Ciência da Computação

Roteiro Introdução BrowserVox Interface de Voz e Interface Multimodal Tecnologias ASR e TTS Gramática Avaliação da Interface Conclusão

IntroduçãoMotivação Interação através da fala Tecnologias de fala – ASR e TTS Interface de Voz Interface Multimodal Interface Multiusuário

Objetivo do trabalho: Avaliar o desempenho e a viabilidade de um

sistema de navegação web multimodal e multiusuário

BrowserVoxCaracterísticas do navegador Interface Multimodal

Interface Gráfica (mouse) Interface de Voz (voz)

Interface Multiusuário Independente de usuário e de treinamento

Variação de comandos Gramática com palavras complementares

BrowserVoxSistema Arquitetura

Interface Application Interface Gráfica Interface de Voz Sistema de registro (log) Geração das Gramáticas JSGF e JSML (Transcoding)

Speech Plataform Reconhecimento de Fala e Síntese de Texto

Componentes ASR, TTS (IBM Via Voice) e JSAPI

Sistema Arquitetura

BrowserVox

Arquitetura do Sistema BrowserVox

BrowserVoxSistema Interface

Interface do Sistema BrowserVox

InterfacesInterface Gráfica (GUI) Características:

Interação com sistema através de dispositivos onde ocorre a manipulação de elementos visuais (manipulação direta)

Mais utilizada atualmente Representar elementos do mundo real

InterfacesInterface de Voz (VUI) Características:

Interação com sistema exclusivamente por fala Disseminado em diversos domínios:

Dispositivos móveis Sistemas desktop de escritório, médicas,

empresariais, educativas e militares Automação residencial e controle industrial Serviços de telecomunicações

Ferramenta de transformação de interfaces monomodais em multimodais

InterfacesInterface Multimodal Características:

Interface em que ocorre a combinação de dois ou mais modos/estilos de interação com sistema. Ex:

Mouse e teclado + luvas táteis Mouse e teclado + reconhecimento de gestos Tela sensível ao toque + reconhecimento de fala Mouse e teclado + reconhecimento de fala

Oferece nova experiência ao usuário

InterfacesInterface Multiusuário Características:

Pode ser utilizada por qualquer usuário a qualquer momento sem que para isso necessite uma configuração particular dependente do usuário ou de um processo de treinamento para gerar essa configuração

Necessidade em sistemas multimodais Desejável em sistemas com Interface de Voz

Roteiro Introdução BrowserVox Interfaces Tecnologias ASR e TTS Gramática Avaliação da Interface Conclusão

Tecnologias de FalaTecnologias Reconhecimento automático de fala (ASR)

Receba um comando de voz e imediatamente o converta em texto desde que reconhecido de acordo com as regras da linguagem (IBM ViaVoice, Português-Brasileiro)

Síntese de texto (TTS) Converte a representação digital de um texto, em

fala sintetizada (IBM ViaVoice, Português-Brasileiro)

Biblioteca de acesso ao Engine IBM JSAPI (Java Speech Application Programming

Interface)

GramáticasJSGF e JSML Gramática de Reconhecimento

Java Speech Grammar Format (JSGF)

Gramática de Síntese Java Speech Makup Language (JSML)

GramáticasProjeto da Gramática JSGF Gramática de Reconhecimento

Regras

Sub-regras

Símbolos terminais

Regras

Sub-regras

Símbolos terminais

GramáticasProjeto da Gramática JSGF – Palavras

complementares

GramáticasProjeto da Gramática JSGF – Exemplos de

Comandos

Avaliação da InterfaceAvaliação de usabilidade Avaliação empírica com testes através da

técnica de Engenharia de Usabilidade com os cinco critérios introduzidos por Nielsen (1993):1. Intuitividade2. Eficiência3. Memorização4. Erro5. Satisfação

Avaliação da InterfacePreparação da avaliação de usabilidade Lista de quatro tarefas Um questionário

Os critérios 1 a 4 (Intuitividade, Eficiência, Memorização, Erro) foram avaliados basicamente através de observação e medição de dados coletados durante as tarefas (executadas 2 vezes pelos usuários).

O critério 5 (Satisfação) através de questionário objetivo com pontuação para itens específicos

Avaliação da InterfacePreparação da avaliação de usabilidade Lista de tarefas:

Separadas em estratégicas e freqüentes

Avaliação da InterfacePreparação da avaliação de usabilidade Usuários:

Os usuários selecionados para essa avaliação pertencem às categorias de iniciantes e avançados, com número de participantes igual a 10

Avaliação da InterfacePreparação da avaliação de usabilidade O questionário objetivo:

Aborda características prioritárias e valores quantitativos para o critério 5, onde o usuário deverá pontuar de 1 a 5 os tópicos de acordo com a sua satisfação

Avaliação da InterfacePreparação da avaliação de usabilidade O questionário objetivo

Avaliação da InterfaceDados Coletados Média (por critério)

Avaliação da InterfaceAvaliação dos resultados Satisfatório

Sistema em fase de protótipo O tempo de realização das 4 tarefas pelos 10

usuários estiveram dentro do tempo esperado, para a 1ª e 2ª execução.

A pontuação do questionário também atendeu às expectativas

Sistema é aplicável Grande chance de aceitação e uso por usuários de diferentes

níveis de formação Fatores de ordem subjetiva

Nível de qualificação do usuário, tipo e complexidade de aplicação, capacidade de aprendizagem, aceitação, domínio da tarefa, entre outros.

ConclusãoConclusão Viabilidade da aplicação de voz depende

de diversos fatores: Ordem subjetiva (usuário: peculiaridades de

ordem social, cultural) Problemas tecnológicos (despadronização dos

sites) Linguagem ampla (símbolos, abreviauras,

termos estrangeiros) Vantagens:

Interface multiusuário e multimodal Gramáticas

Obrigada![proibido perguntas ]

Instituto Tecnológico de Aeronáutica

Divisão de Ciência da Computação – IECPrograma de Pós-Graduação em Engenharia

Eletrônica e ComputaçãoÁrea de Informática – PG/EEC-I

desenvolvimento e avaliação de um sistema multimodal e multiusuário de navegação web

Documents