ferramenta web de suporte ao estudo delphipalavras-chave: metodo delphi, ferramenta´ web, recolha...
TRANSCRIPT
Ferramenta web de suporte ao estudo Delphi
Lilian Cristina Gonçalves Gomes
Dissertação para obtenção do Grau de Mestre em
Engenharia Informática e de Computadores
Orientador(es): Prof. José Luís Brinquete Borbinha
Júri
Presidente: Prof. António Manuel Ferreira Rito da SilvaOrientador: Prof. José Luís Brinquete Borbinha
Vogal: Prof. André Ferreira Ferrão Couto e Vasconcelos
Junho 2017
ii
Agradecimentos
Primeiramente gostaria de agradecer profundamente ao Professor Jose Luıs Brinquete Borbinha por
todo o apoio, persistencia e o auxılio no cumprimento dos objetivos exigidos.
Ao Antonio Higgs por todo apoio e ajuda durante a fase de desenvolvimento. Ao Josymar Lima e
Jose Rodrigues pelo vosso conhecimento e disponibilidade.
Por fim o agradecimento muito especial para os meus Pais que me tem apoiado ao longo da minha
vida academica.
iii
iv
Resumo
A tomada de decisao e um processo responsavel pela escolha da melhor solucao perante um problema,
oportunidade ou de um cenario de incertezas. Este processo decisorio necessario para solucionar
um problema, em que alternativas de escolha sao propostas para possıveis solucoes, tem utilizado o
metodo Delphi para obter o consenso entre varias pessoas na tomada de decisao em grupo. O metodo
Delphi pode facultar uma estrategia rigorosa e sistematica na recolha e divulgacao de informacoes.
Existem varias citacoes sobre o uso de metodo Delphi e as ferramentas utilizadas durante a execucao
do metodo, no entanto nao existe muitas ferramentas online disponıvel que explora este metodo.
O objetivo principal desta dissertacao foi o desenho e desenvolvimento de uma ferramenta web
de suporte ao estudo Delphi, focando-se especialmente nas caraterısticas fundamentais do metodo
Delphi. Para atingir este objetivo foi necessario compreender as caraterısticas especificas do metodo
Delphi de modo a conceber um sistema de acordo com os requisitos do metodo. Foram analisados
algumas ferramentas de suporte ao estudo Delphi para perceber aspetos fundamentais do metodo
Delphi, mas tambem perceber os aspetos especıficos de outras ferramentas (consideradas importantes
para a execucao do metodo).
Foi desenvolvida uma nova ferramenta web de suporte ao metodo Delphi com uma interface simples,
consistente e facil de utilizar. De forma a avaliar a usabilidade e experiencia do utilizador, a nova
ferramenta foi avaliada por utilizadores para obter feedback da solucao proposta. Apos a avaliacao
foram feitas pequenas melhorias o que originou na versao final da nova ferramenta Delphi.
Palavras-chave: Metodo Delphi, ferramenta web, recolha de dados, consenso de especia-
lista.
v
vi
Abstract
Decision making is the process responsible in order to chosse the best solution to a problem, opportu-
nity or assessing alternative resolutions. The decision-making process, which is necessary to solve a
problem, in which assessing alternative resolutions are proposed for possible solutions, has used the
Delphi method for consensus-building in group decision making. The Delphi method can provide a ri-
gorous and systematic strategy for collecting and disseminating information. There are many reference
about method Delphi and the tools of the method, however there are not many textit online tools to
explore this method.
The main objective of this work was the design and development of a framework to support the
Delphi study focusing in especially in the main features of Delphi method. In order to achieve this
objective, it was necessary to understand the specific characteristics of the Delphi method in order to
design a system according to the method features. Some Delphi frameworks were analysed in order
to understand specific aspects of the Delphi method and the specific aspects from other frameworks
(considered important for the execution of the method) .
It was developed a new framework to support the Delphi method with a simple interface, consistent
and easy to use. In order to evaluate usability and user experience, the new framework was evaluated
by users to obtain feedback from the proposed solution. After the evaluation, the framework has been
improved, which originated in the final version of the new Delphi framework.
Keywords: Delphi method, framework, data collection, expert’s consensus
vii
viii
Conteudo
Agradecimentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
Lista de Tabelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Lista de Figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
1 Introducao 1
1.1 Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Motivacao e Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Solucao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Principais Contribuicoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Estrutura do documento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Estado da Arte 5
2.1 Principais Conceitos sobre o metodo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1.1 Resenha historica do metodo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1.2 Descricao do metodo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.3 Caraterısticas do Metodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Organizacao do processo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 Avaliacao do Metodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Exemplos de Ferramentas Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4.1 Ferramentas com Escala de Likert . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4.2 Delphi Decision Aid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4.3 e-Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3 Problema e Proposta de Solucao 15
3.1 Casos de Uso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2 Desenho da Solucao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.1 Domınio da Solucao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.2.2 Estrutura do Questionario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.3 Tecnologia Utilizada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
ix
3.3.1 MongoDB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3.2 ExpressJS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3.3 NodeJs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3.4 Angular Js . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.4 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4 Demostracao da Solucao Proposta 22
4.1 Pagina Inicial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2 Pagina Projetos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.2.1 Projeto Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.3 Pagina Configuracao do Questionario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.4 Pagina Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.5 Pagina Resultado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.6 Pagina Painel de Especialistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.7 Estudo Delphi na ferramenta Delphi Survey . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.7.1 1a Ronda do estudo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.7.2 2a Ronda do estudo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.7.3 Analise dos resultados do estudo Delphi . . . . . . . . . . . . . . . . . . . . . . . . 30
4.8 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
5 Avaliacao 32
5.1 Metodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
5.2 Processo de avaliacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2.1 Tarefas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2.2 Participantes e metodos de avaliacao com utilizadores . . . . . . . . . . . . . . . . 33
5.2.3 Inquerito Usabilidade e Experiencia de Utilizador . . . . . . . . . . . . . . . . . . . 34
5.3 Resultado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.3.1 Usabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.3.2 Experiencia de Utilizador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.3.3 Opinioes e Observacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.4 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
6 Conclusao 38
6.1 Trabalho Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Bibliografia 40
A Manual de Utilizador 43
A.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
A.2 Caraterısticas Genericas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
A.2.1 Pagina Projetos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
x
A.2.2 Registar utilizador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
A.2.3 Autenticacao do utilizador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.2.4 Logout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.3 Criar e Editar Projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.3.1 Criar projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.3.2 Editar Projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.3.3 Eliminar Projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
A.4 Configuracao Estudo Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
A.4.1 Desenhar o Questionario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
A.4.2 Selecao e Envio do questionario para os Especialistas . . . . . . . . . . . . . . . . 47
A.4.3 Criar nova Ronda e terminar uma Ronda . . . . . . . . . . . . . . . . . . . . . . . 49
A.4.4 Visualizar o resultado de uma ronda . . . . . . . . . . . . . . . . . . . . . . . . . . 49
B Guia de Avalicao 51
B.1 Instrucoes de Avaliacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
C Resultados do estudo Delphi 55
D Resultado Avaliacao 59
E Inquerito Avaliacao Utilizador 63
xi
xii
Lista de Tabelas
5.1 Respostas da questao 1 de usabilidade: Mediana . . . . . . . . . . . . . . . . . . . . . . 35
5.2 Respostas das questoes de usabilidade 2, 3 e 4: media e mediana . . . . . . . . . . . . . 36
5.3 Respostas das questoes relativo a experiencia do usuario de 5 a 8: media e mediana . . 36
C.1 Lista de itens usados na 1a ronda do Delph . . . . . . . . . . . . . . . . . . . . . . . . . . 55
D.1 Tabela de avaliacao dos utilizadores: Tempo na execucao das tarefas e respostas da
questao de usabilidade 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
D.2 Tabela de avaliacao dos utilizadores: Mediana do Tempo e das respostas da questao de
usabilidade 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
D.3 Tabela de avaliacao dos utilizadores: resposta das questoes de usabilidade 2, 3 e 4 . . . 60
D.4 Tabela de avaliacao dos utilizadores: Media e Mediana das resposta das questoes de
usabilidade 2, 3 e 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
D.5 Tabela de avaliacao dos utilizadores: resposta das questoes experiencia de utilizador 5,
6, 7 e 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
D.6 Tabela de avaliacao dos utilizadores: Media e Mediana das resposta das questoes de
experiencia de utilizador 5, 6, 7 e 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
xiii
xiv
Lista de Figuras
2.1 Esquema rondas Delphi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Configuracao das perguntas em Delphi Decision Aid . . . . . . . . . . . . . . . . . . . . . 11
2.3 Varios tipos de questoes na mesma ronda . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Primeira etapa do e-Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.5 Segunda etapa do e-Delphi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.1 Casos de Uso relacionados com os Atores . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2 Modelo de Domınio da Solucao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.3 Matiz Q-Sort, distribuicao para 30 itens . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4.1 Pagina Inicial Delphi Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2 Pagina SignUp Delphi Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3 Pagina Login Delphi Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.4 Exemplo de Pagina Projetos de um investigador. . . . . . . . . . . . . . . . . . . . . . . . 24
4.5 Pagina de Configuracao do Questionario . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.6 Selecao e Envio para Especialistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.7 Pagina Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.8 Pagina Resultado de uma ronda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.9 Pagina Painel de Especialistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.10 Envio da Resposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.11 Resultado da 1a Ronda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.12 Resultado da 2a Ronda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
A.1 Interface principal Delphi Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.2 Botao “Sign up” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.3 Formulario Sign Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.4 Botao “Login” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.5 Login . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.6 Logout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.7 Criar novo projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
A.8 Editar projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
A.9 Editar o nome ou o tipo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
xv
A.10 Eliminar projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
A.11 Abrir projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
A.12 Botao “Back to Projects List” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
A.13 Pagina de Configuracao do Questionario, botao “Import” . . . . . . . . . . . . . . . . . . . 47
A.14 Pagina de Configuracao do Questionario, desenho da matriz e a lista de questoes. . . . . 47
A.15 Pagina de Configuracao do Questionario, botao “Expert Selection” . . . . . . . . . . . . . 48
A.16 Selecao e Envio para Especialistas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
A.17 Botao “Rounds” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
A.18 Botao “Start Next Round” e botao “Finish”. . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
A.19 Botao “Show”, visualizar resultado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
A.20 Pagina Resultado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
C.1 Imagem do ficheiro com o resultado 1a ronda . . . . . . . . . . . . . . . . . . . . . . . . . 56
C.2 Imagem do ficheiro com o resultado 2a ronda . . . . . . . . . . . . . . . . . . . . . . . . . 57
E.1 Introducao ao inquerito e secao de usabilidade. . . . . . . . . . . . . . . . . . . . . . . . . 63
E.2 Secao de usabilidade: Questao 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
E.3 Secao de usabilidade: Questao 2 e 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
E.4 Secao de usabilidade: Questao 4 e secao de experiencia de utilizador: Questao 5 . . . . 66
E.5 Secao de experiencia de utilizador: Questao 6 e 7 . . . . . . . . . . . . . . . . . . . . . . 67
E.6 Secao de experiencia de utilizador: Questao 8 . . . . . . . . . . . . . . . . . . . . . . . . 67
E.7 Secao opiniao pessoal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
xvi
Capıtulo 1
Introducao
Independentemente da complexidade e da natureza do problema, o processo decisorio muitas vezes,
depende de varias pessoas. A recolha, validacao e analise de informacao e um processo longo e arduo,
assim sendo, pode-se obter informacoes, muitas vezes, mal concebidas tendenciosas ou invalidas.
Para colmatar este problema torna-se revelante ter ferramentas especıficas para explorar os metodos
utilizados no processo de tomada de decisao. O presente trabalho propoe a criacao de uma ferramenta
web de suporte ao estudo que explora o metodo Delphi.
O metodo Delphi, tambem designada como estudo Delphi ou tecnica Delphi, e um metodo de to-
mada de decisao em grupo que se carateriza pelo fato de cada membro do grupo apresentar as suas
ideias de forma anonima. Este consiste em processos iterativos a procura de um consenso num grupo
de especialistas de modo a obter opinioes, identificar prioridades e necessidades do grupos, prever
atitudes ou eventos futuros.
A nova ferramenta (designado de Delphi Survey) e uma ferramenta web que explora o metodo
Delphi, tendo como foco a simplicidade, flexibilidade e usabilidade de acordo com os requisitos do
metodo. Este relatorio de dissertacao fornecer uma solida compreensao do estudo e trabalho realizado
na criacao da nova ferramenta Delphi. Neste capıtulo e feita a introducao ao tema que sera alvo de
estudo deste trabalho, comecando por uma breve descricao do problema. De seguida sera apresentado
a motivacao e os principais objetivos. Na seccao 1.4 sera apresentado as principais contribuicoes, para
finalizar sera descrita a organizacao do presente trabalho de dissertacao.
1.1 Problema
O metodo Delphi tornou-se popular no inıcio dos anos 60, com base em trabalhos desenvolvidos por
Olaf Helmer e Norman Dalker, pesquisadores da RAND Corporation [1]. A utilizacao do metodo Delphi
em Sistemas de Informacao teve inıcio nos anos 80. Foram varios os trabalhos e investigacoes feitos
recorrendo ao metodo Delphi, na sua maioria utilizando na estrutura do questionario a escala Linkert1
para cada questao e utilizava-se os canais tradicionais de inqueritos enviados por correio [2]. Com a
1https://en.wikipedia.org/wiki/Likert_scale
1
evolucao da tecnologia no que concerne a utilizacao da Tecnologia de Informacao e a popularizacao da
internet, tornou-se conveniente a utilizacao de questionarios online. Varias comunidades cientıficas de
diversas areas, tal como a medicina, biologia, fısica ou engenharia, fazem referencia ao metodo Delphi
como suporte metodologico da investigacao [3], tendo este varios objetivos dependendo da area de
interesse da investigacao.
Como foi referido anteriormente, existem varias citacoes sobre a utilizacao do metodo Delphi em
diversas areas e tem-se introduzido algumas modificacoes e melhorias no metodo e nas ferramen-
tas utilizadas, adaptando-se as novas necessidades e as novas tecnologias. Como metodologia de
investigacao tem tido um grande crescimento em diversas areas [4]. No entanto, nao existem muitas
ferramentas web disponıveis que exploram o metodo Delphi. Um dos principais obstaculos encontra-
dos durante a fase de analise do problema deste presente trabalho de dissertacao foi a carencia de
ferramentas web que explora o metodo Delphi, apesar das varias citacoes sobre o uso de ferramenta
de suporte ao metodo.
O grupo de investigacao, onde este trabalho se encontra inserido, necessita de ter uma ferramenta
Delphi para diversos projetos tal como projetos de Gestao de Risco, projetos de doutoramento ou
mestrados. Existe a necessidade de personalizar e usar a ferramenta para multiplos fins por isso e
importante ter acesso ao codigo, o que impossibilita o uso de qualquer outra ferramenta existente.
1.2 Motivacao e Objetivo
O uso de ferramentas web como mecanismo de recolha de dados em pesquisas no que se refere a
questionarios online para o processo de tomada de decisao e cada vez mais usado pelos benefıcios
que apresenta, principalmente no que se refere ao custo do processo e ao tempo de resposta.
O metodo Delphi e um metodo de recolha de opiniao de um grupo de especialistas sobre um de-
terminado topico. Este metodo baseia-se no uso estruturado do conhecimento e da experiencia de um
grupo pre-selecionado de participantes, denominada de especialistas ou peritos, com conhecimento
sobre um tema especıfico de interesse de quem realiza o estudo, o investigador. O metodo consiste
num processo iterativo que recolhe informacoes de uma determinada area de interesse do investigador
atraves de uma serie de questionarios enviados aos especialistas para recolher opinioes individuais
sobre o tema. Este processo e iterativo ate o investigador considerar que foi obtido um consenso, uma
convergencia das respostas, que representa uma consolidacao do julgamento do grupo. Pressupoe-se
que o julgamento coletivo, quando bem organizado, e melhor do que o julgamento individual [5]. Os
questionarios sao desenhados para obter respostas individuais sobre um topico especıfico que repre-
senta o ponto de vista pessoal de cada participante [6]. O metodo tem como objetivo facultar aos seus
participantes a oportunidade de expressarem suas opinioes e conhecimentos de forma anonima.
Uma ferramenta web de suporte ao metodo Delphi deve ser simples e facil de utilizar, mas tambem
ter uma interface consistente e autoexplicativo tendo em conta as caraterısticas especıficas do metodo.
Usabilidade, flexibilidade e simplicidade sao caraterısticas principais para o desenho e desenvolvimento
de uma ferramenta. Tendo em conta estes aspetos de interface utilizador seria interessante estudar e
2
desenvolver uma ferramenta que respeitasse essas caraterısticas e os requisitos do metodo Delphi.
O objetivo deste trabalho foi o desenvolvimento de uma ferramenta web simples e flexıvel de suporte
ao metodo Delphi, acessıvel a qualquer utilizador que tenha algum conhecimento sobre o metodo. Foi
desenvolvida uma ferramenta de suporte ao metodo Delphi, a qual foi combinada a tecnica Delphi e
a tecnica Q-Sort. A tecnica Q-Sort foi utilizada na estrutura do questionario com uma matriz Q-Sort,
que se aproxima de uma distribuicao normal. Para atingir o objetivo deste trabalho foi necessario fazer
um estudo completo sobre as caraterısticas fundamentais do metodo Delphi, perceber os principais
conceitos, a sua definicao bem como seu objetivo. Foi necessario fazer a analise da tecnica Q-Sort
para perceber a sua vantagem face as outras tecnicas utilizadas na estrutura dos questionarios.
1.3 Solucao
Na analise do estado da arte de ferramentas Delphi foi estudado e analisado os trabalhos relevantes
para o problema apresentado. Tendo em conta estes trabalhos foram concebidos varios prototipos para
avaliar os requisitos adequados para o desenvolvimento da solucao final. Na fase de concecao da
solucao proposta a metodologia de prototipagem utilizada foi prototipagem evolutiva ou evolucionaria.
Na prototipagem evolutiva, o prototipo e criado na fase inicial e refinado ao longo do processo de
desenvolvimento [7]. As funcionalidades da nova ferramenta Delphi foram gradualmente adicionadas
ate atingir a versao final que sera alvo de demostracao no capıtulo 4. A versao final foi concebida apos
a avaliacao e o feedback de um grupo de utilizadores.
1.4 Principais Contribuicoes
As principais contribuicoes resultantes deste trabalho e uma ferramenta web que explora o metodo
Delphi, oferecendo:
• Uma interface intuitiva e autoexplicativo na criacao de questionarios;
• Grafico de somatorio de pontuacao de uma ronda;
• Grafico de percentagem de respostas;
• Exportacao para folhas de calculo os resultados obtidos nas diversas rondas.
Para alem das contribuicoes acima mencionadas tambem sao fornecidas o Manual de Utilizador (Inves-
tigador) e o resultado da avaliacao da ferramenta.
1.5 Estrutura do documento
O presente documento esta organizado em cinco capıtulos e tres apendices. No capıtulo 2 serao
abordados os conceitos e caraterısticas do metodo Delphi, os objetivos bem como as principais etapas
3
para elaboracao do estudo Delphi. Ainda neste capıtulo sera apresentado as ferramentas que foram
utilizados na analise do problema. No capıtulo 3 sera feita a descricao do problema, a proposta da
solucao bem como os requisitos e casos de uso, o desenho da solucao e tecnologia utilizada. Capıtulo 4
demostra a solucao concebida e o resultado do estudo Delphi realizado na nova ferramenta. O capıtulo
5 descreve o processo de avaliacao, bem como os resultados obtidos no inquerito de usabilidade. Por
fim serao feitas as principais conclusoes do trabalho e o trabalho futuro proposto.
4
Capıtulo 2
Estado da Arte
Neste capıtulo sera abordados os principais conceitos sobre o metodo Delphi para que haja uma com-
preensao solida sobre o ambito do trabalho. Igualmente sera apresentado as principais caraterısticas
do metodo Delphi e as varias etapas que constituem o processo da organizacao do metodo. Por fim
serao apresentadas algumas ferramentas que serviram como base durante a analise do problema deste
trabalho.
2.1 Principais Conceitos sobre o metodo Delphi
Para uma melhor compreensao da finalidade do metodo Delphi e necessario entender a sua origem, a
descricao e a organizacao do metodo Delphi.
2.1.1 Resenha historica do metodo Delphi
O termo Delphi advem da lenda grega, devido ao Oraculo Delphi. Em 1950 o termo Delphi foi adoptado
pela RAND Corporation EUA para operacoes de investigacoes com enfoque na seguranca nacional
[8]. O metodo Delphi foi desenvolvido pela RAND Corporation, Santa Monica California, para ajudar a
Forca Aerea dos EUA durante a Guerra Fria. Este metodo foi utilizado em operacoes de investigacao
para prever e identificar a capacidade que os sovieticos tinham para desmantelar os alvos estrategicos
americanos [9].
No ambito do Project Delphi, o primeiro questionario Delphi, os investigadores da RAND Corporation
desenvolveram um inquerito estruturado na forma escrita onde foram convidados alguns especialistas
para darem o seu parecer sobre a probabilidade de possıveis ataques inimigos. Este inquerito tinha
como objetivo estabelecer um consenso fiavel de opiniao entre um grupo de especialistas sobre como
o plano militar Sovietico poderia atingir o sistema dos EUA [9]. Por razoes de confidencialidade, o
conteudo da experiencia so foi publicado dez anos mais tarde no artigo [9] An Experimental Application
of the Delphi Method for the Use of Experts de Dalkey e Helmer. No entanto, a finalidade para o qual foi
utilizado pela primeira vez tem sido amplamente modificado pelos investigadores ao longo dos anos.
5
Como citado por Gracht em [8] o metodo Delphi e amplamente aceite atualmente como ferramenta
de investigacao e o seu valor tem sido cientificamente comprovado.
2.1.2 Descricao do metodo Delphi
Existem varias definicoes aceites do metodo Delphi, tambem denominada de tecnica Delphi. A definicao
mais aceita para Delphi e: ”um metodo para um processo estruturado de comunicacao em grupo, que
utiliza varios questionarios para recolher informacao sobre um problema complexo”[10].
A tecnica Delphi subdivide-se em duas formas distintas. A mais comum, a versao em papel e lapis, e
a versao online. Em ambas as versoes os questionarios sao direcionados com enfoque nos problemas,
oportunidades, solucoes ou previsoes.
A versao papel e lapis sao usados em encontros presenciais ou em inquerito postais enviados por
correio. O termo “Delphi Exercise” tem sido utilizado para designar a forma mais tradicional da tecnica
Delphi, versao em papel e lapis [10]. Segundo esta forma de execucao do metodo, o investigador
elabora o primeiro questionario e envia aos especialistas. No final de cada ronda ou serie, o inves-
tigador faz o resumo dos resultados, com base nos resultados obtidos o investigador elabora o novo
questionario. Ao grupo de especialista e dado pelo menos uma oportunidade para reavaliar as suas
respostas originais com base na analise da resposta do grupo. A versao online e conhecida como “Con-
ference Delphi” [10]. A utilizacao de ferramentas web permite maior interacao entre os intervenientes
do processo, alem de ser uma ferramenta de investigacao em tempo real, reduz o tempo de resposta e
o tempo despendido em resumir cada ronda Delphi em comparacao com a versao em papel e lapis. O
tempo de resposta e o tempo despendido em resumir cada ronda sao aspetos fundamentais no metodo
Delphi, dado o longo perıodo de tempo exigido na recolha de dados.
O objetivo inicial do metodo Delphi era como uma tecnica de previsao, desenhado para prever a
probabilidade de eventos futuros. A tecnica tem sido amplamente utilizada para obter consensos de
opiniao, julgamento ou escolha, nomeadamente para determinar, prever e explorar atitudes de grupos,
necessidades e prioridades. Esta tecnica permite conhecer as opinioes e o ponto de vista de varios
participantes atraves de uma serie de questionarios distribuıdos em varias rondas, em que cada ques-
tionario e referente a uma ronda.
2.1.3 Caraterısticas do Metodo
A maioria dos estudos Delphi sao direcionados com enfoque na formacao de opiniao, geralmente o
consenso, entre os especialistas. No entanto existe diferentes definicoes do objetivo e da organizacao
do processo do metodo Delphi, existe quatro caraterısticas fundamentais do metodo que se mantem
desde a sua origem:
• Anonimato - No metodo Delphi, todos os participantes permanecem anonimos. A identidade do
painel de especialista e preservada pelo investigador que coordena todo o processo entre os es-
pecialistas. O anonimato garante a igualdade de oportunidade a todos os participantes de modo
a apresentarem a sua visao sobre as questoes abordadas. Este procedimento permite que todos
6
os participantes expressem as suas opinioes de forma aberta, sendo o mais verdadeiro possıvel
sem se sentirem pressionados psicologicamente pelos membros mais influentes [2]. Existem
situacoes onde nao e possıvel garantir o anonimato total. Pois existem casos em que o inves-
tigador necessita conhecer as respostas de cada especialista ou saber quem sao os membros
do painel que responderam o questionario como forma de motivar os outros participantes. No
entanto, as opinioes e julgamentos dos especialistas devem continuar anonimos.
• Feedback - O feedback e uma caraterıstica do estudo Delphi, independente do tipo de variacao
ou forma. Podemos defini-la como pequenos comentarios opcionais onde os especialistas podem
dar sugestoes para a investigacao ou justificar as suas escolhas no questionario.
• Iteracao - A iteracao e referente ao numero de rondas Delphi. O numero de rondas depende
do tempo disponıvel para a recolha de dados. No Delphi original recomenda-se o uso quatro
rondas. No entanto este criterio tem sido muito alterado pelas alteracoes introduzidas no metodo,
a maioria dos estudos Delphi terminam com duas ou tres rondas [2]. Isso deve-se principalmente
pela dificuldade de manter uma elevada taxa de respostas com estudo Delphi com muitas rondas,
mas sao realizadas tantas rondas, quantas as necessarias e determinadas pelo investigador. No
entanto, deve-se acautelar pois varias rondas podem conduzir a reducao de taxas de respostas,
pelo que e importante que os especialistas que aceitarem participar, devem continuar envolvidos
ate que o processo esteja concluıdo.
• Estatıstica do grupo - A estatıstica do grupo e definida como uma sıntese do resultado da
iteracao anterior. Analise dos dados das sucessivas rondas permite medir nao so a existencia
de consenso e a sua resistencia, mas tambem a convergencia de opinioes
2.2 Organizacao do processo Delphi
O processo Delphi e sistematico e tem como objetivo recolher informacoes necessarias para chegar
um consenso atraves de ciclos iterativos sobre um tema especıfico envolvendo um grupo de especi-
alistas. Os especialistas podem se encontrar tanto fisicamente como geograficamente dispersos. A
organizacao do processo Delphi e a estrutura do processo de comunicacao em grupo e considerado
fundamental para a avaliacao do consenso em estudo Delphi.
Existem, diferentes possibilidades para organizar um processo Delphi. As etapas mais proeminentes
apontados em [1] sao as seguintes:
• Etapa 1: O Investigador - O investigador pode ser uma unica pessoa interessada no estudo ou
uma pequena equipa com interesse sobre um tema especıfico.
• Etapa 2: Identificacao e Escolha dos Especialistas - A identificacao e escolha dos partici-
pantes tem sido um dos aspetos considerados fundamentais para a qualidade do resultado final
desta tecnica. Os participantes podem ser uma equipa de projeto dentro da organizacao, potenci-
ais cliente, ou outros especialistas no campo da pesquisa. Cada participante no estudo Delphi e
7
um especialista ou pessoa com conhecimento e experiencia na area do estudo que o investigador
tem interesse [2].
• Etapa 3: Definicao do tema - A definicao do tema do estudo deve ser clara, para que os espe-
cialistas possam conhecer facilmente o que eles estao julgando. Assim, e da responsabilidade do
investigador atribuir uma definicao clara e concisa.
• Etapa 4: Rondas Delphi - O metodo Delphi tem um numero de rondas nas quais os questionarios
sao enviados ate se obter um consenso [2].
A primeira ronda no Delphi original inicia-se com um conjunto de questoes abertas1 contendo
informacoes gerais sobre o tema, tendo os membros do painel liberdade nas suas respostas, no
entanto este processo pode gerar um conjunto muito extenso de itens, o que pode levar o ques-
tionario da ronda seguinte a ser muito extenso [1]. A alternativa passa por fornecer em cada ronda
uma lista previa de questoes para serem ordenadas consoante um criterio preestabelecido pelo
investigador, permitindo atraves de comentarios opcionais que os especialistas possam sugerir
aspetos nao contemplados na lista fornecida ou justificar as suas escolhas. No final de cada
ronda os dados sao analisados e reenviado o novo questionario aos participantes para execucao
de nova ronda. Uma ronda Delphi termina quando o investigador considerar que foi obtido o
consenso. A figura 2.1, ilustra a execucao de rondas Delphi.
Figura 2.1: Esquema rondas Delphi.
• Etapa 5: Resposta do Especialista - No final de uma ronda com vista a obtencao de consenso,
que representa uma consolidacao do julgamento do grupo, sao analisados os dados da pesquisa
1https://en.wikipedia.org/wiki/Open-ended_question
8
tendo por base analise estatıstica para que se possa identificar convergencias e divergencias das
respostas. Em relacao a analise dos dados, e necessario estabelecer criterios e organizar as es-
colhas ou a pontuacoes atribuıdas pelos especialistas. No entanto, o tipo de criterio utilizado para
definir e determinar o consenso de um estudo Delphi esta sujeita a interpretacao do investigador.
O consenso e um elemento fundamental do estudo Delphi. Deste modo para avaliar o consenso
entre o painel de especialista e necessario garantir a utilizacao de medidas estatısticas que per-
mitam determinar com rigor o grau de concordancia e a ronda em que o Delphi deve terminar
[8].
2.3 Avaliacao do Metodo
O Delphi tem sido criticado por nao ter evidencia de confianca. Caso a mesma informacao for submetida
a dois ou mais paineis de especialistas diferentes nao existe a garantia de que os resultados obtidos
sejam os mesmos [2]. No entanto, existem varios estudos que demonstram que os resultados sao fieis
e credıveis [4].
Outro aspeto que tambem e criticado e a validade. Os especialistas nao podem ser influencia-
dos durante as rondas do questionario, uma vez que isso poderia imiscuir na opiniao individual e ter
implicacoes para a validade [4]. O sucesso do Delphi depende muito da atividade dos participantes.
Um dos grandes desafios desta tecnica e encontrar participantes adequados para explorar uma deter-
minada area de conhecimento. Este e um ponto importante que deve ser tido em conta pelos investi-
gadores na identificacao dos especialistas, tornando a selecao dos participantes um dos aspetos mais
importantes para a qualidade final dos resultados. A selecao de participantes para o estudo Delphi e um
passo crucial em todo o processo, porque afeta diretamente a qualidade dos resultados. No entanto,
nao existem criterios exatos na literatura sobre a selecao dos participantes no estudo Delphi. Um perito
ou especialista e definido como alguem que tem conhecimento ou experiencia acerca de um tema es-
pecıfico ou um especialista no seu campo. Os peritos que aceitarem fazer parte do painel tem que ser
imparciais para que o resultado final reflita o conhecimento ou percecoes do tema em analise. Assim,
o investigador deve ter em consideracao a qualificacao, o conhecimento e a experiencia do especialista
na area que se pretente realizar o estudo.
Tambem deve-se ter em consideracao a dimensao do painel, os quais varia de acordo com o objetivo
do estudo. Relativamente ao numero adequado de especialistas envolvidos em um inquerito Delphi,
recomenda-se que seja um numero capaz de ser processado pelo investigador. No entanto nao existe
um consenso na literatura sobre a dimensao ideal do painel de especialistas num estudo Delphi [8].
Em relacao ao tempo entre as iteracoes recomenda-se que e necessario disponibilizar aos espe-
cialistas cerca de duas semanas para enviar as suas respostas. Mas como citado em [8] esta e uma
grande desvantagem, o tempo entre as iteracoes, dependendo da disponibilidade do especialista. Por
isso o investigador deve manter os especialistas motivados e consciencializando-lhes sobre o tempo de
resposta.
9
2.4 Exemplos de Ferramentas Delphi
Com a presente seccao pretende-se apresentar as ferramentas consideradas relevantes para o pro-
blema apresentado. Estas ferramentas permitiram adquirir conhecimentos solidos sobre aspetos es-
pecıficos de ferramentas Delphi. Cada uma das ferramentas analisadas apresentaram diferentes as-
petos e objetivos que serviram com base para uma melhor compreensao sobre ferramentas web de
suporte ao metodo Delphi.
2.4.1 Ferramentas com Escala de Likert
Varias investigacoes, tal como [3] [8] [1], descrevem o resultado obtido em ferramentas Delphi que utiliza
na estrutura do questionario a escala de Likert, apesar disso, nao conseguimos encontrar nenhuma
ferramenta Delphi que utilizasse exclusivamente esta escala. A escala de Likert e utilizada na estrutura
do questionario para medir a opiniao ou atitude dos participantes.
Nas ferramenta Delphi com escala de Likert, os participantes avalia e ordena cada pergunta segundo
uma escala, especificam o seu nıvel concordancia com uma afirmacao. No entanto, um dos aspetos
controversos, apontados em [11] na aplicacao do metodo Delphi, esta relacionado com a escolha da
escala Likert na estrutura do questionario.
Tal como mencionado em [11]: “ Uma escala tipo Likert e composta por um conjunto de itens, e
solicitado aos participantes para manifestar o grau de concordancia desde o discordo totalmente (nıvel
1) ate ao concordo totalmente (nıvel 5, 7 ou 11)”. Pode existir estudos Delphi que usam escala de
Likert com quatro itens, nao existe uma opcao central, o que leva a quem responde o questionario a
uma escolha positiva ou negativa. A escolha da escala de Likert, na estrutura do questionario, depende
muito do objetivo da pesquisa, mas esta escala pode estar sujeita a distorcoes por diversas causas. Os
especialistas podem sempre concordar com as declaracoes apresentadas ou evitar o uso de respostas
extremas (escolhendo sempre a opcao central).
2.4.2 Delphi Decision Aid
Delphi Decision Aid2 e uma ferramenta web gratuita, desenvolvida por J.Scott Armstrong, esta foi a
unica ferramenta web onde foi possıvel testar as diferentes funcionalidades para elaboracao de um
estudo Delphi. Esta ferramenta permite a recolha de dados em inqueritos anonimos para obter previsao
e julgamento de especialista, obtida em uma serie de rondas. Inicialmente a ferramenta foi desenvolvida
para estruturar o processo de comunicacao em grupo de modo a solucionar problemas complexos
tais como, previsoes de novos produtos, estimar o efeito de mudanca em um programa de marketing,
previsao de resultados, mas nao e limitado apenas para esta finalidade. Esta ferramenta foi concebida
apenas para uso com questoes que geram estimativa quantitativa.
Nesta ferramenta existem diferentes tipos de questoes (figura 2.2) pre-configurados pelo investiga-
dor:
2http://armstrong.wharton.upenn.edu/delphi2/admin.php
10
Figura 2.2: Configuracao das perguntas em Delphi Decision Aid
Cada tipo e configurado no inıcio de cada ronda:
• Perguntadas de resposta aberta: o especialista tem a liberdade de digitar na sua resposta em
uma caixa de comentarios, nao oferecendo opcoes especıficas predefinidas de resposta.
• Escala de avaliacao: participante seleciona uma unica escala para cada pergunta, entre uma
sequencia gradual de avaliacoes possıveis.
• Questao do tipo ranking: os participantes tem de classificar as varias perguntas em determinada
ordem.
Em qualquer tipo de questoes, escolhida pelo investigador, existe varias etapas para criar um ques-
tionario, alem de, so e possıvel escrever uma unica pergunta de cada vez. Ao clicar no botao “Add This
Question”, o utilizador e redirecionado para a etapa seguinte, figura 2.3 onde e possıvel enviar para os
especialistas.
Para adicionar uma nova pergunta (podendo esta ser de outro tipo) e necessario retroceder para
a pagina “Create a question” ao clicar no botao “click here”. Um questionario pode ter varios tipos de
perguntas (por exemplo: ser do tipo perguntas de respostas aberta, pergunta com escala de avaliacao
ou ate perguntas do tipo ranking). Numa pesquisa usando esta ferramenta, a introducao de varias
perguntas torna-se um processo lento para o investigador, alem disso, um questionario com diferentes
tipo de perguntas pode afetar o resultado final da pesquisa.
A ferramenta tambem tem algumas funcionalidades extras tal como a opcao de criar a conta do
especialista, no entanto so e possıvel adicionar uma unica pessoas de cada vez. Este aspeto torna-se
um processo lento ao adicionar paineis de especialistas de maior dimensao.
11
Figura 2.3: Varios tipos de questoes na mesma ronda
2.4.3 e-Delphi
O professor Leonel Santos da Universidade do Minho desenvolveu uma ferramenta para recolha de
opinioes de um painel de especialistas sobre os fatores determinantes do sucesso de adocao e difusao
de servicos de informacao online. Para o efeito foi desenvolvida a ferramenta eDelphi de modo a
suportar a recolha de dados baseada na utilizacao conjunta do Delphi e da tecnica Q-Sort [2]. Apesar
desta ferramenta nao se encontrar disponıvel online, considerou-se de extrema importancia a analise
do artigo [2] para compreender os aspetos especıficos desta ferramenta.
No artigo [2], Santos afirma: ”A opcao de um Delphi com Q-Sort em detrimento do Delphi com escala
Likert, opcao normal nos estudos Delphi, deveu-se ao fato do objetivo do estudo ser a ordenacao de
um conjunto de fatores de acordo com a sua importancia”. A caraterıstica distintiva da tecnica Q-
Sort, e solicitadar aos especialistas que ordenem os declaracoes fornecidos segundo uma distribuicao
predefinida. A tecnica Q-Sort tem sempre por base uma matriz Q-Sort predefinido.
Nesta ferramenta, apos a autenticacao do especialista, este e confrontado com uma lista de questoes
que devera separa-las em tres grupos, um com as questoes “muito importantes”, outro com as questoes
“pouco importantes” e finalmente um com as questoes “neutras ou de importancia regular”.
A primeira etapa (figura 2.4) consiste no agrupamento das questoes em tres grupos. Cada especi-
alista deve que escolher um grupo constituıdo pelas questoes mais importantes, um grupo constituıdo
pelas questoes menos importantes e um grupo constituıdo pelas questoes neutras ou de importancia
regular. Esta distribuicao varia de acordo com o numero de questoes utilizadas no estudo [2].
Apos a distribuicao das questoes nos tres grupos termina a primeira etapa e avanca-se para a
segunda etapa onde as questoes devem ser distribuıdas pela piramide (figura 2.5 ) (aproximadamente
uma distribuicao normal).
Depois da distribuicao de todas as questoes, e depois de efetuar todas as alteracoes que achar
necessarias, o especialista deve submeter os resultados confirmando a sua resposta [2]. Esta ferra-
menta apresenta duas etapas a serem executados pelos especialistas durante o processo de resposta
da pesquisa, etapa de configuracao e etapa de execucao. Para questionarios com varias perguntas ter
12
Figura 2.4: Primeira etapa do e-Delphi
Figura 2.5: Segunda etapa do e-Delphi
estas duas etapas tornar-se um processo lento e desgastante para os especialistas.
2.5 Resumo
Neste capıtulo foram apresentadas conceitos e caraterısticas relevantes para o metodo Delphi, bem
como a analise de algumas ferramentas Delphi. A analise das ferramentas de suporte ao estudo Delphi
teve como objetivo a compreensao de aspetos especıficos, as suas vantagens e desvantagens.
Das ferramentas de suporte ao metodo Delphi analisadas a unica que tivemos a oportunidade de
testar foi e ferramenta Delphi Decision Aid, tal como mencionado no subseccao 2.4.2. Esta ferramenta
apresentou como principais problemas e desvantagens a interface confusa, possibilidade de adicionar
apenas uma questao de cada vez, alem da possibilidade de criar um questionario com varios tipos de
perguntas (perguntas de resposta aberta ou pergunta com escala de avaliacao ou ate perguntas do tipo
ranking) este aspeto pode afetar o resultado final da pesquisa.
Na ferramenta e-Delphi, como descrito em [2], existe duas etapas para responder um pesquisa
utilizando esta ferramenta. Estas duas etapas pode tornar a resposta do especialista em um processo
lento caso haja varias questoes para serem ordenadas.
13
Esta analise feita, bem como a analise da tecnica utilizada na criacao da estrutura do questionario
foram consideradas para o desenvolvimento de uma solucao adequada, a fim de obter uma ferramenta
Delphi simples, util e facil de utilizar.
14
Capıtulo 3
Problema e Proposta de Solucao
Na analise do estado da arte foram analisadas dois tipos de ferramentas Delphi (Delphi Decision Aid e
e-Delphi) alem de relatorios, tal como [3] [8] [1], onde foram usadas ferramentas Delphi que utilizam a
escala de Likert na estrutura do questionario. As vantagens e desvantagens destas ferramentas foram
estudadas de forma detalhada para compreender os aspetos positivos e negativos de usabilidade para
uma ferramenta Delphi.
De modo geral o problema centra-se na necessidade de desenvolver uma ferramenta que explora
o metodo Delphi que seja facil de utilizar com interface utilizador simples e consistente respeitando os
requisitos e caraterısticas do metodo Delphi. As ferramentas analisadas na seccao 2.4 contribuıram
para uma solida compreensao sobre os aspetos fundamentais numa ferramenta Delphi, tal com a usa-
bilidade, estrutura do questionario e a recolha de dados.
Neste capıtulo sera apresentado os aspetos considerados relevantes para a elaboracao da nova
ferramenta Delphi. Sao apresentados os casos de uso considerados e os respetivos atores, a solucao
proposta e a componente tecnologia utilizada na nova ferramenta.
A nova ferramenta web, (denominada Delphi Survey), de suporte ao estudo Delphi pode ser utilizada
por qualquer utilizador (com algum conhecimento no metodo Delphi). Na estrutura do questionario foi
escolhida a tecnica Q-Sort que sera alvo de estudo na subseccao 3.2.2. Em relacao as funcionalidades
e interface da nova ferramenta e importante respeitar os requisitos e caraterısticas do metodo Delphi
com enfoque numa interface consistente entre as varias etapas para a elaboracao de uma ronda Delphi.
Apos a analise dos principais objetivos do metodo Delphi e da analise feita a ferramentas web que
explora o metodo Delphi, foram identificadas e definidas as principais caraterısticas da nova ferramenta.
3.1 Casos de Uso
Uma ferramenta Delphi deve ser autoexplicativa, facil de usar e consistente na configuracao das varias
rondas Delphi realizadas pelo investigador, mas tambem na ordenacao dos itens concretizado pelo
painel de especialistas de modo a contribuir para o sucesso e precisao de recolha de dados relevantes.
Para desenvolvimento desta ferramenta foram considerados um conjunto de casos de uso, asso-
15
ciados a um conjunto de atores. Existem tres atores na ferramenta Delphi Survey, o investigador, o
administrador e o painel de especialistas. Na figura 3.1 e apresentada o conjunto de casos de uso e
os respetivos atores.
Figura 3.1: Casos de Uso relacionados com os Atores
Um utilizador pode ser um utilizador nao autenticado, anonimo, e so pode criar uma conta e iniciar a
sessao na ferramenta Delphi Survey (caso sua conta se encontra registado no sistema). Os utilizadores
autenticados podem ser o investigador ou o administrador mas estes tem diferentes privilegios. Um
investigador interage completamente com as funcionalidades da ferramenta para criar um estudo Delphi
e executar as varias etapas da ronda Delphi. Um administrador e responsavel pela gestao das contas
do utilizador (investigador) e pode remover utilizadores e os respetivos projetos.
Apos a autenticacao, o investigador tem um pequeno tutorial com as varias etapas necessarias
para executar uma ronda Delphi. O investigador pode criar um projeto Delphi (o estudo), atribuindo-
lhe um nome e escolhe o tipo de projeto, anonimo ou nao anonimo, e atribuido automaticamente a
ronda numero 1 ao novo projeto. A escolha do anonimato apenas permite o investigador conhecer as
respostas de cada membros do painel de especialistas e os respetivos comentarios. O anonimato entre
16
os especialistas e sempre garantido. O projeto criado aparecera na lista de projetos do investigador.
O investigador pode eliminar o projeto, editar o nome ou o tipo atribuıdo no momento da criacao.
Ao abrir um projeto (existente na lista de projetos), caso o questionario ainda nao for configurado e
enviado ao painel de especialistas e apresentada a configuracao do questionario onde o investigador
deve importar a lista de questoes referente ao estudo que pretende criar e de seguida enviar aos espe-
cialistas. Caso o questionario estiver configurado e enviado aos especialistas (ao abrir um determinado
projeto) e apresentado o estado geral do projeto. Na configuracao do questionario nao e possıvel editar
manualmente os dados da lista de questoes (isto e, editar e excluir manualmente os itens da lista de
questoes na ferramenta) cada investigador deve elaborar o questionario e colocar no ficheiro com a
formatacao aceite pela ferramenta. Esta escolha advem da elevada quantidade de itens ou questoes
que sao utilizados em estudo Delphi.
Apos o envio do questionario o investigador deve aguardar as respostas dos especialistas. O in-
vestigador pode visualizar o estado do projeto, a data de inıcio, a data do fim de uma ronda (esta so
aparecera quando uma ronda e dada por terminada ou quando se inicia uma nova ronda), o estado
do projeto (por exemplo: enviado, ou terminado) e o numero de respostas obtidas ate o momento. O
tempo de espera pelas respostas dos especialistas e o tempo para recolha de dados varia consoante
a disponibilidade do investigador. O investigador pode reenviar o convite solicitando a participacao
dos especialistas que ainda nao responderam ao questionario. Todas as respostas e os comentarios
opcionais adicionados pelos especialistas, referente a uma ronda Delphi, podem ser exportados pelo
investigador.
Posteriormente, o investigador analisa os resultados obtidos e determina se e necessario iniciar uma
nova ronda ou dar uma ronda por terminada. Sempre que desejar o investigador pode fazer o logout
da ferramenta web.
O painel de especialistas sao todos os utilizadores convidados para participar no estudo com o ob-
jetivo de preencher o questionario enviado pelo investigador. Cada membro do painel recebe um email
com o convite para participar no estudo Delphi realizado por um investigador. No email de convite de
cada especialista existe um hiperlink para a pagina web da ferramenta Delphi Survey. O especialista
deve aceder ao hiperlink e preencher o questionario. O preenchimento do questionario consiste em or-
denar a lista atribuıda seguindo as etapas da tecnica Q-Sort. Apos terminar a ordenacao o especialista
pode opcionalmente adicionar comentarios sobre a sua escolha ou sugerir mais opcoes para a lista do
questionario. Posteriormente envia a sua resposta que sera alvo de analise do investigador.
3.2 Desenho da Solucao
Esta seccao tem como objetivo apresentar o domınio da solucao e justificar a solucao proposta para o
desenho da estrutura do questionario da ferramenta Delphi Survey.
17
3.2.1 Domınio da Solucao
Delphi Survey e uma ferramenta web que servira de suporte ao estudo Delphi realizado por investi-
gadores. Um projeto Delphi e constituıdo por varias rondas, cada ronda e enviada para um grupo de
pessoas que fazem parte do painel de especialista escolhido pelo investigador.
O modelo de domınio, figura 3.2, representa todos os conceitos alinhados, bem como as relacoes
entre eles.
Figura 3.2: Modelo de Domınio da Solucao
A ferramenta contem utilizadores autenticados com diferentes privilegios. O investigador cria projeto
Delphi composto por no mınimo uma ronda. Cada ronda e composta por questionarios enviados ao
painel de especialista. As respostas do painel de especialista representam o resultado obtido numa
ronda.
18
3.2.2 Estrutura do Questionario
O metodo Delphi e especialmente utilizado para obter consensos de opiniao de um grupo de especi-
alistas acerca de um tema especıfico. Um dos aspetos fundamentais na aplicacao do metodo Delphi
e o desenho do questionario. Tal como citado em [11] a escolha da escala de Likert no desenho de
questionario e um dos aspetos controversos deste metodo.
A escala de Likert podem estar sujeitos a distorcoes por diveras causa. Por vezes os participantes
num questionario utilizando a escala de Likert tem tendencia a concordar com as declaracoes apresen-
tados, alem de que e difıcil trabalhar com respostas neutras, como “nao concordo nem discordo”[11].
A escala Likert tem o inconveniente do membro do painel olhar para cada questao individualmente,
quando se considera cada item isoladamente, torna-se difıcil ponderar a sua importancia ou o seu peso
de acordo com a escala [2].
Tendo em conta os aspetos apontados sobre a utilizacao da escala de Likert na estrutura de
um questionario na fase de concecao do desenho optou-se por conceber um sistema utilizando a
metodologia-Q na estrutura do questionario.
A metodologia-Q foi desenvolvida por William Stephenson. Esta metodologia fornece uma base
para o estudo de questoes com caraterısticas subjetivas expressas pelos pontos de vista e opinioes
pessoais [12] [13]. A caraterıstica especıfica da tecnica Q-Sort, uma das componentes da metodologia-
Q, e solicitada aos entrevistados que ordenem os itens fornecidos segundo uma distribuicao predefinida,
usualmente aproximadamente normal. A maioria de estudos analisados para recolha de dados no que
se refere a questionarios faz o uso da tecnica Q-Sort, como ilustrado em FlasQ 1, tendo como base
uma estrutura do tipo matriz conhecida como matriz Q-Sort (exemplo figura 3.3).
Figura 3.3: Matiz Q-Sort, distribuicao para 30 itens
Para que a tecnica Q-Sort possa atingir o objetivo esperado e necessario que as seguintes etapas
sejam cumpridas pelo utilizador:
• Ler todas as questoes;
• Apos ter tomado conhecimento de todas as questoes presentes na lista, o participante deve
comecar por selecionar cada questao e colocar na posicao da matriz de acordo com o peso
que pretende atribuir a essa questao
1http://www.hackert.biz/flashq/home/
19
As posicoes da matriz (exemplo figura 3.3) estao distribuıdas por uma ordem crescente de peso (a
posicao “-4” tem o menor peso e a posicao “4” tem o maior peso). A distribuicao do peso e por ordem
crescente de esquerda para direita e de cima para baixo.
A utilizacao do metodo Delphi utilizando a tecnica Q-Sort na estrutura do questionario foi conside-
rada a solucao mais adequada do que a utilizacao de escala Likert ou outro tipo de escala, dado que a
tecnica Q-Sort induz os participantes (membros do painel) a considerarem o problema como um todo
ao contrario de outras tecnicas que opera questao a questao.
3.3 Tecnologia Utilizada
Pretende-se que a nova ferramenta seja adaptavel para facilitar a manutencao evolutiva da ferramenta,
mas tambem que seja alteravel em termos de requisitos ou funcionalidade. Tendo por base estes
aspetos a tecnologia utilizada foi o stack de desenvolvimento MEAN. O stack de desenvolvimento
MEAN consiste em usar MongoDB, ExpressJS, NodeJs (para back-end) e AngularJS (para front-end).
Esta tecnologia e ideal para o desenvolvimento de aplicacoes que utiliza a prototipagem evolutiva e
permite desenvolver aplicacoes web recorrendo so a linguagem de Javascript.
3.3.1 MongoDB
MongoDB e uma base de dados NoSQL orientado a documentos, de alta disponibilidade e escalabili-
dade. Alem de orientada a documentos, e formado por um conjunto de documentos JSON (JavaScript
Object Notation), com esquemas dinamicos. Esta base de dados permite alterar a estrutura do docu-
mento JSON adicionando novo campo ou eliminando campos existentes, alem de que os dados podem
ser integrados em hierarquias. A indexacao nesta base de dados e flexıvel e escalavel em interrogacoes
por ferramentas Javascript, com recurso a JSON.
3.3.2 ExpressJS
ExpressJs e uma framework para NodeJs flexıvel, minimalista que contem um conjunto de funcionali-
dades robustas para o desenvolvimento de aplicacoes web . Determina como a aplicacao responde a
uma solicitacao do cliente por um endpoint especıfico. Este framework para NodeJS permite realizar
operacoes para gestao de aplicacoes do lado do servidor tal como encaminhamento de pedidios http e
configuracao de middleware.
3.3.3 NodeJs
NodeJs e um ambiente de execucao que permite criar um servidor web usando so a linguagem Javas-
cript. NodeJs permite uma arquitetura baseada em eventos com API assıncrona. Este interpretador de
codigo Javascript e baseado no interpretador V8 JavaScript Engine2 (interpretador de Javascript open
2https://en.wikipedia.org/wiki/Node.js
20
source implementada pela Google).
3.3.4 Angular Js
A tecnologia utilizada para o desenvolvimento da nova ferramenta a nıvel de interface foi AngularJs.
AngularJs e um framework Javascript t open source extensıvel com o objetivo de facilitar o desenvolvi-
mento de aplicacoes com base no padrao MVVM (model-view-view-model). Esta framework Javascript
permite criar paginas HTML atraves de controlos e extensoes a linguagem HTML. Ainda a nıvel da
interface foi utilizada Bootstrap e algumas bibliotecas essencias para a interface da ferramenta.
3.4 Resumo
Neste capıtulo foi apresentado o problema e proposta da solucao. Apos a analise feita no capıtulo
2 foram identificadas os requisitos considerados relevantes para a nova ferramenta Delphi. Foi apre-
sentado o domınio da solucao e a solucao proposta para o desenho da estrutura do questionario da
ferramenta Delphi Survey. No final do presente capıtulo foi apresentado a tecnologia utilizada bem como
a explicacao como as ferramentas web beneficiam da tecnologia escolhida.
21
Capıtulo 4
Demostracao da Solucao Proposta
Apos a analise do resultado obtido na avaliacao da primeira versao, algumas alteracoes foram feitas
de modo a melhorar a usabilidade da ferramenta. A versao final sera apresentado neste capıtulo. Este
capıtulo apresenta detalhadamente todo o processo de elaboracao de um estudo Delphi na ferramenta
Delphi Survey. A solucao proposta baseia-se nos requisitos apresentados na seccao 3.2 de modo
a aproveitar os benefıcios da tecnologia escolhida para criar uma nova ferramenta com interface de
utilizador simples, consistente e flexıvel.
No apendice A e apresentado o Manual de Utilizador. O manual de utilizador tem como objetivo
fornecer aos utilizadores uma solida compreensao sobre as funcionalidades da nova ferramenta. No
final deste capıtulo (seccao 4.7) sera descrito o estudo Delphi realizado utilizando a nova ferramenta e
os resultados obtidos.
4.1 Pagina Inicial
A pagina inicial da ferramenta e a primeira pagina apresentado ao utilizador. Esta pagina apresenta
uma pequena descricao sobre a ferramenta (figura 4.1).
Figura 4.1: Pagina Inicial Delphi Survey
22
A partir da pagina inicial o utilizador tem acesso direto a pagina SignUp ou a pagina Login, pressio-
nando o botao SignUp ou Login respetivamente, no canto superior direito. Na pagina Login e possıvel
iniciar sessao na ferramenta e na pagina SignUp o utilizador cria uma conta na ferramenta web.
Para criar uma conta na ferramenta Delphi Survey, na pagina SignUp (figura 4.2), o utilizador deve
preencher o formulario com o nome de utilizador, email e a palavra-passe. Caso o nome utilizador ja
existir uma mensagem de alerta e apresentado, caso contrario e criada um nova conta e o utilizador
sera redirecionado para a pagina Login.
Figura 4.2: Pagina SignUp Delphi Survey
Na pagina Login (figura 4.3) o utilizador preenche o formulario com o nome utilizador e a palavra-
passe. Apos pressionar no botao ”Login” o utilizador sera redirecionado para a pagina Projetos. No
entanto, caso os dados utilizados (nome utilizador e palavra-passe) nao corresponder a uma conta
existente na base de dados a operacao de autenticacao sera cancelada e apresentada uma mensagem
de alerta.
Figura 4.3: Pagina Login Delphi Survey
4.2 Pagina Projetos
Depois de autenticado, o utilizador (investigador) sera redirecionado para a respetiva pagina Projetos
(figura 4.4). Nesta pagina e apresentado os projetos Delphi pertencentes ao investigador autenticado.
23
Figura 4.4: Exemplo de Pagina Projetos de um investigador.
4.2.1 Projeto Delphi
Na figura 4.4 e apresentado os projetos de um utilizador contendo informacoes sobre cada projeto, o
nome, o tipo de projeto, a data de criacao da ronda atual, o numero da ronda e o estado da ronda. A
ultima linha da tabela permite o utilizador criar novo projeto. O utilizador deve preencher o formulario
com o nome do novo projeto, selecionar o tipo de projeto (anonimo ou nao anonimo) e pressionar
o botao “Create New Project”. A escolha do anonimato apenas permite o investigador conhecer as
respostas de cada membros do painel de especialistas e os respetivos comentarios. O anonimato entre
os especialistas e sempre garantido.
Uma mensagem de alerta sera apresentada caso o campo “ProjectName” nao for preenchido ou
nao for selecionado o tipo no campo “Select type of Project” ou ainda caso existe na base de dados um
projeto com o mesmo nome adicionado pelo utilizador. Quando o projeto e criado e atribuıdo ao projeto
ronda numero 1, os dados do novo projeto serao guardados na base de dados da ferramenta.
Para cada projeto, na pagina Projeto, existe tres tipos de funcionalidades (botoes a direita). O botao
“Open” abre o projeto selecionado, caso o estudo estiver configurado e enviado ao painel de especia-
listas, o utilizador sera redirecionado para a pagina de Visao Geral (sera explicado seccao 4.4), caso
contrario o utilizador sera redirecionado para a pagina Configuracao do Questionario (sera explicado
na proxima seccao). Tal como na pagina principal, o navegador azul na parte superior permite os utili-
zadores mudar de pagina, neste caso, em cada pagina do projeto aberto o utilizador pode retroceder a
pagina Projetos ou voltar para a pagina de Login (fazer logout da ferramenta web).
O botao ”Edit” permite alterar o nome do projeto e o tipo de projeto. O utilizador preenche o campo
que pretende alterar e ao pressionar o botao “Save” a informacao sera atualizada na base de dados.
Finalmente o botao ”Delete” elimina o projeto selecionado apos o utilizador confirmar a mensagem
que deseja eliminar o projeto.
24
4.3 Pagina Configuracao do Questionario
Apos criar um novo projeto e necessario configurar o questionario e enviar ao painel de especialistas.
Quando um novo projeto e aberto o utilizador sera redirecionado para a pagina Configuracao do Ques-
tionario. Esta pagina apresenta explicacoes necessarias para o utilizador importar a lista de questoes
e selecionar os especialistas. O utilizador deve escolher o ficheiro com a lista de questoes (o ficheiro
deve estar em formato csv/ xls/ xlsx/ ods). No entanto, a ferramenta nao permite selecionar outro tipo
de ficheiro (ao carregar no botao “Import Data” apenas sera apresentado os ficheiros com o formato
acima mencionado). O mesmo se aplica ao importar a lista de email do painel de especialistas.
Figura 4.5: Pagina de Configuracao do Questionario
Apos importar a lista de questoes e desenhada uma matriz Q-Sort (figura 4.5), que se aproxima de
uma distribuicao normal (com N-1 posicoes, a primeira posicao da lista de questoes deve conter uma
breve descricao do objetivo do estudo). Os dados da lista sao guardados na base de dados e aparecera
uma mensagem de alerta. De seguida o utilizador deve selecionar o painel de especialistas.
Figura 4.6: Selecao e Envio para Especialistas
25
Ao pressionar o botao “Expert Selection” e apresentado uma janela pop-up (figura 4.6) contendo
breve descricao sobre a selecao e envio de email para o painel de especialistas. O Utilizador deve
importar a lista de email do painel de especialistas (o ficheiro deve estar em formato csv/ xls/ xlsx/ods).
Apos a validacao do ficheiro e apresentada uma mensagem que o ficheiro foi importando com exito. O
utilizador pode modificar o assunto do email e o texto da mensagem exceto o “[[delphiSurvey address]]”
( este campo sera substituıdo por um hiperlink unico para cada especialista). Ao enviar o email de
convite para participar no estudo aparecera uma mensagem de alerta caso o email for enviada com
exito, ou mensagem de erro caso contrario. Apos o envio do convite ao painel de especialistas o
utilizador sera redirecionado para a pagina de Vista Geral.
4.4 Pagina Overview
Quando um projeto e aberto, caso o estudo estiver configurado e enviado ao painel de especialistas, o
utilizador sera redirecionado para a pagina overview do projeto (figura 4.7).
Figura 4.7: Pagina Overview
Esta pagina apresenta informacao sobre o numero da ronda atual, uma breve explicacao como
reenviar novo email de convite aos especialistas que ainda nao responderam o questionario e como
dar inicio a uma nova ronda ou terminar a ronda atual. Ainda apresenta algumas informacoes referente
as rondas do projeto aberto (o numero da ronda, o estado da ronda, a data de inıcio a data de fim e
o numero de respostas). Ao dar inicio a uma ronda o estado da ronda anterior e apresentada como
fechada. O objetivo principal desta pagina e ajudar o investigador a gerir as varias rondas e visualizar
o estado da ronda do projeto.
4.5 Pagina Resultado
Para visualizar o resultado de uma ronda, na pagina de Vista Geral, o investigador deve selecionar
o botao “Show” da ronda que pretende visualizar. Apos carregar no botao “Show” o investigador e
redirecionado para a pagina resultado (figura 4.8).
26
Figura 4.8: Pagina Resultado de uma ronda
Nesta pagina e possıvel visualizar o grafico de somatorio de pontuacao, grafico de percentagem de
resposta e informacao sobre o numero de questoes, o numero de painel de especialistas e o numero
de respostas. Para exportar o resultado de uma ronda, o investigador deve pressionar no botao “Ex-
port Data” para exportar as respostas do painel de especialistas e no botao “Export Comments” para
exportar os comentarios dos especialistas. Uma mensagem de alerta e apresentada caso nao existe
comentarios dos especialistas. Todos os dados sao exportados em formato csv. Estes dados sao anali-
sados posteriormente pelo investigador para determinar se foi obtido o consenso entre os especialistas.
4.6 Pagina Painel de Especialistas
O painel de especialistas recebe um email a convidar-lhe para participar no estudo Delphi. Para parti-
cipar, o especialista deve aceder o hiperlink para preencherem o questionario no site do Delphi Survey
(figura 4.9).
Figura 4.9: Pagina Painel de Especialistas
Apos o preenchimento completo da matriz Q-Sort o especialista envia a sua resposta. O especialista
pode sugerir novas questoes, que considera importante ou a adicionar outro tipo de comentario (figura
27
4.10).
Figura 4.10: Envio da Resposta
4.7 Estudo Delphi na ferramenta Delphi Survey
Nesta seccao apresenta o resultado do estudo Delphi realizado utilizando a ferramenta web Delphi
Survey. A sua funcionalidade principal e o suporte a estudo Delphi via web. Como o envolvimento
de utilizadores reais e importante no desenvolvimento de uma ferramenta web centrada na recolha de
opinioes individuais de um grupo de pessoas, para determinar a convergencia ou divergencia sobre
o tema de pesquisa, foi realizado um estudo Delphi com um grupo de utilizadores voluntarios para
participar no estudo e avaliar a ferramenta.
O objetivo do estudo e preencher um questionario que tem por finalidade ordenar um conjunto com-
posto por 30 itens (ver tabela C.1 Apendice C), pela ordem na qual considera ser mais provavel virem
a ocorrer, no que diz respeito as tendencias tecnologicas. Foi selecionado um grupo de especialista
constituıdo por 20 pessoas, cujo caraterısticas foram consideradas adequadas para a conducao do
estudo.
Cada membro do painel de especialistas foi contatado previamente.
Para determinar se houve consenso entre as rondas foi utilizado o coeficiente de condordancia de
Kendall’s W. Este coeficiente determina o nıvel de consenso dos membros do painel. Existem varias
metricas para determinar o consenso mas o coeficiente de condordancia de Kendall’s W e amplamente
reconhecido como o melhor, pois este coeficiente determina o grau de uniformidade entre as respostas
[14]. Este coeficiente foi utilizado em varios estudos [2] [5] [14].
O valor de W varia entre 0 e 1, 0 indica que nao ha consenso e 1 indica um consenso perfeito entre
as listas de itens [15]. Schmidt [15] forneceu uma tabela para interpretar os diferentes valores de W,
onde o valor 0,7 indica forte concordancia.
Este estudo Delphi foi conduzido ao longo de duas rondas, cujo resultado sera apresentado nas
proximas subseccao. As duas rondas demoraram quatro dias, o esforco e envolvimento pedido aos
membros do painel deve ser considerado.
28
4.7.1 1a Ronda do estudo Delphi
Na primeira ronda foi fornecida uma lista de 30 de itens, ordenados por ordem aleatoria (tabela C.1
Apendice C). Nesta ronda responderam 19 dos 20 especialistas convidados a participar no estudo, o
que corresponde a uma taxa de respostas de 95% (ver figura 4.11).
Para obter o ranking de cada ronda os itens sao ordenados pelo somatorio dos pontos atribuıdos
por cada um dos membros. As respostas dos especialistas representam elas proprias rankings, entre
1 e 30, por ordem crescente na qual e considerada ser mais provavel acontecer. O item colocado
na primeira posicao (mais provavel acontecer) fica com 30 pontos e o item colocado na ultima posicao
(menos provavel acontecer) fica com 1 ponto. A soma dos pontos atribuıdos pelo painel de especialistas
a cada item define a posicao deste item no ranking, o que corresponde a opiniao dos especialistas do
painel nessa ronda.
Figura 4.11: Resultado da 1a Ronda
As respostas dos especialistas nesta primeira ronda, em forma de ranking, constam na figura C.1
Apendice C, esta figura corresponde ao ficheiro csv exportado apos a conclusao da primeira ronda. Na
figura (figura C.1) as colunas sao os itens representados pelo seu numero de ordem de acordo com
a (tabela C.1), e as celulas representam a posicao atribuıda pelo especialista de acordo com a sua
opiniao qual ser mais provavel acontecer, em que 30 e o mais provavel e 1 o menos provavel.
De acordo com os resultados finais da primeira ronda os itens considerados mais provavel de ocor-
rer, no que diz respeito as tendencias tecnologicas, apos a primeira ronda foram: “Carros com tec-
nologia de conducao 100% autonoma” como o mais provavel seguido do “ Desaparecimento de
jornal formato em papel”. Os itens menos provavel que aconteca (segundo as respostas do painel de
especialista) sao: “Impressao 3D de avioes” e “Habitacao de outros planetas”.
O coeficiente Kendall’s W usado para determinar a concordancia dos membros do painel em termos
de ordenacao dos itens foi de 0,39, o que representa um nıvel de concordancia moderado. Atraves
deste resultado, verificou-se que nao tinha sido alcancado um consenso estatisticamente significativo e
procedeu-se a elaboracao de mais uma ronda.
29
4.7.2 2a Ronda do estudo Delphi
A segunda ronda teve como objetivo melhorar o grau de convergencia de opinioes entre os membros
do painel em relacao a ordenacao dos itens do tema em estudo. A lista de itens da ronda anterior foi
enviada aos especialistas para a segunda ronda, no email foi enviado uma breve descricao do resultado
da ronda anterior. Foi solicitado aos membros do painel que realizassem uma nova ordenacao dos itens
seguindo as regras do Q-Sort.
Nesta ronda responderam 17 dos 19 dos especialistas que participaram na primeira ronda, o que
corresponde a uma taxa de respostas de 89 % (ver figura 4.12).
Figura 4.12: Resultado da 2a Ronda
As respostas dos especialistas nesta ronda, em forma de ranking, constam na figura C.2 (Apendice
C, imagem do ficheiro exportado apos a 2a ronda). A ordem dos itens apos a segunda ronda o itens
considerado mais provavel de ocorrer no que diz respeito as tendencias tecnologicas, apos a segunda
ronda foi: “Carros com tecnologia de conducao 100% autonoma”.
Nesta ronda a concordancia entre os membros do painel, medido pelo coeficiente de Kendall’s W,
foi de 0.42 o qual representa uma concordancia satisfatoria de acordo com a tabela de valores proposta
por Schmidt.
4.7.3 Analise dos resultados do estudo Delphi
A ordem dos itens sofreu poucas alteracoes entre a classificacao obtida na 1a ronda e a classificacao
da 2a ronda. Pode-se concluir que o painel convergiu, podendo-se dar por terminado o estudo Delphi.
Apos terminar o estudo Delphi, obteve-se a lista ordenada por ordem a qual os membros do painel con-
siderem ser mais provavel acontecer, segundo a opiniao individual dos especialistas que constituıram o
painel. Este estudo teve como objetivo principal a avaliacao da ferramenta Delphi Survey sera descrito
no capıtulo 5.
4.8 Resumo
O capıtulo 4 descreve interface e as caraterısticas da solucao final da ferramenta Delphi Survey. Neste
capıtulo foi apresentado as pagina da ferramenta bem como as funcionalidades especıficas para elaboracao
30
de um estudo Delphi e recolha de dados de uma ronda Delphi. Apos a autenticacao o utilizador e apre-
sentado a lista de projetos referentes a este investigador. O utilizador pode visualizar, na pagina de Vista
Geral, o estado de uma ronda referente a um projeto. Nesta pagina esta disponıvel toda informacao
referente as ronda Delphi do projeto (tal como data de inicio, data de fim, numero de especialistas que
responderam ao questionario). A partir desta pagina e possıvel ver a configuracao do questionario e
o resultado de uma ronda, alem de ser possıvel criar uma nova ronda ou terminar a ronda atual. Na
seccao 4.7 foi apresentado a descricao e o resultado de um estudo Delphi realizado na ferramenta
Delphi Survey. Este estudo teve como principal objetivo a avaliacao da ferramenta com utilizadores re-
ais de modo a obter feedback da usabilidade e experiencia de utilizador da ferramenta que sera descrita
no proximo capıtulo.
31
Capıtulo 5
Avaliacao
O envolvimento de utilizadores reais e importante na avaliacao de uma ferramenta web que explora
metodo de recolha de opinioes individuais de um grupo de pessoas. Neste capıtulo sera explicado o
metodo de avaliacao utilizado, o processo de avaliacao, os resultados e a respetiva analise.
5.1 Metodo
Com base nos trabalhos considerados relevante para o problema apresentado foram concebidos varios
prototipos para avaliar os requisitos adequados para o desenvolvimento da solucao final. A prototipa-
gem e utilizada como um modelo credıvel de criacao de sistemas de software [16].
Na fase de analise do problema apresentado, foi estudado o estado da arte de algumas ferramentas
Delphi, nesta fase foi utilizado a metodologia prototipagem em papel para criar o esboco de potencias
solucoes para a nova ferramenta. Na fase de concecao da nova ferramenta foi utilizado a metodologia
de prototipagem evolutiva ou evolucionaria. Prototipagem evolutiva consiste no desenvolvimento de
um sistema que evolui de uma versao inicial muito limitada ate a versao final [7]. Nesta fase foram
adicionados funcionalidades gradualmente para demostrar parte do sistema ao utilizador (o orientador
deste trabalho de dissertacao) de modo a obter feedback claro e conciso sobre o prototipo. De modo
progressivo foram adicionadas diversas funcionalidades ate a primeira versao da solucao.
Apos a fase de prototipagem recomenda-se a avaliacao de usabilidade com utilizadores reais. Rea-
lizar testes de usabilidade em plataformas ou ferramentas web passou a ser um requisito imprescindıvel
para a aceitacao do produto [17]. De acordo com os parametros de usabilidade citado em [18] foi ela-
borado um conjunto de tarefas tıpicas da ferramenta Delphi Survey para a avaliacao com utilizadores
e o inquerito de avaliacao de utilizador (Apendice E) que deve ser preenchida no final da avaliacao. O
objetivo principal desta avaliacao foi obter informacoes relativo a experiencia do utilizador e a usabili-
dade ao interagir com a ferramenta. De mencionar que foi utilizada a primeira versao da ferramenta web
para a avaliacao com grupo de utilizadores. Apos a avaliacao foram sugeridas pequenas melhorias na
ferramenta que deu origem a versao final.
32
5.2 Processo de avaliacao
No processo de avaliacao utilizou uma combinacao de tecnica de observacao e questionario o tempo
estimado para a avaliacao foi entre 15 a 25 minutos. Os utilizadores que participaram nesta avaliacao
foram os mesmos que participaram no estudo Delphi. De modo a obter o feedback da pagina de Painel
de Especialista no inıcio da avaliacao foi solicitado aos utilizadores para apontar os aspetos negativos e
positivos encontrados ao responder o questionario na pagina de Painel de Especialista. As suguestoes
e aspetos apontados contribuiram para melhor a pagina Painel de Especialista.
Para a avaliacao cada utilizador executou as mesmas tarefas utilizando a primeira versao da ferra-
menta web e receberam previamente os seguintes documentos e ficheiro:
• Manual de utilizador (Apendice A) – Explica ao utilizador como executar as respetivas funcoes na
ferramenta. Este manual estava disponıvel para consulta durante a avaliacao.
• Guia de Avaliacao (Apendice B) – Este documento contem a configuracao necessaria para a
avaliacao, as tarefas a serem executadas durante a avaliacao e o hiperlink do inquerito avaliacao
utilizador feito com base no formulario do Google onde e solicitado ao utilizador para avaliar a
ferramenta.
• Ficheiro zip contendo uma pasta com ficheiros xlsx (para serem usados em tarefas especificas).
Estes documentos foram enviados com alguma antecedencia para serem consultados antes do
inıcio avaliacao. Apos terminar todas as tarefas, foi solicitado aos utilizadores para preencher o inquerito
avaliacao utilizador de modo a obter o feedback relativo a aspetos positivos e negativos ou outros
comentarios adicionais sobre a ferramenta.
5.2.1 Tarefas
Para esta avaliacao foi definido o Guia de Avaliacao (Apendice B), que contem a lista de tarefas deste
processo. A lista de tarefas e constituıda por tarefas mais simples tal como criar um projeto ate a
configuracao e envio de questionario ao painel de especialistas. O nıvel de dificuldade aumenta relativo
a ordem das tarefas. O objetivo da lista de tarefas foi avaliar a primeira versao da ferramenta e utilizar
todas as funcoes disponıveis para elaboracao de um estudo Delphi. Todos os utilizadores seguiram
a ordem das tarefas descrita no guia. A ultima tarefa consiste em aceder ao hiperlink do inquerito e
avaliar a ferramenta.
5.2.2 Participantes e metodos de avaliacao com utilizadores
Como foi referido anteriormente nesta avaliacao participaram os mesmos utilizadores que participaram
no estudo Delphi. Em relacao aos 19 utilizadores da primeira ronda do estudo Delphi nesta avaliacao
participaram 18 utilizadores. Todos os utilizadores tinham algum conhecimento no metodo Delphi ou
na tecnica Q-Sort. Na avaliacao utilizou uma combinacao de tecnica de observacao e questionario.
A avaliacao foi presencial ou online utilizando a aplicacao Skype com a opcao de partilha de ecra.
33
Durante a avaliacao foi observado e anotado as acoes dos utilizadores ao executar as tarefas, o tempo
despendido, eventuais erros. Apos a conclusao das tarefas foi anotado o feedback de cada utilizador.
5.2.3 Inquerito Usabilidade e Experiencia de Utilizador
Apos a conclusao de todas as tarefas contempladas no Guia de Avaliacao, cada utilizador preencheu o
inquerito de usabilidade e experiencia do utilizador. Este inquerito foi dividido em tres partes:
• Usabilidade;
• Experiencia do utilizador;
• Opiniao Pessoal.
A usabilidade de acordo com os parametros indicado em [18] esta relacionado com a eficacia,
eficiencia e satisfacao do utilizador. Enquanto a experiencia do utilizador esta relacionado com a
percecao do utilizador em aspetos praticos como a apresentacao, a facilidade de utilizacao, o desempe-
nho do sistema. A experiencia do utilizador e subjetiva, pois depende da percecao, atitudes, habilidade
e pensamento individual sobre o sistema [18]. Para avaliar a usabilidade foi seguido os 5 parametros
indicados em [18]:
• Facilidade de aprendizagem - Este e um dos atributos mais importantes da usabilidade, o utili-
zador consegue interagir com o sistema, aprendendo as opcoes e a funcionalidade dos botoes.
O utilizador deve compreender com facilidade a interface, as diferentes etapas e o que pode fazer
para realizar uma tarefa. Este atributo deve ser medido mesmo em relacao a utilizadores com
pouca experiencia. Neste parametro mede-se o tempo que demora para concluir uma tarefa.
• Eficiente - Apos ter aprendido como a ferramenta funciona, cada utilizador deve ser capaz de
localizar a informacao que precisa;
• Facil de lembrar - Ate utilizador que usa o sistema ocasionalmente, consegue lembrar das funci-
onalidades, nao existe ha necessidade de voltar a aprender como o sistema funciona;
• Facil de recuperar de situacoes de erro - Os utilizadores nao cometem muitos erros durante a
utilizacao do sistema, ou se os cometem devem conseguir recuperar, nao devendo ocorrer erros
catastroficos;
• Satisfacao do utilizador: O utilizador sente-se satisfeito com o sistema, gostam de interagir com
o sistema devido a interface, o conteudo disponıvel ou a estrutura.
A facilidade de aprendizagem e determinada pelo tempo medio que os utilizadores levam a concluir
a lista de tarefas com sucesso. A eficiencia e a facilidade de recuperacao em situacoes de erro foram
anotados as tarefas concluıdas com sucesso e caso haja erro, o numero de erros realizados pelo utiliza-
dor durante a execucao de uma tarefa. Em relacao aos parametros, facilidade de lembrar e satisfacao
34
os utilizadores, responderam as questoes do inquerito (grau de dificuldade das funcoes disponıveis e o
grau de satisfacao em relacao a experiencia da ferramenta).
No que concerne a experiencia do utilizador foram criadas questoes especificas de acordo com [19]
para medir a experiencia do utilizador.
As ultimas questoes do inquerito tem como objetivo a opiniao pessoal do utilizador e sao questoes
opcionais. Estas questoes correspondem o aspeto positivo e negativo da ferramenta, sugestoes ou
ideias do que podia ser melhorado na ferramenta e outros comentarios relativo a ferramenta.
5.3 Resultado
Apos a avaliacao dos 18 utilizadores, foram analisados os resultados obtidos do inquerito de usabilidade
relativo a primeira versao da ferramenta. De mencionar que tres dos utilizadores, apesar de conhecer a
tecnica Q-Sort nao conheciam o metodo Delphi, este fato teve influencia no tempo de execucao da lista
de tarefas. O resultado completo da avaliacao esta disponivel no Apendice D.
5.3.1 Usabilidade
Na avaliacao foi anotado o tempo que os utilizadores levaram a concluir a lista de tarefas, o numero
de erro numa determinada tarefas e se conseguiram recuperar desse erro. Os utilizadores atribuıram
o grau de dificuldade relativo as funcionalidade realizadas durante as tarefas, usando um escala de 4
pontos a) Muito Difıcil, b) Difıcil, c) Facil e d) Muito Facil. Do mesmo modo foi medido a utilidade de
algumas funcionalidades da ferramenta usando um escala de 4 pontos a) Nao devia estar Disponıvel,
b) Nao e util, c) Util, d) Muito util. Foram determinadas a mediana de cada questao, bem como a
media de tempo despendido na execucao. O tempo medio para execucao da lista de tarefas foi de 19.7
minutos o que indica que a maioria dos utilizadores realizou a avaliacao dentro do tempo estipulado.
Os utilizadores que analisaram o manual antes da avaliacao ou utilizadores com experiencia neste tipo
de ferramentas, concluıram as tarefas em menos tempo que os outros utilizadores.
As tabela 5.1 e D.1 (Apendice D) apresentam o resultado obtido em relacao ao grau de dificuldade,
questao 1 do inquerito. Com excecao da funcao de terminar ronda, os utilizadores consideraram a
maioria das funcoes muito facil de usar.
Questao 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 1.14
Mediana d d d d d d d d d d d c d d
Tabela 5.1: Respostas da questao 1 de usabilidade: Mediana
Foi utilizado uma escala de 5 pontos (onde 1 e discordo totalmente e 5 e concordo totalmente). Os
utilizadores classificaram a frase (”Em qualquer momento, soube o que estava a acontecer na ferra-
menta”). Esta classificacao teve como objetivo analisar a percecao do utilizador relativo a ferramenta,
isto e, verificar se eles sabiam o que estava acontecendo na ferramenta ao seguir as tarefas. Para
35
classificar a satisfacao do utilizador foi utilizado uma escala de 5 pontos (onde 1 e muito insatisfeito e 5
e totalmente satisfeito).
Na tabela 5.2 mostra os valores relativo a utilidade das funcionalidades, a percecao e a satisfacao
do utilizador. Os utilizadores tiveram uma boa percecao do que estava acontecendo na ferramenta.
Questao 2.1 2.2 2.3 2.4 3.1 4.1
Media 4.3 4.4Mediana d c c d 4 4
Tabela 5.2: Respostas das questoes de usabilidade 2, 3 e 4: media e mediana
No geral o parametro de satisfacao do utilizador foi muito elevado entre os utilizadores. As funcio-
nalidades (Reenviar e-mail para os especialistas que ainda nao participaram e Grafico de somatorio de
pontuacao) 2.1 e 2.4 respetivamente foram classificados como muito util e (Exportar comentarios dos
Especialistas e Grafico de percentagem de respostas), 2.2 e 2.3 respetivamente foram classificados
com sendo uteis. Todos os utilizadores concluıram as tarefas com sucesso. A maioria dos usuarios nao
cometeram erros, mas os que o fizeram conseguiram recuperar dos respetivos erros. No geral pode-se
concluir que a usabilidade da ferramenta e boa de acordo com os parametros apontados por [17].
5.3.2 Experiencia de Utilizador
No inquerito de usabilidade os utilizadores responderam a 4 questao classificando cada uma com um
escala de 5 pontos (onde 1 e discordo totalmente e 5 e concordo totalmente). Estas questoes teve
como objetivo perceber a percecao dos utilizadores sobre a ferramenta. A experiencia do utilizador
refere-se a percecao de um utilizador em apetos, tais como a utilidade, a facilidade de utilizacao e a
eficacia do sistema.
Para a analise estatıstica foram calculados as medias e mediana de cada questao. Considerando a
tabela 5.3, experiencia do utilizador foi bom com base na media dos resultados.
Questao 5 6 7 8
Media 4.4 3.8 4.1 4.3Mediana 5 4 4 4
Tabela 5.3: Respostas das questoes relativo a experiencia do usuario de 5 a 8: media e mediana
Os utilizadores acharam a ferramenta facil de usar, eficaz, com interface consistente. A maioria dos
utilizadores considerou que as funcionalidades da ferramenta foram bem integradas.
5.3.3 Opinioes e Observacoes
Tendo em conta que as questoes relativo a opiniao pessoal nao eram obrigatorias existe uma pequena
percentagem de utilizadores que nao forneceu comentarios ou opiniao pessoal referente a ferramenta.
36
Os utilizadores que forneceram seus comentarios, maioria utilizadores com conhecimento em ferra-
menta web declararam que a ferramenta e simples, facil de usar e iterativo. Estes utilizadores gosta-
ram da ferramenta e sugeriram alguns aspetos a ser melhorado na ferramenta. Foram feitas algumas
alteracoes de acordo com as sugestoes e feedback dos utilizadores. Outras sugestoes podem ser
consideradas para o trabalho futuro, pois sao sugestoes que podem melhor a ferramenta.
5.4 Resumo
Neste capıtulo foi apresentado a avaliacao da primeira versao da ferramenta Delphi Survey. Foram
utilizados 18 participantes para avaliar a ferramenta. Todos os participantes seguiram uma lista de
tarefas de modo a avaliar as funcoes da ferramenta. No final da avaliacao cada participante respondeu
a um inquerito de usabilidade e experiencia do utilizador.
A maioria das funcoes foram consideradas muito facil de usar e as cores e nomes dos botoes
utilizados na ferramenta foram considerados autoexplicativos. Os utilizadores entenderam o que estava
acontecendo em cada tarefa e todos ficaram satisfeitos com a experiencia.
No geral os utilizadores acharam a ferramenta facil de usar, consistente e autoexplicativo, apesar de
pequenos problemas de usabilidade apontado por utilizadores com mais experiencia em ferramentas
web. Todas as sugestoes de melhoria e aspetos negativos encontrados durante a avaliacao foram
anotados e melhorados as respetivas funcoes o que deu origem a versao final.
37
Capıtulo 6
Conclusao
O metodo Delphi e um metodo de tomada de decisao em grupo que se carateriza pelo fato de cada
membro do grupo apresentar as suas ideias de forma anonima. Este consiste em processos iterativos
a procura de um consenso num grupo de especialistas de modo a obter opinioes, identificar prioridades
e necessidades do grupos, prever atitudes ou eventos futuros.
A utilizacao de novas tecnologias implica novas ferramentas para obter melhores resultados, com-
parativamente com as abordagens tradicionais quer no tempo de resposta ou na recolha de dados, pois
num mercado cada vez mais competitivo, em que a tomada de decisao em grupo podera ser a chave
do sucesso, o investigador devera ter ferramentas especıficas para explorar os metodos utilizados no
processo de tomada de decisao. No entanto nao existe muitas ferramentas web que explora o metodo
Delphi.
Para desenvolver uma solucao para o problema apresentado, foram estudados e analisados algu-
mas ferramentas Delphi de modo a obter uma solida compreensao sobre caraterısticas e requisitos do
metodo Delphi e tambem compreender aspetos especıficos de outras ferramentas.
Tendo em conta estas ferramentas conclui-se que uma ferramenta Delphi deve ter uma boa usabi-
lidade, ser facil de usar e consistente entre as varias etapas para elaborar um estudo Delphi realizada
pelo investigador, mas tambem para os especialistas que participam no estudo. Foram reutilizadas al-
guns aspetos considerados relevantes de outras ferramentas, como e o caso de utilizacao da tecnica
Q-Sort na estrutura do questionario. Foi desenvolvida uma nova ferramenta Delphi utilizando a meto-
dologia de prototipagem evolutiva, as funcionalidades da solucao proposta foram adicionados e melho-
rados gradualmente ate a versao final.
A primeira versao final proposta foi avaliada por um grupo de utilizadores tendo em conta o resultado
obtido a ferramenta apresentou uma boa usabilidade. De mencionar que foram sugeridas melhoria na
ferramenta e considerou-se importante corrigir os problemas de usabilidade encontrados na avaliacao
e concretizar algum dos aspetos sugeridos, o qual deu origem a versao final.
38
6.1 Trabalho Futuro
Da avaliacao e das sugestoes recebidas, conclui-se que algumas sugestoes sao interessantes e podem
ser desenvolvidas em trabalhos futuros.
Tal como implementar algoritmo de ordenacao das respostas de cada ronda, de modo a facilitar
o investigador no processamento das respostas. A possibilidade de ter uma pagina especıfica com a
lista de todos os membros do painel (independente de ser anonimo ou nao) sempre que um membro
responder ao questionario, o nome deste membro e sinalizado com uma determinada cor. Adicionar
uma secao de ajuda na pagina de Painel de Especialista como a descricao da etapa Q-Sort. Por
ultimo, possibilidade de exportar as respostas em outros formatos alem de CSV. Estas sugestoes podem
melhorar a usabilidade de ferramenta e tornar a ferramenta mais atrativa e utilizavel.
39
Bibliografia
[1] C.-C. Hsu and B. A. Sandford. The delphi technique: making sense of consensus. Practical
assessment, research & evaluation, 12(10), 2007.
[2] L. D. dos Santos. Factores Determinantes do Sucesso de Servicos de Informacao Online em
Sistemas de Gestao de Ciencia e Tecnologia. PhD thesis, Universidade do Minho, 2004.
[3] S. Thangaratinam and C. W. Redman. The delphi technique. The obstetrician & gynaecologist, 7
(2), 2005.
[4] S. Keeney, F. Hasson, and H. P. McKenna. A critical review of the delphi technique as a research
methodology for nursing. International journal of nursing studies, 38(2), 2001.
[5] C. Okoli and S. D. Pawlowski. The delphi method as a research tool: an example, design conside-
rations and applications. Information & management, 42(1), 2004.
[6] G. Rowe and G. Wright. The delphi technique as a forecasting tool: issues and analysis. Internati-
onal journal of forecasting, 15(4), 1999.
[7] A. Dix. Human-Computer Interaction. Springer US, 2009.
[8] A. Heiko. Consensus measurement in delphi studies: review and implications for future quality
assurance. Technological forecasting and social change, 79(8), 2012.
[9] N. Dalkey and O. Helmer. An experimental application of the delphi method to the use of experts.
Management science, 9(3), 1963.
[10] H. A. Linstone, M. Turoff, et al. The Delphi method: Techniques and applications, volume 29.
Addison-Wesley Reading, MA, 1975.
[11] L. Giannarou and E. Zervas. Using delphi technique to build consensus in practice. International
Journal of Business Science and Applied Management, 9(2), 2014.
[12] S. R.Brown. Q technique and method. New tools for Social Scientists, Beverly Hills, 1986.
[13] D. M. Thomas and R. T. Watson. Q-sorting and mis research: A primer. Communications of the
Association for Information Systems, 8(1), 2002.
[14] S. J. Adams. Projecting the next decade in safety management. Professional safety, 46(10), 2001.
40
[15] R. C. Schmidt. Managing delphi surveys using nonparametric statistical techniques. decision Sci-
ences, 28(3), 1997.
[16] R. A. Carter, A. I. Anton, A. Dagnino, and L. Williams. Evolving beyond requirements creep: a
risk-based evolutionary prototyping model. In Requirements Engineering, 2001. Proceedings. Fifth
IEEE International Symposium on. IEEE, 2001.
[17] J. Nielsen. Multimedia and Hypertext: The Internet and Beyond. Morgan Kaufmann, San Francisco,
2nd edition, 1995. ISBN 0-12-518408-5.
[18] J. Nielsen. Designing Web Usability: The Practice of Simplicity. New Riders Publishing Thousand
Oaks, 1nd edition, 1999. ISBN:156205810X.
[19] J. Lewis and J. Sauro. The factor structure of the system usability scale. Human centered design,
2009.
41
42
Apendice A
Manual de Utilizador
A.1 Introducao
Delphi Survey e uma ferramenta web de suporte ao metodo Delphi utilizando a tecnica Q-Sort na es-
trutura do questionario. O metodo Delphi, tambem designado de estudo Delphi e utilizado para obter
consensos de opiniao, julgamentos ou escolhas, para prever e explorar atitudes de grupos de especia-
listas. A tecnica Q-Sort tem sempre por base uma matriz Q-Sort predefinido. A caracterıstica da tecnica
Q-Sort e solicitar que cada pessoa ordene a lista fornecida segundo uma distribuicao predefinida.
Este manual de utilizador destina-se a utilizadores que precisam realizar um estudo Delphi sobre
um topico de investigacao. O presente manual tem como objetivo ajudar e orientar os utilizadores nas
diferentes etapas para a criacao de um estudo Delphi na ferramenta Delphi Survey. Para a utilizacao
da ferramenta web, Delphi Survey utilizar o navegador Google Chrome. Na pagina da ferramenta web e
possıvel criar uma nova conta e autenticar na ferramenta web. Apos a autenticacao e aberta a Pagina
Projetos. Nesta pagina e possıvel criar, editar e apagar o projeto. Apos a criacao de um projeto e
possıvel abrir a interface principal da ferramenta web para configurar um estudo Delphi.
A.2 Caraterısticas Genericas
A.2.1 Pagina Projetos
A interface principal da ferramenta Delphi Survey e constituıda pela area do projeto (figura A.1). Nesta
area do projeto existe a informacao sobre cada ronda criada em cada projeto.
A.2.2 Registar utilizador
Primeiro e necessario, na pagina Inicial, criar uma conta na ferramenta Delphi Survey. Para registar e
necessario carregar no botao “Sign up” (figura A.2).
Preencher o formulario e carregar em “Sign up”(figura A.3).
43
Figura A.1: Interface principal Delphi Survey
Figura A.2: Botao “Sign up”
Figura A.3: Formulario Sign Up
Apos o preenchimento do formulario, caso a validacao for efetuada com sucesso, o utilizador e
encaminhado para a pagina de Login. Caso o nome ja existir e apresentada uma mensagem de alerta.
A.2.3 Autenticacao do utilizador
Para a autenticacao, na pagina Inicial, carregar no botao ”Login”para ir para a pagina de Login;
Figura A.4: Botao “Login”
Preencher o Username e Password e carregar no botao “Login”.
44
Figura A.5: Login
A.2.4 Logout
Apos o login a opcao de Logout esta disponıvel em todos as paginas, o utilizador pode carregar o botao
“Logout” sempre que desejar. Ao carregar no botao “Logout” o utilizador e encaminhado para a pagina
de Login.
Figura A.6: Logout
A.3 Criar e Editar Projeto
Apos a autenticacao, o utilizador e encaminhado para a pagina de Projetos. Nesta pagina se encontram
disponıveis todos os projetos deste utilizador. Apos a criacao de um projeto e possıvel configurar o
projeto e ver o estado da ronda atual de cada projeto.
A.3.1 Criar projeto
Na pagina de Projetos, preencher o formulario e carregar o botao “Create New Project”.
Figura A.7: Criar novo projeto
Depois da validacao do novo projeto este e adicionado a lista de projetos. No caso de o nome ja
existir ou o campo nao for preenchido ou o tipo nao for selecionado ira aparecer uma mensagem de
alerta. Apos a validacao, o projeto aparecera na lista de projetos contendo toda a informacao sobre o
estado do projeto criado.
A.3.2 Editar Projeto
Para editar um projeto:
45
• 1.Carregar o botao “Edit”:
Figura A.8: Editar projeto
Escolher o campo que deseja Editar:
• a) Editar o nome;
• b) Editar o tipo
Figura A.9: Editar o nome ou o tipo
Preencher o campo que deseja alterar e carregar no botao ”Save”.
A.3.3 Eliminar Projeto
Ao carregar no botao “Delete”, o projeto e toda a informacao referente a este projeto e eliminado.
Figura A.10: Eliminar projeto
A.4 Configuracao Estudo Delphi
A pagina de Projetos da ferramenta so pode ser visıvel quando um projeto existente na lista de projetos
e aberto. Todas as funcoes para a configuracao do Estudo Delphi sao descritas ao longo deste capıtulo.
Figura A.11: Abrir projeto
Ao carregar no botao “Open”, o utilizador sera encaminhado para a pagina de Configuracao do
Questionario. Caso o questionario ja estiver configurado e enviado aos especialistas, o utilizador sera
encaminhado para a pagina Overview (interface principal da ferramenta). Em cada pagina do projeto
aberto e possıvel retornar a pagina de Projetos, carregar o botao “Back to Projects List”.
46
Figura A.12: Botao “Back to Projects List”
A.4.1 Desenhar o Questionario
Na pagina de Configuracao do Questionario:
• 1.Carregar o botao “Import”, para selecionar o ficheiro com a lista pre-definida de questoes que
sera utilizado no questionario.
Figura A.13: Pagina de Configuracao do Questionario, botao “Import”
De seguida e desenhado:
• a) Uma matriz Q-Sort com N posicoes (de acordo com o numero de questoes da lista);
• b) A lista de questoes.
Figura A.14: Pagina de Configuracao do Questionario, desenho da matriz e a lista de questoes.
A.4.2 Selecao e Envio do questionario para os Especialistas
O utilizador deve selecionar os especialistas e enviar o e-mail de convite para participacao no estudo.
47
Para selecionar e enviar e-mail aos especialistas.
• 1.Carregar o botao “Expert Selection”.
Figura A.15: Pagina de Configuracao do Questionario, botao “Expert Selection”
Ao carregar o botao “Expert Selection” ira aparecer a janela pop-up onde o utilizador deve executar
as seguintes etapas (as alinhas b e c sao opcionais):
• a) Carregar no botao “Import” para selecionar o ficheiro com a lista pre-definida contendo o e-mail
dos especialistas. Apos a validacao do ficheiro e apresentada uma mensagem;
• b) Modificar o assunto;
• c) Modificar o texto da mensagem, exceto o “[[delphiSurvey address]]”( este campo sera subs-
tituıdo por um link unico para cada especialista).
• d) Carregar o batao “Send” para enviar o e-mail de convite para participar no estudo. Aparecera
uma mensagem de alerta caso o e-mail for enviada com sucesso, ou mensagem de erro caso
contrario.
• e) Carregar no botao “Close”, o utilizador sera encaminhado para a pagina Overview.
Figura A.16: Selecao e Envio para Especialistas.
48
A.4.3 Criar nova Ronda e terminar uma Ronda
Para criar nova ronda ou terminar uma ronda.
• 1.Carregar o botao “Rounds”.
Figura A.17: Botao “Rounds”
• a) Para criar uma nova ronda, carregar o botao “Start Next Round”.
• b) Para terminar uma ronda, carregar o botao “Finish”.
Figura A.18: Botao “Start Next Round” e botao “Finish”.
A.4.4 Visualizar o resultado de uma ronda
Para visualizar o resultado de uma ronda, carregar no botao “Show” referente a ronda desejada, na
pagina Overview.
Figura A.19: Botao “Show”, visualizar resultado.
Apos carregar o botao “Show”, o utilizador sera encaminhado para a pagina Resultado. Nesta pagina
sera possıvel visualizar:
• 1.Grafico de somatorio de pontuacao;
• 2. Grafico de percentagem de respostas;
49
Figura A.20: Pagina Resultado.
• 3. Informacao sobre o numero de questoes, numero de especialista, e o numero de respostas.
Para exportar dados referente ao resultado de uma ronda.
• Carregar o botao “Export Result”, na pagina Resultado, para exportar as respostas dos especia-
listas
• Carregar o botao “Export Comments”, na pagina Resultado, para exportar os comentarios dos
especialistas.
50
Apendice B
Guia de Avalicao
B.1 Instrucoes de Avaliacao
Delphi Survey e uma ferramenta web de suporte ao metodo Delphi que utiliza a tecnica Q-Sort na es-
trutura do questionario. Esta avaliacao tem como objetivo avaliar a usabilidade, experiecia de utilizador
e a interface da ferramenta web Delphi Survey. A avaliacao consiste em varias etapas para configurar
um estudo Delphi na ferramenta Delphi Survey. Apos a conclusao das varias etapas o utilizador deve
responder um inquerito de usabilidade. A avaliacao deve durar entre 15-25 minutos.
Configuracao Antes de iniciar as tarefas, os seguintes requisitos devem ser cumpridas:
• Ter um computador com acesso a Internet;
• Explorar a pasta ”Importar dados”que foi fornecido (contem o ficheiro xlsx que serao necessarios
para algumas tarefas);
• Abrir o navegador Chrome;
• Ir para a pagina http://vps80648.ovh.net:5002
Apos validar todos os requisitos de configuracao, podemos comecar a execucao das tarefas se-
guindo a ordem pela qual estao descritas.
Cenario: Criacao de uma conta na ferramenta web.
Tarefa A
• 1.Registar na ferramenta web (dados de sua preferencia);
• 2.Login.
Cenario: Criacao de um novo projeto do tipo anonimo, em seguida, configuracao do questionario.
Tarefa B
• 1. Criar um novo projeto, com o nome “Projeto” e com tipo “Anonymous”;
• 2. Alterar o nome do projeto para “Projeto1”;
51
• 3. Abrir o respetivo projeto;
• 4. Leia as instrucoes necessarias apresentadas para configurar o questionario;
• 5. Importar a lista de questoes usando o ficheiro “listTechTrends.xlsx” dentro da pasta “ Importar
Dados”;
Cenario: Selecao dos Especialistas e envio do questionario.
Tarefa C
• 1. Ver o resultado obtidos da Tarefa B (isto e, a matriz e a lista de questoes);
• 2. Selecionar os especialistas;
• 3. Importar a lista de especialistas usando o ficheiro “listExpert.xlsx” dentro da pasta “Importar
Dados”;
• 4. Modificar o assunto da mensagem para “Avaliacao Projeto1”;
• 5. Enviar o questionario aos Especialistas.
Cenario: Visualizacao do estado do projeto e reenviar o questionario para os Especialistas.
Tarefa D
• 1. Visualizar o estado do projeto;
• 2. Modificar o assunto da mensagem para “Avaliacao-Lembrete”;
• 3. Reenviar o questionario para os especialistas.
• 4. Logout na ferramenta.
Cenario: Visualizacao dos resultados obtidos e explorar as funcoes de exportacao no projeto criado.
Tarefa E
• 1. Login;
• 2. Abrir o projeto;
• 3. Ver o resultado obtido na ronda 1 do projeto;
• 4. Exportar resultado;
• 5. Exportar os comentarios dos Especialistas;
Cenario: Criar nova ronda
Tarefa F
• 1. Criar uma nova ronda no projeto;
• 2. Importar a lista de questoes usando o ficheiro “listTechTrends.xlsx” dentro da pasta “ Importar
Dados”;
52
• 3. Fechar configuracao;
Cenario: Terminar a ronda e Apagar o projeto
Tarefa G
• 1. Terminar a ronda;
• 2. Ir para a pagina Projetos;
• 3. Apagar o projeto “Projeto1”.
Cenario: Apos de terminar todas as tarefas anteriores e preciso responder ao inquerito de usabili-
dade.
Tarefa I
1. Responder o inquerito em:
https://docs.google.com/forms/d/e/1FAIpQLScCYpR96ZWd0-rHfKYA vxHFj6jV5BddkLH
2XPGODRxBhSBlg/viewform?usp=sf link
53
54
Apendice C
Resultados do estudo Delphi
Ordem Inicial Item
1 Desaparecimento de as lojas fısicas.2 Aviao comercial ser pilotado exclusivamente por piloto automatico.3 Carros com tecnologia de conducao 100% autonoma.4 Desaparecimento do dinheiro fısico.5 Construcao de edifıcios feita exclusivamente por de drones.6 Substituicao de todos os funcionarios de atendimento ao publico por maquinas inteligentes.7 Desaparecimento de jornal formato em papel.8 Drones para transporte de pessoas.9 Impressao 3D de orgaos vitais.10 Conexao direta entre o cerebro e computadores.11 Desaparecimento de cartoes multibanco.12 As pessoas poder ser cyborgues, organismo dotado de partes organicas e ciberneticas.13 Carros autonomos para pessoas portadoras de deficiencia.14 O codigo de barra desaparecer e ser substituıdo por etiqueta Rfid.15 Cirurgia ao corpo humano ser realizado por robos inteligentes.16 Assistentes digitais reconhecer os clientes pela voz e pelo rosto em todos os canais de comunicacao.17 Monotorizacao da saude fısica e psicologica dos medicos e pilotos atraves sensores nos vestuarios.18 Sistemas de seguranca que deteta possıveis ataques atraves do comportamento das pessoas.19 Habitacao de outros planetas.20 Impressao 3D de navios.21 Realizar viagem intercontinental atraves de drones.22 Lentes de contacto com realidade aumentada.23 Computadores inteligentes resolver os problemas de mudanca climatica.24 Construcao de navios autonomos.25 Naves espaciais para Marte.26 Vestuarios que aumenta a nossa forca fısica.27 Utilizacao da realidade virtual e realidade aumentada no processo de ensino.28 Cabos subaquaticos permitir que paıses utilizem energias solar de outros paıses.29 Aumento massivo de energias renovaveis.30 Impressao 3D de avioes.
Tabela C.1: Lista de itens usados na 1a ronda do Delph
55
FiguraC
.1:Im
agemdo
ficheirocom
oresultado
1a
ronda
56
Figu
raC
.2:
Imag
emdo
fiche
iroco
mo
resu
ltado
2aro
nda
57
58
Apendice D
Resultado Avaliacao
1. a) Muito Difıcil, b) Difıcil, c) Facil , d) Muito Facil
Utilizador Tempo 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 1.14
1 20 d c c d d d c d d d c d d d2 18 d d d d d c d d d d d d c d3 15 d d d d d d c d d d d d c d4 13 d d d d a d d c d d d d c d5 15 d d d d d c d d c d d d d d6 19 d d b d d c c c c d c c d c7 20 d d d d d d d d c c d d b d8 33 d d c c d b d c b c d d a d9 25 d d c d c c c c d c d c b c10 23 c d c c d d d d d d c c d d11 19 d d c d d d c d d d d d d c12 16 d d d d d d d d d d c c c c13 21 c b d d d d c d d d d d b d14 21 d d c d c d a d c c c d a d14 15 d c d d d c d c c c d c c d16 17 d d d d d d d d d c d d d d17 18 d d d d d d d d d d d c b d18 27 d d d c d c c d c c c c d c
Tabela D.1: Tabela de avaliacao dos utilizadores: Tempo na execucao das tarefas e respostas daquestao de usabilidade 1.
Tempo 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 1.14
Mediana 19 d d d d d d d d d d d d c d
Tabela D.2: Tabela de avaliacao dos utilizadores: Mediana do Tempo e das respostas da questao deusabilidade 1.
59
2. a) Nao devia estar Disponıvel, b) Nao e util, c) Util, d) Muito util.
3. Escala de 1 a 5, 1 discordo totalmente e 5 concordo totatlmente.
4. Escala de 1 a 5, 1 muito insatisfeito e 5 totalmente satisfeito.
Utilizador 2.1 2.2 2.3 2.4 3.1 4.1
1 d c c d 4 52 d b b d 4 43 c c c b 5 54 c d d d 5 55 c b d d 4 46 d d b a 4 57 d d d d 5 48 d b a c 4 59 c d c d 5 410 c b c c 4 511 d b b d 5 412 d d d d 3 413 c b d d 3 414 c d c d 3 415 d c d c 5 416 c c d d 4 517 d d a d 5 518 d a d d 4 4
Tabela D.3: Tabela de avaliacao dos utilizadores: resposta das questoes de usabilidade 2, 3 e 4
2.1 2.2 2.3 2.4 3.1 4.1
Media - - - - 4.3 4.4Mediana d c c d 4 4
Tabela D.4: Tabela de avaliacao dos utilizadores: Media e Mediana das resposta das questoes deusabilidade 2, 3 e 4
60
As questoes de 5 a 8 numa escala de 1 a 5, 1 discordo totalmente e 5 concordo totatlmente.
Utilizador 5 6 7 8
1 4 4 3 52 5 4 4 43 5 3 5 54 5 4 4 55 5 3 4 46 4 4 5 57 3 4 4 38 4 4 4 59 4 4 4 410 4 5 3 511 5 4 4 412 3 4 5 413 5 2 4 414 5 4 4 415 5 4 4 416 5 4 5 317 5 4 4 518 4 4 4 4
Tabela D.5: Tabela de avaliacao dos utilizadores: resposta das questoes experiencia de utilizador 5, 6,7 e 8
5 6 7 8
Media 4.4 3.8 4.1 4,3Mediana 5 4 4 4
Tabela D.6: Tabela de avaliacao dos utilizadores: Media e Mediana das resposta das questoes deexperiencia de utilizador 5, 6, 7 e 8
61
62
Apendice E
Inquerito Avaliacao Utilizador
Figura E.1: Introducao ao inquerito e secao de usabilidade.
63
Figura E.2: Secao de usabilidade: Questao 1
64
Figura E.3: Secao de usabilidade: Questao 2 e 3
65
Figura E.4: Secao de usabilidade: Questao 4 e secao de experiencia de utilizador: Questao 5
66
Figura E.5: Secao de experiencia de utilizador: Questao 6 e 7
Figura E.6: Secao de experiencia de utilizador: Questao 8
67
Figura E.7: Secao opiniao pessoal
68