mestrado em redes de computadores programa de pós-graduação em sistemas e computação...

Mestrado em Redes de Computadores

Programa de Pós-Graduação em Sistemas e Computação

“Utilizando estudos observacionais para testar e aperfeiçoar um pacote de laboratório para avaliação de ferramentas de mineração visual de dados”

MESTRADO EM REDES DE COMPUTADORES

Aluna: Josemeire Machado Dias Orientação: Prof. Dr. Manoel MendonçaCo-orientação: Profª MSc. Daniela Cruzes



Muitas ferramentas de MVD desenvolvidas, mas sem uso;

Ferramentas precisam ser avaliadas para serem melhoradas e comercializadas;

Grande número de critérios definidos para avaliação de ferramentas;

A definição de critérios não é suficiente para garantir a qualidade da avaliação das ferramentas;

Nosso interesse na área de estudos empíricos.

MOTIVAÇÃO PARA O TRABALHO



FERRAMENTAS DE MINERAÇÃO VISUAL DE DADOS

Modelo de Referência para Visualização. (CARD et al. 1999)



PROCESSO PARA AVALIAR FERRAMENTAS DE MVD



PROCESSO PARA AVALIAÇÃO DE FERRAMENTAS DE MVD



A TÉCNICA DE AVALIAÇÃO DE FERRAMENTAS DE MVD CRIADA NESTE PROJETO

É baseada em inspeção e em perspectivas;

perspectivas definidas: Especialista na análise de dados;

Especialista nos dados;

Especialista em interfaces;

A utilização da técnica é guiada por cenários;

Utiliza critérios para avaliação.



CRITÉRIOS UTILIZADOS NA TÉCNICA

Critérios definidos por Paulo Roberto Luzzardi

Tese de doutorado da UFRGS / Informática

Foco dos critérios

contemplam a representação visual estática

contemplam os mecanismos de interação



CRITÉRIOS PARA A REPRESENTAÇÃO VISUAL



CRITÉRIOS PARA OS MECANISMOS DE INTERAÇÃO



FLUXO DE UTILIZAÇÃO DA TÉCNICA



CRIAÇÃO DO EXPERIMENTO PARA TESTAR A TÉCNICA

Objetivos do experimento

Analisar a técnica criada (baseada em

perspectivas) e a baseada em heurísticas para

avaliá-las em relação à sua efetividade na detecção

de problemas no contexto da inspeção do ponto de

vista do especialista na análise de dados,

especialista em interfaces e especialista nos dados.



O PROCESSO EXPERIMENTAL TRADICIONAL

Baseado no modelo de Travassos (2002)



A PROPOSTA DE INSERÇÃO DA FASE DE TESTE NO PROCESSO EXPERIMENTAL



DETALHAMENTO DA FASE DE TESTE



O pacote foi criado a partir de estudos observacionais

Foram realizados 4 estudos observacionais e 1 Piloto

1º Estudo = 3 Participantes Alunos de Mestrado da UNIFACS

2º Estudo = 3 Participantes Alunos do Mestrado em Redes da UNIFACS

3º Estudo = 5 Participantes Professores da UNIFACS

4º Estudo = 22 Participantes Curta Duração da UNIFACS

1º Piloto = 12 Participantes Mestrado e Doutorado da USP – São Carlos

CRIAÇÃO DO PACOTE EXPERIMENTAL



Evolução dos estudos observacionais



Principais problemas

O conjunto de dados era muito grande / máquinas lentas;

O treinamento e a aplicação da técnica por ser realizado em um único dia deixava o participante confuso e cansado;

Os formulários, por serem impressos diretamente da web não traduziam segurança em relação a verdadeira resposta do participante;

A falta de uma visão geral da ferramenta;

Dificuldade de manuseio dos formulários.

Ações tomadas

Conjunto de dados reduzidos;

Treinamento em dois dias;

Formulários transferidos para o Word.

1º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado)



Principais problemas Dificuldade com a linguagem complexa;

Ausência de exemplos mais próximos da realidade.

Ações Tomadas

Inserção de alguns exemplos da web.

2º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado)




Confusão no preenchimento dos formulários;

Participantes ficaram impacientes com a ferramenta;

Falso entendimento das explicações;

Tabela de critérios se mostrou confusa;

Treinamento e avaliação realizados no mesmo dia.

Ações tomadas

Estabelecimento de ordem de preenchimento dos formulários;

Melhoria da didática para reconhecer se o treinamento foi ou não entendido;

Re-organização da tabela de critérios.

3º ESTUDO = 5 PARTICIPANTES (Professores da Unifacs)



Desafios

Participantes com perfis desconhecidos dos condutores;

Necessidade de desenvolvimento de métrica de enquadramento;

Principais problemas desta observação

Participantes não sabiam responder aos formulários por causa dos termos técnicos empregados;

Ainda houve reclamação em relação à linguagem complexa;

A participação foi motivada por promessa de certificados;

A ferramenta Treeminer possui grande número de problemas de usabilidade e funcionalidade.

Ações tomadas

Inserção de definições para as perguntas;

Troca da ferramenta Treeminer por Treemap.

4º ESTUDO = 22 PARTICIPANTES (Alunos do Seqüencial)



Alguns detalhes

Divisão ideal do número de participantes em cada técnica;

Treinamento em dois dias;

Ferramenta utilizada foi a Treemap.


Dificuldade com a complexidade do material ainda persiste, mas em menor grau.

Ações a serem tomadas

Serão descritas em trabalhos futuros.

1º Piloto = 12 PARTICIPANTES (USP – São Carlos)



Resultados do Estudo Piloto I

Análise Global



Resultados do Estudo Piloto II

Análise Detalhada



CONSIDERAÇÕES FINAIS

Principais contribuições deste trabalho

Criação da técnica para avaliação de ferramentas de MVD baseada em três perspectivas;

Criação do Pacote de Laboratório e seu refinamento através dos Estudos de Caso;

A inserção da fase de teste no processo experimental.

Artigo completo publicado no quinto Congresso Internacional de Engenharia de Software Experimental.

Outras contribuições foram:

Métrica para enquadramento dos participantes nas perspectivas de avaliação;

Um conjunto de recomendações para avaliação de ferramentas de MVD.



Evoluir a técnica;

Evoluir o processo de teste no sentido de melhorar a sua sistemática de execução;

Replicar os estudos feitos neste trabalho;

Refinar os procedimentos de utilização do pacote para que o experimento possa ser replicado por outros pesquisadores;

Estudar a aplicação da técnica para outros tipos de dados que não sejam hierárquicos;

Avaliar outras ferramentas de MVD usando as técnicas e critérios utilizados neste trabalho.

TRABALHOS FUTUROS



AlunaJosemeire Machado Dias

[email protected]

Orientação Prof. Dr. Manoel Gomes de Mendonça Neto

[email protected]

Co-orientaçãoProfª MSc. Daniela Soares Cruzes

[email protected]

mestrado em redes de computadores programa de pós-graduação em sistemas e computação...

Documents