Métodos de pesquisa quantitativa e qualitativa para Ciência da Computação

Jacques Wainer

Gabriel de Barros Paranhos da CostaGabriel Dias Cantareira

Metodologia de pesquisa científica em Ciências da Computação

● Avaliação: processo de julgar o mérito ou valor de um sistema de informação○ Verificação○ Validação

● Usualmente leis e teorias○ Em CC: rasas, de caráter estatístico e datadas

● 4 tipos de pesquisa

Tipos de pesquisa - Analítica

● Gerar/obter conhecimento sobre programas e algoritmos

● Pressuposições

● Provas matemáticas

● Exemplo○ Análise de complexidade assintótica de algoritmos

Tipos de pesquisa - Quantitativa

● Medida de poucas variáveis objetivas

● Comparação de resultados

● Benchmarks, competições, questionários

● Pesquisa correlacional ou modelagem estatística○ Relação entre variáveis em um grande conjunto de

dados

Tipos de pesquisa - Qualitativa

● Variáveis que não podem ser medidas

● Observação

● Pesquisa-ação

● Estudo do sistema em questão no ambiente em que está sendo usado

Tipos de pesquisa - Bibliográfica

● Revisão sistemática

● Meta-análises

● Coletar todos os artigos publicados sobre um determinado experimento quantitativo

● Resumir os resultados

Métodos quantitativos

● Visão dita positivista○ Diferentes observadores devem obter os mesmos

resultados em observações distintas

○ Define claramente o que é melhor e o que é pior

○ Medições numéricas consideradas mais ricas que descrições verbais

Dados sintéticos

● Benchmarks

● Testes com o programa novo e a "concorrência" usando os mesmos dados

● Pode avaliar tempo de execução, qualidade do resultado ou resultados esperados

● Atenção a limitações como efeitos teto e chão

● Competições

Significância estatística

● Métodos usados variam com diferentes tipos de medida○ Medidas categóricas○ Medidas ordinais○ Medidas intervalares○ Medidas de razão

Significância estatística

● Testes estatísticos levam em consideração uma hipótese nula

● Significância estatística pode medir o valor de corte (p-value) da probabilidade de rejeição dessa hipótese

Significância estatística

● Testes com menor valor p-value são considerados mais fortes

● Testes estatísticos podem ser configurados para gerar um intervalo de resultados prováveis dentro de um valor de confiança (intervalos de confiança)

Significância estatística

● Diversos testes para comparar dois conjuntos de dados usando intervalos de confiança○ Teste T○ Intervalo de Wald○ Teste T Pareado○ Wilcoxon rank-sum test○ Wilcoxon signed-rank test○ Fischer exact test○ Teste chi-quadrado

● São apropriados para diferentes tipos de medidas

Significância estatística

● Para mais de dois conjuntos, comparações 2 a 2 em sequência reduzem a confiança e podem propagar erros

● São usados outros testes○ one-way ANOVA, Kruskal-Wallis, etc

Desenhos fatoriais

● Em análises, podem ser identificados fatores e níveis

● Design de experimento considerado fatorial se todas as combinações fator/nível são testadas

● Caso contrário, o desenho é chamado fatorial parcial e a escolha das combinações deve ser cuidadosa

Questionários

● Forma rápida e simples de receber informações acerca experiências de usuários

● Tentam medir uma característica invisível ou latente

● Perguntas com respostas predefinidas

Questionários

● Propriedades○ Confiabilidade○ Validade

● Atenção à elaboração de perguntas, alternativas e encorajamento de usuários

● Problemas: viés de amostragem e não-resposta

Experimentos

● Observação de comportamento de variáveis em situações controladas ou artificiais

● Em computação, sempre envolvem pessoas

Experimentos

● Validade○ Interna: validade das manipulações○ Externa: aplicabilidade do experimento para

generalizações

● Seguem duas divisões de grupo: grupo pré-teste/pós-teste e grupo experimental/controle

Experimentos

● Grupos pré-teste/pós-teste○ Testes diferentes com o mesmo grupo para cada

caso

● Ameaças:○ Instrumentação○ Testagem○ Maturação○ História

Experimentos

● Grupos experimentais/controle ○ Mesmos testes para grupos diferentes nas

condições a serem observadas

● Ameaças:○ Seleção○ Mortalidade seletiva○ Contaminação○ Comportamento competitivo○ Comportamento compensatório

Experimentos

● Outras ameaças○ Regressão à média○ Efeito de expectativa do sujeito○ Efeito de expectativa do experimentador○ Influência de parte da intervenção

Métodos Qualitativos

● Observar variáveis que não podem ser medidas

● Estudo sobre um sistema no ambiente onde ele está sendo usado

● Dois tipos de pesquisa○ Pesquisa observacional○ Pesquisa-ação

Pesquisa Observacional

● Observar o ambiente sem modificá-lo

● Perspectiva positivista○ Busca seguir os fundamentos da pesquisa

quantitativa○ Teorias e provas

● Perspectiva interpretativista○ Interpretação de um observador

● Perspectiva crítica○ Revelar relações de poder e dominação

Pesquisa Observacional Positivista

● Descritiva ou exploratória

● Exploratória○ Descreve um fenômeno○ Propõe novas teorias

● Explanatória○ Busca provar ou desprovar uma teoria

Estilos de Pesquisa Observacional

● Estudo de caso○ Interação do pesquisador com os sujeitos é semi-

formal○ Descobrir "o que as pessoas escrevem" e "o que as

pessoas dizem"○ Entrevistas e conversas programadas

● Etnografia○ O pesquisador "vive e trabalha" junto com os

sujeitos○ Descobrir "o que as pessoas fazem"○ "Fazer parte" do grupo

Técnicas de Pesquisa Observacional

● Como garantir que os dados e as conclusões obtidas são confiáveis, válidas e generalizáveis?

● Controlar a subjetividade ou o viés do pesquisador

Pesquisa-ação

● Modificar o ambiente

● Colaboração dos sujeitos com o pesquisador

● Ciclo○ Infra-estrutura cliente-sistema○ Diagnóstico○ Planejamento de ação○ Tomada de ação○ Avaliação○ Aprendizado

Outras formas qualitativas de avaliação

● Crítica artística○ Especialista na área usa o sistema e expressa sua

opinião sobre a experiência

● Comitê de Especialista (Professional Review) ○ Grupo de especialistas○ Várias técnicas são utilizadas para manter a

subjetividade sob controle

Publicação de pesquisa qualitativa

● Defender o mérito dos métodos qualitativos

● Em pesquisa-ação, mostrar que não é apenas o desenvolvimento de um sistema, ou resultados de uma consultoria

● Mostrar evidências no artigo de que é um pesquisador competente

Ética em pesquisa em computação

● O sujeito de um experimento em ciência da computação deve ser informado que ele participa de um experimento?

● Caso sim, ele deve ser avisado antes e concordar em participar do experimento ou somente aprovar que os dados coletados sejam utilizados na pesquisa após a realização do experimento?

Referências Bibliográficas

● WAINER, J. (2007). Métodos de pesquisa quantitativa e qualitativa para a ciência computação. In T. KOWALTOWSKI e K. BREITMAN (Org.), Atualização em Informática da Sociedade Brasileira de Computação, pp. 221-262.