unidade5 parte1

Download Unidade5 parte1

Post on 11-Jun-2015

168 views

Category:

Education

2 download

Embed Size (px)

TRANSCRIPT

  • 1. Mtodos Quantitativos em Cincia da Computao Unidade 5: Projeto de Experimentos Parte 1 Alexandre Duarte PPGI/UFPB Apresentao derivada dos slides originais de Jussara Almeida.

2. Terminologia do Projeto de Experimentos Varivel resposta: representa o valor obtido, que e medido de acordo com as variaes dos dados de entrada. Exemplo: tempo de resposta, ndice de preciso, utilizao, Fatores: as variveis de entrada de um experimento que podem ser controladas pelo experimentador. Exemplo: tamanho do cache, tamanho dos arquivos, tempo de seek, latncia da rede, etc Nveis: os nveis de um fator so os valores especficos que podem ser atribudos ao fator. Podem ser contnuos (ex.: tempo de seek), discretos (# de servidores) ou podem ser categricos, como o tipo de um processador ou a classe de um certo algoritmo. Tambm chamados de treatments 3. Terminologia do Projeto de Experimentos Replicao: replicar um experimento significa re- executa-lo completamente com todos os mesmos nveis de entrada. Desde que as medidas da varivel resposta so sujeitas a variaes aleatrias, as replicaes de um experimento so usadas para determinar o impacto do erro experimental na varivel resposta. Interao: uma interao entre fatores ocorre quando o efeito de um fator depende do nvel de outro fator. Efeito da memria na atividade de paginao. 4. Introduo ao Projeto de Experimentos: perguntas bsicas Voc conhece as mtricas? Voc conhece os fatores? Voc conhece os nveis? Voc tem conhecimento de como instrumentar o sistema e elaborar as cargas de teste? Voc sabe descrever o que fazer para realizar experimentos que comprovem ou refutem as hipteses de sua pesquisa? 5. Objetivos no Projeto de Experimentos Obter a maior quantidade de informacao Reduzir o trabalho/esforco de experimentacao Tipicamente significa o menor numero de experimentos Realizar mais experimentos nao e bom (gasta-se tempo e recursos), principalmente se voc for aquele responsavel pela execucao dos mesmos. Experimentos bem projetados sao mais faceis de serem analisados. 6. Replicaes Experimentais O sistema em estudo executara com vrios nveis de diferentes fatores, potencialmente com diferentes cargas. Uma execuo com um conjunto particular de nveis e dados de entrada e uma replicao. Em geral, e necessrio realizar mltiplas replicaes com um nico conjunto de nveis e dados de entrada, por razes de verificao e validao estatstica. 7. A Interao dos Fatores Alguns fatores tem efeitos completamente independentes um do outro. Exemplo: Duplique o nvel de um fator e obter metade da resposta, independente dos outros fatores. Mas os efeitos de alguns fatores dependem dos valores de outros fatores Fatores inter-atuantes A presena de fatores inter-atuantes complica o projeto experimental. 8. Problema Bsico ao Projeto Experimentos Um determinado numero de fatores foi escolhido Os fatores podem ou no interagir Como se pode projetar um experimento que captura os intervalos completos de variao dos nveis? Com a menor quantidade de trabalho possvel Qual a combinao ou combinaes de nveis de fatores deseja-se medir? 9. Erros Comuns na Experimentao Ignorar o erro experimental A variao devido a um fator deve ser comparada com a variao devido aos erros experimentais antes de se tomar uma deciso sobre o fator (ele tem impacto significativo?) Existncia de parmetros no controlados (no so fatores) Somente o impacto de fatores avaliado No isolamento dos efeitos de diferentes fatores Variao de vrios fatores simultaneamente Projetos de experimentos com um fator-de-cada-vez Muito caro: no necessariamente mais informativo Ignorar as interaes entre os fatores Projetos que requerem um nmero excessivo de experimentos Melhor considerar um subconjunto dos fatores/nveis primeiro e depois ir acrescentando fatores/nveis aos poucos. 10. Tipos de Projetos de Exprimentos Projetos simples Projetos com fatorial completo Projetos com fatorial fracionado 11. Projetos Simples Varie um fator de cada vez Para k fatores com o i-simo fator tendo ni nveis Assume que os fatores no interagem Usualmente requer mais esforo que se pensa Tente evitar esse enfoque de experimentao 12. Projeto com Fatorial Completo Para k fatores com o i-simo fator tendo ni nveis Teste cada combinao possvel dos nveis dos fatores. Capture a informao completa sobre a interao E no entanto, um trabalho ENORME!!! Principalmente se valores de ni forem grandes 13. Reduzindo o trabalho em Projetos com Fatorial Completo Reduza o nmero de nveis por fator Geralmente uma boa opo Especialmente quando se sabe quais fatores so mais importantes Para os fatores mais relevantes, use mais nveis Reduza o nmero de fatores Simplifique o modelo experimental Mas no retire fatores relevantes Use projetos de fatorial fracionado 14. Projetos com Fatorial Fracionado Faa a medio somente de uma combinao de nveis de fatores. O projeto deve ser cuidadosamente projetado para capturar melhor qualquer interao que possivelmente exista. Menos trabalho, porm com mais chance de imprecises nos resultados. Trade-off Pode ser til quando se sabe a priori que alguns fatores no interagem. 15. Projetos Fatoriais 2k Usados para determinar os efeitos de k fatores Cada um com duas alternativas ou nveis Em geral, so usados de maneira preliminar, antes de estudos mais detalhados Cada fator medido e representado por seu nvel mximo e mnimo. Pode oferecer algum insight sobre as interaes entre os vrios fatores. 16. Efeitos Unidirecionais Efeitos que somente aumentam a medida que o nvel de um fator tambm aumenta Ou vice-versa Se essa caracterstica e conhecida a priori, um projeto fatorial 2k nos nveis mximo e mnimo pode ser til. Demonstra-se quando um fator tem efeito significativo no experimento. 17. Projetos Fatoriais 22 Dois fatores, com dois nveis cada Tipo mais simples de um projeto fatorial de experimentos Os conceitos desenvolvidos podem ajudar o entendimento dos problemas de 2k Exemplo simples, com finalidade pedaggica 18. Exemplo de um Projeto Fatorial 22 Uma arquitetura de mquina de busca, composta por N servidores; Pode-se usar vrios esquemas de distribuio ou escalonamento de queries para os servidores, por exemplo, round-robin, gang, random, priority, etc O objetivo e completar os queries no menor tempo possvel. No exemplo, a mtrica usada e o tempo de execuo da query em microssegundos. 19. Fatores e Nveis do Exemplo Primeiro fator nmero de servidores usados na mquina de busca experimental: Varia entre 8 e 64 Segundo fator baseado em outros estudos, usa- se dois extremos de polticas de escalonamento: aleatrio e round-robin. Sistema de arquivos local e global na arquitetura, que permite a distribuio de query para qualquer servidor. Outros fatores existem, mas neste exemplo, vamos ignora-los. 20. Definindo as Variveis para um Exemplo de Projeto 22 Fatorial 21. Dados Amostrais para o Exemplo Execuo nica de uma carga benchmark de queries nas duas configuraes resultou nos seguintes tempos de execuo: 22. Modelo de Regresso No Linear para o Exemplo y = q0 + qAxA + qBxB + qABxAxB 820 = q0 - qA - qB + qAB 217 = q0 + qA - qB - qAB 776 = q0 - qA + qB - qAB 197 = q0 + qA + qB + qAB A = nmero de servidores B = escalonamento 23. Modelo de Regresso 4 equacoes e 4 variaveis Outra representacao tabela 24. Solucionando para os qis 25. Soluo das Equaes q0 = 1/4(820 + 217 + 776 + 197) = 502.5 qA = 1/4(-820 + 217 - 776 + 197) = -295.5 qB =1/4(-820 -217 + 776 + 197) = -16 qAB = 1/4(820 - 217 - 776 + 197) = 6 Assim: y = 502.5 - 295.5xA - 16xB + 6xAxB q0 = 502.5 = tempo de execuo mdio A = nmero de servidores tem maior impacto no tempo de resposta, e faz uma diferena de +- 295,5 26. Alocao de Variao para o Modelo 22 Calcule a variancia amostral de y Numerador e o SST (variacao total) (no confundir variao com varincia) Outra formula para SST : SST = 22 qA 2 + 22 qB 2 + 22 qAB 2 Podemos usar isso para entender as causas da variacao de y 27. Termos no SST 22 qA 2 e parte da variao explicada pelo efeito de A (SSA) 22 qB 2 e parte da variao explicada pelo efeito de B (SSB) 22 qAB 2 e parte da variao explicada pelo efeito da interao de A e B (SSAB) 28. Variaes no Exemplo SST = 350449 SSA = 349281 SSB = 1024 SSAB = 144 Pode-se agora calcular e entender a frao da variao total causada por cada efeito. 29. Fraes da Variao no Exemplo Frao explicada por A: 99.67% Frao explicada por B: 0.29% Frao explicada pela interao de A e B: 0.04% Assim, quase toda variao vem do nmero de servidores da arquitetura e o esquema de escalonamento tem um efeito desprezvel na performance da mquina de busca em estudo. Se o objetivo e diminuir o tempo de resposta de queries, deve-se ento concentrar no nmero de servidores e no no esquema de distribuicao-escalonamento (exemplo hipotetico!) 30. Projetos com Fatorial 2k Usado para analisar os efeitos de k fatores, cada um com nveis de duas alternativas Projetos 22 fatorial so um caso especial 31. Exemplo No projeto de um sistema, os trs fatores de maior impacto e que precisam ser estudados so : tamanho do cache, tamanho da memria, e se 1 ou 2 processadores sero usados. 32. Exemplo O projeto 23 e o desempenho medido em MIPS, mostrado na tabela abaixo: 33. Soluo 34. Soluo 35. Soluo 36. Soluo 37. Soluo 38. Soluo A poro da variao explicada por cada fator e suas interaes so: A : 800/4512 = 18% B: 200/4512 = 4% C: 3200/4512 = 71% AB: 200/4512 = 4% AC: 32/4512 = 1% BC: 72/4512 = 2% ABC: 8/4512 = 0% -> pode ignorar 39. Projetos Fatoriais 2k r Projetos fatoriais 2k no permitem estimar os erros experimentais j que nenhum experimento e repetido Se cada um dos 2k forem replicados r vezes, teremos 2k r observaes Projetos fatoriais 2k r Poderemos estimar os erros experimentais Poderemos comparar a % da variao devido a cada fator