avaliação de desempenho planejamento de experimentos 3 aula 4 marcos josé santana regina helena...

Avaliação de Desempenho Planejamento de Experimentos 3

Aula 4

Marcos José Santana

Regina Helena Carlucci Santana

Universidade de São PauloInstituto de Ciências Matemáticas e de Computação

Departamento de Sistemas de Computação

Avaliação de Desempenho1. Planejamento de Experimentos

– Motivação– Introdução à Avaliação de Desempenho– Etapas de um Experimento– Planejamento do ExperimentoPlanejamento do Experimento

• Conceitos Básicos• Variável de Resposta• Carga de trabalho

• Modelos para Planejamento de Modelos para Planejamento de ExperimentoExperimento

2. Análise de Resultados 3. Técnicas para Avaliação de Desempenho

Tipos de Planejamento de Experimentos

• Planejamento Simples– Não permite verificar a relação

entre os fatores

• Planejamento Fatorial completo– Grande número de experimentos– Todos os fatores e interações são avaliados

• Planejamento Fatorial parcial– Mais rápido– Todos os fatores são avaliados mas apenas parte das

interações

A

B

Projeto 32

-1 0 1-1

0

1

2 Fatores3 níveis

Ferramentas Estatísticas

• Utilização de ferramentas que auxiliam no Planejamento de Experimento (DOE – Design of Experiments)

• Auxilia na determinar influência dos fatores e interação

Ferramentas Estatísticas

• ExemplosMINITAB – fácil utilização

SAS – muito poderoso, utilização não trivial

SPSS – fácil utilização, utilizado mais por estatísticos

R - software gratuito para elaboração de gráficos e computação estatística

Ferramentas Estatísticas - Minitab

• DOE (Design of Experiments)• O Minitab oferece quatro tipos de

planejamento de experimentos: – Fatorial – Superfície de resposta – Misto – Taguchi (robusto).

Ferramentas Estatísticas - Minitab

• Experimento Fatorial Completo/Parcial

• Stat ➤ DOE ➤ Factorial ➤ Create Factorial Design

Ferramentas Estatísticas - Minitab

• Display Available Designs• apresenta todos os tipos possíveis

e o número de execuções necessárias.

Ferramentas Estatísticas - Minitab

Designs permite a escolha do

fatorial completo ou fatorial parcial

e o número de vezes que o

experimento será repetido.

Ferramentas Estatísticas - Minitab

• Em Factors definem-se os fatores, seus tipos e valores mínimos e máximos, caso necessário.

Ferramentas Estatísticas - Minitab

• Clicando em Ok na caixa de dialogo Create Factorial Design, é gerada uma planilha com os Fatores e números de experimentos escolhidos.

• Completa-se a planilha com o(s) resultado(s).

• Gerar resultados e gráficos

Ferramentas Estatísticas - Minitab

• Exemplo – Dissertação Dionisio Machado Leite Filho

• Objetivo: Avaliação de Roteamento em Redes P2P visando obtenção de QoS na Busca de Serviço em Nuvem

Ferramentas Estatísticas - Minitab

• Chord X Pastry

Nó envia mensagens para o nó que possui o nodeid mais

próximo ao seu

Busca é realizada como a busca em uma árvore

Ferramentas Estatísticas - Minitab

• Fatores: Algoritmo, Clientes e Tipo de Serviço

Experimento

Política Clientes Tipo do Serviço

1 Chord 30 Leve2 Chord 30 Pesado3 Chord 60 Leve4 Chord 60 Pesado5 Pastry 30 Leve6 Pastry 30 Pesado7 Pastry 60 Leve8 Pastry 60 Pesado

Ferramentas Estatísticas - Minitab

• Exemplo – Dissertação Dionisio Machado Leite Filho

Ferramentas Estatísticas - Minitab

• Exemplo – Dissertação Dionisio Machado Leite Filho

Ferramentas Estatísticas - Minitab

• Exemplo – Dissertação Dionisio Machado Leite Filho

Ferramentas Estatísticas - Minitab

• Exemplo – Dissertação Dionisio Machado Leite Filho

Ferramentas Estatísticas - Minitab

• Exemplo 2 – Dissertação Dionisio Machado Leite Filho

BCR X Chord

A Busca Baseada na Capacidade da Rede (BCR) é uma política que considera as informações da rede para a busca do melhor data center.

Analisa todos os nós para decidir qual será utilizado

Ferramentas Estatísticas - Minitab

• Exemplo 2 – Dissertação Dionisio Machado Leite Filho

Pastry X BCR

Experimento Política Clientes Tipo do

Serviço

1 Pastry 30 Leve

2 Pastry 30 Pesado

3 Pastry 60 Leve

4 Pastry 60 Pesado

5 BCR 30 Leve

6 BCR 30 Pesado

7 BCR 60 Leve

8 BCR 60 Pesado

Ferramentas Estatísticas - Minitab

• Exemplo 2 – Dissertação Dionisio Machado Leite Filho

Pastry X BCR

Ferramentas Estatísticas - Minitab

• Exemplo 2 – Dissertação Dionisio Machado Leite Filho

Pastry X BCR

Ferramentas Estatísticas - Minitab

• Exemplo 2 – Dissertação Dionisio Machado Leite Filho

Pastry X BCR

Ferramentas Estatísticas - Minitab

• Exemplo 2 – Dissertação Dionisio Machado Leite Filho

Pastry X BCR

Planejamento de Experimento• Planejamento de Experimentos designa toda uma área

de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos.

• Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos.

• Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis , tratamento de replicações, etc.

• Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados

Erros Comuns em Experimentos

• Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações

• Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis

Conteúdo

1. Planejamento de Experimentos

– Motivação– Introdução à Avaliação de Desempenho– Etapas de um Experimento– Planejamento do Experimento

• Conceitos Básicos• Variáveis de Resposta• Carga de trabalho

• Modelos para Planejamento de Experimento

2. Análise de Resultados

3. Técnicas para Avaliação de Desempenho