avaliação de desempenho aula 7 universidade de são paulo instituto de ciências matemáticas e de...
TRANSCRIPT
![Page 1: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/1.jpg)
Avaliação de Desempenho
Aula 7
Universidade de São PauloInstituto de Ciências Matemáticas e de
ComputaçãoDepartamento de Sistemas de Computação
Marcos José Santana
Regina Helena Carlucci Santana
Aferição de Sistemas Computacionais
Benchmarks
![Page 2: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/2.jpg)
Conteúdo
1. Planejamento de Experimentos
2. Análise de Resultados
3.3. Técnicas para Avaliação de Técnicas para Avaliação de DesempenhoDesempenho
– Visão Geral das Técnicas para Avaliação de Desempenho
– Técnicas de Aferição: Protótipos, Benchmarks e Monitores
– Técnicas de Modelagem: Solução Analítica e por Simulação
![Page 3: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/3.jpg)
Benchmarcks
Técnicas de Avaliação de Desempenho
Protótipos
Coleta de Dados
Aferição
Rede de Filas
Redes de Petri
Statecharts
ModelagemAferição
![Page 4: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/4.jpg)
Benchmarks
Origem:
• Estabelecimento de uma marca (mark) em uma mesa de trabalho para permitir medições;
• Ponto fixo ou referência para comparações.
![Page 5: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/5.jpg)
Benchmarks
• Instrumento fixo, que permite comparar um novo registro (mark - marca) a um padrão preestabelecido, a partir de um ponto de observação (bench - banco)
• Exemplos:
– Tábua das marés
– Termômetro
![Page 6: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/6.jpg)
Benchmarks
ALTURA NÍVEL DA MARÉ
1,00m – 1,50m Maré alta
1,60m - 1,70m Observação
1,80m Atenção
Tábua das marés
![Page 7: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/7.jpg)
Benchmarks
Termômetro
Vinho
T = 38O
Febre!!!
T = 36,5O
Normal
Benchmark!!
![Page 8: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/8.jpg)
Técnicas de Aferição
• Benchmarks
Programa escrito em linguagem de alto nível, representativo de uma
classe de aplicações, utilizado para medir o desempenho de um dado
sistema ou para comparar diferentes sistemas
![Page 9: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/9.jpg)
Benchmarks– Abordagem muito utilizada para a
avaliação de desempenho por aferição;– Ponto de referência que serve para
fazer medições e comparações;– Uso:
• Comparar desempenho de máquinas diferentes;
• Reprojetar hardware e software;• Decidir sobre aquisição de sistemas;• Ajudar na otimização de programas;• Previsão de desempenho de aplicações em
computadores específicos.
![Page 10: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/10.jpg)
• Permitem avaliar o sistema como um todo, incluindo aspectos relacionados com:– Arquitetura do sistema;– Eficiência do compilador;– Sobrecarga do sistema operacional;– Sobrecarga de comunicação;– Identificam pontos fortes e fracos de um
sistema em particular ou de aplicações.
Benchmarks
![Page 11: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/11.jpg)
Benchmarks
Como escolher um benchmark?
– Ideal -> aplicação do usuário;– O ideal pode ser inviável quando os
sistemas são de propósito geral;– Utilização de benchmarks
• representativos de alguma categoria;• Programa que possa ser avaliado facilmente;• Programa que possua larga distribuição.
![Page 12: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/12.jpg)
como escolher um Benchmark:
programa escrito em linguagem de alto nível; representativo de alguma categoria de
programação; programa que possa ser avaliado facilmente; programa que possua larga distribuição.
Benchmarks
![Page 13: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/13.jpg)
• Divididos em:– Benchmark de componente;– Benchmark de sistema;– Benchmark de aplicação – utiliza
programas representativos;– Benchmark sintético - imitam
ambientes de execução de programas reais. Geram dados estatísticos.
Benchmarks
![Page 14: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/14.jpg)
• Classificação quanto a arquitetura:– seqüenciais;– paralelas;
• Comitê Parkbenck (Parallel Kernels and Benchmarks).
Benchmarks
![Page 15: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/15.jpg)
Benchmarks
Onde usar benchmark?
– avaliar sistemas computacionais diferentes;
– avaliar o desempenho mínimo;– tarefas genéricas ou específicas.
![Page 16: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/16.jpg)
Áreas de Aplicação e Objetivos
• Três grandes áreas:– projeto
• não aplicável
– avaliação• aplicável, porém insuficiente
– seleção• técnica ideal
![Page 17: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/17.jpg)
Medidas de Desempenho
Freqüentemente Utilizadas• Comum aos outros casos:
– Tempo de resposta, – Utilização, – Throughput,– Tempo/Tamanho de filas.
• Freqüência de clock - MHZ – Pode ser UMA medida– Problemas – É necessário considerar:
• Arquitetura do processador• Velocidade e quantidade de memória• Disco
![Page 18: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/18.jpg)
Medidas de Desempenho Freqüentemente Utilizadas
- Fabricantes apresentam números de pico de MIPS e MFLOPS superiores aos reais, valores obtidos em situações ideais.
- Comparação entre máquinas com conjunto de instruções diferentes – CISC X RISC.
MIPS
Milhões de Instruções por
Segundo
MFLOPS
Milhões de Instruções de Ponto Flutuante por
Segundo
![Page 19: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/19.jpg)
Medidas de Desempenho
Freqüentemente Utilizadas
• MIPS e MFLOPS são relevantes quando aplicados em computadores de mesma arquitetura para análise comparativa
– Apresentam características similares de hardware e software;
– Números de MIPS e MFLOPS mais coerentes.
![Page 20: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/20.jpg)
Aspectos Relacionados aos Benchmarks
– Quando os resultados dos Benchmarks forem interpretados, deve-se conhecer:
– arquitetura do processador;– processadores;– clock;– barramento;– memória e caches;– disco rígido;– sistema operacional;– compilador– etc.
![Page 21: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/21.jpg)
Problemas...
-Sistemas com configurações diferentes geram medidas de desempenho diferentes-Otimização do compilador: influencia
diretamente no desempenho medido
Aspectos Relacionados aos Benchmarks
![Page 22: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/22.jpg)
Sequencial x Paralelo• Sequencial
– todas as considerações acima;• Paralelo
– todas as considerações acima;– potência de processamento não é o único
fator determinante da eficiência. Muito depende do quão inato é o paralelismo da aplicação, e qual a magnitude deste paralelismo pode ser explorado pela máquina.
Sistemas Sequenciais e Paralelos
![Page 23: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/23.jpg)
Tipos de Benchmarks
• Benchmarks mais comums• Whetstone, Linpack, Dhrystone
• Outros programas de Benchmarks• Stanford Small Programs Benchmark Set• EDN Benchmarks• Sieve of Eratosthenes• Livermore Fortran Kernels• Perfect Club Benchmarks• SPEC Benchmarks• EuroBen Benchmarks
![Page 24: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/24.jpg)
Tipos de Benchmarks
• Whetstone– Primeiro grande programa da literatura
escrito para Benchmarking– Elaborado para análise de programação
numérica de ponto flutuante intensivo– Apenas a versão Pascal é oficialmente
controlada– resultado: número de loops por segundo
![Page 25: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/25.jpg)
Tipos de Benchmarks
• Características do Whetstone
– Possui alto percentual de dados e operações de ponto flutuante
– Alto percentual de tempo de execução é gasto em funções matemáticas
– Ao invés de variáveis locais, Whetstone utiliza muitos dados globais
![Page 26: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/26.jpg)
Whetstone
• Ranking das melhores máquinas
• Whetstone 97
• Última atualização – setembro 2006 (?)
• MWips, million whetstones instructions per second
• http://www.cse.clrc.ac.uk/disco/Benchmarks/whetstone.shtml
(Setembro 2006)
• http://homepage.virgin.net/roy.longbottom/whetstone%20results.htm
(Dezembro de 2007)
![Page 27: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/27.jpg)
Rank Machine Mflop ratings (Vl=1024) Total CPU MWIPS
N2 N3 N8 (seconds)
1 Intel Woodcrest 3.0GHz 4MBL2 DC 1966 4588 2907 3.3 10560
2 Intel Woodcrest 3.0GHz-533 4MBL2 DC 1966 4588 3069 3.3 10451
3 IBM eServer p5 570/1.9 1966 1966 1625 6.2 6219
4 SunFire V20 2.2GHz (EKO) 1311 1298 1481 7.7 4496
5 IBM eServer p5 575/1.5 1966 1529 1315 7.8 4874
6 AMD Opteron852/2600 (EKO 2.2) 1513 1547 1771 8.1 4488
7 HP DL380 Pentium4/3600 (EM64T) 1966 1720 607 8.4 4408
8 Dell PowerEdge 1850/3600 1MBL2 1966 1720 607 8.4 4351
9 Dell PowerEdge 1850/3600 2MBL2 1966 1720 607 8.5 4370
10 AMD Opteron875/2200 DC (EKO 2.0) 1311 1251 1497 8.6 4543
VL = Vector loops
MWIPS = million whetstones instructions per second
N2,N3 e N8 – diferentes instruções de ponto flutuante no loop
![Page 28: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/28.jpg)
Tipos de Benchmarks
• Linpack– Trata-se de um benchmark de Kernel,
desenvolvido a partir do Pacote Linpack de Rotinas de Álgebra Linear em 1976
– Foi originalmente escrito e muito utilizado em Fortran, porém possui versão em C
– Solução de uma matriz 100x100 utilizando decomposição L/U pelo método de Eliminação de Gauss (Linpack100)
– Resultado: MFLOPS
![Page 29: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/29.jpg)
Tipos de Benchmarks
• Características do Linpack– Por ser um benchmark numérico, possui
alto desempenho em operações de ponto flutuante.
– Resultado é mostrado em Mflops/s– Trata-se de um programa pequeno,
portanto muito ágil para ser executado– Maior capacidade com resolução de
matrizes 300x300 e 1000x1000
![Page 30: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/30.jpg)
Tipos de Benchmarks
• Dhrystone– Benchmark sintético publicado por
seu autor Reinhold Weicker da Siemens Nixdorf em 1984
– Dhrystone é aplicável em sistemas não numéricos com tipos de dados inteiros, como sistemas operacionais, compiladores, editores de texto, etc
– Resultado: número de loops por segundo
![Page 31: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/31.jpg)
Tipos de Benchmarks
• Características do Dhrystone– Não analisa operações de ponto
flutuante– Processadores RISC possuem melhor
desempenho que processadores CISC– Leva em consideração a localidade dos
operadores– Para análise de processadores
diferentes deve-se utilizar compilações de mesma linguagem para o Dhrystone
![Page 32: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/32.jpg)
Tipos de Benchmarks
• Livermore Fortran Kernels– Este benchmark foi criado em 1970
por F.H. McMahon – Consiste de 24 “kernels“ ou loops de
processamento numérico– Analisa desempenho de
computadores e compiladores em operações com ponto flutuante
![Page 33: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/33.jpg)
Tipos de Benchmarks
http://www.osc.edu/supercomputing/computing/metrics.shtml
Ohio Supercomputer Center
Livermore Fortran Kernels executado em diferentes máquinas
![Page 34: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/34.jpg)
Tipos de Benchmarks
• Sieve of Eratosthenes– Um dos mais famosos para PC’s– Também conhecido como “Primes”– Baseado em cálculo de números primos– É historicamente importante pela frase:
• “A performance de Sieve of Eratosthenes de um compilador em relação a outro, provavelmente vendeu mais compiladores para algumas companhias que qualquer outro benchmark na história”
![Page 35: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/35.jpg)
Tipos de Benchmarks
• The Perfect Benchmark– Destina-se a avaliação de
desempenho em supercomputadores– Formado por 13 programas de várias
áreas da engenharia e científicas– Possui mais de 60.000 linhas de
código Fortran
![Page 36: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/36.jpg)
Tipos de Benchmarks
• EuroBen Benchmark• Criado pelo EuroBen Group (estabelecido
em 1990 por um grupo de pessoas que estava preocupada em obter um perfil de performance em computadores científicos de alta performance)
• Idéia principal: Caracterizações de performance com medidas genéricas para computadores de alto desempenho não podem ser feitas, especialmente entre arquiteturas vetoriais e paralelas
![Page 37: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/37.jpg)
Tipos de Benchmarks• EuroBen Benchmark
– Medidas relevantes para avaliação de desempenho em: (exemplos)
• Banco de Dados: Transações por segundo• Programas Científicos: número de operações por
segundo• Redes: Taxa de transferência
– Portanto, EuroBen enfatiza a(s) característica(s) principais de cada tipo de aplicação em sua análise de desempenho
http://www.euroben.nl/reports.html
EuroBen Benchmark reports and Overview of recent supercomputers
![Page 38: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/38.jpg)
Tipos de Benchmarks
• SPEC Benchmarks– SPEC (System Performance Evaluation
Cooperative ou Standard Performance Evaluation Corporation) fundada em Outubro de 1988 por Apollo, Hewlett-Packard, MIPS e Sun Microsystems.
– Possui como meta, realismo de medidas de sistemas computacionais avançados para a indústria e educação dos consumidores quanto aos aspectos de desempenho.
![Page 39: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/39.jpg)
Tipos de Benchmarks• SPEC Benchmarks
– CPU– Aplicações Gráficas– Aplicações de Alto Desempenho
• MPI e OpenMP
– Cliente/Servidor Java• Projetado para medir o desempenho de servidores
rodando aplicações Java
– Mail Servers• Mede desempenho de servidores de e-mail
– Network File Systems– Web Servers
• Simula usuários enviando requisições
![Page 40: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/40.jpg)
Benchmarks para Arquiteturas Paralelas e Sistemas Distribuídos:
problemas com MIPS e MFLOPs não basta somá-los:
comunicação; balanceamento; etc.
cada tipo de arquitetura benchmark específico;
Exemplos: PING e PING-PONG:
utilizados na avaliação de comunicação; TTCP:
avaliação de comunicação usando TCP ou UDP.
Benchmarks
![Page 41: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/41.jpg)
WebStone• Desenvolvido pela Silicon Graphics• Objetivo: Medir desempenho de software e
hardware de servidores Web• Versão 2.0.1 • Testa o servidor Web server, incluindo
sistema operacional, CPU e velocidade de acesso a rede.
• Não testa influência da velocidade de acesso ao disco
• Principais medidas– Throughput máximo– Tempo médio de resposta
![Page 42: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/42.jpg)
WebStone• Arquitetura
– Processos mestre
e clientes computação distribuída• clientes geram
requisições ao servidor
• mestre recolhe dados e gera um relatório final
![Page 43: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/43.jpg)
WebStone• Carga
– Parâmetros de especificação• Número de clientes think time = 0• Tipo de página tamanho e freqüência de
acesso• Número de páginas• Número de máquinas clientes
– Métodos de acesso:• HTML- retorna um arquivo para o cliente• CGI – executa outro programa utilizando o
protocolo Common Gateway Interface • API – passa a requisição para a Application
Programming Interface
![Page 44: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/44.jpg)
WebStone• Resultados
Média do tempo de resposta
0,00000,0500
0,10000,15000,20000,2500
0,30000,3500
Num. de clientes
Te
mp
o d
e r
esp
ost
a
![Page 45: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/45.jpg)
httperf• Ferramenta para medir o desempenho de
servidores Web• Gera várias cargas HTTP • Arquitetura
– Maior independência do SO• Única thread• Mecanismo próprio de Timeout
– Três módulos• HTTP
– Gerenciamento de conexões– Geração de requisições http
• Geração de carga– Regras para a geração de requisições
• Coleta de estatísticas
![Page 46: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/46.jpg)
httperf
• Carga– Conexões persistentes e requisições em
cascata– Geradores de carga
• Geração de requisições– Requisições a uma taxa fixa. Padrão 1 req/con– Sessões a uma taxa fixa. 1 sessão várias rajadas
de requisições. Think time 0.• Geração de URLs
– Seqüência de URLs que devem ser acessadas no servidor.
![Page 47: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/47.jpg)
httperf
• ResultadosUtilização da CPU (sistema)
63
64
65
66
67
68
1 100 200 5.000
Tamanho do arquivo (kbytes)
% d
e u
tili
zaçã
o
![Page 48: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/48.jpg)
httperf
• ResultadosTempo de conexão
0
1
2
3
4
5
1 100 200 5.000
Tamanho do arquivo (kbytes)
tem
po
(m
s) min
avg
median
stddev
![Page 49: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/49.jpg)
Surge• Simula uma coleção de usuários
acessando um servidorWeb
• Arquitetura– Conjunto de clientes conectados a um
servidor Web– Cliente
• Conjunto de threads especificado pelo usuário• requisições a documentos no servidor• estados ON e OFF
– ON transferência de arquivos– OFF Ativo e Inativo
![Page 50: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/50.jpg)
Concluindo....
Benchmarks podem ser utilizados para verificar diversos tipos de
sistemas ...– Servidores Web,– Banco de dados,– Processadores,– Redes de comunicação
![Page 51: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/51.jpg)
Concluindo....
sendo utilizados com diferentes objetivos...
•Codificação de vídeo e edição de imagens,
• Jogos,•Processamento intensivo, •Processamento de textos, etc.
![Page 52: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/52.jpg)
Concluindo....
Querendo avaliar diferentes características...
•Produtividade
•Desempenho
•Confiabilidade, etc.
![Page 53: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/53.jpg)
O importante é...
• Escolher o Benchmark adequado,
• Aplicar o Benchmark de forma adequada,
• Analisar os resultados obtidos com critério.
![Page 54: Avaliação de Desempenho Aula 7 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader037.vdocuments.com.br/reader037/viewer/2022102722/552fc10b497959413d8c27cb/html5/thumbnails/54.jpg)
Seleção Projeto Avaliação
ProtótipoColeta de
dadosBenchmark
Técnicas de Aferição
Uso apropriado
Uso secundário