avaliação de desempenho aula 5 universidade de são paulo instituto de ciências matemáticas e de...
TRANSCRIPT
![Page 1: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/1.jpg)
Avaliação de DesempenhoAula 5
Universidade de São PauloInstituto de Ciências Matemáticas e de Computação
Departamento de Sistemas de Computação
Marcos José Santana
Regina Helena Carlucci Santana
Aferição de Sistemas Computacionais
Benchmarks
![Page 2: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/2.jpg)
Conteúdo
1. Planejamento de Experimentos
2.2. Técnicas para Avaliação de Técnicas para Avaliação de DesempenhoDesempenho
– Visão Geral das Técnicas para Avaliação de Desempenho
– Técnicas de Aferição: Protótipos, Benchmarks e Monitores
– Técnicas de Modelagem: Solução Analítica e por Simulação
3. Análise de Resultados
![Page 3: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/3.jpg)
Benchmarcks
Técnicas de Avaliação de Desempenho
Protótipos
Coleta de Dados
Aferição
Rede de Filas
Redes de Petri
Statecharts
ModelagemAferição
![Page 4: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/4.jpg)
Benchmarks
• Instrumento fixo, que permite comparar uma medida (mark - marca) a um padrão preestabelecido
• Deve-se ter um ponto de observação (bench - banco)
• Ponto fixo ou referência para comparações
![Page 5: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/5.jpg)
Benchmarks
• Empresas – Utilizam como modelo– Onde elas pretendem chegar
• Ponto fixo ou referência para comparações
• Definir um benchmark para a vida....
• Exemplos:– Tábua das mares– Termômetro
![Page 6: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/6.jpg)
Benchmarks
ALTURA NÍVEL DA MARÉ
1,00m – 1,50m Maré alta
1,60m - 1,70m Observação
1,80m Atenção
Tábua das mares
![Page 7: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/7.jpg)
Benchmarks
Termômetro
Vinho
T = 38O
Febre!!!
T = 36,5O
Normal
![Page 8: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/8.jpg)
Técnicas de Aferição
• Benchmarks - Computação
Programa escrito em linguagem de alto nível, representativo de uma
classe de aplicações, utilizado para medir o desempenho de um dado
sistema ou para comparar diferentes sistemas
![Page 9: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/9.jpg)
Benchmarks• Abordagem muito utilizada para a avaliação
de desempenho por aferição
• Exemplo i5 i7
2 ou 4 núcleos 4 ou 6 núcleos
Não possui Hyper-threading
possui Hyper-threading – 2 núcleos lógicos para cada físico
DMI - Direct Media Interface (taxa de transferência ~2Gb/s)
QPI - Quick Path Interconnect (taxa de transferência >4,8Gb/s)
Quantidade de canais para acesso a memória – 2 (acessa 2 pentes ao mesmo tempo)
Quantidade de canais para acesso a memória – 3 (acessa 3 pentes ao mesmo tempo)
Qual a diferença entre um i5 e um i7?
Qual a influência Qual a influência no desempenho??no desempenho??
![Page 10: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/10.jpg)
Benchmarkshttp://www.cpubenchmark.net/
Processador Benchmark Preço ($)
Intel Core i7 980X @ 3.33GHz 10336 1000,00
Intel Core i7 975 @ 3.33GHz 7007 994,49
Intel Core i5 760 @ 2.80GHz 4510 205,00
Intel Core i5 680 @ 3.60GHz 3,431 296,66
Intel Core i7 740QM @ 1.73GHz 3521 546,00
PassMark Performance Test
![Page 11: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/11.jpg)
Benchmarks
– Uso:• Comparar desempenho de máquinas diferentes• Reprojetar hardware e software• Decidir sobre aquisição de sistemas• Ajudar na otimização de programas• Previsão de desempenho de aplicações em
computadores específicos
![Page 12: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/12.jpg)
• Permitem avaliar o sistema como um todo, incluindo aspectos relacionados com:– Arquitetura do sistema– Eficiência do compilador– Sobrecarga do sistema operacional– Sobrecarga de comunicação– Identificam pontos fortes e fracos de um sistema
em particular ou de aplicações
Benchmarks
![Page 13: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/13.jpg)
BenchmarksComo escolher um benchmark?
– Ideal -> aplicação do usuário – O ideal pode ser inviável quando os sistemas são de
propósito geral– Necessita-se de algo mais amplo e representativo
programa escrito em linguagem de alto nível;
representativo de alguma categoria de programação;
que possa ser avaliado facilmente;
que possua larga distribuição.
![Page 14: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/14.jpg)
• Divididos em:– Benchmark de componente;– Benchmark de sistema;– Benchmark de aplicação – utiliza programas
representativos– Benchmark sintético - imitam ambientes de
execução de programas reais. Geram dados estatísticos
Benchmarks
![Page 15: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/15.jpg)
• Classificação quanto a arquitetura:– seqüenciais;– paralelas;
• Comitê Parkbenck (Parallel Kernels and Benchmarks)
Benchmarks
![Page 16: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/16.jpg)
Benchmarks
Onde usar benchmark?
– avaliar sistemas computacionais diferentes;– avaliar o desempenho mínimo;– tarefas genéricas ou específicas.
![Page 17: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/17.jpg)
Medidas de Desempenho Freqüentemente Utilizadas
• Comum aos outros casos: – Tempo de resposta, – Utilização, – Throughput,– Tempo/Tamanho de filas.
• Freqüência de clock - MHZ – Pode ser UMA medida– Problemas – É necessário considerar:
• Arquitetura do processador• Velocidade e quantidade de memória• Disco
![Page 18: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/18.jpg)
Aspectos Relacionados aos Benchmarks
– Quando os resultados dos Benchmarks forem interpretados, deve-se conhecer:
– arquitetura do processador;– processadores;– clock;– barramento;– memória e caches;– disco rígido;– sistema operacional;– compilador– etc.
![Page 19: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/19.jpg)
Problemas...
-Sistemas com configurações diferentes geram medidas de desempenho diferentes
-Otimização do compilador: influencia diretamente no desempenho medido
Aspectos Relacionados aos Benchmarks
![Page 20: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/20.jpg)
Sequencial x Paralelo• Sequencial
– todas as considerações acima • Paralelo
– todas as considerações acima– poder de processamento não é o único fator
determinante da eficiência. Muito depende do quão inato é o paralelismo da aplicação, e qual a magnitude deste paralelismo pode ser explorado pela máquina
Sistemas Sequenciais e Paralelos
![Page 21: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/21.jpg)
Tipos de Benchmarks
• Benchmarks mais comums• Whetstone, Linpack, Dhrystone
• Outros programas de Benchmarks• Stanford Small Programs Benchmark Set
• EDN Benchmarks
• Sieve of Eratosthenes
• Livermore Fortran Kernels
• Perfect Club Benchmarks
• SPEC Benchmarks
• EuroBen Benchmarks
![Page 22: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/22.jpg)
Tipos de Benchmarks
• Whetstone– Primeiro grande programa da literatura escrito
para Benchmarking– Elaborado para análise de programação
numérica de ponto flutuante intensivo– Apenas a versão Pascal é oficialmente
controlada– resultado: número de loops por segundo
![Page 23: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/23.jpg)
Tipos de Benchmarks
• Características do Whetstone
– Possui alto percentual de dados e operações de ponto flutuante
– Alto percentual de tempo de execução é gasto em funções matemáticas
– Ao invés de variáveis locais, Whetstone utiliza muitos dados globais
![Page 24: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/24.jpg)
Whetstone
• Ranking das melhores máquinas
• Whetstone 97
• Última atualização – setembro 2006
• MWips, million whetstones instructions per second
• http://www.cse.clrc.ac.uk/disco/Benchmarks/whetstone.shtml
(Setembro 2006)
• http://homepage.virgin.net/roy.longbottom/whetstone%20results.htm
(Dezembro de 2007)
![Page 25: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/25.jpg)
Rank Machine Mflop ratings (Vl=1024) Total CPU MWIPS
N2 N3 N8 (seconds)
1 Intel Woodcrest 3.0GHz 4MBL2 DC 1966 4588 2907 3.3 10560
2 Intel Woodcrest 3.0GHz-533 4MBL2 DC 1966 4588 3069 3.3 10451
3 IBM eServer p5 570/1.9 1966 1966 1625 6.2 6219
4 SunFire V20 2.2GHz (EKO) 1311 1298 1481 7.7 4496
5 IBM eServer p5 575/1.5 1966 1529 1315 7.8 4874
6 AMD Opteron852/2600 (EKO 2.2) 1513 1547 1771 8.1 4488
7 HP DL380 Pentium4/3600 (EM64T) 1966 1720 607 8.4 4408
8 Dell PowerEdge 1850/3600 1MBL2 1966 1720 607 8.4 4351
9 Dell PowerEdge 1850/3600 2MBL2 1966 1720 607 8.5 4370
10 AMD Opteron875/2200 DC (EKO 2.0) 1311 1251 1497 8.6 4543
VL = Vector loops
MWIPS = million whetstones instructions per second
N2,N3 e N8 – diferentes instruções de ponto flutuante no loop
![Page 26: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/26.jpg)
Tipos de Benchmarks
• Linpack– Trata-se de um benchmark de Kernel, desenvolvido a
partir do Pacote Linpack de Rotinas de Álgebra Linear em 1976
– Foi originalmente escrito e muito utilizado em Fortran, porém possui versão em C
– Solução de uma matriz 100x100 utilizando decomposição L/U pelo método de Eliminação de Gauss (Linpack100)
– Resultado: MFLOPS
![Page 27: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/27.jpg)
Tipos de Benchmarks
• Características do Linpack– Por ser um benchmark numérico, possui alto
desempenho em operações de ponto flutuante.– Resultado é mostrado em Mflops/s– Trata-se de um programa pequeno, portanto
muito ágil para ser executado– Maior capacidade com resolução de matrizes
300x300 e 1000x1000
![Page 28: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/28.jpg)
Tipos de Benchmarks
• Dhrystone– Benchmark sintético publicado por seu autor
Reinhold Weicker da Siemens Nixdorf em 1984
– Dhrystone é aplicável em sistemas não numéricos com tipos de dados inteiros, como sistemas operacionais, compiladores, editores de texto, etc
– Resultado: número de loops por segundo
![Page 29: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/29.jpg)
Tipos de Benchmarks
• Características do Dhrystone– Não analisa operações de ponto flutuante– Processadores RISC possuem melhor
desempenho que processadores CISC– Leva em consideração a localidade dos
operadores– Para análise de processadores diferentes deve-
se utilizar compilações de mesma linguagem para o Dhrystone
![Page 30: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/30.jpg)
Tipos de Benchmarks
• Livermore Fortran Kernels– Este benchmark foi criado em 1970 por F.H.
McMahon – Consiste de 24 “kernels“ ou loops de
processamento numérico– Analisa desempenho de computadores e
compiladores em operações com ponto flutuante
![Page 31: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/31.jpg)
Tipos de Benchmarks
http://www.osc.edu/supercomputing/computing/metrics.shtml
Ohio Supercomputer Center
Livermore Fortran Kernels executado em diferentes máquinas
![Page 32: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/32.jpg)
Tipos de Benchmarks
• Sieve of Eratosthenes– Um dos mais famosos para PC’s
– Também conhecido como “Primes”
– Baseado em cálculo de números primos
– É historicamente importante pela frase: • “A performance de Sieve of Eratosthenes de um compilador
em relação a outro, provavelmente vendeu mais compiladores para algumas companhias que qualquer outro benchmark na história”
![Page 33: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/33.jpg)
Tipos de Benchmarks
• The Perfect Benchmark– Destina-se a avaliação de desempenho em
supercomputadores– Formado por 13 programas de várias áreas da
engenharia e científicas– Possui mais de 60.000 linhas de código Fortran
![Page 34: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/34.jpg)
Tipos de Benchmarks
• EuroBen Benchmark• Criado pelo EuroBen Group (estabelecido em 1990
por um grupo de pessoas que estava preocupada em obter um perfil de performance em computadores científicos de alta performance)
• Idéia principal: Caracterizações de performance com medidas genéricas para computadores de alto desempenho não podem ser feitas, especialmente entre arquiteturas vetoriais e paralelas
![Page 35: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/35.jpg)
Tipos de Benchmarks• EuroBen Benchmark
– Medidas relevantes para avaliação de desempenho em: (exemplos)
• Banco de Dados: Transações por segundo
• Programas Científicos: número de operações por segundo
• Redes: Taxa de transferência
– Portanto, EuroBen enfatiza a(s) característica(s) principais de cada tipo de aplicação em sua análise de desempenho
http://www.euroben.nl/reports.html
EuroBen Benchmark reports and Overview of recent supercomputers
![Page 36: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/36.jpg)
Tipos de Benchmarks
• SPEC Benchmarks– SPEC (System Performance Evaluation
Cooperative ou Standard Performance Evaluation Corporation) fundada em Outubro de 1988 por Apollo, Hewlett-Packard, MIPS e Sun Microsystems.
– Possui como meta, realismo de medidas de sistemas computacionais avançados para a indústria e educação dos consumidores quanto aos aspectos de desempenho.
![Page 37: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/37.jpg)
Tipos de Benchmarks• SPEC Benchmarks
– CPU– Aplicações Gráficas– Aplicações de Alto Desempenho
• MPI e OpenMP
– Cliente/Servidor Java• Projetado para medir o desempenho de servidores rodando
aplicações Java
– Mail Servers• Mede desempenho de servidores de e-mail
– Network File Systems– Web Servers
• Simula usuários enviando requisições
![Page 38: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/38.jpg)
Benchmarks para Arquiteturas Paralelas e Sistemas Distribuídos:
problemas com MIPS e MFLOPs não basta somá-los:
comunicação; balanceamento; etc.
cada tipo de arquitetura benchmark específico;
Exemplos: PING e PING-PONG:
utilizados na avaliação de comunicação; TTCP:
avaliação de comunicação usando TCP ou UDP.
Benchmarks
![Page 39: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/39.jpg)
Para utilização específica: Servidores Web Redes HD Servidores de e-mail Virtualização SOA Servidores de arquivos Etc.....
Benchmarks
![Page 40: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/40.jpg)
WebStone• Desenvolvido pela Silicon Graphics• Objetivo: Medir desempenho de software e hardware
de servidores Web• Versão 2.0.1 • Testa o servidor Web server, incluindo sistema
operacional, CPU e velocidade de acesso a rede.• Não testa influência da velocidade de acesso ao
disco• Principais medidas
– Throughput máximo– Tempo médio de resposta
![Page 41: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/41.jpg)
WebStone
• ResultadosMédia do tempo de resposta
0,00000,0500
0,10000,15000,20000,2500
0,30000,3500
Num. de clientes
Te
mp
o d
e r
esp
ost
a
![Page 42: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/42.jpg)
httperf• Ferramenta para medir o desempenho de servidores
Web• Gera várias cargas HTTP • Arquitetura
– Maior independência do SO• Única thread• Mecanismo próprio de Timeout
– Três módulos• HTTP
– Gerenciamento de conexões– Geração de requisições http
• Geração de carga– Regras para a geração de requisições
• Coleta de estatísticas
![Page 43: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/43.jpg)
httperf
• Carga– Conexões persistentes e requisições em cascata– Geradores de carga
• Geração de requisições– Requisições a uma taxa fixa. Padrão 1 req/con
– Sessões a uma taxa fixa. 1 sessão várias rajadas de
requisições. Think time 0.
• Geração de URLs– Seqüência de URLs que devem ser acessadas no servidor.
![Page 44: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/44.jpg)
httperf
• ResultadosUtilização da CPU (sistema)
63
64
65
66
67
68
1 100 200 5.000
Tamanho do arquivo (kbytes)
% d
e u
tili
zaçã
o
![Page 45: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/45.jpg)
httperf
• ResultadosTempo de conexão
0
1
2
3
4
5
1 100 200 5.000
Tamanho do arquivo (kbytes)
tem
po
(m
s) min
avg
median
stddev
![Page 46: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/46.jpg)
Concluindo....
Benchmarks podem ser utilizados para verificar diversos tipos de
sistemas ...– Servidores Web,– Banco de dados,– Processadores,– Redes de comunicação
![Page 47: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/47.jpg)
Concluindo....
sendo utilizados com diferentes objetivos...
•Codificação de vídeo e edição de imagens,
• Jogos,
•Processamento intensivo,
•Processamento de textos, etc.
![Page 48: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/48.jpg)
Concluindo....
Querendo avaliar diferentes características...
•Produtividade
•Desempenho
•Confiabilidade, etc.
![Page 49: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/49.jpg)
O importante é...
• Escolher o Benchmark adequado,
• Aplicar o Benchmark de forma adequada,
• Analisar os resultados obtidos com critério.
![Page 50: Avaliação de Desempenho Aula 5 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos](https://reader035.vdocuments.com.br/reader035/viewer/2022062623/552fc10b497959413d8c27d7/html5/thumbnails/50.jpg)
Técnicas de Aferição