relatório de resumo do cloudtest … · relatrio de resumo do cloudtest 4 • a “transação...

1Relatório de resumo do CloudTest

Veja o que você pode encontrar em um

relatório de teste de carga personalizado

da engenharia de desempenho da Akamai

Relatório de resumo do CloudTest


Sumário

Resumo executivo .....................................................................................................................................................3

Introdução ..................................................................................................................................................................3

Objetivos/Metas.........................................................................................................................................................3

Cenários de teste .......................................................................................................................................................3

Resultados ..................................................................................................................................................................3

O que aprendemos ...................................................................................................................................................3

Recomendações ........................................................................................................................................................4

Conclusões .................................................................................................................................................................4

Resultados de teste ...................................................................................................................................................5

Resultados de data/hora ...........................................................................................................................................5

Resumo dos resultados .............................................................................................................................................5

Análise do tempo de resposta .................................................................................................................................6

Análise de transação .................................................................................................................................................7

Erros...........................................................................................................................................................................13

Análise de taxa de envio/taxa de acertos .............................................................................................................14

Análise de largura de banda ..................................................................................................................................15

Análise de clipe de teste.........................................................................................................................................16

Análise de erro completa .......................................................................................................................................17

Sobre a Akamai ........................................................................................................................................................19


Resumo executivo

INTRODUÇÃO

Este documento apresenta os resultados dos testes realizados para o “cliente” em relação ao ambiente de produção atual. Domínios ou detalhes que podem ajudar a identificar o “cliente” foram anonimizados. Esses testes foram realizados na plataforma Akamai CloudTest.

OBJETIVOS/METAS

O teste foi projetado para medir o desempenho e a escalabilidade do sistema e ao mesmo tempo monitorar as métricas de tempo de resposta à medida que a simultaneidade de usuários aumenta ao longo do tempo. Isso inclui:

• Determinar a escalabilidade e o desempenho do sistema ao mesmo tempo que aumenta a simultaneidade dos usuários ao longo do tempo.

• Determinar os tempos de resposta do sistema e aumentar a simultaneidade de usuários ao longo do tempo.

• Medir o impacto dos picos de carga comerciais sobre o desempenho do sistema durante a operação em picos de carga.

CENÁRIOS DE TESTE

Nove cenários de teste foram criados:

1) Cenário 1: 46% de carga 6) Cenário 6: 33,3% de pico 2) Cenário 2: 24% de carga 7) Cenário 7: 3.000 usuários 3) Cenário 3: 13% de carga 8) Cenário 8: 66,6% de pico 4) Cenário 4: 17% de carga 9) Cenário 9: 33,3% de pico 5) Cenário 5: 66,6% de pico

Outros cenários foram adicionados a essa composição para um pico comercial secundário. O objetivo era iniciar o primeiro pico comercial, atingir o pico e, em seguida, iniciar outro pico comercial enquanto o primeiro diminuía. Esse novo cenário tentou imitar o comportamento visto durante o “evento”.

Resultados

O QUE APRENDEMOS

• Não é possível dimensionar a carga de maneira eficaz de um pico de carga básico sem degradação do desempenho.

• A maioria dos problemas ocorreu no domínio xxxxxx, junto com dois domínios xxxxxx.

• Os erros foram em sua maioria HTTP 504, 502, 404 e 400.


• A “transação X” foi, sem dúvida, a medida mais alta do 90º percentil em 49,194 segundos.

• Duas chamadas xxxxxx para um domínio de desenvolvimento ficaram em segundo e terceiro lugar com relação ao tempo mais longo do 90 percentil.

• As taxas de transações e os tempos de resposta diminuíram de forma constante ao longo do teste.

RECOMENDAÇÕES

• Determine a causa da degradação com a “transação X”.

• Avalie se o domínio de desenvolvimento xxxxxx deve ser incluído na execução do teste e nos recursos.

• Reduza as anotações do sistema para aumentar o desempenho de vários painéis; isso só é necessário ao colocar servidores em estado ocioso.

• Determine a causa raiz das reduções na taxa de transações (especificamente, xxxxxx) ao executar picos comerciais.

CONCLUSÕES

O tempo de resposta degradou continuamente além de xx.xxx usuários à medida que a simultaneidade aumentou, mas se nivelou assim que o aumento inicial de xx.xxx usuários foi atingido. No restante do teste, o tempo médio de resposta aumentou toda vez que foi introduzido um pico comercial no sistema, mas se recuperou quando a simultaneidade dos usuários comerciais voltou para um nível médio.

Os aumentos significativos dos erros coincidiram com os picos comerciais. Os principais foram HTTP 504 (Tempo limite do gateway), HTTP 502 (Gateway incorreto), HTTP 404 (Não encontrado) e HTTP 400 (Solicitação incorreta). A maioria desses erros ocorreu nos domínios xxxxxx e xxxxxx. Esses erros podem ser atribuídos a diferenças no hardware dos sete servidores da Web em execução. Três servidores tinham hardware mais antigo, com capacidade de carga (com relação à CPU e memória) menor do que a dos outros quatro. Isso não foi identificado pelo balanceador de carga, que continuou a distribuir a carga igualmente, sobrecarregando esses servidores.

Dois domínios (XXXX e XXXX), que atendiam a solicitações de recurso único, evidenciaram-se os mais lentos com relação aos tempos de resposta. Embora esses domínios atendam a uma porcentagem muito pequena das solicitações em geral, isso evidencia a possibilidade de as solicitações de recurso de terceiros terem um impacto negativo sobre o desempenho de determinadas páginas.

O teste tinha como objetivo identificar como o local de produção existente reage quando uma grande base de simultaneidade de usuários encontra-se em execução no sistema e tipos específicos de usuário são rapidamente adicionados à configuração. Vários níveis de picos comerciais foram usados para determinar a estabilidade e a escalabilidade da configuração. As taxas de transações parecem degradar ao longo do tempo, em virtude das taxas de erro, de uma maior simultaneidade, de conflitos no banco de dados ou da transação X.


Resultados do teste

RESULTADOS DE DATA/HORA

Data/hora de início do teste: 17/04/2018, 05:16:59

Data/hora de término do teste: 17/04/2018, 07:35:15

Duração do teste: 02:18:10.62

Descrição: teste de desempenho da infraestrutura de produção para o “cliente”

RESUMO DOS RESULTADOS

Métricas/fundamentos de alto nível do teste:

• Solicitações HTTP enviadas: 193.800.623

• Erros de solicitação HTTP: 350.504 (0,181%)

• Tempo médio de resposta: 222 ms

• Tempo de resposta máx.: 278368 ms

• Total de bytes enviados: 520,7 GB

• Total de bytes recebidos: 2,1 TB

• Taxa de transferência efetiva (solicitações/segundo): 23.398 ms/s

• Taxa de transferência efetiva (bits/segundo): 2.543.365.201 bits/s

Os usuários virtuais do teste foram gerados com a seguinte distribuição geográfica:

Usuários virtuais por local


ANÁLISE DE TEMPO DE RESPOSTA

Uma das principais métricas do teste de carga é o tempo médio de resposta. Os tempos médios de resposta oferecem uma ideia geral de como a aplicação está sendo executada sob carga. Quanto mais nivelada a linha de tempo médio de resposta (à medida que a carga/número de usuários virtuais aumenta), melhor.

O gráfico de tempo médio de resposta mostrado a seguir é uma média de todas as solicitações HTTP feitas durante o teste. A média de tempo de resposta começou a diminuir em aproximadamente xx.xxx usuários e continuou até o momento em que foram atingidos xx.xxx usuários simultâneos. Depois disso, os tempos de resposta só aumentaram quando submetidos a picos comerciais, mas se recuperaram quando o pico comercial voltou a diminuir.

Quando se identificam variações nos tempos de resposta, é importante identificar os domínios associados. O gráfico a seguir mostra os tempos médios de resposta ao longo do tempo, separados por domínio. Os domínios XXXX e XXXX representam os maiores tempos de resposta vistos a seguir, mas correspondem principalmente a picos comerciais.

Usuários virtuais versus duração média da coleta



ANÁLISE DE TRANSAÇÃO

As transações representam um agrupamento de elementos de clipe (solicitações HTTP, scripts, tempos de processamento etc.). A maioria dos testes utiliza transações para representar os tempos de carregamento de página reais que o usuário final pode enfrentar. O ideal é que o tempo de conclusão da transação de cada clipe de teste permaneça uniforme ao longo do teste. Os tempos de resposta mantiveram-se bastante estáveis durante o teste e qualquer aumento notável parece coincidir com os picos maiores de simultaneidade de usuários que foram introduzidos em diferentes intervalos.

O gráfico a seguir mostra as medidas do 95 percentil durante todo o teste.

O widget de análise de coleta nas páginas seguintes identifica cada uma das transações usadas na composição do teste e as estatísticas associadas a cada clipe.


Usuários virtuais versus duração da coleta do 95 percentil


ColetaColetas

concluídasDuração média Desvio padrão 90 percentil

Cenário 1.01: Página inicial 112.302 1,089 1,204 1,473

Cenário 1.02: Transação X 27.939 0,65 0,472 1,04

























Cenário 1.11-1: Transação X 147.896 0,323 0,583 0,531















Cenário 1.12: Transação X 335 10,097 13,827 31,999


ColetaColetas



Cenário 1.12a: Transação X 1.694.372 7,236 7,883 11,842










































ColetaColetas













































ColetaColetas
























Cenário 4.08: Transação X 1.013.309 0,345 0,69 0,486


Cenário 4.09: Transação X 1.008.249 0,363 0,37 0,626



















ColetaColetas




































Cenário 6.16: Transação X 284 8,219 10,629 25







ERROS

Nos testes, os erros ajudam a identificar onde os problemas se encontram. Problemas de rede, infraestrutura, hardware, aplicação e inúmeros outros fatores podem provocar erros. Detalhes completos de erro estão disponíveis na seção Análise completa de erros, nas últimas páginas deste resultado. Os erros principais foram de tempo limite de conexão e HTTP 504, 502, 404 e 400. (Geralmente, há legendas para os gráficos a seguir, mas elas foram removidas deste relatório por motivo de anonimato.)

Contagem de erros

Contagem de erros versus erros por tipo ao longo do tempo

Erros por tipo ao longo do tempo


ANÁLISE DE TAXA DE ENVIO/TAXA DE ACERTOS

Outra métrica importante em qualquer teste de carga é a taxa de transferência (isto é, taxa de envio ou taxa de acertos) do teste. Ela mede quantas solicitações HTTP brutas podem ser processadas em determinado intervalo (por exemplo, por segundo ou por minuto) pela aplicação de destino. Em uma aplicação perfeitamente escalonável, a taxa de envio aumenta proporcionalmente ao aumento de usuários virtuais. A taxa de envio aumentou linearmente em relação ao aumento de simultaneidade de usuários virtuais, uma indicação de que a taxa de transferência não é uma preocupação no momento. (Geralmente, há legendas para os gráficos a seguir, mas elas foram removidas deste relatório por motivo de anonimato.)

O domínio XXXX representou a maior parte dos dados de taxa de envio a seguir.

Usuários virtuais versus taxa de envio

Erros por tipo ao longo do tempo


ANÁLISE DE LARGURA DE BANDA

A largura de banda é um possível gargalo que pode ser maximizado rapidamente. Isso é particularmente verdadeiro quando uma aplicação faz grandes downloads, tem muitos recursos de página ou não utiliza adequadamente uma CDN (Rede de Entrega de Conteúdo). No momento, a largura de banda não parece ser um problema. Essa métrica sempre deve ser revista após cada teste, a fim de verificar se alguma alteração pode ter causado um gargalo ou uma degradação. (Geralmente, há legendas para os gráficos a seguir, mas elas foram removidas deste relatório por motivo de anonimato.)

Uso de largura de banda

Uso de largura de banda por domínio


ANÁLISE DE CLIPE DE TESTE

O gráfico a seguir mostra o tempo de conclusão de cada um dos cenários de usuário (casos de teste) durante o teste. O ideal é que o tempo de conclusão de cada clipe de teste permaneça uniforme durante todo o teste. (Geralmente, há legendas para os gráficos a seguir, mas elas foram removidas deste relatório por motivo de anonimato.)

O gráfico a seguir mostra quantos clipes foram concluídos durante o teste. Observe que a execução do teste em si incorporou picos no tráfego, que podem ser vistos com precisão no gráfico nos tempos correspondentes.

O widget de análise de clipe na próxima página identifica cada um dos clipes usados na composição do teste e as estatísticas associadas a cada clipe.

Clipe concluído

Duração média de clipe


Análise de clipe

Hierarquia de componentes

Clipes concluídos

Duração média

Duração máxima

Bytes enviados Bytes recebidos Erros

Composição 493.455 658,035 s 8.187,244 s 401.348.098.380 1.732.113.725.029 113.723

Cenário 1 94.048 538,724 s 8.001,404 s 131.190.717.498 311.124.204.116 17.857

Cenário 2 69.531 183,291 s 670,233 s 42.456.494.993 173.923.240.388 29.190

Cenário 3 159.430 309,675 s 639,730 s 30.531.767.971 319.869.928.469 35.400

Cenário 4 24.243 1.264,178 s 8.168,812 s 39.937.195.294 419.228.478.054 3.670

Cenário 5 95.605 1.264,259 s 8.187,244 s 93.538.651.159 414.184.575.091 19.716

Cenário 6 4.812 3.919,446 s 8.108,647 s 444.643.336 5.222.159.216 33

Cenário 7 45.786 907,517 s 8.117,809 s 63.248.628.129 88.561.139.695 7.857

ANÁLISE COMPLETA DE ERRO

A tabela a seguir mostra uma análise detalhada do tipo de erro e de mensagens que resultaram em erro.

Erro SolicitaçõesContagem

de erros

193.968.161 337.620

Domínio X 973.271 64.291

Redefinição da conexão (java.net.SocketException) 271

Tempo limite de conexão de 60.000 ms excedido. 62.147

O envio foi concluído, mas nenhuma resposta foi recebida dentro do limite de tempo de leitura de soquete de 120.000 ms.

Domínio X 1.049.386 23

Tempo limite de conexão de 60.000 ms excedido. 15

HTTP 400 – Solicitação incorreta 5

Domínio X 295.788 37


Domínio X 60.762.484 31.124



Falha ao processar a transação X 14


HTTP 403 – Proibido 3.135

HTTP 500 – Erro interno do servidor 986

HTTP 502 – Gateway incorreto 331

HTTP 503 – Serviço indisponível 17

HTTP 504 – Tempo limite do gateway 10.672



de erros


67

O envio foi concluído, mas a conexão foi interrompida antes de a resposta ser recebida.

4

Não foi possível verificar o certificado do servidor SSL para o domínio x. (com.soasta.common.exceptions.CommonException)

8

Não foi possível definir o valor da propriedade - confira os eventos para verificar se há propriedades específicas

10.130

Não foi possível definir o valor da conta da propriedade” – A resposta JSON era inválida.”

5.185

Domínio X 1.980 32


HTTP 500 – Erro interno do servidor 6

HTTP 503 – Serviço indisponível 24

Domínio X 743.308 8

Tempo limite de conexão de 60000 ms excedido. 8

Domínio X 38.695 1.649



Domínio X 5.317.556 93.871




1


7

Domínio X 124.785.689 146.581

Mensagem de erro de validação personalizada 1 24

Mensagem de erro de validação personalizada 2 3.752





HTTP 400 – Solicitação incorreta 11.596

HTTP 401 – Não autorizado 5

HTTP 417 – Falha na expectativa 1

HTTP 500 – Erro interno do servidor 3.420

HTTP 502 – Gateway incorreto 10.319

HTTP 503 – Serviço indisponível 5.494

HTTP 504 – Tempo limite do gateway 49.335


A Akamai protege e entrega experiências digitais para as maiores empresas do mundo. A plataforma de borda inteligente da Akamai cerca tudo, da empresa à nuvem, para que os clientes e seus negócios possam ser rápidos, inteligentes e protegidos. As principais marcas mundiais contam com a Akamai para ajudá-las a alcançar a vantagem competitiva por meio de soluções ágeis que estendem a potência de suas arquiteturas multinuvem. A Akamai mantém as decisões, aplicações e experiências mais próximas dos usuários, e os ataques e ameaças cada vez mais distantes. O portfólio de soluções de segurança de borda, desempenho na Web e em dispositivos móveis, acesso corporativo e entrega de vídeo da Akamai conta com um excepcional atendimento ao cliente e monitoramento 24 horas por dia, sete dias por semana, durante todo o ano. Para saber por que as principais marcas mundiais confiam na Akamai, visite www.akamai.com, blogs.akamai.com ou @Akamai no Twitter. Nossas informações de contato globais podem ser encontradas em www.akamai.com/locations. Publicado em 05/19.


de erros

Erro de HTTP: 404 – Não encontrado 11.602





115


2

Não foi possível verificar o certificado do servidor SSL para o domínio X. (com.soasta.common.exceptions.CommonException)

9

Não foi possível definir o valor da propriedade - confira os eventos para verificar se há propriedades específicas

7.597

Não foi possível definir o valor da conta de propriedade” – A resposta JSON era inválida.”

20

Não foi possível definir o valor da propriedade X” – A resposta JSON era inválida.”

1




Iniciar o teste hoje

Pronto para o teste de carga do seu website e das suas aplicações? Acesse Akamai.com/cloudtest para obter mais informações.

Saiba mais

https://www.akamai.com

https://blogs.akamai.com

https://twitter.com/Akamai

https://www.akamai.com/us/en/locations.jsp

https://www.akamai.com/us/en/products/performance/cloudtest.jsp



relatório de resumo do cloudtest … · relatrio de resumo do cloudtest 4 • a “transação...

Documents