os benefícios do armazenamento de dados como componente soa por antonio cesar sartoratto dias

Os benefícios do armazenamento de dados como

componente SOA

Antonio Cesar Sartoratto Dias - MSc. Unicamp

Prof. Dr. Marcius Fabius Henriques de Carvalho - CTI Cenpra

Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil

Os benefícios do armazenamento de dados como componente SOA

Fonte: Hennessy e Patterson, 2007

Introdução

Penso que Vale do Silício tornou-se um nome

inadequado. Se examinarmos os investimentos feitos

em produção nas últimas décadas, veremos que os

discos magnéticos geraram mais negócios que os

produtos do silício. O nome dessa região deveria ser

trocado para Vale do Óxido de Ferro. [Al Hoagland]


Introdução

De acordo com o IBM Global Innovation Outlook, é

esperado que a quantidade de informações digitais

dobre a cada 11 horas no ano 2010.



Cenário Motivador

A divergência entre o crescimento do mercado e do consumo de MIPS motiva o uso de novas metodologias de performance

fonte: Febraban, 2008


Justificativas do mercado

fonte: Pandian, 2003

Segundo a Febraban houve aumento na complexidade do setor.


A complexidade da T.I. bancária

Resumo da complexidade medida no setor bancário.


Cenário Motivador

utilizaçãoobservada

Lei de Amdahl

desperdício

cenários observados nos setores finanças e governo


Cenário Motivador

apenas 20% das CPU são utilizadas para processar dados


Cenário Motivador

Resultados alcançados com o método proposto:Redução do uso de processador de 91% para 31%


Como SOA pode ajudar

Fonte: IBM apud CARTER-2007

O negócio é dividido em módulos.




TI é um dos módulos de negócios.




Que por sua vez é dividido em módulos.




A proposta: criar um módulo especializado em tratar a velocidade que os dados são entregues às transações.


Storage: a base de todo processo


Storage: crescimento da base instalada

Fonte: IDC, 2007

QuickTime™ and aTIFF (Uncompressed) decompressor

are needed to see this picture.


A proposta em teoria

Dividir a análise de desempenho de uma transação em 3 partes:


A proposta em exemplo real

O foco em uso de processador já não traz os resultados do passado.


Reflexão - parte 1

Se um equipamento tem componentes com as velocidades indicadas no quadro.

CPU Memory I/O Device

250 ps 1 ns 100 ns 10 µs 1 msVelocidades:

Memory

Cache

Disk

Cache

10-12 10-9 10-9 10-6 10-3

picosecond nanosecond nanosecond microsecond milisecond

Por quê uma transação dura segundos?


Reflexão - parte 2

Em um mainframe: Por quê uma transação tem essa variação no tempo de resposta?


Reflexão - parte 3

Em um servidor: Por quê uma transação tem essa variação no tempo de resposta?


Motivo 1: os caches

C A C H E S U B S Y S T E M A C T I V I T Y SYSTEM ID EMP1 START 02/25/2008-08.59.57 INTERVAL 008.00.03 RPT VERSION V1R2 RMF END 02/25/2008-17.00.01 0SUBSYSTEM 2105-01 CU-ID 1004 SSID 0001 CDATE 02/25/2008 TYPE-MODEL 2105-F20 MANUF IBM PLANT 82 SERIAL 000000017890 0------------------------------------------------------------------------------ CACHE SUBSYSTEM OVERVIEW ------------------------------------------------------------------------------ 0TOTAL I/O 12457K CACHE I/O 12457K CACHE OFFLINE 0 TOTAL H/R 0.999 CACHE H/R 0.999 -CACHE I/O -----READ I/O REQUESTS------ -----WRITE I/O REQUESTS------ REQUESTS COUNT RATE H/R COUNT RATE ... H/R 0NORMAL 9759K 339.0 ... 0.999 669750 23.3 ... 1.000 SEQUENTIAL 1695K 58.9 ... 0.999 333678 11.6 ... 1.000 CFW DATA 0 0.0 ... N/A 0 0.0 ... N/A 0TOTAL 11454K 397.8 ... 0.999 1003K 34.9 ... 1.000 0------------------------------------------------------------------------------ CACHE SUBSYSTEM DEVICE OVERVIEW ------------------------------------------------------------------------------ 0VOLUME DEV RRID % I/O ... TOTAL READ WRITE % SERIAL NUM I/O RATE READ ... H/R H/R H/R READ 0*ALL 100.0 432.7 397.3 ... 0.999 0.999 1.000 91.9 *CACHE-OFF 0.0 0.0 *CACHE 100.0 432.7 397.3 ... 0.999 0.999 1.000 91.9 DISK01 1021 0000 6.1 26.3 26.2 ... 0.999 0.999 1.000 99.8 DISK02 1022 0000 0.4 1.6 1.5 ... 0.996 0.996 1.000 94.2 DISK03 1023 0000 0.8 3.5 3.4 ... 0.997 0.997 1.000 98.4 DISK04 1024 0000 0.4 1.5 1.4 ... 0.977 0.975 1.000 91.5 DISK05 1025 0001 0.5 2.0 1.9 ... 0.990 0.989 1.000 93.9 DISK06 1026 0001 0.3 1.4 1.2 ... 0.973 0.971 1.000 92.2 DISK07 1027 0001 0.8 3.5 3.4 ... 0.997 0.997 1.000 97.7 DISK08 1028 0001 2.7 11.6 11.4 ... 0.997 0.997 1.000 98.4 DISK09 1029 0001 1.0 4.5 4.2 ... 0.994 0.994 1.000 92.6 DISK10 102A 0001 3.1 13.5 13.4 ... 0.999 0.999 1.000 99.1 DISK11 102B 0001 1.6 6.9 6.6 ... 0.987 0.987 1.000 96.6 DISK12 102C 0001 0.5 2.3 2.1 ... 0.981 0.980 1.000 96.3 DISK13 102D 0001 22.2 96.1 96.0 ... 1.000 1.000 1.000 100.0 DISK14 102E 0001 19.1 82.5 82.4 ... 1.000 1.000 1.000 99.9 DISK15 102F 0001 8.7 37.7 37.5 ... 1.000 1.000 1.000 99.5 DISK16 1030 0001 4.0 17.3 10.4 ... 0.998 0.997 1.000 60.4 DISK17 100A 0000 2.4 10.5 2.4 ... 1.000 0.999 1.000 23.4 DISK18 100B 0000 1.4 5.8 1.7 ... 0.999 0.997 1.000 28.9

Relatório da atividade do disk-cache

O relatório aponta alta taxa de “hit rate”, mas...


Motivo 1: os caches

Os acessos físicos continuam existindo.

Relatório da atividade dos discos físicos

D I R E C T A C C E S S D E V I C E A C T I V I T Y SYSTEM ID EMP1 START 02/25/2008-08.59.57 INTERVAL 008.00.03 RPT VERSION V1R2 RMF END 02/25/2008-17.00.01 CYCLE 1.000 SECONDS - DEVICE AVG AVG AVG AVG AVG AVG AVG % DEV DEVICE VOLUME PAV LCU ACTIVITY RESP IOSQ CMR DB PEND DISC CONN DEV NUM TYPE SERIAL RATE TIME TIME DLY DLY TIME TIME TIME CONN 1021 33903 DISK01 3 0007 22.500 1.7 0.0 0.0 0.0 0.4 0.0 1.3 0.97 1022 33903 DISK02 3 0007 1.482 2.2 0.0 0.0 0.0 0.5 0.1 1.6 0.08 1023 33903 DISK03 3 0007 3.239 3.5 0.0 0.0 0.0 0.3 0.1 3.1 0.33 1024 33903 DISK04 3 0007 1.464 2.5 0.0 0.0 0.0 0.6 0.3 1.6 0.08 1025 33903 DISK05 3 0007 1.909 1.9 0.0 0.0 0.0 0.5 0.2 1.1 0.07 1026 33903 DISK06 3 0007 1.267 3.3 0.0 0.0 0.0 0.6 0.3 2.4 0.10 1027 33903 DISK07 3 0007 3.011 5.6 0.0 0.0 0.0 0.4 0.1 5.2 0.52 1028 33903 DISK08 3 0007 10.815 3.1 0.0 0.0 0.0 0.4 0.1 2.6 0.95 1029 33903 DISK09 3 0007 4.348 1.7 0.1 0.0 0.0 0.6 0.1 1.0 0.14 102A 33903 DISK10 3 0007 12.289 2.2 0.0 0.0 0.0 0.5 0.0 1.7 0.70 102B 33903 DISK11 3 0007 6.190 6.2 0.0 0.0 0.0 0.6 0.2 5.4 1.12 102C 33903 DISK12 3 0007 2.221 1.5 0.0 0.0 0.0 0.4 0.2 0.9 0.06 102D 33903 DISK13 4 0007 24.488 8.6 0.0 0.0 0.0 0.4 0.0 8.2 5.01 102E 33903 DISK14 3 0007 72.919 3.6 0.0 0.0 0.0 0.3 0.0 3.2 7.82 102F 33903 DISK15 3 0007 33.044 3.6 0.0 0.0 0.0 0.3 0.0 3.2 3.57 1030 33903 DISK16 3 0007 17.384 2.1 0.0 0.0 0.0 0.4 0.0 1.7 0.98 100A 33903 DISK17 3 0007 10.160 2.0 0.1 0.0 0.0 0.7 0.0 1.1 0.38 100B 33903 DISK18 3 0007 5.840 1.6 0.0 0.0 0.0 0.4 0.0 1.2 0.22 LCU 0007 337.960 3.1 0.0 0.0 0.0 0.4 0.1 2.7 0.39


Motivo 1: os caches

Mito: nos discos atuais, tudo está em cacheVerdade: a probabilidade do dado ser localizado em cache é dada pela tabela abaixo.

modelocapacidade máx. de

armazenamento (TB)

capacidade máx. do cache (GB)

relação cache/storage (%)

IBM Shark F-20 1,2 16 1,3%IBM DS-8300 Turbo 9,1 128 1,4%Fujitsu Et3000 M-600 7,8 24 0,3%Fujitsu Et3000 M-1100 11,4 48 0,4%EMC DMX-3 52,6 128 0,2%EMC DMX-4 52,6 128 0,2%Hitachi USP-600 148,0 128 0,1%Hitachi USP-1100 332,0 256 0,1%

Fontes:IBM e Fujitsu: benchmarks SPCEMC e Hitachi: fichas técnicas dos fabricantes


Motivo 2: discos X CPU

Hennessy e Patterson, 2007

O desempenho dos discos é menor que o da CPUPor isso, os métodos de modificação de lógicas não apresentam os

mesmos resultados do passado.


Motivo 3: throughput dos discos

disk speed (RPM)

latency (ms)

seek time (ms)

transfer time (ms)

total random access

time (ms)

I/Os per second per

disk (= 1/ total random access

time)

Throughput given 8 KB i/O (MB / s)

Throughput given 64 KB i/O (MB / s)

7.200 4,2 9,0 1,0 14,2 71 0,56 4,52

10.000 3,0 4,9 1,0 8,9 112 0,90 7,19

15.000 2,0 3,8 1,0 6,8 147 1,18 9,41

Fontes: 1- IBM REDP4285 Linux Performance p.85 2- Hennessy&Patterson, 2003 p.745 3- Anderson, 2003 (ref.:Barracuda IV, Cheetah 73 LP)

Capacidade de IOPS em discos de 15.000 RPM.

Os números surpreendem


Motivo 3: throughput dos discos

Fonte: Anderson, 2003(ref.:Barracuda III, Cheetah 18 LP)

QuickTime™ and aTIFF (Uncompressed) decompressor

are needed to see this picture.

PS = Personal StorageES = Enterprise Storage

O throughput cai quando o gabinete vibra


Motivo 4: benchmark dos discos

Fonte: SPC, 2002

Os benchmarks são pouco explorados.


Motivo 4: benchmark dos discos

Os benchmarks podem dar base aos trabalhos de acompanhamento de performance.


Motivo 5: benchmark de transações

O tempo de transação foi reduzido a partir da análise dos acessos a discos.


Teste final

Qual o tempo de processamento de 1 milhão de registros?

É o tempo de acesso de 1 milhão de registros.


ConclusãoO grau de tecnologia de um setor é inversamente

proporcional à quantidade de participantes.

Os conceitos de SOA podem ajudar da implantação um setor especializado na tecnologia de armazenamento de dados


Antonio Cesar Sartoratto Dias - MSc. Unicamp

Prof. Dr. Marcius Fabius Henriques de Carvalho - CTI Cenpra

Obrigado

os benefícios do armazenamento de dados como componente soa por antonio cesar sartoratto dias

Documents