UNIVERSIDADE ESTADUAL DE CAMPINAS

INSTITUTO DE COMPUTAÇÃO

Prof. Dr. Luiz Fernando Bittencourt

Campinas, aos 30 de Junho de 2015

A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE

***FAT-TREE***

Aluno: Joaquim Domingos Mussandi

jdmussandy@gmail.com

TÓPICOS EM COMPUTAÇÃO DISTRIBUÍDA - MO809

Agenda

2

• Introdução

• Conceitos básicos

• Artigo

• Objetivo

• Análise

• Comentários finais

• Referências Bibliográficas

3

Aplicações importantes que cluster incluem classes:

• Computação científica

• Análise financeira

• Análise e armazenamento de dados

• Serviços de rede em grande escala

Muitas aplicações devem trocar informações com nós remotos

para prosseguir com sua computação local.

Introdução 1/2

4

Opções de alto nível para construção de clusters em larga escala:

• InfiniBand ou Myrinet

• Muito caras

• Não compativeis com aplicações TCP/IP

• Switches Ethernet e roteadores para conexão de máquinas em

cluster.

• Não modifica os aplicativos, sistema operacional e o Hardware

• Aumento da largura de banda não é lienar aos custos com o

tamanho do cluster

Introdução 2/2

5

Escalabilidade: manipular uma porção crescente de trabalho de

forma uniforme, ou estar preparado para crescer.

Cluters: conjunto de computadores, que utiliza um tipo especial

de sistema operacional.

Data center: ambiente projetado para abrigar servidores e

outros componentes.

Conceitos básicos – Clouters computers

6

Arquitetura: conjunto de camadas e protocolo de rede.

Topologia: canal no qual o meio de rede está conectado aos

computadores e outros componentes.

Conceitos básicos – Clouters computers

7

Projetar uma arquitetura de comunicação de data center que

atenda:

• Construir Largura de banda de interconexão Escalável:

• host arbitrário no data center comunica com host a largura de

banda total da sua interface da rede local.

• Economias de escala:

• Fazer barato Ethernet off-the-shelf

• Compatibilidade com versões anteriores:

• Ethernet

• TCP/IP

Objetivo

8

• Duas Camadas (Core e Edge) 5K a 8K hosts.

• Três Camadas (Core , Aggregation e Edge ): maior que 8K hosts

•Switches Edge: (48-288) Portas 10 GigE para conexão com a

camada superior.

•Switches Aggregation e core (32-128):porta de 10 GigE

Ambos tipos de switches permitem comunicar com os outros a

velocidade máxima da sua interface de rede.

Topologias de rede dos data center atual 1/2

9

Topologias de rede dos data center atual 2/2

10

Oversubscription

11

• Equal-Cost Multipath (ECMP)

•Realizar divisão da carga estática entre os fluxos.

Roateamento multi-caminho

12

Custo

13

•Extensões simples para o encaminhamento de IP para utilizar

efetivamente o alto fan-out disponível a partir de Fat-Tree.

•Empacotamento como técnica utilizada para melhorar essa

sobrecarga

Sumário

14

Clos Networks/Fat- Trees 1/2

K-ary Fat-Tree: topologia de três camadas (edge, aggregation and core)

• Cada pod contem 2 camadas de k/2 switches

• k-portas na cama borda liga k/2 hosts

• Cada switch core liga k pods - (k/2)2

• Cada switch de agregação liga k pods (k/2)

15

Topologia Fat- Trees 2/2

16

• Difusão de tráfego entre pods tira proveito da estrutura da

topologia.

• O uso da tabela de roteamento de dois níveis que se espalha o

tráfego de saída com base nos bits de ordem inferior do IP de

destino.

Motivação

17

- Formalizaram o endereçamento com as seguintes condições:

• Switch pod: 10.pod.switch.1

• Core Switch: 10.k.j.i.

• O endereço de um host: 10.pod.switch.ID

Endereçamento

18

Two-Level Routing table

19

Two-Level Lookup Implementation

20

Routing Algorithm

21

Duas técnica opcionais de roteamento dinâmico:

• Reconhecer os pacotes subsequentes do mesmo fluxo, e

encaminha-los na mesma porta de saída.

• Periodicamente volta a atribuir um número mínimo de fluxo

nas portas de saída para minimizar qualquer disparidade entre

a capacidade de fluxo agregado nas diferentes portas

Classificação do fluxo

22

• Edge Switches

Detecta os fluxo de saída cujo tamanho aumenta acima do limite

predefinido, e enviar periodicamente notificações para uma

escalonador central especificando a origem e o destino para todos

os grandes fluxos ativos.

• Escalonamento central

Replicado, rastreia todos os fluxos grande ativos e tenta atribuir-

lhes caminhos não-conflitantes se possível.

Escalonamento de Fluxo

23

• Lower-to upper-layer Switches:

• Tráfego inter e intra-pod

• Upper-layer to core switches

• Tráfego inter e intra-pod

Resiste as duas classes de falhas

Tolerância a falha

24

Energia e Dissipação de Calor

25

Implementação 1/3

Para validar a arquitetura de comunicação descrita, construíram:

• Protótipo simples dos algoritmos de encaminhamento

• Completaram o protótipo usando NetFPGAs que contém uma

implementação roteador IPv4 que aproveita TCAMs.

• Fizeram modificações em menos de 100 linhas de código adicional

• Não introduziu nenhuma latência

• Elementos clique pode realizar funcionalidade no roteador

complexo e protocolos em software.

26

• Criaram e um novo elemento Click de TwoLevelTable.

• Geraram uma versão de 4 portas análoga ao roteador IP com

modificação adicional

Implementação – TwoLevelTable 2/3

27

Implementação – Classificação do Fluxo 3/3

FlowClassifier é uma alternativa

para TwoLevelTable na difusão dotráfego.

28

Para medir a largura de banda total bisection Fat-Tree

• Geraram um pacote de benchmark

• Mapeamentos de comunicação

• 4 portas Fat-Tree

• Switch TwoLevelTable

• FlowClassifier

• FlowScheduler.

Comparam esses métodos com uma árvore hierárquica. Padrão

com 3.6: 1 oversubscription ratio

Avaliação

29

• 16 Hosts

• 20 Switches

• 10 máquinas físicas

• ProCurve 2900 Switch de 48 portas

• CPUs dual-core Intel Xeon a 2,33 GHz

• A largura de banda limitada a 96Mbit/s

Descrição do Experimento

• Cache de 4096KB

• 4 GB de RAM

• Debian GNU/Linux 2.6.17.3.

30

Resultados

31

Empacotamento

32

• Switches Myrinet empregam topologia Fat-Tree e têm sido

popular em cluster.

• InfiniBand também atinge largura de banda escalável usando

variantes de topologias de Clos.

•OSPF2 e ECMP têm técnicas de roteamento semelhantes

• Multi-caminho aproveita propriedades particulares da topologia

Fat-Tree para conseguir um bom desempenho.

• MPP processamento massivo e paralelo.

• Thinking Machine System

Trabalhos Relacionados

33

• Aproveita commodity switches Ethernet

• Fornece grande largura de banda escalável para clusters

• Apresentaram técnicas de roteamento compatíveis com versões

anteriores

• Custo significativamente baixo.

• Baixo consome de energia elétrica

• Alcança largura de banda bisection

Comentários finais 1/2

34

Comentários finais 2/2

•Melhor desempenho em grande escala

•Robustez

•Uma instância da arquitetura fat-Tree emprega 48 portas

Ethernet

• Fornecer largura de banda total de até 27.648 hosts

• Topologia mais amplamente utilizado em clusters.

35

Referências Bibliográficas

• M. Fares, et al. A Scalable, Commodity Data Center Network Architecture.

Agosto, 2008, Pg, 63 – 74

• A. Cleber et al. Equilibrando Energia, Redundância e Desempenho em Redes

de Centros de Dado, 2015, Pg.7 – 10.

• Mellanox Technologies. Deploying HPC Cluster with Mellanox InfiniBand

Interconnect Solutions. 2014.

36

Referências Bibliográficas

• TeleCorp-https://www.telecorp.com.br/glossario/data-center/ - Acessado

28/06/2015.

• Wikipédia - https://pt.wikipedia.org/wiki/Arquitetura_de_rede - Acessado 29/06/2015

• One Shot Design - http://fabiomontoro.blogspot.com.br/2013/02/topologia-de-rede-

tia-942-1.html Acessado 10/05/2015

• Wikipedia - https://pt.wikipedia.org/wiki/Topologia_de_rede - Acessado 28/06/2015

OBRIGADO !

UNIVERSIDADE ESTADUAL DE CAMPINAS

INSTITUTO DE COMPUTAÇÃO

Prof. Dr. Luiz Fernando Bittencourt

Campinas, aos 30 de Junho de 2015

A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE

***FAT-TREE***

Aluno: Joaquim Domingos Mussandi

jdmussandy@gmail.com

TÓPICOS EM COMPUTAÇÃO DISTRIBUÍDA - MO809