projeto de elasticidade e evolução do projeto fibre

FIBRE - Projeto de Elasticidade eEvolução do Plano de Dados daInfraestrutura de Experimentaçãodo FIBRE

Fernando Farias - UFPAMarcos Schwarz - RNP

Campinas, Novembro 2016

Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões

2

Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões

3

Motivação

• FIBREéhojeumdosprincipaisTestbedsemtecnologiaderedesdisponívelnaaméricalatina.

4

Motivação

• ParaoFIBRE2.0essaevoluçãovemsendoumadasprioridades,comoobjetivodevenceraslimitaçõesobservadasnoprojetoinicial.

5

Motivação

• Utilizarvirtualizaçãoparapermitiromaiornúmerodeexperimentospossíveis.

• Evoluirainfraestruturaenãodependerdesoftwaresdeterceiroparahabilitarexperimentos.

• Atualmente,oFIBREutilizao FlowVisorparapermitiravirtualizaçãodainfraestrutura.

• Noentanto,oFlowVisor apresentaosériedeproblemasemseudesenvolvimento

6

Motivação

7

LimitaçõesdoModelo:● Performance

Limitada● Nãopossui suporte

anovasfuncionalidades

● SoftwareDescontinuado

● NãopossuisucessorparaversõesdoOpenFlow1.0

Motivação• Diminuiroscustoscomequipamentoeaumentaraflexibilidadenaevoluçãoeadoçãodenovascaracterísticas

• Avaliarautilizaçãodoschamadoswhitebox,equipamentosaberto,semsoftwaresedecustosreduzidos.

• Alémdisso,avaliartambémaatualizaçãodeframeworksdeparaaceleraçãooplanodedados:

• Intel’sDataPlaneDevelopmentKit(DPDK)• Aceleraçãodoprocessamentodepacotes• Utilizaçãodenucleosparaprocessamentodepacotes

8

Motivação

9

• Adaptar novas novas opções de protocolos ao experimentador:

• Suporte a Openflow 1.3• Switches em Containers • Topologias Virtuais • Alocação de Recurso• Monitoramento• Etc...

Agenda• Motivação• Objetivos• Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões

10

Objetivo

11

• O objetivo original do projeto era criar uma nova forma de virtualização independente da utilização do flowvisor:

• Utilizar Whitebox para criar datapaths virtual sob-demanda.

• Usar DPDK para aperfeiçoar e acelerar o processamento de pacotes

• Gerenciar o OpenVSwitch para criar instâncias virtuais do datapath e oferecê-las ao experimentador

• Viabilizar o uso do OpenFlow 1.3 em experimentos

Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões

12

SoluçãoInicial

13

• A solução adotada muda a visão de slice criado pelo flowvisor.

• Também remove a camada central responsável por gerenciar e controlar os slices criados

• Nesta solução adotamos a ideia elasticidade para switches, ou seja, habilita-se switches lógicos sob-demanda de acordo com a necessidade do experimentador

• Neste switch lógico é possível habilitar qualquer versão do OpenFlow, tanto individual quanto simultâneos

SoluçãoInicial

14

FIBRE 1.0 (Atual) FIBRE 2.0

SoluçãoInicial

15

• Prototipo 1.0

Equipamentos

16

• Server U L800

Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embedded c/ suporte AES-NI

Chipset: Intel® "Rangeley", suporte a virtualização VT-x;

Memória: 1x 8GB DDR3 on 240P DIMM socket (expansível até 16GB em 2x240P DDR3 DIMM)

Interfaces de Rede: 6x Intel Gigabit, sendo 2xIntel i210AT e 4xIntel 88E1543 (igb(4), netmap ready)

Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads

E/S Físico: Pad de 4 teclas & Display LCM de 2 linhas (scriptáveis sim!)

Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc, 72Vdc

Consumo: 40W

Equipamentos

17

• Supermicro 5018A -TN7B

Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embedded c/ suporte AES-NI

Chipset: Intel® "Rangeley", suporte a virtualização VT-x;

Memória: 4x 240-pin DDR3 UDIMM slots Supports up to 64GB DDR3 ECC or non-ECC memory

Interfaces de Rede: Quad GbE LAN w/ Intel C2000 SoC i354 - 2 pairs LAN bypass, Single GbE LAN w/ Intel i210-AT,Dual GbE LAN w/ Intel Ethernet controller i350-AM2 - 1 pair LAN bypass

Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads

E/S Físico: -

Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc, 72Vdc

Consumo: 200W Low Noise AC-DC power supply with PFC

Resultadosparciais

18

• Protótipo 1.0• Avaliação:

• Testar a performance do encaminhamento entre portas utilizando openflow 1.0

• Ambiente:• Hardware: ServerU Netmap L-800• Software: Ubuntu 16.04, DPDK 2.2.0, OVS 2.5.0• Gerador de Tráfego: JSDU SMARTCLASS ETHERNET

• Metricas:• Latencia • Throughput• Perda de pacote

Resultadosparciais

19

• Protótipo 1.0

Resultadosparciais

20

• Protótipo 1.0

Resultadosparciais

21

• Protótipo 1.0

Resultadosparciais

22

• Protótipo 1.0

Resultadosparciais

24

• Por outro lado, o gráfico da latência permitiu observar a quantidade necessária de processadores para se manter um limite estável da latência, que ficou nos valores entre 3000 a 4000 us (microsegundos).

• Por fim, no gráfico da perda de pacote, observou que a quantidade de processadores utilizada na afinidade influência na perda de pacote, ou seja, a quantidade processadores não pode ser o valor mínimo (1 Core) e nem o valor máximo (8 Cores).

• Sendo o valor mínimo o mais problemático

Resultadosparciais

23

• No Throughput observa-se que para pacote de 64 bytes de payload. Há uma limitação no processamento

• Porém para pacote maiores que 64 bytes, a solução consegue transmitir a line rate.

• No entanto, o comportamento da latência se mostra preocupante, pois dependendo da quantidade de processadores usados na afinidade (Processador <-> Interface de rede), quase atinge o threshold de 10 ms.

Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões

25

Tunning

26

• Durante os testes do protótipo 1.0 observou-se que quando se cria a afinidade (processador <> interface) no DPDK o processador, ele não fica totalmente a interface DPDK.

• Observou que isso influenciou o desempenho do OpenVSwitch.

Tunning

27

Tunning

28

Tunning

29

Tunning

30

Tunning

31

Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões

32

SoluçãoRevisada

33

• Protótipo 2.0• Avaliação:

• Testar a performance do encaminhamento entre portas utilizando openflow 1.0

• Ambiente:• Hardware: ServerU Netmap L-800• Software: Ubuntu 16.10, DPDK 16.07, OVS 2.6.0• Gerador de Tráfego: JSDU SMARTCLASS ETHERNET

• Metricas:• Latencia • Throughput• Perda de pacote

SoluçãoRevisada

34

• Protótipo 2.0

SoluçãoRevisada

35

• Protótipo 2.0

SoluçãoRevisada

36

• Protótipo 2.0

SoluçãoRevisada

37

• Protótipo 2.0• Case 1

SoluçãoRevisada

38

• Protótipo 2.0• Case 1

OpenFlow 1.0 OpenFlow 1.3

SoluçãoRevisada

39

• Protótipo 2.0• Case 1

OpenFlow 1.0 OpenFlow 1.3

SoluçãoRevisada

40

• Protótipo 2.0• Case 1

OpenFlow 1.0 OpenFlow 1.3

SoluçãoRevisada

41

• Protótipo 2.0• Case 2

SoluçãoRevisada

42

• Protótipo 2.0• Case 2

SoluçãoRevisada

43

• Protótipo 2.0• Case 2

SoluçãoRevisada

44

• Protótipo 2.0• Case 2

SoluçãoRevisada

45

• Protótipo 2.0• Case 3

SoluçãoRevisada

46

• Protótipo 2.0• Case 3

SoluçãoRevisada

47

• Protótipo 2.0• Case 3

SoluçãoRevisada

48

• Protótipo 2.0• Case 3

SoluçãodeTransição

• AssoluçõesapresentadasdependemdodesenvolvimentodenovosAggregateManagersparaseremintegradasaoFIBRE2.0.

• ParaviabilizarousodoequipamentoWhiteboxnoFIBREatual(1.0)baseadoemOCF,asprimeirasunidadessendoentreguesàsilhasforamconfiguradascomapenasumabridgecomOF1.0.

• MaspoderãoserestendidasparaassoluçõesapresentadasacimaparatestesouquandooFIBRE2.0estiveremoperação.

Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Conclusões e Trabalhos Futuros

50

Conclusões

• Otrabalhofoirealizadoem6mesesutilizandodoistiposdeHardwares

•ServerUL800•Supermicro5018A-TN7B

•OsmelhoresresultadosdedesempenhoforamobservadosnoL800.FicoupendentevalidarseotunningnoSuperMicroteráosmesmosresultados.•ApartirdoTunningutilizadoowhiteboxtemumdesempenhoparecidocomodoSwitchPronto.•Alatênciamelhoroubastante,masaindaestamosembuscadenovosvalores.

TrabalhosFuturos

•Avaliardesempenhocomportas10G•AnalisaraplicabilidadenaFIBREnet•ReplicarsoluçãoemwhiteboxBroadcom

•Ex:Pica8Pronto3295/3297comPicOS(4portas)•ExplorarnovasfeaturesdoOVSquandodisponíveis

•Meters,QinQnativo…•Homologarnovosequipamentos

•Maiordensidadedeportas•Suporteanovastécnologias(HyperThreads,VT-d,Hugepages1G)

•ValidarsoluçãonoCentOSquepossuimaisopçõesdetunning,ex:perfilnetwork-latency

TrabalhosFuturosFabricante SuperMicro Nexcom Lanner Lanner

Modelo 5018D-FN8T NSA 5160 NCA-4010A NCA-5510A

Chipset Xeon® Brodwell D-1500 Family

Xeon® Brodwell D-1500 Family

Xeon® Brodwell D-1500 Family

Xeon® Broadwell E5-2600 v4

Cores 4 6 8 18

Threads 8 12 16 36

HyperThreads Sim Sim Sim Sim

1G HugePages Sim Sim Sim Sim

VT-d Sim Sim Sim Sim

Interfaces de Rede

6x 1GbE RJ452x 10GE SFP+1x PCIe 3.0 x8 slot:- Up to 4x1GE- Up to 2x10GE- Up to 2x40GE

8x 1GbE RJ452x Expansion slot:- Up to 16x 1GE- Up to 8x 10GE

16x 1GbE RJ452x 10GbE SFP+1x Expansion slot:- Up to 8x1GE- Up to 4x10GE- Up to 2x40GE

4x Expansion slots:- Up to 32x1GE- Up to 16x10GE- Up to 8x40GE

Price $761.35 $1,758.00 $1,560.00*

Thank you / ObrigadoFernando Farias (UFPA)Marcos Schwarz (RNP)

www.facebook.com/fibre.project

www.fibre.org.br