343o [modo de compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2....

16
SISTEMAS DISTRIBUIDOS Prof. Marcelo de Sá Barbosa

Upload: others

Post on 23-Mar-2021

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Prof. Marcelo de Sá Barbosa

Page 2: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

1. Introdução a supercomputação

2. Visão geral de Mainframe

3. Cluster de computadores

4. Cluster Beowulf – considerações de projeto

5. Cluster x Grid

6. Computação paralela – programação paralela

7. Gerenciamento de um cluster

Page 3: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Introdução a Supercomputação

Supercomputing

Page 4: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Supercomputador é um computador com altíssima velocidade de

processamento e grande capacidade de memória.Tem aplicação em

áreas de pesquisa onde grande quantidade de processamento se faz

necessária, como pesquisas militares, científica, química, medicina.

Supercomputadores são usados para cálculos muito complexos e

tarefas intensivas, como problemas envolvendo física quântica,

mecânica, meteorologia, pesquisas de clima, modelagem molecular

(computação nas estruturas e propriedades de compostos químicos,

macromoléculas biológicas, polímeros e cristais) e simulações físicas,

como simulação de aviões em túneis de vento, simulação da

detonação de armas nucleares e investigação sobre a fusão nuclear.

Os primeiros supercomputadores foram criados na década de 1960

por Seymour Cray. Seymour Cray fundou sua própria empresa, a

Cray Research, em 1970 e dominou o mercado da supercomputação

durante 25 anos (1965-1990).

Page 5: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Na década de 70 a Universidade de Illinois montou em conjunto com

a Burroughs Corporation o ILLIAC IV, um supercomputador que

ficou famoso pelas dimensões.

A ficção científica abordou o tema num romance chamado

"Colossus".

Hoje os supercomputadores são fabricados por empresas como NEC,

SUN, IBM, HP, Apple, e etc. A lista atualizada dos 500 sistemas

computacionais mais poderosos conhecidos pode ser obtida em

top500.org.

Page 6: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Page 7: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

As principais características dos supercomputadores são:

Velocidade de processamento: trilhões de operações de ponto

flutuante por segundo (TFlops). Conforme a lista Top500 de

jun/2010, percebe-se que as empresas fabricantes de

(super)computadores tendem a chamar seus próprios produtos de

supercomputador (supercomputer) aqueles com processamento

superior a 80 TFlops (68º posição até a 1º), e de servidor (server)

aqueles com processamento entre 25 e 80 TFlops (500º posição até a

67º);

Tamanho: requerem instalações e sistemas de refrigeração especiais;

Dificuldade de uso: escolhido por especialistas;

Clientes usuais: grandes centros de pesquisa;

Penetração social: praticamente zero;

Page 8: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Impacto social: muito importante no espaço da investigação, a

partir do momento em que fornece cálculos em alta velocidade,

permitindo, por exemplo, analisar a ordem do genoma, o número pi,

números complexos, o desenvolvimento de cálculos para problemas

físicos que requerem uma baixíssima margem de erro, etc.

Parques instalados: menos de mil em qualquer lugar no mundo;

Custo: atualmente (2010) até centenas de milhões de dólares cada

(~ US$ 225MM o Cray XT5);

Page 9: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

TIPOS DE SUPERCOMPUTADORES

Processadores vetoriais paralelos (PVP)

Sistemas compostos de poucos processadores poderosos. A

interconexão é feita, em geral, por uma matriz de chaveamento

(crossbar) de alta vazão. A memória é compartilhada, e os

sistemas podem ser classificados como multiprocessadores

UMA. Normalmente não utilizam memória cache, usando para

essa função um grande número de registradores vetoriais e um

buffer de instrução. Exemplos: Cray C-90 (máximo de 16

processadores), Cray T-90 (máximo de 32 processadores), Fujitsu

VPP 700 (máximo de 256 processadores). O NEC Sx-6 também é

um PVP, e o Earth Simulator, que é um NEC Sx-6, é o número 1

na lista das 500 máquinas mais poderosas do mundo, possuindo

5120 processadores.

Page 10: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

TIPOS DE SUPERCOMPUTADORES

Multiprocessadores simétricos (SMP)

Os Symmetric Multiprocessors são sistemas constituídos de

processadores comerciais conectados a uma memória

compartilhada, podendo também ser classificados como

multiprocessadores UMA. Utilizam-se amplamente de memória

cache e todos os processadores têm igual acesso ao barramento e

à memória compartilhada. São mais fáceis de programar que

máquinas que se comunicam por troca de mensagens, já que a

forma de programação se aproxima daquela feita em sistemas

convencionais, mas tem como desvantagem o uso de um

barramento de interconexão (permitindo apenas uma transação

por vez).

Page 11: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Multiprocessadores simétricos (SMP)

Esta limitação pode reduzir a escalabilidade desta classe de

sistemas, fazendo com que sistemas comerciais estejam, geralmente,

limitados a 64 processadores. Exemplos: IBM R50 (máximo de 8

processadores), SGI Power Challenge (máximo de 36

processadores), SUN Ultra Enterprise 10000 (máximo de 64

processadores) e HP/Convex Exemplar X-Class (máximo de 32 nós

de 16 processadores cada).

Page 12: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

TIPOS DE SUPERCOMPUTADORES

Máquinas maciçamente paralelas (MPP)

Os MPPs (Massively Parallel Processors) são multicomputadores

NORMA construídos com milhares de processadores comerciais

conectados por uma rede de alta velocidade. O alto desempenho é

obtido com o grande número de processadores. O fato de haver

troca de mensagens torna a programação mais difícil que nos

casos em que a memória é compartilhada. Exemplos: Intel

Paragon (máximo de 4000 processadores), Connection Machine

CM-5 (máximo de 2048 processadores), IBM SP2 (máximo de

512 processadores) e Cray T3D (máximo de 2048

processadores).

Page 13: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

TIPOS DE SUPERCOMPUTADORES

Máquinas com memória compartilhada distribuída (DSM)

Nos sistemas DSM (Distributed Shared Memory), mesmo com a

memória sendo distribuída entre os nós, todos os processadores

podem acessar todas as memórias. O espaço de endereçamento

único, o compartilhamento de dados e o controle de coerência de

cache são conseguidos com software. Podem ser sistemas NUMA

com memória entrelaçada distribuída, ou sistemas NORMA (com

memórias locais), onde as memórias podem ser ligadas através de

adaptadores de rede (AR) a uma rede de interconexão específica,

que permite o acesso a memórias remotas. A máquina, nos dois

casos, é considerada CC-NUMA ou SC-NUMA dependendo da

implementação da coerência de cache. Exemplo: SGI Origin

(máximo de 512 processadores).

Page 14: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

TIPOS DE SUPERCOMPUTADORES

Máquinas com memória compartilhada distribuída (DSM)

Nos sistemas DSM (Distributed Shared Memory), mesmo com a

memória sendo distribuída entre os nós, todos os processadores

podem acessar todas as memórias. O espaço de endereçamento

único, o compartilhamento de dados e o controle de coerência de

cache são conseguidos com software. Podem ser sistemas NUMA

com memória entrelaçada distribuída, ou sistemas NORMA (com

memórias locais), onde as memórias podem ser ligadas através de

adaptadores de rede (AR) a uma rede de interconexão específica,

que permite o acesso a memórias remotas. A máquina, nos dois

casos, é considerada CC-NUMA ou SC-NUMA dependendo da

implementação da coerência de cache. Exemplo: SGI Origin

(máximo de 512 processadores).

Page 15: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

TIPOS DE SUPERCOMPUTADORES

Redes de estações de trabalho (NOW)

As redes de estações de trabalho (NOW – Network of

Workstations) são constituídas de várias estações de trabalho

interligadas por alguma tecnologia tradicional de rede, como

Ethernet e ATM. Na prática são redes locais utilizadas na

execução de aplicações paralelas. Podem ser vistas como

máquinas NORMA de baixo custo, ou sem custo algum caso a

rede já exista, ou seja, esta é uma solução significativamente

mais barata em relação aos MPPs. A desvantagem clara que se vê

em uma rede de estações de trabalho é o fato de que as redes

tradicionais costumam ser usadas apenas em tarefas menores

(para compartilhar arquivos e acessar impressoras remotas, por

exemplo), e geralmente não são otimizadas para operações de

comunicação de uma aplicação paralela.

Page 16: 343o [Modo de Compatibilidade])walderson.com/site/wp-content/uploads/2014/02/03... · 2014. 2. 24. · Introdução a supercomputação 2. Visão geral de Mainframe 3. ... cache e

SISTEMAS DISTRIBUIDOS

Redes de estações de trabalho (NOW)

O resultado é uma alta latência nessas operações, o que

compromete o desempenho da máquina como um todo. São usadas

principalmente em instituições de ensino para o estudo de

processamento paralelo e distribuído. Exemplo: Estações de

trabalho interligadas por tecnologia Ethernet.