revisão geral cg 07/08. introdução plataformas de processamento paralelo e distribuído clusters...

Revisão geral

CG 07/08

Introdução

Plataformas de processamento paralelo e distribuído

Clusters Gerenciadores de recursos

NQESGECondor

Definições de grid

Condor

Escalonamento oportunista Matchmaking Classads Arquitetura e processo principais Comandos principais Checkpointing DAGMan Master-worker Flocking

gLite Aspectos administrativos de

desenvolvimento do middleware Arquitetura: serviços Job workflow Segurança

AutenticaçãoAutorizaçãoProxiesOrganizações virtuais (VO e VOMS)

gLite

Sistema de informaçãoR-gma

AccountingApelDgas

Storage elements Gestão de jobs

EGEE

Overview do projetoObjetivosAplicaçõesProjetos relacionadosSustentabilidade

Arquitetura de grids e Globus

Desafios History and Evolution of Grid Introduction to Grid Architecture Key Components - Resource infrastructure Services in the Web and the Grid Technology: Globus

Arquitetura de grids e Globus

Modelo da ampulheta (hourglass model)AplicaçõesCollective servicesCoreFabric

Arquitetura de grids e Globus

Web services Grid services OGSA/OGSI Globus

Serviços limitações

Application Description Languages

Script-like Workflow-based Xml-based

Languages

DAGMan VDL GXML AGWL XPWSL GEL GRID-ADL

gLite Autenticação e autorização Chaves públicas e privadas Certificados Formas de criptografia Segurança no gLite

X.509 PKI Organizações virtuais IGTF Certificate authorities e registration authorities CRLs CNs e DNs Renovação de certificado Login to the grid, delegation

Grid Systems and Scheduling Taxonomia (segundo Foster):

Computacionais Data grids Service grids

Taxonomia de aplicações Distributed supercomputing

High-Throughput Computing

On-Demand Computing

Data-Intensive Computing

Collaborative Computing

Grid Systems and Scheduling (cont.)

Alternative classification: IndependentLoosely-coupledTightly-coupled

Application managementPartitioningMappingallocation

Grid Systems and Scheduling (cont.)

Particionamento e aglomeração de grafos de aplicação

Heurísticas de particionamento:Graph collapsingDominant edgeMachine cutzeroing

Grid Systems and Scheduling (cont.)

Survey de estratégias de escalonamentoKwok & AhmadCasavant & KhulList scheduling family

Dominance sequence clustering (DSC)Kumar & Biswas

MinimaxZomaya et al.: Muliple queues with duplicationReinforcement learning

Grid Systems and Scheduling (cont.)

Resource managementWhen to transferWhich taskWhich node

Sender-initiated Receiver-initiated Simmetrically-initiated

When to collect info

Scheduling mechanisms for grids(according to Berman and reviewed by Kayser)

Application Job Resource Meta-scheduler

Scheduling mechanisms for grids

Legion Globus MyGrid/OurGrid GrADS EasyGrid Nimrod/G AppLeS GRAnD/AppMan

Grid Systems and Scheduling (cont.)

Grid operating systems

gLite: WMS & DMS

Workload Management systemFeaturesAPI

Data Management SystemFeaturesAPI