computação em grade um proposta de arquitetura para protocolos entre grades

Computação em Computação em GradeGrade

Um proposta de Um proposta de Arquitetura Arquitetura para para protocolo protocoloss entre grades. entre grades.

2

Um pouco de História.Um pouco de História.

Em 50 anos de inovações, a Em 50 anos de inovações, a velocidade dos computadores cresceu velocidade dos computadores cresceu em torno e um milhão de vezes, mas em torno e um milhão de vezes, mas mesmo assim ainda são lentos para mesmo assim ainda são lentos para poder resolver muitos problemas poder resolver muitos problemas científicos.científicos.

3

Um pouco de históriaUm pouco de história► Para se conseguir resolver problemas Para se conseguir resolver problemas

complicados eram necessários super complicados eram necessários super computadores, que custavam rios de dinheiro.computadores, que custavam rios de dinheiro.

► A evolução do hardware chegou a tal ponto A evolução do hardware chegou a tal ponto que um computador pessoal tem mais que um computador pessoal tem mais capacidade computacional que alguns capacidade computacional que alguns supercomputadores.supercomputadores.

► Com o advento da Internet, o acesso a dados Com o advento da Internet, o acesso a dados e computadores ficou muito mais fácil.e computadores ficou muito mais fácil.

4

Um pouco de história.Um pouco de história.►No começo da década de 80, a idéia No começo da década de 80, a idéia

de clusters de computadores foi de clusters de computadores foi desenvolvida. desenvolvida.

►A um custo muito menor, poderia se A um custo muito menor, poderia se ter o poder de um supercomputador.ter o poder de um supercomputador.

►Apesar do custo, toda a infra-estrutura Apesar do custo, toda a infra-estrutura necessária para se montar um cluster necessária para se montar um cluster grande é cara.grande é cara.

5

O que é computação em O que é computação em Grade?Grade?

► Por todo o mundo, muitos recursos Por todo o mundo, muitos recursos computacionais são desperdiçados.computacionais são desperdiçados.

► Enquanto uma pessoa deixa seu Enquanto uma pessoa deixa seu computador ligado e vai pegar um computador ligado e vai pegar um café, milhares de ciclos de CPU que café, milhares de ciclos de CPU que poderiam estar sendo usados são poderiam estar sendo usados são perdidos.perdidos.

6

O que é computação em O que é computação em Grade?Grade?

►Computação em Grade é compartilhar Computação em Grade é compartilhar recursos computacionais com outros recursos computacionais com outros usuários.usuários.

►O recursos compartilhados não se O recursos compartilhados não se resumem a ciclos de CPU, podem ser resumem a ciclos de CPU, podem ser recursos de armazenagem, utilização recursos de armazenagem, utilização de sensores e recursos de redede sensores e recursos de rede

7

Para que Computação em Para que Computação em Grade?Grade?

►Existe realmente um problema Existe realmente um problema específico para grades, que faça ser específico para grades, que faça ser necessária a existência de uma necessária a existência de uma tecnologia de grades?tecnologia de grades?

►O problema existe, é a coordenação de O problema existe, é a coordenação de compartilhamento de recursos e solução compartilhamento de recursos e solução de problemas de organizações virtuais.de problemas de organizações virtuais.

8

O que é uma organização O que é uma organização virtual?virtual?

►Chamamos de Organização Virtual Chamamos de Organização Virtual quando temos participantes que quando temos participantes que desejam compartilhar recursos para desejam compartilhar recursos para poder concluir uma tarefa. Além disso, poder concluir uma tarefa. Além disso, o compartilhamento esta além de o compartilhamento esta além de apenas troca de documentos, isto apenas troca de documentos, isto pode envolver acesso direto a pode envolver acesso direto a software remoto, computadores, software remoto, computadores, dados, sensores e outros recursos.dados, sensores e outros recursos.

9

Descrição da Arquitetura de Descrição da Arquitetura de GradesGrades

► O objetivo na definição dessa O objetivo na definição dessa arquitetura não é definir todos os arquitetura não é definir todos os protocolos, serviços e APIs requeridos, protocolos, serviços e APIs requeridos, mas ao contrário identificar requisitos mas ao contrário identificar requisitos para classes genéricas de para classes genéricas de componentes.componentes.

►A arquitetura foi divida nas seguintes A arquitetura foi divida nas seguintes camadas: camadas: BaseBase, Conectividade, , Conectividade, Recursos, Coletiva e de Aplicações.Recursos, Coletiva e de Aplicações.

10

As camadasAs camadas

11

BaseBase►É a interface para controle local dos É a interface para controle local dos

recursos.recursos.►Os componentes da Os componentes da camada Base camada Base

implementam localmente, operações implementam localmente, operações especificas de cada recurso, seja físico especificas de cada recurso, seja físico ou lógicoou lógico..

►Existe então uma interdependência forte Existe então uma interdependência forte entre as funções implementadas no entre as funções implementadas no nível da nível da camada Basecamada Base e as operações de e as operações de compartilhamento suportadas.compartilhamento suportadas.

12

BaseBase

►Funcionalidades mais ricas da Funcionalidades mais ricas da camada camada Base Base habilitam operações de habilitam operações de compartilhamento mais sofisticadas. compartilhamento mais sofisticadas.

►se exigirmos menos dos elementos da se exigirmos menos dos elementos da camda Basecamda Base, a distribuição da infra-, a distribuição da infra-estrutura da Grade será simplificada.estrutura da Grade será simplificada.

13

ConectividadeConectividade► Esta camada define o núcleo dos protocolos Esta camada define o núcleo dos protocolos

necessário de comunicação e autenticação necessário de comunicação e autenticação para transações pela rede, específicas para para transações pela rede, específicas para a Gradea Grade..

► Protocolos de comunicação habilitam a troca Protocolos de comunicação habilitam a troca de dados entre recursos da camada de dados entre recursos da camada BaseBase. .

► Protocolos de autenticação são construídos Protocolos de autenticação são construídos sobre os serviços de comunicação para sobre os serviços de comunicação para poder prover mecanismos criptografados e poder prover mecanismos criptografados e seguros para verificar se identidade de seguros para verificar se identidade de usuários e recursos.usuários e recursos.

14

Conectividade: AutenticaçãoConectividade: Autenticação►Login único.Login único.►Delegação.Delegação.► Integração com soluções de segurança Integração com soluções de segurança

local: A segurança da Grade deve ser local: A segurança da Grade deve ser capaz de agir em conjunto as varias capaz de agir em conjunto as varias soluções locaissoluções locais comocomo Kerberos ou o Kerberos ou o sistema Unix.sistema Unix.

►Relação de confiança baseada no usuário : Relação de confiança baseada no usuário : se um usuário tem acesso a um sítio A e se um usuário tem acesso a um sítio A e um B, deve poder acessar os 2 ao mesmo um B, deve poder acessar os 2 ao mesmo tempo.tempo.

15

RecursosRecursos►Define protocolos (APIs e SDKs) para Define protocolos (APIs e SDKs) para

negociação, monitoramento, controle, negociação, monitoramento, controle, pagamento de operações pagamento de operações compartilhadas em recursos individuais compartilhadas em recursos individuais de forma segura.de forma segura.

►As implementações da camada de As implementações da camada de Recurso desses protocolos chamam as Recurso desses protocolos chamam as funções da camada funções da camada Base Base para acessar para acessar e controlar recursos locaise controlar recursos locais..

16

RecursosRecursos► Protocolos de informação são usados para Protocolos de informação são usados para

obter informação sobre a estrutura e o obter informação sobre a estrutura e o estado dos recursos compartilhados. ex: estado dos recursos compartilhados. ex: configuração, carga atual e políticas de uso, configuração, carga atual e políticas de uso, como custo.como custo.

► Protocolos de gerenciamento são usados Protocolos de gerenciamento são usados para negociar acesso a recursos para negociar acesso a recursos compartilhados. Ex: requisitos de recurso e compartilhados. Ex: requisitos de recurso e as operações a serem feitas, como criação as operações a serem feitas, como criação de processos ou acesso a dados. de processos ou acesso a dados.

17

ColetivaColetiva►Camada associada com recursos Camada associada com recursos

globais e captura interações entre globais e captura interações entre coleções de recursos. coleções de recursos.

►Por essa razão tem esse nome.Por essa razão tem esse nome. ► Implementa uma ampla variedade de Implementa uma ampla variedade de

comportamentos de compartilhamento comportamentos de compartilhamento sem colocar novos requisitos nos sem colocar novos requisitos nos recursos sendo compartilhados.recursos sendo compartilhados.

18

ColetivaColetiva►Serviço de Diretório - permite as Serviço de Diretório - permite as

usuários pesquisar por recursos pelo usuários pesquisar por recursos pelo nome ou atributos como tipo, nome ou atributos como tipo, disponibilidade ou carga. disponibilidade ou carga.

►Alocação Conjunta e Agendamento Alocação Conjunta e Agendamento ►Serviços de Monitoração e Diagnóstico Serviços de Monitoração e Diagnóstico ►Serviços de Replicação de Dados Serviços de Replicação de Dados

19

ColetivaColetiva►Sistema de programação para Grades (MPI Sistema de programação para Grades (MPI

para grades).para grades).►Sistemas de gerenciamento de Carga de Sistemas de gerenciamento de Carga de

Trabalho e Arcabouços de colaboração.Trabalho e Arcabouços de colaboração.►Serviços de Descobrimento de Software.Serviços de Descobrimento de Software.►Serviços de autorização de comunidade.Serviços de autorização de comunidade.►Serviço de Colaboração.Serviço de Colaboração.

20

ColetivaColetiva►As Funções da camada Coletiva As Funções da camada Coletiva

podem ser implementadas como um podem ser implementadas como um serviço persistente, com protocolos serviço persistente, com protocolos associados ou como SDKs com APIs associados ou como SDKs com APIs associadas projetadas para serem associadas projetadas para serem linkadas com aplicações. Em ambos os linkadas com aplicações. Em ambos os casos, sua implementação pode ser casos, sua implementação pode ser sobre a camada de Recursos. sobre a camada de Recursos.

21

AplicaçõesAplicações

22

Relação com outras Relação com outras tecnologiastecnologias

►WWWWWW A variedade da tecnologia da Web faz com A variedade da tecnologia da Web faz com

seja um ambiente atrativo para a seja um ambiente atrativo para a construção sistemas e aplicações.construção sistemas e aplicações.

faltam a eles características necessárias faltam a eles características necessárias para ocorrer um modelo mais rico de para ocorrer um modelo mais rico de iteração iteração

Os navegadores atuais normalmente Os navegadores atuais normalmente utilizam TLS para fazer autenticação, mas utilizam TLS para fazer autenticação, mas não suportam login único e delegação não suportam login único e delegação

23

Relação com outras Relação com outras tecnologiastecnologias

►Sistemas de computação distribuídaSistemas de computação distribuída CORBA, Java Beans, J2EE e DCOM.CORBA, Java Beans, J2EE e DCOM. A forma principal de interação é do tipo A forma principal de interação é do tipo

cliente-servidor, e não de uso coordenado de cliente-servidor, e não de uso coordenado de recursos múltiplos.recursos múltiplos.

Tornam mais fácil compartilhar recursos com Tornam mais fácil compartilhar recursos com uma única organização. uma única organização.

No entanto, esses mecanismos não resolvem No entanto, esses mecanismos não resolvem os requisitos específicos listados os requisitos específicos listados anteriormente.anteriormente.

24

Relação com outras Relação com outras tecnologiastecnologias

►Sistemas de computação distribuídaSistemas de computação distribuída As tecnologias de desenvolvimento de As tecnologias de desenvolvimento de

aplicações distribuídas teriam que ser aplicações distribuídas teriam que ser adaptadas aos requisitos da Grade. adaptadas aos requisitos da Grade.

Uma opção seria construir um serviço de Uma opção seria construir um serviço de Nomes que utiliza o serviço de informação Nomes que utiliza o serviço de informação da Grade para procurar fontes distribuídas da Grade para procurar fontes distribuídas de informação através de grandes de informação através de grandes organizações virtuais.organizações virtuais.

25

Relação com outras Relação com outras tecnologiastecnologias

► Internet e Computação Ponto a PontoInternet e Computação Ponto a Ponto Emule (Edonkey), Kazaa, Gnutella Emule (Edonkey), Kazaa, Gnutella

compartilham arquivos.compartilham arquivos. SETI@home e ProteinFolding@Home SETI@home e ProteinFolding@Home

compartilham ciclos de cpu.compartilham ciclos de cpu. Não inter-operam entre si.Não inter-operam entre si. Compartilham arquivos, por exemplo, mas Compartilham arquivos, por exemplo, mas

sem nenhum controle de acessosem nenhum controle de acesso

26

Relação com outras Relação com outras tecnologiastecnologias

► Internet e Computação Ponto a PontoInternet e Computação Ponto a Ponto Com a evolução dessas aplicações elas Com a evolução dessas aplicações elas

acabaram por inter-operar e haverá uma acabaram por inter-operar e haverá uma convergência de interesses entre convergência de interesses entre computação ponto a ponto, Internet e computação ponto a ponto, Internet e computação em Grade.computação em Grade.

27

Outras Perspectivas sobre Outras Perspectivas sobre GradesGrades

►““Computação em Grade é próxima Computação em Grade é próxima geração da Internet” – são protocolos geração da Internet” – são protocolos adicionais que são construídos sobre a adicionais que são construídos sobre a tecnologia da Internet. Qualquer tecnologia da Internet. Qualquer recurso que esteja na Grade, também recurso que esteja na Grade, também está na Rede.está na Rede.

28

Outras Perspectivas sobre Outras Perspectivas sobre GradesGrades

►““A Grade é uma fonte de ciclos grátis” A Grade é uma fonte de ciclos grátis” – computação em Grade é controle de – computação em Grade é controle de compartilhamento. Os donos dos compartilhamento. Os donos dos recursos terão políticas de restrição ao recursos terão políticas de restrição ao acesso a eles, dependendo do usuário.acesso a eles, dependendo do usuário.

29

Outras Perspectivas sobre Outras Perspectivas sobre GradesGrades

►““A Grade torna super computadores A Grade torna super computadores desnecessários” – muitos problemas desnecessários” – muitos problemas precisam de super computadores para precisam de super computadores para serem resolvidos, com baixa latência e serem resolvidos, com baixa latência e comunicação rápida. Com a grade o comunicação rápida. Com a grade o acesso a esses supercomputadores acesso a esses supercomputadores fica muito mais fácil, fazendo com que fica muito mais fácil, fazendo com que aumente a demanda por eles aumente a demanda por eles aumente.aumente.

30

GlobusGlobus►O projeto do Kit de Ferramentas Globus O projeto do Kit de Ferramentas Globus

tem código fonte aberto.tem código fonte aberto.► Incluem serviços e bibliotecas para Incluem serviços e bibliotecas para

monitoração, descobrimento e monitoração, descobrimento e gerenciamento de recursos, tal como gerenciamento de recursos, tal como segurança e gerenciamento de arquivos. segurança e gerenciamento de arquivos.

►As ferramentas são o centro dos As ferramentas são o centro dos projetos científicos e de engenharia que projetos científicos e de engenharia que somam aproximadamente meio bilhão somam aproximadamente meio bilhão de dólares por todo o mundo.de dólares por todo o mundo.

31

GlobusGlobus►A pesquisa é o centro do projeto Globus.A pesquisa é o centro do projeto Globus.►Os ramos de pesquisa atual são: Os ramos de pesquisa atual são:

Gerenciamento de Recursos, Gerenciamento de Recursos, Gerenciamento e Acesso a Dados, Gerenciamento e Acesso a Dados, Ambientes de Desenvolvimento de Ambientes de Desenvolvimento de Aplicações, Serviços de Informação e Aplicações, Serviços de Informação e Segurança.Segurança.

►Não tem uma versão pra Windows ainda Não tem uma versão pra Windows ainda

32

NetSolveNetSolve►Sistema de cliente servidor que Sistema de cliente servidor que

habilita usuários a resolver problemas habilita usuários a resolver problemas científicos complexos remotamente.científicos complexos remotamente.

►Permite que usuários acessem tanto Permite que usuários acessem tanto hardware quanto recursos de software hardware quanto recursos de software distribuídos pela rede.distribuídos pela rede.

33

NetSolveNetSolve►Alguns dos objetivos do projeto são:Alguns dos objetivos do projeto são:

facilidade de usarfacilidade de usar uso eficiente dos recursosuso eficiente dos recursos habilidade de integrar componentes de habilidade de integrar componentes de

software arbitrários como recursos no software arbitrários como recursos no sistema.sistema.

►Condor – atualmente o NetSolve Condor – atualmente o NetSolve consegue acessar os conjuntos Condor consegue acessar os conjuntos Condor como um conjunto computacional. como um conjunto computacional.

34

NetSolveNetSolve►Globus – é usado pelo NetSolve, utiliza Globus – é usado pelo NetSolve, utiliza

serviços para detectar servidores com serviços para detectar servidores com problemas. problemas.

►Esta sua fase de teste o novo cliente Esta sua fase de teste o novo cliente NetSolve que implementa um Proxy NetSolve que implementa um Proxy que permite o cliente utilizar a infra-que permite o cliente utilizar a infra-estrutura da grade Globus disponível.estrutura da grade Globus disponível.

35

CondorCondor►Não exatamente voltado para grades, Não exatamente voltado para grades,

mas sim para clusters.mas sim para clusters.►O objetivo é desenvolver, distribuir e O objetivo é desenvolver, distribuir e

avaliar mecanismos e políticas para avaliar mecanismos e políticas para suporte a Computação de Alta suporte a Computação de Alta Disponibilidade em grandes coleções Disponibilidade em grandes coleções de recursos computacionais de recursos computacionais distribuídos.distribuídos.

36

CondorCondor►Para utilizar-se um software no Para utilizar-se um software no

sistema não precisa ser recompilado.sistema não precisa ser recompilado.►Se um software é linkado com a Se um software é linkado com a

biblioteca Condor, poderá fazer biblioteca Condor, poderá fazer checkpoints.checkpoints.

►Permite a quase qualquer aplicação Permite a quase qualquer aplicação que rode sem interação do usuário ser que rode sem interação do usuário ser gerenciado. gerenciado.

37

Condor - GCondor - G►Permite acesso transparente a grades Permite acesso transparente a grades

do sistema Globus de forma do sistema Globus de forma transparente.transparente.

►É uma parte do gerenciador de tarefas É uma parte do gerenciador de tarefas do Condor.do Condor.

►Os usuários do sistema CONDOR têm Os usuários do sistema CONDOR têm então uma janela para a Grade. então uma janela para a Grade.

38

ConclusãoConclusão► Já existem muitos sistemas de Grade.Já existem muitos sistemas de Grade.►Mas estão tentando se comunicar de Mas estão tentando se comunicar de

uma forma ou de outra.uma forma ou de outra.►Uma versão do Globus para Windows Uma versão do Globus para Windows

esta em desenvolvimento.esta em desenvolvimento.►Com isso acontecerá uma maior Com isso acontecerá uma maior

popularização das Grades.popularização das Grades.

39

LinksLinks►Site oficial do projeto Globus : Site oficial do projeto Globus :

www.globus.org/www.globus.org/►Site oficial do projeto NetSolve: Site oficial do projeto NetSolve:

icl.cs.utk.edu/netsolve/icl.cs.utk.edu/netsolve/►Site oficial do projeto Condor: Site oficial do projeto Condor:

www.cs.wisc.edu/condor/www.cs.wisc.edu/condor/

40

PerguntasPerguntas►??

41

AplausosAplausos►Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap,

Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap, Clap.Clap, Clap, Clap, Clap, Clap, Clap, Clap.