ourgrid o grid livre rodrigo vilar [email protected]
TRANSCRIPT
Roteiro• Introdução• Grades computacionais P2P• Segurança• O OurGrid
Introdução
• e-Ciência– A tecnologia da informação está mudando a
forma de se fazer pesquisa científica• Viabilizando a colaboração• Atuando como importante ferramenta na
investigação– Como resultado, ter acesso a uma
infraestrutura de computação de alto desempenho é crucial para executar pesquisa em diversas áreas
Introdução
• Aplicações Bag-of-Tasks– Cada job é composto por centenas, milhares,
ou mesmo milhões de tarefas• Tarefas são independentes• Tempo de execução de tarefas relativamente
curto (dezenas de minutos)• Podem ser tanto CPU-intensive quanto data-
intensive
Exemplos de uso• Simulações (Monte Carlo)• Cálculo de fractais• Bio-informática• Física experimental (HEP, fusion, etc)• Processamento de imagens, incluindo
renderização• Processamento de grandes massas de
dados, incluindo mineração de dados
e muitas outras …
Como executar essas aplicações de forma rápida e
barata?• Clusters• Grades computacionais• Computação voluntária• Computação na nuvem• Grades computacionais P2P
Worldwide LHC Computing Grid
• Cooperação na área de física de altas energias– 170 centros de computação em 34 países
7
http://gridview.cern.ch/GRIDVIEW/
BOINC
Grades entre-pares (peer-to-peer)• Cada laboratório corresponde a um peer no
sistema e contribui com seus recursos ociososUtilização da CPU pelo lab 1
1tempo
Utilização da cpu pelo lab2
1tempo
Utilização da CPU pelo grid p2p
1
tempo
Grades Entre-Pares• Peers juntam-se à grade por vontade própria
– Grade aberta para provedores e consumidores de recursos
• Custos de implantação e manutenção são compartilhados
• Middleware simples• Isso torna a solução acessível para a maior
parte dos usuários• Um grid livre!!!
Segurança
• Mas ...– O fato de não termos confiança entre os
pares trás implicações em relação à segurança da grade
• Proteção contra aplicações não confiáveis• Proteção contra recursos não confiáveis
– Possibilidade de pares “caloteiros” (free riders)
O OurGrid
• Middleware para dar suporte a grades computacionais entre-pares
• Desenvolvido pela UFCG (LSD/DSC) com financiamento da HP Brasil P&D (lei de Informática)
• Distribuído sob licença LGPL• Atualmente usado em várias grades
computacionais em produção
Princípios de design do OurGrid• Os laboratórios podem, gratuitamente, juntar-se ao sistema
sem negociação humana– Não há necessidade de reunião e papelada a ser preenchida
• Incentivo claro para juntar-se ao sistema– Ninguém se prejudica ao juntar-se ao sistema– Resistente a free riders
• Propriedades básicas– Oferece um nível mínimo de segurança– É tolerante a falhas – Escalável
• Fácil de instalar, configurar e programar– Não há necessidade de um corpo técnico de suporte muito especializado
Arquitetura do OurGrid
Segurança no OurGrid
• Como proteger os recursos locais das aplicações remotas?
• Como proteger as aplicações locais dos recursos remotos?
• Portfólio de mecanismos–Não existe a “bala de prata”
Portifólio de Segurança• Autenticação e priorização
– Criptografia assimétrica– Sub-comunidades
• Isolamento da execução e autorização– Tecnologia de máquinas virtuais– Políticas definidas pelos provedores de
recursos• Tolerância à sabotagem de aplicações
– Dependente da aplicação– Independente da aplicação (caro)
Um exemplo:Rendering usando o OurGrid
job:label: my_rendering_example
requirements: (os=linux)task:init: store render render
put frame1 frame1remote: $STORAGE/render < frame1 > output-$JOB-$TASKfinal: get output-$JOB-$TASK output-frame1task:init: store render render
put frame2 frame2remote: $STORAGE/render < frame2 > output-$JOB-$TASKfinal: get output-$JOB-$TASK output-frame2…
Estado Atual do OurGrid• OurGrid dá suporte à comunidade OurGrid
– Uma grade de entrada aberta que está em produção desde dezembro de 2004
– http://status.ourgrid.org/• ShareGrid
– Projeto colaborativo coordenado pelo TOPIX (TOrino Piemonte Internet eXchange) na Itália
– http://dcs.di.unipmn.it/• EELA-2
– Projeto financiado pela CE que visa a implantação de uma grade computacional envolvendo várias instituições na América Latina e na Europa
• Nosso papel nesse projeto é fazer o OurGrid interoperar com o gLite (middleware usado pela grade do CERN)
• O OurGrid é distribuído como open source (LGPL) e a versão 4.2.1 está disponível em http://www.ourgrid.org/– Contribuições são muito bem-vindas!
Conclusões• Nós desenvolvemos o software necessário para manter
uma grade computacional entre-pares aberta para dar suporte a aplicações BoT que está ajudando pessoas com a realizarem suas pesquisas de forma mais rápida e efetiva
• Nosso próximo passo é massificar o uso da tecnologia– A Comunidade OurGrid é um dos principais vetores
dessa massificação• Usuários reais são primordiais para a condução de
pesquisa adequada na área de sistemas computacionais• Prover tecnologia que é de fato usada por aplicações e
usuários reais é muito gratificante!
Obrigado pela atenção!Perguntas?
• Um bom lugar para começar a conhecer mais sobre o OurGrid é:
– Labs of the world, unite!!! W. Cirne, F. Brasileiro, N. Andrade, L. Costa, A. Andrade, R. Novaes, M. Mowbray. Journal of Grid Computing 4 (3) (2006) 225-246.
E visitem http://www.ourgrid.org/!