instituto de engenharia de sistemas e computadores investigação e desenvolvimento em lisboa...

1

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

L2 F - Spoken Language Systems Laboratory

Grid@inesc-id

João LealTiago Luís

Orientador: David Matos

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

2L2 F - Spoken Language Systems Laboratory

Indice

– O que é uma Grid• Exemplo de computação em Grid

– Condor• Constituição do Condor• Como usar o Condor• Resultados obtidos

– Globus• Interacção Globus / Condor

– Trabalho Realizado

– No Futuro

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

3L2 F - Spoken Language Systems Laboratory

O que é uma Grid?

– A computação em Grid é uma forma de computação distribuída que permite a partilha e coordenação de recursos para a resolução de problemas complexos, seja porque são de grande escala ou porque envolvem o processamento intensivo de dados

– A tecnologia associada a uma Grid permite, assim, que organizações geograficamente dispersas partilhem recursos computacionais, de armazenamento, ou mesmo aplicações

– Apesar de ter dado grandes passos no passado recente, a partilha de recursos em larga escala ainda não é uma realidade em muitas áreas

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

4L2 F - Spoken Language Systems Laboratory

Exemplo de computação em Grid

– O projecto SETI@home é um exemplo de um projecto de computação em Grid que utiliza a infra-estrutura BOINC (Berkeley Open Infrastructure for Network Computing)

– Milhares de computadores pessoais em todo o mundo, analisam continuamente dados do radiotelescópio de Arecibo em busca de transmissões que evidenciem inteligência extraterrestre

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

5L2 F - Spoken Language Systems Laboratory

Condor

– Permite o desenvolvimento, implementação e avaliação de mecanismos e políticas que suportam High Throughput Computing em ambientes distribuídos.

– High Throughput Computing consiste em gerir e explorar de forma eficiente todos os recursos computacionais disponíveis, sendo o seu maior desafio maximizar o número de recursos computacionais acessíveis

– Aproveita os recursos computacionais que não estão a ser utilizados e dá-lhes uso, de uma forma transparente para o utilizador

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

6L2 F - Spoken Language Systems Laboratory

Constituição do Condor

Central Manager

Execute Only Execute Only Execute Only Execute Only

Submit Only

Execute and Submit

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

7L2 F - Spoken Language Systems Laboratory

Como usar o Condor?

– Preparar o programa de modo a que as entradas e saídas sejam interactivas

– Escolher o universo– Standard– Vanilla – Grid

– Criar o ficheiro de submissão

– Submeter o trabalho

• /opt/condor/bin/condor_submit fib.condor Submitting job(s).

Logging submit event(s).

1 job(s) submitted to cluster 170.

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

8L2 F - Spoken Language Systems Laboratory

Ficheiro de submissão

– Código: https://www.l2f.inesc-id.pt/~tmcl/apresentacao/fib.c

– Ficheiro de Submissão: fib.condor

Executable = fib

Universe = vanilla

Transfer_files = ALWAYS

Output = fib.out.$(CLUSTER)-$(PROCESS)

Error = fib.err.$(CLUSTER)-$(PROCESS)

Log = fib.log

Requirements = (Arch == "INTEL" || Arch == "x86_64")

Queue

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

9L2 F - Spoken Language Systems Laboratory

Gestão do trabalho

– Verificação do estado do trabalho• /opt/condor/bin/condor_q ID OWNER SUBMITTED RUN_TIME ST PRI SIZE CMD

170.0 tmcl 5/19 17:20 0+00:00:00 R 0 0.0 fib

1 jobs; 0 idle, 1 running, 0 held

– Verificação do estado da Pool• /opt/condor/bin/condor_status Name OpSys Arch State Activity LoadAv Mem ActvtyTime

vm1@wc01.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 0+00:45:09

vm2@wc01.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 1+20:05:25

vm1@wc02.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 0+00:50:09

. . .

vm2@wc16.l2f. LINUX X86_64 Unclaimed Idle 0.000 1632 1+20:04:54

Total Owner Claimed Unclaimed Matched Preempting Backfill

INTEL/LINUX 21 0 0 21 0 0 0

X86_64/LINUX 7 0 0 7 0 0 0

Total 28 0 0 28 0 0 0

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

10L2 F - Spoken Language Systems Laboratory

Grid@l2f

– Página: https://grid.l2f.inesc-id.pt/

– Constituída por:

16 máquinas:• wc’s

• Anubis

• Ronin

• Alex

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

11L2 F - Spoken Language Systems Laboratory

Grid@inesc-id

– Página: http://grid.inesc-id.pt/

– Constituída por:

22 máquinas:• 3.2 MHz P4

• mem = 1GB

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

12L2 F - Spoken Language Systems Laboratory

– Processamento do jornal Público

• cada trabalho submetido na Grid consistia na análise de uma parcela de dados do jornal

– Ficheiro de Submissão

Executable = /afs/l2f.inesc-id.pt/home/david/public/tmp/cetempublico1.plUniverse = vanillaOutput = cetempublico1-palavroso-marv.out.$(CLUSTER)-$(PROCESS)Error = cetempublico1-palavroso-marv.err.$(CLUSTER)-$(PROCESS)Transfer_files = ALWAYSLog = cetempublico1.log Requirements = (Arch == "INTEL" || Arch == "x86_64")Queue

Resultados obtidos na Grid@l2f

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

13L2 F - Spoken Language Systems Laboratory

– Edição de Vídeo

• cada trabalho submetido na Grid era responsável por uma parcela do vídeo• o algoritmo fazia poucos acessos ao disco, consistindo principalmente em cálculo• o trabalho que era feito em 34 dias demorou 2 dias na Grid

– Ficheiro de Submissão

Executable = /home/u00150/work/vitra/sim_vitra_launch.shUniverse = vanillaInput = fib.in.$(PROCESS)Output = fib.out.$(CLUSTER).$(PROCESS)Error = fib.err.$(CLUSTER).$(PROCESS)Log = fib.$(CLUSTER).logNotification = ErrorQueue

Resultados obtidos na Grid@inesc-id

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

14L2 F - Spoken Language Systems Laboratory

Globus

– Fornece a tecnologia para construir uma Grid, que permite a partilha de poder computacional e informação, de forma segura, com múltiplas instituições sem comprometer a autonomia local

– Inclui software para:• segurança (administração de certificados, autenticação e autorização)

• monitorização, gestão e descoberta de informação (GridFTP e RFT)

• gestão dos recursos (GRAM)

• detecção de faltas

• suporta interacção via web services e o seu deploy (implementação em C, Java e Python)

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

15L2 F - Spoken Language Systems Laboratory

Interacção Globus / Condor

HeadNode

(Globus)

ExecuteNode

Firew

all

SubmitNode

Internet

QueueJob 1Job 2

…

Batch System

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

16L2 F - Spoken Language Systems Laboratory

Trabalho Realizado

- Perceber a arquitectura do Globus Toolkit e a construção de Web Services

- Instalação e configuração do Globus Toolkit 4.0.1

- Instalação e configuração do Condor no L2F

https://grid.l2f.inescid.pt/wiki/index.php/Introduction_to_the_Globus_Toolkit_4

https://grid.l2f.inesc-id.pt/wiki/index.php/Globus_Toolkit_4

https://grid.l2f.inesc-id.pt/wiki/index.php/Grid%40L%C2%B2F

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

17L2 F - Spoken Language Systems Laboratory

No Futuro

- Extender a arquitectura do Galinha para incluir uma interface para Grid Services, de modo a que os componentes e dados possam ser geograficamente distribuídos

- Para tal é necessário um conjunto de protocolos middleware, como os fornecidos pelo Globus

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

18L2 F - Spoken Language Systems Laboratory

Fim

Don’t ask “what can the Grid do for

me?" ask “what can I do with a Grid?”

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

19L2 F - Spoken Language Systems Laboratory

technologyfrom seed

L2 F - Spoken Language Systems Laboratory