Download - Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado
![Page 1: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/1.jpg)
Aplicando técnicas de OLAP para gerência de grades OurGrid
Abmar Grangeiro BarrosEstágio Integrado
![Page 2: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/2.jpg)
Agenda
• Ambiente e supervisão• Contexto• Resumo do problema• Atividades• Resultados• Considerações finais
![Page 3: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/3.jpg)
Ambiente de Estágio
• LSD• Supervisão acadêmica– Prof.ª Dr.ª Raquel V. Lopes
• Supervisão técnica– Rodrigo Vilar de Miranda
![Page 4: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/4.jpg)
Contexto
• Uso de grades computacionais na pesquisa científica
• Dificuldade de gerenciá-las:– Distribuição– Alta heterogeneidade– Complexidade
• Dados históricos podem ajudar nas atividades gerenciais
![Page 5: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/5.jpg)
Contexto
• Caso de Uso: OurGrid– Middleware de grades computacionais
desenvolvido no LSD.– Possui um sistema hierárquico de coleta de
estatísticas.– Já existe uma ferramenta de análise de dados
históricos: OurGrid Statistics.
![Page 6: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/6.jpg)
Contexto
![Page 7: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/7.jpg)
Contexto
![Page 8: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/8.jpg)
Resumo do problema
• O OurGrid Statistics não escalou.– A principal tabela do BD central ultrapassou os
8 Mi de registros.– O Statistics não conseguia gerar mais nenhum
gráfico.• As consultas do Statistics foram escolhidas de
forma ad-hoc.– Quais as consultas que otimizam a atividade
gerencial?
![Page 9: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/9.jpg)
Objetivos
• Fazer um levantamento bibliográfico sobre como é feita gerência em outras grades.
• Estudar estratégias de OLAP que viabilizem as consultas a serem realizadas.
• Implementar as consultas escolhidas usando as técnicas estudadas.
![Page 10: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/10.jpg)
Atividades
• Gerência– Revisão bibliográfica, estudo de middlewares– Questionário com gerentes de grade no LSD– Escolha do conjunto de consultas
• OLAP– Revisão bibliográfica– Escolha da ferramenta
• Implementação e implantação da solução• Documentação
![Page 11: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/11.jpg)
Resultados
• Gerência– Conceito: monitorar e controlar os componentes
da grade para garantir um certo nível de QoS.– Middlewares de grade devem fornecer
ferramentas para prover informações gerenciais:• gLite• Condor• OurGrid
![Page 12: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/12.jpg)
gLite
![Page 13: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/13.jpg)
gLite
![Page 14: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/14.jpg)
Condor
![Page 15: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/15.jpg)
Condor
![Page 16: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/16.jpg)
OurGrid
![Page 17: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/17.jpg)
OurGrid
![Page 18: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/18.jpg)
Questionário
• Amostra: Integrantes do LSD que desempenham atividades gerenciais.
• Objetivo: Extrair suas principais necessidades quanto à informação de gerência.
![Page 19: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/19.jpg)
Questionário
• Quais as atividades relacionadas a gerência de grids que você desempenha?
• Quais ferramentas você utiliza pra realizar essas atividades?
• Que tipo de informação histórica (última semana, durante o dia) seria útil para suas atividades de gerência?
![Page 20: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/20.jpg)
Resultados
• A pesquisa sobre os middlewares e o questionário revelaram que:– A principal informação buscada é disponibilidade
dos componentes.– Seguida de relatório de falhas e tempo de
execução de tarefas.
![Page 21: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/21.jpg)
Resultados
• Consultas a implementar:– Média da quantidade de Peers online.– Média da quantidade de Workers em cada estado,
ao longo do tempo e por site.– Razão da disponibilidade média por site.– Quantidade de jobs submetidos, com sucesso e
com falha.– Tempo médio de execução de tarefa.
![Page 22: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/22.jpg)
Resultados
• OLAP– Online Analytical Processing.– Trabalha com dados em massa.– Operações são geralmente read-only.– Deve responder rápido o suficiente para permitir
uma exploração interativa dos dados.
![Page 23: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/23.jpg)
Análise multidimensional
Year 2000 2001 Growth
Product Dollar sales
Unit sales
Dollar sales
Unit sales
Dollar sales
Unit sales
Total $7,073 2,693 $7,636 3,008 8% 12%
— Books $2,753 824 $3,331 966 21% 17%
—— Fiction $1,341 424 $1,202 380 -10% -10%
—— Non-fiction $1,412 400 $2,129 586 51% 47%
— Magazines $2,753 824 $2,426 766 -12% -7%
— Greetings cards $1,567 1,045 $1,879 1,276 20% 22%
![Page 24: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/24.jpg)
Análise multidimensional
• Dimensões (Dimensions)– Formam as colunas e linhas– Ex.: Year e Product– Hierarquia de dimensões (Ex.: Books, Magazines)
• Medidas (Measures)– Formam os valores– Ex.: Dollar sales e Unit sales
![Page 25: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/25.jpg)
Agregações
• Para consultas complexas, cubos OLAP conseguem responder em 0,1% do tempo da mesma consulta em OLTP.
• O mais importante mecanismo em OLAP é a agregação.
![Page 26: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/26.jpg)
Agregações
• Agregações são construídas a partir das tabelas de fatos:– As granularidades de dimensões específicas são
alteradas.– Os valores são agregados sobre essas dimensões.
• A combinação de todas as possíveis agregações contém as respostas pra qualquer consulta, diretamente dos dados.
![Page 27: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/27.jpg)
Agregações
• Assim, um número muito grande de agregações deve ser computado, o que é computacionalmente inviável.
• Normalmente uma parte das agregações são pré-calculadas, outras são calculadas por demanda.
• O problema de decidir quais agregações pré-calcular é conhecido como view-selection.
![Page 28: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/28.jpg)
View-selection
• O objetivo do view-selection é minimizar o tempo médio de resposta das consultas.
• View-selection é NP-completo.• Abordagens já exploradas:– Algoritmos gulosos– Busca aleatória (Randomized search)– Algoritmos genéticos– Busca A*
![Page 29: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/29.jpg)
Ferramentas
• Comerciais– Microsoft Analysis Services– Oracle Essbase– IBM Cognos TM1
• Open-Source– Mondrian OLAP Server– Jedox Palo
![Page 30: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/30.jpg)
Implementação
• As tabelas do esquema original não se encaixavam com a definição de tabelas de fatos.
• Foi necessário o desenvolvimento de pré-processadores.
![Page 31: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/31.jpg)
Implementação
• Decisão: menor grão de tempo apresentado deve ser a hora.– Assim os pré-processadores acumulam valores de
uma em uma hora.– O número de registros da tabela pré-processada
chega a ser 90% menor que o da tabela original.– Granularidade continua sendo a mesma usada no
Statistics.
![Page 32: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/32.jpg)
Implantação
• Mondrian roda dentro de um container WEB Apache Tomcat.
• Funciona como servidor OLAP para consultas MDX.
• Fornece um framework de exibição de tabelas pivô, tabelas específicas para operações OLAP.
![Page 33: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/33.jpg)
Implantação
• Arquivos XML descrevem os esquemas dos cubos.
![Page 34: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/34.jpg)
Implantação
• Páginas JSP criam as consultas em MDX e desenham o pivô.
![Page 35: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/35.jpg)
Implantação
![Page 36: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/36.jpg)
Implantação
• olap.ourgrid.org– Servidor OLAP rodando com dados reais e atuais
da comunidade OurGrid.– Tem implementadas, inicialmente, as consultas
elaboradas durante o Estágio.
![Page 37: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/37.jpg)
Considerações Finais
• Diferença de desempenho considerável com o uso de técnicas de OLAP.
• É necessário fazer testes de usabilidade junto à ferramenta.– Avaliar quanto a ferramenta ajuda de fato nas
atividades gerenciais.
![Page 38: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/38.jpg)
Considerações Finais
• Trabalhos futuros– Expandir o conjunto de consultas trabalhado
nesse Estágio.– Adaptar ferramentas existentes para o uso com o
servidor OLAP, como o Statistics.
![Page 39: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/39.jpg)
Lições aprendidas
• Foi possível por em prática alguns tópicos importantes do curso:– Banco de dados– Sistemas distribuídos
• É importante seguir um cronograma e fazer uma documentação contínua das atividades.
![Page 40: Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado](https://reader036.vdocuments.com.br/reader036/viewer/2022062307/552fc150497959413d8e33db/html5/thumbnails/40.jpg)
Obrigado!