introdução ao data warehouse

Data WarehouseGestão da Informação

Andersen AnaniasMessias Batista

Agenda

1. O que é Data Warehouse?

2. Contexto histórico

3. Vantagens do Data Warehouse

4. Funcionamento do DW

5. Estudo de Caso

6. Considerações Finais

O QUE É DATA WAREHOUSE?De onde vem essa bixiga?

1

“Banco de dados baseado em assuntos, integrado, não volátil e variável em relação ao tempo que é usado principalmente no processo de tomada de decisões.

DILL, Sergio apud INMON (1997).

“Cópia dos dados especialmente estruturados para facilitar o processo de análise, consulta e geração de relatórios.

DILL, Sergio apud KIMBALL (1998).

“

Ambiente estruturado e extensível projetado para o trabalho de análise de dados não voláteis, lógica e fisicamente transformados oriundos de diferentes fontes e alinhados com os objetivos estratégicos da empresa.

DILL, Sergio apud GUPTA (1997).

CONTEXTO HISTÓRICODeixe de onda, e me conte essa asneira.

2

Hello!Como se “toma” decisão?O processo de tomada decisão mais acertado depende diretamente da informação recebida, do ponto de vista da sua qualidade, precisão, entre outros.

Olá, sou 1960!

A informação gerada para tomada de decisão é individual!

Existiam aplicação individuais executadas sobre arquivos

mestres.

Arquivos Mestres: proliferação e redundância

◦ Falta de credibilidade dos dados;

◦ Baixa produtividade;◦ Impossibilidade de

transformar dados em informação.

Hello!E como se resoulve-se isso?Neste ponto chegamos ao momento em que os SGBD’s nascem.

Olá, sou SGBD!

Sistemas Gerenciadores de Bancos de Dados

Integração dos dados em fonte única.

Sistemas de Apoio a Decisão

Sistemas de Apoio a Decisão

Ambiente de Processamento

Operacional

Ambiente Analítico

SEPARAÇÃO

Fluxo Histórico

Acesso direto a dados(1960~)

Surgimento dos SGBDs

Criação do Modelo

Relacional e Ling. SQL

“[Tudo isso culmina] na percepção do usuário que era possível utilizar dados para outros objetivos além das transações on-line.

DILL, Sergio (2002).

Vantagens do Data WarehouseSei bichin, diga mais.

3

Hello!Vantagens?Há uma série de vantagens na separação do ambiente operacional e do ambiente analítico. Vejamos quais são.

Problemas antes do Data Warehouse

Os usuários construíam suas próprias planilhas;◦ Falta de credibilidade dos dados, consequência da

extração;

◦ Baixa produtividade causa pela necessidade de analisar layouts de vários arquivos;

◦ Dificuldade de gerar informações a partir dos dados extraídos;

◦ Tempo destinado ao desenvolvimento de aplicativos de relatórios.

Implantação do Data Warehouse

Dados

PrimitivosDados

Derivados

Operações do dia-a-dia

Resultadodas Extrações

(Gerência)

Vantagens do Data Warehouse

◦Atualização constante;

◦Agilidade e facilidade de acesso à informação atraves de ferramentas;

◦Menor custo e menor indiciu de erros.

BIG CONCEPTData Warehouses são diferentes dos Bancos de Dados tradicionais, por estarem otimizados para recuperação de dados e serem suporte para sistemas de apoio a decisão.

Funcionamento DWEitxa gôta, agora vai!

4

Hello!Agora são dois conceitosA forma de organização da infraestrutura lógica e fisíca importam

“Os Data Warehouse oferecem acesso a dados para análise complexa, descoberta de conhecimento e tomada de decisões.

NAVATHE & ELSMARI (2011).

Funcionamento do Data Warehouse

◦ Alto desempenho sobre os dados e informações de uma organização;

◦ Suporte a aplicações OLAP (Processamento analítico on-line);

◦ Suporte a aplicações DSS (Sistemas de apoio a decisão);

◦ Mineração de Dados.

EXEMPLO

Estudo de CasoTem doido pra tudo...

5

Hello!ANVISAAgência Nacional de Vigilância Sanitária. Vinculada ao Ministério da Saúde e com trabalhos em parceria com o Ministério das Relações Exteriores.

Estudo de Caso: Anvisa

◦ Implantação realizada em meados de 2002;

◦ Avaliação do serviço de saúde foi a área piloto (complexidade e importância);

◦ Solução para apoiar o processo decisório da instituição;

◦ Fonte de dados são os sistemas transacionais que os atendem;

Estudo de Caso: Anvisa

◦ Os dados são associados pelo assunto;▫ Na Avaliação de Serviços de Saúde a

principal fonte de dados é o DATASUS;

◦ Dados armazenados em nível granularidade mais atômico possível;

◦ Modelagem multidimensional no formato estrela.

“

Para a infra-estrutura de DW, foramadquiridos equipamentos com grande área de disco para armazenar o volume de dados e com processadores paralelos para proporcionar melhores tempos de resposta.

BETHINI, (xxxx).

Estudo de Caso: AnvisaProblemas encontrados com os dados

◦ Diferença de unidades;◦ Diferenças de Precisão;◦ Diferenças de códigos ou

expressões;◦ Diferenças de granularidades;◦ Diferenças de abstrações.

“

Normalmente as ações de correção das anomalias encontradas não se deram automaticamente com uma rotina específica, até porque isto poderia ter sido feito já na própria base transacional. O que se procurou é solucionar as pendências caso a caso, tentando corrigir inclusive a base original.

BETHINI, (xxxx).

Estudo de Caso: AnvisaThe Data Warehouse Institute - Dificuldades

1. Começar o projeto com o tipo errado de patrocínio;

2. Gerar expectativas que não podem ser satisfeitas, frustrando os executivos quando da utilização do DW;

3. Dizer: “Isto vai ajudar os gerentes a tomar decisões melhores” e outras informações politicamente ingênuas;

4. Carregar o DW com informações só “porque estavam disponíveis”;

5. Falhar no objetivo de acrescentar valor ao dada por meio de mecanismos de desnormalização, categorização e navegação assistida;

Estudo de Caso: AnvisaThe Data Warehouse Institute - Dificuldades

6. Escolher um gerente que seja voltado para a tecnologia e não para o usuário;

7. Focalizar em dados tradicionais internos orientados a registro e ignorar o valor potencial de dados textuais, imagem, som, vídeo e dados externos;

8. Fornecer dados com definições confusas e sobrepostas;

9. Acreditar nas promessas de desempenho, capacidade e escalabilidade dos vendedores de produtos; e

10.Usar o DW como justificativa para modelagem de dados e uso de ferramentas case.

Considerações FinaisEnfim, cabou!

6

Bye!Considerações FinaisO Data Warehouse é um recurso muito importante no auxílio a decisão...

Considerações Finais

◦ Data Warehouse é fundamental para um sistema de apoio a decisão;

◦ A compreensão história deste desenvolvimento revela suas capacidades atuais;

◦ A atenção as limitações da sua função, bem como as suas fontes de dados são fundamentais;

◦ É importante que a solução seja pensada para o usuário.

Data Warehouse – a experiência da ANVISACamilo Mussi, Denis Murahovschi, Giliana Bettni, Luiz Gustavo Kratz

Bibliografia

Sistemas de Banco de DadosRamez Elmasri, Shamkant B. NavatheUma Metodologia para Data Warehouse e Estudo de CasoSergio Luis Dill

Messias R. Batista@mrafaelbatistamrafaelbatista@gmail.commrafaelbatista.com.br

Andersen Ananias@andersenpro

andersenpro@gmail.com

Questões https://goo.gl/sNLcE3

AcessoMessih_TPLink

#@gi2016