introdução ao data warehouse
TRANSCRIPT
Data WarehouseGestão da Informação
Andersen AnaniasMessias Batista
Agenda
1. O que é Data Warehouse?
2. Contexto histórico
3. Vantagens do Data Warehouse
4. Funcionamento do DW
5. Estudo de Caso
6. Considerações Finais
O QUE É DATA WAREHOUSE?De onde vem essa bixiga?
1
“Banco de dados baseado em assuntos, integrado, não volátil e variável em relação ao tempo que é usado principalmente no processo de tomada de decisões.
DILL, Sergio apud INMON (1997).
“Cópia dos dados especialmente estruturados para facilitar o processo de análise, consulta e geração de relatórios.
DILL, Sergio apud KIMBALL (1998).
“
Ambiente estruturado e extensível projetado para o trabalho de análise de dados não voláteis, lógica e fisicamente transformados oriundos de diferentes fontes e alinhados com os objetivos estratégicos da empresa.
DILL, Sergio apud GUPTA (1997).
CONTEXTO HISTÓRICODeixe de onda, e me conte essa asneira.
2
Hello!Como se “toma” decisão?O processo de tomada decisão mais acertado depende diretamente da informação recebida, do ponto de vista da sua qualidade, precisão, entre outros.
Olá, sou 1960!
A informação gerada para tomada de decisão é individual!
Existiam aplicação individuais executadas sobre arquivos
mestres.
Arquivos Mestres: proliferação e redundância
◦ Falta de credibilidade dos dados;
◦ Baixa produtividade;◦ Impossibilidade de
transformar dados em informação.
Hello!E como se resoulve-se isso?Neste ponto chegamos ao momento em que os SGBD’s nascem.
Olá, sou SGBD!
Sistemas Gerenciadores de Bancos de Dados
Integração dos dados em fonte única.
Sistemas de Apoio a Decisão
Sistemas de Apoio a Decisão
Ambiente de Processamento
Operacional
Ambiente Analítico
SEPARAÇÃO
Fluxo Histórico
Acesso direto a dados(1960~)
Surgimento dos SGBDs
Criação do Modelo
Relacional e Ling. SQL
“[Tudo isso culmina] na percepção do usuário que era possível utilizar dados para outros objetivos além das transações on-line.
DILL, Sergio (2002).
Vantagens do Data WarehouseSei bichin, diga mais.
3
Hello!Vantagens?Há uma série de vantagens na separação do ambiente operacional e do ambiente analítico. Vejamos quais são.
Problemas antes do Data Warehouse
Os usuários construíam suas próprias planilhas;◦ Falta de credibilidade dos dados, consequência da
extração;
◦ Baixa produtividade causa pela necessidade de analisar layouts de vários arquivos;
◦ Dificuldade de gerar informações a partir dos dados extraídos;
◦ Tempo destinado ao desenvolvimento de aplicativos de relatórios.
Implantação do Data Warehouse
Dados
PrimitivosDados
Derivados
Operações do dia-a-dia
Resultadodas Extrações
(Gerência)
Vantagens do Data Warehouse
◦Atualização constante;
◦Agilidade e facilidade de acesso à informação atraves de ferramentas;
◦Menor custo e menor indiciu de erros.
BIG CONCEPTData Warehouses são diferentes dos Bancos de Dados tradicionais, por estarem otimizados para recuperação de dados e serem suporte para sistemas de apoio a decisão.
Funcionamento DWEitxa gôta, agora vai!
4
Hello!Agora são dois conceitosA forma de organização da infraestrutura lógica e fisíca importam
“Os Data Warehouse oferecem acesso a dados para análise complexa, descoberta de conhecimento e tomada de decisões.
NAVATHE & ELSMARI (2011).
Funcionamento do Data Warehouse
◦ Alto desempenho sobre os dados e informações de uma organização;
◦ Suporte a aplicações OLAP (Processamento analítico on-line);
◦ Suporte a aplicações DSS (Sistemas de apoio a decisão);
◦ Mineração de Dados.
EXEMPLO
Estudo de CasoTem doido pra tudo...
5
Hello!ANVISAAgência Nacional de Vigilância Sanitária. Vinculada ao Ministério da Saúde e com trabalhos em parceria com o Ministério das Relações Exteriores.
Estudo de Caso: Anvisa
◦ Implantação realizada em meados de 2002;
◦ Avaliação do serviço de saúde foi a área piloto (complexidade e importância);
◦ Solução para apoiar o processo decisório da instituição;
◦ Fonte de dados são os sistemas transacionais que os atendem;
Estudo de Caso: Anvisa
◦ Os dados são associados pelo assunto;▫ Na Avaliação de Serviços de Saúde a
principal fonte de dados é o DATASUS;
◦ Dados armazenados em nível granularidade mais atômico possível;
◦ Modelagem multidimensional no formato estrela.
“
Para a infra-estrutura de DW, foramadquiridos equipamentos com grande área de disco para armazenar o volume de dados e com processadores paralelos para proporcionar melhores tempos de resposta.
BETHINI, (xxxx).
Estudo de Caso: AnvisaProblemas encontrados com os dados
◦ Diferença de unidades;◦ Diferenças de Precisão;◦ Diferenças de códigos ou
expressões;◦ Diferenças de granularidades;◦ Diferenças de abstrações.
“
Normalmente as ações de correção das anomalias encontradas não se deram automaticamente com uma rotina específica, até porque isto poderia ter sido feito já na própria base transacional. O que se procurou é solucionar as pendências caso a caso, tentando corrigir inclusive a base original.
BETHINI, (xxxx).
Estudo de Caso: AnvisaThe Data Warehouse Institute - Dificuldades
1. Começar o projeto com o tipo errado de patrocínio;
2. Gerar expectativas que não podem ser satisfeitas, frustrando os executivos quando da utilização do DW;
3. Dizer: “Isto vai ajudar os gerentes a tomar decisões melhores” e outras informações politicamente ingênuas;
4. Carregar o DW com informações só “porque estavam disponíveis”;
5. Falhar no objetivo de acrescentar valor ao dada por meio de mecanismos de desnormalização, categorização e navegação assistida;
Estudo de Caso: AnvisaThe Data Warehouse Institute - Dificuldades
6. Escolher um gerente que seja voltado para a tecnologia e não para o usuário;
7. Focalizar em dados tradicionais internos orientados a registro e ignorar o valor potencial de dados textuais, imagem, som, vídeo e dados externos;
8. Fornecer dados com definições confusas e sobrepostas;
9. Acreditar nas promessas de desempenho, capacidade e escalabilidade dos vendedores de produtos; e
10.Usar o DW como justificativa para modelagem de dados e uso de ferramentas case.
Considerações FinaisEnfim, cabou!
6
Bye!Considerações FinaisO Data Warehouse é um recurso muito importante no auxílio a decisão...
Considerações Finais
◦ Data Warehouse é fundamental para um sistema de apoio a decisão;
◦ A compreensão história deste desenvolvimento revela suas capacidades atuais;
◦ A atenção as limitações da sua função, bem como as suas fontes de dados são fundamentais;
◦ É importante que a solução seja pensada para o usuário.
Data Warehouse – a experiência da ANVISACamilo Mussi, Denis Murahovschi, Giliana Bettni, Luiz Gustavo Kratz
Bibliografia
Sistemas de Banco de DadosRamez Elmasri, Shamkant B. NavatheUma Metodologia para Data Warehouse e Estudo de CasoSergio Luis Dill
Questões https://goo.gl/sNLcE3
AcessoMessih_TPLink
#@gi2016