Data Warehouse / Data Marts / DataMining /OLAP

Apostila 7 Prof. Me. Eduardo Botelho

Corrêa

Introdução Informatização dos meios produtivos permitiu a

geração de grandes volumes de dados: Transações eletrônicas; Novos equipamentos científicos e industriais para observação e

controle; Dispositivos de armazenamento em massa;

Aproveitamento da informação permite ganho de competitividade:

“conhecimento é poder

Recursos de análise de dados tradicionais são inviáveis para acompanhar esta evolução:

processo iterativo de criação, teste e refinamento de hipóteses;

Definições Uma definição simples de Data Warehouse é a sua traduçãoliteral para o português, Armazém de Dados.

Data Warehouse é um banco de dados voltado para suporte à

decisão de usuários finais, derivado de diversos outros banco de dados operacionais.

Coleção de dados orientados por assunto , integrados, variáveis com o tempo e não voláteis para dar suporte ao processo de tomada de decisão. (Inmom)

DATA WAREHOUSE

Motivos que levam uma empresa a adotar a tecnologia de Data Warehouse

O sucesso de uma empresa depende, entre outros fatores, da agilidade e precisão com que ela toma as suas decisões. Para que isto ocorra, é necessário que a empresa tenha informações precisas e no momento adequado. É justamente neste ponto que entra a tecnologia Data Warehouse, auxiliando na integração e consolidação dos dados.

DATA WAREHOUSE

Funções de um DATA WAREHOUSE

coleta e armazenamento de dados de várias bases de dados,

armazenamento de dados resumidos,

fornecimento de cópia estável dos dados para consultas de suporte a decisão.

Arquitetura de um Data

Warehouse

DATA WAREHOUSE

Extração de Informações do Data Warehouse

DATA WAREHOUSE

Data Mining Data Mining visa analisar dados

também, só que com a utilização de métodos mais complexos, como conseqüência, os resultados são mais elaborados.

DataMining

Nova tecnologia que permite extrair

informações escondidas em grandes bancos de dados.

Prever tendências e comportamentos futuros, permitindo aos gestores tomarem a decisão baseada em fatos e não em suposição.

Data Mining É a descoberta de conhecimento dentro em

banco de dados É freqüentemente ligada com DW fornece “insights” para gerenciar

oportunidades e problemas potenciais ( ou existentes)

DataMining DataMining fornece 5 tipos de informação:

Associação: ocorrências estão ligadas a um evento.Por exemplo: num supermercado, quando se compra batatas fritas,compra-se também coca-cola.

Sequência: eventos ligados ao longo do tempo. Por exemplo se uma casa é comprada, então 45% das vezes um fogão será comprado dentro de um mês.

Classificação: mais comum nos dias de hoje. Encontrar características dos clientes e determinar quais tipos de promoções serão mais eficientes.

Conjuntos: descobrir diferentes agrupamentos de dados.Utilizado, por exemplo para descobrir defeitos na fabricação de produtos

Previsão: se um cliente irá renovar uma assinatura, por exemplo.

Relação DW e Data Mining

São independentes e podem ser utilizados em separado.

Contudo, um ambiente de análise completo necessita resultados de ambos, ou seja, o melhor é utilizar os dois em conjunto.

Existe uma tendência de ter as duas formas de análise no mesmo ambiente

Exemplos de Aplicação Marketing

Mala direta de produtos para clientes que tem possibilidade de comprar aquele produto

Varejo Produtos organizados nas prateleiras de forma

que o cliente ponha no carrinho de compra os produtos que vendem em conjunto

Telecomunicações Ligações fraudulentas de Celulares clonados

Exemplos de Aplicação

Bancário Liberação de empréstimos para clientes que

tem caracterísitca de bom pagador Científico

NASA cataloga imagem de satélites classifica eventos similares nas imagens

Acadêmico Disciplinas de graduação que tem maior

probabilidade de serem cursadas em conjunto

DATA MART

Subconjunto de um datawarehouse: vários data marts formam um datawarehouse;

Construído com um escopo menor de informações, segmentado para uma determinada área;

Custa menos e leva menos tempo para ser projetado e implementado

DATA MART É um subconjunto lógico de um completo

Data Warehouse [KIM98a]. Esse termo é usado para se referir a um Data Warehouse de pequena capacidade usado para atender especificamente a uma Unidades Estratégica de Negócio ou a um departamento da corporação. É um pequeno DW, com limitado escopo de dados [BON98], para representar uma função particular do negócio.

DATA MART Pode ser utilizado com projeto piloto do

warehouse completo da organização Implementação mais rápida Custo de implementação menor Controle Local na Unidades Estratégica

de Negócio Integração com outros Data Marts pode

ser difícil se não houver um projeto mestre

Data Marts e Warehouses

Os dados em um Data Warehouse : São dados operacionais consolidados. Em geral representam

os dados operacionais passados, ou seja, o histórico dos dados

operacionais.

Unidades Estratégica de Negócio (SBU) Os requisitos entre diferentes unidades de negócio dentro de

uma organização não são necessariamente comuns. Uma estratégia para atender separadamente as unidades de negócios são os data marts.

DATAWAREHOUSE /DATA MART

OLAP Conjunto de ferramentas que possibilta efetuar a

exploração dos dados contidos no DW; Melhorar desempenho das pesquisas; Processo interativo: usuário faz perguntas, recebe

informações, verifica um dado específico e faz comparações;

Perguntas que um OLAP responde: Por que as vendas de automóveis de determinado

modelo diminuem no segundo trimestre? Qual região vendeu mais? Qual diferença entre

vendas de determinado produto por região ou por vendedor?

Diferenças entre DataMining x OLAP

Analista gera uma hipótese e usa OLAP para verificar a hipótese;

O DataMining é usado para criar a hipótese;

DataMining e OLAP se complementam;

Business IntelligenceChegou a era da fidelização, da customização, dasedução do cliente e da Inteligência aplicada aos negócios.Assim sendo, os grandes bancos de dados corporativos(Data Warehouse), estão entregando aos tomadores dedecisão, a informação na forma mais precisa e utilizávelpossível. Os dados que até então eram simples

representantesde fatos comuns como nome, endereço, telefone, dentreoutros, hoje se sofisticam na representação de imagens,vídeos, sons, dados temporais, indicadores econômicos,planilhas, páginas HTML.

Business Intelligence

Business Intelligence define um conceito que, congrega:  Ferramentas e processos que começam com a coleta de dados, que são organizados e transformados em informação, para depois de analisada e processada se transformar em “inteligência”. Essa, por sua vez, quando aplicada

aosprocessos de decisões, gera vantagem competitiva para a organização. (HABERKORN, 2004)

Business IntelligenceO termo BI (business Intelligence) foi criado pelo mercado de sistemas com o propósito de dar uma nova “roupagem” a termos mais conceituais, como SAD e SAE. Mas na realidade, são sistemas que

tem o mesmo propósito [...]” (MIGLIOLI, 2007). Com essa afirmação, muito da confusão que se cria em torno da definição de BI, se esclarece, já que BI,

em última análise, pode ser entendido, como  SAD e ou SAE/EIS.

Business IntelligenceBI representa a habilidade de se estruturar, acessar e explorarinformações,normalmente guardadas em DW/DM (Data

Warehouse, DataMarts) com o objetivo de desenvolver percepções, entendimentos

econhecimentos, os quais podem produzir um melhor processo de

tomadade decisão.

As aplicações de Business Intelligence, que utilizam as informaçõesarmazenadas em um Data Warehouse, podem incluir consultas erelatórios, análises, estatísticas, previsões, O BI pode utilizar

informações do ERP, CRM, SCM e BSC.

Business IntelligenceBusiness Intelligence tem como principais

características:- A capacidade de extrair e integrar dados de múltiplasfontes.- A transformação dos registros obtidos em informaçãoútil para o conhecimento empresarial.- A valorização da experiência.- A análise de dados contextualizados.- A procura de relações de causa e efeito, trabalhandocom hipóteses e desenvolvendo estratégias e açõescompetitivas.