aula 02 giovanni --dcbd

Descoberta de Conhecimento em Bases de Dados e Mineração de Dados

Novembro/2008

Centro Universitário Uni-AnhangueraProf. Ms Giovanni -

prof_gio_castro@yahoo.com.br

Descoberta de Conhecimento em Bases de Dados – DCDB x

Mineração de Dados(MD)

Fevereiro/2012

Centro Universitário Uni-AnhangueraBusiness IntelligenceProf. Ms Giovanni Gondim de Castro

Novembro/2008

“Estamos afogados em Dados, mas famintos por Conhecimento” (HAN;

KAMBER, 2008)

Novembro/2008

Centro Universitário Uni-AnhangueraImplementação de Data MinigProf. Ms Giovanni Gondim de Castro

“Para quem não sabe aonde quer chegar, qualquer caminho serve”

(Ditado Popular)

Novembro/2008

Knowledge Database Discovery – KDD ou DCBD

•É feito através de Data WareHousing e/ou DataMining

Processo de análise de dados feito por ferramentas específicas (e.g. WEKA, Data Warehouse, Easynn-Plus, IBM, Oracle, );Visa a Extração de conhecimento (Bases de Regras, Padrões ou Agrupamentos) a partir da(s) Base(s) de Dados;A Extração pode ser feita em diversos tipos de Bases (Texto, Bancos de Dados, Bases de Imagens, ect);

Fayyad, Piatetsky-Shapiro e Smyth, From Data Mining to Knowledge Discovery in Databases - American Association for Artificial Intelligence – 1996.

Novembro/2008

DCBD – Parte essencial dos Sistemas de Informações

Novembro/2008

Knowledge Database Discovery – KDD ou DCBD

• Definição formal:-> Processo de extração de conhecimento, padrões ou informações (previamente desconhecidas, implícitas, não-formais e com potencial uso) a partir de grandes Massas ou Bases (Bancos) de Dados.

• Não é DM:-> Busca de conhecimento através de pesquisa formal (SQL); uso de Sistemas Especialistas ou pequenos programas que trabalhem com Técnicas Estatísticas.

Novembro/2008

Técnicas de MD

Já temos também as técnicas de:

MobiMine, Clinical DataMining, BiblioMining, TextMining, WebMining

Han; Kamber – Data Mining: Concepts and Techniques, Intelligent Database Systems Research Lab, 2008.

Novembro/2008

Principais Usos da MD

Alvo de propagandas – enfoque nos consumidores a serem atingidos;Detecção de Fraudes - cartões de crédito, invasão de rede, etc;

Análise e Gerenciamento de Riscos – predição (bolsa de valores, chuva, epidemias), análise competitiva, qualidade de controle;

Análise e Gerenciamento de Mercado – Costumer Relation Management (CRM), vendas cruzadas, segmentação de mercado, análise do perfil do comprador;

Novembro/2008

Análise e Gerenciamento de Riscos Aonde estão os dados para análise - Transações de cartões de crédito,

cupons de desconto, ticket alimentação, cartões de fidelidade (e.g. Bretas, Ipiranga, Casas Baia, etc); Alvo de Propagandas - Encontrar nichos do “padrão" dos clientes que partilham as mesmas características: interesse, renda, hábitos ; Determinar os padrões de consumo de uma pessoa ao longo do tempo – Conversão de um padrão de vida do consumidor (de solteiro para casado, de casado para divorciado ou viúvo, de não pai para pai);

Determinar perfil de consumidor – a MD permite determinar quais consumidores compram determinados tipos de produtos (Classificadores ou Clusters);

Identifica os requisitos de consumo – identifica os melhores produtos para diferentes consumidores; identifica, através da predição, quais fatores serão decisivos para atrair novos consumidores;

Fornece informação sumarizada – relatórios multidimensionais sumarizados; informação estatística sumarizada (tendência e variação dos dados).

Novembro/2008

Análise Corporativa e Gerenciamento de Riscos

Planejamento financeiro e avaliação dos ativos da empresa -> análise do fluxo de caixa e previsão; -> análise para avaliar bens ativos da instituição; -> análise de séries temporais (financeira ou epidemiológica, análise de tendências, etc) Planejamento de Recursos ->resumir e comparar os recursos e despesas;

Competição -> monitorar competidores e decisões de mercado; -> agrupar consumidores em classes e classificar de acordo com o objeto de venda; -> definir estratégia de preços em um mercado altamente competitivo.

Novembro/2008

Detecção e Gerenciamento de FraudesAplicações - amplamente utilizado em cuidados de saúde, varejo, serviços de cartões de crédito, telecomunicações (serviço de fraude de cartões de crédito, etc); Aproximação - utilização de dados históricos para construir modelos de comportamento fraudulento e de mineração de dados que ajudem a identificar casos semelhantes;

Exemplos – (a) Seguro automóvel: detectar um grupo de pessoas que simula acidentes visando recolher seguros; (b) Lavagem de dinheiro: detectar transações suspeitas de dinheiro (EUA Treasury's Financial Crimes Enforcement Network); (c) Seguro Médico: detectar círculo de pacientes e profissionais médicos.

Detecção de tratamento médico inapropriado – Comissão de seguro de saúde Australiano identifica que, em muitos casos, foram solicitados testes de desnecessários;

Detecção de fraude telefônica - Telefonema modelo: o destino da chamada, a duração, hora do dia ou da semana. Analisar os padrões que desviarem-se de uma norma esperada. A British Telecom tem identificado grupos de assinantes com chamadas freqüentes intra-grupo, especialmente para telefones celulares, e quebrou um grupo fraudulento que já tinha causado um prejuízo multimilionário.

Novembro/2008

Outras aplicaçõesEsportes – IBM tem ajudados os times New York Knicks e Miami Heat a preparar suas estratégias de jogo através da análise do comportamento de seus adversários nos jogos anteriores; Astronomia – observatórios descobriram mais de 22 quasares com a ajuda da MD;

Acesso a Internet – IBM aplica algoritmos de MD, para gerar padrões, a partir do acesso aos logs dos registros de navegação da internet para descobrir as preferências de navegação dos consumidores. A partir destes padrões, é analisada a efetividade da propaganda feita via internet (popups e anúncio feitos nas páginas da net) de forma a promover o produto mais factível de venda ao consumidor que está presente naquele momento;

Novembro/2008

Problemas que a MD visa resolver:

Aumento exponencial no número de dados coletados;Empresas apenas armazenam mas não analisam os dados;Instituições que não trabalham com seus repositórios de dados e que desejam se estabelecer no mercado competitivo.

Novembro/2008

DCBD x Mineração de Dados (MD)

Inteligência Artificial - Aprendizado de Máquina;Bancos de Dados - Recursos para manipular grandes massas de dados;Estatística - Avaliação e Validação de Resultados.

Novembro/2008

DCBD – Parte essencial dos Sistemas de Informações

Novembro/2008

Boente et. all, 2007

Processo Completo de Data Mining

Novembro/2008

Passos para o processo de DCBD1 - Aprender a aplicação do domínio Conhecimento prévio e relevante e trabalhar com metas de aplicação;2 - Criar um conjunto de dados alvo: os dados seleçãoLimpeza dos dados e pré-processamento (consome até 60% do esforço)3 – Redução e transformação dos dadosEncontrar características úteis, dimensionalidade / redução de variáveis, representação através de agrupamento4 – Escolher as funções de MD desejadasSumarização, Classificação, Regressão, Associação ou Clusterização5 – Escolher o algoritmo de MDRealizar a MD: Procura de padrões de interesse 6 - Avaliação de padrões e apresentação de ‘modelo de conhecimento’Visualização, transformação, retirada de padrões redundantes, etc7 – Uso de conhecimento descoberto

Novembro/2008

Md e Inteligência de Negócios (BI)

Aumento do potencial para influenciar Decisões Usuário Final

Analista de Negócios

Análise de Dados

Tomadade Decisão

Representação de dados

Tecnicas de Visualização

Mineração de DadosDescoberta de Informação

Exploração de Dados

OLAP, MDA

Análise estatística, Pesquisa e Impressão

Data Warehouses / Data Marts

Origem de DadosPapéis, Arquivos, Provedores de Informação, Sistemas de Banco de Dados, OLTP

Novembro/2008

Limpeza e Integração de Dados

Arquitetura de um típico Sistema de MD

Data Warehouse

Filtragem

Base de Dados

Base de dados ou servidor de data warehouse

Motor de MD

Avaliação de Padrões

Interface Gráfica do Usuário

Base de Conhecimentos

Novembro/2008

MD: Que tipo de Dados?

1 – Bases Relacionais; 2 – Data Wharehaouses; 3 – BD Transacionais;4 – BD avançadas e repositório de informações;

- BD orientadas a objeto e relacionais;- BD espaciais;- BD no formato de séries temporais e/ou dados temporais;- BD no formato texto puro e no formato não magnético (CD, DVD);- BD heterogêneas ou herdadas de outras instituições;- www (no formato ou a partir de páginas da internet).

Novembro/2008

MD: Funcionalidades

1 – Descrição do Conceito: caracterização e/ou discriminação:Generalizar, Sumarizar e contrastar características de dados (e.g. regiões secas x chuvosas);

2 – Associação (co-relação e casualidade): -> Associação multi-dimensional (várias dimensões) versus associação dimensional (e.g. idade [9 a 10; 20 a 29; 30 a 39], estado civil [Casado, Solteiro], Filhos [0,1,2,3,4,> 5]);Estes dados trazem a possibilidade estatística de estudo de variáveis de margem de confiança (e.g. 60%) e;/ou suporte de informação (2%); -> Relação -> pessoas que possuem computador possuem também software (100% -> 75%) que deve ser registrado (e.g. windows). Os outros 25% dos que possuem computador possuem softwares que não necessitam de registro (e.g. linux).

Novembro/2008

MD: Funcionalidades

Classificação e Predição: -> Encontrar modelos (funções) que descrevam e distinguam classes ou conceitos para a futura predição; e.g. classificar países baseando apenas no clima, ou classificar carros que usam gás baseando-nos na quilometragem; -> Apresentação: árvore de decisão, a classificação geral, redes neurais -> Previsão: Predição de alguns valores desconhecidos ou numéricos; valores em falta em uma série;Análise de Agrupamento:‘Rótulos’ desconhecidos: Os dados fornecem grupos, conhecidos também como rótulos, que podem ser trabalhados no intuito de descobrir novos padrões;

Novembro/2008

Técnicas e Tarefas de MD

Novembro/2008

Técnicas e Tarefas de MD

Novembro/2008

Exemplo de Árvore de Decisão

Novembro/2008

Regras retiradas a partir da Árvore de Decisão

Novembro/2008

Exemplo de árvore de classificação no Weka (Waikato, 2004)

Novembro/2008

Exemplo de regras de associação no Weka (Waikato, 2004)

Novembro/2008

Base de Regras é normalmente uma Série Temporal

Novembro/2008

Neurônio Natural x Neurônio Artificial

Novembro/2008

Principais Arquiteturas de RNA´s

Novembro/2008

Aprendizado de RNA´s

Novembro/2008

Exemplo de Predição utilizando RNA

Novembro/2008

Gráfico de Predição de Dengue em Goiânia em 2001

Novembro/2008

Gráfico de Predição de Dengue em Goiânia em 2003-2004

Novembro/2008

Série Temporal de Dengue em Goiânia de 2001 a 2005

Novembro/2008

Diversas(os) Bancos(Bases) de Dados totalizando 734Mb geraram um Vetor de Informações de 400kb

Novembro/2008

aula 02 giovanni --dcbd

Documents

reale, giovanni 3

aula 00: assunto da aula · 2019. 11. 10. · prof. dr....

giovanni bonfim

giovanni 1 aninho

aula 02 - informtica - aula 01

giovanni magalhaes porto

direito civil p trtrj aula 02 aula 02

aula 01: princípios orçamentários....prof. dr. giovanni...

aula 00: assunto da aula - 3dconcursos€¦ · prof. dr....

arquivologia-p-atamf aula-02 aula 02 ata mf 16360

livro giovanni alves

aula 01: princípios orçamentários. - 3dconcursos ·...

aula 17: crédito público: conceito; classificações;...

aula 02: modelos orçamentários. - 3dconcursos · prof....

aula 13: intervenção do estado na economia: falhas de...

aula 02 - informática - aula 01

giovanni paolo cima

aula de php - aula 02

aula 02 aula dois cpc

aula 00: assunto da aula - 3dconcursos.com.br · noções...