Slide 1

Tpicos Avanados de Bancos de DadosProf. Antonio Carlos

Faculdade Sumar - 2013

logotipo.pnglogotipo.png

Apresentao

Ementa

Plano de Aula

Avaliao

Aula introdutria

Ementa

Ao Final do Semestre o Aluno ter conhecimento do estado da Arte de Banco de Dados

Competncias e Habilidades

Datawarehouse

DataMining

Mecanismo de Busca/Relevncia - PageRANK

Descoberta de Conhecimento Automatizada/KDD

Bancos no Relacionais

Plano de Aula

Avaliao

Duas avaliaes da instituio valendo +-75% da nota

Uma ou Duas atividades valendo +-15% da nota

Frequencia podendo valer at 10% da nota

As Datas das atividades e provas dependem do calendario academico, e o plano de aula ser reajustado.

Histrico

Sistemas Computacionais ComerciaisArquivos

Banco de Dados Hierrquico/Rede

Histrico

RegistrosTamanho Fixo

Tamanhos variveis

ArquivosSequenciais

Diretos

Indexados

Histrico

Sistemas Computacionais ComerciaisArquivos Analise de Resultados

Consultas e Relatrios

Independncia

Banco de Dados Hierrquico/Rede

Histrico

Sistemas Computacionais ComerciaisArquivos Analise de Resultados

Consultas e Relatrios

Independncia

Banco de Dados Hierrquico/RedeDefinir - Grupos de TrabalhoPesquisa e Explanao

Projetando

Entender o domnio do problema

Projetando

Entender o domnio do problemaSistema Convencional

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problemaSistema ConvencionalFaturamento

Vendas

RH

Outros

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problemaSistema ConvencionalFaturamento

Vendas Normalizao

RH

Outros

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problemaSistema ConvencionalFaturamento

Vendas Normalizao

RH (No Redundncia)

Outros (Confiabilidade)

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problemaSistema Convencional

Sistema de Apoio a Deciso (BI)Procurar Comportamentos/Repeties/Sazonalidade

Projetando

Entender o domnio do problemaSistema Convencional

Sistema de Apoio a Deciso (BI)Procurar Comportamentos/Repeties/SazonalidadeComprar melhor SuficienteNecessrioQuando

Projetando

Sistemas de Apoio a Deciso (BI)Normalizao?

Projetando

Sistemas de Apoio a Deciso (BI)Normalizao?Se Aplica?

Projetando

Exercitando....

Dado o Layout abaixo, em grupo defina os passos para usar esta informao

01 Record

05 diretoria pic 9(5)

05 dir-nome pic x(30).

05 agencia.

10 ag-cod pic 9(5)

10 filler pic x

10 ag-dv pic 9

05 age-nome pic x(30).

05 conta.

10 cta-cod pic 9(6)

10 filler pic x

10 cta-dv pic 9

05 id pic x(15)

05 nome pic x(40)

05 endereco pic x(40)

05 complemento pic x(20)

05 cep pic x(9)

05 uf pic x(2)

05 cidade pic x(30)

05 produtos occurs 10 times

10 prd-cod pic 9(2)

10 prd-dsc pic x(20)

10 prd-vlr pic s9(9)v99

Minerao de Dados

Procurar padres de comportamento, identificar, aprender com o padro e us-lo como parte da estratgia de negcios.

Minerao de Dados

Procurar padres de comportamento, identificar, aprender com o padro e us-lo como parte da estratgia de negcios.

PadresRepeties seguindo algum critrioEx.: TemporalGnero

Minerao de Dados

Temporal (ex.:)Champanhe

Panetone

Abada

Minerao de Dados

GneroProdutos ligados ao gnero do comprador, eventualmente o parceiro pode efetuar a compra no seu lugar.

Minerao de Dados

Padro SocialProdutos concorrentes, mas com proposta diferente em funo da posio social do comprador

Minerao de Dados

Claramente o exemplo acima, foi pensado para um modelo de negcio. Comrcio.

Concluindo-se que a minerao modelada a responder as dvidas existentes no modelo de negcio afim de obter vantagem competitiva

Minerao de Dados

Uma forma de se iniciar a minerao de dados criar o modelo, j pensando em que respostas este modelo poder responder atravs de simulao

Minerao de Dados

Uma forma de se iniciar a minerao de dados criar o modelo, j pensando em que respostas este modelo poder responder atravs de simulao.

Aps a validao inicial deste modelo, os dados devero ser importados, ajustados, eventualmente transformados antes de serem utilizados.

Minerao de Dados

Page-Rank

Qual o principal uso da Internet?

Page-Rank

Qual o principal uso da Internet?

R. Pesquisa, embora possamos fazer outros usos como pagamentos, subida e descida de arquivos, etc.

Page-Rank

Pela sua prpria natureza o contedo da Internet no padronizado, e quando se iniciou o seu uso intensivo, percebeu-se um grande problema.

Qual o maior problema que podemos encontrar na internet?

Page-Rank

Pela sua prpria natureza o contedo da Internet no padronizado, e quando se iniciou o seu uso intensivo, percebeu-se um grande problema.

Qual o maior problema que podemos encontrar na internet?

R. encontrar as respostas exatas

Page-Rank

Pela sua prpria natureza o contedo da Internet no padronizado, e quando se iniciou o seu uso intensivo, percebeu-se um grande problema.

Qual o maior problema que podemos encontrar na internet?

R. encontrar as respostas exatas

E o que utilizamos para isto?

Page-Rank

R. Google, a referncia para os motores de pesquisa, sendo de longe o mais utilizado, mas existem outros tais como ask,bing e outros tantos.

Page-Rank

R. Google, a referncia para os motores de pesquisa, sendo de longe o mais utilizado, mas existem outros tais como ask,bing e outros tantos.

Mas o que explica o seu sucesso?

Page-Rank

R. Google, a referncia para os motores de pesquisa, sendo de longe o mais utilizado, mas existem outros tais como ask,bing e outros tantos.

Mas o que explica o seu sucesso?

Sua Tecnologia para calculo de relevncia das pginas, esta tecnologia chamada de Page-Rank.

Page-Rank

PageRank foi proposto pela universidade de STANFORD e patenteado, ao Google cabe a marca registrada, o Google tem os direitos de licena exclusivos sobre a patente, pagando atravs de 1.8 milhes de aes do Google.

As aes foram vendidas em 2005 por 336 milhes de dlares.

O Sistema PageRank usado pelo motor de busca Google para ajudar a determinar a relevncia ou importncia de uma pgina. Foi desenvolvida pelos fundadores do Google, Larry Page e Sergey Brin enquanto cursavam a Universidade de Stanford em 1.988 http://pt.wikipedia.org/wiki/PageRank

Page-Rank

PageRank foi proposto pela universidade de STANFORD e patenteado, ao Google cabe a marca registrada, o Google tem os direitos de licena exclusivos sobre a patente, pagando atravs de 1.8 milhes de aes do Google.

As aes foram vendidas em 2005 por 336 milhes de dlares.

O Sistema PageRank usado pelo motor de busca Google para ajudar a determinar a relevncia ou importncia de uma pgina. Foi desenvolvida pelos fundadores do Google, Larry Page e Sergey Brin enquanto cursavam a Universidade de Stanford em 1.988 http://pt.wikipedia.org/wiki/PageRank

Mas como funciona?

Page-Rank

A Ideia proposta simples, cada documento(pgina) ganha um peso proporcional ao numero de relaes que este documento possui.

Portanto quanto mais referncias esta pgina possui, maior ser o seu peso e se esta pgina referenciar a outra, o peso desta outra pgina proporcional a indicao.

Page-Rank

Bom mas como isto feito?

R. o Google criou alguns webbots, so pequenos robs que ficam navegando pela internet e a cada pgina visita, uma cpia enviada ao servidores do Google e armazenada, e estes mesmos webbots tambm vo votando nestas pginas ajudando a dar peso a pgina visitada.

Page-Rank

Bom mas como isto feito?

R. o Google criou alguns webbots, so pequenos robs que ficam navegando pela internet e a cada pgina visita, uma cpia enviada ao servidores do Google e armazenada, e estes mesmos webbots tambm vo votando nestas pginas ajudando a dar peso a pgina visitada.

Naturalmente quanto mais a pgina for visitada pelos links que a ela levaram ter um peso maior, tambm desnecessrio dizer que os links so visitados apenas uma vez, para evitar que um rob fique preso.

Page-Rank

Bom mas como isto feito?

R. o Google criou alguns webbots, so pequenos robs que ficam navegando pela internet e a cada pgina visita, uma cpia enviada ao servidores do Google e armazenada, e estes mesmos webbots tambm vo votando nestas pginas ajudando a dar peso a pgina visitada.

Naturalmente quanto mais a pgina for visitada pelos links que a ela levaram ter um peso maior, tambm desnecessrio dizer que os links so visitados apenas uma vez, para evitar que um rob fique preso.

Mas possvel manipular o resultado do PageRank com links descontextualizados ocasionando resultados pouco relevantes ou tendenciosos a esta falha atribuda o termo Googlebombing. E o Google tem removido estes resultados frequentemente, logicamente que quando so percebidos.

Page-Rank

Page-Rank

Alguns benefcios citados pelo site do Google.Voc pode receber a pgina mesmo que o site original esteja foraPode acontecer do resultado estar desatualizado.

Voc receber apenas os links das pginas que contm os argumentos usados na pesquisa

Quanto mais prximos os argumentos estiverem maior ser a importncia

Voc recebe um resumo/parte da pgina original, evitando navegar desnecessariamente

Page-Rank

Trabalho em Grupo, apresentao 10 minutos prxima aulaMotores de BuscaGlobais BING, Yahoo

Verticais CATHO, BUSCAPE, ZURA, ACHANOTICIAS,SAPO

Guias Locais GUIAMAIS, LISTO, ACHECERTO

Motores de Busca Acadmica

Motores de Busca

Basicamente Existem trs tipos de motores de Busca:Diretrios

Indexadores

Metapesquisadores

Motores de Busca

DiretriosO seu contedo organizado e mantido por pessoas gerando grandes catlogos

VantagensPouco rudo.

Contedo melhor classificado.

Acreditando-se que a pessoa responsvel tenha sido bastante rigorosa quanto ao contedo e relevncia

Motores de Busca

IndexadoresO seu contedo organizado e mantido por robs gerando grandes bases

VantagensMuito contedo.

Necessitam de outros passos afim de garantir a qualidade mnima aceitvel.

Motores de Busca

MetaPesquisadoresSo ferramentas, que permitem que se dispare vrias pesquisas simultneas para vrios catlogos e Indexadores.

VantagensTempo.

Motores de Busca

Percebemos facilmente que o volume de informao na WEB, a cada dia aumenta e com isto a localizao de contedo relevante continua interminvel, por conta da prpria natureza da WEB.

Motores de Busca

Percebemos facilmente que o volume de informao na WEB, a cada dia aumenta e com isto a localizao de contedo relevante continua interminvel, por conta da prpria natureza da WEB.

Mas Existe Soluo?

Motores de Busca

Percebemos facilmente que o volume de informao na WEB, a cada dia aumenta e com isto a localizao de contedo relevante continua interminvel, por conta da prpria natureza da WEB.

Mas Existe Soluo?

R. A curto prazo no, mas existem alguns esforos para se divulgar endereos especficos para um domnio de conhecimento, e tentar organizar melhor este contedo.

Atravs de Sites de Categorias IEEE, ou por exemplo Acadmicos

Reviso

Motivao Banco de Dados(Aplicao/BI)

Modelos de Banco/Normalizao/Fat-Table

Orientao a Negocio/BI

Exportao/Transformao + Agregao dados externos

Minerao de Dados

Google (PageRank)

Motores de BuscaIndexadores

Globais

Locais

Bibliografia

http://litolima.com/2010/09/23/introducao-a-mineracao-de-dados-parte-1/

http://pt.wikipedia.org/wiki/PageRank

Clique para editar os estilos do texto mestre

Segundo nvel

Terceiro nvel

Quarto nvel

Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar o estilo do subttulo mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar os estilos do texto mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar os estilos do texto mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Segundo nvel

Terceiro nvel

Quarto nvel

Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Segundo nvel

Terceiro nvel

Quarto nvel

Quinto nvel

Clique para editar os estilos do texto mestre

Segundo nvelTerceiro nvelQuarto nvelQuinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar o estilo do subttulo mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar os estilos do texto mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre
Segundo nvel
Terceiro nvel
Quarto nvel
Quinto nvel

Clique para editar os estilos do texto mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Segundo nvelTerceiro nvelQuarto nvelQuinto nvel

Clique para editar o estilo do ttulo mestre

Clique para editar os estilos do texto mestre

Segundo nvelTerceiro nvelQuarto nvelQuinto nvel