Sumários das Aulas Teóricas de Análise Inteligente de ?· Sumários das Aulas Teóricas de Análise…

Download Sumários das Aulas Teóricas de Análise Inteligente de ?· Sumários das Aulas Teóricas de Análise…

Post on 26-Jan-2019

212 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

Sumrios das Aulas Tericas de Anlise Inteligente de Dados

N. de

Lio

Data Sumrio Bibliografia

1 2007/09/173 Apresentao dos contedos programticos e objectivos da disciplina. Normas de avaliao, forma de funcionamento das aulas prticas e terico - prticas. Bibliografia recomendada e sua relevncia. Breve introduo problemtica a que a disciplina procura responder: grande disponibilidade de dados e a dificuldade na extraco de informao e conhecimento.

2 2007/09/19 Introduo anlise de dados e tomada de deciso - algumas consideraes gerais acerca da sua necessidade e inevitabilidade: problemtica do universo de dados em expanso e a necessidade de desenvolver novas tcnicas para encontrar, e extrair informao e conhecimento das enormes quantidades de dados disponveis; a informao como factor de produo. Apresentao e incio de discusso acerca do referencial informacional e de conhecimento: seus componentes arquitecturais, fluxo de dados e funes.

Data Mining, Pieter Adriaans e Dolf Zantinge, Addison-Wesley, 1996; Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

3 2007/09/24 Continuao da discusso do referencial informacional e de conhecimento, numa perspectiva de gesto de informao e extraco de informao e conhecimento (componente de distribuio - query / reporting, OLAP e data mining). Diferentes forma de conhecimento: raso, multidimensional, escondido e profundo; diferentes ferramentas para cada tipo de conhecimento: SQL - investigar dados rasos; OLAP - conhecimento multidimensional; Data mining - para conhecimento escondido;

Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Data Mining, Pieter Adriaans e Dolf Zantinge, Addison-Wesley, 1996; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

Conhecimento profundo - necessidade de conhecer pistas que possibilitem saber onde procurar. Explorao de dados: Anlise tradicional (query, grficos e estatsticas) e anlise multidimensional; perspectivas, objectivos. KDD - extraco de conhecimento em bases de dados - perspectiva, tcnicas e ferramentas e objectivos. Distino face anlise tradicional e OLAP.

4 2007/09/26 Conceitos para ECBD: padres e modelos. O que um padro e modelo: definio genrica e centrada em bases de dados; exemplo de dados e extraco de padro; diferena entre padres e modelos. Onde so utilizados os modelos e padres: exemplo ligado a empresa de telecomunicaes mveis e seus clientes, abrangendo a fase de seleco, aquisio, reteno e extenso. Indirectamente mostrar o interesse da ECBD j que trata directamente a extraco de padres e construo de modelos. Aprofundamento da relao da ECBD e relacionamento com clientes CRM e e-CRM.

Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Data Mining, Pieter Adriaans e Dolf Zantinge, Addison-Wesley, 1996; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

5 2007/10/01 Modelo perfeito como quimera ideal. Limitaes que levam imperfeio dos modelos: dados em falta ou com erros e forma de lidar com estes problemas. Definio de termos utilizados em modelao predictiva: registos, variveis independentes (campos de entrada ou predictores) e variveis dependentes (de alvo ou de sada). Tipos de predictores: contnuos e categricos - definio e distino; caracterizao dos predictores categricos quanto ao relacionamento ou no entre os valores ou categorias que possam apresentar - nominais, ordinais e de intervalo. Converso de predictores, sua necessidade ou convenincia. Problemtica da amostragem como forma de lidar com o tamanho dos dados; problemas com a amostragem e tcnicas de amostragem.

Data Mining, Pieter Adriaans e Dolf Zantinge, Addison-Wesley, 1996; Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997 - captulo 14; Data Mining: Building Competitive Advantage, Robert Groth, Prentice Hall, 2000 Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

6 2007/10/03 Mais alguns conceitos estatsticos importantes - Aprendizagem e contedo informacional: aprendizagem como compresso de dados, noo de complexidade de Kolmogorov e princpio de Rissanen; contedo informacional de uma mensagem e noo de contedo informacional de Shannon. Probabilidade: definio, distino entre probabilidade a priori e condicional; exemplo. Conceito de evento e de independncia entre eventos; relevncia do conceito de independncia entre eventos e, por oposio, oportunidade da dependncia: relacionamentos causais e colinearidade; exemplo ligado a estes conceitos. Teste do Qui-quadrado para verificar do relacionamento entre colunas de uma base de dados.

7 2007/10/08 Relatrios, Query e OLAP: trs perspectivas de distribuio de informao e conhecimento.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith,

Relatrios e consultas: relatrios - inevitabilidade dada compatibilizao entre as necessidades MIS e o processamento em lotes; limitaes e sua evoluo at s ferramentas actuais: emissores de relatrios de produo, geradores de relatrios, ferramentas de query grficas e dotadas de middleware de isolamento dos utilizadores face s complexidades da estrutura dos dados (ex. catlogo de informao). Breve apresentao das caractersticas mais salientes de uma das ferramentas paradigmticas desta classe: Impromptu da Cognos; aluso ao outras aplicaes dentro da mesma classe. Aplicaes de produtividade pessoal, ambientes geridos de query (MQE) ou Hybrid OLAP: apelo para esta abordagem e sua limitaes; caracterizao de cada uma e distino. Aplicaes OLAP: tecnologias, benefcios e perspectiva multidimensional dos dados.

McGraw-Hill, 1997 - captulo 14; DataMining, Pieter Adriaans, Dolf Zantinge, cap. 7; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

8 200710/10 Modelo de dados multidimensional e cubo de Natureza do modelo multidimensional: caminhos de consolidao (constituindo hierarquias) e operaes de anlise: drill-down, roll-up, drill-anywhere e slice-and-dice. Anlise multidimensional e solues OLAP; perspectivas arquitecturais: MOLAP ou MD-OLAP (bases de dados

fisicamente multidimensionais); ROLAP (mapeamento mono-multidimensional

utilizando suporte relacional e motor multidimensional);

HOLAP, RAP e MQE como solues alternativas e hbridas.dados; caractersticas dos dados multidimensionais.

Desempenho em OLAP e necessidade de agregaes: agregao on-the-fly versus pr-agregao; exploso de tamanho; disperso dos dados multidimensional e limitao de exploso dos dados. Regras para avaliao de produtos OLAP de E.F. Codd - anlise detalhada de cada uma, mostrando a sua importncia para o OLAP e a forma como as diferentes aplicaes (e suas tecnologias subjacentes) lhe do suporte.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

9 2007/10/15 Objectivos chave das Arquitecturas Multidimensionais: discusso detalhada da problemtica do desempenho: acesso aos dados rpido, resposta linear e dados calculados - pr-clculo dos valores agregados e utilizao de funes de negcio ou estatsticas. Balanceamento entre a velocidade de acesso e exploso de dados, devida a materializao de sumarizaes; grfico de pr-clculo de sumarizaes tempo de resposta; consequncia: a existncia das diversas solues arquitecturais OLAP. Estudo detalhado da perspectiva ROLAP:

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

arquitectura, mxima adoptada e funcionamento. Prs e contras desta arquitectura. Bases de dados multidimensionais: arquitectura, estruturas de armazenamento; sistema de indexao, seu tamanho e tratamento em memria. Aproximao MOLAP, utilizando bases de dados multidimensionais. Prs e contras desta arquitectura.

10 2007/10/17 RAP (real-time analytical processing) - arquitectura que explora o outro extremo da tecnologia de bases de dados multidimensionais: inexistncia de dados pr-calculados. Vantagens, reverso da medalha e ajudas para as limitaes. Estudo mais aprofundado das arquitecturas HOLAP e MQE: apelos para esta aproximao e limitaes; exemplos de alguns produtos comerciais.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

11 2007/10/22 Apresentao de quadro comparativo entre as diversas abordagens OLAP, relativamente a um conjunto de caractersticas. Ferramentas OLAP e a Internet: casamento entre as tecnologias e conceitos DW e Internet - inevitabilidade, razes e vantagens. Trs geraes, sua arquitectura e evoluo; estado actual. Resumo do captulo, concluses e aluso a alguns produtos comerciais mais relevantes.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

12 2007/10/24 Definio de ECBD e relao entre DQ/Reporting e OLAP versus data mining. Definio de data mining e sua anlise detalhada; poder do data mining e histria resumida: origem do data mining e passos na sua evoluo. Distino entre data mining e IA e entre data mining e estatstica. Actividades de data mining: descoberta, modelao preditiva e anlise retrica definio e domnio de utilizao. Tecnologias de suporte ao data mining: algumas consideraes de ordem terica e prtica.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

13 2007/10/29 Fases do processo de ECBD e seus seis estgios. Apresentao de diagrama elucidativo dos estgios do processo de descoberta e explicao breve acerca de cada um deles. Estudo mais detalhado do processo de seleco e depurao de dados nas suas vertentes: obteno, problemas mais comuns, especialmente o relativo purificao dos dados. Estudo detalhado dos processos de enriquecimento atravs da obteno de outros dados e codificao atravs da transformao criativa dos dados; alguns exemplos relativos a codificao.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

14 2007/10/31 Incio do estudo do processo de extraco e suas tcnicas mais relevantes. Processo de extraco:

anlise preliminar dos dados queries valores estatsticos e predio Naive; grficos e sua anlise;

tcnicas de visualizao e sua relevncia

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Warehousing: Tecnologia e Estratgia para DSS, Coimbra, 1999; Data Mining: Building Competitive Advantage, Robert Groth, Prentice-Hall,

no processo de descoberta de padres; alguns exemplos de visualizao de dados e aluso metfora espacial na visualizao;

ferramentas OLAP e forma como se inserem no processo de a extraco.

Aplicao do data mining: tarefas de classificao e regresso em que

consistem, modelos criados e alguns exemplos;

tarefas de associao e sequncia problemas a resolver , modelos e regras gerados e tcnicas de suporte;

clustering o que , utilidade, carcter subjectivo e exemplos;

deteco de desvios em que consiste e sua utilidade prtica;

text mining o que , problemtica associada e sua relevncia, nomeadamente com advento da Internet; referencial para text mining e produtos mais significativos.

2000; Data Mining, Pieter Adriaans and Dolf Zantinge, Addison-Wesley, 1996; Data Mining: Building Competitive Advantage, Robert Groth, Prentice-Hall, 2000; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

15 2007/11/05 Mtodos e algoritmos de data mining: estudo dos algoritmos mais relevantes para as diversas tcnicas de data mining. inicia-se com enumerao e correspondncia com tcnicas. Estudo de algoritmo no domnio das solues distncia: Clustering e K-Nearest Neighbor utilizao e conceitos em que se baseia; intuio de clustering e de Nearest Neighbor; tipo de aplicaes das tcnicas; solues distancia em Clustering. Clustering hierrquico e no hierrquico, respectivos algoritmos e anlise comparativa; Solues distncia em predio - K-NN; significado do K em K-NN e limitaes do KNN. Mtricas utilizadas e como realizada a predio. Exemplo de clculo que mostra a forma de actuar do algoritmo. Resumo do K-NN e sua apreciao geral.

Data Warehousing, Data Mining, and OLAP, Alex Berson, Stephen J. Smith, McGraw-Hill, 1997; Data Mining: Building Competitive Advantage, Robert Groth, Prentice-Hall, 2000; Data Mining, Pieter Adriaans and Dolf Zantinge, Addison-Wesley, 1996; Data Mining: Building Competitive Advantage, Robert Groth, Prentice-Hall, 2000; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

16 2007/11/07 Estudo de algoritmo utilizando o teorema de Bayes: algoritmo de Naive-Bayes - tcnica de classificao simultaneamente predictiva e classificativa. Teorema de Bayes e avaliao genrica do algoritmo Naive-Bayes. Como funciona o algoritmo exemplificao atravs de caso de utilizao. Limitaes do algoritmo de Naive-Bayes extenses tcnica para minorar as limitaes e apreciao geral do algoritmo. Comparao deste algoritmo com o K-NN.

Data Mining: Building Competitive Advantage, Robert Groth, Prentice-Hall, 2000; Data Mining, Pieter Adriaans and Dolf Zantinge, Addison-Wesley, 1996; Transparncias relativas totalidade dos contedos programticos, disponveis em fotocpias ou para consulta on-line.

17 2007/11/12 rvores de deciso: conceito, forma e utilizao. Importncia destas no domnio das tcnicas de data mining, especialmente como tcnica classificativa / regressiva com forte componente descritiva. Generalidades sobre rvores de deciso, resumo e score em termos de automatizao, clareza e ROI. Histria das rvores de deciso e algoritmos mais significativos....

Recommended

View more >