data mining final

43
 UNIÃO DAS INSTITUIÇÕES EDUCACIONAIS DO ESTADO DE SÃO PAULO CURSO DE SISTEMA DE INFORMAÇÕES APLICAÇÃO DE TÉCNICAS DE DATA MINING NA BOLSA DE VALORES BRUNO DOS SANTOS GONÇALVES HAELITON PICELLI LEANDRO DOS SANTOS GONÇALVES MATEUS DA SILVA GERBONI

Upload: mateus-gerboni

Post on 11-Jul-2015

939 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 1/43

UNIÃO DAS INSTITUIÇÕES EDUCACIONAIS DO ESTADO DE SÃOPAULO

CURSO DE SISTEMA DE INFORMAÇÕES

APLICAÇÃO DE TÉCNICAS DE DATA MINING NA BOLSA DE

VALORES

BRUNO DOS SANTOS GONÇALVESHAELITON PICELLILEANDRO DOS SANTOS GONÇALVES

MATEUS DA SILVA GERBONI

Page 2: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 2/43

Hortolândia2011

2

Page 3: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 3/43

UNIÃO DAS INSTITUIÇÕES EDUCACIONAIS DO ESTADO DE SÃOPAULO

CURSO DE SISTEMA DE INFORMAÇÕES

APLICAÇÃO DE TÉCNICAS DE DATA MINING NA BOLSA DEVALORES

BRUNO DOS SANTOS GONÇALVES

HAELITON PICELLILEANDRO DOS SANTOS GONÇALVES

MATEUS DA SILVA GERBONI

Hortolândia2011

3

Page 4: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 4/43

DEDICATÓRIA

Dedicamos este trabalho a Deus, por 

sempre nos proporcionar fé para nunca

desistirmos e saúde para sempre

continuar na caminhada.

4

Page 5: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 5/43

AGRADECIMENTO

Agradecemos aos professores,

profissionais que dedicaram seu tempo e

disponibilizaram seus conhecimentos, aos

colegas da faculdade, aos nossos

familiares e amigos que nos apoiaram e

acreditaram em nossa capacidade.

5

Page 6: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 6/43

RESUMO

Este estudo tem como objetivo analisar o conteúdo proposto pelo processo

de Mineração de Dados e a possibilidade da aplicação de suas técnicas na Bolsa deValores. É também um objetivo apresentar conceitos básicos que envolvem o

processo de Data Mining . Nesse contexto, o presente texto pretende apresentar 

alguns desses conceitos sobre as técnicas que envolvem a Mineração de Dados em

grandes conjuntos de dados, além de registrar algumas características de softwares

específicos para Data Mining , aplicações já realizadas com sucesso e o grau de

dificuldade da aplicação desta tecnologia na Bolsa de Valores.

A Mineração de Dados destaca-se como parte de um processo maior de

pesquisa denominado Busca de Conhecimento em Banco de Dados (KDD), para

qual é apresentado sua metodologia para preparação e exploração dos dados,

interpretação de seus resultados e assimilação dos conhecimentos minerados.

Organizações que têm como finalidade obter lucro, qualidade e tomar 

decisões com rapidez, suportam grandes desafios por parte da gestão de negócios.

Para superar estes desafios, há necessidade de tais organizações aperfeiçoarem

seus processos de tomada de decisão. A Mineração de Dados apresenta-se como

auxílio para tal aperfeiçoamento.

Palavras-chave: Data Mining, Mineração de Dados, Bolsa de Valores,Busca de Conhecimento em Banco de Dados (KDD).

6

Page 7: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 7/43

ABSTRACT

This study has how I aim to analyse the content proposed by the process of 

Mining of Data and the possibility of the application of his techniques in the StockExchange. It is also an objective to present basic concepts that wrap the process of 

Date Mining. In this context, the present text intends to present some of these

concepts on the techniques that wrap the Mining of Data in great sets of data,

besides registering some characteristics of softwares special for Date Mining,

applications already carried out with success and the degree of difficulty of the

application of this technology in the Stock Exchange.

The Mining of Data stands out how part of a process bigger of inquiry called

a Search of Knowledge in Database (KDD), for which his methodology is presented

for preparation and exploration of the data, interpretation of his results and

assimilation of the mined knowledges.

Organizations that have like finality obtains profit, quality and to take

decisions with speed, support great challenges for part of the business management.

To surpass these challenges, there is need of such organizations they perfect his

processes of taking decision. The Mining of Data presents itself a help for such an

improvement.

Key-words: Data Mining, Data Mining, Stock Exchange, KnowledgeDiscovery in database (KDD).

7

Page 8: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 8/43

LISTA DE ABREVIATURAS E SIGLAS

KDD Knowledge Discovery in database

SQL Structured Query LanguageAAFES Army and Air Force Exchange Service

MTS Microsoft Time Series

MSC Microsoft Sequence Clustering

DB2 Database 2

DWE Data Warehouse Edition

8

Page 9: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 9/43

LISTA DE FIGURASFIGURA 1: ETAPAS DO PROCESSO KDD [4].....................................................16

FIGURA 2: FUNCIONALIDADES EM MINERAÇÃO DE DADOS [3].........................20

FIGURA 3: SUB-FUNCIONALIDADES DA ANÁLISE PRÉVIA [3]............................21FIGURA 4: SUB-FUNCIONALIDADES DO DESCOBRIMENTO [3]...........................21

FIGURA 5: EXEMPLO DE UMA ÁRVORE DE DECISÃO [6]....................................25

FIGURA 6: EXEMPLO DE ÁRVORE DE DECISÃO SOBRE A TABELA 1 [2]..............32

FIGURA 7: JANELA DA FERRAMENTA DARWIN [2]............................................34

FIGURA 8: JANELA DA FERRAMENTA IBM INTELLIGENT MINER EXIBINDO UMGRÁFICO DE CLIENTES [2].............................................................................35

FIGURA 9: FLUXO DE MINERAÇÃO DE DADOS EM ANÁLISE DE EMPRÉSTIMO [2]36

FIGURA 10: EVOLUÇÃO DAS COTAÇÕES DIÁRIAS PARA OS TÍTULOS DO ÍNDICE

NASDAQ PARA CADA DIA DA SEMANA [7].......................................................38FIGURA 11: DISTRIBUIÇÕES DE DIVIDENDOS [7].............................................39

FIGURA 12: EXEMPLO DE APLICAÇÃO DE DATA MINING NA BOLSA DE VALORES[7]...............................................................................................................41

9

Page 10: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 10/43

LISTA DE TABELAS

TABELA 1: TABELA EXEMPLO PARA ÁRVORE DE DECISÃO [2]...........................31

10

Page 11: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 11/43

LISTA DE QUADROS

QUADRO 1: FUNCIONALIDADES E SUAS TÉCNICAS [3].....................................24QUADRO 2: DISTRIBUIÇÃO DA EVOLUÇÃO EM DUAS CLASSES (VALORIZAÇÃO EDESVALORIZAÇÃO) QUANDO NO DIA ANTERIOR ACONTECEU UMA VALORIZAÇÃOSUPERIOR A 15% [7].....................................................................................39

QUADRO 3: DISTRIBUIÇÃO DA EVOLUÇÃO EM DUAS CLASSES (VALORIZAÇÃO EDESVALORIZAÇÃO) QUANDO NO DIA ANTERIOR ACONTECEU UMADESVALORIZAÇÃO SUPERIOR A 15% [7].........................................................40

 

11

Page 12: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 12/43

SUMÁRIO

DEDICATÓRIA.................................................................................................4

DEDICATÓRIA.................................................................................................4

DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR FÉPARA NUNCA DESISTIRMOS E SAÚDE PARA SEMPRE CONTINUAR NACAMINHADA...................................................................................................4

DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR FÉPARA NUNCA DESISTIRMOS E SAÚDE PARA SEMPRE CONTINUAR NACAMINHADA...................................................................................................4

AGRADECIMENTO ..........................................................................................5

AGRADECIMENTO ..........................................................................................5

INTRODUÇÃO ............................................................................................... 14

BUSCA DE CONHECIMENTO EM BANCO DE DADOS (KDD) ................................. 16

E TAPAS DO PROCESSO DE KDD .................................................................................................16Definição (Database) ................................................................................................17Seleção (Selection) ...................................................................................................17Limpeza de Dados e pré-processamento (Preprocessing) .........................................17Redução de Dados e Projeção (Transformation) .......................................................17Mineração de Dados (Data Mining) ...........................................................................17Interpretação / Avaliação (Interpretation/Evaluation) ...............................................17Implantação do Conhecimento Descoberto (Knowledge) ..........................................17

KDD E DATA MINING........................................................................................................... 17

MINERAÇÃO DE DADOS (DATA MINING) .......................................................... 19

FUNCIONALIDADES................................................................................................................. 19

 Análise Descritiva .....................................................................................................20 Análise Prévia ...........................................................................................................20Descobrimento ................................................................................................................... 21

 Análise de Prognóstico ..............................................................................................22Estimação 22Predição 22Classificação ....................................................................................................................... 22

 TÉCNICAS PARA OBTENÇÃO DAS FUNCIONALIDADES............................................................................. 22Ferramentas de consulta e técnicas de estatística ....................................................24 Análise de vizinhança (K-nearest neighbor) ..............................................................24 Árvores de decisão ....................................................................................................24

APLICAÇÕES EM DATA MINING ...................................................................... 25

SEGMENTAÇÃO DE MERCADOS .................................................................................................. 25VAREJO............................................................................................................................. 25FINANÇAS.......................................................................................................................... 26MARKETING........................................................................................................................ 26SAÚDE.............................................................................................................................. 26OUTRAS APLICAÇÕES............................................................................................................. 27

EXEMPLO DE APLICAÕES ............................................................................... 27

ARMY AND AIR FORCE EXCHANGE SERVICE (AAFES) ......................................................................27WAL-MART........................................................................................................................ 27MASTERCARD..................................................................................................................... 28REVENDEDORA DE AUTOMÓVEIS................................................................................................. 28

ALGORITMOS DE MINERAÇÃO DE DADOS ....................................................... 29 TIPO DE ALGORITMOS............................................................................................................. 29

 Algoritmos de Classificação ......................................................................................29

12

Page 13: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 13/43

 Algoritmos de Regressão ..........................................................................................29 Algoritmos de Segmentação .....................................................................................30 Algoritmos de Associação .........................................................................................30 Algoritmos de Análise de Sequências ........................................................................30

APLICAÇÃO DOS ALGORITMOS.................................................................................................... 30

 Árvore de Decisão .....................................................................................................31 Algoritmo de Naive Bayes .........................................................................................32 Algoritmo de Cluster .................................................................................................32

ANÁLISE DE FERRAMENTAS ........................................................................... 33

ORACLE DARWIN DATA MINING SOFTWARE.................................................................................... 33IBM INTELLIGENT MINER......................................................................................................... 34SAS ENTERPRISE MINER........................................................................................................ 35

DATA MINING NA BOLSA DE VALORES ............................................................ 36

EXEMPLO PRÁTICO................................................................................................................ 37ANÁLISE DOS DADOS............................................................................................................. 37

Relação Entre a Evolução das Cotações Durante 1 Dia e o Dia da Semana .............37Evolução da Cotação nos Dias que Antecedem uma Distribuição de Dividendos ......38Evolução da Cotação após Grandes Valorizações .....................................................39Evolução da Cotação após Grandes Desvalorizações ................................................40

PROCESSO DE DATA MINING NA BOLSA DE VALORES......................................................................... 40

CONCLUSÃO ................................................................................................. 41

REFERÊNCIA BIBLIOGRÁFICA ......................................................................... 42

13

Page 14: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 14/43

INTRODUÇÃO

Atualmente as organizações têm demonstrado muita eficiência em capturar,

organizar e armazenar grandes quantidades de dados. Dados estes obtidos em

operações diárias ou pesquisas cientificas. Porém, uma grande porcentagem destas

organizações ainda não utiliza adequadamente essa gigantesca quantidade de

dados para transformá-la em conhecimento que possa ter utilidade em suas próprias

atividades.

Eis que surge um conceito denominado Mineração de Dados (Data Mining )

que está se tornando cada vez mais popular como uma ferramenta de descoberta de

informações.

Data Mining  ou Mineração de Dados é uma ampla área de pesquisa que

inclui diversas tecnologias tais como banco de dados, recuperação da informação,

inteligência artificial, aprendizado de máquinas, computação de alto desempenho,

redes neurais, estatística, reconhecimento de padrões e visualização de dados.

A Mineração de Dados teve inicio a partir de um momento em que

profissionais de empresas e organizações tomaram conta de que um grande

conteúdo de dados informáticos eram estocados e inutilizados dentro de suas

empresas. No princípio, Data Mining  consistia principalmente na extração de

informações de gigantescas bases de dados da maneira mais automatizada

possível. Atualmente, Data Mining consiste também na análise destes dados após a

extração com objetivo de descobrir padrões ou regras que permitam uma melhor 

compreensão das informações.

Afinal, o que é Mineração de Dados? Falando simplesmente, trata-se de

extrair ou minerar conhecimento de grandes volumes de dados.

Há diversas formas em que um projeto de Data Mining  pode ser 

implementado em uma organização: utilizando softwares específicos para Data

Mining , contratando consultores externos capazes de coletar os dados e apresentar 

ao cliente final um relatório pronto e completo destes dados ou até mesmo seguindo

14

Page 15: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 15/43

com o processamento dos dados no próprio cliente, onde deve-se criar um ambiente

em que o processo de Data Mining possa ser repetido e aprimorado inúmeras vezes.

O sucesso de um projeto de data mining pode transformar o modo de

atuação de uma empresa, passando de mero espectador a um ator noambiente em que se encontra. A empresa passa a atuar proativamente, enão reativamente a situações de mercado. [1]

A Mineração de Dados é parte de um processo de pesquisa denominado

Busca de Conhecimento em Banco de Dados (Knowledge Discovery in Database -

KDD), o qual possui um processo próprio de para preparação e exploração dos

dados, interpretação de seus resultados e assimilação dos conhecimentos

minerados.

15

Page 16: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 16/43

BUSCA DE CONHECIMENTO EM BANCO DE DADOS (KDD)

KDD (Knowledge Discovery in database) é um amplo processo de busca de

conhecimento em banco de dados que consiste de uma seqüência iterativa dos

seguintes passos: Limpeza de Dados, Integração de Dados, Seleção dos Dados,

Transformação de Dados, Mineração dos Dados, Avaliação dos Padrões, e

Apresentação e Assimilação do Conhecimento.

Cada etapa do processo de KDD pode retornar a um processo anterior,

conforme sua necessidade. Esta necessidade pode surgir em função de uma

reavaliação nos dados, uma nova hipótese a ser testada, entre outros casos

decorrentes ao processo de busca.

O KDD possibilita capturar informações em um banco de dados que até o

momento era desconhecidas ou interpretáveis e transformá-la em conhecimento,

visando assim, melhorar o entendimento de um problema ou um procedimento de

tomada de decisão, sendo examinado cada termo individualmente.

Etapas do processo de KDD

O processo de KDD é definido por etapas. Estas etapas são seguidas e

decididas por um analista ou especialista na área de análise de dados. A figura 1 a

seguir, ilustra as etapas que constituem o KDD:

Figura 1: Etapas do Processo KDD [4]

16

Page 17: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 17/43

Definição (Database)

Definição do tipo de conhecimento a descobrir, é onde se decide quais tipos

de conhecimentos, decisões de tomada e benefícios serão adquiridos.

Seleção (Selection)

Selecionar e focar em um conjunto ou subconjunto de dados onde serão

extraídas as informações necessárias.

Limpeza de Dados e pré-processamento (Preprocessing )

Processo de formatação de dados para serem utilizados na mineração de

dados.

Redução de Dados e Projeção (Transformation)

Redução do número de variáveis a serem utilizadas no processo de Data

Mining , com objetivo de agilizar e enriquecer as informações.

Mineração de Dados (Data Mining )

Seleção de métodos a serem utilizados, a fim de estabelecer padrões na

representação dos dados adquiridos.

Interpretação / Avaliação (Interpretation/Evaluation)

Interpretar as informações colhidas com a mineração de dados, podendo ser 

revisados as etapas de 1 á 6 quando necessário.

Implantação do Conhecimento Descoberto (Knowledge)

Adquirir todo este conhecimento descoberto ou documentá-lo e reportá-lo as

partes interessadas.

KDD e Data Mining 

17

Page 18: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 18/43

Dentre as várias etapas do processo KDD, a Data Mining  é uma das

principais, sendo muitas vezes confundida com o próprio KDD. O objetivo principal

do passo Data Mining no KDD é a aplicação de técnicas de mineração nos dados

pré-processados, o que envolve ajuste de modelos e/ou determinação de

características nos dados.

18

Page 19: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 19/43

MINERAÇÃO DE DADOS (DATA MINING )

Data Mining , que recebe o nome em português de Mineração de Dados ou

Extração de Dados, destaca-se como parte de um processo maior de pesquisa

denominado Descoberta de Conhecimento em Banco de Dados. Consiste em utilizar 

ferramentas matemáticas e estatísticas para se obter a partir de uma base de dados

uma extração completa de informações que aparentemente seriam inutilizáveis ao

longo do tempo. Com base neste conceito podem revelar estruturas de

conhecimentos, com o objetivo de descobrir regras e padrões importantes.

A intervenção do homem junto á ferramenta de mineração de dados é

imprescindível, pois a relação Humano-Computador garante uma apuração confiável

dos dados, podendo-se obter resultados mais precisos.

Um especialista na área primeiramente tem todo o trabalho de descobrir,

selecionar e apresentar de forma adequada quais dados são considerados úteis

para serem utilizados na Mineração de Dados. As informações são processadas

executando a Mineração de Dados, com o objetivo de apresentar informações

importantes de forma mais simplificadas, para um melhor entendimento dos dados

adquiridos. Resultados são avaliados com a extração a fim de se adquirir novos

conhecimentos, que podem ser expressos em formas de gráficos por exemplo.

Com os dados obtidos e previamente analisados é preciso que se tenha

uma noção da estrutura a ser utilizada, pois o próximo passo a ser feito é o que se

denomina como Data Warehouse, onde os dados são armazenados e explorados.

Funcionalidades

A funcionalidade da Mineração de Dados tem como objetivo especificar 

quais padrões entre registro e variáveis podem ser utilizados.

É fundamental que os conceitos de funcionalidades sejam bem definidos

para que a partir de então sejam escolhidas melhores técnicas a serem aplicadas

para se obter os resultados esperados. A classificação da funcionalidade em

Mineração de Dados é definida em Análise Descritiva e Análise de Prognóstico. A

19

Page 20: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 20/43

figura 2 ilustrada a seguir exibe essa forma de abordagem da funcionalidade na

mineração de dados:

Figura 2: Funcionalidades em Mineração de Dados [3]

 

Análise Descritiva

A análise descritiva representa a área de busca dos dados desconhecidos

dos usuários. Pode ser subdivida em Análise Prévia e Descobrimento.

Análise Prévia

Tem o objetivo de analisar uma base de dados identificando anomalias ou

resultados raros que possa influenciar nos resultados da Mineração de Dados.

Para facilitar a aplicação dos processos de Mineração de Dados, pode-se

subdividir a Análise Prévia em outras funcionalidades, conforme figura 3 a seguir:

20

Page 21: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 21/43

Figura 3: Sub-funcionalidades da Análise Prévia [3]

Descobrimento

É o processo de examinar uma base de dados com o objetivo de encontrar 

padrões "escondidos", sem que exista necessariamente uma idéia ou hipótese clara

previamente estabelecida. Em seguida a figura 4 ilustra as sub-funcionalidades do

processo Descobrimento:

Figura 4: Sub-funcionalidades do Descobrimento [3]

21

Page 22: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 22/43

Análise de Prognóstico

A Análise de Prognóstico tem como objetivo inferir resultados a partir dos

padrões encontrados na análise descritiva, representando a área de investigação.

A análise de prognóstico pode ser subdividida em Classificação, Estimação

e Predição.

Estimação

A Estimação é o processo de predizer um determinado valor, baseado em

um padrão já conhecido. Por exemplo, conhecendo-se o padrão de despesas e a

idade de uma determinada pessoa, pode-se estimar seu salário e número de filhos.

Predição

Procede-se em predizer um comportamento futuro, baseando-se em

diversos valores. Por exemplo, baseando-se na formação escolar, no trabalho atual

e no ramo de atividade profissional de uma pessoa, há possibilidade de predizer que

seu salário será de um certo montante até um determinado ano.

Classificação

É o processo responsável por predizer algum valor para uma variável

categórica. Por exemplo, pode-se em um banco financeiro, determinar um conjunto

de clientes que oferecem risco para contrair um empréstimo pessoal.

Técnicas para obtenção das Funcionalidades

Assim definidas as funcionalidades (resultados) a que se deseja chegar com

o processo de Data Mining , o próximo passo é definir quais técnicas devem ser 

utilizadas sendo mais aderentes para a obtenção dos resultados. O quadro 1 a

seguir, exibe um conjunto parcial de técnicas que podem ser utilizadas em cada

funcionalidade.

Após a demonstração do quadro, algumas técnicas que são utilizadas no

processo de Mineração de Dados serão descritas.

22

Page 23: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 23/43

Funcionalidades Sub-funcionalidade Técnica

Análise Prévia

Análise de outliersFerramentas de consulta e técnicas deestatísticaIndução por árvores de decisão

Analise de desviosFerramentas de consulta e técnicas deestatísticaIndução por árvores de decisão

Visualização Agregações e gráficos diversos 

Descobrimento

Classificação Indução por árvores de decisão

Análise de associações

Mineração de regras de associação (Análisede cesta de venda)

Mineração de regras de associaçãobooleanas unidimensionais a partir debancos de dados transacionaisMineração de regras de associação emmúltiplos níveis a partir de bancos de dadostransacionaisMineração de regras de associaçãomultidimensionais a partir de bancos dedados transacionais e data warehouseDa mineração de associação à análise decorrelaçãoMineração de associação baseada emrestrição

Agrupamento(clustering)

Métodos de particionamentoMétodos hierárquicosMétodos baseados em densidade

Métodos baseado em gridMétodos de clustering baseados emmodelosAnálise de outliers

Descrição do Conceito

Sumarização e Generalização dos dadosbaseados em caracterizaçãoCaracterização analítica - análise darelevância do atributo

Segmentação Indução por árvores de decisãoSumarização eVisualização

Agregações e gráficos diversos

 Estimação/Predi

çãoEstimação/Predição Regressão Linear

Regressão MúltiplaRegressão não Linear

23

Page 24: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 24/43

Regressão logísticaRegressão de Poisson

 

Classificaç ão Classificação

Indução por árvores de decisão

Classificação bayseanaClassificação por backpropagation - Redesneurais artificiaisClassificação baseada em conceitos damineração de regras de associaçãoClassificação por backpropagation - RedesneuraisAnálise de vizinhançaCasos baseados em raciocínioAlgoritmos genéticosAbordagem por conjuntos fuzzy 

Quadro 1: Funcionalidades e suas Técnicas [3]Ferramentas de consulta e técnicas de estatística

O primeiro passo em um projeto de mineração de dados pode ser uma

simples análise do conjunto de dados que será minerado, utilizando-se de

ferramentas de consultas. Aplicando-se funções da linguagem SQL de um banco de

dados relacional, pode-se obter importantes informações sobre a distribuição dos

dados. Diversos gráficos podem ser preparados utilizando os dados e estatísticas

gerados para facilitar as análises inicias.

Análise de vizinhança (K-nearest neighbor )

Esta técnica é uma técnica de pesquisa e não de conhecimento. Emprega-

se principalmente na análise de prognóstico.

Árvores de decisão

Uma Árvore de Decisão é um fluxograma semelhante a uma estrutura de

árvore, onde cada nó interno demonstra um teste ou atributo, cada ramo representa

o resultado do teste e cada folha representa a distribuição dos registros. Quanto

utilizada na análise de prognóstico, em classificação, é denominada indução por 

árvore de decisão. A figura 5 a seguir apresenta uma classificação utilizando um

algoritmo de árvore de decisão, para prognosticar o grupo de clientes mais propício

a comprar um determinado produto:

24

Page 25: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 25/43

Figura 5: Exemplo de uma árvore de decisão [6]

APLICAÇÕES EM DATA MINING 

As tecnologias de mineração de dados podem ser aplicadas em uma grande

variedade de contextos de tomada de decisão no ramo de negócios.

Para competir efetivamente, as organizações devem ser capazes de

compreender seus dados disponíveis. Identificar padrões e tomar decisões em

tempo permite que se mantenha a competitividade.

As técnicas de Data Mining têm sido aplicadas para encontrar respostas no

processo de minimização de custos, gerenciamento de estoque e geração de novas

idéias em diversas áreas.

Segmentação de Mercados

Um dos grandes objetivos de uma organização é conhecer os seus clientes.

Este conhecimento deve ocorrer em vários níveis, desde o tipo de produto desejado

até que tipo de ofertas eles estão dispostos a aceitar mesmo que os produtos não

sejam essenciais no momento. É interessante também, ter o conhecimento quanto

ao perfil médio do consumidor, sua renda, sexo, idade, tamanho da família, entre

outros aspectos. Com base nestas informações, a empresa poderá possuir em

estoque o que o cliente médio provavelmente necessite e realizar ofertas com certo

grau de certeza do seu sucesso a clientes específicos.

Varejo

25

Page 26: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 26/43

Vários fatores podem contribuir para a necessidade de previsão de vendas,

tais como a satisfação do cliente ao encontrar na loja o que deseja, o menos custo

som estoques por fato da manutenção de estoques mais ajustadas às vendas

futuras, a melhor alocação de vendedores em função de previsão das vendas para o

futuro período, entre outros.

Os parâmetros importantes a serem considerados quando se analisa a

disponibilidade de produtos em uma loja são a capacidade de produção e

distribuição da indústria produtora do item, a existência ou não de propaganda

realizada pelo produtor do item e o período do ano ou mês dependendo do produto

tratado.

Finanças

O volume de interesses e poder atrelados a ativos financeiros têm

despertado a atenção de muitos para informações estratégicas deste domínio.

Aplicações de minerações de dados vão da detecção de fraudes e lavagem de

dinheiro a analise de mercados, tendências e fomento especulativo. Análise de

crédito de consumidores e classificação de clientes para estratégias de marketing

figuram dentre as aplicações mais comuns.

Marketing

Diversos fatores podem ser incluídos na aplicação das técnicas de Data

Mining no ramo de marketing , entre eles a análise do comportamento do consumidor 

cm base em padrões de compra; a determinação de estratégia de marketing

incluindo propaganda, localização de lojas e mala direta; a segmentação de clientes,

lojas ou produtos; bem, como o projeto de catálogos, o layout de lojas e campanhas

publicitárias.

Saúde

Dados médicos também têm sido usados em técnicas de mineração de

dados a fim de se obter informações a respeito de pacientes, doenças, entre as mais

variadas informações presentes em dados de hospitais. Alguns exemplos são: a

análise de eficácia de certos tratamentos, a otimização de processos dentro de umhospital, o relacionamento de dados sobre o estado de saúde do paciente com a

26

Page 27: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 27/43

qualificação médica, a análise de efeitos colaterais de drogas, diagnose de doenças,

entre outros.

Outras Aplicações

Diversas áreas começam a utilizar as técnicas de mineração de dados,

visando conhecer e identificar padrões até então desconhecidos. Entre essas áreas

destacam-se as áreas de seguros, bancos, comunicações, exploração de petróleo,

entre outras.

EXEMPLO DE APLICAÕES

 Army and Air Force Exchange Service (AAFES)

O Army and Air Force Exchange Service (AAFES) determina os padrões de

vendas baseado na demografia dos consumidores. Por exemplo, a AAFES utiliza

mineração de dados automática para prever quanto uma mulher particular vai gastar 

anualmente, dadas a idade, os dependentes e o seu salário anual. Este nível de

detalhamento auxilia a AAFES a direcionar seus anúncios e vendas para a base de

consumidores adequada.

Wal-Mart 

A Wal-Mart  percebeu no início de 1989 que processamento paralelo e

mineração de dados poderiam ser utilizados na busca por informações comerciais

no seu banco de dados de mais de 6 Terabytes, e logo estes passaram a fazer parte

da sua nova estratégia comercial. Cerca de 2.300 consultas SQL complexas são

feitas diariamente e processadas paralelamente de maneira massiva nas suas

complexas operações de bancos de dados relacionais. Fitas de dados podem ser 

produzidas para paralelismo em série e dados podem ser particionados ou divididos

por operadores.

Outro exemplo foi desenvolvido pela Wal-Mart , em que a empresa descobriu

que o perfil do consumidor de cervejas era semelhante ao de fraldas. Eram homens

casados, entre 25 e 30 anos, que compravam fraldas e/ou cervejas à tarde no

caminho do trabalho para a casa. Com base nisso, a Wal-Mart  optou por uma

otimização das atividades junto às gôndolas nos pontos de vendas, colocando as

27

Page 28: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 28/43

fraldas ao lado das cervejas. Resultado: O consumo cresceu 30% às sextas-feiras

com a redefinição de layout baseada na conexão de hipóteses desenvolvidas pela

mineração de dados.

MasterCard 

A MasterCard International  processa diariamente cerca de 12 milhões de

transações e utiliza mineração de dados para extrair todos os tipos de estatísticas

sobre os portadores de cartões. Este processamento está incluído nas vendas do

data warehouse de transações para os mais de 20.000 parceiros comerciais. Isto

permite a visualização de diferentes classes de portadores de cartões e a análise de

como estes utilizam seus cartões para desenvolver promoções especializadas e

detecções de fraude.

Revendedora de Automóveis

Uma grande revendedora de automóveis de vários fabricantes nos seus

diversos modelos observando sua perda de venda e de clientes a cada vez que não

possuía o desejado carro em seus estoques e, contrapondo este fato com o alto

custo de manutenção de grandes estoques deste produto durável e caro, resolveudesenvolver um sistema de previsão de vendas. A empresa possuía um banco de

dados de vendas de carros nos últimos 5 (cinco) anos e desejava um sistema de

previsão capaz de avaliar as vendas 15 dias a frente pois este era o tempo

necessário para encomenda e transporte de novos itens.

Além da informação contida no banco de dados, é necessário contextualizar 

cada dado de venda com outras informações como a existência de propaganda

realizada pelo fabricante, se a venda foi realizada em certos períodos do ano maispropícios à compra de automóveis e também ao fim de cada mês quando há um

natural aquecimento das vendas. Como prever o futuro não é nada fácil, a maior 

quantidade de informação pertinente possível deve ser considerada em qualquer 

metodologia.

Foi escolhido pelo uso de uma rede neural. O treinamento da rede neural foi

feito com dados de quatro anos e meio deixando os últimos seis meses do período

de 5 (cinco) anos de vendas para que fosse testada a capacidade de previsão dosistema. O aprendizado mostrou-se eficiente tendo um erro máximo de previsão em

28

Page 29: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 29/43

algumas semanas de 20%, porém o erro médio se manteve dentro dos desejados

10%.

Desta forma, o sistema passou a prever as vendas dos próximos 15 dias

fornecendo mais tempo para a encomenda e transporte do produto. A cada quatro

semanas, a rede neural era ensinada de novo, incluindo-se os dados de mais 4

(quatro) semanas ocorridas seis meses antes e testando-se o erro de previsão

utilizando-se sempre os últimos 6 (seis) meses de vendas, agora incluindo as

últimas quatro semanas recentemente terminadas.

ALGORITMOS DE MINERAÇÃO DE DADOS

Os algoritmos de mineração de dados são os mecanismos que criam os

modelos de mineração. Para criar estes modelos, o algoritmo analisa o conjunto de

dados e procura por padrões e tendências. O algoritmo usa os resultados desta

análise para definir os parâmetros de mineração. Então, estes parâmetros são

aplicados ao conjunto completo de dados para extrair padrões e estatísticas

detalhadas.

Os modelos de algoritmos podem ser de diversos tipos: um conjunto de

regras que descreve como produtos estão agrupados, uma árvore de decisão que

pode dizer se um cliente em particular comprará um produto, um modelo matemático

mapeando previsões de vendas, entre outros.

Tipo de Algoritmos

Existem alguns algoritmos que são disponibilizados para o uso padrão,

desde que estes sejam compatíveis com a tecnologia utilizada. A seguir, destacam-

se alguns tipos de algoritmos.

Algoritmos de Classificação

Os algoritmos de classificação prevêem uma ou mais variáveis discretas,

com base nos outros atributos do conjunto de dados. Um exemplo de um algoritmo

de classificação é Algoritmo Árvores de Decisão.

Algoritmos de Regressão

29

Page 30: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 30/43

Os algoritmos de regressão prevêem uma ou mais variáveis contínuas,

como lucro ou perda, com base nos outros atributos do conjunto de dados. Um

exemplo de um algoritmo de regressão é Algoritmo MTS (Microsoft Time Series).

Algoritmos de Segmentação

Os algoritmos de segmentação dividem dados em grupos ou clusters de

itens que têm propriedades semelhantes. Um exemplo de um algoritmo de

segmentação é Algoritmo Microsoft Clustering .

Algoritmos de Associação

Os algoritmos de associação encontram correlações entre atributos

diferentes em um conjunto de dados. A aplicação mais comum desse tipo de

algoritmo é para criar regras de associação, que podem ser usadas em uma análise

de cesta básica. Um exemplo de um algoritmo de associação é Algoritmo

Associação da Microsoft .

Algoritmos de Análise de Sequências

Os algoritmos de análise de sequências resumem sequências frequentes ou

episódios em dados, como um fluxo de caminho da Web. Um exemplo de um

algoritmo de sequência é Algoritmo MSC (Microsoft Sequence Clustering ).

Aplicação dos Algoritmos

A escolha do algoritmo para realizar uma tarefa pode ser muitas vezes

complexa. Pode-se utilizar algoritmos diferentes para realizar a mesma tarefa

empresarial, embora cada algoritmo produz um resultado diferente, e alguns

algoritmos podem produzir mais de um resultado.

Os algoritmos não devem necessariamente ser utilizados

independentemente. Em uma solução de mineração de dados, é possível, por 

exemplo, utilizar algoritmos para explorar dados e em seguida utilizar outros

algoritmos para prever um resultado específico com base nesses dados.

A seguir, apresentam-se alguns exemplos de algoritmos.

30

Page 31: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 31/43

Árvore de Decisão

O algoritmo árvore de decisão fornece uma classificação de uma base de

dados que lhe é fornecida e gera um classificador na forma de uma árvore de

decisão. O algoritmo constrói a arvore de decisão de um conjunto de dados usando

o conceito de Entropia da Informação (nível de aleatoriedade dos dados). O

algoritmo árvore de decisão utiliza o fato de que cada atributo de dados pode ser 

usado para tomar uma decisão que particiona os dados em subconjuntos menores

examinando o ganho de informação normalizada, que é resultante da escolha de um

atributo. O atributo com maior ganho é aquele usado para tomar a decisão. O

algoritmo então procede recursivamente sobre as sub-listas menores.

Uma árvore de decisão descreve uma estrutura de árvore onde folhas

representam classificações e ramos representam conjunções de características que

levam às classificações. Uma árvore de decisão é uma estrutura de árvore onde

cada nó interno é um atributo do banco de dados de amostras, diferente do atributo-

classe, as folhas são valores do atributo-classe, cada ramo ligando um nó-filho a um

nó-pai é etiquetado com um valor do atributo contido no nó-pai. Existem tantos

ramos quantos valores possíveis para este atributo. Um atributo que aparece num

nó não pode aparecer em seus nós descendentes.

O algoritmo árvore de decisão é um algoritmo do tipo classificação.

Considerando a tabela 1 a seguir:

Tabela 1: Tabela exemplo para árvore de decisão [2]

A figura 6 a seguir ilustra uma possível árvore de decisão sobre esta tabela.

31

Page 32: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 32/43

Figura 6: Exemplo de árvore de decisão sobre a tabela 1 [2]

Algoritmo de Naive Bayes

O algoritmo de Naive Bayes é um algoritmo de classificação usado na

modelagem preditiva. Este nome deriva do fato de que este algoritmo usa o teorema

de Bayes, mas não leva em conta as dependências que possam existir entre os

dados e sendo assim é chamado de Naive, ou seja, ingênuo.

Este algoritmo pode ser usado para termos modelos de mineração rápidos

para descobrir relacionamentos entre colunas de entrada e colunas onde se tenta

realizar uma previsão. É utilizado para fazer uma mineração inicial dos dados e de

acordo com as saídas deste algoritmo, pode-se aplicar outro que seja mais preciso.

Algoritmo de Cluster 

O algoritmo de cluster é do tipo segmentação de dados. Ele utiliza técnicas

iterativas para agrupar os casos no conjunto de dados definindo porções que contém

características similares. Este agrupamento pode ser usado para explorar os dados

e identificar anomalias nestes dados.

Este algoritmo ajuda a identificar relações entre os dados que não são

facilmente visualizados em uma simples observação.

32

Page 33: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 33/43

ANÁLISE DE FERRAMENTAS

Existem ferramentas disponíveis no mercado que auxiliam no processo de

mineração de dados. A seguir serão apresentadas algumas destas ferramentas e

uma breve descrição sobre a mesma.

Oracle Darwin Data Mining Software

O Darwin Data Mining Software da Oracle é uma ferramenta de mineração

de dados que ajuda a transformar gigantes massas de dados em inteligência

corporativa. A ferramenta auxilia na busca por padrões significativos e correlações

em dados corporativos. Padrões que permitem um melhor entendimento e previsão

do comportamento de clientes.

Com a utilização da ferramenta, é possível traçar estratégias para vendas

conjuntas para clientes existentes, pode-se obter novos clientes, detectar fraudes,

identificar clientes mais lucrativos e traçar perfis de clientes com maior eficácia.

O software baseia-se em algoritmo de aprendizagem, implementando

algoritmos de arvore de decisão, rede neurais, entre outros. Possui também,

algoritmos para avaliação, otimização e comparação de modelos.

Na figura 7 ilustra-se o resultado de uma segmentação de clientes, através

de uma visualização interativa em forma de arvore de decisão.

33

Page 34: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 34/43

Figura 7: Janela da ferramenta Darwin [2]

IBM Intelligent Miner 

O DB2 Data Warehouse Edition (DWE), da IBM, é uma suíte de produtos

que combinam a administração de dados, com uma poderosa infra-estrutura de

inteligência corporativa. O DWE pode ser utilizado para construir uma completa

solução de data warehouse e gerenciá-la com uma solução única que integracomponentes núcleos com funcionalidades distintas.

Entre os componentes que compõem o DWE está o Intelligent Miner . É uma

ferramenta para análise de dados integrados. As tradicionais técnicas de mineração

de dados (análise de agrupamentos, análise de afinidades, classificação, estimativa

e previsão) são suportadas. Adicionalmente, ricos componentes de apresentação

estão disponíveis para possibilitar uma análise visual dos resultados.

A figura 8 a seguir, é uma janela da IBM Intelligent Miner  exibindo oagrupamento de clientes onde apenas alguns destes clientes possuem um cartão de

crédito internacional comparados à quantidade total de clientes.

34

Page 35: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 35/43

Figura 8: Janela da ferramenta IBM Intelligent Miner exibindo um gráfico de clientes [2]

SAS Enterprise Miner 

A ferramenta SAS Enterprise Miner é um software de mineração de dados

avançada. Combina um extenso pacote de ferramentas integradas de mineração de

dados com uma grande facilidade de utilização, capacitando os usuários a tirarem

proveito de dados corporativos para obter vantagem estratégica, tudo em um único

ambiente.

Entre outras funcionalidades, o sistema também disponibiliza uma tela que

demonstra graficamente todas as fases do processo de mineração de dados, desde

o acesso aos dados, até a análise dos resultados, dando todo suporte necessário a

cada etapa em uma única solução integrada. Na figura 9 a seguir, ilustra-se o fluxo

entre as etapas da mineração de dados utilizadas para a análise de um empréstimo.

35

Page 36: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 36/43

Figura 9: Fluxo de mineração de dados em análise de empréstimo [2]

DATA MINING NA BOLSA DE VALORES

O comportamento da bolsa é orientado por pressupostos altamente voláteis,

logo, conhecer o comportamento no passado não é garantia para prever o

comportamento futuro.

A evolução das cotações pode depender de fatores dificilmente

interpretáveis por algoritmos de inteligência artificial, tais como notícias com

repercussões negativas.

É impossível agregar a quantidade de informação necessária para

representar o conjunto de variáveis que justificam a evolução da bolsa, até porque

muitas vezes segue padrões comportamentais que desafiam a lógica de mercado.

Os indicadores da bolsa, por vezes surpreendentemente, até dão bonsresultados, no entanto é difícil escolher a melhor interpretação conjugada dos

36

Page 37: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 37/43

mesmos para definir estratégias de investimento, as ferramentas de aprendizagem

automática podem ajudar a conjugar toda esta informação da melhor forma.

Desde que seja possível reunir um volume de dados representativo,

teoricamente seria possível extrair informação útil que usando ferramentas menos

poderosas não seria descoberta.

Exemplo Prático

A aplicação de Data Mining  na tentativa de prever o comportamento da

bolsa tem sido largamente investigada nos últimos anos e tem dado origem aos mais

variados resultados.

Com a disponibilização de grandes volumes de dados históricos, via web, a

massificação de dados tornou possível a utilização de algoritmos de aprendizagem

automática em larga escala. Muitos padrões no comportamento das cotações na

bolsa foram descobertas utilizando ferramentas de Data Mining sobre as cotações

passadas em conjunto com outras grandezas relacionadas (por vezes sem relação

aparente).

A passagem de regras do comportamento da bolsa resultantes de Data

Mining para estratégias de investimento enfrenta obstáculos de peso. É essencial ter noção se um determinado padrão comportamental descoberto por Data Mining deve-

se apenas a um acaso nos dados de treino ou se existe fundamento estatístico para

ser utilizado na predição da evolução futura.

Análise dos Dados

Para dar inicio a um projeto de Data Mining deve-se proceder a um conjunto

de análises para entender as possíveis relações que se podem observar usando

ferramentas de análise tradicionais. É a partir deste tipo de análise que pode ser 

estabelecida a estratégia de triagem e processamento da informação de forma a

apresentar aquela mais relevante e no melhor formato, ao algoritmo de

aprendizagem automática. Para esta análise será demonstrada as cotações dos

títulos pertencentes ao índice NASDAQ entre os anos de 1997 e 2003

inclusivamente. Para este período é disposto um total de 167.954 registros de

cotações diárias.

Relação Entre a Evolução das Cotações Durante 1 Dia e o Dia da Semana

37

Page 38: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 38/43

Uma das questões de interesse seria verificar se a evolução das cotações

na bolsa difere em média consoante o dia da semana. Observando o gráfico da

figura 10 pode-se concluir que para o período de 1997 a 2003 o pior dia de bolsa

tem sido a segunda-feira. Enquanto que o melhor dia de bolsa é em média a quinta-

feira. Analisando esta diferença diária considera-se que o dia da semana poderá ser 

um atributo valioso para treino de modelos de Data Mining .

Figura 10: Evolução das cotações diárias para os títulos do índice NASDAQ para cada dia da semana [7]

Evolução da Cotação nos Dias que Antecedem uma Distribuição de Dividendos

Seria de esperar que quando se aproxima uma distribuição de dividendos e

logo após a mesma o comportamento das evoluções diárias das cotações fosse de

alguma forma afetado. Considerando a figura 11 a seguir, podemos verificar que em

média observa-se uma desvalorização acentuada nos primeiros quatros (4) dias,

recuperada ao 5º dia.

38

Page 39: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 39/43

Figura 11: Distribuições de Dividendos [7]

Evolução da Cotação após Grandes Valorizações

Com o objetivo de verificar se após grandes valorizações existem

comportamentos distintos para a maioria dos títulos, escolheram-se aqueles casos

cuja cotação subiu mais do que 15% em um (1) dia, tendo-se obtido os resultadosdo quadro 2 a seguir:

Quadro 2: Distribuição da evolução em duas classes (valorização e desvalorização) quando no dia anterior

aconteceu uma valorização superior a 15% [7]

Como se pode verificar pelo quadro anterior, logo após uma valorização

forte a tendência é de queda no primeiro dia, mas nos dias seguintes a tendência

para a valorização sobrepõe-se chegando a 59% de valorização 15 dias após a fortesubida.

39

Page 40: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 40/43

Considerando a sua aparente relação com o comportamento da bolsa, a

evolução nos dias anteriores deve ser considerada como um indicador valioso.

Evolução da Cotação após Grandes Desvalorizações

Nos períodos que se seguem a grandes desvalorizações (>15% em 1 dia)

observou-se o comportamento patente no quadro 3 a seguir:

Quadro 3: Distribuição da evolução em duas classes (valorização e desvalorização) quando no dia anterior

aconteceu uma desvalorização superior a 15% [7]

Também as grandes desvalorizações mostram uma forte relação com o

comportamento da bolsa nos dias seguintes. Após uma forte desvalorização atendência é sempre de recuperação sendo mais evidentes 15 dias após a

ocorrência.

Processo de Data Mining na Bolsa de Valores

A seguir a figura 12 ilustra um exemplo do processo de Data Mining :

40

Page 41: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 41/43

Figura 12: Exemplo de Aplicação de Data Mining na Bolsa de Valores [7]

CONCLUSÃO

O processo KDD e a Mineração de Dados fazem parte de uma evolução

natural da tecnologia da informação e tendem a aumentar esse nível de crescimento

41

Page 42: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 42/43

com o passar do tempo. A alta competitividade existente atualmente no mercado

fará com que as organizações busquem cada vez mais esse tipo de solução.

Grandes organizações utilizam esse tipo de ferramenta hoje em dia e a tendência é

que se torne uma prática cada vez mais comum além de evoluída.

A tecnologia de Data Mining está acessível a diversos ramos empresariais e

se trata de uma técnica que realmente pode trazer muitos benefícios, ganhos e

lucros.

Existem atualmente no mercado ferramentas de auxílio ao processo de Data

Mining. A utilização de um software de Mineração de Dados pode trazer descobertas

inovadoras aos seus usuários, porém, deve ficar claro que nenhuma destas

ferramentas trabalha por si só e elimina a necessidade de conhecimento e

entendimento do negócio e a compreensão dos dados a serem minerados.

A utilização das técnicas de Data Mining  na Bolsa de Valores é possível,

porém, esta abordagem sofre interferências de fatores imprevisíveis que inclusive

podem influenciar nos resultados finais.

Com a junção de um volume de dados significativo, e o auxílio de uma

ferramenta de alto nível, há possibilidade de extrair informações úteis para uma

futura aplicação na Bolsa de Valores utilizando as técnicas de Data Mining.

REFERÊNCIA BIBLIOGRÁFICA

[1] BORTOLI, Joel De. Data Maning – (Mineração de Dados). Disponível em

http://www.guiafar.com.br/portal/index.php?

42

Page 43: Data Mining Final

5/11/2018 Data Mining Final - slidepdf.com

http://slidepdf.com/reader/full/data-mining-final 43/43

option=com_content&view=article&id=159%3Adata-mining-mineracao-de-

dados&catid=43%3Atecnologia-da-informacao&Itemid=169&lang=pt. Acessado em

29/10/2011.

[2] NEGREIROS, Ângelo Vidal de, Data Mining. João Pessoa: Instituto

Federal de Educação, Ciência e Tecnologia. 2009.

[3] CORTÊS, Sergio da Costa. ROSA, Maria Porcaro. LIFSCHITZ, Sérgio.

Mineração de Dados – Funcionalidades, Técnicas e Abordagens. Rio de Janeiro:

PUC. 2002.

[4] SILVA, Marcelino Pereira. Mineração de Dados – Conceitos, Aplicações e

Experimentos com WEKA. Rio Grande do Norte: Universidade do Estado do Rio

Grande do Norte.

[5] STAHNKE, Fernando Rafael. Uso de Data Mining no Mercado Financeiro.

Novo Hamburgo: FEEVALE. 2008.

[6] SFERRA, Heloisa Helena. CORRÊA, Ângela M. C.. Conceitos e

Aplicações de Data Mining. Piracicaba: UNIMEP. 2003.

[7] SANTOS, José Carlos. BASTOS, Felipe Pereira. Sistema de Apoio à

Decisão para Investimento na Bolsa de Valores usando Data Mining. Monte da

Caparica: Faculdade de Ciência e Tecnologia. 2004

43