aula 1 - analiseintdados-2015
DESCRIPTION
Aula de AIDTRANSCRIPT
-
Analise Inteligente de Dados-OZ@
UniTiva-2015
Analise Inteligente de Dados
Orlando Zacarias
-
Objectivos
Pretende-se abordar a problematica de analise de dados, como uma disciplina sobre
a umbrella de Data Science (Ciencia de
Dados), tambem denominada de Analise de
Big Data
Pre-requisitos: Conhecimentos de estatistica, estrutura de dados e algoritmos.
Conhecimento de programacao desejavel.
Espera-se que no fim do curso os estudantes tenham conhecimento das diversas tecnicas que podem ser usadas na analise de dados
Analise Inteligente de Dados-OZ@
UniTiva-2015
2
-
Dados e Informao
Dados: So representaes
codificadas de factos, eventos
ou outro tipo de entidades.
Podem ser palavras, nmeros,
ou outro tipo de cdigos ou
smbolos.
Informao: consiste num
conjunto de dados devidamente
organizados e articulados entre si,
de modo a assumirem um certo
significado e a poderem traduzir-
se em conhecimento para os
seres humanos.
Analise Inteligente de Dados-OZ@
UniTiva-2015
3
-
Dados e Informao (cont.)
Verifica-se um crescimento explosivo do nr de dados
Podem ser gerados: satelites, codigo de barras, sensores remotos, cartoes de credito, etc.
Enorme quantidade de informao existe sob forma no estruturada
Desafio actual consiste no desenvolvimento e aplicao de novas tecnicas para resgatar a
informao necessaria de entre enormes quantidades de dados
Analise Inteligente de Dados-OZ@
UniTiva-2015
4
-
Dados e Informao (cont.) Enquanto a quantidade de dados cresce
exponencialmente a cada ano, paradoxalmente, a
quantidade de informao significativa exibe um rapido
decrescimo
Torna-se cada vez mais dificil encontrar factos significativos que tanto procuramos.
Adopo de metodos e estrategias para filtrar, seleccionar e interpretar os dados, mais do que nunca
uma necessidade (um MUST.) para a sobrivivencia que qualquer organizao e negocio nos dias de
hoje.
Conduzira a extrao de informao e conhecimento adequado das necessidades de desenvolvimento da
organizao
Analise Inteligente de Dados-OZ@
UniTiva-2015
5
-
Informao como factor de produo
A chave para o sucesso nos negcios
conhecer algo que mais ningum sabe.
Aristotle Onassis
Organizaes com nvel de excelncia na extraco de informao e conhecimento,
tero uma melhor hiptese de sobrevivencia.
Devido a isto, a prpria informao hoje um
factor de produo valioso e importante.
Analise Inteligente de Dados-OZ@
UniTiva-2015
6
-
Informao como factor de produo (cont.)
Impacto no ambiente de negocio
1. Conduzir ao incremento da competetividade
Conhecimento dos padroes de comportamento dos clientes
Alerta sobre situao de saturao do mercado
Alerta sobre novas oportunidades de negocio
Oportunidades de noos canais de mercado em funo da necessidade de sua diferenciao
Auferir sobre a eficacia das tecnicas de marketing usadas
Ciclos de vida dos productos
Auferir sobre o incrmento da competio e riscos do negocio
2. Trinomio Clientes x Competidores x Dados Tipificao dos clientes (colocar em classes)
Padro de vendas,
Preveno de futuras estrategias em funo dos competidores
Evidencias de retorno de investimento, num processo dirigido por dados (por via de Data warehousing, query, OLAP e data mining)
Disponibilidade de historicos de sucesso ou failure, etc.
Analise Inteligente de Dados-OZ@ UniTiva-2015
7
-
Gesto e extrao da informao e do conhecimento
Disponibilidade de dados por via da bases de dados limpas e devidamente documentadas (Data
Warehousing)
Data warehouse um depsito de dados digitais que armazena informaes detalhadas de uma empresa, criando e
organizando relatrios atravs de histricos que so depois usados pela empresa para ajudar a tomar decises importantes
com base nos factos apresentados.
Para alm de manter um histrico de informaes, o Data Warehouse cria padres melhorando os dados analisados de todos os sistemas, corrigindo os erros e restruturando os dados
sem afectar o sistema de operao, apresentando somente um
modelo final e organizado para a anlise.
(http://www.significados.com.br/data-warehouse/)
Analise Inteligente de Dados-OZ@
UniTiva-2015
8
-
Gesto e extrao da informao e do
conhecimento (cont.)
Desenvolvimento de novas tecnicas de TICs Reduo de valores de aquisio de meios de armazenamento e
scalibility/scalable/escalavel (abilidade de hardware/software de
continuar a funcionar bem embora modifique seu tamanho ou
volume, satisfazendo os requisitos do utilizador)
Processamento ilimitado com recurso a arquitectura paralela de execuo de processos
Novas metodos de analise em Machine Learning (Aprendizagemm Maquina) Incremento no uso comercial de algoritmos com origem na
comunidade cientifica
Surgimento e introduo de melhores e escalaveis algoritmos
Incremento de joint ventures entre centros de pequisa e empresas comerciais
Analise Inteligente de Dados-OZ@
UniTiva-2015
9
-
SQL x OLAP x KDD
SQL permite analisar e encontrar dados rasos (sem dimenso), i.e. Permite obter informao
facilemente acessivel a partir do conjunto de dados
Analise de dados multidimensionais possivel usando OLAP Note-se que o resultado conseguido por via de OLAP, pode
ser alcanado com SQL (eficiencia reduzida), onde esta
ferramenta foi optimizada para analise e pesquisa
multidimensional
OLAP uma abordagem para fazer as pesquisas de dados no modo Multi-Dimensional Analytical (MDA). Enquadra-se
na categoria de Business Intelligence, abarcando base de
dados relacionais, gestao de relatorios e data mining
Analise Inteligente de Dados-OZ@
UniTiva-2015
10
-
SQL x OLAP x KDD (cont.)
Reconhece-se que 80% de informao interessante em uma base de dados pode ser extraida com recurso a
SQL
Adicionais 20%, constituem-se em dados ocultos e profundos Analise requer tecnicas mais avanadas no dominio de KDD
Relevancia superior emm organizaoes onde o marketing uma estrategia importante do negocio
Diversas tecnicas
Estatisticas
Visualizao
Semelhana e distancia
Arvores de deciso e regras de associao
Redes neurais e algoritmos geneticos
Maquina Vectoriais de Suporte, etc.
Analise Inteligente de Dados-OZ@ UniTiva-2015
11
-
SQL x OLAP
Explorao de dados inclue:
Representa a anlise tradicional dados (realizada-se como: linguagem query, grficos, estatsticas )
anlise multidimensional
Permite a disponibilizacao de representaes dos
dados adequadas obteno de informao
Considerando a Extraccao:
Visa extraco de informao para apoio deciso
Requer a formulao prvia de hipteses
Implica saber-se previamente o que vamos procurar
Analise Inteligente de Dados-OZ@
UniTiva-2015
12
-
KDD Extraco de Conhecimento em Bases de Dados (ECBD)
(Knowledge Discovery in Databases - KDD):
tcnicas e ferramentas para a anlise inteligente e automtica de bases de dados
Objectivo:
obteno de conhecimento no bvio e de valor para o
negcio a partir de grandes bases de dados
Permite a descoberta de informao sem formulao prvia de hipteses, i.e., no necessrio conhecer-se
previamente o que procuramos
Possui natureza exploratria
Minerao de Dados (data mining)
Algoritmos para detectar padres nos dados (constitui um das fases da extraco de conhecimento em BD)
Analise Inteligente de Dados-OZ@
UniTiva-2015
13
-
Resumindo: SQL x OLAP x KDD Quando sabemos exactamente o que procuramos:
Usa-se SQL
No caso de dados multi-dimenensionais, usa-se a OLAP
Conhecendo vagamente o que se busca, usa-se data mining
Inicialmente pouco ou quase nenhuma info temos do que exactamente procuramos Uso de data mining parece ser o mais adequado
Info poder, quem a possui mais vantagens tem no negoocio....
Analise Inteligente de Dados-OZ@
UniTiva-2015
14