pré-processamento em big data
DESCRIPTION
Apresentação feita no PPGEE - Programa de Pós Graduação de Engenharia Elétrica da Universidade Federal do Pará Uma explanação geral sobre o funcionamento das principais ferramentas disponíveis no mercado para análise e pré-processamento de dadosTRANSCRIPT
Importância do Pré-Processamento
● Seleção de atributos
● Limpeza dos Dados
● Transformação
● Construção de atributos
● Discretização
Big Data 6 Vs
• Volume• Variedade• Velocidade
• Valor• Variabilidade• Veracidade
5 29/09/14
V
Pré-Processamento
Vs
Big Data
Open-Source
Desenvolvimento Acadêmico
Inovação
Novos Paradigmas
Critérios
Critérios
Batch X Real-time Processing
Batch Processing
Hadoop (MapReduce)
Hadoop (MapReduce)
Hadoop
HPCC SystemHPCC System
HPCC SystemAPACHE DRILL
HPCC SystemAPACHE DRILL
HPCC SystemAPACHE DRILL
HPCC SystemEcosystems
APACHE SPARK
APACHE SPARK
APACHE SPARK
Yahoo S4
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Considerações Finais
● Hot Topic
● Muitas ferramentas e frameworks disponíveis
● Importante conhecer o domínio
● Cuidado! Não existe chave mestra!
● Potencial em aprendizagem de máquina
