cientista de dados – dominando o big data com software livre

Cientista de Dados – Dominando o Big Data com Software Livre

Palestrante: Marcio Junior Vieiramarcio@ambientelivre.com.br

Marcio Junior Vieira

● 15 anos de experiência em informática, vivência em desenvolvimento e análise de sistemas de Gestão empresarial.

● Trabalhando com Software Livre desde 2000 com serviços de consultoria e treinamento.

● Graduado em Tecnologia em Informática(2004) e pós-graduado em Software Livre(2005) ambos pela UFPR.

● Palestrante em diversos Congressos relacionados a Software Livre tais como: CONISLI, SOLISC, FISL, LATINOWARE, SFD, JDBR, Campus Party, Pentaho Day.

● Organizador Geral do Pentaho Day 2015 e apoio nas edições 2013 e 2014.● Fundador da Ambiente Livre Tecnologia.● Instrutor de Big Data - Hadoop e Pentaho

Ecosistema da Ambiente Livre

Colaborações com Eventos

Big Data - Muito se fala...

2005 na apresentação do Papa Bento XVI

 2013 na apresentação do Papa Francisco

Big Data

● É um novo conceito se consolidando.● Grande armazenamento de dados e maior

velocidade

Big Data

Os 4 V's

● Velocidade, Volume, Variedade e Valor

Volume

● Modelos de Persistência da ordem de Petabytes, zetabytes ou yottabyte(YB).

● Geralmente dados não estruturados.

● Um Zettabyte corresponde a 1.000.000.000.000.000.000.000 (10²¹) ou 1180591620717411303424 (2 elevado a 70) Bytes.

Velocidade

● Processamento de Dados● Armazenamento ● Analise de Dados

Variedade

● Dados semi-estruturados● Dados não estruturados● Diferentes fontes● Diferentes formatos

Valor

● Tomada de Decisão● Benefícios● Objetivo

do Negócio.

O novo V: Veracidade

Veracidade refere-se a confiabilidade dos dados. Com muitas formas de grandes qualidades e precisão dos dados são menos controláveis (basta pensar em posts no Twitter com hash tags, abreviações, erros de digitação e linguagem coloquial, bem como a confiabilidade e a precisão do conteúdo), mas agora a tecnologia permite-nos trabalhar com este tipo de dados .

O momento é agora

Tomada de Decisão

● 1 em cada 3 gestores tomam decisão com base em informações que não confiam ou não tem

● 56% sentem sobrecarregados com a quantidade de dados que gerenciam

● 60% acreditam que precisam melhorar captura e entender informações rapidamente.

● 83% apontam que BI & analytics fazem parte de seus planos para aumentar a competitividade

fonte : Survey KPMG.

Onde usar Big Data ?● Sistemas de

recomendação

● Redes Sociais

Onde usar Big Data ?

● Analise de Risco (Crédito, Seguros , Mercado Financeiro)

● Dados Espaciais ( Clima , Imagens, Trafego, Monitoramento)

● Energia Fotovoltaica(Medições , Estudos, Resultados )

Big Data X BI

● Big Data e uma evolução do BI, devem caminhar juntos

● Data Warehouses são necessários para armazenar dados estruturados

Previsão:● BI – Casos específicos● Big Data – Analise geral

Data Lake

Cases

O Profissional“data scientist”

Novo profissional: Cientista de Dados

Cientista de dados

● Gartner: necessitaremos de 4,4 Milhões de especialistas até 2015 ( 1,9M América do Norte, 1,2M Europa Ocidental e 1,3M Ásia/Pacifico e América Latina)

● Estima-se que apenas um terço disso será preenchido. ( Gartner )

● Brasil deverá abrir 500 mil vagas para profissionais com habilidades em Big Data

● As universidades do Brasil ainda não oferecem graduação para formação de cientistas de dados

Competências

● Fonte http://www.datascientist.com.br/Artigo.aspx?ID=Competencia_de_um_cientista_de_dados_um_breve_exemplo_de_uma_analise_de_redes

Tendências

TendênciasCitizen Data Scientist

De onde ?

Ferramentas de Big Data

Software Livre

Muitos das melhores e mais conhecidas ferramentas de dados disponíveis são grandes projetos de código aberto. O  mais conhecido deles é o Hadoop, o que está gerando toda uma indústria de serviços e produtos relacionados. 

Hadoop

● O Apache Hadoop é um projeto de software open-source escrito em Java. Escalável, confiável e com processamento distribuído.

● Filesystem Distribuído● Inspirado Originalmente pelo GFS e MapReduce da Google

( Modelo de programação MapReduce)● Utiliza-se de Hardware Comum ( Commodity cluster computing )● Framework para computação distribuída● infraestrutura confiável capaz de lidar com falhas ( hardware,

software, rede )

Distribuições Hadoop

● Open Source Apache

● Comercial Open Source- Cloudera- HortoWorks- MapR- AWS MapReduce

Motivações Atuais - Hadoop

● Grande quantidade ( massiva ) de dados● Dados não cabem em uma máquina● Demoram muito para processar de forma serial● Máquinas individuais falham● Computação nas nuvens● Escalabilidade de aplicações● Computação sob demanda

Fundação Apache

● Big Data = Apache = Open Source● Apache é lider e Big Data!● ~31 projetos de Big Data incluindo “Apache

Hadoop” e “Spark”●

Ecosistema - Hadoop

O que é HDFS

● Hadoop Filesystem

● Um sistema de arquivos distribuído que funciona em grandes aglomerados de máquinas de commodities.

Características do HDFS

● Projetado para trabalhar com arquivos muito grandes e grandes volumes

● Executado em hardware comum● Streaming de acesso a dados● Replicação e localidade● Projetado para escalar a petabytes de

armazenamento, executa em cima dos sistemas de arquivos do sistema operacional subjacente.

   Fonte: http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

HDFS - Replicação

● Dados de entrada é copiado para HDFS é dividido em blocos e cada blocos de dados é replicado para várias máquinas

MapReduce

● É um modelo de programação desenhado para processar grandes volumes de dados em paralelo, dividindo o trabalho em um conjunto de tarefas independentes

Programação Distribuída

MapReduceMap Reduce

HBase

● Banco de dados orientada por colunas distribuída. HBase usa o HDFS por sua subjacente de armazenamento e suporta os cálculos de estilo lote usando MapReduce e ponto consultas (leituras aleatórias)

Hive

● Armazém de dados (datawarehouse) distribuídos. Gerencia os dados armazenados no HDFS e fornece uma linguagem de consultabaseada em SQL para consultar os dados.

PIG

● PIG - linguagem de fluxo de dados e ambiente de execução para explorar grandes conjuntos de dados.Executado no HDFS e grupos MapReduce.

Mahout

● O objetivo primário de criar algoritmos de aprendizagem por máquina escaláveis de fácil uso comercial para a construção de aplicativos inteligentes

● O Mahout contém implementações para armazenamento em cluster, categorização, CF, e programação evolucionária. Além disso, quando prudente, ele usa a biblioteca Apache Hadoop para permitir que o Mahout escale de forma efetiva na nuvem

● Diversidade de algorítimos

ZooKeeper

● Serviço de coordenação altamente disponível e distribuído. Fornece funções de bloqueios distribuídos que podem ser usados para a construção de aplicações distribuídas.

Sqoop

● Ferramenta para a movimentação eficiente de dados entre bancos de dados relacionais e HDFS.

Apache Spark

● 100x mais rápido que Hadoop● Programação com Scala,

Java, Python ou R●

Apache Cassandra

● É um tipo de banco nosql que originalmente foi criado pelo Facebook e que atualmente é mantido pela Apache e outras empresas.

● Banco de dados distribuído baseado no modelo BigTable do Google e no sistema de armazenamento Dynamo da Amazon.com.

Apache Hama

● Apache HamaTM é uma estrutura para análise de Big Data, que usa o modelo de computação paralela Synchronous Parallel (BSP), que foi criada em 2012 como um projeto de nível superior da Apache Software Foundation.

● Ele fornece não só modelo de programação BSP pura, mas também vértice e neurônio modelos de programação centrada, inspirado por Pregel e DistBelief do Google.

Apacha CounchDB

● É um banco de dados de código-aberto que foca na facilidade de uso e na filosofia de ser "um banco de dados que abrange a Web"

● NoSQL, usa JSON para armazenar os dados, ● JavaScript como sua linguagem de consulta usando o

MapReduce, e HTTP como API1 . ● Facilidade na replicação. ● Cada banco de dados é uma coleção de documentos

independentes, e cada documento mantém seus próprios dados e esquemas.

MongoDB

● MongoDB é uma aplicação open source de alta performance, sem esquemas, orientado a documentos. Foi escrito na linguagem de programação C++. Além de orientado a documentos, é formado por um conjunto de documentos JSON

Titan Grafh

● É um banco de dados gráfico escalável otimizado para armazenar e consultar gráficos contendo centenas de bilhões de vértices e arestas distribuídos através de um cluster multi-máquina.

● Pode suportar milhares de usuários simultâneos executando traversals gráfico complexos em tempo real.

● Suporta aos storages Apache Cassandra, Apache HBase , MapR Tables, Oracle BerkeleyDB (local)

Neo4J

● É um banco de dados gráfico open-source, implementado em Java. Integrado, totalmente com transacional e persistência Java. Armazena dados estruturados de grafos ao invés de tabelas.

● Neo4j é o banco de dados gráfico mais popular.

● Solução de BI Open Source.● Community Edition● Solução completa de BI e BA ( ETL,

Reporting, Mineração, OLAP e Dashbards, etc)

Pentaho Orquestrando Hadoop

Pentaho Data Integration

Sparkl

● CTools e Pentaho Data Integration (PDI)● Desenvolve frontend comk CTools● Implementamos backend com PDI

Modelo tradicional de Uso

Empresa Usando Hadoop

● Amazon● Facebook● Google● IBM● Yahoo● Linkedin

● Joost● Last.fm● New York Times● PowerSet● Veoh● Twitter● Ebay

Big Data no Brasil e com Hadoop

Principais desafios

● O Big Data não envolve só mudança de tecnologia, envolve adaptação de processos e treinamento relacionado à mudança de gestão e analise de dados ( MERITALK BIG DATA EXCHANGE, 2013)

● A maioria dos lideres não seba lidar com essa grande variedade e quantidade de informações, e não tem conhecimento dos benefícios que uma analise bem feita destas dados poderia trazer ao seu negocio( COMPUTERWORLD, 2012)

● Falta da cultura: a maioria das empresas não fazem um bom trabalho com as informações que já tem.

● Desafios dos Os 5 V !● Privacidade, A identidade do usuário, mesmo preservada pode ser

buscada... ( Marco Civil da Internet )

Recomendações

● Comece com o problema , e não com os dados

● Compartilhe dados para receber dados● Suporte gerencial e executivo● Orçamento suficiente● Melhores parceiros e fornecedores

Big Data

● “Big Data hoje é o que era a Linux em 1991.

● Sabemos que será algo revolucionário, mas não sabemos o quanto...”

Contatos

● e-mail: ● marcio @ ambientelivre.com.br ● http://twitter.com/ambientelivre● @ambientelivre● @marciojvieira● Blog

blogs.ambientelivre.com.br/marcio● Facebook/ambientelivre