Rio de Janeiro, 10 de julho de 2013 www.amtera.com.br

O que Big Data

Conjunto de tecnologias para captura, armazenamento e anlise de grandes volumes de dados;

No uma ideia nova;

Os trs V's:Volume

Velocidade

Variedade

O que Big Data

Definio da Gartner:Big Data so ativos de informao de extremo volume, alta velocidade e grande diversidade que demandam formas inovadoras e econmicas de processamento para melhores tomadas de deciso e insights.

Volume

1.2 ZB de informaes foram criadas em 2010 e at 2015 sero 7.9ZB (Fonte: EMC/IDC Extracting Value from Chaos, June 2011);

1 ZB = 1 trilho de gigabytes;

Mudana de paradigma, armazenar primeiro e perguntar depois;

Volume

Velocidade

Walmart processa mais de 1 milho de transaes de clientes a cada hora, aproximadamente 2.5 petabytes de informaes;

A cada minuto (Fonte: DOMO):48h de vdeos so enviados para o YouTube

571 novos sites so criados

Mais de 100 mil tweets so enviados

2083 check-ins so realizados via FourSquare

Variedade

Banco de dados, planilhas, documentos de texto, audios, vdeos, tweets, dados de sensores, click streams, arquivos de log, etc.

Veracidade

4 V?

Dado o volume a variedade e velocidade com que novos dados so armazenados, voc acredita neles?

Big Data

World Economic Summit, Davos Switzerland, 2012.Data is a new class of economic asset, like currency or gold.

Arquitetura Big Data

Principais desafios:Captura

Curadoria

Armazenamento

Busca

Compartilhamento

Anlise

Visualizao

Open Source Big Data

Banco de dados NoSQL (Not Only SQL)MongoDB

Cassandra

Neo4j

Virtuoso

HBase

Open Source Big Data

Processamento distribudo (Map Reduce)Apache Hadoop/HDFS

Hive

Impala

Pig

AnliseR

Pentaho

Big Data na Nuvem

Recursos computacionais sob demanda, elstico:Armazenamento

Processamento

Anlise

Exemplo de Arquitetura Big Data

Exemplo de Aplicaes Big Data

Big ScienceLHC possui cerca de 150 milhes de sensores gerando 40 milhes de amostras por segundo.

Com a tecnologia big data o genoma humano pode ser decodificado em 1 semana, no passado demorou 10 anos.

Exemplo de Aplicaes Big Data

Aplicaes SemnticasAnlise de sentimento

Extrao de relaes

Processamento de linguagem natural (NLP)

Busca e Recuperao da Informao

Reconhecimento de padres

Aprendizado de mquina (Machine Learning)

reas Big Data

Inteligncia de negcios;

Inteligncia competitiva;

Analytics

Anlise Big Data

Ferramentas especializadas, paradigma Map Reduce (Hadoop);

Novos insights e produtos podem ser desvendados;

E o mais importante: deve justificar o investimento em Big Data;

Anlise Big Data

Caso famoso:Target, uma loja de departamentos nos EUA, descobre que adolescente est grvida antes do pai (Fonte: Forbes)

Investimentos em Big Data

InicialmenteMo de obra qualificada;

Infraestrutura na nuvem;Ex: Amazon EC2

A longo prazoGesto / Governana;

Treinamento de mo de obra;

Infraestrutura prpria?

Investimentos em Big Data

Levantamento da Frost & Sullivan indica que o mercado brasileiro representa quase metade da receita de Big Data da Amrica Latina. Ele deve crescer 71% de 2012 para 2013, totalizando 576 milhes em solo nacional, e 33% de 2013 para 2014.

Adoo do Big Data

Crossing the Chasm;

O mercado brasileiro considerado conservador na aplicao da tecnologia;

Barreiras para adoo do Big Data

Falta de entendimento sobre o assunto;

Escassez de profissionais qualificados;

Preocupaes com a privacidade;

Segurana;

Alto custo;

Profissionais Big Data

Data Scientist, exige perfil multidisciplinar:

Data Scientist

Data Science: Incorpora tcnicas e teorias de vrias reas de estudo como matemtica, estatstica, modelagem, reconhecimento de padres, aprendizado de mquina, data warehousing, visualizao de dados, computao de alto desempenho e busca e recuperao da informao com o objetivo de extrair conhecimento e insights para novos produtos.

Big Data Administrator - BigDBA

Perfil operacional;

Foco em escalabilidade;

Domnio de ferramentas NoSQL;

Administrao dos recursos computacionais;

Apoio ao sistemas de Big Data;

Big Data Software Engineer

Arquiteto de solues Big Data;

Ecossistema Hadoop;

Computao distribuda;

Web Services;

Aprendizado de mquina;

Ferramentas NLP;

Linguagens de programao funcional;

Big Data

Dvidas?

Concluso

Aproveite a oportunidade, qualifique-se!

Rio Big Data Meetup, gratuito. http://www.meetup.com/Rio-Big-Data-Meetup

Referncias

EMC/IDC Extracting Value from Chaos, June 2011

http://en.wikipedia.org/wiki/Big_data

http://en.wikipedia.org/wiki/Data_science

Crossing the Chasm: Marketing and Selling Disruptive Products to Mainstream Customers, Geoffrey A. Moore

http://infocus.emc.com/william_schmarzo/crossing-the-chasm-with-big-data/

http://mike2.openmethodology.org/

http://www.gartner.com/it-glossary/big-data/

https://developers.google.com/bigquery/

http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/

http://en.wikipedia.org/wiki/MapReduce

Rio de Janeiro, 9 de abril de 2013 www.amtera.com.br