O que é BIG DATA e como pode influenciar nossas vidas
VIRADA CIENTÍFICA 2015 – IME/USP
Elaine Naomi Watanabe
Mestranda em Ciência da Computação no Instituto de Matemática e Estatística da Universidade de São Paulo (IME-USP)
Orientadora: Profa. Dra. Kelly Rosa Braghetto
Tema de Pesquisa: Gerenciamento de grandes volumes de dados em workflows científicos executados em nuvens computacionais
http://www.ime.usp.br/~elainew/
BIG DATA
ARMAZENAMENTO DE DADOS
Vocês já contaram
quantas fotos tiravam
antigamente e
quantas tiram hoje
em dia?
DADOS ESTATÍSTICOSDO NOSSO DIA A DIA
40 mil buscas por segundo
3,5 bilhões de buscas por dia
YOUTUBE
+ de 1 bilhão de usuários
+ de 100 milhões de horas de vídeo
assistidas por dia
DADOS ESTATÍSTICOSDO NOSSO DIA A DIA
968 milhões usuários ativos por dia
(844 milhões via dispositivos móveis por dia)
1,49 bilhões usuários ativos por mês
+ de 40 bilhões de fotos compartilhadas
3,5 bilhões de likes por dia
80 milhões de fotos por dia
400 milhões de usuários ativos por mês
DADOS ESTATÍSTICOSDO NOSSO DIA A DIA
300 bilhões de mensagens por dia
700 milhões de usuários por mês
Um usuário envia, em média, 43
mensagens por dia
+ de 500 milhões de tweets por dia
+ de 316 milhões de usuários ativos por
mês
DADOS ESTATÍSTICOSDO NOSSO DIA A DIA
NÚMERO DE SITES NO MUNDO:
+ de 942,1 milhões de sites
NÚMERO DE CELULARES NO MUNDO:
+ de 7,5 bilhões de celulares
NÚMERO DE USUÁRIOS DA INTERNET:
+ de 3,2 bilhões de usuários
NÚMERO DE PESSOAS NO MUNDO:
+ de 7,2 bilhões de pessoas
2,5 EXABYTES de dados por dia...
e esse número dobra a cada 40 meses
BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson
2,5 EXABYTES = 2,5 * 1024 PETABYTES = 2,5 * 1024 * 1024 TB = 2,5 * 1024 * 1024 * 1024 GB = 2,5 * 1024 * 1024 * 1024 * 1024 MB
Vamos analisar?
≈2,7 milhões de HDs de 1TB
≈600 bilhões de DVDs de 4,7GB
≈2 trilhões de disquetes de 1,44MB
POR DIA!
são
CRIAMOS MAIS DADOS POR SEGUNDO NA INTERNET DO QUE
ARMAZENAMOS EM TODA INTERNET NOS ÚLTIMOS 20 ANOS!
BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson
uma avalanche de dados
uma ENORME avalanche de dados
uma IMENSA avalanche de dados
mas isso é BIG DATA?
conjuntos de dados difíceis de se capturar, armazenar, analisar e
visualizar com as tecnologias atuais
BIG DATA
Data-intensive applications, challenges, techniques and technologies: A survey on Big Data. C.L. Philip Chen, Chun-Yang Zhang
3V’s
3D Data Management: Controlling Data Volume, Velocity, and Variety.
Doug Laney (Gartner)
VOLUME
+
VARIEDADE
+
VELOCIDADE
4V’s
Understanding Big Data. Paul Zikopoulos (IBM)
VOLUME + VARIEDADE + VELOCIDADE
+
VALOR ou
VARIABILIDADE ou
VIRTUAL
5V’s
Why only one of the 5 Vs of big data really matters.
Bernard Marr (IBM)
VOLUME + VARIEDADE
+ VELOCIDADE
+
VERACIDADE
+
VALOR
não existe uma definição exata pois
ela depende do domínio da aplicação
BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson
envolve captura, armazenamento, processamento, análise e
visualização de imensos volumes de dados
BIG DATA
EXPLORANDO O BIG DATA
DETECTAR MUDANÇAS ÚNICAS NA VIDA DAS PESSOAS
como a GRAVIDEZ
Mas como?
How Companies Learn Your Secrets http://www.nytimes.com/2012/02/19/magazine/shopping-
habits.html?_r=0
suplementos : primeiras 20 semanas loções sem perfume: segundo trimestre sabão sem perfume e muito, muito algodão: Vai nascer logo!
padrão de comportamento...
RECOMENDAÇÃO DE FILMES
Responsável por 75% das atividades de visualizações
The Science Behind the Netflix Algorithms That Decide What You’ll Watch Next
http://www.wired.com/2013/08/qq_netflix-algorithm/
Big Data Lessons From Netflix http://www.wired.com/insights/2014/03/big-data-lessons-netflix/
criado graças à
análise de BIG DATA
Giving Viewers What They Want
http://www.nytimes.com/2013/02/25/business/media/for-house-of-cards-using-big-
data-to-guarantee-its-popularity.html?_r=0
ENCONTRAR O PAR PERFEITO
Questionário “diferente”...
responsável por 4% dos novos
casamentos nos EUA
http://eharmony.com/
Data science of love http://www.infoq.com/presentations/eharmony-hadoop
PESQUISA COM
DESENVOLVEDORES JAVA
UM CLICK e descobriam
sobre a vida de cada um
Veja mais em:
Data Science – a vida real -
http://www.tailtarget.com/palestras-e-apresentacoes/
SUA VIDA ONLINE...
pode dizer se você é um bom candidato
para uma vaga
O big data antecipa a morte do currículo http://exame.abril.com.br/revista-exame/edicoes/1044/noticias/a-morte-do-curriculo
pode dizer se você se divorciou
Driven by Data: Your Bank Can Predict Your Divorce
http://www.forbes.com/sites/techonomy/2011/11/15/driven-by-data-your-bank-can-predict-your-divorce/
se você está desempregado
Tracking employment shocks using mobile phone data Jameson L. Toole, Yu-Ru Lin, Erich Muehlegger, Daniel Shoag, Marta C. González, David Lazer
se seu namoro vai acabar
Algoritmo prevê, no Facebook, quando um namoro vai acabar http://exame.abril.com.br/tecnologia/noticias/algoritmo-preve-no-facebook-quando-um-
namoro-vai-acabar
se a inflação vai subir nos próximos
meses
O que buscas no Google podem revelar sobre a inflação
http://exame.abril.com.br/economia/noticias/o-que-buscas-no-google-podem-revelar-sobre-a-inflacao
se cabelo enrolado vai ser a tendência
para o próximo ano
Data Science – A Vida Real
http://www.tailtarget.com/palestras-e-apresentacoes/
E O LADO RUIM?
NSA Agência de Segurança
Nacional dos Estados Unidos
ESPIONAGEM
YOTTABYTES de dados capturados 1024 ZettaBytes = 1024 * 1024 ExaBytes = + de 1 trilhão de HDs de 1 TB ALVO = o mundo inteiro Fonte: http://www.forbes.com/sites/metabrown/2015/08/27/nsa-mass-surveillance-biggest-big-data-story/
E O LADO BOM? E O LADO RUIM?
Diagnóstico de doenças
DETECTAR DEPRESSÃO PÓS-PARTO
VIA FACEBOOK OU TWITTER Predicting Postpartum Changes in Emotion and Behavior via Social Media:
http://dl.acm.org/citation.cfm?id=2466447
Characterizing and Predicting Postpartum Depression from Shared
Facebook Data: http://dl.acm.org/citation.cfm?id=2531675
CONTER EPIDEMIAS HealthMap + ebola:
http://www.healthmap.org/ebola/#timeline
Veja mais em : http://exame.abril.com.br/tecnologia/noticias/conheca-o-
brasileiro-que-ajudou-a-conter-o-avanco-do-ebola
Novas formas de ensinar e
aprender
• CRIAR CURSOS ONLINE
PERSONALIZADOS Veja mais em: https://www.ucl.ac.uk/public-policy/public-policy-
briefings/big_data_briefing_final.pdf
• ACOMPANHAR MUDANÇAS NA
VIDA DOS ESTUDANTES
UNIVERSITÁRIOS Veja mais em: http://vejasp.abril.com.br/materia/big-data-educacao/
E A NOSSA PRIVACIDADE?
CONSEGUIREMOS FUGIR DO MUNDO
DIGITAL?
QUEREMOS CONSEGUIREMOS
FUGIR DO MUNDO DIGITAL?
QUER SABER MAIS?
cursos online Coursera:
https://www.coursera.org/courses?query=big%20data
Big Data em Saúde no Brasil (USP)
https://www.coursera.org/course/bigdatabrasil
EDX:
https://www.edx.org/course?search_query=big+data
Big Data University:
https://bigdatauniversity.com/
Udacity:
https://www.udacity.com/courses/data-science
Standford online:
http://online.stanford.edu/search/node/big%20data
seus dados no google
Assuntos mais procurados no Google:
https://www.google.com/trends
Histórico de lugares visitados:
https://www.google.com.br/maps/timeline
Histórico de vídeos do Youtube:
https://www.youtube.com/feed/history
Seus assuntos preferidos:
https://www.google.com/settings/u/0/ads/aut
henticated
Histórico de buscas no Google:
https://history.google.com/history/
tendências na computação
Gerenciamento híbrido de dados: Modelos convencionais (como SQL) e
não-convencionais (como NoSQL)
Computação Móvel
Internet das Coisas (IoT)
Computação em Nuvem
DATA SCIENCE Big Data + Inteligência Artificial +
Estatística + Computação + ...
MUITO OBRIGADA! =D
REFERÊNCIAS
ESTATÍSTICAS DO YOUTUBE: http://www.youtube.com/yt/press/statistics.html ESTATÍSTICAS DO WHATSAPP: http://www.bbc.co.uk/newsbeat/article/30706412/whatsapp-record-number-of-messages-sent-each-day ESTATÍSTICAS DO GOOGLE: http://www.internetlivestats.com/google-search-statistics/ ESTATÍSTICAS DO INSTAGRAM: https://instagram.com/press/ ESTATÍSTICAS DO TWITTER: https://about.twitter.com/company ESTATÍSTICAS DO FACEBOOK: http://newsroom.fb.com/company-info/
NÚMERO DE CELULARES NO MUNDO: https://gsmaintelligence.com/ NÚMERO DE PESSOAS NO MUNDO: http://www.census.gov/popclock/ NÚMERO DE USUÁRIOS DA INTERNET: http://www.internetlivestats.com/internet-users/ NÚMERO DE WEBSITES: http://www.internetlivestats.com/total-number-of-websites/
BIG DATA: ISSUES AND CHALLENGES MOVING FORWARD S. Kaisler, F. Armour, J.A. Espinosa, W. Money 3D DATA MANAGEMENT: CONTROLLING DATA VOLUME, VELOCITY, AND VARIETY Doug Laney DATA-INTENSIVE APPLICATIONS, CHALLENGES, TECHNIQUES AND TECHNOLOGIES: A SURVEY ON BIG DATA C.L. Philip Chen, Chun-yang Zhang BIG DATA: THE NEXT FRONTIER FOR INNOVATION, COMPETITION, AND PRODUCTIVITY James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers BIG DATA: THE MANAGEMENT REVOLUTION. A. Mcafee E E. Brynjolfsson