big data e nosql

Banco de Dados II - 2015.1Big Data e NoSQL

Big Data - Definição

O que não é:

3Imagem disponível em: <http://bit.ly/1HD7Q5V>


O que é:

● Termo nasceu nos anos 90, na NASA.● Descrição de grandes conjuntos de dados complexos que

desafiavam os limites computacionais tradicionais de:○ captura○ processamento○ análise○ armazenamento

4


O que é:

“Conjuntos de dados extremamente amplos e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.” [ALECRIM, 2013]

“Transformação na forma como a informação é captada, processada e disseminada em todos os níveis da sociedade.” [AVOYAN, 2013]

“Análise de grandes quantidades de dados para a geração de resultados importantes que, em volumes menores, dificilmente seriam alcançados.” [ALECRIM, 2013]

5


MAS E AÍ? O QUE É ISSO???

CONCEITO DA ANÁLISE DE GRANDE QUANTIDADE DE DADOS ESTRUTURADOS E NÃO

ESTRUTURADOS, GERANDO INFORMAÇÕES ANTES NÃO

RELACIONADAS. 6

Big Data - Contextualização

● Emails

● Blogs

● Redes Sociais

● Aplicações

● Gadgets

● IoT

● Cidades Inteligentes

7Imagem disponível em: <http://bit.ly/1JmL7ve>


Crescimento na produção e fluxo de dados.

8

0 a 2003: 5 exabytes

até 2012: 2.7 zettabytes

até 2015: 8.1 zettabytes

Fonte: Intel Brasil em <http://bit.ly/1ObiC7g>

1 exabyte = 1.000.000.000 de GB

1 zettabyte = 1.000.000.000 de TB

Imagem disponível em: <http://bit.ly/1HD7XP2>


9

Fontes: http://canaltech.com.br/noticia/redes/Estudo-preve-aumento-de-10x-no-trafego-global-de-dados-moveis-ate-2019/http://olhardigital.uol.com.br/noticia/trafego-de-redes-sociais-mais-que-dobra-em-um-ano/39461http://www1.folha.uol.com.br/tec/2015/02/1595790-redes-sociais-e-videos-lideram-trafego-de-web-movel-no-mundo-diz-estudo.shtml


10Fonte: http://www.cisco.com/web/PT/press/articles/2015/20150203.html

Big Data - Motivação

● Forma como estas informações são tratadas

● Informação é dinheiro!

● 1kg de ferro (R$ 3,81) vs. 1kg de satélite (U$$ 50.000)

● Uso destas informações como ativos empresariais

11

Big Data - Objetivos

Ter, a partir de análise de dados em massa, informações valiosas sobre o que se analisa.

12


Objetivos distintos:

● Combater o câncerEm parceria com um consórcio da área de saúde, a IBM está usando seu supercomputador

Watson para escanear mutações genéticas e descobrir o melhor tratamento para cada tipo de câncer.

● Medir inflaçãoEm São Francisco,a startup Premise paga 700 colaboradores que tiram fotos do preço e

disponibilidade de alguns produtos nas prateleiras de 25 cidades na Ásia, América Latina (incluindo o Brasil) e Estados Unidos. Reunidos, os dados são usados para medir inflação.

● Acabar com engarrafamentosA Prefeitura de Dublin fez um acordo com IBM e usou câmeras e GPS para monitorar trânsito

da cidade a fim de evitar congestionamentos e a lotação de transportes públicos.● Oferecer filmes

Hoje, o Netflix já usa dados de big data para indicar filmes para os usuários do site de acordo com suas preferências.

13


Objetivos distintos:

● Prever fim de namoroUm algoritmo no Facebook analisou 8,6 bilhões de conexões de 1,3 milhão de usuários do

Facebook para aprender a prever quando um namoro está perto do fim.

● Evitar suicídiosO Durkheim é um projeto que acompanha redes sociais para detectar palavras e frases que

caracterizem o autor como um potencial suicida.

● Encontrar namoradosO OkCupid e outros sites de encontro já usam big data para identificar entre seus usuários

cadastrados quais são aqueles que tem a maior chance de formar casais com potencial de dar certo.

● Eleger candidatosNas eleições de 2012, Barack Obama recolheu por 18 meses dados sobre seus eleitores na

internet. Isso permitiu uma melhor compreensão dos interesses e preocupações do eleitorado e, provavelmente, o ajudou a ser reeleito presidente dos EUA.

14

Big Data - ObjetivosObjetivos distintos:

● Evitar fraudesEm parceria com a Accenture, uma grande operadora de celular brasileira (que a Accenture

não conta qual é por razões contratuais) desenvolveu um sistema baseado em big data voltado para a indústria financeira. Ao informar dados relativos à localização de smartphones, a novidade pretende inibir as fraudes nas compras com cartão.

● Espionar pessoasEm 2013, Edward Snowden revelou a existência na NSA do X-Keyscore, que captura todo o

conteúdo que trafega na conexão interceptada para, depois, analisá-lo e extrair os dados desejados. Só em 2012, agências federais dos EUA gastaram 5 bilhões de dólares com pesquisas em big data - o investimento deve chegar a 8 bilhões de dólares em 2017.

● Ganhar a Copa!!!A Seleção Alemã usou uma solução de big data chamada Match Insights. O aplicativo deixa

técnicos e preparadores processarem todo o volume de informações que é gerado em uma partida ou mesmo na preparação. Dessa forma, eles avaliam situações de jogo e descobrem o que é mais indicado para cada um da equipe fazer nos treinos.

15

Big Data - Como Funciona

5 Vs do Biga Data

● Volume

● Variedade

● Velocidade

● Veracidade*

● Valor*

16

Big Data - Como Funciona

● Bancos Comuns, por que não?

○ Elasticidade

○ Padrão ACID (atomicidade, consistência, isolamento, durabilidade)

● O Big Data se baseia nas propriedades do padrão BASE (basicamente disponível, estado leve, eventualmente consistente).

17

Big Data - Estudos de Caso

● IBM Many Eyes● IBM Watson Analytics

18

manyeyesImagem disponível em: <http://bit.ly/1Oii5Av>

NoSQL

O que não é:

NoSQL não significa uma negação ao SQL

19Imagem disponível em: <http://bit.ly/1SriphD>

NoSQL

O que é:

NoSQL significa uma alternativa aos bancos de dados relacionais.

20Imagem disponível em: <http://bit.ly/1e4CXia>

NoSQL - Definição

Segundo seu autor, Carlo Strozzi(2007), o NoSQL "é

completamente distinto do modelo relacional e portanto deveria ser mais apropriadamente chamado ‘NoREL’ ou algo que produzisse o mesmo efeito".

21

NoSQL - Contextualização

● Popularização da Internet

● Crescimento na quantidade de dados

● Redes sociais

● Dados gerados através de dispositivos

móveis

● Análise de dados22

NoSQL - Contextualização

23Fonte: http://www.bbc.com/portuguese/noticias/2015/04/150429_divulgacao_pnad_ibge_lgb

NoSQL - Motivação

● Escalabilidade● Suporte a dados semiestruturados, não

estruturados ou complexos● Necessidade de mais desempenho● Dificuldades do SQL com distribuição

horizontal

24

NoSQL - Motivação

● Então o NoSQL é a solução para todos os problemas?

● Bancos relacionais são mais indicados em situações nas quais os dados são muito importantes e não pode haver nenhuma quebra de referência. Ex.: Transações bancárias

25Imagem disponível em: <http://bit.ly/1Objqci>

NoSQL - Porque SGBDs não são recomendados?

Modelo de garantia baseado no ACID

Inviabiliza a distribuição de dados de forma

elásticaEsse tipo de controle é quase inviável se dados e processamento são divididos em vários nós

26

NoSQL - Teorema CAP

O Teorema CAP (Consistency, Availability, Partition tolerance) diz que só é possível garantir duas dessas propriedades simultaneamente em um ambiente de processamento distribuído de grande porte.

27

CO

NSI

STEN

CY AVA

ILAB

ILITY

PARTITION TOLERANCE

NoSQL - Como funciona

NoSQL utiliza o paradigma BASE, trazendo uma sensível garantia de consistência dos dados, se comparados aos SGBDs tradicionais.

BA -> se um nó cair, os outros continuam processandoSs/Ec -> o banco está sempre em estado leve, de mudanças, de acordo com as entradas de dados. Com o tempo, consigue desenvolver um padrão de consistência.

28

NoSQL - Tipos de armazenamento

Há vários tipos de armazenamento, com características específicas Isso possibilita que cada banco seja usado para uma finalidade diferente

29

NoSQL - Key/Value Store (Chave/Valor)

É o tipo mais simples. Há uma chave e um valor para a mesma.Aguenta mais carga de dados.Possui a maior escalabilidade.

30Imagem disponível em: <http://bit.ly/1gCE4Yl>

Imagem disponível em: <http://bit.ly/1I8o6Q3>Imagem disponível em: <http://bit.ly/1J1l54S>

NoSQL - Column Oriented Store

Bancos de dados relacionais que possuem características do NoSQL.Dados armazenados em colunas.

31Imagem disponível em:http://bit.ly/1TKNS0F Imagem disponível em: http://bit.ly/1RHEKMH Imagem disponível em: http://bit.ly/1KeZ9Vq

32

Bancos relacionais

Bancos orientados a coluna

id1, nome1, senha1

id2, nome2, senha2

id1, id2 nome1, nome2 senha1, senha2

NoSQL - Column Oriented Store

NoSQL - Wide Columns Store

Suporta várias linhas e colunas.Permite subcolunas.

33Imagem disponível em: <http://bit.ly/1CHXPaS> Imagem disponível em: <http://bit.ly/1e1orba> Imagem disponível em: <http://bit.ly/1LaWEn8l>

NoSQL - Document Store

Baseados em documentos XML e JSON.Podem ser localizados por ID único ou qualquer registro no documento.

34Imagem disponível em: <http://bit.ly/1DhPeGQ> Imagem disponível em: <http://bit.ly/1JiVRL5> Imagem disponível em: <http://bit.ly/1I3FDuJ>

NoSQL - Graph Store

Mais complexoGuarda objetos ao invés de registros.

35Imagem disponível em: <http://bit.ly/1M6DyxH> Imagem disponível em: <http://bit.ly/1M6DG0r> Imagem disponível em: <http://bit.ly/1HyGqhE>

NoSQL - Modelagem

A modelagem relacional é feita a partir de uma estrutura de dados disponível. Que respostas eu tenho?

A modelagem NoSQL é feita a partir de padrões de acesso específicos do aplicativo. Que perguntas eu tenho?

36

NoSQL - Modelagem

Na modelagem NoSQL é preciso ter uma compreensão mais profunda de Estruturas de Dados que na modelagem relacional.A desnormalização e duplicação de dados é muito importante nos bancos não relacionais.Existem várias técnicas para modelar, dependendo do tipo de banco NoSQL.

37

NoSQL - Modelagem

A desnormalização consiste em copiar os mesmos dados em vários documentos ou tabelas, com o objetivo de simplificar o processamento de consultas

38

NoSQL - Modelagem

Algumas técnicas de modelagem:

● Desnormalização● Agregação● Agregados atômicos● Chaves enumeráveis● Redução de dimensionalidade

39

NoSQL - Estudo de Caso

40Imagem disponível em: <http://bit.ly/1GmUCIz>

NoSQL - Estudo de Caso - Netflix

A empresa utiliza três tipos de bancos NoSQL:

● SimpleDB (Key/Value)● HBase (Wide Columns)● Cassandra (Wide Columns)

41


Por que usar SimpleDB?● A Netflix utiliza o serviço AWS, da

Amazon. Como o SimpleDB também é da Amazon, esta foi uma escolha natural.

● Operações como vários atributos chave de linha e operações em lote também fizeram diferença na escolha.

42


Por que usar HBase?● Ele está muito ligado ao Hadoop● Possibilita a escrita de consultas em

tempo real● Possibilita combinar consultas HBase

com o lote Map-Reduce do Hadoop

43


Por que usar Cassandra?● Grande capacidade de escalabilidade● Consegue replicar dados

assincronamente através de múltiplas regiões geográficas

● Escala dinamicamente, adicionando servidores sem necessidade de reiniciar ou re-shard

44

Trabalho Prático

Locadora de Filmes

● Redis● Recomendação por interesses

45

Q & A

1. Qual o conceito de Big Data?R. Análise de grande quantidade de dados estruturados e não estruturados, gerando informações antes não relacionadas.

2. Quais são as 5 características que definem o Big Data? (5 Vs)R. Volume, Variedade, Velocidade, Veracidade, Valor

3. Por que é difícil trabalhar com Big Data nos bancos tradicionais?R. Bancos tradicionais comprometem a elasticidade, são padrão ACID. O Big Data se baseia nas propriedades do padrão BASE.

46

Q & A

4. O que é NoSQL?R. É uma alternativa aos bancos de dados relacionais, devido a necessidade de mais desempenho, suporte a dados complexos e escalabilidade.

5. O NoSQL é sempre o mais indicado em todos os casos?R. Não! Os bancos relacionais são mais indicados se os dados forem muito importantes e não puder haver quebra de referência.

6. Cite três tipos de armazenamento utilizados pelos bancos NoSQL:R. Key⁄Value Store, Wide Columns Store, Document Store, Graph Store, Column Oriented Store

47

Conclusão & Perguntas

Trabalho apresentado ao Professor Pablo, como requisito parcial para a obtenção de aprovação na disciplina de Banco de Dados II, do curso de Bacharelado em Sistemas de Informação, no Instituto Federal de Educação, Ciência e Tecnologia da Bahia. Vitória da Conquista, Julho de 2015.

Allexandre Sampaio

Italo Miranda

48

ReferênciasALECRIM, Emerson. O que é Big Data?. 2015. Disponível em: <http://www.infowester.com/big-data.php> Acesso em: 25 mar. 2015.

AVOYAN, Hovhannes. Big Data – O que é e por que é importante – Parte 01. 2013. Disponível em: <http://imasters.com.br/gerencia-de-ti/tendencias/big-data-o-que-e-e-por-que-e-importante-parte-01/> Acesso em: 25 mar. 2015.

AVOYAN, Hovhannes. Big Data – O que é e por que é importante – Parte 02. 2013. Disponível em: <http://imasters.com.br/tecnologia/big-data-o-que-e-e-por-que-e-importante-parte-02/> Acesso em: 25 mar. 2015.



COUTINHO, Emanuel F. (et al). Elasticidade em Computação na Nuvem: Uma Abordagem Sistemática. 31º Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos – SBRC 2013. Disponível em: <http://sbrc2013.unb.br/files/anais/minicursos/minicurso-5.pdf> Acesso em: 20 jul. 2015.

49

ReferênciasCRIVELINI, Wagner. Minhas primeiras impressões sobre o NoSQL. 2013. Disponível em: <http://imasters.com.br/banco-de-dados/minhas-primeiras-impressoes-sobre-o-nosql/> Acesso em: 25 mar. 2015.

FINLLEY, Klint. A grande lista de casos para usar NoSQL. 2011. Disponível em: <http://imasters.com.br/artigo/21646/banco-de-dados/a-grande-lista-de-casos-para-usar-nosql/> Acesso em: 25 mar. 2015.

FRANÇA, Guilherme. Entenda melhor o NoSQL e o Big Data. 2013. Disponível em: <http://blog.websolute.com.br/entenda-melhor-o-nosql-e-o-big-data/> Acesso em: 25 mar. 2015.

GUIMARÃES, Saulo P. 30 casos que mostram o impacto do big data no seu dia a dia. 2014. Disponível em: <http://exame.abril.com.br/tecnologia/noticias/30-casos-mostram-o-impacto-do-big-data-no-dia-a-dia> Acesso em: 25 mar. 2015.

HAMANN, Renan. Do bit ao Yottabyte: conheça os tamanhos dos arquivos digitais [infográfico]. 2011. Disponível em: <http://www.tecmundo.com.br/infografico/10187-do-bit-ao-yottabyte-conheca-os-tamanhos-dos-arquivos-digitais-infografico-.htm> Acesso em: 04 mai. 2015.

HARVEY, Cynthia . 50 Top Open Source Tools for Big Data. 2012. Disponível em: <http://www.datamation.com/data-center/50-top-open-source-tools-for-big-data-1.html> Acesso em: 30 abr. 2015.

50

ReferênciasIANNI, Vinicius. Introdução aos bancos de dados NoSQL. 2012. Disponível em: <http://www.devmedia.com.br/introducao-aos-bancos-de-dados-nosql/26044> Acesso em: 25 mar. 2015.

INTELBRASIL. Afinal, o que é BIG DATA?. 2013. Disponível em: <https://www.youtube.com/watch?v=u0ux8D9skpM> Acesso em: 26 abr. 2015.

KATSOV, Ilya. NOSQL DATA MODELING TECHNIQUES. 2012. Disponível em: <https://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/> Acesso em: 18 jul. 2015.

LIST OF NOSQL DATABASES. 2015. Disponível em: <http://nosql-database.org/> Acesso em: 25 mar. 2015.

MAYUMI, Priscila. Recursos para aprender noSQL. 2013. Disponível em: <http://imasters.com.br/banco-de-dados/recursos-para-aprender-nosql/> Acesso em: 25 mar. 2015.

MERIAT, Vitor. Azure Table Storage e o NoSQL – Conceitos, ACID, BASE e o Big Data. 2013. Disponível em: <http://www.vitormeriat.com.br/azure-table-storage-e-o-nosql-conceitos-acid-base-e-o-big-data/> Acesso em: 15 jul. 2015.

51

ReferênciasNASCIMENTO, Jean. NoSQL – você realmente sabe do que estamos falando?. 2010. Disponível em: <http://imasters.com.br/artigo/17043/banco-de-dados/nosql-voce-realmente-sabe-do-que-estamos-falando/> Acesso em: 25 mar. 2015.

PRITCHETT, Dan. Base: An Acid Alternative. Queue - Object-Relational Mapping. Volume 6, 3ª edição. May/June 2008. Páginas 48-55.ACM New York, NY, USA. Disponível em: <http://dl.acm.org/citation.cfm?id=1394128> Acesso em: 20 jul. 2015.

ROGENSKI, Renato. Uma entrevista didática sobre Big Data. 2013. Disponível em: <http://exame.abril.com.br/tecnologia/noticias/uma-entrevista-didatica-sobre-big-data> Acesso em: 25 mar. 2015.

TARIFA, Alexandre. O que é big data e como usar na sua pequena empresa. 2014. Disponível em: <http://exame.abril.com.br/pme/noticias/o-que-e-big-data-e-como-usar-na-sua-pequena-empresa> Acesso em: 25 mar. 2015.

TAURION, Cezar. A revolução do Big Data está prestes a acontecer. 2012. Disponível em: <http://imasters.com.br/artigo/23437/banco-de-dados/a-revolucao-do-big-data-esta-prestes-a-acontecer/> Acesso em: 25 mar. 2015.

52

ReferênciasVARDANYAN, Mikayel. Um olhar sobre alguns bancos de dados NoSQL. 2012. Disponível em: <http://imasters.com.br/artigo/22034/banco-de-dados/um-olhar-sobre-alguns-bancos-de-dados-nosql/> Acesso em: 25 mar. 2015.

VIEGAS, Fernanda. Planejamento de Vendas - O que é Big Data?. TEDx São Paulo. 2009. Disponível em: <https://www.youtube.com/watch?v=sZf8F0dziJA> Acesso em: 26 abr. 2015.

VIEIRA, Marcos Rodrigues (et al). Bancos de Dados NoSQL: Conceitos, Ferramentas, Linguagens e Estudos de Casos no Contexto de Big Data. Minicurso no Simpósio Brasileiro de Bancos de Dados - SBBD 2012. Disponível em: <http://data.ime.usp.br/sbbd2012/artigos/pdfs/sbbd_min_01.pdf> Acesso em: 26 abr. 2015.

53

big data e nosql

Technology