nosql colunas jairo tiburtino dos santos. roteiro cenário características apache cassandra apache...

22
NoSQL COLUNAS Jairo Tiburtino dos Santos

Upload: internet

Post on 22-Apr-2015

132 views

Category:

Documents


10 download

TRANSCRIPT

Page 1: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

NoSQL COLUNAS

Jairo Tiburtino dos Santos

Page 2: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Roteiro• Cenário

• Características

• Apache Cassandra

• Apache Hadoop

Page 3: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Motivação

Tomar Decisões

Analisar

Compreender

Grande volume de dados?

Page 4: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

NoSQL – SGBDS

Page 5: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Características• Alta concorrência na escrita e leitura de dados;

• Armazenamento e consultas de dados altamente eficientes;

• Não se baseiam no paradigma ACID, mas no paradigm BASE;

• Escalonável;

• Tolerante a falhas;

• Basicamente Avaliado – disponível;• Soft State;• Eventualmente persistente;

Page 6: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Apache Cassandra

Criado pelo Facebook em 2008 para atender aos requisitos operacionais:

• Escalabilidade – contínuo crescimento da plataforma.• Desempenho - Robustez na busca de mensagens.• Tolerância a falhas – Manter o sistema em funcionamento caso

algum servidor falhe.

Arquitetura:

• Cluster de 600 núcleos• 150 terabytes de dados• 250 milhões de usuários

Page 7: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Modelo de Dados

Tabela é indexada por uma chave.Em cada linha os dados são divididos em colunas, família de colunas.

Page 8: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Colunas• Nome (id)• Valor (objeto)

Super Colunas Colunas que possuem outras colunas como valor.

rua:{name:”rua”, value:” Av. dos Reitores”, Timestamp:”123”}

endereco:{name:”endereco”,value:{ rua:{name:”rua”, value:” Av. dos Reitores”, Timestamp:”123”}, cep:{name”cep”, value:”12345”, Timestamp:”321” } }}

Page 9: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Famílias de Colunas

• Utilizadas para agrupar colunas;• Conceito parecido com o banco de dados

relacional;• Não são dinâmicas;• São agrupadas em keyspaces;

Super Família de Colunas

Possui como colunas somente Super Colunas – Análogo às colunas

Page 10: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Banco de Dados Cassandra(Exemplo)

Page 11: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Arquitetura - Cassandra

Node

Node

NodeNode

Node

Page 12: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Arquitetura - Particionamento

Node

Node

NodeNode

Node

dado dado

dado

dado

dado

dado

Máquina responsável pelo dado:- Hashing da chave identificadora do dado;

- Adição e remoção de nós só afeta os nós vizinhos, proporcionando a escalabilidade do sistema.

Page 13: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Arquitetura - Replicação• Utilizada para garantir a disponibilidade dos dados;• É feita pelo coordenador do nó (máquina);• Realizada de três formas diferentes: Rack Unaware, Rack Aware e

Datacenter Aware;

Node

Node

NodeNode

Node dado

Rack Unaware – Dado replicado aos N-1 nós;

Page 14: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Arquitetura - Replicação

Node

Node

NodeNode

Node

Sistema Externo

• Elege um líder para avisar aos outros nós o intervalo em que se deve fazer a replicação;

Escolhido

Rack Aware e Datacenter Aware

Page 15: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

BigTable

Características:• Não suporta um modelo de dados totalmente

relacional;• Dados são indexados usando nomes de linhas e

colunas;• Escalonável• Tolerante a falhas;• Persistente;• Mapa multidimensional ordenado;

Page 16: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Modelo de Dados• O mapa é indexado por uma chave na coluna e uma chave

linha e um timestamp;• As linhas são strings arbitrárias• Mantém os dados em ordem lexicográfico;• Cada linha é chamda de tablet;

Page 17: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Referências• Bigtable: A Dih,m3bstributed Storage System for Structured Data – {fay.jeff,

Sanjay, Wilson,fikes.grubber}@google.com} – Disponível em: http://static.googleusercontent.com/media/research.google.com/pt-BR//archive/bigtable-osdi06.pdf

• Banco de Dados NoSQL x SQL – Disponível em http://www.infobrasil.inf.br/userfiles/27-05-S4-1-68840-Bancos%20de%20Dados%20NoSQL.pdf

• O que é NoSQL – Disponível em: http://planetcassandra.org/what-is-nosql/• Cassandra – Uma sistema de armazenamento NoSQL altamente escalável .

Disponível em:

Page 18: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop
Page 19: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop
Page 20: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop
Page 21: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop
Page 22: NoSQL COLUNAS Jairo Tiburtino dos Santos. Roteiro Cenário Características Apache Cassandra Apache Hadoop

Click icon to add picture