cloud computing e big data

57
Cloud Computing e Big Data Rodolpho Ugolini - @rugolini Amazon Web Services

Upload: pet-computacao

Post on 07-Nov-2014

620 views

Category:

Education


3 download

DESCRIPTION

 

TRANSCRIPT

Page 1: Cloud computing e big data

Cloud Computing e Big Data

Rodolpho Ugolini - @rugolini

Amazon Web Services

Page 2: Cloud computing e big data

Sem despesas de

capital antecipadas

Pague apenas

pelo que usa

Infraestrutura

Self-Service

Escalabilidade

simples e

automática

Agilidade e Time

to Market

Baixo custo

O que é Computação em Nuvem

Deploy

Page 3: Cloud computing e big data

Deep experience in

building and

operating global web

scale systems

About Amazon

Web Services

?

…passou a oferecer Cloud Computing?

Como a Amazon…

Page 4: Cloud computing e big data

Trafego do mês de Novembro da amazon.com

Page 5: Cloud computing e big data

Quanto de capacidade devemos provisionar?

Page 6: Cloud computing e big data

Infrestrutura Tradicional não é mais suficiente

Ambientes de Testes Volume de Dados

Eventos Sazonais Picos de Demanda

Desperdício

Insatisfação do cliente

Page 7: Cloud computing e big data

Infraestrutura de computação tradicional é cara e

complexa

Page 8: Cloud computing e big data

Precisamos de capacidade ajustável!

Page 9: Cloud computing e big data
Page 10: Cloud computing e big data
Page 11: Cloud computing e big data
Page 12: Cloud computing e big data
Page 13: Cloud computing e big data

... e torça para que tudo dê certo...

Page 14: Cloud computing e big data

Existe um outro jeito!

Page 15: Cloud computing e big data

Plataforma de Computação AWS

Serviços Básicos

Compute Storage Database Networking

Infraestrutura Global Regiões

Zonas de Disponibilidade Pontos de

Distribuição CDN

Am

azon

Page 16: Cloud computing e big data

Disponivel Globalmente

Region

US-WEST (N. California) EU-WEST (Ireland)

ASIA PAC

(Tokyo)

ASIA PAC

(Singapore)

US-WEST (Oregon)

SOUTH AMERICA (Sao

Paulo)

US-EAST (Virginia)

GOV CLOUD

Page 17: Cloud computing e big data

Serviços Básicos

Compute Storage Database Networking

Infraestrutura Global Regiões

Zonas de Disponibilidade Pontos de

Distribuição CDN

Sua Aplicação

Sistema Operacional

Dados

Am

azon

Apoiando-se nos ombros do gigante…

Você

Page 18: Cloud computing e big data

A cada dia, a AWS adiciona o

equivalente em capacidade

computacional, ao que era

necessário para manter a

Amazon.com de 2000

Page 19: Cloud computing e big data

APIs e Automação

Page 20: Cloud computing e big data

Automação Escale capacidade automaticamente

Page 21: Cloud computing e big data

Utility computing

Page 22: Cloud computing e big data

Utility computing

Compute

Storage

Security Scaling

Database

Networking Monitoring

Messaging

Workflow

DNS

Load Balancing

Backup CDN

Page 23: Cloud computing e big data
Page 24: Cloud computing e big data
Page 25: Cloud computing e big data

6 am

Page 26: Cloud computing e big data

10 am

Page 27: Cloud computing e big data

10 am

Page 28: Cloud computing e big data

10 am

Page 29: Cloud computing e big data

7 pm

Page 30: Cloud computing e big data

7 pm

Page 31: Cloud computing e big data

7 pm

Page 32: Cloud computing e big data

Num

ero

de I

nsta

ncia

s E

C2

4/12/2008 4/14/2008 4/15/2008 4/16/2008 4/18/2008 4/19/2008 4/20/2008 4/17/2008 4/13/2008

40 a 5000 em 3 dias

Pico de 5000

instancias

Divulagação

Viral

Lançamento da

Integração com

Facebook

40 instancias

Page 33: Cloud computing e big data

Seu “Data Center” pessoal

Page 34: Cloud computing e big data

0,000

250,000

500,000

750,000

1000,000

1 Trilhão

Pico de 750 mil transações por segundo

Objetos armazenados no S3

Page 35: Cloud computing e big data

A análise de grandes volumes de dados está se tornando a

grande barreira para inovação, competição

e produtividade.

Page 36: Cloud computing e big data

O que é Big Data?

Gerados por computador – estruturados, semi-estruturados ou não-estruturados

Logs (web sites, jogos)

Sensores (tempo, água)

Imagens/vídeos (cameras, segurança)

Gerados por pessoas Blogs/Resenhas/Emails/Fotos

Redes Sociais

Facebook, Linkedin, Twitter

Page 37: Cloud computing e big data

Big Data está ficando cada vez maior

2.7 Zetabytes em 2012

Mais de 90% não estruturada

Dados espalhados em diversos silos

Precisamos de ferramentas para lidar com Big Data!

Page 38: Cloud computing e big data

Onde se vê Big Data

Mídia/

Propaganda

Anuncios Dirigidos

Processa-mento de vídeos e imagens

Óleo e Gás

Análise Sismica

Varejo

Recomen-dações

Análise de Transações

Telecom

Cobrança

Log de Ligações

Uso dos Produtos

Instituições Financeiras

Simulações de Monte

Carlo

Análise de Riscos

Segurança

Anti-virus

Detecção de Fraudes

Reconheci-mento de Imagens

Marketing e Jogos

(sobretudo social)

Analise Comporta-

mental

Análise de Uso

Métricas “In-game”

Page 39: Cloud computing e big data

O que é Hadoop?

Apache Hadoop Sistema de storage distribuído e tolerante a falhas

(HDFS)

Usa um algoritmo chamado MapReduce para realizar análises estatísticas exaustivas sobre um grande conjunto de dados distribuídos

Benefícios-chave Custo mais baixo – Escala linearmente

Provado em escala– Petabytes em milhares de nós

Flexível – Dados podem ser armazenados com ou sem schema

Page 40: Cloud computing e big data

"Hadoop é um storage confiável e um sistema analítico"

HDFS MapReduce

Page 41: Cloud computing e big data

RDBMS MapReduce (Hadoop)

Schema definido Schema não requerido

Explora índices para

recuperação rápida

Análises rápidas de dados e

performance uniforme de

queries

SQL apenas Suporta SQL + outras

linguagens

Não escala linearmente Escalabilidade linear para

reads + writes

Page 42: Cloud computing e big data

Implantar um cluster hadoop é difícil

http://eddie.niese.net/20090313/dont-pity-incompetence/

Page 43: Cloud computing e big data

Big Data requer infraestrutura flexível

Infraestrutura física leva a hardware e software estático e planejado para atender picos…

…e muitas vezes acaba gerando longas filas de processamento

Page 44: Cloud computing e big data

+

Page 45: Cloud computing e big data

Data Warehouse Elástico

Aumenta

para 25

instancias

Data Warehouse

(Estável)

Data Warehouse

(Processo Batch)

Diminui

para

9

instancias

Data Warehouse

(Estável)

Page 46: Cloud computing e big data

Input data

S3

Page 47: Cloud computing e big data

Elastic

MapReduce

Code

Input data

S3

Page 48: Cloud computing e big data

Elastic

MapReduce

Code Name

node

Input data

S3

Page 49: Cloud computing e big data

Elastic

MapReduce

Code Name

node

Input data

S3

Elastic

cluster

Page 50: Cloud computing e big data

Elastic

MapReduce

Code Name

node

Input data

S3

Elastic

cluster

HDFS

Page 51: Cloud computing e big data

Elastic

MapReduce

Code Name

node

Input data

S3

Elastic

cluster

HDFS Queries

+ BI

Via JDBC, Pig, Hive

Page 52: Cloud computing e big data

Elastic

MapReduce

Code Name

node

Output

S3 + SimpleDB

Input data

S3

Elastic

cluster

HDFS Queries

+ BI

Via JDBC, Pig, Hive

Page 53: Cloud computing e big data

Output

S3 + SimpleDB

Input data

S3

Page 54: Cloud computing e big data
Page 55: Cloud computing e big data
Page 56: Cloud computing e big data
Page 57: Cloud computing e big data

OBRIGADO! aws.amazon.com

Rodolpho Ugolini

Amazon Web Services

@rugolini