introdução ao aws data pipeline

16
Introdução ao AWS Data Pipeline: ETL na Nuvem da AWS José Papo AWS Tech Evangelist @josepapo

Upload: amazon-web-services-latin-america

Post on 26-Jun-2015

423 views

Category:

Technology


3 download

DESCRIPTION

Deck de slides do webinar sobre o serviço AWS Data Pipeline, um orquestrador orientado a dados

TRANSCRIPT

Page 1: Introdução ao AWS Data Pipeline

Introdução ao AWS Data Pipeline:

ETL na Nuvem da AWS

José Papo

AWS Tech Evangelist

@josepapo

Page 2: Introdução ao AWS Data Pipeline
Page 3: Introdução ao AWS Data Pipeline

Amazon S3

Amazon

DynamoDB

Amazon

RDS

Amazon

Redshift

On

Premise

HDFS

(Amazon EMR)

Page 4: Introdução ao AWS Data Pipeline

Amazon S3

Amazon

DynamoDB

Amazon

RDS

Amazon

Redshift

On

Premise

HDFS

(Amazon EMR)

Page 5: Introdução ao AWS Data Pipeline

Amazon S3

Amazon

DynamoDB

Amazon

RDS

Amazon

Redshift

On

Premise

HDFS

(Amazon EMR)

Page 6: Introdução ao AWS Data Pipeline

Amazon S3

Amazon

DynamoDB

Amazon

RDS

Amazon

Redshift

On

Premise

HDFS

(Amazon EMR)

Page 7: Introdução ao AWS Data Pipeline

Input Datanode

Activity

Output Datanode

Page 8: Introdução ao AWS Data Pipeline

Input Datanode com validação de pré-condição

Atividade com notificações de falha ou delay

Ouput Datanode

Page 9: Introdução ao AWS Data Pipeline
Page 10: Introdução ao AWS Data Pipeline

Amazon S3

logs

Custom

Precondition

EMR usage-by-geo job

Amazon EC2

report generation

Amazon

DynamoDB

event data

Amazon RDS

demographics

Amazon Redshift

DW table

Amazon

Redshift

DW table

Hive

script

Page 11: Introdução ao AWS Data Pipeline

Amazon S3

logs

Custom

Precondition

EMR usage-by-geo job

Amazon EC2

report generation

Amazon

DynamoDB

event data

Amazon RDS

demographics

Amazon Redshift

DW table

Amazon

Redshift

DW table

Hive

script

Page 12: Introdução ao AWS Data Pipeline

Nós gerenciamos Você gerencia

Instancias

EC2

EMR Clusters Recursos On Premise

Instancias

EC2

EMR Clusters

Page 13: Introdução ao AWS Data Pipeline
Page 14: Introdução ao AWS Data Pipeline

Na AWS On Premises

Alta Frequencia $1/mês $2.50/mês

Baixa Frequencia $.60/mês $1.50/mês

Page 15: Introdução ao AWS Data Pipeline

DEMO!

Page 16: Introdução ao AWS Data Pipeline

OBRIGADO! awshub.com.br

slideshare.net/AmazonWebServicesLATAM

José Papo

AWS Tech Evangelist

@josepapo