Download - Seu primeiro aplicativo de Big Data
![Page 1: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/1.jpg)
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Alex Coqueiro
Gerente de Arquitetura para o Setor Público
Amazon Web Services
Junho, 2016
Seu Primeiro Aplicativo
de Big Data
@alexbcbr
Luis Guerrero
Gerente de Engenharia
Viva Real
#AWSSummit
#bigdata
![Page 2: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/2.jpg)
![Page 3: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/3.jpg)
grande complexidade
![Page 4: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/4.jpg)
Complexidade em função de uma grande variedade
Glacier
S3 DynamoDB
RDS
EMR
Redshift
Data PipelineKinesis
Cassandra Amazon
CloudSearch
Amazon
Machine
Learning
Amazon
QuickSightAmazon
ElasticSearch
![Page 5: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/5.jpg)
![Page 6: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/6.jpg)
Ingestão Processamento Análise
ArmazenamentoDa
do
s
Re
sp
osta
s
![Page 7: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/7.jpg)
Ingestão
Info
rma
çõ
es
Tra
ns
ac
ion
ais
Processamento
Armazenamento Análise Visualização
Caso de Uso – Análise de Malha Aérea
![Page 8: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/8.jpg)
Ingestão Processamento Análise
ArmazenamentoDa
do
s
Re
sp
osta
s
![Page 9: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/9.jpg)
AMAZON S3SIMPLE STORAGE SERVICE
![Page 10: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/10.jpg)
Amazon S3
YOUR-BUCKET-NAME
![Page 11: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/11.jpg)
Ingestão Processamento Análise
ArmazenamentoDa
do
s
Re
sp
osta
s
![Page 12: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/12.jpg)
AMAZON KINESISREAL TIME DATA STREAMING
![Page 13: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/13.jpg)
Tipos de dados para a ingestão
Transacionais
• RDBMS
Arquivos
• Click-stream logs
• Texto livre
Stream
• IoT devices
• Tweets
Database
Cloud
Storage
Stream
Storage
![Page 14: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/14.jpg)
Amazon Kinesis Firehose
Criaremos um stream com o Amazon Kinesis Firehose, para
os dados que serão coletados dos sistemas de origem
aws firehose create-delivery-stream \
--delivery-stream-name STREAM-NAME \
--s3-destination-configuration config.json
--region us-east-1
![Page 15: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/15.jpg)
Exemplo do arquivo de log
![Page 16: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/16.jpg)
Ingestão de dados no Kinesis Firehose
Faremos uma ingestão baseado em dados que estão sendo coletados de um sistema transacional
aws firehose put-record
--delivery-stream-name STREAM-NAME
--record Data=”JOAO DA SILVA\,CLE\,MCO\,14”
![Page 17: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/17.jpg)
Ingestão Processamento Análise
ArmazenamentoDa
do
s
Re
sp
osta
s
![Page 18: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/18.jpg)
AMAZON ELASTIC MAP
REDUCEHADOOP AS A SERVICE
![Page 19: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/19.jpg)
Amazon EMR
Lançaremos um cluster de 3 nós em Amazon EMR com
Spark:
m3.xlarge
YOUR-AWS-SSH-KEY
![Page 20: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/20.jpg)
Spark
• Motor para processamento de
dados em larga escala
• Suporte a aplicações escritas
em Java, Scala, Python ou R
• Combina SQL, streaming e
análises complexas
![Page 21: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/21.jpg)
Desenvolvendo Spark/Python no Amazon EMR
## Interagindo com serviços como Amazon S3 via API (boto) ##
BUCKET-NAME
## Criando contexto no SPARK ##
PYTHON-APP
![Page 22: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/22.jpg)
Desenvolvendo Spark/Python no Amazon EMR## Processamento da Lógica de Negócio ##
BUCKET_NAME
## Gravando resultados processados no S3 em formato compactado ##
BUCKET_NAME
![Page 23: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/23.jpg)
Lançar Apps no Cluster Spark do Amazon EMR
Usamos SSH para conectar no cluster:
ssh -o TCPKeepAlive=yes -o ServerAliveInterval=30 \
-L 8001:localhost:18080
YOUR-AWS-SSH-KEY hadoop@YOUR-EMR-HOSTNAME
Iniciando o Spark shell:
spark-submit --master yarn-client PYTHON-APP.py
![Page 24: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/24.jpg)
Ingestão Processamento Análise
ArmazenamentoDa
do
s
Re
sp
osta
s
SQL
![Page 25: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/25.jpg)
AMAZON
REDSHIFTPETA-BYTE SCALE DATAWAREHOUSE
![Page 26: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/26.jpg)
Amazon Redshift
\
CHOOSE-A-REDSHIFT-PASSWORD
![Page 27: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/27.jpg)
Criar uma tabela no Amazon Redshift
![Page 28: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/28.jpg)
Mas eu quero visualizar os
dados ?
![Page 29: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/29.jpg)
Exemplo do arquivo de saída
![Page 30: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/30.jpg)
Carregar os dados no Amazon Redshift
Comando “COPY” carrega dados em paralelo
COPY voos
FROM 's3://YOUR-S3-BUCKET/voos-log-processado'
CREDENTIALS
'aws_access_key_id=YOUR-IAM-ACCESS_KEY;
aws_secret_access_key=YOUR-IAM-SECRET-KEY'
DELIMITER ’,' IGNOREHEADER 0, REMOVEQUOTES,
MAXERROR 0
GZIP;
![Page 31: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/31.jpg)
Conectando no Amazon Redshift
# usando o PostgreSQL CLI
YOUR-REDSHIFT-ENDPOINT
Ou usando uma ferramenta JDBC ou ODBC SQL client com
suporte a drivers em PostgreSQL 8.x ou nativamente com
suporte ao Amazon Redshift
• Aginity Workbench for Amazon Redshift
• SQL Workbench/J
• DBVisualizer
![Page 32: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/32.jpg)
Queries no Amazon Redshift
-- Número de registros
-- Quem transporta mais passageiros ?
-- Quem transporta mais passageiros com milhas ?
![Page 33: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/33.jpg)
AMAZON
QUICKSIGHTCLOUD-POWERED BUSINESS INTELLIGENCE
![Page 34: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/34.jpg)
![Page 35: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/35.jpg)
Amazon
Kinesis
Info
rma
çõ
es
Tra
ns
ac
ion
ais
Amazon
EMR
Amazon S3Amazon
RedshiftAmazon
Quicksight
O que vimos …
Map Reduce
Parallel
Copy
SQL Query
![Page 36: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/36.jpg)
Experiência da Viva Real
Luis Guerrero
Gerente de Engenharia
©2016, Amazon Web Services, Inc. or its affiliates. All rights reserved
![Page 37: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/37.jpg)
Serviços da AWS
![Page 38: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/38.jpg)
Nosso Problema
![Page 39: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/39.jpg)
A Solução
![Page 40: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/40.jpg)
Aprenda mais AWS big data com
nossos especialistas
blogs.aws.amazon.com/bigdata
![Page 41: Seu primeiro aplicativo de Big Data](https://reader033.vdocuments.com.br/reader033/viewer/2022051520/58edbfb51a28ab0e328b4575/html5/thumbnails/41.jpg)
Muito ObrigadoAlex Coqueiro
Gerente de Arquitetura para o Setor Público
@alexbcbr#bigdata #AWSSummit