gustavo leitão diego r. c. silva€¦ · para que a informação seja transmitida e comunicada de...
TRANSCRIPT
Visualização de dadoscasos de uso na indústria e na educação
1
Diego R. C. SilvaGustavo Leitão
Sumário
● Introdução● Histórico● Exemplos - datapedia, kaggle, deck.gl● Ferramentas e Tecnologias de Visualização
○ 3D.js○ Tableau○ Google Data Studio○ Python○ R
● Casos de uso○ Painel de Alarmes - Petrobras○ Cursos de Direito no Brasil○ Multiprova
2
Prefácio
"Power corrupts. PowerPoint corrupts Absolutely."
- Edward Tufte, Yale Professor Emeritus
* https://www.wired.com/2003/09/ppt2/
3
Introdução
Visualização de dados consiste na apresentação de dados em formato de figuras ou gráficos. Ela possibilita a análise de dados de forma visual e intuitiva, facilitando a compreensão de conceitos difíceis e a identificação de novos padrões.
Com visualização interativa, leva-se o conceito adiante através do uso de tecnologia a fim de se explorar gráficos e figuras em mais detalhes, escolhendo interativamente quais dados serão visualizados e processados.
4
História da visualização de dados
● O conceito de usar figuras para entender dados está entre nós há séculos.
● Desde mapas e gráficos no século XVII à invenção do gráfico em torta (pie chart) por volta dos anos 1800s.
● Décadas mais tarde, um dos mais citados exemplos de gráficos estatísticos foi o mapa de Charles Minard sobre a invasão de Napoleão à Rússia.
● O mapa retratou o tamanho do exército, bem como o caminho da retirada de Napoleão de Moscou.
● Ele incorporou também informações sobre temperatura e escalas de tempo para uma compreensão mais detalhada daquele evento.
5
6
História da visualização de dados
● A tecnologia, no entanto, é a responsável pelo grande avanço na área de visualização de dados.
● Computadores trouxeram a possibilidade de processar grandes quantias de dados a velocidades nunca antes atingidas.
● Hoje, visualização de dados tem se tornado uma mistura em rápida evolução de ciência e arte que certamente vai mudar o panorama corporativo nos próximos anos.
7
Necessidade de visualização
● O montante de dados que trafega pela Internet a cada segundo é maior que o conteúdo inteiro da Internet de 20 anos atrás.
● O cérebro humano é incapaz de processar mais de um valor ao mesmo tempo.
● Mas a informação pode informar ou realçar as práticas de negócios, direção e visão.
● Felizmente existe algo que pode ajudar o seu cérebro a não apenas imaginar suas informações corporativas, mas a consumi-las: a visualização de dados.
8
Necessidade de visualização
● Visualização de dados é a representação dos dados em um formato de figura ou gráfico.
● O propósito da visualização é simplificar valores, promover o entendimento deles e comunicar conceitos importantes e ideias.
● Visualizações são a maneira mais simples para nossos cérebros receberem e interpretarem grandes quantidades de informação.
● Ela dá à usuários corporativos a habilidade de usar a informação intuitivamente, sem profundidade de conhecimento técnico.
● Até usuários inexperientes podem criar visualizações significativas, como gráficos em torta, em linha, gráficos bolha ou mapas de calor.
9
Exemplo: Gráficos diferentes, estatísticas iguais
● Gráficos e outros tipos de visualizações podem parecer supérfluos se você está usando análises estatísticas em busca de padrões nos dados, certo?
● Dois pesquisadores da Autodesk mostraram que 12 conjuntos de dados diferentes compartilham as mesmas medidas estatísticas básicas, como média, desvio padrão e correlação de Pearson.
● Esses conjuntos de dados podem ter muitas coisas em comum no papel, mas suas visualizações geram formatos completamente diferentes.
● A conclusão disso é deixar claro que visualização não é só estética. É parte crucial da análise e pode revelar surpresas sobre os dados.
10
Exemplo: Gráficos diferentes, estatísticas iguais
https://www.fastcodesign.com/90124722/these-12-graphics-explain-why-data-viz-is-absolutely-crucial
11
Importância da Visualização
● Alguém já ouviu a expressão "lixo dentro - lixo fora"?
● Significa dizer que técnicas de processamento de dados, como aprendizado de máquina e inteligência computacional no geral, são tão boas quanto os dados, os algoritmos e os profissionais que as usam.
● Até os melhores resultados podem ser considerados "lixo" se ninguém pode ver e entender o valor da saída.
● Daí surge a importância da visualização.
12
Importância da Visualização
● A visualização é o meio pelo qual humanos entendem análises complexas e é, frequentemente, o mais importante e negligenciado passo do processo de análise de dados.
● À medida que a complexidade dos dados aumenta, a complexidade do seu modelo também aumenta, tornando a visualização mais difícil e crítica para os usuários.
13
Visualização: a chave para a intuição
● A visualização possibilita descobrir comportamentos complexos nos dados e apresentá-los de maneira informativa a todos os interessados.
● Deve-se garantir que os resultados sejam entregues de maneira impactante para que sejam analisados por pessoas.
● O cérebro humano consegue processar apenas duas ou três partes da informação por vez e muitos aspectos do comportamento do consumidor é influenciado por mais que três eventos.
● Significa que devem ser utilizadas análises avançadas e modelos estatísticos para prever precisamente o comportamento de consumidores e KPIs (Key Performance Indicator) para áreas de negócio.
14
O Impacto de Múltiplas Fontes de Dados
● O clima é um bom exemplo de fonte de dados que pode ser usado para vários propósitos:
○ Qual bebida as pessoas escolhem;○ Que tipo de música irão ouvir;○ Quantos passos elas dão;○ Quanto tempo levarão para chegar ao trabalho dirigindo.
● Virtualmente, o clima influencia cada parte do dia.● Quantificar e comunicar como o clima exerce impacto sobre as pessoas em seu dia a
dia é um exemplo de tarefa onde a visualização de dados pode ser útil.
15
O Impacto de Múltiplas Fontes de Dados
● A partir dos gráficos certos, o usuário pode absorver múltiplas partes de informações complexas.
● Isso é especialmente importante quando se trata de clima pois ele é altamente dependente da geografia.
● 20 centímetros de neve tem diferentes impactos dependendo da localização geográfica (Chicago, Dallas, etc.)
● Ao se combinar informações diferentes pode-se estabelecer um modelo mais preciso e consequentemente agregar mais relevância aos resultados.
16
Por que visualização?
● A principal função da visualização de dados é mover informação do ponto A ao ponto B.
● Na visualização exploratória, o ponto A é o conjunto de dados e o ponto B é a mente do designer
● Na visualização explanatória, o ponto A é a mente do designer e o ponto B é a mente do leitor.
● Para que a informação seja transmitida e comunicada de maneira eficiente, esta deve ser previamente codificada. Para tal, os elementos visuais são as mídias de transmissão.
● Por essa razão, o propósito do designer é criar um entregável que será bem recebido e facilmente entendido pelo leitor. Todas as escolhas de projeto e implementações devem servir a esse propósito.
17
Tipos de Visualização
Exploração vs Explanação
● Exploração: visualizações de dados que são usadas pelo designer com propósito auto- informativo para descobrir padrões, tendências ou subproblemas em um conjunto de dados (dataset).
● Explanação: visualizações de dados que são usadas para transmitir informação ou um ponto de vista do designer para o leitor. Tipicamente tentam transmitir um "estória" específica.
● Híbridos: explanação exploratória: usualmente interativos através de uma interface gráfica que deixa o leitor escolher e limitar certos parâmetros, para que seja possível descobrir que conceitos e intuições os dados tem a passar. Ex: http://fredbenenson.com/2012/12/05/the-data-behind-my-ideal-bookshelf/ https://www.npr.org/sections/money/2014/02/26/282132576/74-476-reasons-you-should-always-get-the-bigger-pizza
18
Ingredientes para a Visualização de Sucesso
Existem três componentes principais que influenciam um projeto de visualização de dados, principalmente, em se tratando de visualização explanatória, onde você, como designer está
contando a estória dos dados para o seu leitor.
19
Designer
Como designer, você tem um objetivo. Você pode não estar ciente disso, mas você está criando uma visualização por algum motivo. Estar ciente de suas motivações, objetivos e
prioridades irá ajudar a projetar uma boa visualização. Ao invés de criar uma representação arbitrária dos seus dados.
20
Leitor (reader)
● O leitor pode ser seu maior aliado, ou seu maior obstáculo.
● O seu sucesso (designer) é medido pelo sucesso do seu leitor (reader).
● Visualização explanatória é uma mídia de comunicação.
● Para ter sucesso, você precisa considerar as várias "distorções" ou filtros que seus leitores irão introduzir.
● O que é óbvio pra você, pode não ser para os outros. Então, mostre os dados.
● Que informações o seu leitor precisa para ter sucesso?
21
Dados
● As melhores visualizações revelarão o que há de interessante nos seus dados.
● Dados diferentes requerem abordagens, codificadores (encodings) e técnicas diferentes.
● Para melhor mostrar seus dados, conheça-os.
● É uma série temporal? Uma hierarquia? Quantas dimensões? Como variam? Os valores são categorizados? Discretos ou contínuos? Linear ou não-linear? São limitados? Como?
● O entendimento do formato dos seus dados irão auxiliar nas decisões de projeto.
● Cada relação e característica relevante dos dados devem ser codificados com a propriedade visual adequada.
22
Exemplos
23
Ferramentas e Tecnologia de Visualização
27
Tableau
https://10az.online.tableau.com/#/site/demodepot/workbooks
29
Google Data Studio
https://www.google.com.br/analytics/data-studio/
https://www.google.com.br/analytics/data-studio/gallery/
30
R
https://www.r-bloggers.com/7-visualizations-you-should-learn-in-r/
https://plot.ly/r/
31
Python
● Bibliotecas para visualização - https://blog.modeanalytics.com/python-data-visualization-libraries/ - http://pbpython.com/visualization-tools-1.html
● Seaborn examples - http://seaborn.pydata.org/examples/● https://www.dataquest.io/blog/python-data-visualization-libraries/● https://plot.ly/python/● Bokeh - http://bokeh.pydata.org/en/latest/docs/gallery.html● https://www.youtube.com/watch?v=OC-YdBz8Llw
32
33
34
Case Armazenamento/Visuali
zação de Dados - Petrobras
35
36
37
38
39
40
41
42
43
44
45
46
47
Gerenciamento de Alarmes - Petrobras
48
O BR-AlarmExpert é um sistema moderno e completo para gerenciamento de alarmes e evento industriais implantado corporativamente na Petrobras.
50
Refinaria 1 Refinaria 2...
Refinaria N
16 Unidades Industriais.Mais de 100 fontes de dados!
http://bralarmexpert.logiquesistemas.com.br
51
52
53
54
Case Gerenciamento de Ativos - Petrobras
55
56
58
Perguntas???
59
Referências
● https://www.sas.com/en_us/insights/big-data/data-visualization.html#● https://www.sas.com/en_us/insights/articles/analytics/why-your-brain-needs-data-vis
ualization.html#● https://www.fastcodesign.com/90124722/these-12-graphics-explain-why-data-viz-is
-absolutely-crucial● http://dataconomy.com/2017/05/big-data-data-visualization● http://www.statisticshowto.com/types-graphs/● https://www.skillsyouneed.com/num/graphs-charts.html
60
Dados publicos
● https://www.forbes.com/sites/bernardmarr/2016/02/12/big-data-35-brilliant-and-free-data-sources-for-2016/#7a373f75b54d
● https://www.springboard.com/blog/free-public-data-sets-data-science-project/● https://www.dataquest.io/blog/free-datasets-for-projects/● https://www.kaggle.com/datasets
61
Visualização de dados
62
Diego R. C. SilvaGustavo Leitão