aprendizado de máquina e grandes conjuntos de dados
DESCRIPTION
Pequena introdução às áreas de Machine Learning (ML) e big dataTRANSCRIPT
![Page 1: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/1.jpg)
Aprendizado de Máquinae
Grandes Conjuntos de Dados
Thomas de Araujo Buck
![Page 2: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/2.jpg)
Tipos de algoritmos● Determinísticos (ou clássicos, convencionais)● Adaptativos (ou estocásticos, "avançados")
![Page 3: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/3.jpg)
Algoritmos determinísticos● Detecção de colisão● Fatoração de números primos● Inversão de matrizes (esparsas)● Ordenação (quicksort, mergesort)● Page Rank● Um pouco mais avançados
● A*● Árvore de jogos
![Page 4: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/4.jpg)
Árvore de jogos● Jogo da velha
![Page 5: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/5.jpg)
● Qual a quantidade total de possibilidades?● 9 * 8 * … * 2 * 1 = 9! = 362.880
● Para pensar!● Jogo de damas● Batalha Naval● Reversi
![Page 6: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/6.jpg)
Xadrez
![Page 7: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/7.jpg)
![Page 8: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/8.jpg)
● Quem se lembra da disputa homem (Garry Kasparov) contra máquina (IBM Deep Blue) ?
●
●
●
●
●
●
● Mais uma pergunta: xadrez é, neste sentido, o jogo mais "difícil" já criado pelo homem?
![Page 9: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/9.jpg)
● Go
![Page 10: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/10.jpg)
● Há sinais de esperança
![Page 11: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/11.jpg)
A faxineira eletrônica● O equipamento
![Page 12: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/12.jpg)
● Exemplos de recintos●
●
●
●
●
● Qual o algoritmo que garanta a limpeza?
![Page 13: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/13.jpg)
![Page 14: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/14.jpg)
Algoritmos adaptativos● O que é um programa "inteligente"?● É um programa "que aprende"?● Seguem alguns exemplos
![Page 15: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/15.jpg)
● Análise de crédito● Navegação autônoma● Reconhecimento de faces
![Page 16: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/16.jpg)
● Diagnóstico médico● Projeção financeira (prognóstico)● Sistemas de recomendação● Logística
![Page 17: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/17.jpg)
● Text processing● Spam● News● Plágio
![Page 18: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/18.jpg)
Aprendizado de máquina● Supervisionado (aprende com exemplos), que
possui 2 fases: treinamento e operação● NN● Classificação (Discriminante Linear - DL)● Regressão
● Não supervisionado (aprende sozinho), que só possui a fase de operação● Análise de aglomeração (K-means clustering)
![Page 19: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/19.jpg)
Exemplos de algoritmos● NN● k-NN● Dimensão do vetor de características: 2● Quantidade de classes: 2
![Page 20: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/20.jpg)
Dados (qualidade boa)
![Page 21: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/21.jpg)
Dados (qualidade ruim)
![Page 22: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/22.jpg)
A enorme avalanche de dados● Matéria da revista The Economist
![Page 23: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/23.jpg)
Data centers
![Page 24: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/24.jpg)
![Page 25: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/25.jpg)
Tratamento dos dados● O que fazer com esses dados? Apenas
armazenar? Indexar?● Ou deve-se extrair informação útil? Como?
Manualmente?
![Page 26: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/26.jpg)
Problemas muito difíceis para serem programados
![Page 27: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/27.jpg)
● A competição DARPA Grand Challenge●
●
●
●
●
●
●
● Urban Challenge
![Page 28: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/28.jpg)
● A experiência Google Car
![Page 29: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/29.jpg)
● Mais alguns detalhes
![Page 30: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/30.jpg)
● Oooops: um pequeno problema
![Page 31: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/31.jpg)
![Page 32: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/32.jpg)
![Page 33: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/33.jpg)
Grandes conjuntos de dados● Análise de dados
● Manual● Automática
![Page 34: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/34.jpg)
KDD
![Page 35: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/35.jpg)
Imagens● Acesso por conteúdo
![Page 36: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/36.jpg)
● PhotoLib
![Page 37: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/37.jpg)
● Games with a purpose (GWAP)
![Page 38: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/38.jpg)
● Pixazza - Luminate● Semantics● Learning
![Page 39: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/39.jpg)
Área médica● Mamografia● Colonoscopia
● As gerações dos equipamentos de tomografia computadorizada
![Page 40: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/40.jpg)
![Page 41: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/41.jpg)
![Page 42: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/42.jpg)
![Page 43: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/43.jpg)
Big Data tem valor de negócio
![Page 44: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/44.jpg)
US Economy
![Page 45: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/45.jpg)
Um experimento recente● IBM Watson
![Page 46: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/46.jpg)
Como ter certeza?
![Page 47: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/47.jpg)
![Page 48: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/48.jpg)
Smarter Planet + Big Data + Cloud = Analytics
![Page 49: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/49.jpg)
Uma outra oportunidade tem início● Dados públicos: New York, Chicago, ...● Rio de Janeiro (?)
![Page 50: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/50.jpg)
Conclusões● Tratamento computacional de grandes
quantidades de dados é uma oportunidade, segundo a consultoria McKinsey
![Page 51: Aprendizado de Máquina e Grandes Conjuntos de Dados](https://reader034.vdocuments.com.br/reader034/viewer/2022052600/557f340cd8b42aba678b46aa/html5/thumbnails/51.jpg)
Para reflexão