ensembles - inteligência na web e big data · 2020-05-19 · ensembles inteligência na web e big...
TRANSCRIPT
![Page 1: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/1.jpg)
EnsemblesInteligência na Web e Big Data
Fabricio Olivetti de França e Thiago Ferreira Covõ[email protected], [email protected]
Centro de Matemática, Computação e CogniçãoUniversidade Federal do ABC
![Page 2: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/2.jpg)
Introdução
![Page 3: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/3.jpg)
O que é um ensemble?
• As técnicas de classificação/regressão vistas até omomento consideram um classificador que foi treinadoem cima da base dados.
• Mas e se pudéssemos combinar vários modelos(classificadores/regressores)?
• Para simplificar vamos focar em classificação
1
![Page 4: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/4.jpg)
Wisdom of Crowds
• Em 1906, houve uma competição para adivinhar o pesode um boi, da qual 800 pessoas participaram. A médiados palpites (1.197lb) foi extremamente próximo dopeso real (1.198lb).
2
![Page 5: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/5.jpg)
Analogia:
• Você suspeita que está doente:• Você pode ir a um médico e confiar na opinião dele;• Ou você pode ir a vários e tentar agregar as
opiniões.
3
![Page 6: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/6.jpg)
Combinando classificadores
• Podemos montar um comitê (ensemble) declassificadores na esperança de obter umclassificador melhor.
• A partir de uma mesma base, treinamos váriosclassificadores.
• Quando um novo exemplo aparece, teremos váriaspredições que devem ser agregadas de alguma forma.
4
![Page 7: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/7.jpg)
Agregar predições
• A classe pode ser obtida simplesmente contando osvotos de cada classe;
• Ou ainda, podemos ponderar o voto de cadaclassificador pela sua acurácia.
5
![Page 8: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/8.jpg)
Exemplo
• Considere um comitê com 25 classificadores binários,com taxa de erro ϵ = 0.35.
• Geramos a saída do comitê simplesmente pegando aclasse com a maior parte dos votos.
6
![Page 9: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/9.jpg)
Exemplo
• Se todos os classificadores são iguais, nossa taxacontinua 0.35.
• No entanto, se temos 25 classificadoresindependentes (seus erros não tem relação entre si):
ϵens =
25∑i=13
(25
i
)ϵi(1− ϵ)25−i = 0.06
7
![Page 10: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/10.jpg)
Exemplo
0.00
0.25
0.50
0.75
1.00
0.00 0.25 0.50 0.75 1.00
Erro individual
Err
o co
mitê
8
![Page 11: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/11.jpg)
Exemplo
• Para fazer a predição de um objeto de teste, podemosassumir que temos um conjunto de modelos gerados
• É fácil gerar os dados no formato (id-teste, [xt,modelo]) para cada modelo (basta um map)
• Podemos fazer as predições no map, combinando peloidentificador no reduce
• Se a agregação é feita pelo voto majoritárioprecisamos apenas da predição, caso contrárioprecisamos ser capaz de identificar o modelo noreduce
9
![Page 12: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/12.jpg)
Exemplo
1 def mapper(key : int, value : tuple) -> (int, String):2 xt = first(value)3 model = second(value)4 pred = model.predict(xt)5 yield (key, (model.id, pred))6
7 def reducer(key : int, values : [tuple]) -> (int,String):↪→
8 preds = second(values)9 pred_ens = scipy.stats.mode(preds)
10 yield (key, pred_ens)
10
![Page 13: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/13.jpg)
Exemplo (com pesos)
1 def mapper(key : int, value : tuple) -> (int, tuple):2 xt = first(value)3 model = second(value)4 #predict_proba similar ao score5 pred = model.predict_proba(xt)6 yield (key, (model.id, pred))7
8 def reducer(key : int, values : [tuple]) -> (int,String):↪→
9 votes = np.zeros(num_classes)10 for model_id, pred in values:11 votes += weight_function(model_id, pred)12 pred_ens = np.argmax(votes)13 yield (key, classes[pred_ens])
11
![Page 14: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/14.jpg)
Analogia (Parte II)
• Você tem que tomar uma decisão para a empresa:• Você pode ouvir um conselheiro;• Você pode ouvir um grupo de conselheiros que
normalmente concordam com você;• Você pode ouvir um grupo de conselheiros com
perspectivas complementares.
• Qual você escolhe? Deixando o ego de lado :)
12
![Page 15: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/15.jpg)
Perspectivas Complementares
• Difícil de garantir• Podemos manipular:
• Os atributos de entrada (Random Projections);• Os objetos do treinamento (Bagging, Boosting);• Parametrizações dos algoritmos.
13
![Page 16: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/16.jpg)
Gerando variabilidade
![Page 17: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/17.jpg)
Manipulando os atributos
• Simples• Projeção dos dados para algum sub-espaço
• Basta um map
14
![Page 18: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/18.jpg)
Manipulando os objetos
• Entre as principais opções, vamos focar em Bagging(Bootstrap Aggregating) e Boosting
15
![Page 19: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/19.jpg)
O que é um Bootstrap?
• Se queremos k classificadores, vamos gerar k bases apartir da base original.
• Cada “sub-base” terá o mesmo número de objetos que aoriginal;
• A chance de um objeto ficar de fora é aproximadamente1/3
• Escolheremos os objetos de acordo com umadistribuição uniforme, com reposição.
16
![Page 20: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/20.jpg)
O que é Bagging?
• Bootstrap aggregating• Gera modelos e cada amostra bootstrap e combina as
saídas
17
![Page 21: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/21.jpg)
Lembram do perceptron?
Vamos usá-lo como exemplo.
18
![Page 22: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/22.jpg)
Exemplo
Considerem que queremos classificar:
x 0 .2 .4 .6 .8 1y 1 1 -1 -1 1 1
• Qual ponto de corte escolhemos?
• Podemos escolher pela esquerda ou pela direita;
• De qualquer maneira, erraremos dois objetos.
19
![Page 23: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/23.jpg)
Exemplo
x 0 .2 .4 .4 .6 .6y 1 1 -1 -1 -1 -1
Perceptron A: x < 0.4 → y = 1
20
![Page 24: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/24.jpg)
Exemplo
x .4 .4 .6 .6 .8 1y -1 -1 -1 -1 1 1
Perceptron B: x > 0.6 → y = 1
21
![Page 25: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/25.jpg)
Exemplo
x 0 .2 .2 .8 1 1y 1 1 1 1 1 1
Perceptron C: x ≥ 0 → y = 1
22
![Page 26: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/26.jpg)
Exemplo
• Perceptron A: x < 0.4 → y = 1
• Perceptron B: x > 0.6 → y = 1
• Perceptron C: x ≥ 0 → y = 1
x 0 .2 .4 .6 .8 1y 1 1 -1 -1 1 1
23
![Page 27: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/27.jpg)
Observações
• Bagging reduz a variância;
• Logo, funciona melhor com classificadores instáveis,ou seja, sensíveis a perturbações menores noconjunto de treinamento;
• Bem útil para dados ruidosos.
24
![Page 28: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/28.jpg)
Possível implementação para grandes bases
• Para gerar uma amostra bootstrap poderíamos gerar deforma sequencial
• Mas, no nosso cenário, seria ideal que pudéssemostratar cada objeto isoladamente
• Uma vez que N é grande, podemos aproximar B(N, 1N )
por Poisson(1).• Para cada objeto geramos B valores z ∼ Poisson(1)
• Cada valor z reflete o número de vezes que o objetofoi selecionado no b-ésimo bootstrap
• Não necessariamente os bootstraps terão o mesmotamanho
• Podemos filtrar os indesejados
25
![Page 29: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/29.jpg)
Possível implementação para grandes bases
1 def mapper(key : int, value : tuple) -> (int, tuple):2 xi = first(value)3 yi = second(value)4 bs = np.random.poisson(1, B)5 for ib, qtd in enumerate(bs):6 if qtd > 0:7 key2 = "b" + str(ib)8 yield (key2, (xi, yi, qtd))9
10 def reducer(key : int, values : [tuple]) -> (int,Model):↪→
11 model = Perceptron()12 for xi, yi, qtd in values:13 model.partial_fit(xi, yi, sample_weights = qtd)14 yield (key, model)
26
![Page 30: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/30.jpg)
Outras alternativas
• Assumimos que o modelo poderia ser aprendido deforma incremental
• Em grandes bases de dados isso é desejado
• Teríamos alternativas ?• Bag of Little Bootstraps (BLB)
27
![Page 31: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/31.jpg)
Bag of Little Bootstraps
• Ideia básica é gerar R subconjuntos disjuntos dosdados com tamanho b, sendo b < n
• Para cada subonjunto são feitos B bootstraps ecomputa-se a média das estimativas em cada um
• Selecionamos b < n de forma que os dados possam sercarregados em memória
28
![Page 32: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/32.jpg)
Boosting
![Page 33: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/33.jpg)
O que é?
• Processo iterativo de mudar a distribuição dosdados, de modo que cada classificador foque mais nosexemplos que o anterior teve dificuldade.
• Cada objeto tem um peso associado, que representa achance deste objeto ser escolhido para a base.
29
![Page 34: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/34.jpg)
Algoritmo
1. Inicialmente, cada exemplo tem 1/N de chance de serescolhido;
2. Gerar uma amostra da base de acordo com asprobabilidades, e treinar um classificador;
3. Atualizar o peso/chance dos objetos: os pesos dosobjetos classificados incorretamente sãoincrementados, e os corretos são decrementados;
4. Voltar para o passo 2 até se atingir o númerodesejado de classificadores.
30
![Page 35: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/35.jpg)
Mais opções?
![Page 36: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/36.jpg)
O que fizemos até agora?
• Após treinados k classificadores base, estamosjuntando as predições deles de formas simples.
31
![Page 37: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/37.jpg)
E se fôssemos além?
• E se treinássemos um classificador para juntar estaspredições da melhor forma que ele encontrar?
32
![Page 38: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/38.jpg)
Stacking
• Chamamos essa técnica de stacking, pois estamosempilhando classificadores.
33
![Page 39: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/39.jpg)
Stacking
• É desejável que se tenha diferentes classificadorescomo base.
• Intuitivamente, o classificador final se beneficiade diferentes “visões” do mesmo problema:(hiperplano, árvore de decisão, vizinhos maispróximos, etc).
34
![Page 40: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/40.jpg)
Analogia (Parte III)
• Quando você toma uma decisão:• Você leva em conta apenas a sugestão dos outros• Você leva em conta a sugestão dos outros e a
informação que eles usaram para basear a decisãodeles
35
![Page 41: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/41.jpg)
Cascading
• Ao rodar um classificador podemos adicionar osscores de cada classe como novos atributos
• Um novo classificador é induzido neste novo espaço
36
![Page 42: Ensembles - Inteligência na Web e Big Data · 2020-05-19 · Ensembles Inteligência na Web e Big Data Fabricio Olivetti de França e Thiago Ferreira Covões folivetti@ufabc.edu.br,](https://reader034.vdocuments.com.br/reader034/viewer/2022050117/5f4ddeb74da43c00e45a325e/html5/thumbnails/42.jpg)
Referências
• Breiman, L. (1996). Bagging predictors. Machinelearning, 24(2), 123-140.
• Gama, J., & Brazdil, P. (2000). Cascadegeneralization. Machine learning, 41(3), 315-343.
• Wolpert, D. H. (1992). Stacked generalization.Neural networks, 5(2), 241-259.
• Chamandy, N., Muralidharan, O., Najmi, A., & Naidu,S. (2012). Estimating uncertainty for massive datastreams.
• Kleiner, A., Talwalkar, A., Sarkar, P., & Jordan, M.I. (2014). A scalable bootstrap for massive data.Journal of the Royal Statistical Society: Series B(Statistical Methodology), 76(4), 795-816.
37