![Page 1: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/1.jpg)
![Page 2: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/2.jpg)
Em contraste aos métodos de aprendizadoque constroem uma descrição explicitagenérica da função alvo.
Os métodos baseados em instânciasguardam os exemplos de treinamento
A generalização é posposta até que umanova instância deva ser classificada
Cada vez que uma nova instância é encontrada, seus relacionamentos com osexemplos previamente guardados é examinado para atribuir um valor de funçãoalvo.
![Page 3: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/3.jpg)
IBL, instance based learning
Inclui os métodos de vizinho mais próximo, raciocínio baseado em casos
IBL é um método chamado lazy
IBL é utilizado em funções alvo com valores discreto ou valores reais.
![Page 4: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/4.jpg)
IBL pode utilizar uma representação simbólica mais complexa para as instâncias -> Raciocínio baseado em Casos.
O custo de classificar uma nova instância é alto
Indexação eficiente dos exemplos de treinamento
![Page 5: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/5.jpg)
O método IBL mas basico é o algoritmo k-nearest neighbor
Este algoritmo assume que todas as instâncias correspondem a um ponto no espaço n-dimensional Rn
O vizinho mais próximo de uma instância é definido em termos da distância euclidiana.
![Page 6: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/6.jpg)
Seja a instância descrita por◦ (a1(x),a2(x),.........an(x))
A distância entre 2 instâncias Xi e Xj◦ d(Xi,Xj)=(∑r=1,n (ar(Xi)-ar(Xj))2)1/2
Esta abordagem é apropriada tanto para funções alvo discretas ou reais.
![Page 7: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/7.jpg)
Neste caso o valor f(xq) retornado é o f(xq) mais freqüente entre os k vizinhos de f(xq).
Algoritmo◦ Fase de treinamento: para cada exemplo de
treinamento (x,f(x)), adicione o exemplo a lista de exemplos.
![Page 8: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/8.jpg)
Dado uma instância Xq a ser classificada
Sejam X1...Xk as instâncias de treinamento mais próximas de Xq
Retorne◦ F(Xq) <- argmax )=(∑i=1,k α(r,f(Xi))
Onde α(a,b)=1 se a=b
Caso contrario α(a,b)=0
![Page 9: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/9.jpg)
1 vizinho classifica como +
5 vizinhos classificam como -
![Page 10: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/10.jpg)
Classificação no caso de valores reais
f(Xq) =(∑i=1,k,f(Xi))/k
![Page 11: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/11.jpg)
• Um refinamento obvio do algoritmo é
atribuir pesos a cada k-vizinho de acordo
a sua distância a instância a classificar Xq
• Ex: valores discretos
– F(Xq) <- argmax )=(∑i=1,kwi α(r,f(Xi))
– Voto de acordo com a distância
– Wi = 1/ d(Xq,Xi)2
– Se Xi= Xq -> f(Xq) = f(Xi)
![Page 12: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/12.jpg)
f(Xq) =(∑i=1,k,wi f(Xi))/ ∑i=1,k,wi ◦ Normalizar os pesos◦ K = todas as instâncias ou constante
Obs: A introdução de pesos no algoritmo o faz um método altamente efetivo para vários problemas práticos
É robusto a dados com ruído e efetivo com grandes bases de treinamento
É sensível ao conjunto de atributos
![Page 13: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/13.jpg)
Esta abordagem usa exemplos de treinamento ponderado por sua distância para formar uma aproximação a f.
Ex: podemos usar uma função linear, quadrática, rede neural ou alguma outra função.
Dada uma instância a classificar Xq, a abordagem constrõe uma aproximação f usando os vizinhos de Xq.
Esta aproximação é utilizada para calcular f(Xq)
![Page 14: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/14.jpg)
f(X) = w0 + w1 a1(x)+ .....+ wnan(x)
E = ½ ∑i=1,k,( f(X) – fe(x))2
∆W=ŋ ∑i=1,k,( f(X) – fe(x)) an(x)
![Page 15: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/15.jpg)
Imagine instâncias descritas por 20 atributos, mais somente 2 são relevantes
Problemas de recuperação, kd-tree, as instâncias são guardadas nas folhas da arvore, com as instâncias vizinhas no no perto dele. Os nos internos da arvore ordenam a nova instância e a classificam testando seus atributos.
![Page 16: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/16.jpg)
Baixos requisitos de memoria e processamento
Uma hipoteses
Sensibilidade a ordem no treinamento, maior quantidade de instâncias de treinamento para converger
Menos sensitivo a ruido
![Page 17: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/17.jpg)
![Page 18: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/18.jpg)
Protótipos
Tarefa
◦ dado um conjunto de instâncias pre-classificadas
◦ encontrar uma descrição intencional
◦ um conjunto de protótipos
![Page 19: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/19.jpg)
Esquemas competitivos não podem ser representados isoladamente
A extensão de um conceito depende de sua descrição e da dos outros
O operador típico é o calculo da media das instâncias de treinamento.
A descrição especifica a tendência central das instâncias
![Page 20: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/20.jpg)
Guardam instâncias específicas ao invés de uma descrição abstrata
Protótipos◦ conjunção de pares atributos valor
![Page 21: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/21.jpg)
A
B
Peso
Altura Altura
Peso
AD
B C
![Page 22: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/22.jpg)
Usar protótipos para classificação é um
processo de três passos:
◦ Dada uma instância I,
◦ calcula-se sua distância a cada protótipo
distância euclidiana,
distância de hamming
◦ Usa-se o resultado para classificar a instância, o
protótipo mais perto
![Page 23: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/23.jpg)
Realizar a média das instâncias para encontrar o protótipo de cada classe
Para determinar o valor pi de um atributo
para um protótipo (numérico)
◦ pi= 1/n xij (j=1,n)
![Page 24: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/24.jpg)
Ao encontrar uma instância de uma classe nova, guarde esta instância como protótipo
Quando observar uma instância de uma
classe conhecida, recalcule o protótipo
◦ para cada atributo i
� pi= (xi-pi)/n+1
◦ para atributos nominais, escolha o valor mais
frequente
![Page 25: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/25.jpg)
Em termos de eficiência e elegância é um dos melhores
pouca expressão representacional
linhas de fronteiras
![Page 26: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/26.jpg)
Um dos problemas do método anterior é tratar todos os atributos de forma equivalente
Se os atributos tem escalas diferentes
◦ normalizar
Alguns atributos tem maior importância
![Page 27: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/27.jpg)
- -
Peso
Altura
+
+ + -
Pesos de atributos iguais Altura 0.93 e peso 0.68
- -
Peso
Altura
+
+ + -
![Page 28: Em contraste aos métodos de aprendizado · 2010. 9. 20. · Em contraste aos métodos de aprendizado que constroem uma descrição explicita genérica da função alvo. Os métodos](https://reader035.vdocuments.com.br/reader035/viewer/2022071404/60f940456ade626bbf4b11e5/html5/thumbnails/28.jpg)
i wi (pi-xi)2
wi ?
wi = 1 - 1/n( (k=1,c) j=1,nk pki - xji)
n = número total de instâncias de treinamento
nk = número de instâncias para a classe c