nondestructive testing – emergent technologies - inf.ufpr.br · –dado um conjunto...
TRANSCRIPT
![Page 1: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/1.jpg)
Redes Neurais
Prof. Aurora PozoObs: slides baseados em
Prof. Marcílio Souto e Prof. Marley Vellasco
![Page 2: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/2.jpg)
CONTEÚDO
• Introdução– Motivação, Objetivo, Definição, Características Básicas
e Histórico
• Conceitos Básicos– Neurônio Artificial, Modos de Interconexão
• Processamento Neural– Recall e Learning
• Regras de Aprendizado– Regra de Hebb, Perceptron, Back Propagation,
Hopfield e Competitive Learning
2
![Page 3: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/3.jpg)
MOTIVAÇÃO
3
![Page 4: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/4.jpg)
4
![Page 5: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/5.jpg)
5
![Page 6: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/6.jpg)
Objetivo
• Estudar a teoria e a implementação de sistemas massivamente paralelos, que possam processar informação com eficiência comparável ao cérebro.
6
![Page 7: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/7.jpg)
Definição
• Redes Neurais Artificiais são sistemas inspirados nos neurônios biológicos e na estrutura massivamente paralela do cérebro, com capacidade de adquirir, armazenar e utilizar conhecimento experimental.
7
![Page 8: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/8.jpg)
8
![Page 9: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/9.jpg)
9
![Page 10: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/10.jpg)
Características Básicas
• Devido à similaridade com a estrutura do cérebro, as Redes Neurais exibem características similares ao do comportamento humano, tais como:
10
![Page 11: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/11.jpg)
Características Básicas
• Procura Paralela e Endereçamento pelo Conteúdo:
O cérebro não possui endereço de memória enão procura a informação seqüencialmente
11
![Page 12: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/12.jpg)
Aprendizado
• A rede aprende por experiência, não necessitando explicitar os algoritmos para executar uma determinada tarefa
12
![Page 13: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/13.jpg)
13
![Page 14: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/14.jpg)
14
![Page 15: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/15.jpg)
15
![Page 16: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/16.jpg)
Características Básicas
• Robustez e Degradação Gradual:
A perda de um conjunto de elementos processadores não causa o mal funcionamento da rede neural
16
![Page 17: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/17.jpg)
17
![Page 18: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/18.jpg)
18
![Page 19: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/19.jpg)
HISTÓRICO
• McCulloch & Pitts (1943):– modelo computacional para o neurônio artificial. Não possuía
capacidade de aprendizado
• Hebb (1949):– modelo de aprendizado (Hebbian Learning Rule)
• Rosenblatt (1957):– Perceptron, com grande sucesso em certas aplicações e
problemas em outras aparentemente similares
• Minsly & Papert ( Perceptrons 1969):– prova matemática de que as redes Perceptron são incapazes de
solucionar problemas simples tipo OU-EXCLUSIVO
• Rumelhart (início da década de 80):– novos modelos que superaram os problemas dos Perceptrons.
19
![Page 20: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/20.jpg)
CONCEITOS BÁSICOS
• Neurônio Artificial
– (Elemento Processador)
• Estruturas de Interconexão
– FeedForward de 1 camada
– FeedForward de Múltiplas Camadas
– Recorrente (com realimentação)
20
![Page 21: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/21.jpg)
Elemento Processador
21
![Page 22: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/22.jpg)
22
![Page 23: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/23.jpg)
23
![Page 24: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/24.jpg)
24
![Page 25: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/25.jpg)
25
![Page 26: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/26.jpg)
26
![Page 27: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/27.jpg)
27
![Page 28: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/28.jpg)
28
![Page 29: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/29.jpg)
CONCEITOS BÁSICOS
• Neurônio Artificial
– (Elemento Processador)
• Estruturas de Interconexão
– FeedForward de 1 camada
– FeedForward de Múltiplas Camadas
– Recorrente (com realimentação)
29
![Page 30: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/30.jpg)
Topologias das Redes
• Neurais
• Redes Feed-Forward:
– redes de uma ou mais camadas de processadores, cujo fluxo de dados é sempre em uma única direção, isto é, não existe realimentação.
• Redes Recorrentes:
– redes com conexões entre processadores da mesma camada e/ou com processadores das camadas anteriores (realimentação).
30
![Page 31: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/31.jpg)
Redes Feed-Forward
31
![Page 32: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/32.jpg)
Redes Recorrentes
32
![Page 33: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/33.jpg)
Processamento Neural
33
O processamento de uma Rede Neural
pode ser dividido em duas fases:
![Page 34: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/34.jpg)
Recuperação de Dados
• Assumindo que um conjunto de padrões tenha sido armazenado, a Rede Neural pode executar as seguintes tarefas:
34
![Page 35: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/35.jpg)
35
![Page 36: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/36.jpg)
36
![Page 37: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/37.jpg)
37
![Page 38: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/38.jpg)
38
![Page 39: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/39.jpg)
39
![Page 40: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/40.jpg)
40
![Page 41: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/41.jpg)
41
![Page 42: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/42.jpg)
42
![Page 43: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/43.jpg)
43
![Page 44: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/44.jpg)
44
![Page 45: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/45.jpg)
45
![Page 46: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/46.jpg)
46
![Page 47: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/47.jpg)
47
![Page 48: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/48.jpg)
48
![Page 49: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/49.jpg)
49
![Page 50: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/50.jpg)
50
![Page 51: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/51.jpg)
51
![Page 52: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/52.jpg)
52
![Page 53: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/53.jpg)
53
![Page 54: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/54.jpg)
54
![Page 55: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/55.jpg)
55
![Page 56: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/56.jpg)
56
![Page 57: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/57.jpg)
57
![Page 58: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/58.jpg)
58
![Page 59: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/59.jpg)
Redes Neurais Artificiais
Perceptrons e Adalines
![Page 60: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/60.jpg)
Unidades de Processamento
• Função: receber entradas, computar função sobre entradas e enviar resultado para as unidades seguintes
• Entrada total
60
u x wj jj
N
1
f (xw)
x1
x2
xN
y
w1
w2
wN
f (u)
![Page 61: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/61.jpg)
Funções de ativação
• Funções de ativação mais comuns
– a(t ) = u(t) (linear)
– a(t ) =
– a(t ) = 1/(1 + e- u(t)) (sigmoide logística)
– a(t) = (1 - e-u(t)) (tangente hiperbólica)
(1 +e-u(t))
61
1 , se u(t)
0, se u(t) (threshold ou
limiar)
![Page 62: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/62.jpg)
Função linear
62
F[u(t)]
u(t)
F[u(t)] = u(t)
![Page 63: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/63.jpg)
Função limiar unipolar
63
u(t)
F[u(t)] =0, se u(t)
1, se u(t)
F[u(t)]
![Page 64: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/64.jpg)
Função limiar bipolar
64
F[u(t)]
u(t)
F[u(t)] = sinal [u(t)]
![Page 65: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/65.jpg)
Função piecewise linear
65
F[u(t)]
u(t)
F[u(t)] =
-1, se u(t) -
+1, se u(t) >
- u(t)
1
-1
![Page 66: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/66.jpg)
Função sigmoide logística (bipolar)
66
F[u(t)]
F[u(t)] = 1/(1 + e- u(t)
)
1
Função de limiar diferenciável
![Page 67: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/67.jpg)
Função sigmoid bipolar
67
F[u(t)]
+1
-1
Função de limiar diferenciável
F[u(t)] =(1 +e
-u(t))
(1 - e-u(t)
)
![Page 68: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/68.jpg)
Função Gaussiana
68
F[u(t)]
u(t)
F[u(t)] = e
-(x-xm)2
[ ]
![Page 69: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/69.jpg)
Perceptrons e Adalines
Regras Simples de Aprendizado
![Page 70: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/70.jpg)
Perceptrons e Adalines
• Redes de uma única camada
– Unidades Lineares com Threshold (TLUs)• Perceptron => Rosenblatt, 1958
– Unidades Lineares (ULs)• Adaline => Widrow e Hoff, 1960
• Problemas de classificação
– Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto?
70
![Page 71: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/71.jpg)
TLU - Threshold Linear Unit
71
y =0, se a
1, se a
a x wii
N
i
1
![Page 72: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/72.jpg)
Algoritmo de aprendizado do Perceptron (1/2)
1. Inicializar e o vetor de pesos w
2. Repetir
– Para cada par do conjunto de treinamento (x,t)
– Atualizar o vetor de pesos para cada um dos nós darede segundo a regra wi(t+1)= wi(t) + (t - o)xi
3. Até o=t para todos os vetores
72
![Page 73: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/73.jpg)
Algoritmo de aprendizado do Perceptron (2/2)
• Teorema da convergência (Minsky e Papert, 1969)
– O algoritmo converge dentro de um número finito de passos para um vetor de pesos que classifica corretamente todo o conjunto de treinamento
• Dado que o conjunto de treinamento é linearmente separável
73
![Page 74: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/74.jpg)
Gradiente Descendente e a Regra Delta
• Widrow e Hoff (1960) para Adalines
• Uso do gradiente descendente para buscar o vetor de pesos que melhor se ajuste ao conjunto de treinamento
– Independentemente do conjunto de treinamento ser linearmente separável
74
![Page 75: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/75.jpg)
Regra Delta
• Considere a tarefa de treinar um perceptron sem limiar (unthresholded), i.e., uma Unidade Linear (UL):
– y=w.x (1)
• Especifique uma medida de erro (função de custo) para o treinamento
– E(w)=1/2 dD (td - od)2 (2)
75
![Page 76: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/76.jpg)
Função de Custo (1/2)
• E(w)=1/2 dD (td - od)2 , em que
– D é o conjunto de treinamento
– td é a saída desejada para o exemplo d
– od é a saída da UL para o exemplo d
• Caracterizamos E como uma função dos pesos w e não da saída linear o
– o=w.x
– D é fixo durante o treinamento
76
![Page 77: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/77.jpg)
Função de Custo (2/2)
77
![Page 78: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/78.jpg)
Minimização do custo (1/3)
• A função E é uma medidade objetiva do erro preditivo para uma escolha especifíca de vetor de pesos
• Objetivo: encontrar um vetor w que minimize E
• Solução: usar técnicas de gradiente descendente
78
![Page 79: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/79.jpg)
Minimização do custo (2/3)
1. Escolha valores iniciais arbitrários para os pesos
2. Calcule o gradiente da função de custo com respeito a cada peso
3. Mude os pesos tal que haja um deslocamento pequeno na direção de –G
-G => Maior taxa de diminuição do erro
1. Repita passos 2 e 3 até que erro se aproxime de zero
Como este algoritmo funciona?
79
![Page 80: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/80.jpg)
Minimização do custo (3/3)
• Uma busca basedada no gradiente descente determina o vetor de peso que minimiza E, começando com um vetor arbitrario inicial
• Modique o vetor repetidamente, em passos pequenos
• Em cada paso, o vetor é alterado na direção que produz a descida mais acentuada (steepest descent) ao longo da superfíie do erro
• Continue até que um mínimo global seja encontrado
80
![Page 81: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/81.jpg)
Derivação da regra do gradiente descendente (1/3)
• Como podemos calcular a direção da descida mais acentuada ao longo da superfície do erro?
– Calcule a derivada de E com respeito a cada componente do vetor w
– Gradiente E com respeito wE(w) [E/w0 , E/w1 , ..., E/w0 ] (3)
• Vetor de derivadas parciais
• Especifica a direção que produz o aumento mais acentuado em E
81
![Page 82: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/82.jpg)
Derivação da regra do gradiente descendente (2/3)
• Visto que o gradiente especifica a direção de maior crescimento de E, a regra do gradiente é:
– w w + w, onde
– w = -E(w) (4), onde
• é uma constante positiva - taxa de aprendizado
• O sinal negativo força o deslocamento do vetor de peso na direção que E decresce
– wi (t+1) wi(t) + wi
– wi = - (E/wi) (5)
82
![Page 83: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/83.jpg)
Derivação da regra do gradiente descendente (3/3)
– O vetor de derivadas E/wi que forma o gradiente pode ser obtido derivando E:
– E/wi = /wi 1/2 dD (td - od)2
– = 1/2 dD /wi (td - od)2
– = 1/2 dD 2 (td - od) /wi (td - od)
– = dD (td - od) /wi (td - w.xd)
– E/wi = dD (td - od)(-xid) (6), onde
• xid denot um único componente de entrada xi do exemplo de treinamento d
– wi (t+1) wi (t) + (td - od)xi (6) em (5) (7)
83
![Page 84: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/84.jpg)
Algoritmo de Widrow e Hoff
• Inicializar e o vetor de pesos w
• Repetir
• Inicializar wi com zero
• Para cada par do conjunto de treinamento (x,t)
– Calcule a saída o
– Para cada peso wi das LUs
• Calcule wi wi + (t - o)xi
• Para cada peso wi das LUs
– wi wi + wi
• Até que uma condição de término seja satisfeita
84
![Page 85: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/85.jpg)
Observações (1/2)
• A estratégia do gradiente descendente pode ser aplicada sempre que:
1. O espaço de hipóteses contém hipóteses parametrizadas contínuas (e.g. os pesos wde uma LU)
2. O erro pode ser diferenciável com relação a estes parâmetros das hipóteses
85
![Page 86: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/86.jpg)
Observações (2/2)
• Dificuldades prática da estratégia do gradiente descendente:
1. Convergência para um mínimo local pode ser muita lenta (várias iterações)
2. Se existir vários mínimos locais na superfície de erro, não haverá garantia que o algoritmo encontrará o mínimo
86
![Page 87: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/87.jpg)
Aproximação estocástica
• Gradiente descendente incremental ou gradiente descendente estocástico
– Aproxima a busca do gradiente descendente atualizando os pesos a cada exemplo individual
• wi = (t - o)xi
87
![Page 88: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/88.jpg)
Gradiente descendente estocástico
• Inicializar e o vetor de pesos w
• Repetir
• Inicializar wi com zero
• Para cada par do conjunto de treinamento (x,t)
– Calcule a saída o
– Para cada peso wi das LUs
• Calcule wi wi + (t - o)xi
• {Para cada peso wi das Lus wi wi + wi }
• Até que uma condição de término seja satisfeita
88
![Page 89: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/89.jpg)
Gradiente descendente Padrão X Estocástico
• O erro de cada exemplo é acumulado antes da atualização dos pesos X Os pesos são atualizados após a apresentação de cada exemplo
• O gradiente padrão requer mais computação por cada passo de atualização dos pesos
– Um taxa maior de aprendizagem pode ser utilizada
• Em problemas com vários mínimos locais, o gradiente estocástico pode evitar a queda em um desses mínimos
89
![Page 90: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/90.jpg)
Perceptrons/Adalines (1/2)
• Poder Computacional
– Representam uma superfície de decisão através de um hiperplano
• o=1 para exemplos situados em um lado
• o=0 para exemplos situados no outro lado
• Exemplos linearmente separáveis
– Apenas funções linearmente separáveis (Minsky e Papert, 1969)
90
![Page 91: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/91.jpg)
Perceptrons/Adalines (2/2)
• Poder Computacional
– Podem representar todas as funções Booleanas primitivas (AND, OR, NAND e NOR)
• Não podem representar o XOR
– Qualquer função booleana pode ser representada por um perceptron de duas camadas
• Forma normal disjuntiva
• Regressão Linear
91
![Page 92: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/92.jpg)
Regra do Perceptron xRegra Delta (1/3)
• Atualização dos pesos
1. baseada no erro da saída da rede após a aplicação do limiar (thresholded output)
2. baseada no erro da saída da rede sem a aplicação do limiar (unthresholded output)
92
![Page 93: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/93.jpg)
Regra do Perceptron xRegra Delta (2/3)
• Convergência
1. Converge dentro de um número finito de passos para um vetor de pesos que classifica corretamente todo o conjunto de treinamento
– Dado que o conjunto de treinamento seja linearmente separável
93
![Page 94: Nondestructive Testing – Emergent Technologies - inf.ufpr.br · –Dado um conjunto pré-especificado de entradas, uma certa entrada pertence ou não a este conjunto? 70. TLU -](https://reader034.vdocuments.com.br/reader034/viewer/2022052610/5c02b31409d3f2a9258b6f89/html5/thumbnails/94.jpg)
Regra do Perceptron x Regra Delta (3/3)
• Convergência
1. Converge apenas assintoticamente para um vetor de pesos com um erro mínimo, possivelmente requererendo um número ilimitado de pasos
• Independentemente de o conjunto de treinamento ser linearmente separável
94