universidade tecnológica federal do paraná utfpr ...danielc/ensino/graduacao...1/24 inteligência...
TRANSCRIPT
![Page 1: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/1.jpg)
1/24
Inteligência ComputacionalRedes Neurais
Aula 7Prof. Daniel Cavalcanti Jeronymo
Universidade Tecnológica Federal do Paraná (UTFPR)Engenharia Eletrônica – 7º Período
CP78D
![Page 2: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/2.jpg)
2/24
Plano de Aula
• Preditor Linear
• Perceptron
• BackPropagation
• Multilayer Perceptron (MLP)
![Page 3: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/3.jpg)
3/24
Preditor LinearV = 50 m/s
x = 0 mt = 0 s
x = 50 mt = 1 s
x = 100 mt = 2 s
x = ???t = 3 s
Predição Preditor Classificação Aprendizado Aplicação
![Page 4: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/4.jpg)
4/24
Preditor LinearV = 50 m/s
x = 0 mt = 0 s
x = 50 mt = 1 s
x = 100 mt = 2 s
x = ???t = 3 s
𝑟 = 𝑟0 + 𝑣 ∙ 𝑡
Predição Preditor Classificação Aprendizado Aplicação
![Page 5: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/5.jpg)
5/24
Preditor LinearV = 50 m/s
x = 0 mt = 0 s
x = 50 mt = 1 s
x = 100 mt = 2 s
x = 150 mt = 3 s
𝑟 = 𝑟0 + 𝑣 ∙ 𝑡
Predição Preditor Classificação Aprendizado Aplicação
![Page 6: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/6.jpg)
6/24
Preditor Linear
• Preditor linear
• f: função linear que mapeia um conjunto x à um conjunto y
𝑓: 𝑥 → 𝑦
fx y
Predição Preditor Classificação Aprendizado Aplicação
![Page 7: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/7.jpg)
7/24
Preditor Linear
• Forma genérica
• Forma matricial
𝑦 = 𝑤0 +𝑤1 ∙ 𝑥1 +𝑤2 ∙ 𝑥2…
𝑦 = 𝑤0 +𝑤𝑇 ∙ 𝑥
𝑤, 𝑥 ∈ 𝑅𝑑
𝑦 = 𝑓(𝑤, 𝑥)
𝑦, 𝑤0 escalares
Predição Preditor Classificação Aprendizado Aplicação
𝑦 = 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
![Page 8: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/8.jpg)
8/24
Preditor Linear
• Regressão (profissão → salário)
Saída continua
• Classificação (foto → rosto / não rosto)
Saída binária
fx y
fwx y
∈ 𝑅
∈ {0, 1}
Predição Preditor Classificação Aprendizado Aplicação
![Page 9: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/9.jpg)
9/24
Preditor Linear
• Classificação (foto → rosto / não rosto)
fw é conhecida como função classificadora
y é conhecido como conjunto de categorias (label, class, category, tag, etc.)
fwx y ∈ {0, 1}
Predição Preditor Classificação Aprendizado Aplicação
![Page 10: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/10.jpg)
10/24
Preditor Linear
• Classificação
fw mapeia o preditor linear em uma variável discreta
𝑓𝑤(𝑥) = 1 𝑠𝑒 𝑥 ≥ 0,50 𝑠𝑒𝑛ã𝑜
fronteira de decisãodecision boundary
Predição Preditor Classificação Aprendizado Aplicação
![Page 11: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/11.jpg)
11/24
Preditor Linear
• Classificação – Exemplo
x = [0, 0.1429, 0.2858, 0.4289, 0.7143, 0.8571, 1, 1.1429]
y = [0, 0, 0, 0, 1, 1, 1, 1]
Predição Preditor Classificação Aprendizado Aplicação
![Page 12: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/12.jpg)
12/24
Preditor Linear
• Classificação – Exemplo
x = [0, 0.1429, 0.2858, 0.4289, 0.7143, 0.8571, 1, 1.1429]
y = [0, 0, 0, 0, 1, 1, 1, 1]
w0 = 0.1826
w1 = 0.4644
𝑦 = 𝑓(𝑤, 𝑥)
Predição Preditor Classificação Aprendizado Aplicação
![Page 13: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/13.jpg)
13/24
Preditor Linear
• Classificação – Exemplo
x = [0, 0.1429, 0.2858, 0.4289, 0.7143, 0.8571, 1, 1.1429]
y = [0, 0, 0, 0, 1, 1, 1, 1]
w0 = 0.1826
w1 = 0.4644
𝑦 = 𝑓𝑤(𝑓(𝑤, 𝑥))
Predição Preditor Classificação Aprendizado Aplicação
![Page 14: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/14.jpg)
14/24
Preditor Linear
• Aprendizado
Trata-se de encontrar o preditor f que mapeie corretamente osdados de treinamento
Alterações em w afetam a fronteira de decisão e porconsequência o classificador
fx y
Aprender
dados
w
Predição Preditor Classificação Aprendizado Aplicação
![Page 15: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/15.jpg)
15/24
Preditor Linear
• Aprendizado
Como aprender?
fx y
Aprender
dados
w
Predição Preditor Classificação Aprendizado Aplicação
![Page 16: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/16.jpg)
16/24
Preditor Linear
• Aprendizado
Adotar uma função de perdas (loss function)
Quantifica quão ruim é a escolha de w no treinamento
fx y
Otimizar
{xt, yt}
L(w, xt, yt)
Predição Preditor Classificação Aprendizado Aplicação
![Page 17: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/17.jpg)
17/24
Preditor Linear
• Aprendizado
Adotar uma função de perdas (loss function)
Quantifica quão ruim é a escolha de w no treinamento
fx y
Otimizar
{xt, yt}
L(w, xt, yt)
𝐿 𝑤, 𝑥𝑡 , 𝑦𝑡 = 𝑓 𝑤, 𝑥𝑡 − 𝑦𝑡
resíduo
yp
Predição Preditor Classificação Aprendizado Aplicação
![Page 18: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/18.jpg)
18/24
Preditor Linear
• Aprendizado
Adotar uma função de perdas (loss function)
Quantifica quão ruim é a escolha de w no treinamento
fx y
Otimizar
{xt, yt}
L(w, xt, yt)
𝐿 𝑤, 𝑥𝑡 , 𝑦𝑡 = (𝑓 𝑤, 𝑥𝑡 − 𝑦𝑡)2
erro quadrático
yp
Predição Preditor Classificação Aprendizado Aplicação
![Page 19: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/19.jpg)
19/24
Preditor Linear
• Aprendizado
Significado: encontrar w que minimize o erro entre o preditor e o conjunto de treinamento
fx y
Otimizar
{xt, yt}
L(w, xt, yt)
𝐿 𝑤, 𝑥𝑡 , 𝑦𝑡 = (𝑓 𝑤, 𝑥𝑡 − 𝑦𝑡)2
erro quadrático
yp
Predição Preditor Classificação Aprendizado Aplicação
![Page 20: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/20.jpg)
20/24
Preditor Linear
• Aprendizado
Significado: encontrar w que minimize o erro entre o preditor e o conjunto de treinamento
𝑚𝑖𝑛.𝑤
𝐿 𝑤, 𝑥𝑡 , 𝑦𝑡 Como a escolha da função perda afetaa otimização?
Predição Preditor Classificação Aprendizado Aplicação
![Page 21: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/21.jpg)
21/24
Preditor Linear
• O que é possível classificar?
Testar funções lógicas
Predição Preditor Classificação Aprendizado Aplicação
![Page 22: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/22.jpg)
22/24
Atividade
• O que é possível classificar?
Aquecimento classifier.py
Alterar e testar as funções NOT, AND e OR
Funciona para XOR?
Predição Preditor Classificação Aprendizado Aplicação
![Page 23: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/23.jpg)
23/24
Atividade
• Atividade Breast Cancer
Predição Preditor Classificação Aprendizado Aplicação
![Page 24: Universidade Tecnológica Federal do Paraná UTFPR ...danielc/Ensino/Graduacao...1/24 Inteligência Computacional Redes Neurais Aula 7 Prof. Daniel Cavalcanti Jeronymo Universidade](https://reader036.vdocuments.com.br/reader036/viewer/2022071416/6113fb97e06adb57a87b1b8a/html5/thumbnails/24.jpg)
24/24
Atividade• Atividade Breast Cancer (breast_cancer_brute_force.py)
• Para quais atributos o classificador linear poderia ser aplicado?
• Como melhorar o treinamento? (otimização)
• Separar o conjunto de dados em treinamento e validação
• Construir um classificador com múltiplos atributos e testar taxa de classificações errôneas (misclassifications)
Predição Preditor Classificação Aprendizado Aplicação