![Page 1: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/1.jpg)
Aprendizagem Automática
Mestrado em Engenharia Informática
![Page 2: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/2.jpg)
14-04-2023 Aprendizagem Automática / Machine Learning
Sumário
Generalização e Overfitting Avaliação de hipóteses e
comparação de resultados
2
![Page 3: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/3.jpg)
14-04-2023 Aprendizagem Automática / Machine Learning
Generalização
Até que ponto a nossa hipótese ira ter o resultado correcto para exemplos fora do conjunto de treino?
3
![Page 4: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/4.jpg)
-4
-3
-2
-1
0
1
2
3
4
-4 -3 -2 -1 0 1 2 3 4
Series1
Series2
-4
-3
-2
-1
0
1
2
3
4
-4 -2 0 2 4
Series1
Series2
Overfitting
Boa generalização (mesmo com erros no conjunto de treino)
Overfitting / Sobre-aprendizagem(má generalização)
![Page 5: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/5.jpg)
Generalização e “overfitting”Como saber quando parar o treino
(aprendizagem supervisionada):
Validação cruzadaCross-validation
treino
teste Paragem
![Page 6: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/6.jpg)
Validação => três conjuntos de dados:◦ Treino, Teste, Validação
Conjuntos pequenos (k-fold validation/leave n-off)1. Dividir dados em k subconjuntos2. Em cada uma de k experiências usar um dos conjuntos
para validação3. Calcular nº médio de iterações (n) para minimizar erro
de validação4. Treinar com todos os dados n épocas
Validação
![Page 7: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/7.jpg)
Cada teste dá um resultado (erro médio, qualidade média, etc.) X = {x1, x2, …, xn}
Um conjunto de testes terá também um média (bem como variância e desvio-padrão)
Média (mean)
Variância (variance)
O desvio padrão (standard deviation)
Avaliação de hipóteses
n
iixn
X1
1
n
ii Xx
nXs
1
2)(1
1)(
n
ii Xx
nX
1
2)(1
)(
7AA/ML, Luís Nunes, DCTI/ISCTE
![Page 8: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/8.jpg)
Um intervalo de confiança de C%, diz-nos que, com C% de probabilidade, a média real (para um número infinito de experiências) estará no intervalo definido por
n é o número de experiências realizadas t a distribuição T-student, parametrizada por C,n.
Ex: O intervalo de confiança de 95%, para um erro médio de 0.1, com variância 0.01, para 30 experiências:
Excel: TINV(1 – C, n-1) = TINV(1 - 0.95, 29) = 2.04
Avaliação de hipóteses
n
s(X) t X,n
s(X)– t X nC,nC,
2.04t95,30
0.103725 0.096275, 30
0.012.04 0.1 ,30
0.012.04– 0.1
8AA/ML, Luís Nunes, DCTI/ISCTE
![Page 9: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/9.jpg)
Para provar (com uma certeza razoável) que um método é melhor que outro é necessário que os intervalos de confiança de ambas as experiências não se sobreponham
Avaliação de hipóteses
9AA/ML, Luís Nunes, DCTI/ISCTE
![Page 10: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/10.jpg)
14-04-2023 Aprendizagem Automática / Machine Learning
Referências
http://en.wikipedia.org/wiki/Student's_t-test
10
![Page 11: Generalização, validação e comparação de resultados](https://reader036.vdocuments.com.br/reader036/viewer/2022082811/5590b2141a28abe4058b46f3/html5/thumbnails/11.jpg)
14-04-2023 Aprendizagem Automática / Machine Learning
Sumário
Generalização e Overfitting Avaliação de hipóteses e
comparação de resultados
11