deep learning: a ficção em ia tem se tornado realizade
TRANSCRIPT
Otávio Calaça Xavier <[email protected]>
Quem sou eu?
- Mestre em Ciência da Computação
- Professor Universitário na UFG e no IFG
- Consultor em Arquitetura de
Software e DevOps
- Membro da comunidade Deep Learning Brasil
Obrigado por ter vindo!
Otávio Calaça Xavier <[email protected]>
- Exemplos
- Categorias de Aprendizagem de Máquina
- As primeiras Redes Neurais
- O problema Vanishing Gradient
- Máquina Restrita de Boltzmann e a Deep Belief Network
- Convolutional Networks
- Ferramentas
- Referências
Iremos conversar sobre ...
Otávio Calaça Xavier <[email protected]>
- Quick Draw - Google
- https://quickdraw.withgoogle.com/
- IBM Watson
- http://visual-recognition-demo.mybluemix.net/
Alguns Exemplos
Otávio Calaça Xavier <[email protected]>
- Aprendizagem Supervisionada
- Classificação
- Regressão
- Aprendizagem Não Supervisionada
- Aprendizagem por Reforço
Categorias de Aprendizagem de Máquina
Otávio Calaça Xavier <[email protected]>
- O Neurônio biológico
As primeiras redes neurais artificiais
http://www.infoescola.com/sistema-nervoso/neuronios/
Otávio Calaça Xavier <[email protected]>
- Sinapses
As primeiras redes neurais artificiais
DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas
Otávio Calaça Xavier <[email protected]>
- O Perceptron (neurônio artificial) - década de 60
As primeiras redes neurais artificiais
DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas
Otávio Calaça Xavier <[email protected]>
- Funções de ativação
As primeiras redes neurais artificiais
Otávio Calaça Xavier <[email protected]>
- Fronteira de separação
As primeiras redes neurais artificiais
DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas
Otávio Calaça Xavier <[email protected]>
- Gradiente descendente
(usado na rede Adaline - década de 60)
As primeiras redes neurais artificiais
DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas
Otávio Calaça Xavier <[email protected]>
- A rede perceptron multicamada (década de 80)
As primeiras redes neurais artificiais
DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas
Otávio Calaça Xavier <[email protected]>
- Backpropagation
As primeiras redes neurais artificiais
DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas
Otávio Calaça Xavier <[email protected]>
- Em uma multilayer perceptron acabamos por
calcular gradientes em cima de gradientes.
- Quando temos muitas camadas, as primeiras
camadas tem o treinamento excessivamente
lento.
O problema Vanishing Gradient
Otávio Calaça Xavier <[email protected]>
- Máquina Restrita de Boltzmann (1986)
Deep Belief Network
DeepLearning.TV no Youtube
Otávio Calaça Xavier <[email protected]>
- Baseada na Máquina Restrita de Boltzmann (1986)
- Proposta por Geoffrey Hinton em 2006 como uma alternativa
para o backpropagation.
- Aprendizagem não supervisionada em cada nível de
abstração.
- Formação de "estados mentais".
- Última camada supervisionada.
Deep Belief Network
Otávio Calaça Xavier <[email protected]>
Convolutional Networks
http://cs231n.github.io/convolutional-networks/
Otávio Calaça Xavier <[email protected]>
- Canal DeepLearning.TV no YouTube: https://www.youtube.com/channel/UC9OeZkIwhzfv-_Cb7fCikLQ
- DA SILVA, I.N., SPATTI, D.H., FLAUZINO, R.A. Redes neurais artificiais para engenharia e ciências aplicadas. Artliber. 2010
- ACKLEY, David H.; HINTON, Geoffrey E.; SEJNOWSKI, Terrence J. A learning algorithm for Boltzmann machines. Cognitive science, v. 9, n. 1, p. 147-169, 1985.
- HINTON, Geoffrey E.; OSINDERO, Simon; TEH, Yee-Whye. A fast learning algorithm for deep belief nets. Neural computation, v. 18, n. 7, p. 1527-1554, 2006.
- LEE, Honglak et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. In: Proceedings of the 26th annual international conference on machine learning. ACM, 2009. p. 609-616.
- KRIZHEVSKY, Alex; SUTSKEVER, Ilya; HINTON, Geoffrey E. Imagenet classification with deep convolutional neural networks. In: Advances in neural information processing systems. 2012. p. 1097-1105.
Referências
