a in u^encia da biologia na matem atica · a in u^encia da biologia na matem atica jo~ao brazuna...

A Influenciada Biologia na

Matematica

Joao Brazuna

Introducao:RedesNeuronaisBiologicas vs.Artificiais

Construcaodas RedesNeuronaisArtificiais

Exemplo deAplicacao

Conclusao

A Influencia da Biologia na MatematicaUma Introducao as Redes Neuronais

Joao Brazuna

Seminario de Investigacao em Probabilidades e Estatıstica IIInstituto Superior Tecnico

6 de Julho de 2018


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao

Introducao: Redes Neuronais Biologicas vs. Artificiais


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao


O Funcionamento da Aprendizagem

A aprendizagem humana e em si um tema complexo e amplamente explorado.O ser humano pode aprender de diversas formas, sendo o exemplo uma das maisfuncionais dessas formas.Esta ideia esta na base da “aprendizagem” de um computador.

Computadores vs. Humanos

Computador: tem processadores para “pensar” (eventualmente varios emparalelo);

Humano: tem estrutura neuronal muito mais densa e em maior numero.


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao


Exemplo

Um exemplo tıpico consiste em conseguir fazer um computador reconhecer umafotografia de um gato.

Mecanismo de aprendizagem humana:atraves da comunicacao entre os neuronios (sinapses);

Melhoramento da aprendizagem:Mais e melhor qualidade de ligacoes ⇒ melhor capacidade de aprendizagem,incluindo adaptacao a mudancas na realidade (como o aparecimento de umaoutra especie de gato, por exemplo).


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao


Comparacao Humano vs. Computador

Redes Neuronais Biologicas Redes Neuronais ArtificiaisNeuronios: Processadores:

Velocidade de Processamento: 102 Hz 108 HzSinais/Ruıdo 1 ∞

Velocidade do Sinal 1m/s 108 m/sNumero de Conexoes 104 10

Modo de Operacao Em Paralelo Em SerieAprendizagem Conexoes entre neuronios Dados e programas implementados

Melhoria Adaptacao natural Programacao externa

Falha de Hardware Robustas contra falha de “hardware” FatalAparecimento subito de novos dados Sim, desorganizados Nao

Tabela: Comparacao entre Redes Neuronais Biologicas e Artificiais (Fonte: [2] em 1998)


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao


Neuronios ⇔ Processadores?

O numero de processadores fısicos de um computador e ainda bastantereduzido (em media, 2 a 8, actualmente) face ao numero de neuronios de umarede biologica.

A alternativa passa pelo desenvolvimento de processadores artificiais (a nıvelde software), de modo a que possa existir um numero bastante maior.

Tendo ja os mecanismos presentes para a construcao de uma rede neuronalartificial, como podemos reproduzir o processo de aprendizagem humana? Serapossıvel unir os melhor dos dois mundos?


Matematica

Joao Brazuna



ConstrucaoMatematica doModelo de RedesNeuronais

Estimacao dosParametros

Estimacao utilizandoEntropia

Exemplo deAplicacao

Conclusao

Construcao das Redes Neuronais Artificiais


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Introducao e Notacao

Pensemos que estamos perante um problema de classificacao com p variaveisexplicativas e uma variavel de resposta categorica.

X1, ...,Xp variaveis explicativas:

Y variavel de resposta categorica com K nıveis.

Objectivo

Treinar um modelo de modo que consiga prever automaticamente o valorobservado de Y , dados os valores das variaveis explicativas X1, ...,Xp.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Ideia Base das Redes Neuronais

Cada variavel explicativa provavelmente nao tera a mesma importancia de todas asoutras.Faz sentido considerar que cada variavel X1, ...,Xp tem um peso α1, ..., αp

associado.Como podemos determinar estes pesos? Sera certamente util considerar variascombinacoes de pesos diferentes e, mais ainda, aplicar funcoes relevantes sobre oresultado dessas combinacoes lineares das variaveis, como

σ(α1X1 + · · ·+ αpXp

).


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Regressao vs. Classificacao

No caso de regressao, tipicamente existe apenas um neuronio de output, quecontem o valor previsto da variavel de resposta.No caso da classificacao e usual existirem mais neuronios na camada de output, umpor cada classe.

Ideia da Construcao das Redes Neuronais

Baseia-se em “dividir para conquistar”.Cada camada intermedia contem varios neuronios (variaveis) que processam ainformacao da camada anterior de forma distinta.A camada seguinte pega no resultado do processamento de todos os neuroniosanteriores e processa novamente, com o objectivo de “aumentar o conhecimento”.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


X1

X2

...

Xp

Z1

Z2

Z3

...

ZM

Y1

...

YK

CamadaOculta

Camadade Input

Camadade Output

Figura: Exemplo de Rede Neuronal com uma Camada Oculta


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Descricao das Camadas

A camada de input inclui as variaveis explicativas X1, ...,Xp utilizadas, sendocada neuronio constituıdo por uma dessas variaveis.

Cada camada intermedia contem novas variaveis, sendo cada uma delas umafuncao das variaveis da camada anterior. No caso da primeira camadaintermedia, Z1, ...,Zm sao funcoes das variaveis explicativas X1, ...,Xp. Cadavariavel de uma segunda camada intermedia sera funcao das variaveisZ1, ...,Zm da camada anterior.

As variaveis da camada de output sao funcao da ultima camada oculta.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao

Construcao Matematica do Modelo de Redes Neuronais

Objectivo da Formalizacao

Construir uma rede neuronal em que a variavel de reposta Y e categorica com Knıveis e que existe apenas uma camada oculta.A abordagem pode ser reproduzida para o caso de regressao, tomando K = 1.

Notacao (Parte I)

X = (X1, ...,Xp) ∈ Rp vector de variaveis explicativas (camada de input);

Z = (Z1, ...,ZM) ∈ RM vector de variaveis na camada oculta, onde

Zm = σ(αm0 + αm1X1 + · · ·+ αmpXp

)= σ(αm0 + αt

mX ), ∀m ∈ {1, ...,M}(Cada variavel da camada intermedia e uma funcao de uma combinacao lineardas variaveis da camada anterior);

αm = (αm1, ..., αmp) ∈ Rp vector de pesos de X1, ...,Xp na variavel Zm;

σ funcao de activacao.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Escolha das Funcoes de Activacao

As funcoes de activacao σ recebem um escalar e devolvem tambem um escalar.Escolhas tıpicas incluem funcoes logısticas (ou sigmoides, tambem conhecidascomo softplus) ou funcoes de rectificacao lineares ReLU (rectified linear unit).

0

0.5

1

σ(x) = 11+e−x

x

y

(a) Grafico de uma Funcao Logıstica

0

σ(x) = max {0, x}

x

y

(b) Grafico de uma ReLU

Figura: Graficos de Exemplos de Funcoes de Activacao


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


E se houver mais camadas ocultas?

O processo e repetido, sendo que as variaveis Z ∗1 , ...,Z∗M∗ de uma segunda camada

oculta sao funcoes de combinacoes lineares das variaveis Z1, ...,ZM da primeiracamada oculta.

A Camada de Output

Contem K variaveis Yk .O valor que de cada neuronio e idealmente uma estimativa de

Yk = P(Y ∈ Classe k|X1 = x1, ...,Xp = xp), ∀k ∈ {1, ...,K}

Cada Yk e tambem uma funcao de uma combinacao linear de todas as variaveis daultima camada oculta. Difere do caso anterior por utilizar funcoes de activacaodiferentes, designadas por funcoes de output.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Notacao (Parte II)

Y = (Y1, ..., YK ) ∈ RK vector das variaveis da camada de output, onde

Yk = gk (βk0 + βk1Z1 + · · ·+ βkMZM) = gk(βk0 + βt

kZ), ∀k ∈ {1, ...,K};

βk = (βk1, ..., βkM) ∈ RM vector de pesos de Z1, ...,ZM na variavel Yk ;

gk funcoes de output;

fk(X ) = gk(βk0 + βt

kZ), ∀k ∈ {1, ...,K} notacao utilizada para sintetizar

todas as transformacoes da rede neuronal.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao


Escolha das Funcoes de Output

Funcao Softmax (da Regressao Logıstica):

gk(βk0 + βt

kZ)

= eβk0+βtkZ

e

K∑l=0

βl0+βtlZ

, ∀k ∈ {1, ...,K}

Produz valores entre 0 e 1, que podem ser interpretados como probabilidades,portantoY = arg max

k∈{1,...,K}Yk = arg max

k∈{1,...,K}gk(βk0 + βt

kZ)

Funcao Identidade (da Regressao Linear):gk(βk0 + βt

kZ)

= βk0 + βtkZ , ∀k ∈ {1, ...,K}

Problema

Ha imensos parametros a estimar. Como pode ser feita essa estimacao?


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao

Estimacao dos Parametros

Observacoes Disponıveis

Num problema de classificacao, conhecemos os valores das variaveis explicativasX1, ...,Xp, bem como o valor da variavel de reposta Y , que pretendemos prever.Nao temos observacoes das variaveis das camadas ocultas.

Parametros a Estimar

Escolhidas as funcoes de activacao e de output e uma camada oculta:θ =

{αm0,αm : m ∈ {1, ...,M}

}︸︷︷︸M×(p+1)

∪{βk0,βk : k ∈ {1, ...,K}

}︸︷︷︸K×(M+1)

Notacao (Parte III)

(X 1, ...,XN) ∈ RN amostra aleatoria de X ;

(x1, ..., xN) ∈ RN respectiva amostra observada.


Matematica

Joao Brazuna






Exemplo deAplicacao

Conclusao

Estimacao dos Parametros

Duas Escolhas de Funcoes de Erro

Soma do Quadrado dos Resıduos, ideal para Regressao:

R(θ) =K∑

k=1

N∑i=1

[yik − fk(x i )]2

Entropia, ideal para Classificacao:

R(θ) = −N∑i=1

K∑k=1

yik log fk(x i )

Estimador dos Parametros do Modelo

θ = arg minR(θ)

No entanto, um minimizante global da funcao de erro pode nao ser ideal, porqueprovavelmente gerara problemas de overfitting.


Matematica

Joao Brazuna






GradienteDescendente eEquacoes deBack-Propagation

Exemplo deAplicacao

Conclusao

Estimacao utilizando Entropia


Ri (θ) =K∑

k=1

yik log fk(x i ) =K∑

k=1

yik log gk(βk0 + βt

kz i

)= yi1 log g1 (β10 + β11zi1 + β12zi2 + · · ·+ β1MziM)

+ yi2 log g2 (β20 + β21zi1 + β22zi2 + · · ·+ β2MziM)

+ · · ·+ yiK log gK (βK0 + βK1zi1 + βK2zi2 + · · ·+ βKMziM) , ∀i ∈ {1, ...,N}

R(θ) =N∑i=1

Ri (θ) =N∑i=1

K∑k=1

yik log gk(βk0 + βt

kz i

)onde z i = (z1, ..., zM) e concretizacao de Z i = (Z 1, ...,ZM).


Matematica

Joao Brazuna







Exemplo deAplicacao

Conclusao



∂Ri

∂βkm= yik

g ′k (βk0 + βk1zi1 + βk2zi2 + · · ·+ βkMziM)

gk (βk0 + βk1zi1 + βk2zi2 + · · ·+ βkMziM)zim = yik

g ′k(βk0 + βt

kz i

)gk(βk0 + βt

kz i

)︸︷︷︸δik

zim

zim = σ(αm0 + αm1xi1 + αm2xi2 + · · ·+ αmpxip

)= σ

(αm0 + αt

mx i

)∂zim∂αml

= σ′(αm0 + αm1xi1 + αm2xi2 + · · ·+ αmpxip

)xil = σ′

(αm0 + αt

mx i

)xil

∂Ri

∂αml=

∂Ri

∂zim

∂zim∂αml

=K∑

k=1

yikg ′k(βk0 + βt

kz i

)gk(βk0 + βt

kz i

) × βkm × σ′ (αm0 + αtmx i

)︸︷︷︸

sim

xil


Matematica

Joao Brazuna







Exemplo deAplicacao

Conclusao



∂Ri

∂βkm= δikzim onde δik = yik

g ′k(βk0 + βt

kz i

)gk(βk0 + βt

kz i

)∂Ri

∂αml= simxil onde

sim =K∑

k=1

yikg ′k(βk0 + βt

kz i

)gk(βk0 + βt

kz i

)︸︷︷︸δik

×βkm × σ′(αm0 + αt

mx i

)

= σ′(αm0 + αt

mx i

) K∑k=1

δikβkm

Utilizando a soma dos quadrados dos resıduos, obtem-se expressoes semelhantes.


Matematica

Joao Brazuna







Exemplo deAplicacao

Conclusao

Gradiente Descendente e Equacoes de Back-Propagation

Gradiente Descendente

E um algoritmo iterativo de minimizacao de funcoes, usado em varios casos paraestimacao de parametros.Tem a vantagem de encontrar mınimos locais e nao necessariamente o mınimoglobal.

Aplicacao

A cada iteracao r do gradiente descendente,

β(r+1)km = β

(r)km − γr

N∑i=1

∂Ri

∂β(r)km

e α(r+1)ml = α

(r)ml − γr

N∑i=1

∂Ri

∂α(r)ml

onde γr e a taxa de aprendizagem.


Matematica

Joao Brazuna







Exemplo deAplicacao

Conclusao


Equacoes de Back-Propagation

Substituindo as Expressoes das Derivadas Parciais...

β(r+1)km = β

(r)km − γr

N∑i=1

δ(r)ik z

(r)im e α

(r+1)ml = α

(r)ml − γr

N∑i=1

s(r)im xil

Algoritmo de Back-Propagation

1 Passo Forward : sao calculados os valores estimados de fk(x i ), assumindo ospesos fixos;

z(r)im = σ

(α

(r)m0 + α

(r)tm x i

), ∀i ∈ {1, ...,N} , ∀m ∈ {1, ...,M}

fk(x i )(r) = gk

(β

(r)k0 + β

(r)tk z

(r)i

), ∀k ∈ {1, ...,K}


Matematica

Joao Brazuna







Exemplo deAplicacao

Conclusao


Algoritmo de Back-Propagation (cont.)

2 Passo Backward : e calculado o erro δik e, consequentemente, sim, actualizandoo gradiente da funcao de erro, obtendo as novas estimativas dos parametros.

s(r)im = σ′

(α

(r)m0 + α

(r)tm x i

) K∑k=1

δ(r)ik β

(r)km, ∀k ∈ {1, ...,K}

β(r+1)km = β

(r)km − γr

N∑i=1

δ(r)ik z

(r)im , ∀m ∈ {1, ...,M} , ∀i ∈ {1, ...,N}

α(r+1)ml = α

(r)ml − γr

N∑i=1

s(r)im xil , ∀l ∈ {1, ..., p}

Os passos 1 e 2 devem ser repetidos ate que seja atingido algum criterio deparagem.


Matematica

Joao Brazuna







Exemplo deAplicacao

Conclusao


Taxa de Aprendizagem

E usualmente uma constante.No entanto, em problemas de streaming, com dados em tempo real, pode sertambem actualizada a cada iteracao, de modo a que minimize a funcao de erro.E possıvel provar que o algoritmo converge se

limr→∞

γr = 0,∞∑r=0

γr = +∞ e∞∑r=0

γ2r <∞

o que ocorre para, por exemplo, γr = 1r .

Inicializacao do Algoritmo - Estimativas Iniciais dos Parametros

A inicializacao e tipicamente aleatoria, com valores proximos de zero.


Matematica

Joao Brazuna



Exemplo deAplicacao

Descricao e AnaliseExploratoria deDados

Treino e Validacaodos Modelos

Conclusao

Exemplo de Aplicacao


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao

Exemplo de Aplicacao

Objectivo

Prever se um dado passageiro do Titanic sobreviveu ou nao ao tragicoacontecimento, com base noutras variaveis


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao

Descricao e Analise Exploratoria de Dados

Descricao do Conjunto de Dados

891 observacoes;

12 variaveis, das quais foram removidas o ID do passageiro, o seu nome, onumero do bilhete foram removidas por conterem sempre valores distintos.

Variavel Tipo DescricaoSurvived Binaria Igual a 1 se sobreviveu, 0 caso contrarioPclass Categorica Classe do bilhete (1, 2 ou 3)Sex Binaria Genero do passageiro (masculino ou feminino)Age Discreta Idade do passageiro (nem sempre inteiro)SibSp Discreta Numero de irmaos e conjuges a bordoParch Discreta Numero de ascendentes e descendentes a bordoFare Contınua Preco do bilhete

Embarked Categorica Porta de embarque (Cherbourg, Queenstown ou Southampton)Tabela: Variaveis Relevantes


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao

Descricao e Analise Exploratoria de Dados

Dados Omissos

Apenas a variavel Age contem dados omissos (177).Foram substituıdas pela media das idades das outras observacoes, para evitarproblemas de extrapolacao.

Variaveis Utilizadas

Variavel de Resposta: Survived;

Variaveis Explicativas: Pclass, Sex, Age, SibSp, Parch, Fare, Embarked.

Divisao em Dados de Treino e de Teste

Conjunto de Treino: 710 observacoes (cerca de 100 por cada variavelexplicativa);

Conjunto de Teste: 181 observacoes.


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao

Treino e Validacao dos Modelos

Modelos Treinados

Ate 5 camadas ocultas com 5 variaveis cada, utilizando funcao de activacaologıstica e duas funcoes de output diferentes (softmax e tangente hiperbolica).Os pesos iniciais foram inicializados automaticamente de forma pseudo-aleatoria.

Variaveis Removidas

Porta de embarque e numero de ascendentes/descendentes a bordo.

Modelos sem problemas de estimacao

1 camada oculta, com 1, 2, 3 ou 4 variaveis;

2 camadas ocultas, com 1 variavel cada;

3 camadas ocultas, com 1 variavel cada.


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao


Modelo Seleccionado

Para cada modelo, foi construıda uma matriz de confusao.Destacou-se o modelo com 1 camada oculta e 4 variaveis nessa mesma camada,utilizando a funcao de output softmax.

RealNao Sobreviveu Sobreviveu

PrevistoNao Sobreviveu 109 15

Sobreviveu 7 50

Tabela: Matriz de Confusao do Modelo com 1 Camada Oculta com 4 Variaveis e Funcao deOutput Softmax


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao


Desempenho do Modelo

88% das observacoes do conjunto de teste foram bem classificadas comosobreviventes ou nao;

Cerca de 23% dos sobreviventes foram classificados como vıtimas mortais;

6% dos passageiros que faleceram no acidente foram erradamente classificadoscomo sobreviventes.


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao


Figura: Rede Neuronal Produzida


Matematica

Joao Brazuna



Exemplo deAplicacao



Conclusao


Desempenho dos Outros Modelos Treinados

Apenas no mais simples (uma camada oculta com uma variavel), a percentagem depassageiros bem classificados esteve abaixo dos 80%.

Capacidade Preditiva

Este caso ilustra a grande capacidade preditiva das redes neuronais!


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao

Conclusao


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao

Conclusao

O Impacto da Matematica na Biologia

Estamos habituados a observar o impacto da Matematica na Biologia, com arealizacao de ensaios clınicos e posterior analise estatıstica dos resultados,aproveitando-os para previsao e classificacao.

O Impacto da Biologia na Matematica

O sentido oposto tambem trouxe progressos muito relevantes, sendo as redesneuronais um exemplo.


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao

Conclusao

A Relevancia das Redes Neuronais

Apesar de terem raızes na regressao linear, tem capacidade de funcionar como umclassificador bastante potente e flexıvel, capaz de captar nao linearidades nos dadosde forma eficiente, com um poder preditivo assinalavel.

A Popularidade das Redes Neuronais

A par das florestas aleatorias, as redes neuronais sao dos algoritmos deaprendizagem automatica em maior crescimento na industria, estando na base deimensos projectos de Inteligencia Artificial, dos mais variados tipos, desdeprocessamento natural de linguagem ate sistemas de aprendizagem para robots.


Matematica

Joao Brazuna



Exemplo deAplicacao

Conclusao

Conclusao

O Futuro

Havendo ainda para por entender no cerebro humano, quem sabe uma novadescoberta biologica podera levar a um melhoramento das redes neuronais ou atemesmo a construcao de uma nova classe de algoritmos.Sera este mais um passo rumo a utopia humana de eternidade?

Stephen Hawking

“Eu penso que o cerebro e essencialmente um computador e a consciencia e comoum programa: deixara de existir quando o computador for desligado.Teoricamente, poderia ser reproduzida utilizando uma rede neuronal, mas isso seriamuito difıcil pois iria requerer todas as memorias de uma pessoa.”


Matematica

Joao Brazuna

Apendice

Referencias

Apendice


Matematica

Joao Brazuna

Apendice

Referencias

Referencias I

Hastie, T.; Tibshirani, R.; Friedman, J. (2008). The Elements of Statistical Learning: DataMining, Inference and Prediction. Springer-Verlag.

Coolen, A.C.C. (1998). A Beginner’s Guide to the Mathematics of Neural Networks.Department of Mathematics, King’s College London.

LeCun, Y.; Bengio, Y.; Geoffrey Hinton (2015). Deep Learning Review. Nature 521, 436-444.

Murphy, K.P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.

Wasserman, L. (2004). All of Statistics: A Concise Course in Statistical Inference.Springer-Verlag.

Hendricks, P. (2016). Package ’Titanic’. CRAN-R Project.

https://cran.r-project.org/web/packages/titanic/titanic.pdf

a in u^encia da biologia na matem atica · a in u^encia da biologia na matem atica jo~ao brazuna...

Documents