redes neurais artiﬁciais: introduc¸ao -˜ parte 1joaoluis/minicurso-rna1.pdfaprendizado de...

logo

Redes Neurais Artificiais: Introducao -Parte 1

Joao Luıs Garcia Rosa

Departamento de Ciencias de ComputacaoInstituto de Ciencias Matematicas e de Computacao, Universidade de Sao Paulo

http://www.icmc.usp.br/˜[email protected]

12a . Semana da Computacao - ICMC-USP - Sao Carlos, 22 de Outubro de 2009

Redes Neurais Artificiais: Introducao - Parte 1 1/82

http://www.icmc.usp.br/~joaoluis

[email protected]

logo

Introducao e Historico O Cerebro Modelos Representacao

Sumario1 Introducao e Historico

Resumo e HistoriaDesenvolvimento de AplicacoesTopologias

2 O CerebroO Cerebro como ModeloNeuronios e SinapsesCaracterısticas do Sistema NervosoA Hipotese de HebbRamon y Cajal

3 ModelosMcCulloch-PittsO Perceptron

4 RepresentacaoRepresentacao Conexionista


logo








logo


Resumo e Historia

Objetivos do Mini-curso

PropostaConhecimentos basicos sobre a ferramenta computacional deAprendizado de Maquina: As Redes Neurais Artificiais (RNA).

Inspiracao

Computacao, Biologia e Neurociencia.

ObjetivosConstruir a maquina inteligente.


logo


Resumo e Historia

Maquina Inteligente: Maquina que “pensa”


logo


Resumo e Historia

Redes Neurais Artificiais

Baseada em uma visao abstrata do neuronio.Neuronios artificiais sao conectados para formar grandesredes.As conexoes determinam a funcao da rede.As conexoes podem ser formadas atraves do aprendizadoe nao precisam ser “programadas”.


logo


Resumo e Historia

Historico

1943: McCulloch e Pitts: primeiro modelo matematico doneuronio.1948: livro Cybernetics de Wiener.1949: palestra de Von Neumann na Universidade deIllinois: divulgacao da teoria de McCulloch e Pitts1949: Hebb: The Organization of Behavior: regra deaprendizagem para a modificacao sinaptica.1951: Minsky e Edmonds: primeiro computador de RedesNeurais: SNARC - Stochastic Neural-AnalogReinforcement Computer.1958: Rosenblatt: perceptron.1960: Widrow e Hoff: adaline.


logo


Resumo e Historia

Historico

1969: Minsky e Papert: Perceptrons: livro com resultadonegativo sobre a capacidade de representacao de umarede neural de uma camada.1969: Bryson e Ho: descoberta do algoritmo deaprendizado backpropagation.1980: Grossberg: auto-organizacao.1982: Hopfield: redes recorrentes com conexoessinapticas simetricas.1982: Kohonen: mapas auto-organizaveis.


logo


Resumo e Historia

Historico

1985: Ackley, Hinton e Sejnowsky: Maquina de Boltzmann:1a. rede neural de multiplas camadas bem sucedida.1986: McClelland e Rumelhart: Parallel DistributedProcessing: Explorations in the Microstructures ofCognition (2 volumes): re-invencao do backpropagation.1988: Broomhead e Lowe: funcoes de base radial (RBF):alternativa aos perceptrons de multiplas camadas.Fu (1991 e 1993), Towell e Shavlik (1993), Setiono e Liu(1996), Omlin e Giles (1996), d’Avila Garcez et al. (2001):Extracao de conhecimento simbolico de RNA - Abordagemsimbolico-conexionista - Redes neurais baseadas emconhecimento.


logo


Desenvolvimento de Aplicacoes

Aplicacao de RNA


logo



Como Resolver usando RNA

Uma vez identificado o problema que se queira solucionaratraves da abordagem conexionista, deve-se construir arede neural.Ou seja, montar a arquitetura da rede: para uma rede detres camadas,

quantos neuronios deve-se ter na entrada da rede (quecorresponde, normalmente, ao numero de bits querepresenta o padrao),quantos deve-se ter na saıda (que corresponde,normalmente, a quantidade de bits do padrao de saıda) e,o numero de neuronios na camada escondida (o maisdifıcil).


logo



Como Resolver usando RNA

Os neuronios da camada escondida normalmente nao sao“calculados” e devem ser tentados empiricamente.Depois de construıda a RNA, deve-se escolher umalgoritmo conexionista para “treinar” a rede (fase deaprendizado).O treinamento da rede normalmente e demorado, poisrequer muitos “ciclos”, ou seja, deve-se mostrar a redevarias vezes, tudo que se deseja que ela aprenda.Depois do treinamento, a RNA deve ser capaz de, numaunica propagacao (unico ciclo) reconhecer o padrao noqual ela foi ensinada (fase de reconhecimento).Este processo e muito mais rapido do que a execucao dequalquer instrucao simbolica.


logo



Tipos de Aprendizagem

AbordagensNao-supervisionada ou detecao de regularidade, quando arede se conduz por si so, ou seja, nao ha um supervisorque verifique as suas saıdas,Aprendizado supervisionado, ou seja, quando a saıdadesejada da rede durante o treinamento e fornecida paracomparacao, eAprendizado por reforco tem ’alguma’ supervisao.


logo




Aprendizagem Supervisionada:a cada entrada e associada uma saıda desejada,a rede aprende a associar cada entrada a saıda desejadacorrespondente,a mais usada em aplicacoes,a aprendizagem conexionista menos plausıvelpsicologicamente.

Aprendizagem Supervisionada e usada para:aproximacao de funcoes ou regressao:

quando as unidades de saıda da rede representam osvalores de funcoes contınuas.

classificacao:quando se quer associar cada dado de entrada a classecorrespondente.


logo




Autoassociacao:caso particular de aprendizagem supervisionada em que oconjunto de entrada e igual ao conjunto de saıda desejadausada, por exemplo, no problema decodificacao-compressao-decodificacao,psicologicamente mais plausıvel que a aprendizagemsupervisionada comum.

Algoritmos Supervisionados:backpropagation:

o mais usado em aplicacoes praticas,

backpropagation through time,rede recorrente simples de Elman:

usadas em problemas que envolvem processamentotemporal,


logo




Aprendizagem Nao Supervisionada:nao ha um conjunto de saıdas desejadas para otreinamento,a rede aprende correlacoes estatısticas entre os dados deentrada,a aprendizagem conexionista psicologicamente maisplausıvel,serve para identificar e extrair caracterısticas relevantes edividir o conjunto de treinamento em classes.

Algoritmos nao supervisionados:aprendizagem competitiva

ocorrem as ativacoes e a rede por si so, se encarrega declassificar os padroes, e na saıda da rede as unidadescompetem entre si.

aprendizagem de componentes principais,mapa auto-organizado de Kohonen.


logo




Aprendizagem por reforcotipo de aprendizagem supervisionada em que nao eassociado uma saıda desejada a cada entrada, mas umaindicacao de erro ou acerto da saıda produzida pela rede,mais plausıvel psicologicamente do que a aprendizagemsupervisionada comum,Algoritmo:

diferenca temporal, usado para controle.


logo


Topologias

Topologia

Os neuronios no cortex cerebral estao dispostos emcolunas e a maior parte das sinapses ocorre entre colunasdiferentes.No modelo matematico extremamente simplificado, osneuronios estao dispostos em camadas (para representaras colunas) e ha comunicacao entre neuronios decamadas diferentes.Tipos de Redes Conexionistas:

Multi-camadas feedforward,Multi-camadas recorrente: pelo menos um loop deretro-alimentacao, seja na propria unidade, ou entre umacamada e outra.


logo


Topologias

Colunas no cortex


logo


Topologias

Camadas da RNA


logo


Topologias

Rede Recorrente de Jordan1

1M. I. Jordan. Attractor Dynamics and Parallelism in a ConnectionistSequential Machine. Proceedings of the Eighth Annual Cognitive ScienceSociety Conference, pp. 531-546, Amherst, MA. Erlbaum, 1986 .


logo


Topologias

Rede Recorrente de Elman2

2J. L. Elman. Finding Structure in Time. Technical Report, Center forResearch in Language, UCSD, Number CRL-8801, April 1988.


logo


Topologias

Modelos Classicos

Baseados em uma descricao simples do neuronio,considerando:

a presenca de celulas pre-sinapticas e seus potenciaissinapticos,o limiar de ativacao ea propagacao de um potencial de acao.

Representam uma explicacao empobrecida dascaracterısticas do cerebro humano.


logo


Topologias

Vantagens e Limitacoes da RNA

Vantagens:solucao naturalmente paralela,robusta, tolerante a falhas,pemite a integracao de informacoes oriundas de fontes outipos diferentes,sistema adaptativo, capaz de aprender,mostra certo grau de autonomia no aprendizado,performance muito rapida no reconhecimento.

Limitacoes:ainda muito difıcil explicar seu comportamento, por causada falta de transparencia,solucoes nao escalam bem... computacionalmente carapara problemas de maior porte,ainda muito distante da realidade biologica.


logo


Topologias

Coffee break


logo








logo


O Cerebro como Modelo

O Cerebro humano

A evolucao natural deu ao cerebro humano muitascaracterısticas desejaveis que nao estao presentes namaquina de von Neumann, tais como:

Paralelismo massivo,Representacao e computacao distribuıdas,Habilidade de aprendizado,Habilidade de generalizacao,Adaptabilidade,Processamento de informacao contextual inerente,Tolerancia a falhas,Baixo consumo de energia.


logo



Von Neumann vs. Sistema Neural


logo



Computador vs. Cerebro


logo


Neuronios e Sinapses

Neuronio


logo



Sinapses

O neuronio “classico” tem muitos dendritos, usualmenteramificados, que recebem informacao de outros neuroniose um unico axonio que fornece como saıda a informacaoprocessada, atraves da propagacao de um “spike” oupotencial de acao.O axonio se ramifica para fazer sinapses com os dendritose corpos celulares de outros neuronios.O tipo predominante de sinapse no cerebro do mamıfero ea sinapse quımica, que opera atraves de liberacao deuma substancia transmissora do terminal pre-sinapticopara o terminal pos-sinaptico.Despolarizacao e uma reducao do potencial da membranacelular para zero mV, sendo que o interior do neuroniotorna-se mais positivo.


logo



Sinapses

A despolarizacao para um nıvel de potencial crıtico, olimiar, causa o inıcio de um impulso.No seu pico, o interior da celula torna-se positivo emrelacao ao seu exterior.Na maioria das sinapses, o terminal pre-sinaptico liberauma substancia quımica, o neurotransmissor, em respostaa uma despolarizacao.

Ha dois tipos basicos de sinapses: as sinapses eletricas(menos comuns) e as quımicas.As sinapses eletricas e quımicas tem morfologiascompletamente diferentes.


logo



Sinapse


logo



Os potenciais de acao (spikes) podem sergravados numa celula


logo



Sinapses eletrica e quımica

Nas sinapses eletricas:a transmissao ocorre atraves de canais de juncao (canaisde ıon especiais),

localizados nas membranas pre e pos-sinapticas: conexaocitoplasmatica entre as celulas.

parte da corrente eletrica injetada na celula pre-sinapticaescapa atraves de canais de repouso,a corrente restante e direcionada ao interior da celulapos-sinaptica atraves dos canais de juncao.

Nas sinapses quımicas:fenda sinaptica: pequena separacao celular entre ascelulas,vesıculas contendo moleculas de neurotransmissores noterminal pre-sinaptico,quando o potencial de acao alcanca estas vesıculas, osneurotransmissores sao liberados para a fenda sinaptica.


logo



Sinapse Eletrica


logo



Sinapse Quımica


logo



Morfologia da Sinapse

Os contatos sinapticos podem ser classificadosmorfologicamente em dois tipos basicos:

1 tipo I (figura A): estas sinapses tem especializacoes demembrana assimetricas e o processo pre-sinaptico contemvesıculas sinapticas redondas bastante grandes (50 nm),onde acredita-se que existam pacotes deneurotransmissores.

2 tipo II (figura B): estas tem especializacoes de membranasimetricas. As vesıculas sinapticas sao menores efrequentemente elipsoidais ou achatadas. A zona decontato e usualmente menor que da sinapse tipo I.


logo



Morfologia da Sinapse


logo



As Sinapses podem Excitar ou Inibir

A importancia da classificacao nos dois tipos morfologicose que as sinapses do tipo I parecem ser excitatorias, aopasso que as sinapses do tipo II parecem ser inibitorias.As celulas nervosas influenciam outras por

1 excitacao, ou seja, elas produzem impulsos em outrascelulas e

2 inibicao, ou seja, elas previnem a liberacao de impulsos emoutras celulas.

Numa sinapse excitatoria, o transmissor liberado peloterminal pre-sinaptico despolariza a celula pos-sinaptica,fazendo com que o potencial de sua membrana atinja olimiar.Numa sinapse inibitoria, o transmissor tende a manter opotencial da membrana da celula pos-sinaptica abaixo dolimiar.


logo



As Sinapses podem Excitar ou Inibir

Existe um outro criterio possıvel para determinar o caraterdas sinapses: o transmissor que elas usam.Em geral, assume-se que um dado transmissor farausualmente a mesma coisa em lugares diferentes, apesarde haver excecoes, dependendo da natureza dosreceptores pos-sinapticos.


logo



Generalizacoes sobre Sinapses

Varios metodos tem sido usados para identificar osneurotransmissores, mas cada tecnica tem limitacoes.No momento, e difıcil identificar os transmissoresenvolvidos e seus efeitos pos-sinapticos em muitassinapses do sistema nervoso central.


logo



Generalizacoes sobre Sinapses

Pode-se fazer uma lista de tentativas de possıveisgeneralizacoes sobre sinapses:

nenhum axonio faz sinapses tipo I em alguns locaisenquanto faz tipo II em outros;nenhum axonio no cerebro de mamıfero mostrou liberacaode dois neurotransmissores diferentes nao peptıdeos. (Masparece que muitos neuronios, incluindo neuronios corticais,podem liberar um transmissor “convencional” e umneuropeptıdeo, ou em alguns casos, dois ou maisneuropeptıdeos);nao existe evidencia no cerebro de mamıfero que ummesmo axonio possa causar excitacao e inibicao emsinapses diferentes, mas isto e certamente possıvel ja queo efeito de um dado transmissor depende dos tipos dosreceptores presentes e de seus canais de ıon associados.


logo


Caracterısticas do Sistema Nervoso

O Cerebro humano

Computacao no cortex cerebral:Massivamente paralela,Elementos processadores muito simples,1011 neuronios,1014 sinapses,Mil sinapses por neuronio,Centenas de milhares de tipos diferentes de neuronios,72 km de fibras,100 tipos diferentes de neurotransmissores.


logo


Caracterısticas do Sistema Nervoso

O Cerebro humano

Curiosidades [5, 12]:Axonios:

4.5 metros (aferente primario da girafa),100 microns = 10−4 metros (celula excitatoria tıpica docerebelo).

Comunicacao atraves de spikes:Estereotıpica (celulas piramidais comuns),Nenhuma (celulas horizontais da retina).

Velocidade do spike:400 km/h,2 km/h.

Conexoes de entrada:Cerca de 200.000 (celulas purkinje - celula inibitoria docerebelo),Cerca de 500 (celulas dos ganglios da retina).


logo


A Hipotese de Hebb

Donald Olding Hebb


logo


A Hipotese de Hebb

Donald Hebb (1949)

“Quando um axonio da celula A e proximo o suficiente deexcitar uma celula B e repetidamente ou persistentementetoma parte em dispara-la, algum processo de crescimentoou mudanca metabolica acontece em uma ou ambas ascelulas tal que a eficiencia de A, como uma das celulasque disparam B, e aumentada”3.Hebb introduziu a palavra conexionismo: “A teoria eevidentemente uma forma de conexionismo, uma dasvariedades de interruptores, apesar de nao se tratar deconexoes diretas entre caminhos aferente e eferente: naoe uma psicologia ’S-R’, se R significa uma respostamuscular. O servidor de conexoes estabelece atividadescentrais autonomas, que sao a base para o aprendizado.”

3Donald O. Hebb. The Organization of Behavior: A NeuropsychologicalTheory, Wiley, 1949.


logo


A Hipotese de Hebb

A hipotese de Hebb

Conhecimento: associacoes,Plasticidade do SNC:

sinapses sao criadas e destruıdas,pesos sinapticos mudam de valor,permite a aprendizagem: auto-organizacao interna quepermite:

codificacao de conhecimento novo,reforco de conhecimento existente.

Como dar um substrato neural ao aprendizado deassociacoes entre fatos do mundo?Hipotese de Hebb (1949):

reforca-se a conexao entre dois nos que sao altamenteativados ao mesmo tempo.Este tipo de regra e uma formalizacao da psicologiaassociacionista, que assegura que associacoes saoacumuladas entre coisas que ocorrem juntas.


logo


A Hipotese de Hebb

A hipotese de Hebb

A Hipotese de Hebb permite modelar a plasticidade doSNC, adaptando-se a mudancas do meio ambiente,atraves da:

forca excitatoria e inibitoria das sinapses existentes, e dasua topologia.

A Lei de Hebb permite que uma rede conexionista aprendacorrelacoes entre fatos.


logo


Ramon y Cajal

Santiago Ramon y Cajal


logo


Ramon y Cajal

Princıpios de Ramon y Cajal

Princıpio da Especificidade Conectiva:“As celuas nervosas nao se comunicamindiscriminadamente umas com as outras nem formamredes aleatorias.”

Princıpio da Polarizacao Dinamica:“Os sinais eletricos dentro de uma celula nervosa fluemapenas em uma direcao: da recepcao do neuronio(normalmente os dendritos e o corpo celular) para a zonade disparo do axonio.”


logo








logo


McCulloch-Pitts

Warren McCulloch


logo


McCulloch-Pitts

Neuronio de McCulloch-Pitts (1943)4

1 A atividade do neuronio e um processo “tudo-ou-nada”.2 Um certo numero fixo de sinapses deve ser excitado

dentro do perıodo de adicao latente para excitar umneuronio, e este numero e independente da atividadeanterior e da posicao do neuronio.

3 O unico atraso significativo no sistema nervoso e o atrasosinaptico.

4 A atividade de qualquer sinapse inibitoria previne aexcitacao do neuronio.

5 A estrutura da rede nao muda com o tempo.

4W. S. McCulloch and W. Pitts. A logical calculus of the ideas immanent innervous activity. Bulletin of Mathematical Biophysics, 5, 115-133, 1943.


logo


McCulloch-Pitts

Neuronio de McCulloch-Pitts (1943)


logo


McCulloch-Pitts

Neuronio de McCulloch-Pitts (1943)

xi : entradas (binario);wi : pesos sinapticos (real, porque as sinapses podeminibir (-) ou excitar (+) e tem intensidades diferentes);A computacao ocorre no soma:

n∑i=0

xi · wi

x0 = 1 e w0 = β = -θβ = bias e θ = limiar de ativacao.


logo


McCulloch-Pitts

As RNA se abstraem de detalhes dos neuroniosreais


logo


McCulloch-Pitts

As RNA se abstraem de detalhes dos neuroniosreais

Atrasos de conducao sao ignorados,Um sinal de saıda ou e discreto (p. ex., 0 ou 1) ou e umnumero real (p. ex., entre 0 e 1),A entrada da rede e calculada como a soma ponderadados sinais de entrada,A entrada da rede e transformada em um sinal de saıdavia uma funcao simples (p. ex., uma funcao de limiar).


logo


McCulloch-Pitts

Funcoes de ativacao


logo


O Perceptron

O perceptron

Como ja visto, o primeiro modelo matematico do neuroniofoi proposto por McCulloch & Pitts em 1943.Mais tarde, Rosenblatt (1957) criou o modelo doperceptron.Um perceptron modela um neuronio tomando uma somaponderada de suas entradas e enviando a saıda 1 (spike)se esta soma e maior que um determinado limiar deativacao.O perceptron, com funcao de ativacao linear, pode sermodelado como um discriminador linear:

dados 2 pontos, uma reta e capaz de discriminar esses 2pontos,para algumas configuracoes de m pontos, uma reta ecapaz de separar estes pontos em 2 classes.


logo


O Perceptron

Conjunto de pontos linearmente separaveis


logo


O Perceptron

Conjunto de pontos nao-linearmente separaveis(por 1 reta)


logo


O Perceptron

OU Exclusivo

{(0,0),0; (0,1),1; (1,0),1; (1,1),0}

E por n retas?


logo


O Perceptron

Limitacoes do perceptron

O perceptron e uma rede feedforward (nao recorrente) deuma unica camada.O perceptron so e capaz de aprender a solucao deproblemas linearmente separaveis.O algoritmo de aprendizagem do perceptron (regra delta)nao funciona com redes de mais de uma camada.


logo


O Perceptron

Redes neurais e o modelo de David Marr (1969)

As ideias de Marr5 sao baseadas na regra de aprendizadode Donald Hebb (1949).As redes Hebb-Marr podem ser auto-associativas ouhetero-associativas.O trabalho de Marr e Hebb foi extremamente influente nateoria de redes neurais.

5D. Marr. A theory of cerebellar cortex. Journal of Physiology (London),Vol. 202, pp. 437-470, 1969.


logo








logo


Representacao Conexionista

Representacao em RNA

Para que a rede conexionista possa receber e enviarinformacao de/para seu meio-ambiente, e essencial queessa informacao possa ser representada.Dois tipos:

representacao externa:usada nas unidades de entrada e saıda.

representacao interna:a representacao que se pode associar as unidadesescondidas.

Duas tecnicas para a representacao externa em redesconexionistas:

Representacao localista,Representacao distribuıda.


logo




Representacao localista:cada entidade ou conceito ou caracterıstica e representadapor uma unica unidade processadora,a semantica de uma unidade independe das interpretacoesassociadas as outras unidades,pouco plausıvel biologicamente,pouco economica em recursos e nao permite representarsemelhancas entre conceitos.


logo




Representacao distribuıda:cada entidade e representada por um padrao de ativacaodistribuıdo entre mais de uma unidade,cada unidade participa da representacao de mais de umaentidade,a interpretacao de uma dada representacao so pode serobtida a partir da analise do padrao global de ativacao devarias unidades,a interpretacao da ativacao de uma unidade isolada podenao ter sentido,a semantica associada a uma representacao conexionistadistribuıda nao e composicional,mais plausıvel biologicamente,


logo




Representacao distribuıda (continuacao):mais economica,poder representacional muito maior - permite representarsemelhancas entre conceitos,sao radicalmente diferentes das representacoessimbolicas.

A escolha da representacao da informacao externa e umponto chave na modelagem:

redes conexionistas capturam regularidades estatısticaspresentes no seu meio-ambiente (conjunto detreinamento),a rede so capta a informacao que a representacao externapossa codificar,a representacao externa pode ser a diferenca entre a redeaprender ou nao.


logo

Intervalo para o almoco


logo

Bibliografia

Bibliografia I

[1] D. H. Ackley, G. E. Hinton, and T. J. SejnowskiA learning algorithm for Boltzmann machines.Cognitive Science, vol. 9, pp. 147–169, 1985.

[2] D. S. Broomhead and D. LoweMultivariable functional interpolation and adaptivenetworks.Complex Systems, vol. 2, pp. 321-355, 1988.

[3] A. E. Bryson and Y.-C. HoApplied Optimal Control.Blaisdell, New York, 1969.


logo

Bibliografia

Bibliografia II

[4] F. Crick and C. AsanumaCertain Aspects of the Anatomy and Physiology of theCerebral Cortex.in J. L. McClelland and D. E. Rumelhart (eds.), ParallelDistributed Processing, Vol. 2, Cambridge, Massachusetts -London, England, The MIT Press, 1986.

[5] C. Eliasmith and C. H. AndersonNeural Engineering - Computation, Representation, andDynamics in Neurobiological Systems.A Bradford Book, The MIT Press, 2003.


logo

Bibliografia

Bibliografia III

[6] J. L. ElmanFinding Structure in Time.Technical Report, Center for Research in Language,UCSD, Number CRL-8801, April 1988.

[7] S. HaykinNeural networks - a comprehensive foundation, 2nd.edition.Prentice Hall, 1999.

[8] D. O. HebbThe Organization of Behavior: A NeuropsychologicalTheory.Wiley, 1949.


logo

Bibliografia

Bibliografia IV

[9] J. J. HopfieldNeurons with graded response have collectivecomputational properties like those of two-state neuron.Proceedings of the National Academy of Sciences (USA),79:2554–2558, 1982.

[10] A. K. Jain, J. Mao, and K. M. MohiuddinArtificial Neural Networks: A Tutorial.IEEE Computer, March 1996, pp. 31–44.


logo

Bibliografia

Bibliografia V

[11] M. I. JordanAttractor Dynamics and Parallelism in a ConnectionistSequential Machine.Proceedings of the Eighth Annual Cognitive ScienceSociety Conference, pp. 531–546, Amherst, MA. Erlbaum,1986.

[12] E. R. Kandel, J. H. Schwartz, and T. M. JessellPrinciples of Neural Science. Fourth Edition.McGraw-Hill, 2000.

[13] T. KohonenSelf-organized formation of topologically correct featuremaps.Biological Cybernetics, vol. 43, pp. 59–69, 1982.


logo

Bibliografia

Bibliografia VI

[14] G. G. MatthewsNeurobiology Molecules, Cells and SystemBlackwell Science Inc., Cambridge, Massachusetts -London, England, 2 edition, 2001. Figures:http://www.blackwellpublishing.com/matthews/figures.html. Acc. February, 2005.

[15] J. L. McClelland and D. E. Rumelhart (Eds.)Parallel Distributed Processing - Explorations in theMicrostructure of Cognition. Volume 2: Psychological andBiological Models.A Bradford Book - The MIT Press, 1986.


http://www.blackwellpublishing.com/matthews/figures.html

http://www.blackwellpublishing.com/matthews/figures.html

logo

Bibliografia

Bibliografia VII

[16] W. S. McCulloch and W. PittsA logical calculus of the ideas immanent in nervous activity.

Bulletin of Mathematical Biophysics, 5, 115-133.

[17] MUN - Memorial University of NewfoundlandCanada.Biology: http://www.mun.ca/biology/. Accessed inFebruary, 2005.


http://www.mun.ca/biology/

logo

Bibliografia

Bibliografia VIII

[18] M. MinskyA Neural-Analogue Calculator Based upon a ProbabilityModel of Reinforcement.Harvard University Psychological Laboratories, Cambridge,Massachusetts, January 8, 1952.

[19] M. L. Minsky and S. PapertPerceptrons: An Introduction to Computational Geometry.MIT Press, Cambridge, Massachusetts, 1969.


logo

Bibliografia

Bibliografia IX

[20] J. MurreIntroduction to Connectionism.Universiteit van Amsterdam en Universiteit Utrecht, 2001.http://www.neuromod.org/courses/connectionism/introduction-to-connectionism/

[21] J. L. G. RosaBiologically Plausible Artificial Neural Networks.Tutorial de duas horas, ministrado no IJCNN 2005 -International Joint Conference on Neural Networks,Montreal, Canada, em 31 de julho de 2005. Disponıvel emhttp://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.


http://www.neuromod.org/courses/connectionism/introduction-to-connectionism/



http://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.

http://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.

logo

Bibliografia

Bibliografia X

[22] F. RosenblattThe perceptron: A perceiving and recognizing automaton.Report 85-460-1, Project PARA, Cornell Aeronautical Lab.,Ithaca, NY, 1957.

[23] D. E. Rumelhart and J. L. McClelland (Eds.)Parallel Distributed Processing - Explorations in theMicrostructure of Cognition. Volume 1: Foundations.A Bradford Book - The MIT Press, 1986.

[24] S. Russell and P. NorvigArtificial Intelligence - A Modern Approach.2nd. edition. Prentice Hall, Inc., 2001.


logo

Bibliografia

Bibliografia XI

[25] J. von NeumannTheory and Organization of Complicated Automata.in Burks, A. W., ed. (1966), Theory of Self-ReproducingAutomata [by] John von Neumann, University of IllinoisPress, Urbana., pp. 29–87 (Part One).

[26] B. Widrow and M. E. HoffAdaptive switching circuits.in 1960 IRE WESCON Convention Record, pp. 96–104,New York, 1960.

[27] N. WienerCybernetics.Wiley, New York, 1948.


logo

Bibliografia

Bibliografia XII

[28] Wikipedia, the Free Encyclopedia.http://en.wikipedia.org/wiki/Main_Page


http://en.wikipedia.org/wiki/Main_Page

redes neurais artiﬁciais: introduc¸ao -˜ parte 1joaoluis/minicurso-rna1.pdfaprendizado de...

Documents