redes neurais artiﬁciais: introduc¸ao -˜ parte 2joaoluis/minicurso-rna2.pdf · logo redes...

logo

Redes Neurais Artificiais: Introducao -Parte 2

Joao Luıs Garcia Rosa

Departamento de Ciencias de ComputacaoInstituto de Ciencias Matematicas e de Computacao, Universidade de Sao Paulo

http://www.icmc.usp.br/˜[email protected]

12a . Semana da Computacao - ICMC-USP - Sao Carlos, 22 de Outubro de 2009

Redes Neurais Artificiais: Introducao - Parte 2 1/93

http://www.icmc.usp.br/~joaoluis

[email protected]

logo

Aprendizado Conexionista Backpropagation Plausibilidade Biologica Sistemas Hıbridos PLN Conexionista

Sumario1 Aprendizado Conexionista

O Aprendizado2 Backpropagation

Algoritmo LMSBackpropagation

3 Plausibilidade BiologicaConsideracoes a respeito da plausibilidadeO BP e considerado biologicamente implausıvelGeneRec

4 Sistemas HıbridosRNA Baseadas em Conhecimento

5 PLN ConexionistaRepresentacao para o PLNSolucao conexionistaEstrutura de Superfıcie e Estrutura de Caso


logo









logo


O Aprendizado

Sistemas Conexionistas sao capazes de aprender

Redes conexionistas aprendem:atraves da mudanca dos pesos sinapticos,atraves da mudanca da topologia da rede (em poucosmodelos).

Atraves da mudanca dos pesos, a rede aprende,automaticamente, correlacoes estatısticas a partir do meioambiente.Raciocınio probabilıstico: sem um modelo estatıstico doproblema.


logo


O Aprendizado

Sistemas Conexionistas sao capazes de aprender

Com o aprendizado Hebbiano, dois metodos saopossıveis:

Com o aprendizado nao supervisionado nao haprofessor: a rede tenta discernir regularidades nos padroesde entrada.Com o aprendizado supervisionado uma entrada eassociada com uma saıda.

Se a entrada e a saıda sao iguais, trata-se de aprendizadoauto-associativo.Se sao diferentes e chamado de aprendizadohetero-associativo.


logo


O Aprendizado

Exemplos de aprendizado Hebbiano

Aprendizado competitivo (competitive learning) e umaforma de aprendizado nao supervisionado.Aprendizado hetero-associativo nas redes de Willshaw eum exemplo de aprendizado supervisionado.


logo


O Aprendizado

Exemplo de aprendizado competitivo

estımulo ’at’ e apresentado:


logo


O Aprendizado


competicao inicia no nıvel categoria:


logo


O Aprendizado


a competicao resolve:


logo


O Aprendizado


acontece o aprendizado Hebbiano:


logo


O Aprendizado


A apresentacao do ’to’ leva a ativacao do no categoria 1:


logo


O Aprendizado




logo


O Aprendizado


A categoria 1 e estabelecida atraves do aprendizadoHebbiano:


logo


O Aprendizado

Redes de Willshaw1

Um peso tem o valor 0 ou 1.Um peso e colocado em 1 se a entrada e a saıda sao 1.Na recuperacao a entrada da rede e dividida pelo numerototal de nos ativos no padrao de entrada.

1David J. Willshaw and Christoph von der Malsburg. How patterned neuralconnections can be set up by self-organization. Proceedings of the RoyalSociety of London, Series B, Vol. 194, pp. 431-445, 1976.


logo


O Aprendizado

Redes de Willshaw

Exemplo de uma memoria hetero-associativa simples dotipo Willshaw:


logo


O Aprendizado

Redes de Willshaw

Exemplo de recuperacao de padrao:


logo


O Aprendizado

Redes de Willshaw

Exemplo: completar o padrao (de forma bem sucedida)usando um subpadrao:


logo


O Aprendizado

Redes de Willshaw

Exemplo de degradacao suave: pequenas lesoes tempequenos efeitos:


logo









logo


Algoritmo LMS

Algoritmo de aprendizagem LMS

Algoritmo de aprendizagem usado por perceptrons de umaunica camada.LMS = Least-Mean-Square.Seja um conjunto de treinamento composto de I padroesde entrada/saıda desejada.Como a rede tem m unidades de entrada x e n unidadesde saıda desejada t , cada um dos I padroes e do tipo:

((x1, ..., xm), (t1, ..., tn))

Uma vez que se apresenta a rede os I padroes detreinamento, pode-se obter uma medida do erro produzidopela rede.O erro e funcao:

de cada padrao, edo erro produzido em cada unidade de saıda, quando cadapadrao e apresentado.


logo


Algoritmo LMS

Treinamento Supervisionado: Regra delta


logo


Algoritmo LMS


Se...a rede aprende perfeitamente os padroes de treinamento, eos padroes de treinamento refletem perfeitamente a tarefaque se quer aprender

Entao...apos o treinamento, o erro sera zero.

A principal causa do erro vem das diferencas entre saıdareal e saıda desejada, que decorre da saıda produzida porpesos (e biases) incorretos.Aprender significa achar os pesos que tornem mınimo oerro.


logo


Algoritmo LMS


O erro total E apos o treinamento e:

E(w) =l∑

p=1

Ep

onde Ep e o erro produzido quando o p-esimo padrao detreinamento e apresentado a rede.O erro Ep pode ser medido de varias maneiras, mas amedida mais usada e o erro quadratico medio:

Ep =12

n∑k=1

(tk − yk )2


logo


Backpropagation

Backpropagation

A dificuldade de aplicar a regra delta: como calcular o erropara uma unidade da camada escondida?Solucao: (Error) Backpropagation⇒ Generalizacao daregra delta.

Backpropagation e um algoritmo supervisionado, querequer duas fases:

propagacao da ativacao, eretropropagacao do erro.

permite calcular o erro baseado so em informacao local:disponıvel nos pesos e unidades proximas ao peso queesta sendo modificado (como no SNC).


logo


Backpropagation

Error Backpropagation


logo


Backpropagation

Backpropagation

O algoritmo supervisionado backpropagation pode serresumido:

1 Propague a ativacaoda camada de entrada para a escondida,da camada escondida para a de saıda.

2 Calcule o erro.para as unidades de saıda,Retropropague o erro para as unidades escondidas e paraas de entrada.

Os passos 1 e 2 constituem um ciclo de ativacao (epoca).


logo


Backpropagation

Backpropagation

Os problemas do backpropagation:E bastante caro computacionalmente (lento),Nao resolve bem problemas de grande porte,As vezes, a solucao encontrada e um mınimo local - umvalor localmente mınimo para a funcao erro.

Vantagens do backpropagation:poder de aproximacao universal:

dada uma funcao contınua, existe uma rede de duascamadas (uma escondida) que pode ser treinada porbackpropagation de modo a aproximar o quanto se queiraessa funcao.

algoritmo mais usado.


logo









logo


Consideracoes a respeito da plausibilidade

Introducao

Os modelos de RNA recentes:nao contemplam muitas propriedades fisiologicas doneuronio,mais orientados a performance computacional que acredibilidade biologica.

Proposta desta secao:tentar resgatar a inspiracao biologica dos sistemasconexionistas.

Uma abordagem conexionista biologicamente inspiradadeve apresentar:

um algoritmo de treinamento neurofisiologicamentemotivado,uma arquitetura conexionista bi-direcional,varias outras caracterısticas, como por exemplo,representacoes distribuıdas.


logo


O BP e considerado biologicamente implausıvel

Backpropagation (BP)

BP e considerado implausıvel biologicamente.A razao baseia-se na retro-propagacao do erro:

o estımulo se propaga para frente (da entrada para asaıda),o erro (diferenca entre as saıdas desejada e real) sepropaga para tras (da saıda para a entrada).

No cortex cerebral:o estımulo gerado quando um neuronio “dispara” cruza oaxonio em direcao ao seu terminal para fazer sinapse emum outro neuronio de entrada.

Suponha que o BP ocorra no cerebro:o erro deve se propagar de volta, dos dendritos doneuronio pos-sinaptico para o axonio e depois para odendrito do neuronio pre-sinaptico.

Parece um tanto irreal e improvavel.


logo


O BP e considerado biologicamente implausıvel

A implausibilidade biologica do Backpropagation

Os pesos sinapticos devem ser modificados para permitir oaprendizado: mas certamente nao da forma que o BP faz,A mudanca de pesos deve usar apenas informacao localda sinapse onde ocorre,Esta e a razao porque o BP parece ser tao biologicamenteimplausıvel!


logo


GeneRec

Algoritmo GeneRec - Generalized Recirculation

Algoritmo conexionista supervisionado baseado nobackpropagation,Arquitetura bi-direcional,Biologicamente mais plausıvel,Consiste de duas fases: a fase menos e a fase mais.


logo


GeneRec

GeneRec - fase “menos”


logo


GeneRec

GeneRec - fase “menos”

h−j = σ(A∑

i=0

wij · xi(t) +C∑

k=1

wjk · ok (t − 1))

σ = funcao de ativacao sigmoide

ok (t) = σ(B∑

j=1

wjk · h−j )


logo


GeneRec

GeneRec - fase “mais”


logo


GeneRec

GeneRec - fase “mais”

h+j = σ(

A∑i=0

wij · xi(t) +C∑

k=1

wjk · yk (t))

∆wjk = η · (yk (t)− ok (t)) · h−j

∆wij = η · (h+j − h−j ) · xi(t)

η = taxa de aprendizado


logo


GeneRec

GeneRec - uma aplicacao simples


logo


GeneRec

Coffee break


logo









logo


RNA Baseadas em Conhecimento

A Inteligencia Artificial

A Inteligencia Artificial divide-se basicamente em doisparadigmas em princıpio opostos:

simbolico, baseado na logica, econexionista, baseado na propagacao da atividade deprocessadores elementares.

Vantagens da abordagem simbolica:Facilidade de representacao do conhecimento,Poder expressivo das representacoes logicas gerais,Entendimento atraves da inferencia logica.

Vantagens da abordagem conexionista (sub-simbolica):aprendizado,generalizacao,tolerancia a falhas.


logo



Abordagem Simbolica

Baseada em regras:Implicacao da logica:

(A ∧ B)→ CClausula do Prolog:

C : −A,B.

Maiores crıticas aos sistemas conexionistas:Falta de transparencia (funciona mas nao se sabe como),Demora no treinamento.

Solucao: Redes Neurais Baseadas em Conhecimento(abordagem hıbrida simbolico-conexionista).


logo



Abordagem Hıbrida

Vantagens da abordagem hıbrida:Extracao do conhecimento simbolico a partir da rede neuralpermite a troca de informacao entre representacoes deconhecimento conexionista e simbolico,O conhecimento simbolico pode ser inserido na rede neurale depois refinado,Uma melhora significativa no tempo de aprendizado.

Abordagem Hıbrida:1 ’Conhecimento’ inicial simbolico −→ Pesos de conexao,2 Aprendizado,3 Pesos de conexao −→ ’Conhecimento’ final simbolico.


logo



Abordagem Hıbrida

((WAC ∗ A) + (WBC ∗ B))→ C

As redes neurais podem aprender associacoesentrada-saıda.As redes neurais sao capazes de recuperar uma saıdabaseado em itens de entrada incompletos.As redes neurais mostram degradacao suave.Na abordagem hıbrida, a IA simbolica e a IA conexionistase encontram.


logo









logo


Representacao para o PLN

Representacao em RNA: Um Exemplo de PLNconexionista

“Uma boa solucao depende de uma boa representacao,”Representacao utilizada nos sistemas CPPro [20] eHTRP [23]: Microcaracterısticas Semanticas, deMcClelland e Kawamoto (1986)2.

2J. L. McClelland and A. H. Kawamoto, Mechanisms of SentenceProcessing: Assigning Roles to Constituents of Sentences. ParallelDistributed Processing - Explorations in the Microstructure of Cognition -Volume 2: Psychological and Biological Models - James L. McClelland andDavid E. Rumelhart (Eds.), A Bradford Book, The MIT Press, 1986. Chapter19 (pages 272-325).


logo



Papeis de caso tematicos

Um aspecto da compreensao da sentenca: a atribuicaodos constituintes de uma sentenca aos papeis de casotematicos corretos.Varias sentencas com o verbo quebrar:

1. (O menino)SN quebrou (a vidraca)SN .2. (A pedra)SN quebrou (a vidraca)SN .3. (A vidraca)SN quebrou.4. (O menino)SN quebrou a vidraca (com (a pedra)SN )SP .5. (O menino)SN quebrou (a vidraca)SN (com (a cortina)SN )SP .

O primeiro SN pode ser:o AGENTE (sentencas 1, 4 e 5),o INSTRUMENTO (sentenca 2),o PACIENTE (sentenca 3).

O SN do SP pode ser:o INSTRUMENTO (sentenca 4),modificador do segundo SN (sentenca 5).


logo



Papeis de caso tematicos

Ambiguidade da atribuicao de papeis de com-SN:6. O menino comeu o macarrao com molho.

7. O menino comeu o macarrao com garfo.

Restricoes da ordem da palavra8. O vaso quebrou a vidraca.

9. A vidraca quebrou o vaso.

10. O lapis chutou a vaca.

Restricoes na ordem das palavras (como em 10) saomuito fortes em portugues, mas nao e universal.Restricoes semanticas: e possıvel (no italiano) atribui opapel de AGENTE a a vaca em 10.


logo



Contexto

Contexto global em que a sentenca e apresentada:11. O menino viu a menina com os binoculos.

1o. Contexto: Um menino olha pela janela tentandodescobrir quanto ele consegue ver com variosinstrumentos opticos,2o. Contexto: Duas meninas tentam identificar algunspassaros quando um menino se aproxima. Uma meninatem um par de binoculos e a outra nao.


logo



Um Exemplo de PLN conexionista

Enquanto o fato de que a ordem da palavra e as restricoessemanticas influenciam a atribuicao de caso tem sidoreconhecido, existem alguns poucos modelos que vaoalem e propoem um mecanismo para explicar a causadestes efeitos.Entretanto, existem alguns pesquisadores em PLN quetem tentado encontrar formas de trazer as consideracoessemanticas para o processamento sintatico de uma formaou outra.


logo



Preferencia lexical

Uma abordagem recente depende do lexico parainfluenciar o processamento sintatico e a construcao derepresentacoes funcionais basicas, que consideram casoscomo:12. A mulher (queria (o vestido do armario)SN )SV .

13. A mulher (colocou (o vestido)SN no armario)SV .

A leitura preferida para a primeira destas sentencas (12)tinha do armario como um modificador de o vestido,enquanto que a leitura preferida para a segunda (13) tinhano armario como um argumento de local de colocou.Para explicar esta diferenca na atribuicao de caso, foiproposto dois princıpios:

preferencia lexical,argumentos finais.


logo



Preferencia lexical

Basicamente, a preferencia lexical estabelece umaestrutura de argumento esperada (por ex.Sujeito-Verbo-Objeto Direto no caso de querer;Sujeito-Verbo-Objeto Direto-Objeto Indireto no caso decolocar) consultando uma lista ordenada de possıveisestruturas de argumentos associadas com cada verbo.Se um constituinte que poderia preencher uma posicao naestrutura de argumento esperada e encontrado, o mesmoe tratado como um argumento do verbo.Portanto, se um constituinte que aparece para satisfazeras condicoes do argumento final da estrutura deargumento esperada e encontrado, sua colocacao nasentenca e atrasada para permitir a incorporacao dosconstituintes subsequentes.


logo



Preferencia lexical

Portanto, com querer, o SN o vestido e um candidato paraargumento final e nao e colocado diretamente como umconstituinte do Sintagma Verbal (SV ); antes, umaestrutura SN superordenada contendo o vestido doarmario e finalmente colocada no SV .Com colocar, entretanto, o vestido nao poderia ser oargumento final, e portanto, ele e colocado diretamente aoSV .No armario esta entao disponıvel para a colocacao comoargumento final do SV .


logo




De qualquer forma, esta claro que um mecanismo enecessario no qual todos os constituintes de umasentenca possam trabalhar simultaneamente parainfluenciar a atribuicao de casos aos constituintes.Este modelo toma como entrada uma analise parcialsuperficial e gera a partir disto uma representacao de nıvelde caso.


logo


Solucao conexionista


Meta principal:prover um mecanismo que considere o papel da ordem dapalavra e restricoes semanticas na atribuicao de papel (decaso):

que seja capaz de aprender a fazer isto baseado naexperiencia com sentencas e suas representacoes de caso.que seja capaz de generalizar o que aprendeu para novassentencas construıdas a partir de novas combinacoes depalavras.


logo




Outras metas:que seja capaz de selecionar contextualmente leiturasapropriadas de palavras ambıguas,que selecione o verbo (verb frame) apropriado baseado nopadrao de argumentos e em suas caracterısticassemanticas,que preencha os argumentos ausentes em sentencasincompletas com valores plausıveis,que seja capaz de generalizar seu conhecimento deatribuicao de papel correto a sentencas que contenhamuma palavra nunca vista antes, dado apenas umaespecificacao de algumas das propriedades semanticas dapalavra.


logo



Arquitetura do Modelo

O modelo consiste de dois conjuntos de unidades:um para representar a estrutura de superfıcie (ES) dasentenca,um para representar a estrutura de caso (EC) da sentenca.

O modelo aprende atraves de apresentacoes de parescorretos ES/EC.Sentencas:

um verbo e de um a tres SNs.Ha sempre um SN sujeito e opcionalmente, um SN objeto.Pode haver tambem um com-SN, isto e, um SN num SPcomecando com com.

Formato de Entrada das Sentencas:representacao canonica da sentenca,forma produzida por um parser de superfıcie e um lexicosimples.


logo



Microcaracterısticas Semanticas

No formato de entrada canonico, as palavras saorepresentadas como listas de microcaracterısticassemanticas.Para verbos e substantivos, os tracos (caracterısticas) saoagrupados em varias dimensoes.Cada dimensao consiste de um conjunto de valoresmutuamente exclusivos.Em geral, cada palavra e representada por um vetor noqual apenas um unico valor em cada dimensao esta ligado(representado por “1”).Valores que estao desligados sao representados porpontos (“.”).


logo




As dimensoes e os valores em cada dimensao foramescolhidos para capturar dimensoes importantes devariacao semantica nos significados das palavras comimplicacao na atribuicao de papel de caso.Dimensoes e valores de caracterısticas dos substantivos:


logo




Dimensoes e valores de caracterısticas dos verbos:


logo



Microcaracterısticas Semanticas: Exemplo

Microcaracterısticas do substantivo bola:nao humano; soft; neutro; pequeno; compacto;arredondado; inquebravel; brinquedo.

Microcaracterısticas do verbo quebrar:ator; causa; toque instrumento; troca em pedacos;movimento agente participacao; nenhum movimentopaciente; intensidade alta.


logo



Ambiguidade

Umas das metas para o modelo e mostrar como ele podeselecionar o significado apropriado no contexto para umapalavra ambıgua.Para palavras ambıguas (cravo, por exemplo) o padrao deentrada e a media dos padroes de caracterısticas de cadauma das duas leituras da palavra.Isto significa que nos casos onde as duas concordam como valor de uma dimensao de entrada particular, estadimensao tem o valor acordado na representacao deentrada.Nos casos onde os dois discordam, a caracterıstica tem ovalor de 0.5 (representado por “?”) na representacao deentrada.


logo


Estrutura de Superfıcie e Estrutura de Caso

Unidades de Estrutura de Superfıcie - ES

Um dos objetivos das simulacoes e ver se o modelo podecorretamente preencher estes valores nao especificados,efetivamente recuperando os valores perdidos do contextono processo da atribuicao da palavra ao caso apropriado.A representacao do nıvel de Estrutura de Superfıcie deuma sentenca de entrada nao e o conjunto de vetores decaracterısticas constituintes, mas sim o padrao de ativacaoque esses vetores produzem sobre as unidades quecorrespondem a pares de caracterısticas.Estas unidades sao chamadas unidades de estrutura desuperfıcie (ES).Cada unidade ES representa a conjuncao de duasmicrocaracterısticas do preenchedor de um caso desuperfıcie particular.


logo




Como ha quatro casos de estruturas de superfıcie, existemquatro conjuntos de unidades ES.Dentro de cada conjunto existe uma unidade querepresenta a conjuncao de todo valor demicrocaracterıstica em cada dimensao com todo valor demicrocaracterıstica em qualquer outra dimensao.Considera-se varios esquemas para a ativacao dasunidades de ES.Um esquema possıvel seria usar uma regra de ativacaodeterminıstica, tal que uma unidade ES particular serialigada apenas se ambas as caracterısticas que a unidaderepresenta estivessem dentro do vetor de caracterısticas.


logo




Este uso das unidades ES permitiria que o modeloaprendesse a responder de uma forma mais apurada adeterminadas conjuncoes de microcaracterısticas.Entretanto, deseja-se ver o quao bem o modelo poderiafuncionar usando uma representacao de entrada comruıdos.Contudo sabe-se que a generalizacao e facilitada quandoas unidades que unificam apenas parcialmente com aentrada tem alguma chance de serem ativadas.No presente caso, considera-se isto importante para sercapaz de generalizar para palavras com significadossimilares.Portanto, as unidades ES sao tratadas como unidadesbinarias estocasticas.


logo




Cada unidade ES recebe entrada excitatoria de cada umadas duas caracterısticas que ela representa e apolarizacao e a variancia das unidades e colocada de talforma que quando ambas as caracterısticas das unidadesES estao ativas, a unidade “liga” com probabilidade 0.85; equando nenhuma esta ativa, ela “liga” com probabilidade0.15.Estes casos sao representados na tabela por “1” e “.”,respectivamente.As unidades que recebem apenas uma entrada excitatoria“liga” com probabilidade .5; estas unidades saorepresentadas por “?”.


logo




Enquanto o modelo funciona bem com esta simulacao,presume-se que simulacoes que usem um lexico maiorrequeiram maior diferenciacao de algumas representacoesde substantivos e verbos.Para trabalhar com tais casos, acredita-se que serianecessario permitir o ajuste das conexoes de entrada asunidades ES atraves do algoritmo backpropagation de talforma que uma diferenciacao maior possa ser obtidaquando necessario.


logo



Unidades de Estrutura de Caso - EC

A representacao de caso tem uma forma levementediferente da representacao de estrutura de sentenca.Para entender esta representacao, e util voltar a um pontode vista mais abstrato e considerar mais geralmente comose deve representar uma descricao estrutural numarepresentacao distribuıda.Em geral uma descricao estrutural pode ser representadapor um conjunto de triplas da forma (A R B) onde A e Bcorrespondem aos nos na descricao estrutural e Rrepresenta a relacao entre os nos.Por exemplo, uma hierarquia de inclusao de classes podeser representada por triplas da forma (X E-UM Y ), onde Xe Y sao nomes de categorias.


logo




Qualquer outra descricao estrutural, seja uma estrutura deconstituinte sintatico, uma estrutura de constituintesemantico ou qualquer outra coisa, pode ser representadadesta forma.Especificamente, a atribuicao de caso dos constituintes dasentenca O garoto quebrou a vidraca com o martelo podeser representada como:

Quebrou AGENTE Garoto,Quebrou PACIENTE Vidraca,Quebrou INSTRUMENTO Martelo.

A estrutura constituinte de uma sentenca tal como Ogaroto comeu o macarrao com molho poderia serrepresentada por:

Comeu AGENTE Garoto,Comeu PACIENTE Macarrao,Macarrao Modificador Molho.


logo




Numa representacao local, poder-se-ia representar cadauma destas triplas por uma unidade unica.Cada unidade destas representaria entao a conjuncao deuma determinada cabeca ou lado esquerdo de uma tripla,uma determinada relacao, e uma determinada cauda oulado direito.Nesta abordagem mais distribuıda seriam alocadosgrupos de unidades para representar cada uma daspossıveis relacoes (ou casos), que seriam o AGENTE,PACIENTE, INSTRUMENTO e Modificador, e teriam unidadesdentro de cada grupo representando conjuncoes demicrocaracterısticas do primeiro e terceiro argumentos (acabeca e a cauda) da tripla.


logo




Portanto, a tripla e representada nao por uma unicaunidade ativa, mas por um padrao de ativacao sobre umconjunto de unidades.Nesta implementacao, existe um grupo de unidades paracada uma das quatro relacoes permitidas na estrutura decaso.Os grupos do AGENTE, PACIENTE, INSTRUMENTO eModificador sao colocados da esquerda para a direita.Dentro de cada grupo, as unidades individuaisrepresentam conjuncoes de uma microcaracterıstica dacabeca de cada relacao com uma microcaracterıstica dacauda de cada relacao.


logo




Entao, por exemplo no slide 11, Quebrou-AGENTE-Garotoe representado por um padrao de ativacao.A unidade na i-esima linha e j-esima coluna representa aconjuncao da caracterıstica i do verbo com caracterıstica jdo substantivo.Entao, todas as unidades com a mesma caracterıstica deverbo estao alinhadas na mesma linha, enquanto quetodas as unidades com a mesma caracterıstica desubstantivo estao alinhadas na mesma coluna.Para o grupo do Modificador, a unidade na i-esima linha ej-esima coluna representaria a conjuncao da caracterısticai do SN modificado e a caracterıstica j do SN modificador.


logo




As letras indicando as especificacoes de dimensao dasunidades sao colocadas ao longo das bordas lateral esuperior.Exemplo de uma unidade de ES para o verbo quebrar eEC para Quebrou-AGENTE-Garoto e mostrada abaixo.A matriz do verbo e diferente das matrizes dos tres SNspois caracterısticas diferentes sao juntadas nasrepresentacoes de verbo e de SN.


logo





logo



Experimentos de Simulacao

Geradores para sentencas usadas no treinamento etestes:

o humano quebrou o objeto-fragil.Categorias de substantivos para preencher a tabela dogerador:

humano: homem, mulher, menino, menina.objeto-fragil: prato, vidraca, vaso.

Resultado: Numero medio de microcaracterısticasincorretas produzidas como uma funcao da quantidade deexperiencia de aprendizado.


logo



Resultados Basicos


logo



Metodos para Formar RepresentacoesDistribuıdas

Uma abordagem popular para formar representacoesdistribuıdas e a codificacao de caracterısticas (tracos)semanticos usadas por McClelland e Kawamoto [11].Este tipo de representacao e significativo por si so.E possıvel extrair informacao apenas examinando arepresentacao, sem necessidade de treinar uma rede parainterpreta-la.Varios sistemas diferentes podem processar as mesmasrepresentacoes e se comunicar usando-as.


logo



Metodos para Formar RepresentacoesDistribuıdas

Por outro lado, tais padroes devem ser pre-codificados emantidos fixos.A performance nao pode ser otimizada adaptando asrepresentacoes as tarefas e dados reais.Porque todos os conceitos sao classificados ao longo dasmesmas dimensoes, o numero de dimensoes se tornamuito grande, e muitas delas sao irrelevantes ao conceitoparticular (em Ingles, o genero de substantivos).


logo

The End

Obrigado!

Joao Luıs Garcia [email protected]


[email protected]

logo

Bibliografia

Bibliografia I

[1] A. E. Bryson and Y.-C. HoApplied Optimal Control.Blaisdell, New York, 1969.

[2] F. Crick and C. AsanumaCertain Aspects of the Anatomy and Physiology of theCerebral Cortex.in J. L. McClelland and D. E. Rumelhart (eds.), ParallelDistributed Processing, Vol. 2, Cambridge, Massachusetts -London, England, The MIT Press, 1986.


logo

Bibliografia

Bibliografia II

[3] A. S. d’Avila Garcez, K. Broda, and D. M. GabbaySymbolic knowledge extraction from trained neuralnetworks: a sound approach.Artificial Intelligence 125, 155–207, 2001.

[4] L. M. FuKnowledge Base Refinement by Backpropagation.Data and Knowledge Engineering 7, 35-46, 1991.

[5] L. M. FuKnowledge-Based Connectionism for Revising DomainTheories.IEEE Trans. on Systems, Man, and Cybernetics, Vol. 23,No.1, 173–182, 1993.


logo

Bibliografia

Bibliografia III

[6] S. HaykinNeural networks - a comprehensive foundation, 2nd.edition.Prentice Hall, 1999.

[7] G. E. Hinton and J. L. McClellandLearning Representations by Recirculation.in Neural Information Processing Systems, D. Z. Anderson(Ed.), American Institute of Physics, New York, 358–366,1988.

[8] A. K. Jain, J. Mao, and K. M. MohiuddinArtificial Neural Networks: A Tutorial.IEEE Computer, March 1996, pp. 31–44.


logo

Bibliografia

Bibliografia IV

[9] E. R. Kandel, J. H. Schwartz, and T. M. JessellPrinciples of Neural Science. Fourth Edition.McGraw-Hill, 2000.

[10] G. G. MatthewsNeurobiology Molecules, Cells and SystemBlackwell Science Inc., Cambridge, Massachusetts -London, England, 2 edition, 2001. Figures:http://www.blackwellpublishing.com/matthews/figures.html. Acc. February, 2005.


http://www.blackwellpublishing.com/matthews/figures.html

http://www.blackwellpublishing.com/matthews/figures.html

logo

Bibliografia

Bibliografia V

[11] J. L. McClelland and A. H. KawamotoMechanisms of Sentence Processing: Assigning Roles toConstituents of Sentences.in Parallel Distributed Processing, Volume 2 - Psychologicaland Biological Models, J. L. McClelland and D. E.Rumelhart (Eds.), A Bradford Book, MIT Press, 1986.

[12] J. L. McClelland and D. E. Rumelhart (Eds.)Parallel Distributed Processing - Explorations in theMicrostructure of Cognition. Volume 2: Psychological andBiological Models.A Bradford Book - The MIT Press, 1986.


logo

Bibliografia

Bibliografia VI

[13] MUN - Memorial University of NewfoundlandCanada.Biology: http://www.mun.ca/biology/. Accessed inFebruary, 2005.

[14] J. MurreIntroduction to Connectionism.Universiteit van Amsterdam en Universiteit Utrecht, 2001.http://www.neuromod.org/courses/connectionism/introduction-to-connectionism/


http://www.mun.ca/biology/

http://www.neuromod.org/courses/connectionism/introduction-to-connectionism/



logo

Bibliografia

Bibliografia VII

[15] C. W. Omlin and C. L. GilesRule Revision with Recurrent Neural Networks.IEEE Transactions on Knowledge and Data Engineering,8(1): 183–188, 1996.

[16] C. W. Omlin and C. L. GilesExtraction of Rules from Discrete-time Recurrent NeuralNetworks.Neural Networks, 9(1): 41–52, 1996.


logo

Bibliografia

Bibliografia VIII

[17] R. C. O’ReillyBiologically Plausible Error-driven Learning Using LocalActivation Differences: the Generalized RecirculationAlgorithm.Neural Computation, 8(5), 895–938, 1996.

[18] R. C. O’ReillySix principles for biologically-based computational modelsof cortical cognition.Trends in Cognitive Science, 2, 455–462, 1998.


logo

Bibliografia

Bibliografia IX

[19] T. Orru, J. L. G. Rosa, M. L. Andrade NettoSABio: A Biologically Plausible Connectionist Approach toAutomatic Text Summarization.Applied Artificial Intelligence. Volume 22, Issue 9 October2008, pages 896–920. Taylor & Francis.

[20] J. L. G. RosaA Thematic Connectionist Approach to PortugueseLanguage Processing.Proceedings of the IASTED International Conference onArtificial Intelligence and Soft Computing, July 27-August 1,Banff, Canada, 240–243, 1997.


logo

Bibliografia

Bibliografia X

[21] J. L. G. RosaAn Artificial Neural Network Model Based onNeuroscience: Looking Closely at the Brain.in V. Kurkova, N. C. Steele, R. Neruda, and M. Karny(Eds.), Artificial Neural Nets and Genetic Algorithms -Proceedings of the International Conference in Prague,Czech Republic, 2001 - ICANNGA-2001. April 22-25,Springer-Verlag, 138–141, 2001.


logo

Bibliografia

Bibliografia XI

[22] J. L. G. RosaBiologically Plausible Artificial Neural Networks.Tutorial de duas horas, ministrado no IJCNN 2005 -International Joint Conference on Neural Networks,Montreal, Canada, em 31 de julho de 2005. Disponıvel emhttp://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.

[23] J. L. G. Rosa and E. FrancozoHybrid Thematic Role Processor: Symbolic LinguisticRelations Revised by Connectionist Learning.in Proceedings of IJCAI’99 - Sixteenth International JointConference on Artificial Intelligence, Stockholm, Sweden,


http://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.

http://ewh.ieee.org/cmte/cis/mtsc/ieeecis/contributors.htm.

logo

Bibliografia

Bibliografia XII

July 31-August 6, Volume 2, Morgan Kaufmann, 852–857,1999.

[24] D. E. Rumelhart and J. L. McClelland (Eds.)Parallel Distributed Processing - Explorations in theMicrostructure of Cognition. Volume 1: Foundations.A Bradford Book - The MIT Press, 1986.

[25] S. Russell and P. NorvigArtificial Intelligence - A Modern Approach.2nd. edition. Prentice Hall, Inc., 2001.

[26] R. Setiono and H. LiuSymbolic Representation of Neural Networks.IEEE Computer, Vol. 29, No. 3, 71–77, 1996.


logo

Bibliografia

Bibliografia XIII

[27] M. O. Schneider and J. L. G. RosaApplication and Development of Biologically PlausibleNeural Networks in a Multiagent Artificial Life System.Neural Computing & Applications. 2008.

[28] R. SunHybrid connectionist/symbolic systems.in The Handbook of Brain Theory and Neural Networks,2nd. edition, M. A. Arbib (Ed.), A Bradford Book, MIT Press,543–547, 2003.


logo

Bibliografia

Bibliografia XIV

[29] G. G. Towell and J. W. ShavlikExtracting Refined Rules from Knowledge-based NeuralNetworks.Machine Learning, 13, 71–101, 1993.

[30] Wikipedia, the Free Encyclopedia.http://en.wikipedia.org/wiki/Main_Page


http://en.wikipedia.org/wiki/Main_Page

redes neurais artiﬁciais: introduc¸ao -˜ parte 2joaoluis/minicurso-rna2.pdf · logo redes...

Documents