CLASSIFICADOR DE IMAGENS COM REDES NEURAIS

Diemesleno Souza CarvalhoProf. Keiji Yamanaka

AGENDA• Apresentação do problema• Pesquisa realizada• Amostragem• Rede Neural• Treinamento• Teste• Aplicação desenvolvida• Conclusão

APRESENTAÇÃO DO PROBLEMA

APRESENTAÇÃO DO PROBLEMA

APRESENTAÇÃO DO PROBLEMA

PESQUISA REALIZADA

PESQUISA REALIZADA

PESQUISA REALIZADA

PESQUISA REALIZADA

PESQUISA REALIZADA

PESQUISA REALIZADA

exemplos

PESQUISA REALIZADA

PESQUISA REALIZADA

AMOSTRAGEM

AMOSTRAGEM

http://nlp.cs.illinois.edu/HockenmaierGroup/8k-pictures.html

AMOSTRAGEM

8.091 imagens

40.455 sentenças

Flickr8k

REDE NEURAL

REDE NEURAL- LSTM - Long-Short Term Memory- Back Propagação- Tangente Hiperbólica- Taxa de Aprendizado 0,001- Camadas Escondidas: 256- Entradas: Lotes com 100 imagens- Épocas: 15000

TREINAMENTO

TREINAMENTODurante o treinamento, as imagens juntamente com as sentenças são alimentadas como entrada da rede, que deve, ao final, gerar uma sentença própria, baseada no contexto das palavras apresentadas na entrada da rede.

TREINAMENTO

TREINAMENTO

TREINAMENTODurante o treinamento, as imagens juntamente com as sentenças são alimentadas como entrada da rede, que deve, ao final, gerar uma sentença própria, baseada no contexto das palavras apresentadas na entrada da rede.

TREINAMENTO

TESTE

TESTEApós realizar o treinamento, e ainda antes de efetuar o teste foi realizada uma fase de previsão, onde o programa analisa um determinado checkpoint e aplica o algoritmo BLEU para pontuar as sentenças geradas pela RNA.

TESTEApós realizar o treinamento, e ainda antes de efetuar o teste foi realizada uma fase de previsão, onde o programa analisa um determinado checkpoint e aplica o algoritmo BLEU para pontuar as sentenças geradas pela RNA.

Bilingual Evaluation Understudy

TESTEApós realizar o treinamento, e ainda antes de efetuar o teste foi realizada uma fase de previsão, onde o programa analisa um determinado checkpoint e aplica o algoritmo BLEU para pontuar as sentenças geradas pela RNA.

Bilingual Evaluation Understudy

TESTE

TESTE

TESTE

TESTE

APLICAÇÃO DESENVOLVIDA

CONCLUSÃOO sistema desenvolvido ainda apresenta uma baixa proporção de sentenças corretas.

A RNA demonstrou se confundir facilmente com palavras que se repetem ao longo do treinamento e também com palavras com mais de um sentido.

Pretende-se realizar uma filtragem de palavras e testes com outras configurações durante o treinamento para melhorar o desempenho da geração de sentenças.