anotação e classificação automática de entidades nomeadas em notícias esportivas em português...

Anotação e classificação automática de entidades nomeadas em notícias esportivas em Português Brasileiro

Rodrigo Constantin Ctenas Zaccara6367629

AGENDA

• Motivação

• Objetivos

• Conceitos

• Aquisição e extração de conteúdo

• WebCorpus

• Córpus UOLCP2011

• Avaliação dos algoritmos de classificação automática

• Trabalhos futuros

MOTIVAÇÃO

Direcionamento automático de notícias para nicho de interesse

OBJETIVOS

• Plataforma para anotação e classificação de entidades nomeadas:

• Interface web rica para classificação

• Córpus público baseado em notícias esportivas

• Avaliação de algoritmos de anotação e classificação de entidades nomeadas

CONCEITOS

PROCESSAMENTO DE LINGUAGEM NATURAL

• Subárea no campo de extração de informação

• Diminuir a distância entre computador e humanos na interpretação de comandos em linguagem natural

• Desafios:• Ausência de informação• Ambiguidade semântica• Exemplo: “Pessoas fazem orações por São Paulo”

APRENDIZADO DE MÁQUINA

• Início na década de 50 com Arthur Lee Samuel

• Categorias:• Aprendizado supervisionado• Aprendizado não supervisionado• Aprendizado por reforço

CÓRPUS

• Coleção de dados linguísticos

• Etapas:• Projeto• Compilação• Anotação• Uso

AQUISIÇÃO E EXTRAÇÃODE CONTEÚDO

ÍNDICE

NOTÍCIA

CONTEÚDO

WEBCORPUS

VERSÃO ALPHA

PREMISSAS

• Mecanismo flexível e dinâmico para criação do conjunto de etiquetas

• Pontos de recuperação

• Sistema iterativo de classificação

• Localização dos recursos de interface

VERSÃO FINAL

DISPONIBILIDADE

• Licença MIT

THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

• Download em https://github.com/rodzac/webcorpus/

CÓRPUS UOLCP2011

INFORMAÇÕES

• 100 notícias anotadas manualmente do Campeonato Paulista de 2011

• Formatos: texto puro e XML

• Anotado e somente texto

• UTF-8

TIPOLOGIA

• Modo: Escrito

• Tempo: Contemporâneo

• Seleção: Estático

• Conteúdo: Especializado

• Finalidade: Treinamento e teste

ETIQUETAS

1a Fase 2a Fase 3a Fase

Pessoa Time Torcida

Lugar Estádio

Organização Campeonato

DISPONIBILIDADE

• Licença MIT

THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

• Download em https://github.com/rodzac/UOLCP2011/

AVALIAÇÃO DOS ALGORITMOSDE CLASSIFICAÇÃO AUTOMÁTICA

ESCOPO

• Algoritmos:

• Maximização de entropia

• Índices invertidos

• Método de mesclagem ROdIME

• Treinamento particionado utilizando o UOLCP2011

• Classificação do mini córpus

AVALIAÇÃO

precisão(acertos , entidades anotadas)=acertos

entidades anotadas

cobertura (acertos ,entidades esperadas)=acertos

entidadesesperadas

medidaF ( precisão , cobertura)=2∗ precisão∗coberturaprecisão+cobertura

MAXIMIZAÇÃO DE ENTROPIA

CONCEITOS

• Integrar informações de diversas fontes heterogenias

• Modelo baseado em características (restrições)

• Característica é definida por uma função binária para detectar sua presença

• Exemplos: inicia com letra maiúscula, contém números, palavra anterior inicia com letra maiúscula...

TREINAMENTO

• Corte: 3, 4 e 5

• Iterações: 100, 150 e 250

• Janela: 2, 3, 4 e 5

• Treinamento individual (pessoa, lugar, orgazanição, time, estádio, campeonato e torcida) e coletivo

• Total de cenários: 3 x 3 x 4 x 8 x 10 = 2880

RESULTADOS

TREINAMENTO

Janela Corte Iterações

Pessoa 5 5 100

Time 2 3 100

Lugar 2 3 100

Campeonato 2 4 100

Estádio 2 4 100

Organização 2 4 100

Torcida - - -

Coletivo 3 5 150

UOLCP2011

Individual ColetivoTotal de entidades 2930 2930Entidades anotadas 1950 2988

Anotadas com sucesso 1944 2748Esquecidas 981 92

Classificadas erradas 5 90Anotadas erradas 1 150

Precisão 0.99 0.91Cobertura 0.66 0.93MedidaF 0.79 0.92

MINI CÓRPUS

Individual ColetivoTotal de entidades 655 655Entidades anotadas 231 648

Anotadas com sucesso 227 528Esquecidas 425 62

Classificadas erradas 3 55Anotadas erradas 1 62

Precisão 0.98 0.81Cobertura 0.34 0.80MedidaF 0.51 0.81

ÍNDICES INVERTIDOS

CONCEITOSPalavra Documento

o 1, 3, 4sao 1

paulo 1joga 1hoje 1, 2esta 2, 3, 4

muito 2quente 2, 4

palmeiras 3perdendo 3

jogo 3, 4

Documento Texto

1 o sao paulo joga hoje2 hoje esta muito quente

3 palmeiras esta perdendo o jogo

4 o jogo esta quente

IMPLEMENTAÇÃO

• Algoritmo de segmentação em janelas

• Heurística de seleção:

• Peso

• Análise simples

• Análise completa

TREINAMENTO

• Janela: 1, 2, 3, 4 e 5

• Heurística de seleção: peso, análise simples e análise completa

• Total de cenários: 5 x 3 x 10 =150

RESULTADOS

UOLCP2011

Peso Simples CompletaTotal de entidades 2930 2930 2930Entidades anotadas 2831 2901 2895

Anotadas com sucesso 2581 2871 2880Esquecidas 210 42 42

Classificadas erradas 139 17 8Anotdas erradas 111 13 7

Precisão 0.91 0.98 0.99Cobertura 0.88 0.97 0.98MedidaF 0.89 0.98 0.98

MINI CÓRPUS

Peso Simples CompletaTotal de entidades 655 655 655Entidades anotadas 539 560 511

Anotadas com sucesso 469 472 466Esquecidas 156 149 160

Classificadas erradas 30 34 29Anotadas erradas 40 54 16

Precisão 0.87 0.84 0.91Cobertura 0.71 0.72 0.71MedidaF 0.78 0.77 0.79

MÉTODO DE MESCLAGEMROdIME

CONCEITOS

• Mesclar resultados dos algoritmos:

• Maximização de entropia individual

• Maximização de entropia coletivo

• Índices invertidos com heurística completa

IMPLEMENTAÇÃO

• Prova de conceito

• Extrair mais informações da biblioteca de maximização de entropia

• Definição da interface BestScore

• Nota mínima para anotação

RESULTADOS

UOLCP2011

Individual Coletivo Completa ROdIMETotal de entidades 2930 2930 2930 2930Entidades anotadas 1950 2988 2895 2907

Anotadas com sucesso 1944 2748 2880 2892Esquecidas 981 92 42 30

Classificadas erradas 5 90 8 8Anotadas erradas 1 150 7 7

Precisão 0.99 0.91 0.99 0.99Cobertura 0.66 0.93 0.98 0.98MedidaF 0.79 0.92 0.98 0.99

MINI CÓRPUS

Individual Coletivo Completa ROdIMETotal de entidades 655 655 655 655Entidades anotadas 231 648 511 559

Anotadas com sucesso 227 528 466 523Esquecidas 425 62 160 99

Classificadas erradas 3 55 29 33Anotadas erradas 1 62 16 3

Precisão 0.98 0.81 0.91 0.93Cobertura 0.34 0.80 0.71 0.79MedidaF 0.51 0.81 0.79 0.86

CARVALHO'12: UOLCP2011

ROdIME MTodas MTodas com filtroTotal de entidades 2930 2930 2930Entidades anotadas 2907 2976 3005

Anotadas com sucesso 2892 2898 2903Esquecidas 30 15 11

Classificadas erradas 8 17 16Anotadas erradas 7 61 88

Precisão 0.99 0.97 0.96Cobertura 0.98 0.98 0.99MedidaF 0.99 0.98 0.97

CARVALHO'12: MINI CÓRPUS

ROdIME MTodas MTodas com filtroTotal de entidades 655 655 655Entidades anotadas 559 605 616

Anotadas com sucesso 523 535 545Esquecidas 99 67 59

Classificadas erradas 33 53 51Anotadas erradas 3 17 20

Precisão 0.93 0.88 0.88Cobertura 0.79 0.81 0.83MedidaF 0.86 0.84 0.85

CONCLUSÃO

• Maximização de entropia:

• Treinamento individual tem bastante precisão

• Treinamento coletivo tem boa cobertura

• Índices invertidos fixam bem características do treinamento

• Método de mesclagem ROdIME é uma boa alternativa para a classificação de entidades nomeadas

TRABALHOS FUTUROS

WEBCORPUS

• Tratamento de expiração e edição concorrente

• Criar perfil de usuário para rastrear alterações

• Adicionar suporte a múltiplos córpus

ALGORITMOS

• Aprendizado infinito com índices invertidos

• Avaliar outras técnicas para o algoritmo de mesclagem

• Automatizar a avaliação dos algoritmos durante a fase de treinamento

Anotação e classificação automática de entidades nomeadas em notícias esportivas em Português Brasileiro

Rodrigo Constantin Ctenas Zaccara6367629