text data - est.ufmg.brmarcosop/est171-ml/slides/larissaseminarsetembro.pdf · (forte) pressuposto:...

text data

Larissa Sayuri Futino Castro dos Santos14th August 2018

1

freegoogleslidestemplates.comFGST

2

About/Caracterís

ticasIR POS tagger

Conclusion/Next steps

Tradução Máquina Wordnet

Agenda


About 3

2007 2011 2013 2015 2017 2018 2019

Bachelor in Statistics,

Universidade de BrasíliaMaster in Statistics,

Universidade Federal de Minas Gerais

Doctorate in Statistics,

Universidade Federal de Minas Gerais

Doctoral Sandwich,

University of Wolverhampton


Characteristics4

❖ Variabilidade de domínios❖ Aspectos sócio econômicos❖ Palavras são polissêmicas❖ Formas abreviadas❖ Gírias❖ Linguagem informal ❖ Erros gramaticais❖ Erros de ortografia❖ Pontuação imprópria


5Aplicação - Recuperação de Informação


6

Vector space model

Representação“Somebody stole my neighbor’s bike in front of his house”

“Mary didn’t notice anything.”

“Gang which applied larceny since 2001 is arrested.”

“Homicide scares residents of an upscale neighborhood.”

“A man accused of rape is arrested for homicide in New Orleans.”

Corpus

Token

Document⋮

Token ~ Feature ~ variableDocument ~ Instance ~elements


7Modelo Bag of WordsCada palavra do texto, qualquer que seja a sua posição, é escolhida do dicionário com as mesmas probabilidades e independentemente das demais.

O texto resume-se ao vetor: X = (N1, N2, N3, …, NM), Ni = nº de vezes que a i-ésima palavra do dicionário ocorreu no texto

Esse é um modelo MUIIITO simplista…

Mas útil!


8Modelo Bag of Words - Peso

⋯

TF: Frequência do termo no documento



IDF: Inverso frequência do termo no Corpus



IDF: Inverso frequência do termo no Corpus

TF: Frequência do termo no documento


11

Redução de dimensão

Vocabulário (after pre-processing)

Representação do texto

D d

d << D


12Vector Space Model(Forte) pressuposto:

A ordem dos termos não importa

Doc. representado pela presença dos seus termos:

A lebre é mais veloz que a tartaruga A tartaruga é mais veloz que a lebre

Características:Grande dimensãoEsparsidade


13POS - taggerPOS Tagging: “O processo de atribuir um rótulo de classe gramatical para cada termo em um Corpus.”


14POS - tagger

PreposiçõesConjunçõesArtigosPronomesNumerais

SubstantivosVerbosAdjetivosAdverbios

Modelo estatístico:“Um modelo para uma sequência de palavras”


15POS - tagger

The dog ate the boneSubstantivoVerboAdjetivoAdverbio

Artigo

Artigo

SubstantivoVerboAdjetivoAdverbio

SubstantivoVerboAdjetivoAdverbio


16POS - tagger

The dog SubstantivoVerboAdjetivoAdverbio

Artigo P(Substantivo|Artigo) = 0.64

P(Verbo|Artigo) = 0.07

P(Adjetivo|Artigo) = 0.29

P(Advérbio|Artigo) = 0


18POS - tagger

ate the SubstantivoVerboAdjetivoAdverbio

P(Artigo|Verbo) = 0.17

P(Artigo|Substantivo) = 0.08

P(Artigo|Adjetivo) = 0

P(Artigo|Advérbio) = 0

Artigo


19POS - tagger

The bone SubstantivoVerboAdjetivoAdverbio

P(Verbo|Artigo) = 0.17

P(Substantivo|Artigo) = 0.08

P(Adjetivo|Artigo) = 0

P(Advérbio|Artigo) = 0

Artigo


22POS - tagger

Probabilidades estimadas como Frequências relativas

Exige o emprego de um Corpus representativo da língua

A ordem de dependência da cadeia (n-gram) é um parâmetro a ser considerado. Grandes dimensões são reconhecidamente pouco representativas da língua


23Aplicação - Tradução de Máquina


24Aplicação - Tradução de Máquina

Completo entendimento Conhecimento sofisticado, poético e criativo

FONTE: ALVO:


25Aplicação - Tradução de Máquina“Diferenças sintáticas estão relacionadas com diferenças semânticas em como as línguas mapeiam conceitos em palavras.” (Jurafsky)

“Algumas línguas dividem um dado conceito em mais detalhes do que outras.” (Jurafsky)


26Tradução de Máquina

Ideia geral:Alterar a estrutura da língua Fonte para que esteja em conformidade com as regras da língua Alvo.

SVO: SOV: VSO:AlemãoFrancêsInglês

HinduJaponês

IrlandêsÁrabe clássicoHebraico bíblico


27Tradução de MáquinaIdeia geral:Alterar a estrutura da língua Fonte para que esteja em conformidade com as regras da língua Alvo.


28Tradução de Máquina - Transformações Sintáticas

Conjunto distinto de regras de referência por par de língua


29Tradução de Máquina - Interlingua

Necessidade de uma Ontologia: inventário de conceitos e relações


30Tradução de Máquina - Tradução Direta

Tendência a serem conservadores


31Tradução de Máquina - Tradução Direta


32Tradução de Máquina - Tradução Estatística

Transfer, Interlingua, Direct Models:Qual representação empregarQuais passos seguir para traduzir

Focar no resultado e não no processo

Tradução Estatística

Traduzir: Adona roi

The lord is my shepherdThe lord will look after meThe lord is for me like somebody who looks after animals with cotton-like hair

Conclusão: Sempre há uma metáfora, construção, palavra ou tempo verbal sem um paralelo na língua alvo



Fidelidade à língua Fonte

Naturalidade/Fluência para a língua Alvo

O que define uma boa tradução?



Fidelidade à língua Fonte

Naturalidade/Fluência para a língua Alvo

O que define uma boa tradução?

Encontram o tolerável para os dois critérios ?



Função que represente a importância da fidelidade e da fluência da tradução



P(T) ~ Fluência:Pode ser estimada com modelos do tipo n-gram

1. The car was fast2. The fast car was3. Fast the was car

Qual tradução é mais fluente?


38Tradução de Máquina - P(T) ~ Fluência

1. The car was fast2. The car was red3. The bicycle was blue

Das auto was schnell


39Tradução de Máquina - P(T) ~ Fluência

1. The(1) car(.9) was(1) fast(.9)2. The(1) car(.9) was(1) red(.05)3. The(1) bicycle(.1) was(1) blue(.05)

Bilingual Probabilistic Dictionary

Alinhamento a nível de palavra


40Semantic tagger

Semantic Tags:

“Sets of words related at some level of generality with the same mental

concept.”


41Semantic tagger

Qual a similaridade entre:

Menina e Menino?Abelha e Colméia?Bola e futebol?


42Wordnet/Semantics


43Wordnet/Semantics


44Wordnet/Semantics


45Wordnet/Semantics


46Wordnet/Semantics


47Wordnet/Semantics


48Wordnet/Semantics

● Dicionário digital (muito completo)

● Feito por lexicógrafos

● Disponível para um número limitado de línguas


49Conclusions and Future Work

Uma ferramenta de NLP é input para outra ferramenta de NLP. Os erros só aumentam.

Ferramentas de NLP crescentemente incorporam redes Neurais

Ferramentas de NLP são desenvolvidas com especificidade para domínios.

Ferramentas de NLP dependem (demais) da base de dados. Muita relevância para quem constrói os Corpus.

Ferramentas de NLP são desenvolvidas prioritariamente no mercado, não na academia.

text data - est.ufmg.brmarcosop/est171-ml/slides/larissaseminarsetembro.pdf · (forte) pressuposto:...

Documents