Para que gastar 3 dias em trabalho manual quando

podemos fazer (em 3 meses) uma ferramenta que o automatize?

ou

Lutando por um NLP operating system

J.Joao Dias de Almeida (jj@di.uminho.pt)

11 de Setembro de 2008

jj Natura

Linguateca

Missao

Melhorar a qualidade do PLN do Portugues, atraves de atenuar asdificuldade com que se deparam que os investigadoes edesenvolvedores desta area.

Disponibilizando recursos e ferramentas que permitamprocessamento sofisticado do Portugues.

Catalogando e monitorizando a area

Organizando actividades de avaliacao (conjunta)

jj Natura

Natura-Linguateca

Missao

... de acordo com as nossa preocupacoes e crencas:

Language processing techniques:

Domain specific languages (DSL)grammar basedrule based

Formal approach applied to informal, noisy domains

Scripting and fast prototype

Deal with real size resources

Inserido na realidade academica (U.Minho / DI)

e integrando coisas divertidas

jj Natura

PLN operating system

com1 < a > b b = f(a)com1 < a | com2 | com3 > b b = com3(com2(com1(a)

estruturas mais complexas grafo de calculo -- Makefile

texto = seq(linha) -- texto = frases, palavras, lemas, FS, dicgrep -- nlgrepyacc -- nlyacc

jj Natura

Algumas ferramentas Natura-Linguateca

TerminUM: Terminology from bilingual resources:NATools: set of tools for parallel corpora:

alignersprobabilistic translation dictionary extractorparallel corpora client-serverbilingual terminology extractor

Parguess: find bibtexts in the WEB

jj Natura

Algumas ferramentas Natura-Linguateca (2)

Recursos e ferramentas de lıngua:

JSpell: analisador morfologicoChuveiro de Dicionarios: um sistema para geracao dedicionarios de correctores ortograficos Firefox, Thunderbird,OpenOfice, aspell, etc para PTDPL: Dictionary programming languageDACLingua::StarDict::Gen: geracao de dicionarios StarDict

jj Natura

Algumas ferramentas Natura-Linguateca (3)

T2O: Ontology algebra:

Biblio::ThesaurusTabularThesaurus

General Support tools:

Makefile::Parallel: DSL for large scale computing using clusterText::RewriteRules: DSL for Textual rewriting systems in PerlcontextXML::TMX: processing Translation MemoriesXML::DT: processing HTML and XML files

jj Natura

T2O

Paço dos Duques de BragançaIN GuimarãesIOF palácioIOF monumento

Palácio dos BiscaínhosIN BragaIOF palácioIOF monumento

Mosteiro de AroucaIN AroucaIOF mosteiroIOF monumento

Completion

%inv INST IOF

felinoINST gato, tigre, pantera

%inv INST IOF

felinoINST gato, tigre, pantera

gatoIOF felino

tigreIOF felino

panteraIOF felino

%baselang PT

tigreEN: tigerIOF: felino

[PT:cat]EN catIOF felino

felinoEN felineINST [PT:cat]INST tigre

Biblio::Thesaurus thesaurusTranslate tabThesaurustax2thesaurus

Plant SciencesNT Plant Biology, AgronomyNT Plant EcologyBT IRIS_top_term

AgronomyNT Crop Science, HorticultureNT Seed ProductionNT Pest ManagementBT Plant Sciences, Agriculture

Crop ScienceNT Soybeans, Grain, TobaccoUF Crop ProductionBT Agronomy

animalNL dierINST Peru, porca, babuínoDE TierFI eläinSV djurBT Zoologia IT animaleRT Recursos animaisRT Doença animal, ZoologiaHU állatDA dyrEN animal

TaxonomiesAgronomy Crop Science Crop Production Grain Corn Rice Wheat Tobacco Horticulture Floriculture Turf or Ornamental Grass Viticulture Viniculture _USE_ Viticulture Pedology _USE_ Soil Science Pest Management Forest Pest Management Seed Production

Translation%baselang EN catIOF feline

tigerIOF felinePT tigre

felineINST catPT felino

Tabular Language$1SYN $$IN $2IOF $3IOF monumento

%%

Paço dos Duques de Bragança:Guimarães:palácio:Palácio dos Biscaínhos:Braga:palácio:Palácio do Freixo:Porto:palácio:Palácio e Convento de Mafra:Mafra:palácio:Palácio Nacional da Ajuda:Lisboa:palácio:Palácio Nacional da Pena:palácio:Mosteiro de Arouca:Arouca:mosteiro:Mosteiro de Ferreirim::mosteiro:

Merge

Biblio::Thesaurus

Ontology

jj Natura

T2O

15 anta

In – distrito::Angra do Heroísmo

Iof – cidade

Iofi – sede de concelho

Syn – cidade::Angra do Heroismo

Angra do HeroísmoAbr of – distrito::Angra do Heroísmo

In – distrito::Angra do Heroísmo

Iof – capital de distrito

AnguilaAbr of – região::Anguila

Codigo tld – ai

Gentilico – anguilano

In – América

Iof – região

Pof – Reino Unido

anguilanoHabitante de – Anguila

angélicaDominio – botânica

En – Dill

Iof – planta

Latim – Anethum graveolens

Ns – planta

angélica-silvestreDominio – botânica

En – Dill

Iof – planta

Latim – Anethum graveolens

Ns – planta

Anho da Festa de S. JoãoDomain – culinária

Iof – prato de carne

animaisIof – reino

Narrower term – aracnídeos! artrópodes! cetáceos! cor-dados ! insectos ! mamíferos ! moluscos ! peixes !primatas ! répteis ! vermes

animalInst – abelha ! abutre ! alce ! alce americano ! ameba !

andorinha ! anta ! antílope ! aranha ! arara ! arara

azul ! arenque ! ariranha ! arraia ! asno ! atum !ave ! avestruz ! babuíno ! bacalhau ! baleia ! barata! beija-flor ! bem-te-vi ! besouro ! bezerro ! bicho-

da-seda ! bicho-preguiça ! bode ! boi ! boi almis-

carado ! borboleta ! boto ! burro ! búfalo ! cabra

! cabrito montês ! cacatua ! cachalote ! cachorro !camaleão ! camarão ! camelo ! camundongo ! can-

guru ! canário ! capivara ! caracol ! caranguejo !carneiro ! carpa ! carrapato ! cascavel ! castor ! cav-alo! cavalo-marinho! cação! cegonha! centopeia!cervo ! chacal ! chimpanzé ! chita ! cigarra ! cisne

! coala ! cobaia ! cobra ! coelho ! coiote ! coral !cordeiro ! coruja ! Corvo ! crocodilo ! cuco ! cu-

pim ! cutia ! cágado ! cão ! diabo da Tasmánia !dinossauro ! doninha ! efemérida ! elefante ! ema !enguia ! escorpião ! esquilo ! estrela-do-mar ! faisão! falcão ! foca ! formiga ! fuinha ! furão ! gafan-

hoto ! gaivota ! galinha ! galo ! gambá ! ganso !garanhão ! garça ! gato ! Gavião ! girafa ! golfinho! gorila ! gralha ! grilo ! guará ! guaxinim ! ham-

ster ! hiena ! hipopótamo ! iaque ! iguana ! jacaré

! jacaré-de-papo-amarelo! jararaca! javali! jibóia!joaninha ! joão-de-barro ! lagarta ! lagartixa ! lagarto! lagosta ! lebre ! leoa ! leopardo ! lesma ! leão

! leão-marinho ! lhama ! libélula ! lince ! linguado

! lobo ! lobo-guará ! lontra ! lova-a-deus ! lula !lúcio (peixe) ! macaco ! marisco ! marreco ! martim-pescador ! mexilhão ! mico-leão-dourado ! minhoca

! molusco ! morcego ! morsa ! mosca ! mosquito !mula ! musaranho ! naja ! orangotango ! ornitorrinco! ostra ! ouriço ! ouriço-do-mar ! ovelha ! panda !pantera ! papagaio ! pardal ! pato ! pavão ! peixe !peixe boi ! pelicano ! percevejo ! perdigão ! perdiz

! perereca ! pernilongo ! Peru ! pescada ! pica-pau

! pinguim ! pingüim ! pintassilgo ! piolho ! piriq-

uito ! polvo ! pomba ! pombo ! porca ! porco !porco da india ! porco-espinho ! porquinho-da-índia !pulga ! puma ! pónei ! raposa ! raposa (fêmea) !ratazana ! rato ! rena ! rinoceronte ! robalo ! rouxi-nol! rã! sabiá! sagui! sagüi! salamandra! salmão! sanguessuga ! sapo ! sardinha ! siri ! sucuri ! su-rucucu ! tamanduá ! tartaruga ! tartaruga terrestre !tatu ! tatu-bolinha ! tatu-canastra ! texugo ! tigre !tigresa ! toupeira ! touro ! traça ! truta ! tubarão !tucano ! uirapuru ! urso ! urso panda ! urso polar !urubu ! vaca ! vaga-lume ! veado ! verme ! vespa

! viúva-negra (aranha) ! víbora ! zangão ! zebra !água-viva ! águia ! égua

anisDominio – botânica

En – Anise

Iof – planta

Latim – Pimpinella anisum

Ns – planta

anis-verdeDominio – botânica

En – Anise

Iof – planta

Latim – Pimpinella anisum

Ns – planta

AnkaraAbr of – cidade::Ankara

In – Turquia

Iof – cidade

anona (fruto)Dominio – botânica

En – Cherimoya

Iof – planta

Latim – Annona cherimola

Ns – planta

anona-da-madeiraDominio – botânica

En – Cherimoya

Iof – planta

Latim – Annona cherimola

Ns – planta

anoneiraDominio – botânica

En – Cherimoya

Iof – planta

Latim – Annona cherimola

Ns – planta

AnsiãoAbr of – concelho::Ansião

Cod pt – 1003

In – distrito::Leiria

Iof – vila

Iofi – sede de concelho

Syn – vila::Ansião

anta

35 berlinda

Beijinhos de FreiraDomain – culináriaIof – doceBeiraAbr of – cidade::BeiraIn – MoçambiqueIof – cidadeLa – fBeira AltaAbr of – província::Beira AltaHas – serra da Estrela ! ViseuIn – PortugalIof – provínciaBeira BaixaAbr of – província::Beira BaixaHas – Castelo BrancoIn – PortugalIof – provínciaBeira LitoralAbr of – província::Beira LitoralHas – AveiroIn – PortugalIof – provínciaBeira MarAbr of – clube::Beira MarBejaAbr of – concelho::Beja ! distrito::BejaCod pt – 0205In – Alentejo ! distrito::BejaIof – capital de distrito ! cidadeIofi – sede de concelhoSyn – cidade::BejabeladonaIof – plantaBelas ArtesAbr of – licenciatura::Belas ArtesIof – licenciatura ! área de estudoSyn – licenciatura::Belas Artesbelas-noitesDominio – botânicaEn – CalendulaIof – plantaLatim – Calendula officinalisNs – plantaBelemAbr of – cidade::BelemIn – BrasilIof – cidadeBelenensesAbr of – clube::BelenensesbelgaHabitante de – BélgicaBelgradoAbr of – cidade::BelgradoIn – JugosláviaIof – cidadeBelizeAbr of – país::BelizeCodigo tld – bzGentilico – belizenseIn – AméricaIof – paísbelizenseHabitante de – BelizeBelmonte

Abr of – concelho::BelmonteCod pt – 0501In – distrito::Castelo BrancoIof – vilaIofi – sede de concelhoSyn – vila::BelmonteBelo HorizonteAbr of – cidade::Belo HorizonteIn – BrasilIof – cidadeBem-CasadosDomain – culináriaIof – docebem-me-querIof – florbem-te-viEn – great kiskadeeIof – animalNs – animalBenaventeAbr of – concelho::BenaventeCod pt – 1405In – distrito::SantarémIof – vilaIofi – sede de concelhoSyn – vila::BenaventeBenficaAbr of – clube::BenficabengaleiroIof – mobíliaBenguelaAbr of – cidade::BenguelaIn – AngolaIof – cidadeBenimAbr of – país::BenimCodigo tld – bjFullname – República do BenimGentilico – beninêsIn – ÁfricaIof – paísbeninêsHabitante de – BenimBento da CruzIof – escritorPeriodo – actualBento Teixeira PintoIof – escritorPeriodo – clássicoberbequimIof – ferramenta de carpinteirobergantimBroader term – transporte aquáticoberingelaDominio – botânicaEn – EggplantIof – plantaLatim – Solanum melongenaNs – plantaBerlimAbr of – cidade::BerlimIn – AlemanhaIof – cidadeberlindaBroader term – transporte terrestre

thesaurus2htmlsthesaurus2tex

animalNL dierINST Peru, porca, babuínoDE TierFI eläinSV djurBT Zoologia IT animaleRT Recursos animaisRT Doença animal, ZoologiaHU állatDA dyrEN animal

Ontology

DatabaseSQLite

Biblio::Thesaurus::SQLitethesaurus2StarDict

OWLWeb Ontology

Language

Biblio::Thesaurus::OWL

TranslationDictionaries

thesaurus2dict

jj Natura

TerminUM Diagram

web ∨ directory��

guess & retrieval��

candidatePairs��

• // validation��

bitexts��

parallelBooksoo

segmentation��

segmentedBitexts��

subtitles��

.po

��sentenceAligner

��subtitleAligner

��poAligner

��•��

•oo •oo

sentenceAligned��

// •

��wordAlign

��•

OO

dictionariesoo // exampleExtraction // examplesjj Natura

NATools Diagram (mais logo)

corpusα

��

corpusβ

��filter1

��

filter2

��fileα

��

fileβ

��pre-proc1

��

pre-proc2

��lexα × crpα

��

// •��

crpβ × lexβoo

��

mkMatrix

��EM-Algorithm

��• // mkDictionary

��

•oo

dic(α → β) •oo // dic(β → α)

jj Natura

Makefile::Parallel

example1000006h 28m 13s

cleanExamples1m 2s

ipfp00219m 27s

postipfp0024s

example2000006h 26m 51s

postipfp0053m 12s

postbin0051m 46s

postipfp0013s

postbin0012s

ngramsB2m 37s

examples57s

example1500006h 16m 40s

example05h 54m 49s

example500006h 7m 57s

example2500004h 7m 3s

postipfp0035s

postbin0032s

ipfp00117m 59s

dicB1m 34s

dump43s

ngramsA26m

ngramsA5m 45s

ngramsB411m 2s

dicA1m 35s

postipfp00415s

postbin0042s

ngramsB25m 56s

ipfp00421m 34s

postbin0022s

initmat0024m 36s

filter32s

ipfp00532s

initmat0044m 34s

initmat0058s

ngramsA411m 54s

initmat0032m 27s

ipfp00319m 28s

codify9m 17s

ngramsA39m 23s

initmat0011m 39s

ngramsB37m 51s

jj Natura