modelo geral, novidades e avaliação paula carvalho e hugo oliveira diana santos, cláudia freitas...

Modelo Geral, Novidades e Avaliação

Paula Carvalho e Hugo Oliveira Diana Santos, Cláudia Freitas e Cristina Mota

Encontro do Segundo HAREMUniversidade de Aveiro, 7 de Setembro de

2008

1

Desafios HAREM clássico (seguindo genericamente

o modelo de classificação proposto no Primeiro HAREM, mas refinando algumas distinções, quer ao nível da segmentação das EM quer da sua classificação)

Pista para identificação e normalização de expressões temporais (Hagège et al., 2008)

Pista ReRelEM, para a identificação de relações semânticas entre EM

2

Calendário do HAREM (2007)

Primeira chamada para o Segundo HAREM

Data-limite para registo no HAREM

Data-limite para discussão sobre os moldes do Segundo HAREM

Versão preliminar das directivas do Segundo HAREM

3

Calendário do HAREM (2008)

Directivas finais e material de treino

Colecção HAREMPrimeira versão da Colecção Dourada

Primeira versão da mini-CD do TEMPO e a versão final CD Primeira versão da mini-CD do ReRelEM Versão final da mini-CD do TEMPO Resultados preliminares do HAREM clássicoResultados preliminares da pista do TEMPO

Versão final da mini-CD do ReRelEM

Resultados da pista ReRelEM Relatórios de desempenho

4

Caracterização do HAREM EM em contexto

5

O acordo político quanto à revisão foi obtido durante a Presidência Alemã , tendo cabido a Portugal concluir o processo de revisão.

Regressou então a Portugal, onde iniciou meteórica carreira na experimentação de novas formas de expressão

Este debate passou completamente ao lado de Portugal

«o problema do PSD é começar a ter só um Portugal ou dois dentro de si»

Portugal perdeu com a Suíça por 2-0

Caracterização do HAREM EM vagas

6

Pela mão do ministro Freitas do Amaral, e sem necessidade alguma, Portugal foi enxovalhado, coberto de vergonha e de cobardia, por um dos mais tristes textos políticos que já alguém escreveu.

Mais de 32 mil pessoas poderiam morrer se uma pandemia de gripe humana de origem aviária atingisse Portugal

os dois reinos católicos, Portugal eEspanha, partiram à conquista do mundo e tornaram-se <ALT> Impérios | Impérios </ALT> marítimos do Novo Mundo

Caracterização do HAREM Análises alternativas (ALT)

7

Ambiguidade estrutural: aproximava a <ALT> Igreja de Inglaterra | Igreja de Inglaterra </ALT> do calvinismo.

Possibilidade de uma expressão poder ser reconhecida como EM, ou não:

Portugal e Espanha, partiram à conquista do mundo e tornaram-se <ALT> Impérios | Impérios </ALT> marítimos;

Novidades no Segundo HAREM Uso extensivo de ALT para representação sistemática da

estrutura interna das EM constituídas por outras EM

<ALT>presidente da Câmara de Nova Iorque

| presidente da Câmara de Nova

Iorque | presidente da Câmara de Nova Iorque </ALT>

8

Novidades no Segundo HAREM ALT sistematicamente aplicados

9

CATEG ESTRUTURA EXEMPLO

PESSOA PESSOA de LOCALPESSOA de ORGANIZACAOPESSOA de ORG|LOCALPESSOA de PESSOA

Santo António de LisboaPresidente do Parlamento EuropeuPresidente dos Estados UnidosFCP de José Mourinho

ORGANIZACAO ORG de LOCALORG de ORG

Associação Académica de CoimbraConselho da UE

LOCAL LOCAL de LOCALLOCAL de ORGANIZACAO

Teatro Scala de MilãoCentro de Eventos da Fiergs

OBRA OBRA de PESSOAOBRA|LOCAL de LOCAL

Sagrada Família de GaudíMosteiro de Santa Clara-a-Velha

ACONTECIMENTO

ACONT de LOCALACONT de TEMPO

Jogos Olímpicos de BarcelonaVolta a Espanha de 1985

ABSTRACCAO ABSTRACCAO de LOCAL Blues do Delta

COISA COISA de ORGANIZACAO iPhone da Apple

Novidades no Segundo HAREM Não reconhecimento de certas palavras em maiúsculas como EM

10

Quando ocorrem no âmbito de uma unidade lexical composta que não constitui, ela própria, uma EM

pastéis de Belém; amêijoas à Bulhão Pato

Se os restantes constituintes (grafados em minúscula) dessa unidade lexical integrarem a lista das minúsculas permitidas no âmbito desta avaliação, toda a unidade lexical deverá ser reconhecida como EM

doençadoença de Chagas

CATEGORIA TIPO SUBTIPOABSTRACCAO ESTADO, DISCIPLINA, IDEIA, NOME

OUTRO

ACONTECIMENTO EFEMERIDE, EVENTO, ORGANIZADOOUTRO

COISA CLASSE, MEMBROCLASSE, OBJECTOSUBSTANCIA, OUTRO

LOCAL

FISICO

HUMANO

VIRTUALOUTRO

AGUACURSO, AGUAMASSA, ILHA, PLANETA, REGIAO, RELEVO, OUTROCONSTRUCAO, DIVISAO, PAIS, REGIAO, RUA, OUTROCOMSOCIAL, OBRA, SITIO, OUTROOUTRO

OBRA ARTE, PLANO, REPRODUZIDA, OUTRO

ORGANIZACAOADMINISTRACAO, EMPRESA, INSTITUICAO, OUTRO

PESSOACARGO, GRUPOCARGO, GRUPOIND, GRUPOMEMBRO, INDIVIDUAL, MEMBRO, POVO, OUTRO

TEMPODURACAO, FREQUENCIA, GENERICOTEMPO_CALENDOUTRO

DATA, HORA, INTERVALO, OUTRO

VALORCLASSIFICACAO, MOEDA, QUANTIDADE, OUTRO

OUTRO13

X ESCOLA, OBRA, PLANO

X SUB

X PERIODO, CICLICO

X VARIADO

Colecção HAREM

14

Distribuição dos documentospor género na CD

DOCS: 1040Parágrafos: 15737Palavras: 670610

CD em números (1)

15

DOCS: 129Parágrafos: 2274Palavras: 147991Entidades: 7836Entidades vagas: 633 [52 classes]

Distribuição de categorias

16

CD em números (2)

Categorias associadas às entidades

Classes de vagueza(21 mais frequentes)

Processo de anotação da CDAnotação da CD, usando o Etiquet(h)arem

17

Processo de anotação da CDComparação automática das anotações, usando o

AlinhadorAnálise e discussão das diferenças encontradasValidação da sintaxe, usando o validador

desenvolvido para o efeitoRevisão manual da CDRevisão sequencial dos documentosRevisão por categoriaRevisão das análises alternativas (ALT)

18

Avaliação do HAREM clássico Melhorias em relação ao Primeiro HAREM

Contabilização de entidades parcialmente identificadas como incorrectas

Possibilidade de avaliação estrita dos ALT Casos conceptualmente distintos,

representados de forma diferente: ignorância, certeza de ser diferente, erro

Sistematização no tratamento das EM

19

Avaliação da classificação semântica

N

n

certostnsubtipos

certotntipos

certacncats1

_)1

1(_)1

1(_)1

1(1

M

n

espuriostnsubtipos

espuriotntipos

espuriacncats1

_1

_1

_1

N = número de diferentes classificações na CD de acordo com o cenárioM = número de classificações espúrias enviadas pelo sistemaα, β, γ = pesos das categorias (1), tipos (0.5) e subtipos (0.25)(c, t, st)_certo = 1, se estiver certo; caso contrário, (c, t, st)_certo = 0(c, t, st)_espuria= 1, se for espuria; caso contrário, (c, t, st)_espuria= 0

20

Programas de avaliação do HAREM clássico: entradas

<?xml version="1.0" encoding="ISO-8859-1" ?> <colHAREM versao="SegundoHarem">…<DOC DOCID="Xyz">

O <ALT> Tour de França de 2009 | Tour de França de 2009 | Tour de França de 2009 </ALT> vai começar no Mónaco com um contra-relógio de 15 quilómetros, numa etapa que também terminará no principado monegasco. O início do contra-relógio terá lugar precisamente no mesmo local do local de partida das provas de Fórmula 1. "O prestígio do principado, a filosofia que tem para o desporto e grandes eventos e a localização geográfrica" foram apontados por Christian Prudhomme como justificação para a decisão.

</DOC>…</colHAREM>

CDHAREM.xmlCDHAREM.xml

<?xml version="1.0" encoding="ISO-8859-1" ?> <colHAREM versao="CD">…<DOC DOCID="Xyz">

O Tour de França de 2009 vai começar no Mónaco com um contra-relógio de 15 quilómetros, numa etapa que também terminará no principado monegasco. O início do contra-relógio terá lugar precisamente no mesmo local do local de partida das provas de Fórmula 1. "O prestígio do principado, a filosofia que tem para o desporto e grandes eventos e a localização geográfrica" foram apontados por Christian Prudhomme como justificação para a decisão.

</DOC></colHAREM>

participacao.xmlparticipacao.xml

DOC Xyz<ALT><ALT1>Tour de França de 2009 ---> [França, de 2009]</ALT1><ALT2>Tour de França ---> [França]de 2009 ---> [de 2009]</ALT2><ALT3>Tour ---> [null]França ---> [França]de 2009 ---> [de 2009]</ALT3></ALT>Mónaco ---> [Mónaco]15 quilómetros ---> [15 quilómetros]Fórmula 1 ---> [null]Christian Prudhomme ---> [Christian Prudhomme]

Programas de avaliação do HAREM clássico: Alinhador

Alinhador



EMs na CD

EMs na participaç

ão

DOC Xyz<ALT><ALT1>Tour de França de 2009 ---> [França, de 2009]::[Parcialmente_Correcto_por_Defeito(0.1; 0.9), Parcialmente_Correcto_por_Defeito(0.2; 0.8)]</ALT1><ALT2>Tour de França ---> [França]::[Parcialmente_Correcto_por_Defeito(0.16666666666666666; 0.8333333333333334)]de 2009 ---> [de 2009]::[Correcto]</ALT2><ALT3>Tour ---> [null]::[Em_Falta]França ---> [França]::[Correcto]de 2009 ---> [de 2009]::[Correcto]</ALT3></ALT>Mónaco ---> [Mónaco]::[Correcto]15 quilómetros ---> [15 quilómetros]::[Correcto]Fórmula 1 ---> [null]::[Em_Falta]Christian Prudhomme ---> [Christian Prudhomme]::[Correcto]

Programas de avaliação do HAREM clássico: Avaliador de alinhamentos

Alinhador



Avaliador de alinhamentos

EM em falta

Alinhamentos classificados como: Correctos, Espurios,

Em Falta ou Parcialmente

Correctos

EMs parcialmente correctas são removidas na próxima fase

Tipos de cenário

Cenário total: elenco completo de categorias, tipos e subtipos propostos para o Segundo HAREM.

Cenário selectivo de avaliação: sub-conjunto de categorias, tipos e subtipos do cenário total que é alvo de avaliação.

Cenário selectivo de participação: sub-

conjunto de categorias, tipos e subtipos do cenário total que cada participante se propôs a utilizar.

24

#LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTRO};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA})

DOC Xyz<ALT><ALT1>França ---> [França]::[Espurio]</ALT1><ALT2></ALT2><ALT3>França ---> [França]::[Correcto]</ALT3></ALT>Mónaco ---> [Mónaco]::[Correcto]

Programas de avaliação do HAREM clássico: Véus HAREM

Alinhador




Véus(HAREM)

Dentro desta alternativa, a EM é

espúria

Alinhamentos filtrados de acordo com o cenário

pretendido

Remoção de alinhamentos

parcialmente correctos

DOC Xyz<ALT><ALT1>França ---> [França]::[Correcto]^1</ALT1></ALT>Mónaco ---> [Mónaco]::[Correcto]

Programas de avaliação do HAREM clássico: Organizador de ALTs

Organizadorde ALTs Alinhador




Véus(HAREM)

- Remoção de alternativas vazias/duplicadas, surgidas depois da aplicação de véus- Remoção de EMs alinhadas mais do que uma vez dentro do mesmo ALT- Atribuição do peso1/total de ALT a cada EM dentro de um ALT

Peso

A EM espúria desapareceu porque alinhava correctamente com a alternativa

seguinte

Programas de avaliação do HAREM clássico: Avaliador semântico


DOC Xyz<ALT><ALT1>França ---> [França]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5892857142857144) CSC(0.875) PALT(1.0)}]</ALT1></ALT>Mónaco ---> [Mónaco]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta:[]) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5833333333333333) CSC(1.5833333333333333)}]

Avaliadorsemântico





Véus(HAREM)

Precisão

Abrangência

Medida-F

- Avaliação dos atributos semânticos.

Classificação máxima da EM na

CD

Classificação máxima da EM na

participação

Classificação efectiva

Peso ALT

Programas de avaliação do HAREM clássico: Selector de ALTs


DOC XyzFrança ---> [França]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5892857142857144) CSC(0.875)}]Mónaco ---> [Mónaco]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta:[]) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5833333333333333) CSC(1.5833333333333333)}]

Avaliadorsemântico





Véus(HAREM)

Selectorde ALTs

Selecção da melhor alternativa (melhor medida-F e melhor

classificação)

Ficou a única alternativa que existia

Participação no Segundo HAREM

Manifestações de interesse: 22Sistemas inscritos: 16Sistemas participantes: 10Saídas: 27 (máx. 4 por participante)

29

Cenários selectivos de participaçãoSistema CE

N PES

ORG

LOC OBR

ACO

ABS

COI

TEM VAL

Cage2 Sel2 CAT CAT F + H CAT

DobrEM Pes

PorTexTO Temp

Priberam Tot

R3M Sel3

REMBRANDT Tot

REMMA Sel4 C/T C/T

SEI-Geo Sel5 F + H

SeRELeP Tot

XIP/L2F/XEROX

Sel6 NORM

IdentificaçãoClassificação

30

CAT – apenas CATEGORIAC/T – apenas CATEGORIA e TIPOF+H – apenas locais FISICOs e HUMANOsNORM – normalização das expressões temporais

ResultadosCenário total com avaliação estrita de ALTs

31

ResultadosCenário total com avaliação relaxada de ALTs

32

ResultadosCenário próprio com avaliação relaxada de

ALTs

33

Avaliação por categorias (melhores sistemas)

34

Precisão Abrangência

Medida-F

Agradecimentos

A Linguateca e o HAREM são financiados através do contrato nº 339/1.3/C/NAC, financiado pelo governo português e pela União Europeia, e executado pela FCCN.

35

modelo geral, novidades e avaliação paula carvalho e hugo oliveira diana santos, cláudia freitas...

Documents