detecção e correcção parcial de problemas na conversão de formatos

Deteccao e Correccao Parcial deProblemas na Conversao de

Formatos

Andre Santos, [email protected] Jo~ao Almeida, [email protected]

I Workshop Per-FideDI@UM

16 de Setembro de 2010

1 Introducao

2 Arquitectura e design goalsPrimeira abordagemArquitecturaPaginacaoSeccoesParagrafosNotas de rodapePalavras e caracteresRelatorio e Commit

3 Conclusoes, wish list e trabalho futuro

Andre Santos, Jose Joao Almeida Det. e Correccao Parc. de Problemas na Conv. de Formatos

Introducao

1 Introducao




Introducao

Introducao

Analise e tratamento de documentos emformato electronico de texto simples, tendo em vistaa sua normalizacao para posterior processamento(e.g., alinhamento).

varios tipos de documentos: livros, artigoscientıficos, ...

varias proveniencias

frequentemente, passado desconhecido

por vezes, resultado de traducoes

por vezes, completamente adulterados

em varias lınguas


Introducao

Introducao

Para ja...

Centrar no domınio dos livros

Idealmente, acabaremos por ter partessignificativas reutilizaveis noutros domınios


Introducao

Descricao do problema

anterior formatacao (superior/inferior a linha,italico, ...)

paginacao (numeros, cabecalhos, rodapes, ...)

divisao em seccoes

paragrafos

notas de rodape

codificacao do texto

. . .


Introducao

Descricao do problema - Exemplo

(. . . )

gaiement. Sur le devant s<92>’ouvrait la porte

d<92>’entree, donnant acces dans la salle commune.

Une legere veranda, qui en prote-

<96>- 86 <96>-

^Lgeait la partie anterieure contre l<92>’action

des rayons solaires, reposait sur de sveltes bambous.

Le tout etait peint d<92>’une fraıche

(. . . )

La Jangada, Jules Verne


Arquitectura e design goals

1 Introducao




Arquitectura e design goals Primeira abordagem

Primeira abordagem

RegExp + Find & Replace

Demasiado naive

Grande confusao

Necessaria abordagem mais sistematizada


Arquitectura e design goals Arquitectura

Arquitectura

definicao de DSL e ontologias

ajudam na organizacao

permitem abstrair do codigo e discutir detalhesa um nıvel mais elevado (ate com pessoas deoutras areas)


Arquitectura e design goals Arquitectura

Arquitectura

Montagem de uma pipeline; em cada passo lida-secom um conjunto especıfico de problemas.

1 Paginacao2 Seccoes3 Paragrafos4 Notas de rodape5 Palavras e caracteres6 . . .

7 Commit


Arquitectura e design goals Paginacao

Paginacao

Objectivo

Identificar e remover do texto elementos referentesa paginacao do livro:

numeros de pagina

cabecalhos

rodapes

quebras de pagina

Geralmente estes elementos sao factores quedestabilizam o processo de alinhamento.



Paginacao - Exemplo

est vrai qu’il fallait etre assez chanceux pour

rencontrer le nabab, et assez audacieux pour

s’emparer de sa personne.

Page 3

^LLa maison a vapeur Jules Verne

Le faquir, - evidemment le seul entre tous

que ne surexcitat pas l’espoir de gagner la

prime, - filait au milieu des groupes, s’arretant

La Maison a Vapeur, Jules Verne



Paginacao - Algoritmo

1 identificar as quebras de pagina (e.g., ^L)2 nas imediacoes: candidatos a cabecalhos e

rodapes3 contam-se as ocorrencias de cada candidato

normalizado4 sao considerados cabecalhos ou rodapes

candidatos que ultrapassarem um determinadovalor de ocorrencias

5 substitui-se tudo por uma marca propria6 move-se a informacao relativa ao numero de

pagina, cabecalhos e rodapes para ficheiro aparte



Paginacao - Exemplo



s’emparer de sa personne.

Page 3

^LLa maison a vapeur Jules Verne







Paginacao - Exemplo



s’emparer de sa personne. _pb2_






Arquitectura e design goals Seccoes

Seccoes

Objectivo

Identificar e normalizar as divisoes entre as variasseccoes do livro (inıcio, fim, partes, capıtulos,anexos, ...)

Para realizar esta tarefa foi criada uma ontologia detipos de obra e respectiva hierarquia de divisoes, emvarias lınguas.



Seccoes - Ontologia

Exemplocap

PT capıtulo, cap, cap. , capitulo

FR Chapitre, chap, chap.

EN Chapter, chap, chap.

NT sec

A partir desta ontologia e automaticamente geradauma parte do codigo.



Seccoes - Exemplo

PRIMEIRA PARTE

FANTINE

^LLIVRO PRIMEIRO

UM JUSTO

O abade Myriel

Em 1815, era bispo de Digne, o reverendo Carlos

Francisco Bemvindo Myriel, o qual contava setenta e

Os Miseraveis, Vitor Hugo



Seccoes - Algoritmo

1 Procura de potenciais inıcios de seccao:linhas contendo palavras-chave (capıtulo, Cap.,chapter, Apendice, Table des Matieres, ...)paginas ou linhas contendo apenas numeracaonumeracao romana...

2 Colocar uma marca imediatamente antes daseccao encontrada.



Seccoes - Exemplo

PRIMEIRA PARTE

FANTINE

^LLIVRO PRIMEIRO

UM JUSTO

O abade Myriel






Seccoes - Exemplo

_sec+O:PARTE=PRIMEIRA_

FANTINE

_sec+O:LIVRO=PRIMEIRO_

UM JUSTO

O abade Myriel






Seccoes

A identificacao das varias partes constituintes de umdocumento:

permite posteriormente comparar as duasversoes e remover partes que estejam presentesapenas numa delas (apendices, prefacios aedicoes especıficas, etc)

permitira fazer um alinhamento estrutural


Arquitectura e design goals Paragrafos

Paragrafos

Objectivo

Resolver questoes relacionadas com a identificacaode paragrafos, discurso directo, etc.



Paragrafos - Exemplo

L’hotesse prit la defense de son cure:

- D’ailleurs, il en plierait quatre comme vous sur

son genou. Il a, l’annee derniere, aide nos gens a

rentrer la paille; il en portait jusqu’a six bottes

a la fois, tant il est fort!

- Bravo! dit le pharmacien. Envoyez donc vos filles

en confesse a des gaillards d’un temperament pareil!

Moi, si j’etais le gouvernement, je voudrais qu’on

saignat les pretres une fois par mois.



Paragrafos - Algoritmo

identificacao de paragrafos baseia-se na analiseda indentacao e das linhas em brancoidentificacao (e normalizacao) de discursodirecto:

pontuacao, paragrafo, travessaotexto entre aspas


Arquitectura e design goals Notas de rodape

Notas de rodape

Objectivo

Identificar e remover do documento notas de rodapee respectivas chamadas.



Notas de rodape - Exemplo

On fit un inventaire de son argent comptant, et on

le mena dans le chateau que fit construire le roi

Charles V, fils de Jean II, aupres de la rue

Saint-Antoine, a la porte des Tournelles[1].

[1] La Bastille, qui fut prise par le peuple de

Paris, le 14 juillet 1789, puis demolie. B.

Quel etait en chemin l’etonnement de l’Ingenu!

je vous le laisse a penser. Il crut d’abord

que c’etait un reve.

Oeuvres de Voltaire, Voltaire



Notas de rodape - Algoritmo

1 Identificar chamadas para notas de rodape nomeio de frases ([1], <<2>>, ^3, ...)

2 Substituir por uma marca propria3 Identificar notas de rodape (geralmente

encontram-se no fim de paginas ou no fim dodocumento).Outras pistas: N. d(o|a|os|as) T., ...

4 Inserir uma marca propria e remover a notapara um ficheiro a parte







Saint-Antoine, a la porte des Tournelles[1].

[1] La Bastille, qui fut prise par le peuple de

Paris, le 14 juillet 1789, puis demolie. B.











Saint-Antoine, a la porte des Tournelles_fnr29_.

_fne8_






Arquitectura e design goals Palavras e caracteres

Palavras e caracteres

translineacoes de palavras

codificacao do texto

. . .


Arquitectura e design goals Relatorio e Commit

Relatorio

Os passos anteriores produzem um relatorio

Este relatorio consiste num resumo do que estaa ser assumido e do que esta a ser feito

O objectivo e permitir realizar um diagnosticoao funcionamento do programa, permitindocorrigir manualmente aquilo que estiver errado



Relatorio

livros/_FR_15.pdf.txt:

footers=[’( Page) = 241’]

headers=[

"(La maison \x{e0} vapeur Jules Verne) = 241"]

ctrL=1;

pagnum_ctrL=241;

sectionsO=2;

sectionsN=30;

word_tr=58;

words=118036;



Passo final: commit

Depois de verificado o relatorio e afinados ospormenores, e possıvel a criacao de uma copiado documento sem as marcas anteriormenteadicionadas.

Este e a ultima etapa antes da realizacao doalinhamento, e limpa tanto quanto possıvel otexto de tudo o que possa vir a afectarnegativamente o alinhador.


Conclusoes, wish list e trabalho futuro

1 Introducao






Nao existe um standard para livros(documentos?) em txt

Os documentos sao bastante heterogeneos(proveniencia, tipo e quantidade notas derodape, formato da paginacao, ...)

Viva as expressoes regulares!

Tem-se verificado a regra dos 20/80




Ontologias e DSLs ajudam a estruturar ideias -melhorar e completar

Conjunto de funcoes de diagnostico propoemalteracoes que podem ser tornadaspermanentes

O relatorio a gerar no fim dos diagnosticosdeve apresentar resumo inteligente da analise

Indice de “alinhabilidade”




Implementacao de algoritmos de aprendizagem

Alem dos livros: poesia, legislacao, artigoscientıficos, sıtios web, . . .


Deteccao e Correccao Parcial deProblemas na Conversao de

Formatos

Andre Santos, [email protected] Jo~ao Almeida, [email protected]

I Workshop Per-FideDI@UM

16 de Setembro de 2010

detecção e correcção parcial de problemas na conversão de formatos

Technology