técnicas de record linkage

Técnicas de record linkagee inteligência artificial

para a construção de umdata warehouse aplicado

à área de SaúdeAndréia Damásio de Leles*

RESUMO

Este artigo tem como objetivos discutir os desafios para a constru-ção de um data warehouse (DW) com chave unívoca baseada em dadosnão numéricos e evidenciar que essa tecnologia de informação pode seraplicada não somente com propósito comercial ou inteligência para negó-cios. O DW seria o alicerce para o desenvolvimento de uma grande basede dados de registros eletrônicos em saúde (RES), auxiliando médicos eprofissionais da área em suas tarefas rotineiras e, principalmente, parasuporte à decisão e às pesquisas científicas. No entanto, a construção deum DW com essas características não é um trabalho trivial devido à inexis-tência de uma chave unívoca para realizar a ligação de registros de dife-rentes bases de dados. O foco é apresentar a complexidade das etapas delimpeza e transformação de dados, fases que devem ser realizadas para acriação da chave unívoca fidedigna, a qual identifica um indivíduo de formaúnica. Assim, serão discutidas algumas técnicas já implementadas ou empesquisa, utilizadas nas etapas de limpeza e transformação dos dadospara construção de um DW específico à área de saúde. As técnicas discu-tidas serão a de record linkage, machine learning (técnicas de inteligênciaartificial) e data mining.

1. Introdução

A tecnologia da informaçãoestá sendo amplamente utilizadaem saúde. Destacam-se nesta áreade atuação as seguintes aplicabili-dades: os sistemas de informaçãohospitalar (SIH), os sistemas deapoio à decisão, os sistemas espe-cialistas, a telemedicina, as redesde comunicação digital para a saú-de, as aplicações destinadas à saú-de comunitária, o processamentode sinais e imagens biológicas, ocontrole e avaliação de qualidade

dos serviços de saúde, as aplicaçõesvoltadas para a área educacional.Além disso, com a grande utiliza-ção dos recursos da Internet, jun-tamente com os grandes avançosna área de tecnologia de informa-ção, as áreas de saúde e computa-ção estão unindo esforços para ge-rar uma grande base de dados deRES (Cook; Olson; Dean, 2001).

Idealmente, um RES é o re-gistro conciso e fidedigno da vidade um indivíduo, não somente doseventos relacionados à doença, mastambém de informações de saúde,

tais como hábitos alimentares, prá-tica desportiva e atividades de la-zer. Todos os eventos relacionadosà saúde do indivíduo devem estarregistrados neste prontuário, donascimento à morte, agregados emtorno de um identificador únicoou chave unívoca. A informaçãodeve estar representada de tal modoque a troca de informações entreinstituições e a recuperação de da-dos sejam feitas de forma transpa-rente para aqueles que estiveremacessando a informação. Acima detudo, o RES deve atender aos re-

Revista Científica do IMAPES - Abril de 2004 Pág. 41

quisitos essenciais de integridade,autenticidade, disponibilidade eprivacidade da informação.

Em computação, o RESpode ser considerado uma grandebase de dados, que poderá otimi-zar o trabalho de rotina dos pro-fissionais da área de saúde comotambém apoiar a decisão clínica eauxiliar pesquisas.

Na área de saúde, médicose profissionais em suas atividadesrotineiras, como avaliação médi-ca, definição de diagnóstico eprescrição de tratamento clínico,devem fundamentar-se em dadoshistóricos de um determinadopaciente que podem ser encontra-dos no RES.

Também na área da pesqui-sa clínica é indiscutível o avançoque proporcionaria o RES, tornan-do muito mais fácil a tarefa de co-letar informações disponíveis nosprontuários, de forma a ser a basepara gerar sistemas de informaçãode apoio à decisão e permitir a ge-ração de valiosas informações epi-demiológicas. Da mesma forma, aauditoria (controle de qualidade daassistência médica) também seriabeneficiada pelo RES, otimizandoprocedimentos e recursos na áreade saúde.

Assim, para que um médi-co possa consultar um prontuárioeletrônico de um paciente que jápassou por diversos hospitais, clí-nicas e consultórios em diferenteslocalidades, é necessário antes detudo reunir e integrar todos essesdados que provavelmente venhamde bases de dados diferentes, emdiferentes formatos. Uma das so-luções, talvez a mais viável, seriaintegrar e armazenar os dados dediversas fontes em um único ban-co de dados. Esse banco de dadosteria as características de um DW.

De acordo com a definiçãode Inmon (1997), um DW é um

conjunto de dados, não volátil,orientado a tópicos, integrado, quevaria com o passar do tempo e queserve para o processo de tomadade decisão da gerência.

Tradicionalmente, o DW éa tecnologia de informação ampla-mente empregada nas empresaspara geração de sistemas de apoio àdecisão com a finalidade de aumen-tar a inteligência nos negócios, for-necendo aos executivos, gerentes eadministradores dados e informa-ções históricas empresariais, as quaissão a base concreta para a tomada

vindo como ferramenta de apoioem pesquisas científicas e epide-miológicas, com a finalidade deproporcionar melhorias e avançosdos serviços de saúde.

2. Construção de um DataWarehouse para Saúde

Universalmente, os projetosde DW requerem infra-estruturae arquitetura (Inmon, 1997). Paraa área de saúde, esses requisitos nãosão diferentes, sendo necessários osseguintes procedimentos:

loReunião de dados de di-ferentes bases;

loIntegração dos dados (aparte complexa da arquitetura) emuma única estrutura física;

loTratamento de grande vo-lume de dados;

loPreparação de dados paraanálise;

loOrganização dos dados nonível de granularidade mais baixono ponto em que a flexibilidadeseja mais importante.

A existência de diversas ba-ses de dados em saúde informati-zadas, em diferentes localidades,desenvolvidas com característicasdiferentes, faz com que a integra-ção de dados totalmente padroni-zados, disponibilizando-os de for-ma rápida e precisa para análise,não seja uma tarefa fácil.

A complexidade está na exe-cução dos processos de extração,transformação e carga dos dados(ETC). Inmon (1997) estimou que80% do tempo gasto na constru-ção de um DW seria em ETC, sen-do que esse fato demonstra, de ma-neira clara, a complexidade dessasetapas, mas que também são a basepara um DW eficiente e funcional.

Portanto, serão discutidas, aseguir, as técnicas aplicadas aosprocedimentos de extração, trans-formação e carga de dados especi-

de decisão em busca da eficácia ecompetitividade de mercado emdiferentes áreas, incluindo teleco-municações, varejo, atividades ban-cárias, financeiras e outras.

Entretanto, as vantagens doDW não estão limitadas ao comér-cio e à inteligência nos negócios.Esta tecnologia oferece grandesvantagens para a área de saúde,mais especificamente para a gera-ção do RES, devido as suas princi-pais características como armaze-namento e retenção de dados his-tóricos e de possuir a capacidadede tratar grandes volumes de da-dos. Portanto, o RES seria umagrande base de dados que teriadupla aplicação: auxiliar as ativi-dades rotineiras de médicos e ou-tros profissionais da área e gerarsistemas de suporte à decisão, ser-

Revista Científica do IMAPES - Abril de 2004Pág. 42

A existência de diversasbases de dados

informatizadas emdiferentes localidades,

desenvolvidas comcaracterísticas

diferentes, faz com quea integração de dados

totalmentepadronizados não seja

uma tarefa fácil

ficamente para geração de um DWà área de saúde.

Extração de dados

A extração dos dados se faza partir dos mais diversos bancosde dados, que podem ter os maisvariados formatos, em diferentesplataformas. Para isso, é necessá-rio uma fonte de dados temporá-ria com padronização de ambien-te de desenvolvimento que permitaa recepção dos dados das diferen-tes bases, sendo que as configura-ções das tecnologias de hardware,sistema operacional e banco dedados sejam o primeiro padrão aser aplicado ao DW em constru-ção. Para efetuar a extração dosdados, gateways e interfaces-padrãosão utilizadas e o momento da ex-tração poderá ser definido pelosprojetistas em comum acordo comos usuários do sistema, sendo umpré-requisito a ser considerado efe-tuar a extração em períodos queapresentem menos congestiona-mento da rede.

Transformação dos dados

Uma etapa crítica e desafia-dora na implementação de DW éa transformação dos dados. Re-dundâncias e inconsistências deformatos podem existir em umúnico banco de dados e são prati-camente certas quando são utili-zados muitos bancos de dados.Portanto, rotinas de limpeza etransformações de dados são ne-cessárias e as suas característicasdevem ser armazenadas e docu-mentadas como metadados.

Carga de dados

O processo de carga de da-dos tem por finalidade transferiros dados padronizados, gerados da

etapa de transformação, para oDW definitivo que será a base dedados utilizada para fins analíticos,atendendo o usuário final.

2.1 Técnicas empregadas noprocesso de transformaçãode dados em banco dedados de saúde

O relacionamento e a inte-gração de registros em diferentesbases de dados é tarefa trivial noscasos que os registros de cada baseincluam campo comum que per-

dados envolve o desenvolvimentoou a utilização de algoritmos paracorrigir algumas imperfeições,principalmente de campos nãonuméricos como nome, onde téc-nicas de validação são pouco con-troladas. Como exemplo, pode-secitar os algoritmos de eliminaçãode espaços em brancos no iníciodo campo, transformação de letrasde maiúscula para minúscula, eli-minação de pontuação, limitarnúmero de caracteres de campo,inclusão de máscaras em campos eoutros de acordo com as exigên-cias do projeto (Oliveira, 2002).

Após a etapa de limpeza, osdados devem ser padronizados paraum único formato, evitando re-dundâncias e inconsistências dosdados. Um DW deve ser carrega-do apenas com dados padroniza-dos, evitando a apresentação aousuário final de dados iguais emformatos diferentes. Um exemploclássico é em relação ao camposexo, que pode ser armazenadocomo “M” para Masculino e “F”para Feminino ou “H” para Mas-culino e “M” para Feminino.

Geralmente, a padronizaçãodeve ser efetuada de forma unifor-me sugerida pelo próprio usuárioou aproveitar padrões da área deconhecimento para o desenvolvi-mento do DW. Na área de saúde,existe um protocolo padrão inter-nacional que permite a comuni-cação entre diversas fontes hetero-gêneas de dados definido comoHL7 (Health Level 7). A idéia édefinir de forma única uma sériede atributos que serão utilizadosamplamente por todos os interes-sados em trocar informações deforma padronizada.

Pareamento de dados

Os dados padronizados sãoo pré-requisito fundamental para

mita a identificação de cada regis-tro de forma unívoca, como, porexemplo, CPF. Entretanto, embase de dados de saúde um campocom essa característica dificilmen-te está presente (Camargo; Coeli,2000). O processo de relaciona-mento deve ter como base a utili-zação de campos menos específi-cos ou não numéricos como nome,data de nascimento e endereço. Àmedida que o número de registrosa se relacionar cresce, aumenta acomplexidade de realização desseprocesso. Neste contexto, a etapade transformação dos dados podeser dividida em três processos: lim-peza dos dados, padronização dosdados e pareamento dos dados.

Limpeza e padronização dos dados

O processo de limpeza de


Na área de saúde,existe um protocolopadrão internacional

que permite acomunicação entre

diversas fontesheterogêneas de

dadosdefinido como HL7

(Health Level 7)

realizar o pareamento de registrosoriginados de fontes ou bases dedados distintas, tendo como resul-tado um novo registro. Para esseprocesso, algoritmos baseados emtécnicas de record linkage, inteli-gência artificial e de data miningestão sendo amplamente utilizadose pesquisados (Winkler, 2000).

Record linkage tem por fun-ção unir registros de duas ou maisbases de dados para criar um novoregistro em uma nova base de da-dos, ou seja, em um DW. Para isso,uma chave de indexação, com fun-cionalidade apenas no DW, deveser criada. Esta chave pode ser umcampo ou uma combinação decampos. Como já mencionadoanteriormente, na área de saúde émuito comum a inexistência deum campo que identifique um re-gistro de forma unívoca. Portan-to, dados de identificação pessoalde um indivíduo ou, mais apro-priadamente para a área de saúde,de um paciente, são requisitados:nome, data de nascimento, raça,endereço, telefone e outros, deacordo com a especificidade doprojeto. Esses dados, além de nãoter a característica unívoca, podemmudar com o tempo. Sendo assim,métodos de record linkage podemser simples algoritmos de fusão dechaves unívocas ou algoritmoscomplexos, envolvendo técnicas deprobabilidade estatística no caso dainexistência de uma chave unívo-ca. Em relação a este último caso,o relacionamento probabilístico deregistros (probabilistic recordlinkage) está sendo utilizado con-sideravelmente.

O relacionamento probabi-lístico de registros foi inicialmenteproposto por Newcombe (1959) eformalizado por Fellegi; Sunter(1969). Atualmente, esse processoé cada vez mais otimizado devidoaos grandes avanços da área de com-

putação. Portanto, técnicas demachine learning, métodos de com-paração de strings, data mining, al-goritmos para classificação de valo-res ocorridos e métodos de escorepodem ser utilizados.

O desenvolvimento deprobabilistic record linkage exigeprimeiramente a escolha de umcampo chave. A seguir, duas téc-nicas serão desenvolvidas: bloca-gem de bases e pareamento de re-gistros. A blocagem de bases con-siste em dividir a base de dados emblocos mutuamente exclusivos de

pouca probabilidade da ocorrên-cia de erros em registros. Ao con-trário, a escolha de “sobrenome”como campo-chave otimizaria bas-tante o processo de comparação,aumentando a probabilidade de osregistros serem unívocos, mas é umcampo que apresenta grande proba-bilidade de ocorrer erros de preen-chimento em registros. Sendo as-sim, deve haver um equilíbrio naescolha de campos-chaves, com afinalidade de aumentar a probabi-lidade da ocorrência de registrosunívocos nas bases relacionadas.

A técnica de pareamento deregistros é a etapa que se aplicamais diretamente à probabilidadeestatística. A seguir, será discutidaessa técnica de forma sucinta e semefetuar demonstrações. Para maio-res detalhes ou uma análise maisprofunda, as referências Fellegi;Sunter (1969) e Jaro (1989) sãorecomendadas.

Os pares obtidos na etapa depareamento de registros serão clas-sificados de acordo com a defini-ção de escores inferior e superior.Os pares que atingirem valor deescore acima ao limiar superior sãoconsiderados verdadeiros, os queatingirem escore abaixo ao limiarinferior são considerados falsos eos que tiverem valores interme-diários serão considerados duvido-sos e deverão ser submetidos a aná-lise manual.

A probabilidade mi é defi-

nida ao campo i em caso de con-cordância entre registros (par ver-dadeiro) e a probabilidade u

i do

campo concordar por tratar-se depar falso. Com as definições des-tas probabilidades, são criados doiscritérios de ponderação: um, paraa situação de concordância, e ou-tro, para a situação de discordân-cia. Exemplo: compara-se o cam-po do primeiro registro com o dosegundo registro. Se os campos

acordo com a chave escolhida.Exemplo: se a chave escolhida fosseo campo “sexo”, a base de dadosseria dividida em dois grandes blo-cos. Em outro caso, se a chave es-colhida fosse o campo “sobreno-me”, a base de dados seria dividi-da em diversos blocos mutuamenteexclusivos, aumentando a proba-bilidade de pareamento entre asbases envolvidas. Os registros nãopareados voltam a ser blocados enova chave é escolhida. Repete-seo processo, dependendo da dispo-nibilidade dos campos-chaves es-colhidos.

A escolha do campo-chavedeve ser realizada de forma crite-riosa. A escolha de “sexo” comocampo-chave para o processo deblocagem não traria grandes van-tagens ao processo de comparação,mas é um campo que apresenta


A técnica de recordlinkage tem por

função unirregistros de duas ou

mais bases dedados para criar um

novo registro emuma nova base dedados, ou seja, em

um DW

concordarem, aplica-se o fator deponderação de concordância e, emcaso contrário, o de discordância.

A próxima etapa é a deter-minação do escore total do par,obtido a partir da soma dos crité-rios de ponderação atribuídos apósa comparação de cada campo ava-liado. Como mi é geralmente maiorque u

i, o fator de concordância

contribui positivamente para o es-core final, enquanto o fator de dis-cordância contribui negativamen-te (Jaro, 1989).

A decisão sobre a concor-dância ou discordância entre doiscampos de determinado par não éuma tarefa trivial. Sendo assim,muitas vezes é difícil escolher qualo critério de ponderação a ser atri-buído como resultado da compa-ração de dois campos.

Os valores de mi e u

i, assim

como os valores de limiar superiore inferior, podem ser estimados.Fellegi; Sunter (1969) e Jaro(1989) apresentaram uma meto-dologia para a estimativa destesparâmetros e sua aplicação propor-ciona resultados satisfatórios.

Inteligência Artificial eData Mining

As técnicas de inteligênciaartificial (IA) e data mining sãoempregadas com a finalidade deotimizar os sistemas automáticosde record linkage baseados em re-lacionamento probabilístico de re-gistros. Os principais problemasque são verificados em sistemasautomáticos de record linkage sãoidentificação inequívoca do par,ocasionada por preenchimentosdiferentes de mesmos campos ouausência de alguns campos queparticipam da identificação docampo-chave. Conseqüentemente,muitas vezes resulta em falha nadeterminação dos fatores de pon-

deração estipulados ou os proces-sos de blocagem e pareamento deregistros se tornam lentos e inefi-cientes, principalmente quandograndes bases de dados (na ordemde milhões de registros) estão en-volvidas.

As técnicas de machinelearning — que engloba tecnolo-gias de IA como redes neurais ar-tificiais (RNA), algoritmos gené-ticos e outras — possibilitaram adescoberta de relações interessan-tes em bases de dados, tendo am-pla aplicação na área de minera-ção de dados (data mining).

te para mineração de dados, de-signados como associação, classi-ficação e clusterização (Oliveira,2002).

O método de associação en-contra relacionamentos significa-tivos entre dados armazenados. Oprincipal objetivo desta tarefa éencontrar tendências que são de-tectadas e podem ser exploradaspara determinação de comporta-mento dos dados.

A classificação utiliza dadosarmazenados para criar modelos decomportamento com a finalidadede determinar um conjunto dedados treinados como padrão, osquais serão a base para o treina-mento e classificação de dados nãotreinados. Assim, pode-se classifi-car dados que estão fora ou dis-tanciados do padrão. As principaistécnicas utilizadas nesse processosão as RNAs, os algoritmos gené-ticos e as árvores de decisão.

A clusterização tem os mes-mos princípios da técnica de blo-cagem para a realização de recordlinkage para itens não numéricos.A diferença é que o próprio siste-ma descobre blocos a partir dasalternativas encontradas na base dedados, otimizando o processo,principalmente em relação a redu-ção de tempo. Neste processo, asRNAs e classificadores bayesianossão aplicados.

Portanto, os métodos de as-sociação e classificação estão sen-do empregados como alternativasde otimização para o pareamentode registros e a clusterização comosolução para agilizar o processo deblocagem em record linkage(Winkler, 2000) e (Gu; Baxter;Vickers; Rainsford, 2003).

3. Conclusão

O desenvolvimento de umDW, utilizando técnicas de record

A aplicação clássica das fer-ramentas de data mining ocorre nadescoberta de conhecimento emgrandes bases de dados corporati-vas, com a finalidade de aumentara vantagem estratégica das empre-sas. No entanto, pesquisas realiza-das nos últimos anos mostraramque as técnicas de data mining ede machine learning podem seradequadas para solucionar proble-mas das técnicas automáticas derecord linkage (Christen; Chur-ches, 2003).

As ferramentas de minera-ção de dados procuram por infor-mações interessantes e úteis embancos de dados, descobrindo in-formações válidas e não óbvias deforma eficiente. Para isso, existemmétodos principais que dão supor-


As ferramentas demineração de dados

procuram porinformações

interessantes eúteis em bancos de

dados,descobrindo

informações válidas enão óbvias de forma

eficiente

linkage, é uma abordagem relati-vamente nova, principalmentequando propõe a construção deum servidor para pareamento deregistros de diferentes bases dedados a partir de um identificadorúnico baseado em dados não nu-méricos. Com esse objetivo, mé-todos estatísticos, mais precisa-mente probabilísticos, estão sen-do otimizados por técnicas demachine learning e data mining.

As tecnologias de DW e datamining são geralmente empregadasnas áreas comercial e de inteligên-cia para negócios corporativos. Noentanto, conforme discutido nes-te artigo, não existe um rótulo deaplicação para as tecnologias e,sim, tendências. Técnicas de datamining, que na maioria das vezessão utilizadas como ferramentaspara extração de conhecimento apartir de um DW, também podemser utilizadas como ferramentas

Referências BibliográficasBELL, G.B.; SETHI, A. Matching Records in a National Medical Patient Index. Communications of the ACM, 44(9): 83-88, 2001.

CAMARGO, K.; COELI C.M. Recklink: aplicativo para relacionamento de bases de dados, implementando o método probabilistic recordlinkage. Caderno de Saúde Pública, vol.16 n.2: 439-448, Rio de Janeiro, 2000.

CHRISTEN P.; CHURCHES T. Febrl: Freely extensible biomedical record linkage, release 0.2 edition, April 2003.

http://datamining.anu.edu.au/projects/linkage.html, 2003. Acessado em 11/12/2003.

COOK, L.J.; OLSON L.M.; DEAN J.M. Probabilistic Record Linkage: Relationships between File Sizes, Identifiers and Match Weights.Methods of Information in Medicine, 40: 196-203, 2001.

FELLIGI, T.R; RUBIN, D.B. A Theory for Record Linkage. Journal of American Statistical Association, 64, 1183-1210, 1969.

GU L.; BAXTER R.; VICKERS D.; RAINSFORD C. Record Linkage: Current Practice and Future Directions. CMIS Technical ReportNo 03/83, 2003.

http://www.act.cmis.csiro.au/rohanb/PAPERS/record_linkage.pdf. Acessado em 10/01/04.

INMON, W. H. Como Construir o Data Warehouse. 2ª ed. Rio de Janeiro. Editora Campus, 1997.

JARO, M. A. Advances in record-linkage methodology as applied to matching the 1985 Census of Tampa, Florida. Journal of theAmerican Statistical Association, 84:414-420, 1989.

NEWCOMBE, H. B.; KENNEDY, J. M.; AXFORD, S. J. & JAMES, A. P. Automatic linkage of vital records. Science, 130:954-959,1959.

OLIVEIRA, W.J. Data Warehouse. Florianópolis. Visual Books, 2002.

WINKLER, W.E. Machine Learning, Information Retrieval and Record Linkage. In Proc. of the Section on Survey Research Methods,American Statistical Association, 2000.http://www.amstat.org/sections/srms/Proceedings/papers/2000_003.pdf, 2000. Acessado em 12/09/2003.

para a construção do mesmo. No momento que for desen-

volvido o sistema que permita ageração de uma chave unívoca paraunir registros de bases distintas deforma fidedigna e rápida, de ma-neira a identificar um indivíduo deforma única a partir de dados nãonuméricos como nome, endereçoe data de nascimento, não somentea área de saúde será beneficiada,mas também áreas de interesse pú-blico como segurança. O armazémde dados históricos de indivíduos ecadastros civis poderia servir na in-vestigação de possíveis suspeitos oupermitir avanços na pesquisa decombate ao crime, identificandoáreas de perigos e possíveis crimi-nosos. Assim, talvez seria mais cor-reto denominar o sistema mencio-nado como chave de indexaçãopública, a qual permitiria unir nãosomente registros de bases diferen-tes de uma mesma área, mas tam-

bém de áreas distintas.As pesquisas nas áreas de

computação e estatística estãounindo esforços e atingindo avan-ços para desenvolver o sistema deDW com chave unívoca a partirde dados não numéricos. No en-tanto, a aplicação e o gerenciamen-to estratégico desta possível tecno-logia será uma das funções do pro-fissional de sistemas de informa-ção, de forma a garantir o sucessodo trabalho de pesquisa que estásendo realizado, permitindo que asdiferentes áreas alcancem suasmetas e objetivos.

*Andréia Damásio de Lelesé mestre em Engenharia Elétricapela Unicamp, professora de Mi-croinformática Aplicana no cursode Sistemas de Informação do IMA-PES e atua profissionalmente nasáreas de sistemas e tecnologia deinformação.


técnicas de record linkage

Documents