micalguns pilares para a apreciação da validade de estudos epidemiológicos

18

Click here to load reader

Upload: cris-novaes

Post on 05-Nov-2015

219 views

Category:

Documents


1 download

DESCRIPTION

Abordagem da questão da validade dosestudos epidemiológicos. Distinguem-seseis tipos de validade. Na validade conceitualenfocam-se os elementos que sustentama construção de um modelo teóricoexplicativo do fenômeno de interesse, articuladono plano do discurso e conceitosabstratos. Na validade operacional discutem-seos processos nos quais os conceitosque compõem as diferentes dimensõesdo modelo teórico são reduzidos a variá-veis e indicadores, viabilizando sua instrumentaçãono nível empírico. À apresenta-ção da validade de domínio, levanta-se aquestão da intercambialidade dos indiví-duos da população alvo e da população deestudo como sustentação para a generalizaçãodos resultados. A validade de comparaçãodos grupos de estudo gira em tornoda identificação das circunstâncias querompem a estrutura de comparabilidade,a saber, a situação de confusão e a exclusãoseletiva de elementos.

TRANSCRIPT

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    131Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Michael E. ReichenheimDepartamento de EpidemiologiaInstituto de Medicina SocialUniversidade do Estado do Rio de JaneiroRua So Francisco Xavier, 524 7 andar20559-090 Rio de Janeiro, RJ BrasilE-mail: [email protected]

    Claudia Leite MoraesDepartamento de EpidemiologiaInstituto de Medicina SocialUniversidade do Estado do Rio de JaneiroRua So Francisco Xavier, 52420559-090 Rio de Janeiro, RJ Brasil

    Este trabalho foi parcialmente realizado noMedical Research Council - Biostatistics Unit,University of Cambridge, quando MER foi apoiadopelo CNPq (n 200122/82-7).

    Alguns pilares para a apreciaoda validade de estudosepidemiolgicos

    Pillars for assessing validity inepidemiological studies

    Resumo

    Abordagem da questo da validade dosestudos epidemiolgicos. Distinguem-seseis tipos de validade. Na validade concei-tual enfocam-se os elementos que susten-tam a construo de um modelo tericoexplicativo do fenmeno de interesse, ar-ticulado no plano do discurso e conceitosabstratos. Na validade operacional discu-tem-se os processos nos quais os concei-tos que compem as diferentes dimensesdo modelo terico so reduzidos a vari-veis e indicadores, viabilizando sua instru-mentao no nvel emprico. apresenta-o da validade de domnio, levanta-se aquesto da intercambialidade dos indiv-duos da populao alvo e da populao deestudo como sustentao para a generali-zao dos resultados. A validade de com-parao dos grupos de estudo gira em tor-no da identificao das circunstncias querompem a estrutura de comparabilidade,a saber, a situao de confuso e a exclu-so seletiva de elementos. abordagem davalidade de informao, aprofundam-se osproblemas referentes aferio/mensura-o e os conseqentes vises. Visando al-gumas diretrizes para avaliao da valida-de de informao, explora-se os funda-mentos das relaes temporais envolven-do as ocorrncias e os processos de coleta.Por fim, apresentam-se algumas importan-tes questes relacionadas escolha e vali-dade de especificao do modelo estatsti-co, bem como comentrios sobre as estra-tgias mais utilizadas na seleo de vari-veis e diagnstico de modelo. Na parte fi-nal, sustenta-se que um enfrentamento sis-temtico das questes de validade podeservir como um dos pilares para a constru-o do conhecimento em epidemiologia.

    Palavras-chave: Epidemiologia. Modelostericos. Fatores de confuso. Vis. Mode-los estatsticos.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    132 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Abstract

    The article outlines several validity is-sues in epidemiological studies. Six typesof validity are covered. Conceptual validityconcerns the elements sustaining a theo-retical explanatory model, which, by defi-nition, exists only on an abstract and dis-cursive level. Operational validity concernsthe processes by which concept-pertainingdimensions at a theoretical level are re-duced to variables and indicators, enablingempirical testing. In validity of domain, fo-cus is shed on the exchangeability betweensubjects of the target population and thoseof the study population as a basis for gen-eralizing results. Comparison validity con-cerns the identification of circumstancesthat rupture the comparability structurebetween groups, namely, confounding andselective exclusion of subjects. Informationvalidity relates to data collection and en-suing biases. Attention is drawn to theproblems of timing and order of measure-ment related to events and data collectionprocedures. Finally, focus is placed onsome important issues related to specifica-tion validity of statistical models, identify-ing guidelines for selecting those models.In the final part, systematic handling ofvalidity issues is contended as a possiblebuilding block for attaining knowledge inepidemiology.

    Keywords: Epidemiology. Models,theoretical. Confounding factors. Models,statistical. Research design. Bias. Datacollection, methods.

    Introduo

    A validade dos estudos epidemiolgicos um tema de preocupao e em perma-nente debate entre pesquisadores. Muitosautores apontam para a necessidade dedetalhamento sobre as possveis fontes deerros sistemticos e aleatrios, na tentati-va de evitar ou minimizar vises1-3. Este ar-tigo visa oferecer alguns alicerces para acrtica, enfocando a trajetria de elabora-o, execuo e anlise de estudos epide-miolgicos sob o prisma das questes devalidade. Aceita-se que o escopo da epide-miologia no se restringe aos estudos decausao e/ou determinao e que, por-tanto, nem todos os componentes de vali-dade abordados aqui so universalmentepertinentes. Todavia, tomam-se os estudos"analticos" como base das apreciaespois, nestes, todas as etapas so permeadaspor questes de validade, especialmentenos estudos observacionais onde o com-pleto controle sobre os grupos de compa-rao impossvel.

    As possibilidades de organizar as cate-gorias de validade no so exaustivas. Por-tanto, o artigo orientado por outros estu-dos terico-metodolgicos3-5 e incorporaalgumas reflexes desenvolvidas ao longodos anos nos cursos de ps-graduao. Orecorte dado parte da proposta de Green-land que enfoca os possveis erros sob qua-tro aspectos de validade: comparao, se-guimento, mensurao e especificao domodelo de anlise3. Prope-se uma reorde-nao e aprofundamento destas categori-as, alm da expanso da classificao paraincluir outros aspectos, a saber, validadeconceitual, operacional e de domnio. Re-conhecendo que uma abordagem minuci-osa sobre as questes de validade de estu-dos epidemiolgicos desenbocaria em umtratado sobre o prprio mtodo epidemio-lgico, este artigo visa somente abrir por-tas, justificando, assim, o seu ttulo. Seistipos de validade so discutidos a seguir.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    133Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Validade dos estudosepidemiolgicos

    Validade conceitual

    A epidemiologia opera nos campos te-rico e emprico. A conexo entre ambos mediada atravs da formulao de hipte-ses que expressam as relaes terminais deum modelo (quadro) terico, servindo co-mo ponte entre este e a realidade6.Um mo-delo terico o primeiro recorte da reali-dade e tem o objetivo de representar o quese pretende dela extrair. A partir da suaconstruo, o pesquisador organiza suasidias em relao ao processo de causaoou determinao da doena/agravo. Almdisso, o modelo torna coerentes as indaga-es de pesquisa, interpretao dos dadose, em ltima instncia, o direcionamentodos achados, identificando os interlocuto-res precpuos que deles usufruiro7.

    boa prtica que os estudos visandoinferncia causal partam de modelos te-rico-conceituais construdos a partir deuma ampla e rigorosa reviso de literaturae/ou de intuies, experincias e observa-es do prprio pesquisador. Independen-temente da origem, desses elementosedifica-se um composto de conceitos, ne-xos e relaes. Com um quadro terico bemdefinido possvel identificar as hiptesesde pesquisa e as dimenses tericas puta-tivamente envolvidas no processo em es-tudo e, a partir da, estabelecer uma estra-tgia de captao emprica das relaes deocorrncia.

    Interessa destacar que, tendo esta cons-truo um forte elemento subjetivo, dif-cil, ou mesmo impossvel, certificar-se queo modelo concebido de fato vlido. Osresultados de uma dada pesquisa so ape-nas instncias de corroborao ou refuta-o de hipteses propostas. No entanto, avalidade conceitual pode ser aprimorada,desde que o investigador d ateno aosquadros tericos que subjazem os compo-nentes do modelo proposto. Este refina-mento ainda mais importante quando omodelo a ser investigado composto deintricados constructos conectados no pla-no abstrato do discurso, sem representa-

    o factual imediata (e.g., classe social ouviolncia intradomiciliar).

    Vale alertar que nem sempre os estudosepidemiolgicos tm se preocupado comeste componente de validade, assumindoos elementos reduzidos a partir dos con-ceitos no plano terico como os elemen-tos tericos em si. Esta deficincia compro-mete no somente a validade conceitual,mas tambm prejudica a validade opera-cional ao delegar um conceito a um indi-cador de forma equivocada.

    Validade operacional

    As questes relacionadas validade ope-racional dizem respeito construo domodelo a ser testado empiricamente, com-posto pelas variveis de desfecho, exposi-o, confuso e modificao de efeito. A es-colha de variveis e indicadores para repre-sentar os conceitos abstratos do modeloconceitual requerem ateno e aprofunda-mento, pois o translado de um componen-te terico, j um recorte da realidade, parao plano emprico inevitavelmente produzainda mais simplificaes. O pouco cuida-do no processo de reduo pode fazer comque um falso representante do conceitoseja erradamente incorporado no sistema.Chama-se a ateno sobre a necessidade deexplicitao desta etapa. A abertura dos pro-cessos que envolvem estas repre-sentaestende a aumentar o potencial de crtica deuma investigao, permitindo, conseqen-temente, o seu aprimoramento.

    importante diferenciar entre concei-tos e escalas no plano terico, e suas res-pectivas definies operacionais. Mietti-nen4 sugere que estas definies sejam es-tabelecidas na fase de desenho de estudo,evitando que o pesquisador demarque asescalas empricas com a finalidade de che-gar a resultados esperados. Outros autorestambm aceitam que a definio das esca-las tericas e de sistemas de codificaodevam ser realizadas antes da anlise dedados, porm, argumentam que a catego-ria-base, o nmero de categorias e os sis-temas de escores devem ser sempre defi-nidos aps a coleta de dados, permitindouma maior eficincia do estudo8.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    134 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Na prtica, a possibilidade de uma defi-nio antes da coleta de dados depende fun-damentalmente do estgio em que se en-contra o programa de investigao. Na me-dida que o programa amadurece, cresce oconhecimento prvio, aumenta o refina-mento terico e operacional, e aumenta apossibilidade de especificao a priori dasescalas. Obviamente, em programas de in-vestigao com quadros tericos rudimen-tares e representantes empricos ainda ne-bulosos necessrio, seno inevitvel, quese proceda de maneira retrospectiva.

    Algumas variveis requerem vrios in-dicadores para que suas representaessejam vlidas. Isto se aplica tanto para aespecificao do desfecho, como para adefinio das exposies, fatores de con-fuso e dos modificadores de efeito. Nosestudos epidemiolgicos, a escala empricautilizada tem influncia direta nos resulta-dos da investigao e, logo, necessita serexplicitada. Seu estabelecimento deve sernorteado por questes referentes ao pro-cesso de determinao em estudo, alme-jando-se alocar sempre um nmero sufi-ciente de indivduos a todas as categoriasde exposio.

    Este ltimo ponto pode trazer proble-mas pois tentador criar categorias quemaximizem a preciso*, i.e., que aloquemo maior nmero de sujeitos possveis aosestratos da covariada, em detrimento dosignificado das categorias ligadas ao con-ceito que a varivel representa. As questesde contedo devem ter precedncia sobreas questes de eficincia, mesmo porque altima pode ser manipulada no desenho deestudo (e.g., superamostrando-se um es-trato e cor-rigindo-se na anlise).

    Vale lembrar que questes de cunhoeminentemente tcnico imporo limites aonmero de variveis e suas categorias. Sabe-se que para um modelo estatstico produzirestimadores precisos, o nmero de parme-tros no deve exceder razo entre o totalde eventos de desfecho e o total de vari-veis introduzidas na modelagem. Quandofor grande o nmero de parmentros a esti-

    mar, processos de reduo de dados podemser usados10. Estes procedimentos, por de-finio, levam desfigurao da significa-o nominal das variveis originais, aindaque a eficincia na captao da informati-vidade dos elementos de estudo esteja au-mentada. No entanto, se envolvem somen-te potenciais fatores de confuso e no avarivel de exposio de interesse central,estas redues no infringem a mxima queprope o respeito teoria subjacente noprocesso de reduo.

    Uma situao anloga a esta concerneo uso de uma varivel proxi de um cons-tructo na tarefa de representar o conceitosubjacente11. A validade conceitual no es-tar comprometida se for possvel estabe-lecer uma estreita correspondncia entrea proxi e o constructo ao se alocar adequa-damente os elementos de anlise s res-pectivas categorias. Por outro lado, umaprecria correspondncia de contedo leva m-classificao. Vale notar que existeuma distino entre o processo de catego-rizao/classificao e a mensurao pro-priamente dita. possvel conceber umasituao em que ocorra um problema declassificao mas a aferio seja adequa-da. Por outro lado, mesmo que a categori-zao seja perfeita, ainda assim pode ocor-rer um problema no processo de medio.Ambas as situaes levam a uma m-clas-sificao dos elementos, ponto aprofunda-do na seo subre validade de informao.

    Validade de domnio

    A validade de um estudo epidemio-l-gico est intimamente atrelada ao seu es-copo inferencial. Neste sentido, funda-mental que haja uma clara definio doescopo das relaes de ocorrncia capta-das pelo estudo e s quais os resultados sereferem, ou seja, seu domnio4. O seu esta-belecimento obedece a diversos critrios edepende do tipo de investigao que estsendo realizada. Em algumas situaes, alimitao do domnio pode ser inerente aoprprio problema investigado. Nos estudos"particularistas", as relaes de ocorrncia

    * Ao longo do texto entende-se preciso e validade como definido em Last9 .

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    135Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    se restringem a uma populao especfica,ou seja, os resultados da pesquisa no seprestam a generalizaes. O domnio doestudo restrito a priori e a base forma-da levando isto em considerao4,12,13. Nodesenho de estudos "abstratos", a popula-o fonte das informaes est sendo uti-lizada apenas para captar as relaes deocorrncia em geral e no as relaes es-pecficas queles indivduos do estudo ou populao que estes representam. Nestetipo de investigao, o domnio do estudotranscende a populao fonte.

    Em estudos onde, por questes logsti-cas, mais fcil a captao de indivduosoriundos de um certo subgrupo, comumrestringir a populao de estudo a este es-trato. H aumento de eficincia devido reduo de custo operacional, j que a in-formao mais facilmente captada. Porexemplo, ao se investigar a relao do ta-bagismo com cncer de pulmo mais efi-ciente utilizar indivduos do sexo masculi-no, pois neste estrato, a proporo de ex-postos ao fumo maior. Mesmo que de for-ma provisria, esta estratgia no invalidaa generalizao para mulheres se for acei-ta a premissa de que ser homem irrele-vante para a ao carcinognica do tabacono tecido pulmonar. Tal assuno basea-da no conhecimento da homogeneidadeda ao carcinognica do fumo e na simi-laridade biolgica entre os pulmes de ho-mens e mulheres2.

    Uma situao oposta tambm merecedestaque. Victora e col.14, estudando o efei-to do aleitamento materno na ocorrnciade diarria na infncia, aponta para a in-fluncia do diferencial social na magnitu-de da proteo. Os autores mostram que oefeito somente ocorre nos estratos scio-econmicos mais baixos e est ausente nosmais abastados, caracterizando uma situ-ao de modificao de efeito. Imaginan-do que um pesquisador confinasse a suapopulao de estudo aos indivduos per-tencentes a apenas um destes estratos, so-mente caracterizaria uma validade de do-mnio se a inferncia se restringisse a estegrupo, enquanto que uma extenso todaa populao a violaria flagrantemente.

    Em suma, necessrio, de sada, iden-tificar-se a populao externa qual a po-pulao de estudo se refere. A capacidadede generalizao dos resultados baseadano julgamento dos pesquisadores e no es-clarecimento de quais condies so rele-vantes para a extrapolao dos resultados.Deve ser enfatizado que a capacidade degeneralizao dos resultados de um estu-do no uma questo de representativida-de amostral, e sim, de representatividadeinferencial.

    Validade de comparao

    Nas pesquisas que visam a infernciacausal, pressupe-se que haja validade decomparao quando o grupo de no expos-tos tiver a capacidade de predizer o queteria ocorrido com os expostos, caso estesno fossem expostos. Esta viso assumeexplicitamente o preceito contrafactual15,16

    de intercambialidade dos grupos de expo-sio17. Estritamente, esta situao ape-nas terica porque h a pressuposio dese estar comparando o elemento de anli-se quando exposto com ele mesmo quan-do no exposto. Na impossibilidade factualdesta comparao, substitui-se o "expostoquando no exposto" por um elemento re-ferente no exposto. Para haver compara-bilidade e, portanto, uma estimao noenviesada, necessrio que todos os ou-tros determinantes estejam atuando igual-mente no elemento ndice e seu referente.Na prtica, observa-se uma falta de com-parabilidade sempre que os indivduos dogrupo de referncia no forem equivalen-tes aos do grupo ndice no que diz respeito distribuio dos demais fatores de riscopara o desfecho de interesse3,18.

    Para uma classificao satisfatria quepermita uma apreciao adequada de pos-sveis problemas necessrio a identifica-o das circunstncias que rompem estaestrutura de comparabilidade. O corte da-do aqui assemelha-se proposta de Stei-neck e Ahlbom19. Separam-se explicita-mente estas circunstncias que rompem acomparabilidade em situao de confuso(confounding) e excluso seletiva de ele-mentos.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    136 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Estes so fenmenos bem distintos. Asituao de confuso decorre de umadistoro da homogeneidade interna dosestratos de exposio e algo imanente aofenmeno sob investigao. Ocorre quan-do certos eventos esto interligados e sedistribuem de forma agrupada nos ele-mentos da base. crucial notar que aheterogeneidade dos grupos de com-parao ocorreria mesmo que todos os ele-mentos da hipottica hiperpopulao fi-zessem parte do estudo. No se trata deuma distoro induzida por um recorte nacaptao da base.

    Esta deficincia, por sua vez, rompe aestrutura de comparabilidade pela exclu-so seletiva de certos elementos. Mesmoque dois grupos populacionais sejam ab-solutamente semelhantes (salvo a exposi-o) descaracterizando, portanto, umasituao de confuso uma amostra destapopulao ter estratos de exposio com-pletamente heterogneos se por algummotivo houver seletividade no processo deincorporao dos elementos.

    Postas estas consideraes de fundo,o restante da seo aprofunda algumasquestes sobre as estratgias para abordara situao de confuso e, subseqen-te-mente, oferece um panorama sobre o pro-blema de seletividade da populao de es-tudo em relao base.

    Situao de confuso (confounding)

    preciso que se faa uma distino en-tre fator de confuso e situao de confu-so, assinalando que o primeiro o indi-cador nos dados do imanente fenmenoque est ocorrendo na base. Kleinbaum ecol.1 descrevem trs propriedades funda-mentais para que uma varivel seja consi-derada um fator de confuso: (a) ser umfator de risco para a doena em questoentre os no-expostos; (b) estar associada exposio na populao em estudo, es-pecificamente, na coorte em estudos deseguimento e nos controles em estudos decaso-controle; e (c) no ser intermediriana relao entre a exposio e a doena.

    De uma maneira geral, recomenda-seque os trs critrios sejam utilizados na

    avaliao do papel de uma covariada. Noentanto, retomando e aprofundando Miet-tinen e Cook20, Robins e Morgenstern21

    questionam a necessidade imperiosa deobedincia a estes critrios. No contexto devrios delineamentos epidemiolgicos, osautores examinam uma gama de situaesem que o conhecimento prvio sobre asassociaes entre exposio, covariada edefecho deve prevalecer sobre as informa-es contidas nos dados. Por exemplo, emum estudo caso-controle em que a infor-mao a priori no indique que a varivelseja fator de confuso, os autores sugeremque a estimativa mais vlida de efeito daexposio seja a medida bruta, mesmo queocorra nos dados uma associao da cova-riada com a exposio e o desfecho.

    O conhecimento a priori tambm im-portante quando, na base, uma covariada intermediria no processo de causao/determinao. O controle equivocado devariveis intervenientes leva a estimadoresesprios, e neste caso, a medida de efeitomenos viesada pode ser a no ajustada. Adeciso de introduzir ou no uma covaria-da no modelo de anlise requer um qua-dro terico que defina a posio hierrqui-ca da exposio no processo22,23.

    interessante notar que, nesta perspec-tiva, a discusso sobre a situao de confu-so baseada nas informaes provenien-tes de diversas fontes: o processo de deter-minao apreendido em investigaes an-teriores; consideraes sobre as associaesentre as variveis nos dados coletados; e in-formaes sobre o tipo de desenho epide-miolgico em questo. Esta posio se opequela que se guia pela regra meramenteestatstica de colapsabilidade das medidasde efeito24. Esta considera que existe confu-so somente quando ocorre uma diferenaestatisticamente significativa entre as me-didas de efeito estratificadas (condicionais)e a medida bruta correspondente. Miettinene Cook20 apon-tam que a identificao da si-tuao de confuso desta forma faz com queas concluses sejam divergentes, depen-dendo do parmetro escolhido para mediro efeito da exposio. Importa salientar que,do ponto de vista prtico, a escolha deste ou

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    137Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    do outro posicionamento est atrelada aoestgio em que se encontra o programa deinvestigao no qual se insere a pesquisa.Ainda que recomendvel em situaes deprogramas maduros, na ausncia de conhe-cimento prvio sobre as relaes de ocor-rncia, no se tem muitas opes a no seraceitar as informaes empricas comoguia.

    Seletividade na incluso/exclusodas ocorrncias da base

    Como visto na introduo desta seo,alm da situao de confuso, a outra razoque pode romper a estrututra de compara-bilidade a seletiva excluso de elementosrepresentativos da base de referncia, levan-do a uma estrutura de dados ausentes. Agrosso modo, existem trs mecanismos b-sicos de ausncia25-27. Na ausncia comple-tamente aleatria, a excluso de elementos incondicional s covariadas e ao prpriodesfecho. O modelo de ausncia contemplasomente um parmetro de seleo, i.e,. p(A|X, Y, ) = p (A|), tomando-se a ausnciado desfecho Y como exemplo. O coeficiente regula o processo amostral do indicadorde ausncia no modelo de seleo. Na cha-mada ausncia aleatria existe o condicio-namento a uma ou mais covariadas e aodesfecho observados nos dados. Formal-mente tem-se p (A|X, Y, ) = p (A|X, Y

    obs, ).

    Se alm destas condies existir tambmuma dependncia aos valores dos elemen-tos no observados, tem-se uma condiode no ignorabilidade (ausncia no igno-rvel) e formalmente, p (A|X, Y, ) = p (A|X,Y

    obs, Y

    aus , ).

    A repercusso destes mecanismos naestrutura de comparabilidade diversa ede importncia distinta. Na ausncia com-pletamente aleatria h uma intercambia-lidade irrestrita dos elementos encontra-dos na populao de estudo com os da po-pulao fonte (base) de onde so amostra-dos. o caso de uma amostra aleatria sim-ples da base, que Gelman e col.27 denomi-nam de dados completos ou potenciaisneste contexto. digno de nota que, con-dicional inexistncia de confuso (con-founding), a comparabilidade continua

    valendo nos dados, sem necessidade dequalquer procedimento de correo.

    No caso da ausncia aleatria, aindaque haja seletividade na amostra, o conhe-cimento por observao emprica diretados mecanismos condicionantes permiteo resgate da estrutura de comparabilidade.Esta situao pode ocorrer tanto em estu-dos de seguimento como em estudos decaso-controle. A seletividade ocorre quan-do um fator estranho modifica a probabi-lidade de seleo de indivduos. Se ascovariadas so identificadas e mensuradas possvel remover o erro atravs de umaanlise apropriada que contemple o con-trole destas.

    De maior relevncia para esta discus-so a ausncia no-ignorvel, pois qual-quer tentativa de resgatar a informao de-pender do que acontece (ou melhor, teriaacontecido) aos elementos exclusos que,por definio, so de informatividade dis-tinta dos elementos da populao de estu-do e, principalmente, desconhecidos.

    Visando uma sistematizao das con-dies de excluso de dados podem-se pro-por mais dois eixos de classificao, almdos mecanismos de ausncia descritos aci-ma. Um, discerne se a excluso intencio-nal (voluntria) ou no-intencional (invo-luntria)27. Quando voluntria, o investiga-dor tem condies de obter as informaesnecessrias para resgatar a estrutura decomparabilidade perdida pela seletividadeforada. o caso das amostras estratifica-das28 e multi-fsicas29 em que se usa o m-todo de reponderao na anlise para re-compor a estrutura original.

    O outro eixo classifica a excluso deacordo com o momento no percurso dainvestigao. Neste enfoque, a exclusopode ocorrer antes do momento potencialde entrada na populao de estudo - umacensura esquerda ou truncamento, em-prestando-se a terminologia dos estudosde sobrevida, ou aps a captao dos ele-mentos de estudo, caracterizando umacensura direita. Ambas as censuras po-dem acontecer no mesmo estudo.

    interessante notar que este eixo declassificao no caracteriza implicita-

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    138 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Nos estudos caso-controle h, por de-finio, uma excluso intencional pois oscontroles so sempre uma subamostra dabase. Quando no h distrbio de capta-o tem-se uma ausncia no informativa,razo pela qual o mecanismo de seleo ignorado na anlise, como ocorre tradicio-nalmente. De acordo com os eixos propos-tos, no estudo caso-controle simples h ex-cluso intencional com truncamento e ummecanismo de ausncia completamentealeatria.

    Classificao distinta tm os estudos decaso-controle que se utilizam da estratgiade pareamento para a seleo de controles. amplamente reconhecido que o parea-mento introduz uma forma de vis de sele-o mas, desde que o fator de pareamentotenha sido apropriadamente registrado eutilizado na anlise, possvel reconstituira estrutura de comparabilidade perdida ini-cialmente2,30,31. A possibilidade de corre-o caracteriza o tipo de ausncia aleatria.

    Na perspectiva da identificao de rup-turas de comparabilidade, no entanto, in-teressam mais as situaes de no ignora-

    bilidade, decorrentes de problemas invo-luntrios de captao, levando a vises deseleo. Vrios so conhecidos1. Para situ-ar o problema, um bom exemplo o visde Berkson que resulta da diferena deprobablidade de hospitalizao dos casose controles, condicional ao status de expo-sio. Trata-se de um problema de encami-nhamento (drenagem) diferencia-do quepode ser mitigado com a escolha de pato-logias-controle com o mesmo sistema dereferenciamento dos casos. Merece serlembrado que qualquer tentativa de lidarcom o problema deve constar da estrat-gia de captao de elementos, pois, umavez instalado o vis, a possibilidade de re-cuperao da informao exclusa e, maisgrave, no ignorvel, extremamente com-plicada, seno impossvel32.

    Nos estudos longitudinais um dosprincipais problemas a perda de elemen-tos ao longo do perodo de acompanha-mento, caracterizando uma censura di-reita. Alguns so perdidos antes do finalda pesquisa, quer porque desistiram departicipar do estudo, quer porque se mu-daram da localidade da investigao, oumesmo porque faleceram por outras cau-sas. Independente do motivo que tenhalevado a estas perdas, a conseqente faltade informao pode ser um obstculo adequada estimao de medidas de efei-to. A validade de seguimento estar asse-gurada quando o risco de perda durante operodo de acompanhamento no estassociado ao desfecho3.

    Chama-se a ateno para o fato de queas tradicionais anlises de sobrevida taci-tamente assumem a ignorabilidade dasperdas. O modelo supe que a informaoperdida pela excluso de um elemento reconstituida atravs da informao pro-veniente de um outro que permanece sobobservao naquele momento. No entan-to, pode-se dizer que esta situao a ex-ceo e no a regra. Em muitas ocasies asperdas so dependentes do virtual desen-lace, caracterizando uma ausncia no-ig-norvel. A correo delicada, uma vez que necessrio se ter alguma informao so-bre o mecanismo de seletividade da perda.

    Figura 1 - Eixos de classificao relativos exclusode elementos da base de estudo.

    Figure 1 - Classification axis concerning the exclusionof subjects from the study base.

    mente o tipo de mecanismo de ausncia.Nas duas pontas este pode ser completa-mente aleatrio, aleatrio ou no-ignor-vel. A repercusso e a maneira de enfren-tamento que diferem. A Figura 1 resumeos trs eixos. Como as combinaes somuitas, oferecem-se, a seguir, apenas algu-mas situaes, a troco de ilustrao e con-textualizao da tipologia.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    139Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    Neste caso, a informao adicional podeser incorporada anlise como exemplifi-cam Best e col.33

    Os estudos transversais apresentamparticulares problemas de seletividade. Omais comum e importante o vis de so-brevivncia seletiva que ocorre quando aperda de um elemento selecionado para oestudo acontece antes da coleta das infor-maes, por exemplo, por morte ou migra-o34. Se a excluso destes elementos napopulao de estudo depender do poten-cial e ausente status do desfecho, de acor-do com a tipologia proposta, ter-se- umaausncia no-intencional e no-ignorvel.Merece ser apontado que esta ausnciano-ignorvel somente tem relevncia seo estudo em questo tiver pretenses deinferncia causal. Nos estudos transversaisque pretendem descrever pontualmente oestado de uma populao, uma excluso deelementos no constitui uma violao dacomparabilidade e sim, por oposio aosinclusos, o foco precpuo de descrio.

    Vale comentar que a ausncia de infor-maes, conseqente a intermitentes recu-sas de respostas ou omisses de registro,pode tambm comprometer a validade decomparao e merece toda a ateno. Pro-blemas podem ocorrer em qualquer tipo dedelineamento. Uma situao crtica suce-de quando todas as informaes de umelemento so excluidas da anlise, comorequer a implementao de modelos deregresso, ainda que a ausncia se d emapenas algumas variveis. A reduo donmero de elementos pode ser substanti-va quando se consideram todas as combi-naes de ausncia nas muitas variveiscontempladas numa anlise. Este fato, emprincpio, leva a um declnio da eficinciae poder do estudo. Existe abundante lite-ratura sobre os proce-dimentos de impu-tao para lidar com o problema35.

    Todavia, h situaes onde as perdasdecorrentes do tratamento dos dados le-vam a uma quebra da estrutura de compa-rabilidade. Se, por exemplo, em um inqu-rito de vacinao, o padro de extravio decartes de registro for dependente do "ver-dadeiro" mas desconhecido estado vacinal

    carac-terizando uma ausncia no-igno-rvel, retirar da anlise os indivduos seminformao sobre o desfecho enviesar osresultados. Na situao de no-ignora-bilidade, o resgate da comparabilidade dedifcil soluo mas factvel mediante m-todos de modelagem complexa25,26,36,37.

    Validade de informao

    Problemas no processo de mensuraoe o enfrentamento destes tm tido umaateno especial no meio epidemiolgicoe bioestatstico, como testemunha umacrescente e recente literatura sobre o as-sunto38-41. A abordagem aqui parte da clas-sificao tradicional que separa confiabi-lidade de validade1,39. No entanto, centralprecisar o que se tem em mente ao se con-frontarem estes dois conceitos. Confiabili-dade diz respeito ao processo de aferioespecfico de um estudo, no sendo, por-tanto, uma caracterstica imanente do ins-trumento de aferio. Pode-se pensar aconfiabilidade como conotando a "robus-tez" da aferio (ou sua falta) em um certoestudo, apreendendo as "presses" exerci-das pelo aferidor e o aferido sobre o ins-trumento. Pelo carter particular desta in-terao, a confiabilidade necessita ser in-vestigada em cada estudo e seus resultadosso intransferveis.

    A validade do instrumento pode serconsiderada uma propriedade deste, ha-vendo, pois, transponibilidade para umapopulao externa quela onde o estudo devalidao foi realizado. Porm, misterdistingir entre a validade prpria de umintrumento de aferio e a de todo o pro-cesso de aferio. A ltima depende tam-bm da confiabilidade. Por exemplo, uminstrumento aceito como vlido (a prioriou estudado anteriormente) pode ter, cir-cunstancialmente, uma precria estabili-dade e replicabilidade, dois compo-nentescentrais da confiabilidade39. Esta deficin-cia implicar em uma m qualidade da in-formao captada, comprometendo con-seqentemente a validade do processo deaferio como um todo.

    Uma gama de vises de aferio temcomo fundamento as relaes temporais

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    140 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    O primeiro a ser chamado de tempo-ralidade intra-evento envolve as relaesentre a ocorrncia, mensurao e apura-o* de um evento de interesse (desfechoou exposio ou fator de confuso) e com-preende trs elos. Um se refere relaodo momento da ocorrncia e da mensu-rao de cada evento (desfecho, exposioou fator de confuso); o segundo relacio-na a mensurao com a apurao; e, porextenso aos outros dois, o terceiro elo serefere relao entre a ocorrncia e a apu-rao. Em todas estas situaes a tempo-ralidade intra-evento pode ser retrospec-tiva quando a ocorrncia do evento an-terior ao momento de sua mensurao e/ou apurao, ou concor-rente, se houversimultaneidade.

    No planejamento de uma investigao fundamental a especificao de quais oseventos que esto sendo abordados e suasrelaes. Por exemplo, em certos estudosusando dados primrios, a temporalidade(intra-evento) da relao mensurao-apu-rao referente exposio , por desenho,concorrente, mas retrospectiva na relaoocorrncia-mensurao. Dependendo dadefasagem entre estes dois momentos, ovis de memria pode ser prominente, ge-rando um severo erro de informao. Emum estudo de coorte histrico, por outrolado, as trs relaes se do em momentosdiferentes, na seqncia ocorrncia-men-surao-apurao. Esta a situao mos-trada na Figura 2.

    O segundo eixo a ser chamado de tem-poralidade inter-eventos se baseia na or-dem das ocorrncias ou mensuraes ouapuraes entre os diversos eventos de in-teresse (exposio, fatores de confuso edesfecho). A relao pode ser denominadaanterior ou produtiva, sempre que a ocor-rncia da exposio ou fator de confusoanteceder a ocorrncia do desfecho (dempara a mensurao/apurao). Do contr-rio, a relao pode ser denominada pos-terior ou reversa. Problemas referentes ordem de aferio podem acontecer emqualquer momento. No difcil conceberque um conhecimento prvio por parte domensurador sobre certas caractersticas doobservado introduza distores no registrode um evento (mensurao) e, anos depois, execuo de um estudo de coorte hist-rico, uma apurao no mascarada possa,pelos mesmos motivos, agravar estas dis-tores.

    Na seo referente a validade operacio-nal indicou-se que uma m-classificaopode resultar tanto de problemas operacio-nais no processo de reduo de conceitos avariveis, quanto de problemas na mensu-rao em si. A despeito da origem, a m-classificao pode ser diferencial ou no-di-ferencial, quer independente ou no1,2.Grande parte da literatura sobre as estrat-

    Figura 2 - Eixos temporais para a caracterizao darelao entre ocorrncia, mensurao e apuraodos eventos de interesse.

    Figure 2 - Time axis concerning the relationshipbetween occurence, measurement and informationrecovery of events of interest.

    envolvidas na investigao, merecendoateno precoce na etapa de construo dodesenho de estudo. Resgatando as obser-vaes de Greenland e Morgenstern42,43,propem-se dois eixos de classificao. AFigura 2 ilustra estes eixos, focalizando arelao entre exposio e desfecho.

    * Distingue-se explicitamente mensurao de apurao. Mensurao se refere a um procedimento diretamente efetuado com oelemento de estudo. A apurao se refere a um procedimento de aferio retrospectivo atravs de registros, como ocorre, porexemplo, nos estudos de coorte histrica.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    141Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    gias de correo de erros no-diferenciais eindependentes na aferio de variveisdicotmicas e contnuas assume que a mag-nitude e direo destes erros no est rela-cionada ao verdadeiro valor da varivel.Nestas circunstncias, a aferio equivoca-da de uma varivel de exposio leva a umasubestimao de seu efeito3,30. Recentemen-te, no entanto, alguns autores tm aponta-do que, na presena de dependncia entreos erros de mensurao e os verdadeirosvalores das variveis, a m-classificaopode at aumentar ou mesmo reverter amedida de efeito de interesse44-46.

    Quando se est diante de variveis quetenham mais de dois nveis, apenas o co-nhecimento de que os erros so do tipo nodiferencial e independentes tambm nogarante que a direo do vis seja em dire-o ao nulo47. Quando a m-classificaoocorre na aferio de variveis de confu-so, a situao de confuso subestima-da. Lamentavelmente, a tentativa de trata-mento por estratificao ou modelagemno previne a confuso por esta covariada.A situao de confuso residual ocorre de-vido impossibilidade de construo deestratos internamente homogneos em re-lao real varivel de confuso. Pequenoserros na aferio de importantes fatores deconfuso podem levar a estimativas envi-esadas do efeito da exposio e de outrascovariadas48-50.

    Resultados e inferncias vlidas de-mandam, portanto, a utilizao de condu-tas que impeam, minimizem ou tentemcorrigir os erros de aferio. corriqueiroo enfrentamento destes somente nas fasespr-analticas, mediante condutas preven-tivas concentradas na fase de desenho doestudo. Quando realizados, estudos dereplicao ou validao de instrumentosso usados mais para colocar em perspec-tiva os resultados do estudo principal. Al-gumas vezes, a mdia das medidas repli-cadas utilizada na anlise de fundo. Oaparecimento de tcnicas estatsticas eabordagens mais sofisticadas tem alteradoeste panorama. Trata-se de uma literaturaem constante crescimento e cujo aprofun-damento transcende o escopo do artigo. O

    leitor poder encontrar alguns exemplosinteressantes em Clayton51 (modelos line-ares generalizados com efeitos aleatrios);Wacholder45 (modelos que incorporam acorrelao entre os erros e o verdadeirovalor das variveis); Richardson52 e Spiege-lhalter e col.53 (abordagem Bayesiana); eWacholder e col.44, Brenner54 e Spiegelmane col.55 (estratgias de correo para estu-dos que utilizam um padro "dourado" -alloyed gold standard).

    Validade de especificao de modelo

    A questo central na apreciao da va-lidade do processo de modelagem avali-ar a especificao do modelo estatstico.Ajuda reconhecer que o processo de espe-cificao norteado por alguns pontos quemerecem ser explorados. Esquematica-mente, numa fase inicial importa identifi-car o propsito do estudo, o parmetro deocorrncia desejado e o tipo e estrutura dosdados coletados. Fechando o processo,avalia-se o ajuste do modelo (goodness-of-fit). A Figura 3 procura captar as inter-rela-es destas etapas.

    Antes de apreciar os pontos norteado-res do processo de especificao do mode-lo estatstico convm apresentar seus dois

    .............................................................

    ..........

    ..........

    ........

    ............................

    ....................................

    ..........

    ..........

    Identificaodo propsito

    da investigao

    Identificaodo parmetrode ocorrncia

    Identificaoda estrutura

    de dados

    Especificaodo modelo

    Identificaodo propsito

    da investigao

    Figura 3 - Pontos norteadores para uma adequadaespecificao do modelo estatstico.

    Figure 3 - Cornerstones for an adequate specificationof a statistical model.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    142 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    componentes - o modelo amostral e o es-trutural. Todas as tcnicas estatsticas, inclu-indo as no paramtricas, assumem ummodelo para o processo de gerao dos da-dos. Nos mtodos paramtricos, este mode-lo amostral consiste de uma relao mate-mtica que expressa a probabilidade de ob-servar os dados como uma funo de certasconstantes ou parmetros. A forma mate-mtica deste componente incorpora apenasos apectos aleatrios do processo de gera-o dos dados, deixando de lado os aspec-tos sistemticos3. Sucintamente, o modeloamostral contempla o aspecto distribuicio-nal dos parmetros do modelo estatstico.

    O modelo estrutural expressa os par-metros do componente amostral (distri-buicional) como uma funo das variveisde estudo. A especificao do modelo es-trutural depende, pois, das variveis sele-cionadas/usadas e da funo de ligaoque as conecta ao(s) parmetro(s) do mo-delo amostral. A conjuno dos dois mo-delos pode ser melhor entendida com umexemplo descrevendo uma simples anli-se logstica, to comum em epidemiologia:

    yi Binomial(, n)

    logito () = 0 +

    kx

    ki

    Esta especificao informa que o des-fecho y

    i tem uma distribuio binomial

    com parmetro (e denominador n), cujologito uma funo linear dependente dasvariveis e os respectivos coeficientes. Omodelo assume que cresce ou decrescede forma logstica com x

    ki . A violao des-

    sa premissa implica numa inadequao deespecificao do modelo estatstico, querpelo lado do componente amostral, querpelo estrutural56.

    Um ponto de apoio importante na es-pecificao de um modelo estatstico e, porconseguinte, na sua apreciao, passa peloreconhecimento do propsito do estudo. um equvoco comum contemplar a anli-se de um estudo epidemiolgico presumin-do, irrefletidamente, uma investigao defatores de risco ou prognstico e cuja mo-delagem demanda o reconhecimento ex-plcito da situao de confuso e os demaisquesitos de validade j abordados nas se-es anteriores.

    De fato, muitos estudos em epidemio-logia no tm este enfoque. Estudos epi-demiolgicos podem, por exemplo, serusados para predies temporais, espaci-ais ou de sub-grupos de risco57. Aqui im-porta muito mais a maximizao de ajustedo modelo frente aos preditores escolhidosdo que a boa especificao do modelo es-tatstico no sentido amplo do termo. Nointeressa tanto o constructo terico subja-cente mas somente uma especificidade domodelo que atenda proposta de projetarvalores no tempo e/ou espao. Neste sen-tido, cabe perfeitamente a implementaode um processo automtico de seleo devariveis do tipo passo-a-passo58,59, centra-da na incluso/excluso de variveis deacordo com sua significncia estatstica. Oprocesso de seleo gira em torno de efici-ncia, prescindindo do apelo teoria. Aqui, preciso registrar que os procedimentosautomticos baseados em significncia es-tatstica tm sido usados, seno abusados,na perspectiva de anlises causais. Nestecontexto, cabem severas crticas quando sereconhece que o controle da situao deconfuso no uma questo de preciso,mas de validade (comparabilidade). Fica oreconhecimento de que modelagem no panacia e seu uso merece sempre umacautelosa reflexo60,-4.

    Se o propsito da investigao ainferncia causal, a apreciao da valida-de do modelo estatstico vai alm dos que-sitos de eficincia. Como visto adiante, ocomponente amostral mais dependentedo tipo de varivel de desfecho. A especifi-cao do componente estrutural, no entan-to, depende diretamente da validade dasvariveis de exposio, confuso e modifi-cao de efeito includas. O ideal que hajaum modelo terico subjacente orientandoo processo de seleo destas. Uma estru-tura terica hierarquizada contendo dife-rentes dimenses do processo de causao,bem como a relao entre as variveis queas compem, so definidas j no incio doestudo. Aceita-se a premissa de preexistn-cia de validade conceitual.

    Todavia, em programas de investigaoem que pouco ou mesmo nada conheci-

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    143Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    do em relao ao fenmeno em estudo, umaorientao terica fica prejudicada. Em es-tudos exploratrios ou rastreadores*, as di-menses que compem o quadro terico esuas respectivas variveis podem no estarbem especificadas no incio do estudo. Nes-tes casos, seria legtimo usar alguma estra-tgia de seleo de variveis baseada namudana da magnitude do coeficiente deregresso, apesar desta ser criticvel por nolevar em conta a variabilidade estatstica dasestimaes59. Uma variante que contemplade maneira mais adequada o problema dacolinearidade entre as covariadas se calcana mudana no intervalo de confiana doestimador. Uma opo ainda melhor seriausar os dois critrios simultaneamente65.

    preciso notar que estas estratgias nofogem a escolhas balizadas por decisesfuncionais. Uma alternativa ao processo in-teiramente automtico forar, no modelofinal, algumas variveis de interesse espe-cial, independentemente de qualquer crit-rio de mudana (p-valor, estimador de pon-to ou intervalo de confiana). Esta propos-ta subscreve a realizao de uma anlise dedados interativa, na qual o pesquisador nose redime da responsabilidade de assumircertas questes subjetivas respaldadas porinformaes existentes a priori, por maisparcas que estas sejam.

    O mesmo princpio deve dirigir umapossvel incluso de termos de interao66.Nesta perspectiva, priorizam-se as intera-es epidemiolgicas e biolgicas em de-trimento das interaes estatsticas**. Noentanto, vale novamente lembrar como comum a situao em que pouco se sabesobre o processo em estudo. Em programasde pesquisa jovens, muitas vezes no setem opo seno partir para uma explora-o estatstica de termos de interao. Pro-blemas de subdeteco podem ocorrer

    pois a identificao de interaes, mesmoas de baixa ordem, dependem de tamanhosamostrais considerveis (poder do estudo).

    Ao se optar por procedimentos autom-ticos ou semi-automticos de especifica-o de modelos quer os de orientao es-tatstica ou no encontra-se uma dificul-dade adicional, pois so muitas as combi-naes de "bem ajustados" modelos amos-trais e estruturais especi-ficveis a partir deum mesmo conjunto de dados. A questoque se impe como apreciar e discernirmodelos estatsticos com diferentes com-ponentes amostrais e estruturais e que seajustem igualmente bem. Como podemestar todos captando o "verdadeiro" fen-meno? Este impasse no de fcil resolu-o. Uma sugesto se ater pespectivade um programa de investigao continu-ado. Testa-se a presena de interao atra-vs de tcnicas estatsticas formais*** e, aose identificar uma, aceita-se provisoria-mente a condio de modificao de efei-to. Evidncias subseqentes deste achadono curso do programa de pesquisa passama servir, ento, como instncias de corro-borao do fenmeno, permitindo elevar-se o achado inicial ao status de conheci-mento em algum momento.

    Ainda tangente identificao do prop-sito do estudo, vale apontar que, se a inten-o caracterizar sub-grupos e/ou investi-gar a magnitude de certo agravo em diferen-tes estratos populacionais, uma simples an-lise estratificada ser totalmente satisfatria.Por exemplo, em estudos "particularistas" nombito dos servios de sade, a identifica-o de um agravo e sua distribuio na cli-entela adscrita uma informao importantepara os profissionais de sade diretamenteenvolvidos no atendimento. Claramente,uma sofisticada anlise multivariada de nadacontribuiria neste contexto, a no ser na res-

    * Usam-se os termos exploratrio ou rastreador de forma ampla. Considera-se que, mesmo em estudos com pretenses infernciacausal e delineamentos apropriados para tal, a inexistncia de conhecimento prvio leva o estudo a ser, no mximo, uma exploraoinicial da configurao terica e um rastreador desta possvel configurao a partir de conceitos/variveis putativas.** As definies de interao estatstica, epidemiolgica e biolgica podem ser encontradas em Rothman e col.67 Siemiatycki e Duncan68

    e Morgenstern30. Sucintamente, o primeiro tipo atende apenas a requisitos matemticos. J, a interao biolgica inerente s relaesqualitativas existentes no nvel do indivduo. Dois fatores so considerados biologicamente dependentes - sinrgicos ou antagnicos -quando o mecanismo de ao de um afetado pelo outro. A interao epidemiolgica (modificao de efeito) resulta do impacto brutode vrios tipos de interaes biolgicas ocorrendo nos indivduos que compem a populao. Pode ser definida como umaheterogeneidade de efeito da exposio em subestratos de uma covariada.*** So exemplos, os testes de homogeneidade das Razes de Chances69 ou testes de interao em modelos paramtricos70.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    144 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    trita situao em que se pretendesse encon-trar um modelo preditivo como uma ferra-menta de rastreamento (screening) para oagravo em questo.

    Para a identificao do parmetro deocorrncia o segundo ponto norteadoraqui proposto importam as caractersti-cas do fenmeno estudado e o respectivodelineamento adotado para a captao daocorrncia emprica. No caso de estudostransversais, desejvel usar a razo deprevalncia ou a razo de chance de pre-valncia? Em se tratando de um estudoprospectivo, quer-se usar a razo de risco,a razo de chances ou uma razo de taxas?Em certas situaes o prprio delineamen-to impe a escolha. Por exemplo, em umestudo caso-controle com amostragem porconjunto de risco (pareado no tempo) re-comendvel usar-se a razo de produtoscruzados como um estimador no envie-sado da razo de taxas.

    Deve ser mencionado que a disponibi-lidade de aplicativos que, no entanto, im-plementam limitados modelos e s permi-tem a modelagem de restritos parmetrosde ocorrncia, no pode ser mais aceitacomo uma camisa de fora. A ampliaodos mtodos que permitem usar modelosmais complexos e, portanto, outros par-metros de ocorrncia, tende a aumentar oescopo dos parmetros estudados. A dife-rena de risco, risco atribuvel, mediana,centis, ranques e outros podem agora seradequadamente modelados53.

    No processo de especificao do mo-delo estatstico interessa tambm identifi-car o tipo de estrutura dos dados, discer-nindo-se, inicialmente, o tipo de varivelde desfecho em questo. A distribuiopresumida no modelo amostral dependedisto. Se a varivel for contnua, pode-seoptar por uma distribuio gaussiana; emse tratando de uma proporo ou risco,opta-se por uma distribuio binomial;caso os dados se originem de um estudoprospectivo em que o desfecho seja a con-tagem de eventos no tempo, pode-se op-tar por uma distribuio Poisson71.

    Estas so apenas algumas distribuiescorriqueiramente utilizadas em epidemiolo-

    gia. Todavia, diante da gama de outras dis-tribuies conhecidas, nada impede que se-jam utilizadas, desde que existam tecnologi-as para isto. Problemas decorrentes de estru-turas conglomeradas de dados72, dados au-sentes no-ignorveis26,35 ou de erros de men-surao40 tambm implicam em problemasde especificao da estrutura de modelos enecessitam ser considerados anlise.

    Por fim, o quarto ponto norteador paraa especificao do modelo estatstico con-cerne a checagem de ajuste de modelo.Esta etapa coroa as outras trs mas, ao in-dicar problemas, pode reorientar as deci-ses tomadas anteriormente. A Figura 3procura ressaltar esta interatividade.

    So muitas as variantes e critrios paraa apreciao de ajuste10 e um aprofunda-mento foge muito ao escopo deste texto. Atroco de reflexo, no entanto, merece serapontado que as abordagens clssicas, ba-seadas na comparao de valores observa-dos e preditos por modelos aninhados, noesto isentas de crtica. Gelfand73 conside-ra de pouca utilidade uma comparao dedois modelos distintos completamente es-pecificados e que s funciona na restrits-sima situao de aninhamento, i.e., umsendo a extenso do outro mediante a adi-o de termos no componente estrutural.Uma comparao entre modelos estatsti-cos de componentes amostrais e estrutu-rais diferentes no pode ser realizada usan-do-se os mtodos habituais. Todavia, soprecisamente estes os procedimento deaveriguao de ajuste de modelo que maisinteressam, indo alm da mera checagemem modelos contguos. Novas tcnicas tmsido desenvolvidas neste sentido73-77.

    Consideraes finais

    Seria surpreendente se, diante de tan-tos e to severos obstculos validade, res-tasse ainda alguma ingenuidade quanto possibilidade de verdade objetiva. No en-tanto, tal concluso no deve conduzir paralisia. possvel evocar a noo de ve-racidade construda fundamentada naapreciao crtica de estudos pontuais,

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    145Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    bem como de todo um programa de inves-tigao consistente como pista para con-tornar o problema da incerteza.

    A idia de uma veracidade constru-da fica bem clara quando se percebe, porexemplo, o quanto a validade conceitual(terica) est interligada validade de es-pecificao do modelo estatstico. A lti-ma necessita de um quadro terico parasua instalao, por mais precrio e aindaturvo que este seja. O modelo terico, porsua vez, cresce e se consolida lentamenteno bojo de um programa de investigaomediante seqncias de testes de conjec-turas baseadas em procedimento de an-lises que so inteiramente dependentes deadequadas, ainda que nunca estritamen-te corretas, especificaes de modelos es-tatsticos. A circularidade do processo transparente.

    Contudo, conceder que o conhecimen-to sempre construdo e negociado, no

    implica em subestimar os rigores necess-rios construo e execuo de um estu-do epidemiolgico. Pelo contrrio, estaopo epistemolgica, ao reconhecer abusca do conhecimento como algo plena-mente disputvel, demanda, incon-dicio-nalmente, a plena abertura crtica doscontedos tericos e empricos. O enfren-tamento sistemtico das questes de vali-dade, se j no importante enquanto umrequisito tcnico no mbito estrito de es-tudos singulares, pode ser encarado de for-ma mais ampla, como o sustentculo doexerccio da crtica e contra-crtica, servin-do para diminuir, pelo menos parcialmen-te, as dvidas e indeterminaes inerentesaos programas de investigao epidemio-lgica. E nesta articulada seqncia deestudos, que erros, tais quais teorias, po-dem ser sistematicamente descartados,pos-sibilitando, no limite, o estabeleci-mento do prprio conhecimento.

    The article outlines several validity is-sues in epidemiological studies. Six types ofvalidity are covered. Conceptual validityconcerns the elements sustaining a theoreti-cal explanatory model, which, by definition,exists only on an abstract and discursivelevel. This model represents the ideas theresearcher has on the causation/determina-tion process being studied. It is contendedas an important aspect of any (epidemio-logical) study, although often downplayedand bypassed. Operational validity concernsthe processes by which concept-pertainingdimensions at a theoretical level are reducedto variables and indicators, enabling em-pirical testing. Distinction is made betweenconcepts and scales at a theoretical level andtheir respective operational definitions. Thetiming for these issues to be specified in astudy is also brought up, along with theplace of proxy variables as markers for theo-retical concepts. In validity of domain, fo-cus is placed upon the exchangeability be-tween subjects of the target population andthose of the study population as a basis for

    Summary

    generalizing results. It is argued that appro-priate inference must acknowledge the ap-plicability of the study population with re-spect to the source population to whom theresults apply. An example is given where thecharacteristics of the study population areirrelevant so far as generalization is con-cerned, as opposed to another where thestudy population is adequate in one situa-tion but misrepresents the base, if the do-main of inference is not properly specified.Comparison validity concerns the identifi-cation of circumstances that rupture thecomparability structure between groups,namely, confounding and selective exclu-sion of subjects. The view is taken that theformer must be distinguished from the lat-ter since it is an intrinsic part of the phe-nomenon under investigation. Confound-ing occurs when certain characteristics areclustered within study subjects, and theproblem persists even if all elements of thehyperpopulation are accrued. Selective ex-clusion of subjects, on the other hand, en-tails missing data structures and ensuing

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    146 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    problems. Three axes are presented wherebyexclusions can be classified, namely, miss-ing data, moment of exclusion, and whetherthis is voluntary or not. Examples of epide-miological study designs and how they canbe classified accordingly are provided. Thesection also discusses whether and howthese problems may be mitigated or cor-rected. Information validity relates to datacollection and resulting biases. Attention isdrawn to the problems of timing and orderof measurements related to events and datacollection procedures. An explicit distinctionis made between a time axis which concernsthe relationship between occurrence, mea-surement, and information recovery (fromlogs) of a particular event, and a time axis

    which relates different events in terms oftheir occurrence or measurement or infor-mation recovery. The section briefly dis-cusses how measurement errors may behandled. Finally, light is shed on some im-portant issues related to specification valid-ity of statistical models, identifying guide-lines for selecting those models: purpose ofthe study, type of occurrence parameters,type of data structure and model adjust-ment. How those criteria lead to differentsampling and structural models and thebasic components of a statistical model areshown. In the final part of the article, sys-tematic handling of validity issues is con-tended as a possible building block for at-taining knowledge in epidemiology.

    Referncias

    1. Kleinbaum D, Kupper L, Morgenstern H. Epidemiologicresearch: principles and quantitative methods. New York:Van Nostrand Reinhold Company; 1982.

    2. Rothman K, Greenland S. Modern epidemiology. 2nd ed.Philadelphia: Lippincott-Raven Publishers, 1998.

    3. Greenland S. Validity concepts in epidemiologic research, draft 3c.Los Angeles: UCLA School of Public Health; Department ofEpidemiology; 1993.

    4. Miettinen O. Theoretical epidemiology: rinciples of occurrenceresearch in medicine. New York: John Wiley & Sons; 1985.

    5. Moraes C. A contribuio epidemiologia aos estudos deavaliao da performance clnica atravs de um eventotraador: o caso das prescries mdicas s crianas cominfeco respiratria aguda. [Tese de Mestrado]. Rio deJaneiro: Centro Biomdico da Universidade do Estado doRio de Janeiro; 1995.

    6. Almeida Filho N. Epidemiologia sem nmeros: umaintroduo crtica cincia epidemiolgica. Rio de Janeiro:Campus; 1989.

    7. Krieger N, Zierler S. The need for epidemiologic theory.Epidemiology 1997; 8: 212-3.

    8. Blettner M, Sauerbrei W. Influence of model-buildingstrategies on the results of a case-control study. Stat Med1993; 12: 1325-38.

    9. Last J. A dictionary of epidemiology. 2nd ed. New York: OxfordUniversity Press; 1988.

    10. Harrel F. Predicting outcomes: applied survival analysis andlogistic regression. Charlottesville:. Division of Biostatisticsand Epidemiology, Department of Health EvaluationSciences, School of Medicine, University of Virginia; 1997.

    11. Nelson L, Longstreth Jr W, Koepsell T, VanBelle G. Proxyrespondents in epidemiologic research. Epidemiol Rev 1990;12: 71-86.

    12. Miettinen O. The "case-control" study: valid selection ofsubjects. J Chron Dis 1985; 38: 543-8.

    13. Wacholder S, McLaughlin J, Siverman D, Mandel J. Selectionof controls in case-control studies. I. Principles. Am JEpidemiol 1992; 135: 1019-28.

    14. Victora C, Hutly S, Barros F, Martines J, Vaughan J. Prolongedbreast-feading and malnutrition: confounding and effectmodification in a Bra-zilian cohort study. Epidemiology 1991;2: 175-81.

    15. Rubin D. Estimating the causal effects of treatment inrandomized and nonrandomized studies. J Educ Psychol1974; 66: 688-701.

    16. Rubin D. Assigment of treatment group on basis of acovariate. J Educ Stat 1976; 2: 1-26.

    17. Greenland S, Robins J. Identifiability, exchangeability, andepidemiological confounding. Int J Epidemiol 1986; 15: 412-8.

    18. Greenland S. Randomization, statistics and causal inference.Epidemiology 1990, 1: 421-9.

    19. Steineck G, Ahlbom A. A definition of bias founded on theconcept of the study base. Epidemiology 1992; 3: 477-82.

    20. Miettinen O, Cook E. Confounding: essence and detection.Am J Epidemiol 1981; 114: 593-603.

    21. Robins J, Morgenstern H. The foundations of confounding inepidemiology. Comput Math Applic 1987; 14:869-916.

    22. Reichenheim M, Hasselmann M. Estudo sobre violnciadomstica e desnutrio severa na infncia: construo deum modelo terico. [Comunicao apresentada no 3Congresso Brasileiro de Epidemiologia, Salvador, 1995].

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVVol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    147Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    23. Victora C, Hutly S, Fuchs S, Olinto M. The role of conceptualframeworks in epidemiological analysis: a hierarchicalapproach. Int J Epidemiol 1997; 26: 224-7.

    24. Boivin J-F, Wacholder S. Conditions for confounding of therisk ratio and of the odds ratio. Am J Epidemiol 1985;121:152-8.

    25. Diggle P, Kenward M. Informative dropout in longitudinaldata analysis (with discussion). Appl Stat 1994; 43: 49-94.

    26. Little R. Modeling drop-out mechanism in repeated-measures studies. J Am Stat Assoc 1995; 90: 1112-21.

    27. Gelman A, Carlin J, Stern H, Rubin D.Bayesian data analysis. London: Chapmanand Hall; 1995.

    28. Moser C, Kalton G. Survey methods in social investigation.London: Heinemann Educational Books; 1985.

    29. Pickles A, Dunn G, Vazquez-Barquero J. Screening forstratification in two-phase ("two-stage") epidemiologicalsurveys. Stat Methods Med Res 1995; 4: 73-89.

    30. Morgenstern H. Epidemiologic methods I e II - class notes. LosAngeles: UCLA School of Public Health, Division ofEpidemiology; 1995.

    31. Greenland S. The effect of misclassification inmatched-pair case-control studies. Am J Epidemiol 1982;116: 402-6.

    32. Walter S. Berksons bias and its control in epidemiology. JChron Dis 1980; 33: 721-5.

    33. Best N, Spiegelhalter D, Thomas A, Brayne C. Bayesiananalysis of realistically complex models. J R Stat Soc A1996; 159: 323-42.

    34. Kleinbaum D, Morgenstern H, Kupper L. Selection bias inepidemiologic studies. Am J Epidemiol 1981; 113: 452-63.

    35. Little R, Rubin D. Statistical analysis with missing data. NewYork: John Wiley; 1987.

    36. Gilks W, Richardson S, Spiegelhalter D. Introducing Markovchain Monte Carlo. In: Gilks W, Richardson S, SpiegelhalterD, editors. Markov chain Monte Carlo in practice. London:Chapman and Hall; 1995. p. 1.

    37. Gamerman D. Simulao estocstica via cadeias de Markov.In: 2 SINAPE; 1996 jul 29 a ago 2; Caxambu. So Paulo:Associao Brasileira de Estatstica; 1996. p.196.

    38. Dunn G. Design and analysis of reliability studies: thestatistical evaluation of measurement errors. New York:Oxford University Press; 1989.

    39. Streiner D, Norman G. Health measurement scales: apractical guide to their development and use. Oxford: OxfordUniversity Press; 1989.

    40. Carroll R, Ruppert D, Stefanski L. Measurement errors innonlinear models. London: Chapman and Hall; 1995.

    41. Kupper L. Measurement and misclassification errors. [A2-day Short Course; 1996 May 31-June 1; Brussels].

    42. Greenland S, Morgenstern H. What is directionality? J ClinEpidemiol 1989; 42: 821-4.

    43. Greenland S, Morgenstern H. Classification schemes forepidemiologic research designs. J Clin Epidemiol 1988; 41:715-6.

    44. Wacholder S, Armstrong B, Hartge P. Validation studiesusing an allowed gold standard. Am J Epidemiol 1993;137:1251-58.

    45. Wacholder S. When measurements erros correlate withtruth: surprising effects of nondifferential misclassification.Epidemiology 1995; 6: 157-61.

    46. Kipnis V, Freedman L, Brown CC, Hartman A.M, SchatzkinA.W S. Effect of measurement error on energy-adjustmentmodels in nutritional epidemiology. Am J Epidemiol 1997;146: 842-55.

    47. Dosemeci M, Wacholder S, Lubin J. Does non-diferentialmisclassification always bias a true effect toward the nullvalue? Am J Epidemiol 1990; 132: 746-8.

    48. Greenland S. The effect of misclassification in the presenceof covariates. Am J Epidemiol 1980; 112:546-69.

    49. Brenner H. Bias due to non-differential misclassification ofpolytomous confounders. J Clin Epidemiol 1993; 46: 57-63.

    50. Marshall J, Hastrup J. Mismeasurement and the resonanceof strong confounders: uncorrelated erros. Am J Epidemiol1996; 143: 1069-78.

    51. Clayton D. Models for the logitudinal analysis of cohort andcase-control studies with inacurately measured exposures.In: Dwyer J, Feinleib M, Lippert P, Hoffmeister H, editors.Statistical models for longitudinal studies of health. New York:Oxford University Press; 1992. p. 301.

    52. Richardson S. Measurement error. In: Gilks W, Richardson S,Spiegelhalter D, editors. Markov chain Monte Carlo inpractice. London: Chapman and Hall; 1995. p. 401.

    53. Spiegelhalter D, Thomas A, Best N, Gilks W. BUGS 0.5examples. Cambridge: Medical Research Council Biostatis-tics Unit; 1996. 2 v.

    54. Brenner H. Correcting for exposure missclassification usingallowed gold standard. Epidemiology 1996; 7: 406-10.

    55. Spiegelman D, Schneeweiss S, McDermott A. Measurementerror correction for logistic regression models with an"allowed gold standard." Am J Epidemiol 1997; 145: 184-96.

    56. McCullagh P, Nelder J. Generalized linear models. London:Chapman & Hall; 1989.

    57. Lehmann E. Model specification: the views of Fisher andNeyman, and later developments. Stat Sci 1990; 6: 160-8.

    58. Mickey R, Greenland S. A study of the impact of confounder- selection criteria on effect estimation. Am J Epidemiol 1989;129: 125-37.

    59. Maldonado G, Greenland S. Simulation studyof confounder - selection strategies.Am J Epidemiol 1993; 38: 923-36.

  • RRRRR eeeee vvvvv..... B B B B Brrrrra sa sa sa sa s..... E E E E Epidemiol.pidemiol.pidemiol.pidemiol.pidemiol.VVVVV ol .ol .ol .ol .ol . 1, 1, 1, 1, 1, N 2, N 2, N 2, N 2, N 2, 1998 1998 1998 1998 1998

    148 Alguns pilares para a apreciao da validade de estudos epidemiolgicosReichenheim, M. E. & Moraes, C. L.

    60. Vandenbroucke J. Should we abandon statistical modelingall together? Am J Epidemiol 1987; 126: 10-3.

    61. Evans S. Uses and abuses of multivariate methods in epidemi-ology. J Epidemiol Community Health 1988; 42: 311-5.

    62. Greenland S. Modeling and variable selection in epidemio-logic. Am J Public Health 1989; 79: 340-9.

    63. James F, McCulloch C. Multivariate analysis in ecology andsystematics: panacea or pandora's box? Annual Rev Ecol Syst1990; 21: 129-66.

    64. Efron B, Tibshirani R. Statistical data analysis in the compu-ter age. Science 1991; 253: 390-5.

    65. Kleinbaum D. Logistic regression: a self learning text. NewYork: Springer-Verlag; 1994.

    66. Hlatky W, Whittemore A. The importance of models in theassessment of synergy. J Clin Epidemiol 1991; 44: 1287-8.

    67. Rothman K, Greenland S, Walker A. Concepts of interaction.Am J Epidemiol 1980; 112: 467-70.

    68. Siemiatycki J, Duncan C. Biological models and statisticalinteractions: an example from multistage carcinogenesis. IntJ Epidemiol 1989; 10: 383-7.

    69. Breslow N, Day N. Statistical methods in cancer research. Lion:IARC; 1980. v.1; The analysis of case-control studies.

    70. Hosmer D, Lemeshow S. Applied logistic regression. New York:Wiley & Sons; 1989.

    71. Lindsey J. Models for repeated measures. Oxford: ClarendonPress; 1993.

    72. Clayton D. Some approaches to the analysis of recurrentevent data. Stat Methods Med Res 1994; 3:244-62.

    73. Gelfand A. Model determination using sampling-basedmethods. In: Gilks W, Richardson S, Spiegelhalter D, editors.Markov chain Monte Carlo in practice. London: Chapman andHall; 1995. p. 145.

    74. Aitkin M. Posterior Bayes factor. J R Stat Soc B 1991; 154: 111-42.

    75. Kass R, Raftery A. Bayes factor. J Am Stat Soc 1995; 90: 773-95.

    76. Raftery A. Hypothesis testing and model selection. In: GilksW, Richardson S, Spiegelhalter D, editors. Markov chainMonte Carlo in practice. London: Chapman and Hall; 1995. p. 163.

    77. Gelman A, Meng X-L. Model checking and model improve-ment. In: Gilks W, Richardson S, Spiegelhalter D, editors.Markov chain Monte Carlo in practice. London: Chapman andHall; 1995. p. 189.