avaliaÇÃode testes diagnÓsticos. variaÇÃo biolÓgica das populaÇÕes humanas teste teste -...

AVALIAÇÃO AVALIAÇÃO

DE DE

TESTES DIAGNÓSTICOSTESTES DIAGNÓSTICOS

VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANASHUMANAS

TesteTeste - distinção entre indivíduos com resultados normais e anormais – distribuição das características nas populações humanas.

FiguraFigura – resultados do teste de tuberculina – grande grupo com 0 mm (sem enduração) e outro em torno de 20 mm – curva bimodal.

Separação dos indivíduos:Separação dos indivíduos:

- sem experiência anterior com tuberculose (sem enduração) – à esquerda

- com experiência anterior com a tuberculose (em torno de 20 mm) – à direita

- maioria pode ser distinguida – alguns no centro “zona cinza” que podem pertencer a qualquer uma das curvas.

Característica com distribuição bimodalCaracterística com distribuição bimodal – fácil separar a maioria em dois grupos – doentes e saudáveis, por exemplo.

Maioria das característicasMaioria das características – distribuição unimodal – nenhum nível óbvio distingue os indivíduos.

ExemploExemplo: culturas de urina em mulheres com infecção do trato urinário – de poucos organismos a 106/mm3 (100.000 vezes) – sobreposição de valores dos resultados do teste para pessoas com e sem a infecção.

Distribuição de valores na população das pessoas com e sem a Distribuição de valores na população das pessoas com e sem a doençadoença – sem protuberância ou quebras – sem razão biológica de onde colocar o ponto de corte.

Exemplo: culturas de urina – infecção no trato urinário (acima de 105 bactérias/mm3) – pessoas sem infecção (abaixo de 102/mm3) – entre 102 e 105/mm3 (incerteza de como interpretar).

Distribuições unimodais ou bimodaisDistribuições unimodais ou bimodais – fácil distinguir os valores extermos normais e anormais – incerteza em casos que estão na “zona cinza” nos dois tipos de curvas.

Exemplo de distribuição unimodal (Figura) – nenhum nível óbvio distingue os hipertensos dos normotensos.

VALIDADE E CONFIABILIDADEVALIDADE E CONFIABILIDADE

Validade (ou acurácia)Validade (ou acurácia) – grau em que o exame é apropriado para medir o verdadeiro valor daquilo que é medido, observado ou interpretado – exemplo: ECG é um teste de maior validade, comparado à auscultação cardíaca com estetoscópio para detecção de alterações cardiovasculares da doença de Chagas.

Confiabilidade (reprodutibilidade ou precisão)Confiabilidade (reprodutibilidade ou precisão) – consistência de resultados quando a medição ou exame se repete – exemplo: dois microscopistas lêem, independentemente um do outro, as mesmas lâminas de malária e chegam ao mesmo diagnóstico – nível máximo de confiabilidade – ambos podem estar errados.

RELAÇÃO ENTRE VALIDADE E CONFIABILIDADERELAÇÃO ENTRE VALIDADE E CONFIABILIDADE

valor verdadeiro

valor verdadeirovalor verdadeiro

valor verdadeiro

Acurácia

Precisão

Precisão

Precisão

Precisão

Acurácia Acurácia

Acurácia

a) Alta precisão e alta acuráciaa) Alta precisão e alta acurácia

b) Alta precisão e baixa acuráciab) Alta precisão e baixa acurácia

c) Baixa precisão e alta acuráciac) Baixa precisão e alta acurácia

d) Baixa precisão e baixa acuráciad) Baixa precisão e baixa acurácia

Generalização para os testes diagnósticos:Generalização para os testes diagnósticos:

- teste de baixa confiabilidade – baixa validade – de pouca utilidade

- este de alta confiabilidade – não assegura alta validade – exame pode ser reproduzível (resultados idênticos ou próximos quando repetidos), mas não ser capaz de discriminar corretamente as diversas situações – todos exames podem estar errados.

ValidadeValidade e confiabilidadee confiabilidade – necessárias para avaliar a qualidade de um exame diagnóstico e a informação produzida.

VALIDADEVALIDADE

Aplicação do testeAplicação do teste - grupo de doentes e grupo de sadios – proporção de acertos (verdadeiros positivos e verdadeiros negativos) e de erros de classificação (falso-positivos e falso-negativos).

TesteTesteDoençaDoença

Presente Ausente

Positivo Verdadeiro positivo (a) Falso-positivo (b

Negativo Falso-negativo (c) Verdadeiro negativo (d)

Quadro – Avaliação da validade de um teste diagnóstico.Quadro – Avaliação da validade de um teste diagnóstico.

Erros de classificaçãoErros de classificação – múltiplas razões – biológicas e técnicas – exemplo.

SENSIBILIDADE E ESPECIFICIDADESENSIBILIDADE E ESPECIFICIDADE

Questão mais importanteQuestão mais importante – direção e grau do erro de classificação – em que extensão o erro conduz a conclusões enganosas e as conseqüências.

Como se comportaComo se comporta o teste o teste - na presença ou ausência da doença.

Propriedades do testePropriedades do teste – condições específicas de um estudo – resumem experiência de um grupo de pessoas – estimar a probabilidade de doença (ou não doença) em pacientes individuais (propósito clínico).

Tomada de decisãoTomada de decisão – pedir ou não um teste.

TesteTesteDoençaDoença

Presente AusentePositivo a b

Negativo c d

Totais a + c b + d

MedidasMedidas S = a / (a + c)S = a / (a + c) E = d / (b + d)

SENSIBILIDADESENSIBILIDADE

SensibilidadeSensibilidade - proporção de pessoas com a doença que têm um teste positivo – mede o grau em que o teste detecta a doença se ela está presente (sem levar em consideração a quantidade de falsos-positivos).

Teste sensívelTeste sensível - detecta grande proporção de doentes.

Exemplos de testes sensíveis para doenças infecciosasExemplos de testes sensíveis para doenças infecciosas – poucos falso-negativos - testes baseados na reação em cadeia de polimerase - PCR – em teoria detecta uma única molécula do DNA.

Escolha de testes sensíveisEscolha de testes sensíveis

Quando não se pode correr o risco de não detectar a doença.

Doença perigosa, mas tratável (sífilis, tuberculose).

Processo diagnóstico em que grande número de possibilidades são consideradas (excluir doenças - se der negativo tem grande chance de ser negativo mesmo – poucos falsos negativos)

Probabilidade de doença é baixa e propósito é descobrir a doença: exame periódico, banco de sangue.

ESPECIFICIDADEESPECIFICIDADE

TesteTesteDoençaDoença

Presente AusentePositivo a b

Negativo c d

Totais a + c b + d

MedidasMedidas S = a / (a + c) E = d / (b + d)E = d / (b + d)

EspecificidadeEspecificidade – proporção de pessoas sem a doença que têm um teste negativo – mede o grau no qual pessoas sem a doença são chamadas de normais pelo teste (sem levar em consideração a quantidade de falso-negativos).

Teste específicoTeste específico – detecta grande proporção de pessoas não doentes.

Exemplos de testes específicosExemplos de testes específicos – poucos falso-positivos - recuperação de herpes vírus do cérebro em um paciente com encefalite ou de Onchocerca em nódulos da pele.

Escolha de testes específicosEscolha de testes específicos

Quando falso positivo pode lesar física, emocional ou financeiramente o paciente, assim como dificuldade de "desrotular" uma pessoa que foi diagnostica como tendo doença e que posteriormente se descobre que não tem (AIDS).

Teste com poucos falsos positivos - quimioterapia, indicação cirúrgia, doença estigmatizante, etc.

SENSIBILIDADE E ESPECIFICIDADESENSIBILIDADE E ESPECIFICIDADE

Consideradas com um par.Consideradas com um par.

Em um dado testeEm um dado teste – nível da sensibilidade é balanceada com o da especificidade.

Não é possível interpretar a sensibilidade na ausência da especificidade e vice-versa.

VALORES PREDITIVOSVALORES PREDITIVOS

Com o resultado na mão, a especificidade e sensibilidade de um teste não têm mais importância.

Isto por que não se sabe se a pessoa que fez o teste está ou não doente (senão o teste não seria necessário!).

Erro de classificaçãoErro de classificação – resultado do teste após sua realização

Valor preditivo positivoValor preditivo positivo: probabilidade de doença, dado um teste positivo.

Valor preditivo negativoValor preditivo negativo: probabilidade de não doença, dado um teste negativo.

VALORES PREDITIVOSVALORES PREDITIVOS

TesteTesteDoençaDoença

TotaisTotais MedidasMedidasPresente Ausente

Positivo a b a + b VP+ = a / (a + b)VP+ = a / (a + b)Negativo c d c + d VP- = d / (c + d)VP- = d / (c + d)

Mais útil para o clínico:Mais útil para o clínico:

- resultado negativo de um teste sensível (poucos falsos negativos – se deu negativo tem maior probabilidade de ser negativo mesmo)

- resultado positivo de um teste específico (poucos falsos positivos – se deu positivo tem maior probabilidade de ser positivo mesmo).

Determinantes de um valor preditivoDeterminantes de um valor preditivo

Depende das propriedades intrínsecas do teste (sensibilidade e especificidade) e da prevalência da doença na população que está sendo testada.

Relação entre valores preditivos e sensibilidade e especificidade:Relação entre valores preditivos e sensibilidade e especificidade:

- quanto mais sensível um teste, maior seu valor preditivo negativo (maior a segurança do médico de que a pessoa com teste negativo não tem a doença).

- quanto mais específico um teste, maior seu valor preditivo positivo (maior a segurança do médico de que a pessoa com teste positivo tem a doença).

Relação entre valores preditivos e prevalênciaRelação entre valores preditivos e prevalência

Dada sensibilidade e especificidade – VP+ diminui e VP- aumenta com a queda da prevalência – Figura (S=95% e E=95%).

Teste com 90% de sensibilidade e de especificidade. Teste com 90% de sensibilidade e de especificidade. População X com prevalência de 5%.População X com prevalência de 5%.

Resultado do teste

Verdadeiro diagnósticoTotalDoente Não doente

Positivo 45 95 140

Negativo 5 855 860

Total 50 950 1000

Teste com 90% de sensibilidade e de especificidade.Teste com 90% de sensibilidade e de especificidade.População Y com prevalência de 30%.População Y com prevalência de 30%.

Resultado do teste

Verdadeiro diagnósticoTotalDoente Não doente

Positivo 270 70 340

Negativo 30 630 660

Total 300 700 1000

Valores preditivos População X (prev. = 5%) População Y (prev. = 30%) ↑

VP+ 45/140 32% 270/340 79% ↑

VP- 855/860 99% 630/660 95% ↓

Cálculo dos valores preditivos para as duas Cálculo dos valores preditivos para as duas situações com diferentes prevalênciassituações com diferentes prevalências

AUMENTANDO A PREVALÊNCIA DE DOENÇAAUMENTANDO A PREVALÊNCIA DE DOENÇA

Processo de referênciaProcesso de referência - justifica-se o uso mais agressivo de testes diagnósticos em serviços de referência, pois probabilidade de doença é maior - na prática de atenção primária, por outro lado, ou especialmente em pacientes sem queixas, a probabilidade é menor e os testes devem ser utilizados com mais parcimônia.

Grupos demográficos selecionadosGrupos demográficos selecionados - é possível aumentar o rendimento dos testes diagnósticos, aplicando-os a grupos demográficos selecionados.

Especificidades da situação clínicaEspecificidades da situação clínica - sintomas, sinais e fatores de risco de doença aumentam ou diminuem a probabilidade de encontrar a doença.

A disponibilidade crescente de testes diagnósticos facilita uma A disponibilidade crescente de testes diagnósticos facilita uma abordagem menos seletiva na solicitação de exames. Com isso, a abordagem menos seletiva na solicitação de exames. Com isso, a prevalência tende a cair e, com ela, o VPP.prevalência tende a cair e, com ela, o VPP.

VALORES PREDITIVOSVALORES PREDITIVOS

Prevalência abaixo de 0,01Prevalência abaixo de 0,01 – VP+ relativamente baixos - S E

Doenças infecciosasDoenças infecciosas – ocorrem em prevalência menores que 0,01.

ConseqüênciaConseqüência – muitos resultados falso-positivos.

PesquisasPesquisas – erro de classificação – afeta validade da conclusão.

Programas de rastreamentoProgramas de rastreamento – testes falso-positivos e falso-negativos têm conseqüências para os indivíduos incorretamente classificados.

PEPSPSVP

11

Valores preditivos positivo e negativoValores preditivos positivo e negativo

Obtidos através do Teorema de BayesObtidos através do Teorema de Bayes – com base na sensibilidade (S), especificidade (E) e prevalência (P).

Estimativa - com base em novas informaçõesEstimativa - com base em novas informações – mudança de prevalência, por exemplo.

)1()1()1(

PEPSPEVP

FATORES QUE AFETAM A ESTIMATIVA DA FATORES QUE AFETAM A ESTIMATIVA DA PERFORMANCE DO TESTEPERFORMANCE DO TESTE

Medidas com menor nível de erro de classificação possívelMedidas com menor nível de erro de classificação possível – conhecer fontes de variação, minimizar vieses e ter amostra suficientemente grande.

Performance do testePerformance do teste – estimar a extensão na qual os vieses remanescentes e a variação aleatória afetam as estimativas produzidas.

FONTES DE VARIAÇÃOFONTES DE VARIAÇÃO

Variações biológicasVariações biológicas

Dentro dos indivíduosDentro dos indivíduos – varia com o tempo – pessoas infectadas com HIV podem ser soronegativas em uma semana e soropositivas na semana seguinte – pessoas com um teste tuberculíneo positivo podem se converter em um teste negativo (infecção intensa ou imunodeficiência) – amostra em um ponto no tempo pode pegar algumas pessoas que originalmente teriam um teste positivo em um momento cujos testes produzem resultados negativos.

Entre indivíduosEntre indivíduos – diferenças no estado da infecção entre indivíduos.

FONTES DE VARIAÇÃOFONTES DE VARIAÇÃO

Variações nas medidasVariações nas medidas

Atribuída ao instrumento utilizado para fazer a medidaAtribuída ao instrumento utilizado para fazer a medida – meios de cultura, géis, sondas genéticas, etc.

Meio de cultura impropriamente preparado para Meio de cultura impropriamente preparado para Neisseria Neisseria gonorrhoeaegonorrhoeae – teste falso negativo.

Culturas de sangue contaminadasCulturas de sangue contaminadas – resultados falso positivos.

VIESESVIESES

Teste diagnósticoTeste diagnóstico – erros sistemáticos na medida – aumentam erro de classificação – informação disponível para o teste é diminuída.

Estudo epidemiológicoEstudo epidemiológico – resultados com base em medidas imperfeitas – erros de classificação.

Maior risco de viésMaior risco de viés – necessidade de julgamento na interpretação do teste ou diagnóstico – diagnóstico clínico de gripe.

VIESESVIESES

Dois tipos de erro de classificaçãoDois tipos de erro de classificação

Pessoa que interpreta o resultado do testePessoa que interpreta o resultado do teste – pode introduzir viés se ela tem informações sobre as condições do paciente e levar isso em conta na interpretação do resultado do teste.

Pessoa que dá o diagnósticoPessoa que dá o diagnóstico – conhece o resultado do teste e leva-o em conta no julgamento se a doença está ou não presente.

Dois casos – raciocínio circularDois casos – raciocínio circular – resultado do teste e status da doença são mais fortemente associados do que seriam ao acaso – tendência natural de fazer o resultado do teste se ajustar ao diagnóstico e vice-versa.

CONTROLE DE QUALIDADE CONTROLE DE QUALIDADE

InstrumentosInstrumentos

Instrumentos diagnósticosInstrumentos diagnósticos – continuamente calibrados.

Garantia de qualidadeGarantia de qualidade – desafio contínuo – falha nesta garantia é fonte de erro.

Performance dos instrumentosPerformance dos instrumentos – testadas contra um padrão ouro e retestadas em intervalos apropriados.

CONTROLE DE QUALIDADE CONTROLE DE QUALIDADE

QuestionáriosQuestionários

PropriedadesPropriedades - estabelecidas através de estudos de validade.

Validade de conteúdoValidade de conteúdo – incluí todos os aspectos a serem medidos – o teste será válido se for adequado para medir os aspectos que devem ser medidos.

Validade de constructoValidade de constructo – produz resultados consistentes com a teoria existente – se a prevalência da doença infecciosa aumenta com a idade na população – o resultado do teste (para ser válido) deve mostrar esta tendência.

Validade lógicaValidade lógica – julgar uma informação ou critério por sua lógica ou obviedade – o teste prediz manifestações verificáveis fisicamente do que está sendo medido.

CONTROLE DE QUALIDADE CONTROLE DE QUALIDADE

Testes dependentes de julgamento do observadorTestes dependentes de julgamento do observador

Diminuição do erro do observador:Diminuição do erro do observador:

- escolha de resultado objetivo - exemplos

- estabelecimento de regras de decisão – exemplo

- garantir que as regras de decisão são seguidas – treinamentos, reuniões para revisar regras, etc

- observadores mascarados

- medida da concordância entre observadores.

VARIAÇÃO ALEATÓRIAVARIAÇÃO ALEATÓRIA

Erro de classificaçãoErro de classificação – associado à variação aleatória.

Questão principalQuestão principal – extensão na qual uma população incluída no estudo (amostra selecionada por método aleatório, sem viés) representa incorretamente a situação da população fonte por causa da variação aleatória das amostras – por exemplo, a verdadeira sensibilidade do teste é 80%, mas o valor amostral obtido pode ser maior ou menor que o parâmetro populacional.

Problema ocorre em pequenas amostras de pacientesProblema ocorre em pequenas amostras de pacientes – reduzido em estudos com grandes amostras.

VARIAÇÃO ALEATÓRIAVARIAÇÃO ALEATÓRIA

Extensão do erro aleatórioExtensão do erro aleatório – em relação à performance do teste em estudo – estimada por métodos estatísticos – intervalo de confiança – precisão estatística da estimativa.

Intervalo de 95% de confiançaIntervalo de 95% de confiança – há uma confiança de 95% de que o verdadeiro valor está no intervalo.

ExemploExemplo - medida (sensibilidade, especificidade ou valor preditivo) expressa em proporção – assumindo-se que os resultados têm distribuição binomial - intervalo de 95% de confiança ser expresso por:

Np)p(,p

1961

GENERALIZAÇÃOGENERALIZAÇÃO

Determinação da performance do testeDeterminação da performance do teste – depende da amostras de pessoas com e sem a doença que são incluídos no estudo de um teste diagnóstico.

Características das pessoasCaracterísticas das pessoas – relacionadas com a sensibilidade, especificidade e valores preditivos – expectro de pacientes.

Generalização da performance do testeGeneralização da performance do teste – a quem os resultados se aplicam?

GENERALIZAÇÃOGENERALIZAÇÃO

SensibilidadeSensibilidade

Sensibilidade observada do testeSensibilidade observada do teste – determinada pela amostra de pessoas com doença – diferentes probabilidades de apresentarem teste positivo.

Pessoas com doença de longo curso, avançada ou clássica – mais prováveis de apresentarem teste positivo em comparação a pessoas com doença recente, leve a atípica.

Resultados amostrais em um grupo de pacientes com teste positivo mais provável – sensibilidade alta – exemplo.

GENERALIZAÇÃOGENERALIZAÇÃO

EspecificidadeEspecificidade

Especificidade do testeEspecificidade do teste - determinada pela amostra de pessoas sem a doença.

Quanto mais os não doentes se assemelharem com o doentesQuanto mais os não doentes se assemelharem com o doentes – maior o probabilidade de ocorrerem falsos positivos – exemplo.

Quanto mais saudáveis são os não doentesQuanto mais saudáveis são os não doentes – maior a especificidade – exemplo.

GENERALIZAÇÃOGENERALIZAÇÃO

PrevalênciaPrevalência - não afeta sensibilidade e especificidade – mas ocorre associação entre as medidas – ambientes com altas e baixas prevalências apresentam diferenças no espectro dos pacientes – exemplo.

Principal meta na escolha de uma amostraPrincipal meta na escolha de uma amostra – adequada à questão pesquisada – exemplo.

GENERALIZAÇÃOGENERALIZAÇÃO

Estudos de testes diagnósticosEstudos de testes diagnósticos – registros clínicos e não experimentais

Amostra ideais de não casosAmostra ideais de não casos – geralmente não disponíveis – padrão-ouro é custoso e invasivo – não aceitável para pacientes sem evidências de a doença esteja presente – exemplo.

Dados da prática clínicaDados da prática clínica – informação incompleta sobre a performance do teste em pessoas sem a doença – tem-se a informação apenas para os com testes positivos em análises preliminares – amostra com viés daqueles sem a doença.

Problema pode ser superadoProblema pode ser superado – testagem de pessoas sem resultados positivos em testes preliminares

RESULTADOS CONTÍNUOSRESULTADOS CONTÍNUOS

Resultados dicotômicosResultados dicotômicos – testes para a presença de infecção usando cultura e diagnóstico molecular – presente ou ausente.

Testes sorológicos, de pele e outrosTestes sorológicos, de pele e outros – reação biológica do hospedeiro à infecção – raramente dicotômicos – são contínuos.

ExemploExemplo: culturas de urina em mulheres com infecção do trato urinário – de poucos organismos a 106/mm3 (100.000 vezes) – sobreposição de valores dos resultados do teste para pessoas com e sem a infecção.

Distribuição de valores na população das pessoas com e sem a Distribuição de valores na população das pessoas com e sem a doençadoença – sem protuberância ou quebras – sem razão biológica de onde colocar o ponto de corte.

Normal e não normalNormal e não normal

Resultado “anormal” do testeResultado “anormal” do teste – nível além do qual um teste é considerado não normal.

Definição de “normal”Definição de “normal” – criação de uma variável dicotômica a partir da contínua – escolha do ponto de corte separando “normais” de “não normais” na distribuição dos valores dos resultados do teste.

EscolhaEscolha – papel do investigador – balanço entre sensibilidade e especificidade - inversamente relacionadas.

Ponto de cortePonto de corte

Sensibilidade e especificidade Sensibilidade e especificidade – inversamente relacionadas – dependem do ponto de corte estabelecido - Exemplo - teste Exemplo - teste tuberculíneotuberculíneo – teste altamente sensível ou específico para Mycobacterium tuberculosis em função do ponto de corte.

Teste tuberculíneoTeste tuberculíneo – entre 5 a 15 mm proporciona informação útil do ponto de vista do diagnóstico.

Ponto de corte baixo Ponto de corte baixo (<= 2 mm de induração) – teste altamente sensível – quase todos os casos seriam detectados – muitos diagnósticos falso-positivos (baixa especificidade).

Ponto de corte alto Ponto de corte alto (> 20 mm de induração) – teste altamente específico – poucas pessoas seriam falsamente taxadas como tuberculosas – muitos falso-negativos (baixa sensibilidade).

Sensibilidade X especificidadeSensibilidade X especificidade

Balanço entre sensibilidade e especificidade para um dado testeBalanço entre sensibilidade e especificidade para um dado teste – sem ganho de informação.

Mais informaçãoMais informação – teste melhor, em vez de mover ponto de corte.

Informações epidemiológicasInformações epidemiológicas – ajudam na escolha do ponto de corte com aumento tanto da sensibilidade como da especificidade – exemplo de três situações para consideração de um teste tuberculíneo positivo:

- >= 5mm de induração em pessoa com radiografia de tórax anormal

- >= 10mm em pessoa com teste negativo recente

- >= 15mm em pessoa sem outra razão para suspeita de tuberculose.

Curva ROCCurva ROC

Relação entre sensibilidade e especificidadeRelação entre sensibilidade e especificidade – curva ROC (receiver operating characteristic) – vários pontos de corte – Figura.

Infecção bacteriana gram-negativa do trato urinárioInfecção bacteriana gram-negativa do trato urinário – padrão ouro: aspiração da bexiga com agulha ou com uso de cateter – teste: cultura de urina – população: mulheres jovens com sintomas sugerindo infecção do trato urinário.

Ponto de corte em 10Ponto de corte em 1055 – Sensibilidade = 52% - 48% das mulheres com a infecção são chamadas de normais.

Aumento do ponto de corteAumento do ponto de corte – sensibilidade diminui e especificidade aumenta (diminuição - vice-versa).

50

60

70

80

90

100

0 10 20 30

1 - Especificidade (%)

Sens

ibili

dade

(%)

FiguraFigura – Curva ROC – Cultura de urina X presença de bactéria na urina.

Fonte: Stam WE, Counts GW, Running KR, et al. Diagnosis of coliform infection in acutely ill dysuric women. N. Engl. J. Med. 307: 463-468, 1982.

105

104

103

102 >=1

Curva ROCCurva ROC

Curva ROCCurva ROC – sensibilidade X (1 – especificidade) – valores correspondentes aos pontos de corte.

Canto superior esquerdo da curvaCanto superior esquerdo da curva – testes que distinguem bem normal e anormal.

Área sob a curvaÁrea sob a curva – quanto maior, mais o teste contribui com informação.

Performances dos testesPerformances dos testes – comparação das áreas sob a curva.

Curva na diagonalCurva na diagonal – teste não contribui com informação além daquela que existiria em função do acaso.

Escolha do ponto de corteEscolha do ponto de corte

DependeDepende - conseqüências do resultado do erro de classificação.

Teste sensívelTeste sensível – importante descobrir a maioria dos positivos (cuidados com os pacientes, p.e.) – baixo (ou alto) ponto de corte – muitos falso-positivos.

Teste específicoTeste específico – conseqüências de um diagnóstico falso-positivo (HIV) – alto (ou baixo) ponto de corte – muitos falso-negativos.

Balanço entre sensibilidade e especificidadeBalanço entre sensibilidade e especificidade – inevitável – mas, um novo teste – melhor em sensibilidade e especificidade que os testes anteriores.

Novo testeNovo teste – mais avançado em direção ao canto superior esquerdo da curva ROC do que os anteriores.

COMBINAÇÃO DE TESTESCOMBINAÇÃO DE TESTES

Testes únicosTestes únicos – raramente suficientes.

GeralmenteGeralmente – vários são utilizados juntos – combinação de testes produz uma estratégia diagnóstica.

Múltiplos testesMúltiplos testes – aumento da qualidade do diagnóstico – menos resultados falsos.

TestesTestes - série e paralelo.

Testes em paraleloTestes em paralelo

Testes solicitados todos ao mesmo tempoTestes solicitados todos ao mesmo tempo – resultado positivo em qualquer um dos testes é evidência de doença – nenhum positivo é evidência contra a doença.

Exemplo 1:Exemplo 1: infecções por fungos – difíceis de serem detectadas – pode-se utilizar conjuntamente culturas, testes de pele e testes sorológicos para diagnóstico.

Exemplo 2:Exemplo 2: infecção por Streptococcus beta hemolítico do grupo A – utilizar conjuntamente informações clínicas e epidemiológicas – febre purulência, adenopatia cervical, idade, localização geográfica, estação do ano) – para diagnóstico.

Exemplo 3:Exemplo 3: Necessidade de diagnóstico rápido – situação de emergência.

Testes em paralelo:Testes em paralelo:

ResultadoResultado: pelo menos um positivo

Sensibilidade VPN Especificidade VPP

A + -

B + -

C + -

Dois teste em paraleloDois teste em paralelo

BATp

pT = teste em paralelo positivo

A

B

= resultado positivo do teste A

= resultado positivo do teste B

Sensibilidade combinada de dois testes em paraleloSensibilidade combinada de dois testes em paralelo

Cálculo de probabilidade para união de dois eventos:

BABAp SSSSS

pS

AS

BS

= sensibilidade combinada dos testes em paralelo

= sensibilidade do teste A

= sensibilidade do teste B

Especificidade combinada de dois testes em paraleloEspecificidade combinada de dois testes em paralelo

Resultado negativo da combinação dos testes em paralelo – todos negativos.

Cálculo de probabilidades para intersecção de eventos:

BAp EEE

pE

AE

BE

= especificidade combinada dos testes em paralelo

= especificidade do teste A

= especificidade do teste B

Exemplo de dois testes em paraleloExemplo de dois testes em paralelo

Teste A: S = 90% e E = 90%.

Teste B: S = 80% e E = 90%

%9898,08,09,08,09,0 pS

%8181,09,09,0 pE

BABAp SSSSS

BAp EEE

)1,01()81,01(1,098,01,098,0

11

PEPSPSVP

Cálculo dos valores preditivos positivo e negativoCálculo dos valores preditivos positivo e negativo

Supondo prevalência de 10% - SP = 98% e EP = 81%

%3636,0 VP

)1,01(81,01,0)98,01()1,01(81,0

)1()1()1(

PEPSPEVP

%9999,0 VP

Sensibilidade, especificidade e valores preditivos positivo e negativo de dos testes A e B e da combinação em paralelo de A e B.

Teste S (%) E (%) VP+ (%) VP- (%)

A 90 90 50 98

B 80 90 47 97

A e B 98 81 36 99

Testes em paraleloTestes em paralelo (para um mesmo valor de prevalência):

Sensibilidade VPN Especificidade VPP

Testes em sérieTestes em série

Processos diagnósticos que não requerem urgênciaProcessos diagnósticos que não requerem urgência – pacientes de ambulatórios ou internados para investigação diagnóstica.

Testes muito caros ou que oferecem riscoTestes muito caros ou que oferecem risco – testes mais seguros e baratos inicialmente – após resultado sugestivo utilizam-se testes mais caros ou de risco.

Testes são aplicados seqüencialmenteTestes são aplicados seqüencialmente – segundo teste só será aplicado se o primeiro der positivo.

Se o primeiro teste der negativoSe o primeiro teste der negativo – não se justifica (geralmente) a realização do segundo teste.

Primeiro testePrimeiro teste – mais sensível – poucos falsos negativos e muitos falso positivos.

Exemplo:Exemplo: Sífilis – inicialmente um teste não treponêmico e, se der positivo, um teste treponêmico como o FTA-ABS pode ser realizado.

A + B + C + _ _ _

Testes em sérieTestes em sérieA investigação prossegue com o resultado do testes anterior sendo positivo.

Resultado final:Resultado final:

Especificidade VPP Sensibilidade VPN

Dois teste em sérieDois teste em série

Investigação diagnóstica – prossegue se o primeiro teste der positivo.

Teste em série positivo – se os dois testes forem positivos.

BATssT

A

B

= teste em série positivo

= resultado positivo do teste A

= resultado positivo do teste B

Sensibilidade combinada de dois testes em sérieSensibilidade combinada de dois testes em série

Calculo de probabilidade para intersecção de eventos.

BAS SSS

SS

AS

BS

= sensibilidade combinada dos testes em série

= sensibilidade do teste A

= sensibilidade do teste B

Especificidade combinada de dois testes em sérieEspecificidade combinada de dois testes em série

Resultado final - pelo menos um resultado negativo.

Cálculo de probabilidade para união de eventos.

BABAS EEEEE

SE

AE

BE

= especificidade combinada dos testes em série

= especificidade do teste A

= especificidade do teste B

Teste A: S = 90% e E = 90%.

Teste B: S = 80% e E = 90%

Exemplo de dois testes em sérieExemplo de dois testes em série

%7272,08,09,0 BAS SSS

%9999,09,09,09,09,0 BABAS EEEEE

Cálculo dos valores preditivos positivo e negativoCálculo dos valores preditivos positivo e negativo

Supondo prevalência de 10% - SP = 72% e EP = 99%.

)1,01()99,01(1,072,01,072,0

11

PEPSPSVP

%8989,0 VP

)1,01(99,01,0)72,01()1,01(99,0

)1()1()1(

PEPSPEVP

%9797,0 VP

Sensibilidade, especificidade e valores preditivos positivo e negativo de dois testes A e B e da combinação em série de A e B.

Teste S (%) E (%) VP+ (%) VP- (%)

A 90 90 50 98

B 80 90 47 97

A e B 72 99 89 97

Resultado final:Resultado final:

Especificidade VPP Sensibilidade VPN

BIBLIOGRAFIABIBLIOGRAFIA

Fletcher RH, Halstead SB. Evaluation of Diagnostic Tests. In: Thomas JC, Weber DJ. Epidemiologic Methods for the Study of Infectious Diseases. University Press, Oxford, 2001, 192-210. Gordis L. Epidemiologia. 2º Edição. Revinter, Rio de Janeiro 2004. Pereira MG. Epidemiologia. Teoria e Prática. Guanabara Koogan, Rio de Janeiro, 1995. Medronho RA, Perez MA. Teses Diagnósticos. In: Medronho RA, Carvalho DM, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. Atheneu, São Paulo, 2002.