avaliaÇÃode testes diagnÓsticos. variaÇÃo biolÓgica das populaÇÕes humanas teste teste -...

66
AVALIAÇÃO AVALIAÇÃO DE DE TESTES DIAGNÓSTICOS TESTES DIAGNÓSTICOS

Upload: marcia-ribas-andrade

Post on 07-Apr-2016

215 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

AVALIAÇÃO AVALIAÇÃO

DE DE

TESTES DIAGNÓSTICOSTESTES DIAGNÓSTICOS

Page 2: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANASHUMANAS

TesteTeste - distinção entre indivíduos com resultados normais e anormais – distribuição das características nas populações humanas.

FiguraFigura – resultados do teste de tuberculina – grande grupo com 0 mm (sem enduração) e outro em torno de 20 mm – curva bimodal.

Page 3: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Separação dos indivíduos:Separação dos indivíduos:

- sem experiência anterior com tuberculose (sem enduração) – à esquerda

- com experiência anterior com a tuberculose (em torno de 20 mm) – à direita

- maioria pode ser distinguida – alguns no centro “zona cinza” que podem pertencer a qualquer uma das curvas.

Característica com distribuição bimodalCaracterística com distribuição bimodal – fácil separar a maioria em dois grupos – doentes e saudáveis, por exemplo.

Page 4: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Maioria das característicasMaioria das características – distribuição unimodal – nenhum nível óbvio distingue os indivíduos.

ExemploExemplo: culturas de urina em mulheres com infecção do trato urinário – de poucos organismos a 106/mm3 (100.000 vezes) – sobreposição de valores dos resultados do teste para pessoas com e sem a infecção.

Distribuição de valores na população das pessoas com e sem a Distribuição de valores na população das pessoas com e sem a doençadoença – sem protuberância ou quebras – sem razão biológica de onde colocar o ponto de corte.

Exemplo: culturas de urina – infecção no trato urinário (acima de 105 bactérias/mm3) – pessoas sem infecção (abaixo de 102/mm3) – entre 102 e 105/mm3 (incerteza de como interpretar).

Distribuições unimodais ou bimodaisDistribuições unimodais ou bimodais – fácil distinguir os valores extermos normais e anormais – incerteza em casos que estão na “zona cinza” nos dois tipos de curvas.

Page 5: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Exemplo de distribuição unimodal (Figura) – nenhum nível óbvio distingue os hipertensos dos normotensos.

Page 6: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VALIDADE E CONFIABILIDADEVALIDADE E CONFIABILIDADE

Validade (ou acurácia)Validade (ou acurácia) – grau em que o exame é apropriado para medir o verdadeiro valor daquilo que é medido, observado ou interpretado – exemplo: ECG é um teste de maior validade, comparado à auscultação cardíaca com estetoscópio para detecção de alterações cardiovasculares da doença de Chagas.

Confiabilidade (reprodutibilidade ou precisão)Confiabilidade (reprodutibilidade ou precisão) – consistência de resultados quando a medição ou exame se repete – exemplo: dois microscopistas lêem, independentemente um do outro, as mesmas lâminas de malária e chegam ao mesmo diagnóstico – nível máximo de confiabilidade – ambos podem estar errados.

Page 7: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

RELAÇÃO ENTRE VALIDADE E CONFIABILIDADERELAÇÃO ENTRE VALIDADE E CONFIABILIDADE

valor verdadeiro

valor verdadeirovalor verdadeiro

valor verdadeiro

Acurácia

Precisão

Precisão

Precisão

Precisão

Acurácia Acurácia

Acurácia

a) Alta precisão e alta acuráciaa) Alta precisão e alta acurácia

b) Alta precisão e baixa acuráciab) Alta precisão e baixa acurácia

c) Baixa precisão e alta acuráciac) Baixa precisão e alta acurácia

d) Baixa precisão e baixa acuráciad) Baixa precisão e baixa acurácia

Page 8: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Generalização para os testes diagnósticos:Generalização para os testes diagnósticos:

- teste de baixa confiabilidade – baixa validade – de pouca utilidade

- este de alta confiabilidade – não assegura alta validade – exame pode ser reproduzível (resultados idênticos ou próximos quando repetidos), mas não ser capaz de discriminar corretamente as diversas situações – todos exames podem estar errados.

ValidadeValidade e confiabilidadee confiabilidade – necessárias para avaliar a qualidade de um exame diagnóstico e a informação produzida.

Page 9: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VALIDADEVALIDADE

Page 10: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Aplicação do testeAplicação do teste - grupo de doentes e grupo de sadios – proporção de acertos (verdadeiros positivos e verdadeiros negativos) e de erros de classificação (falso-positivos e falso-negativos).

TesteTesteDoençaDoença

Presente Ausente

Positivo Verdadeiro positivo (a) Falso-positivo (b

Negativo Falso-negativo (c) Verdadeiro negativo (d)

Quadro – Avaliação da validade de um teste diagnóstico.Quadro – Avaliação da validade de um teste diagnóstico.

Erros de classificaçãoErros de classificação – múltiplas razões – biológicas e técnicas – exemplo.

Page 11: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

SENSIBILIDADE E ESPECIFICIDADESENSIBILIDADE E ESPECIFICIDADE

Questão mais importanteQuestão mais importante – direção e grau do erro de classificação – em que extensão o erro conduz a conclusões enganosas e as conseqüências.

Como se comportaComo se comporta o teste o teste - na presença ou ausência da doença.

Propriedades do testePropriedades do teste – condições específicas de um estudo – resumem experiência de um grupo de pessoas – estimar a probabilidade de doença (ou não doença) em pacientes individuais (propósito clínico).

Tomada de decisãoTomada de decisão – pedir ou não um teste.

Page 12: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

TesteTesteDoençaDoença

Presente AusentePositivo a b

Negativo c d

Totais a + c b + d

MedidasMedidas S = a / (a + c)S = a / (a + c) E = d / (b + d)

SENSIBILIDADESENSIBILIDADE

SensibilidadeSensibilidade - proporção de pessoas com a doença que têm um teste positivo – mede o grau em que o teste detecta a doença se ela está presente (sem levar em consideração a quantidade de falsos-positivos).

Teste sensívelTeste sensível - detecta grande proporção de doentes.

Exemplos de testes sensíveis para doenças infecciosasExemplos de testes sensíveis para doenças infecciosas – poucos falso-negativos - testes baseados na reação em cadeia de polimerase - PCR – em teoria detecta uma única molécula do DNA.

Page 13: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Escolha de testes sensíveisEscolha de testes sensíveis

Quando não se pode correr o risco de não detectar a doença.

Doença perigosa, mas tratável (sífilis, tuberculose).

Processo diagnóstico em que grande número de possibilidades são consideradas (excluir doenças - se der negativo tem grande chance de ser negativo mesmo – poucos falsos negativos)

Probabilidade de doença é baixa e propósito é descobrir a doença: exame periódico, banco de sangue.

Page 14: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

ESPECIFICIDADEESPECIFICIDADE

TesteTesteDoençaDoença

Presente AusentePositivo a b

Negativo c d

Totais a + c b + d

MedidasMedidas S = a / (a + c) E = d / (b + d)E = d / (b + d)

EspecificidadeEspecificidade – proporção de pessoas sem a doença que têm um teste negativo – mede o grau no qual pessoas sem a doença são chamadas de normais pelo teste (sem levar em consideração a quantidade de falso-negativos).

Teste específicoTeste específico – detecta grande proporção de pessoas não doentes.

Exemplos de testes específicosExemplos de testes específicos – poucos falso-positivos - recuperação de herpes vírus do cérebro em um paciente com encefalite ou de Onchocerca em nódulos da pele.

Page 15: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Escolha de testes específicosEscolha de testes específicos

Quando falso positivo pode lesar física, emocional ou financeiramente o paciente, assim como dificuldade de "desrotular" uma pessoa que foi diagnostica como tendo doença e que posteriormente se descobre que não tem (AIDS).

Teste com poucos falsos positivos - quimioterapia, indicação cirúrgia, doença estigmatizante, etc.

Page 16: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

SENSIBILIDADE E ESPECIFICIDADESENSIBILIDADE E ESPECIFICIDADE

Consideradas com um par.Consideradas com um par.

Em um dado testeEm um dado teste – nível da sensibilidade é balanceada com o da especificidade.

Não é possível interpretar a sensibilidade na ausência da especificidade e vice-versa.

Page 17: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VALORES PREDITIVOSVALORES PREDITIVOS

Com o resultado na mão, a especificidade e sensibilidade de um teste não têm mais importância.

Isto por que não se sabe se a pessoa que fez o teste está ou não doente (senão o teste não seria necessário!).

Erro de classificaçãoErro de classificação – resultado do teste após sua realização

Valor preditivo positivoValor preditivo positivo: probabilidade de doença, dado um teste positivo.

Valor preditivo negativoValor preditivo negativo: probabilidade de não doença, dado um teste negativo.

Page 18: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VALORES PREDITIVOSVALORES PREDITIVOS

TesteTesteDoençaDoença

TotaisTotais MedidasMedidasPresente Ausente

Positivo a b a + b VP+ = a / (a + b)VP+ = a / (a + b)Negativo c d c + d VP- = d / (c + d)VP- = d / (c + d)

Mais útil para o clínico:Mais útil para o clínico:

- resultado negativo de um teste sensível (poucos falsos negativos – se deu negativo tem maior probabilidade de ser negativo mesmo)

- resultado positivo de um teste específico (poucos falsos positivos – se deu positivo tem maior probabilidade de ser positivo mesmo).

Page 19: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Determinantes de um valor preditivoDeterminantes de um valor preditivo

Depende das propriedades intrínsecas do teste (sensibilidade e especificidade) e da prevalência da doença na população que está sendo testada.

Relação entre valores preditivos e sensibilidade e especificidade:Relação entre valores preditivos e sensibilidade e especificidade:

- quanto mais sensível um teste, maior seu valor preditivo negativo (maior a segurança do médico de que a pessoa com teste negativo não tem a doença).

- quanto mais específico um teste, maior seu valor preditivo positivo (maior a segurança do médico de que a pessoa com teste positivo tem a doença).

Page 20: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Relação entre valores preditivos e prevalênciaRelação entre valores preditivos e prevalência

Dada sensibilidade e especificidade – VP+ diminui e VP- aumenta com a queda da prevalência – Figura (S=95% e E=95%).

Page 21: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Teste com 90% de sensibilidade e de especificidade. Teste com 90% de sensibilidade e de especificidade. População X com prevalência de 5%.População X com prevalência de 5%.

Resultado do teste

Verdadeiro diagnósticoTotalDoente Não doente

Positivo 45 95 140

Negativo 5 855 860

Total 50 950 1000

Teste com 90% de sensibilidade e de especificidade.Teste com 90% de sensibilidade e de especificidade.População Y com prevalência de 30%.População Y com prevalência de 30%.

Resultado do teste

Verdadeiro diagnósticoTotalDoente Não doente

Positivo 270 70 340

Negativo 30 630 660

Total 300 700 1000

Page 22: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Valores preditivos População X (prev. = 5%) População Y (prev. = 30%) ↑

VP+ 45/140 32% 270/340 79% ↑

VP- 855/860 99% 630/660 95% ↓

Cálculo dos valores preditivos para as duas Cálculo dos valores preditivos para as duas situações com diferentes prevalênciassituações com diferentes prevalências

Page 23: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

AUMENTANDO A PREVALÊNCIA DE DOENÇAAUMENTANDO A PREVALÊNCIA DE DOENÇA

Processo de referênciaProcesso de referência - justifica-se o uso mais agressivo de testes diagnósticos em serviços de referência, pois probabilidade de doença é maior - na prática de atenção primária, por outro lado, ou especialmente em pacientes sem queixas, a probabilidade é menor e os testes devem ser utilizados com mais parcimônia.

Grupos demográficos selecionadosGrupos demográficos selecionados - é possível aumentar o rendimento dos testes diagnósticos, aplicando-os a grupos demográficos selecionados.

Especificidades da situação clínicaEspecificidades da situação clínica - sintomas, sinais e fatores de risco de doença aumentam ou diminuem a probabilidade de encontrar a doença.

A disponibilidade crescente de testes diagnósticos facilita uma A disponibilidade crescente de testes diagnósticos facilita uma abordagem menos seletiva na solicitação de exames. Com isso, a abordagem menos seletiva na solicitação de exames. Com isso, a prevalência tende a cair e, com ela, o VPP.prevalência tende a cair e, com ela, o VPP.

Page 24: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VALORES PREDITIVOSVALORES PREDITIVOS

Prevalência abaixo de 0,01Prevalência abaixo de 0,01 – VP+ relativamente baixos - S E

Doenças infecciosasDoenças infecciosas – ocorrem em prevalência menores que 0,01.

ConseqüênciaConseqüência – muitos resultados falso-positivos.

PesquisasPesquisas – erro de classificação – afeta validade da conclusão.

Programas de rastreamentoProgramas de rastreamento – testes falso-positivos e falso-negativos têm conseqüências para os indivíduos incorretamente classificados.

Page 25: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

PEPSPSVP

11

Valores preditivos positivo e negativoValores preditivos positivo e negativo

Obtidos através do Teorema de BayesObtidos através do Teorema de Bayes – com base na sensibilidade (S), especificidade (E) e prevalência (P).

Estimativa - com base em novas informaçõesEstimativa - com base em novas informações – mudança de prevalência, por exemplo.

)1()1()1(

PEPSPEVP

Page 26: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

FATORES QUE AFETAM A ESTIMATIVA DA FATORES QUE AFETAM A ESTIMATIVA DA PERFORMANCE DO TESTEPERFORMANCE DO TESTE

Medidas com menor nível de erro de classificação possívelMedidas com menor nível de erro de classificação possível – conhecer fontes de variação, minimizar vieses e ter amostra suficientemente grande.

Performance do testePerformance do teste – estimar a extensão na qual os vieses remanescentes e a variação aleatória afetam as estimativas produzidas.

Page 27: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

FONTES DE VARIAÇÃOFONTES DE VARIAÇÃO

Variações biológicasVariações biológicas

Dentro dos indivíduosDentro dos indivíduos – varia com o tempo – pessoas infectadas com HIV podem ser soronegativas em uma semana e soropositivas na semana seguinte – pessoas com um teste tuberculíneo positivo podem se converter em um teste negativo (infecção intensa ou imunodeficiência) – amostra em um ponto no tempo pode pegar algumas pessoas que originalmente teriam um teste positivo em um momento cujos testes produzem resultados negativos.

Entre indivíduosEntre indivíduos – diferenças no estado da infecção entre indivíduos.

Page 28: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

FONTES DE VARIAÇÃOFONTES DE VARIAÇÃO

Variações nas medidasVariações nas medidas

Atribuída ao instrumento utilizado para fazer a medidaAtribuída ao instrumento utilizado para fazer a medida – meios de cultura, géis, sondas genéticas, etc.

Meio de cultura impropriamente preparado para Meio de cultura impropriamente preparado para Neisseria Neisseria gonorrhoeaegonorrhoeae – teste falso negativo.

Culturas de sangue contaminadasCulturas de sangue contaminadas – resultados falso positivos.

Page 29: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VIESESVIESES

Teste diagnósticoTeste diagnóstico – erros sistemáticos na medida – aumentam erro de classificação – informação disponível para o teste é diminuída.

Estudo epidemiológicoEstudo epidemiológico – resultados com base em medidas imperfeitas – erros de classificação.

Maior risco de viésMaior risco de viés – necessidade de julgamento na interpretação do teste ou diagnóstico – diagnóstico clínico de gripe.

Page 30: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VIESESVIESES

Dois tipos de erro de classificaçãoDois tipos de erro de classificação

Pessoa que interpreta o resultado do testePessoa que interpreta o resultado do teste – pode introduzir viés se ela tem informações sobre as condições do paciente e levar isso em conta na interpretação do resultado do teste.

Pessoa que dá o diagnósticoPessoa que dá o diagnóstico – conhece o resultado do teste e leva-o em conta no julgamento se a doença está ou não presente.

Dois casos – raciocínio circularDois casos – raciocínio circular – resultado do teste e status da doença são mais fortemente associados do que seriam ao acaso – tendência natural de fazer o resultado do teste se ajustar ao diagnóstico e vice-versa.

Page 31: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

CONTROLE DE QUALIDADE CONTROLE DE QUALIDADE

InstrumentosInstrumentos

Instrumentos diagnósticosInstrumentos diagnósticos – continuamente calibrados.

Garantia de qualidadeGarantia de qualidade – desafio contínuo – falha nesta garantia é fonte de erro.

Performance dos instrumentosPerformance dos instrumentos – testadas contra um padrão ouro e retestadas em intervalos apropriados.

Page 32: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

CONTROLE DE QUALIDADE CONTROLE DE QUALIDADE

QuestionáriosQuestionários

PropriedadesPropriedades - estabelecidas através de estudos de validade.

Validade de conteúdoValidade de conteúdo – incluí todos os aspectos a serem medidos – o teste será válido se for adequado para medir os aspectos que devem ser medidos.

Validade de constructoValidade de constructo – produz resultados consistentes com a teoria existente – se a prevalência da doença infecciosa aumenta com a idade na população – o resultado do teste (para ser válido) deve mostrar esta tendência.

Validade lógicaValidade lógica – julgar uma informação ou critério por sua lógica ou obviedade – o teste prediz manifestações verificáveis fisicamente do que está sendo medido.

Page 33: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

CONTROLE DE QUALIDADE CONTROLE DE QUALIDADE

Testes dependentes de julgamento do observadorTestes dependentes de julgamento do observador

Diminuição do erro do observador:Diminuição do erro do observador:

- escolha de resultado objetivo - exemplos

- estabelecimento de regras de decisão – exemplo

- garantir que as regras de decisão são seguidas – treinamentos, reuniões para revisar regras, etc

- observadores mascarados

- medida da concordância entre observadores.

Page 34: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VARIAÇÃO ALEATÓRIAVARIAÇÃO ALEATÓRIA

Erro de classificaçãoErro de classificação – associado à variação aleatória.

Questão principalQuestão principal – extensão na qual uma população incluída no estudo (amostra selecionada por método aleatório, sem viés) representa incorretamente a situação da população fonte por causa da variação aleatória das amostras – por exemplo, a verdadeira sensibilidade do teste é 80%, mas o valor amostral obtido pode ser maior ou menor que o parâmetro populacional.

Problema ocorre em pequenas amostras de pacientesProblema ocorre em pequenas amostras de pacientes – reduzido em estudos com grandes amostras.

Page 35: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

VARIAÇÃO ALEATÓRIAVARIAÇÃO ALEATÓRIA

Extensão do erro aleatórioExtensão do erro aleatório – em relação à performance do teste em estudo – estimada por métodos estatísticos – intervalo de confiança – precisão estatística da estimativa.

Intervalo de 95% de confiançaIntervalo de 95% de confiança – há uma confiança de 95% de que o verdadeiro valor está no intervalo.

ExemploExemplo - medida (sensibilidade, especificidade ou valor preditivo) expressa em proporção – assumindo-se que os resultados têm distribuição binomial - intervalo de 95% de confiança ser expresso por:

Np)p(,p

1961

Page 36: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

GENERALIZAÇÃOGENERALIZAÇÃO

Determinação da performance do testeDeterminação da performance do teste – depende da amostras de pessoas com e sem a doença que são incluídos no estudo de um teste diagnóstico.

Características das pessoasCaracterísticas das pessoas – relacionadas com a sensibilidade, especificidade e valores preditivos – expectro de pacientes.

Generalização da performance do testeGeneralização da performance do teste – a quem os resultados se aplicam?

Page 37: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

GENERALIZAÇÃOGENERALIZAÇÃO

SensibilidadeSensibilidade

Sensibilidade observada do testeSensibilidade observada do teste – determinada pela amostra de pessoas com doença – diferentes probabilidades de apresentarem teste positivo.

Pessoas com doença de longo curso, avançada ou clássica – mais prováveis de apresentarem teste positivo em comparação a pessoas com doença recente, leve a atípica.

Resultados amostrais em um grupo de pacientes com teste positivo mais provável – sensibilidade alta – exemplo.

Page 38: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

GENERALIZAÇÃOGENERALIZAÇÃO

EspecificidadeEspecificidade

Especificidade do testeEspecificidade do teste - determinada pela amostra de pessoas sem a doença.

Quanto mais os não doentes se assemelharem com o doentesQuanto mais os não doentes se assemelharem com o doentes – maior o probabilidade de ocorrerem falsos positivos – exemplo.

Quanto mais saudáveis são os não doentesQuanto mais saudáveis são os não doentes – maior a especificidade – exemplo.

Page 39: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

GENERALIZAÇÃOGENERALIZAÇÃO

PrevalênciaPrevalência - não afeta sensibilidade e especificidade – mas ocorre associação entre as medidas – ambientes com altas e baixas prevalências apresentam diferenças no espectro dos pacientes – exemplo.

Principal meta na escolha de uma amostraPrincipal meta na escolha de uma amostra – adequada à questão pesquisada – exemplo.

Page 40: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

GENERALIZAÇÃOGENERALIZAÇÃO

Estudos de testes diagnósticosEstudos de testes diagnósticos – registros clínicos e não experimentais

Amostra ideais de não casosAmostra ideais de não casos – geralmente não disponíveis – padrão-ouro é custoso e invasivo – não aceitável para pacientes sem evidências de a doença esteja presente – exemplo.

Dados da prática clínicaDados da prática clínica – informação incompleta sobre a performance do teste em pessoas sem a doença – tem-se a informação apenas para os com testes positivos em análises preliminares – amostra com viés daqueles sem a doença.

Problema pode ser superadoProblema pode ser superado – testagem de pessoas sem resultados positivos em testes preliminares

Page 41: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

RESULTADOS CONTÍNUOSRESULTADOS CONTÍNUOS

Resultados dicotômicosResultados dicotômicos – testes para a presença de infecção usando cultura e diagnóstico molecular – presente ou ausente.

Testes sorológicos, de pele e outrosTestes sorológicos, de pele e outros – reação biológica do hospedeiro à infecção – raramente dicotômicos – são contínuos.

ExemploExemplo: culturas de urina em mulheres com infecção do trato urinário – de poucos organismos a 106/mm3 (100.000 vezes) – sobreposição de valores dos resultados do teste para pessoas com e sem a infecção.

Distribuição de valores na população das pessoas com e sem a Distribuição de valores na população das pessoas com e sem a doençadoença – sem protuberância ou quebras – sem razão biológica de onde colocar o ponto de corte.

Page 42: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Normal e não normalNormal e não normal

Resultado “anormal” do testeResultado “anormal” do teste – nível além do qual um teste é considerado não normal.

Definição de “normal”Definição de “normal” – criação de uma variável dicotômica a partir da contínua – escolha do ponto de corte separando “normais” de “não normais” na distribuição dos valores dos resultados do teste.

EscolhaEscolha – papel do investigador – balanço entre sensibilidade e especificidade - inversamente relacionadas.

Page 43: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Ponto de cortePonto de corte

Sensibilidade e especificidade Sensibilidade e especificidade – inversamente relacionadas – dependem do ponto de corte estabelecido - Exemplo - teste Exemplo - teste tuberculíneotuberculíneo – teste altamente sensível ou específico para Mycobacterium tuberculosis em função do ponto de corte.

Teste tuberculíneoTeste tuberculíneo – entre 5 a 15 mm proporciona informação útil do ponto de vista do diagnóstico.

Ponto de corte baixo Ponto de corte baixo (<= 2 mm de induração) – teste altamente sensível – quase todos os casos seriam detectados – muitos diagnósticos falso-positivos (baixa especificidade).

Ponto de corte alto Ponto de corte alto (> 20 mm de induração) – teste altamente específico – poucas pessoas seriam falsamente taxadas como tuberculosas – muitos falso-negativos (baixa sensibilidade).

Page 44: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Sensibilidade X especificidadeSensibilidade X especificidade

Balanço entre sensibilidade e especificidade para um dado testeBalanço entre sensibilidade e especificidade para um dado teste – sem ganho de informação.

Mais informaçãoMais informação – teste melhor, em vez de mover ponto de corte.

Informações epidemiológicasInformações epidemiológicas – ajudam na escolha do ponto de corte com aumento tanto da sensibilidade como da especificidade – exemplo de três situações para consideração de um teste tuberculíneo positivo:

- >= 5mm de induração em pessoa com radiografia de tórax anormal

- >= 10mm em pessoa com teste negativo recente

- >= 15mm em pessoa sem outra razão para suspeita de tuberculose.

Page 45: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Curva ROCCurva ROC

Relação entre sensibilidade e especificidadeRelação entre sensibilidade e especificidade – curva ROC (receiver operating characteristic) – vários pontos de corte – Figura.

Infecção bacteriana gram-negativa do trato urinárioInfecção bacteriana gram-negativa do trato urinário – padrão ouro: aspiração da bexiga com agulha ou com uso de cateter – teste: cultura de urina – população: mulheres jovens com sintomas sugerindo infecção do trato urinário.

Ponto de corte em 10Ponto de corte em 1055 – Sensibilidade = 52% - 48% das mulheres com a infecção são chamadas de normais.

Aumento do ponto de corteAumento do ponto de corte – sensibilidade diminui e especificidade aumenta (diminuição - vice-versa).

Page 46: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

50

60

70

80

90

100

0 10 20 30

1 - Especificidade (%)

Sens

ibili

dade

(%)

FiguraFigura – Curva ROC – Cultura de urina X presença de bactéria na urina.

Fonte: Stam WE, Counts GW, Running KR, et al. Diagnosis of coliform infection in acutely ill dysuric women. N. Engl. J. Med. 307: 463-468, 1982.

105

104

103

102 >=1

Page 47: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Curva ROCCurva ROC

Curva ROCCurva ROC – sensibilidade X (1 – especificidade) – valores correspondentes aos pontos de corte.

Canto superior esquerdo da curvaCanto superior esquerdo da curva – testes que distinguem bem normal e anormal.

Área sob a curvaÁrea sob a curva – quanto maior, mais o teste contribui com informação.

Performances dos testesPerformances dos testes – comparação das áreas sob a curva.

Curva na diagonalCurva na diagonal – teste não contribui com informação além daquela que existiria em função do acaso.

Page 48: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Escolha do ponto de corteEscolha do ponto de corte

DependeDepende - conseqüências do resultado do erro de classificação.

Teste sensívelTeste sensível – importante descobrir a maioria dos positivos (cuidados com os pacientes, p.e.) – baixo (ou alto) ponto de corte – muitos falso-positivos.

Teste específicoTeste específico – conseqüências de um diagnóstico falso-positivo (HIV) – alto (ou baixo) ponto de corte – muitos falso-negativos.

Balanço entre sensibilidade e especificidadeBalanço entre sensibilidade e especificidade – inevitável – mas, um novo teste – melhor em sensibilidade e especificidade que os testes anteriores.

Novo testeNovo teste – mais avançado em direção ao canto superior esquerdo da curva ROC do que os anteriores.

Page 49: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

COMBINAÇÃO DE TESTESCOMBINAÇÃO DE TESTES

Testes únicosTestes únicos – raramente suficientes.

GeralmenteGeralmente – vários são utilizados juntos – combinação de testes produz uma estratégia diagnóstica.

Múltiplos testesMúltiplos testes – aumento da qualidade do diagnóstico – menos resultados falsos.

TestesTestes - série e paralelo.

Page 50: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Testes em paraleloTestes em paralelo

Testes solicitados todos ao mesmo tempoTestes solicitados todos ao mesmo tempo – resultado positivo em qualquer um dos testes é evidência de doença – nenhum positivo é evidência contra a doença.

Exemplo 1:Exemplo 1: infecções por fungos – difíceis de serem detectadas – pode-se utilizar conjuntamente culturas, testes de pele e testes sorológicos para diagnóstico.

Exemplo 2:Exemplo 2: infecção por Streptococcus beta hemolítico do grupo A – utilizar conjuntamente informações clínicas e epidemiológicas – febre purulência, adenopatia cervical, idade, localização geográfica, estação do ano) – para diagnóstico.

Exemplo 3:Exemplo 3: Necessidade de diagnóstico rápido – situação de emergência.

Page 51: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Testes em paralelo:Testes em paralelo:

ResultadoResultado: pelo menos um positivo

Sensibilidade VPN Especificidade VPP

A + -

B + -

C + -

Page 52: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Dois teste em paraleloDois teste em paralelo

BATp

pT = teste em paralelo positivo

A

B

= resultado positivo do teste A

= resultado positivo do teste B

Page 53: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Sensibilidade combinada de dois testes em paraleloSensibilidade combinada de dois testes em paralelo

Cálculo de probabilidade para união de dois eventos:

BABAp SSSSS

pS

AS

BS

= sensibilidade combinada dos testes em paralelo

= sensibilidade do teste A

= sensibilidade do teste B

Page 54: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Especificidade combinada de dois testes em paraleloEspecificidade combinada de dois testes em paralelo

Resultado negativo da combinação dos testes em paralelo – todos negativos.

Cálculo de probabilidades para intersecção de eventos:

BAp EEE

pE

AE

BE

= especificidade combinada dos testes em paralelo

= especificidade do teste A

= especificidade do teste B

Page 55: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Exemplo de dois testes em paraleloExemplo de dois testes em paralelo

Teste A: S = 90% e E = 90%.

Teste B: S = 80% e E = 90%

%9898,08,09,08,09,0 pS

%8181,09,09,0 pE

BABAp SSSSS

BAp EEE

Page 56: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

)1,01()81,01(1,098,01,098,0

11

PEPSPSVP

Cálculo dos valores preditivos positivo e negativoCálculo dos valores preditivos positivo e negativo

Supondo prevalência de 10% - SP = 98% e EP = 81%

%3636,0 VP

)1,01(81,01,0)98,01()1,01(81,0

)1()1()1(

PEPSPEVP

%9999,0 VP

Page 57: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Sensibilidade, especificidade e valores preditivos positivo e negativo de dos testes A e B e da combinação em paralelo de A e B.

Teste S (%) E (%) VP+ (%) VP- (%)

A 90 90 50 98

B 80 90 47 97

A e B 98 81 36 99

Testes em paraleloTestes em paralelo (para um mesmo valor de prevalência):

Sensibilidade VPN Especificidade VPP

Page 58: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Testes em sérieTestes em série

Processos diagnósticos que não requerem urgênciaProcessos diagnósticos que não requerem urgência – pacientes de ambulatórios ou internados para investigação diagnóstica.

Testes muito caros ou que oferecem riscoTestes muito caros ou que oferecem risco – testes mais seguros e baratos inicialmente – após resultado sugestivo utilizam-se testes mais caros ou de risco.

Testes são aplicados seqüencialmenteTestes são aplicados seqüencialmente – segundo teste só será aplicado se o primeiro der positivo.

Se o primeiro teste der negativoSe o primeiro teste der negativo – não se justifica (geralmente) a realização do segundo teste.

Primeiro testePrimeiro teste – mais sensível – poucos falsos negativos e muitos falso positivos.

Exemplo:Exemplo: Sífilis – inicialmente um teste não treponêmico e, se der positivo, um teste treponêmico como o FTA-ABS pode ser realizado.

Page 59: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

A + B + C + _ _ _

Testes em sérieTestes em sérieA investigação prossegue com o resultado do testes anterior sendo positivo.

Resultado final:Resultado final:

Especificidade VPP Sensibilidade VPN

Page 60: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Dois teste em sérieDois teste em série

Investigação diagnóstica – prossegue se o primeiro teste der positivo.

Teste em série positivo – se os dois testes forem positivos.

BATssT

A

B

= teste em série positivo

= resultado positivo do teste A

= resultado positivo do teste B

Page 61: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Sensibilidade combinada de dois testes em sérieSensibilidade combinada de dois testes em série

Calculo de probabilidade para intersecção de eventos.

BAS SSS

SS

AS

BS

= sensibilidade combinada dos testes em série

= sensibilidade do teste A

= sensibilidade do teste B

Page 62: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Especificidade combinada de dois testes em sérieEspecificidade combinada de dois testes em série

Resultado final - pelo menos um resultado negativo.

Cálculo de probabilidade para união de eventos.

BABAS EEEEE

SE

AE

BE

= especificidade combinada dos testes em série

= especificidade do teste A

= especificidade do teste B

Page 63: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Teste A: S = 90% e E = 90%.

Teste B: S = 80% e E = 90%

Exemplo de dois testes em sérieExemplo de dois testes em série

%7272,08,09,0 BAS SSS

%9999,09,09,09,09,0 BABAS EEEEE

Page 64: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Cálculo dos valores preditivos positivo e negativoCálculo dos valores preditivos positivo e negativo

Supondo prevalência de 10% - SP = 72% e EP = 99%.

)1,01()99,01(1,072,01,072,0

11

PEPSPSVP

%8989,0 VP

)1,01(99,01,0)72,01()1,01(99,0

)1()1()1(

PEPSPEVP

%9797,0 VP

Page 65: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

Sensibilidade, especificidade e valores preditivos positivo e negativo de dois testes A e B e da combinação em série de A e B.

Teste S (%) E (%) VP+ (%) VP- (%)

A 90 90 50 98

B 80 90 47 97

A e B 72 99 89 97

Resultado final:Resultado final:

Especificidade VPP Sensibilidade VPN

Page 66: AVALIAÇÃODE TESTES DIAGNÓSTICOS. VARIAÇÃO BIOLÓGICA DAS POPULAÇÕES HUMANAS Teste Teste - distinção entre indivíduos com resultados normais e anormais

BIBLIOGRAFIABIBLIOGRAFIA

Fletcher RH, Halstead SB. Evaluation of Diagnostic Tests. In: Thomas JC, Weber DJ. Epidemiologic Methods for the Study of Infectious Diseases. University Press, Oxford, 2001, 192-210. Gordis L. Epidemiologia. 2º Edição. Revinter, Rio de Janeiro 2004. Pereira MG. Epidemiologia. Teoria e Prática. Guanabara Koogan, Rio de Janeiro, 1995. Medronho RA, Perez MA. Teses Diagnósticos. In: Medronho RA, Carvalho DM, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. Atheneu, São Paulo, 2002.