Avaliação de Testes Avaliação de Testes DiagnósticosDiagnósticos

Métodos de Investigação Epidemiológica em Doenças

Transmissíveis

Avaliação de Testes Diagnósticos Avaliação de Testes Diagnósticos

Delinear e analisar estudos para avaliar a reprodutibilidade e determinar a validade de um teste

diagnóstico

Conceitos Chave:Reprodutibilidade

Validade Sensibilidade e Especificidade

Conceitos GeraisConceitos Gerais

Em epidemiologia o conceito de “testes diagnósticos” pode ser aplicado a diferentes tipos de procedimentos

incluindo:

Testes de LaboratórioEntrevistas Clínicas

Exames Físicos

Conceitos GeraisConceitos Gerais

A avaliação adequada de um teste diagnóstico requer informação sobre:

Reprodutibilidade – habilidade do teste em produzir resultados repetidos e consistentes

Validade – Capacidade de um teste em produzir o resultado real daquilo que está sendo medido

Relação Entre Reprodutibilidade e ValidadeRelação Entre Reprodutibilidade e Validade

Ambos os indicadores devem ser observados na avaliação de um teste diagnóstico

ValidadeValidade

AltaAlta BaixaBaixa

AltaAlta

BaixaBaixa

ReprodutibilidadeReprodutibilidade

Valores obtidosValores obtidos

Verdadeiro valorVerdadeiro valor

Valores obtidosValores obtidos

Verdadeiro valorVerdadeiro valor

Reprodutibilidade/RepetibilidadeReprodutibilidade/Repetibilidade

Pesquisa clinica e epidemiológica dificilmente Pesquisa clinica e epidemiológica dificilmente atingem os altos valores de repetibilidade atingem os altos valores de repetibilidade

obtidos em laboratórioobtidos em laboratório

Reprodutibilidade pode ser avaliada utilizando diferentes tipos de variáveis:

Dicotômica (positivo / negativo)Categórica (normal / anormal / limítrofe)Contínua (miligramas, mililitros)

Avaliação da Reprodutibilidade

Taxa Global de Concordância Indicador Kappa

Índice Kappa ()

O valor de varia de “-1” [discordância completa] a “1” [Concordância completa];

“0” equivale a leitura ao acaso

Expressa a reprodutibilidade de um teste diagnóstico

Reflete o grau de concordância entre observadores ou de medidas da mesma variável categórica que não acontece ao acaso

“” representa a proporção de concordância que ocorre acima daquela esperada de ocorrer ao acaso

Escala de Concordância Kappa

KappaKappa ConcordânciaConcordância

NenhumaNenhuma

FracaFraca

SofrívelSofrível

RegularRegular

BoaBoa

ÓtimaÓtima

PerfeitaPerfeita

< 0.00< 0.00

0.00-0.200.00-0.20

0.21-0.400.21-0.40

0.41-0.600.41-0.60

0.61-0.800.61-0.80

0.81-0.990.81-0.99

1.001.00

Observador 1Observador 1

(+)(+)

Observador 2Observador 2

(+)(+) ( - )( - )

(-)(-)

TotalTotal

TotalTotal

18 (a)18 (a)

2 ( c)2 ( c)

2020

12 (b)12 (b)

88 (d)88 (d)

100100

3030

9090

120120

Concordância entre dois observadores -Concordância entre dois observadores - Leitura de lâminas para pesquisa de hematozoáriosLeitura de lâminas para pesquisa de hematozoários

KK = =Po - PePo - Pe

1 - Pe1 - PePoPo = =

a + da + d

a + b + c + da + b + c + dPePe = =

[(a+b) (a+c)] + [(c+d) (b+d)][(a+b) (a+c)] + [(c+d) (b+d)]

(a + b + c + d)(a + b + c + d)22

Onde:Onde: Po = proporção de concordância observadaPo = proporção de concordância observada

Pe = proporção de concordância esperada ao acasoPe = proporção de concordância esperada ao acaso

Fatores que afetam a Fatores que afetam a Interpretação do Interpretação do

Fatores avaliados: tipo de evento, fatores relacionados ao examinador, procedimento testado, ambiente, número de categorias de resultados

Prevalência do evento na população estudada Independência da avaliação: testes devem ser

repetidos ignorando-se resultados prévios

Padrão OuroPadrão Ouro

Validade de um Teste DiagnósticoValidade de um Teste Diagnóstico

• Validade refere-se à quanto um teste é útil para diagnosticar ou predizer um evento

• Na determinação da validade os resultados do teste são comparados com um teste padrão

Validade de um Teste Diagnóstico

verdadeiro verdadeiro positivepositive

falso falso positivo positivo

falsofalsonegativonegativo

verdadeiroverdadeironegativonegativo

Doença (Padrão Ouro)Doença (Padrão Ouro)

PresentePresente AusenteAusente

PositivoPositivo

NegativoNegativo

TesteTeste (a)(a) (b)(b)

(c)(c) (d)(d)

a + ba + b

c + dc + d

a + ca + c b + db + d

Sensibilidade : a/(a+c)Especificidade: d/(b+d)Prevalência (verdadeira): (a + c)/NPrevalência estimada (teste) : (a+b)/NValor preditivo positivo: a/(a+b)Valor preditivo negativo: d/(c+d)Classificação correta: (a+d)/NClassificação incorreta: (b+c)/N

NN

Sensibilidade e EspecificidadeSensibilidade e Especificidade

Sensibilidade – capacidade de um teste em identificar indivíduos verdadeiro positivos (fazendo diagnóstico correto de doentes)

Especificidade – capacidade de um teste de detectar indivíduos verdadeiro negativos (identificando sadios)

O melhor teste diagnóstico seria aquele que identifica poucos falso negativos e falso positivos:

alta sensibilidade e especificidade

Relação entre Sensibilidade e Especificidade

O teste ideal (com 100% de sensibilidade e 100% de especificidade) raramente é encontrado na prática

Tentativas de aumentar a sensibilidade geralmente resultam em perda de especificidade

É necessário definir o ponto de corte (dependente do objetivo do teste de rastreamento/diagnóstico) quando os resultados de um teste são apresentados em forma de variável contínua

Valor Preditivo (VP) de um Teste

Dado um resultado positivo (ou negativo) de um teste, qual é a probabilidade que o indivíduo realmente tenha (ou não tenha) a doença?

• VP depende da sensibilidade, da especificidade do teste, e também da prevalência da doença na população estudada

Relação entre Valor Preditivo e Relação entre Valor Preditivo e PrevalênciaPrevalência

Valor Preditivo Positivo (VPP) – proporção de indivíduos doentes entre aqueles com resultado positivo

Valor Preditivo Negativo (VPN) – proporção de indivíduos sadios entre aqueles com resultado negativo

VPP aumenta com a prevalência (maioria dos testes positivos são de pessoas doentes), enquanto VPN diminui com a prevalência (mais resultados falso negativos)

Erro aleatório ao estimar Erro aleatório ao estimar Sensibilidade e EspecificidadeSensibilidade e Especificidade

Erros ao acaso podem ser avaliados através do cálculo de intervalos de confiança para a sensibilidade e especificidade do novo teste

O intervalo de confiança indica o espectro de variação dos resultados obtidos para que possam ser comparados com os testes convencionais

Minimizando Erros ao AcasoMinimizando Erros ao Acaso

Estime o tamanho da amostra necessário para determinar a validade do teste

• Requer a definição de intervalos de confiança com espectros que incluam o valor da sensibilidade e especificidade desejadas para o teste

Tamanho da amostra para avaliação da Tamanho da amostra para avaliação da Sensibilidade e EspecificidadeSensibilidade e Especificidade

N = Z * Z[P (1 - P)]/(D * D)

Onde:

P = proporção esperada

D = semi-amplitude do intervalo de confiança

Z = 1.96 (para nível de confiança = 0.05 e 95% IC)

Informação necessária:1. Proporção esperada de positividade na população2. Amplitude desejada do intervalo de confiança3. Definição do nível de confiança

Erro Sistemático na Avaliação de Erro Sistemático na Avaliação de Testes DiagnósticoTestes Diagnóstico

Os três tipos mais comuns de viés:Viés de amostragem -- a amostra não é

representativa da população alvo na qual o teste deverá ser utilizado

Viés de mensuração – o conhecimento prévio de quais participantes tem ou não a doença afeta os resultados do estudo

Viés de publicação – tendência em se publicar somente de estudos que mostrem o “sucesso” de testes diagnóstico

Minimizando Erros Sistemáticos

Viés de amostragem – selecionar amostras de população semelhante a qual o teste deverá ser utilizado

Viés de mensuração – o investigador deve permanecer mascarado em relação à realização dos testes diagnósticos

Viés de publicação – planejar o estudo com tamanho de amostra suficiente para assegurar credibilidade e divulgação dos resultados

Princípios Básicos para Determinar a Validade de um Teste

Randomização e mascaramento – testes devem ser comparados de forma mascarada na mesma amostra aleatória para eliminar variações externas

Testagem em campo -- estudos de validação devem ser conduzidos nas mesmas condições onde o teste será utilizado

Roteiro para Determinar a Roteiro para Determinar a Validade de um Teste DiagnósticoValidade de um Teste Diagnóstico

Certifique-se da necessidade do teste Estabeleça o critério de amostragem Descreva o teste e o padrão de referência Descreva os procedimentos para aplicação do teste e do

padrão de referência Calcule o tamanho da amostra Esclareça as questões éticas Analise os dados - calcule sensibilidade, especificidade

e valores preditivos com respectivos IC95%

Adaptado de Hulley & Cummings, 1988