validação de testes diagnósticos (aula 9)
TRANSCRIPT
AVALIAÇÃO DO DESEMPENHO DE
TESTES DIAGNÓSTICOS
- Estudo sobre um teste diagnóstico busca determinar se o teste é útil na prática clínica
- São usadas estatísticas descritivas
Para determinar se um teste é útil precisamos avaliar
• Parâmetros intrínsecos e extrínsecos do teste
• Factibilidade• Bem como seus efeitos nas
decisões clínicas e nos desfechos
Validação de um teste
intrínseca
extrínseca
desempenho do teste quando comparado a um teste referênciacapacidade do teste em detectar a real situação da população em relação à doença que está sendo estudada e também o desempenho do teste em uma dada população
Para a validação intrínseca
Temos que ter um meio de determinar qual é a resposta correta:•Padrão-ouro: indicador da presença (ou ausência) da doença. Em alguns casos tem-se um padrão-ouro de definição
Até que ponto o teste fornece a resposta correta?
Parâmetros de validação intrínseca #1
sensibilidade especificidade eficiência
são características do teste e não da população em que está sendo aplicado
(independem da prevalência da doença)
Parâmetros de validação intrínseca #2 valor preditivo do resultado positivo (VPP) valor preditivo do resultado negativo (VPN)
dependem da sensibilidade e da especificidade do teste e da prevalência
da doença na população em estudo
Parâmetros de validação intrínseca #3
Curva ROC• Razões de verossimilhança• Riscos relativos e diferenças de riscos
As aparências para a mente dão de quatro tipos:• as coisas ou são o que parecem ser• Ou não são e nem parecem ser• Ou são e não parecem ser• Ou não são, mesmo assim parecem
serIdentificá-las corretamente todos estes
casos é a tarefa do homem sábio (Epictetus, 55-135 d.C.)
Possibilidades
TESTE
DOENÇA - DIAGNÓSTICO VERDADEIRO
presente ausente total
Positivo
Negativo
Total
Verdadeiros positivos(VP)
Falsos positivos(FP)
Verdadeiros negativos(VN)
Falsos negativos(FN)
VP + FP
VP + FN
VN + FP
VN + FNVP+FP+VN+FN
TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos(FP) VP + FP
negativo
Falsos negativos(FN)
Verdadeiros negativos
(VN)VN+FN
total VP + FN VN + FP
SENSIBILIDADEProporção de resultados positivos detectados pelo
teste na população de positivos (VP) pela população de doentes (VP+FN)
FN+VPVP
S
TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos(FP) VP + FP
negativo
Falsos negativos(FN)
Verdadeiros negativos
(VN)VN+FN
total VP + FN VN + FP
ESPECIFICIDADEproporção de resultados negativos pelo teste na
população de não doentes (VN) pela população de não doentes
FP+VNVN
E
Limiar de reatividade (ou “cut-off)
região de corte do teste, ou seja um valor que acima do qual os
resultados são considerados positivos e indicam os doentes e abaixo, os resultados são dados
como negativos e correspondem aos não doentes
Máxima sensibilidade
Máxima especificidade
TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos(FP) VP + FP
negativo
Falsos negativos(FN)
Verdadeiros negativos
(VN)VN+FN
total VP + FN VN + FP VP+FN+VN+FP
EFICIÊNCIA (acurácia)(quanto mais próximo de 1, melhor será o
teste em estudo)
FNFP+VNVPVN VP
Eficiência
Escolha de testes diagnósticos
Será um teste de triagem? diagnóstico individual? Inquérito epidemiológico? Avaliação de vacina?
A doença é rara ou freqüente na população a ser estudada (prevalência)?
A doença causa sintomas graves e potencialmente fatais que devam ser tratados?
Para triagem em bancos de sangue• Testes com máxima sensibilidade• Falsos positivos deverão ser
confirmados com outros testes mais específicos
Para diagnóstico individual em laboratório clínico• Testes com máxima especificidade• Falsos negativos serão
compensados com história clínica do paciente
Para inquéritos epidemiológicos• Testes com máximas sensibilidade
e especificidade
Para avaliação do efeito de uma vacina
• Teste com máxima especificidade, considerando o risco da doença ocorrer em indivíduos vacinados
• Falsos positivos caracterizariam a vacina como não eficaz
A sensibilidade e a especificidade de um teste são inversamente correlacionadas
1.mais sensível, mas menos específico: vai fornecer um número considerável de falso-positivos. São testes aceitáveis para triagem, principalmente de bancos de sangue.
2.mais específico, mas menos sensível: vai fornecer uma maior número de falsos negativos, mas o diagnóstico é mais acurado.
Na prática, existem dois tipos de testes:
Para aumentar o valor preditivo de um resultado positivo de um teste, podem ser combinados dois ou mais testes diagnósticos. Por exemplo:
1.Testes paralelos: dois testes independentes, cada um com alta especificidade(>>aumento da sensibilidade)2.Testes sucessivos: 1o - de triagem (alta sensibilidade)para todos casos de resultados positivos, fazer o 2o - teste diagnóstico (alta especificidade)
Curva ROC (Receiver Operator Characteristic)
Teste inútil
Teste perfeito
Pontos de cortediferentes paraconsiderar o testepositivo
Teste adequado
área sob a curva= desempenho global
de um teste(varia de 0,5-1,0)
TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos(FP) VP + FP
negativo
Falsos negativos(FN)
Verdadeiros negativos
(VN)VN+FN
total VP + FN VN + FP VP+FN+VN+FP
PREVALÊNCIA porcentagem de indivíduos doentes em uma população. Consideramos como indivíduos doentes, os verdadeiros
positivos somados aos falsos negativos (VP + FN)
FNFP+VNVPFN VPPr
evalência
TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos(FP) VP + FP
negativo
Falsos negativos(FN)
Verdadeiros negativos
(VN)VN+FN
total VP + FN VN + FPVALOR PREDITIVO DO RESULTADO POSITIVO (VPP)
proporção de indivíduos doentes entre os resultados positivos obtidos no teste, portanto se refere a probabilidade de doença quando o resultado do
teste é positivo.
FP+VPVP
VPP
TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos(FP) VP + FP
negativo
Falsos negativos(FN)
Verdadeiros negativos
(VN)VN+FN
total VP + FN VN + FPVALOR PREDITIVO DO RESULTADO NEGATIVO (VPN)
proporção de indivíduos não doentes entre os resultados negativos obtidos no teste, portanto se
refere a probabilidade de não doença quando o resultado do teste é negativo
FN+VNVN
VPN
Como a prevalência interfere nos Valores Preditivos (Positivo e Negativo)???
Um teste com 95% de sensibilidade e 95% de especificidade
Prevalência da doença – 1%
20 1980
1881
99
1
19
1882
118
TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo
negativo
total 2000
Um teste com 95% de sensibilidade e 95% de especificidade
Prevalência da doença – 20%
400 1600
1520
80
20
380
1540
460
TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo
negativo
total 2000
Razões de verossimilhança (RV) (razões de probabilidades ou “Likelihood ratios”)
• permite que sejam aproveitadas todas as informações sobre um teste
• Indica como o resultado de um teste pode aumentar ou diminuir a probabilidade de doença
• Para cada resultado (+ ou -) do teste:
Ideia por trás das RV• A não ser que um teste seja perfeitamente
acurado, saber o resultado do teste não nos diz se a pessoa testada tem ou não a doença.
• Precisamos olhar para um resultado e pensarmos: “Em quanto o resultado aumenta a probabilidade de ocorrência do resultado em um indivíduo com a doença em relação a um indivíduo sem a doença?”
↑ RV Melhor o resultado do testepara aprovar um diagnóstico ↓ RV Melhor o resultado do testepara eliminar a possibilidade de doença
Quando os dados avaliados são expressos em sensibilidade e especificidade, pode-se calcular RV como:
RV não depende da prevalência da doença
Chances (odds)
Ex. probabilidade de 80% corresponde a 4 chances de doença contra uma chance de não doença
- Chance e probabilidade são relacionadas, mas não idênticas •- Chance ou odds é expressa como fração (x chances em 1) e probabilidade é expressa como fração decimal variando de zero a um, ou como uma porcentagem)
Podemos calcular a chance de doença pós-teste
Chance de doença pós-teste=Chance de doença pré-teste x RV
Aplicação de um teste com S= 98% e E=99% para triagem da doença de Chagas em 10.000 amostras de sangue de banco de sangue onde a prevalência da doença é de 0,5%
50 9.950
9.751
199
1
49
9.752
258
TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente Total
positivo
negativo
total10.000
Imaginemos esse teste para selecionar cavalos de raça como potenciais vencedores de corridas
• A chance pré-teste de acertar um cavalo vencedor entre 10.000 cavalos é somente de 0,005 (prevalência= 0,5%), ou seja 0,00502 para 1
Aplicamos o teste nos 10.000 cavalos
• 49/248= 1/5= 20%, bem maior que a probabilidade inicial que era de 1/200 (prevalência de 0,5%)
50 9.950
9.751
199
149
9.752248
10.000
A chance pós-teste aumentou 50x a chance pré-teste
Vencedores pelo teste
Chance de doença pós-teste= Chance de doença pré-teste x RV0,0254= 0,00502 x RV RV=50
Para verificar a acuráciaDelineamento•Testes diagnósticos:- caso-controle- indivíduos com e sem a doença são amostrados separadamente (difícil!!!)- transversal- produz resultados mais válidos e de interpretação mais fácil•Testes prognósticos: coortes prospectivo ou retrospectivoVariáveis•preditoras : resultado do teste•de desfecho: a doença (ou o seu desfecho)
Parâmetros de validação extrínseca
precisão acurácia ou exatidão reprodutibilidade
Reprodutibilidade Refere-se a obtenção de
resultados iguais em testes realizados com a mesma amostra
do material biológico, quando feitos por diferentes pessoas em
diferentes locais e se garante quando a precisão e a exatidão
são sempre avaliadas.
Qual é a reprodutibilidade do teste?Estudos de variabilidade intra e interobservador e intra e inter-laboratório•Delineamento: transversal•Análise: são variáveis categóricasCoeficiente de concordância: proporção de observações nas quais a concordância é totalCoeficiente de concordância kappa (): mede o grau de concordância além do que seria esperado pelo acaso. Varia de -1 a 1.
Coeficiente de concordância kappa ()
Valor de kappa Concordância0 nenhuma
0,00-0,20 Ruim0,21-0,40 Fraca0,41-0,60 Moderada0,61-0,80 Substancial0,81-1,00 Quase perfeita
Precisão
determina existir concordância dos resultados obtidos quando um mesmo teste é feito várias vezes. Mede o erro acidental do método, que corresponde
ao erro experimental acumulado.
Acurácia ou exatidão é o grau de concordância entre a concentração do imuno-reagente determinada pelo teste e a real
concentração no material a ser testado. Determina a capacidade do teste em
fornecer resultados muito próximos ao verdadeiro valor do que se está medindo.
A medida da exatidão permite detectar erro sistemático ou a tendência dos resultados de se desviarem em uma dada direção e
proporção em relação ao valor real.
Variações na precisão e exatidão
PRECISO,mas não EXATO
não PRECISO,e não EXATO
Variações na precisão e exatidão
EXATO,mas não PRECISO
PRECISOe EXATO
Aula baseada no capítulo 1 “Sorologia” do livro. Diagnóstico de
laboratório das
principais doenças
infecciosas e auto-
imunes, (Antonio W Ferreira AW, Sandra do Lago Moraes. Guanabara Koogan, Rio de Janeiro, 2a ed 2001).
Curso “Delineamento de um projeto de pesquisa” (aula 9)Sandra do Lago MoraesInstituto de Medicina Tropical, Universidade de São PauloMaio de 2012