Medidas simples e Medidas simples e combinadas de acuráciacombinadas de acurácia

Validação em Métodos Validação em Métodos DiagnósticosDiagnósticos

Sonia Regina Lambert Passos IPEC/Fiocruz

Aplicação do raciocínio epidemiológico Aplicação do raciocínio epidemiológico às questões clínicas:às questões clínicas:

• normalidade/anormalidade

• acurácia diagnóstica

• causas secundárias ou co-morbidades (freqüência)

• fatores desencadeantes ou associados (risco)

• melhor tratamento (resultados a longo prazo)

• evolução (prognóstico)

• efeitos adversos e iatrogenias

• qualidade dos cuidados preconizados (inclusive preventivos)

• triagem das informações de literatura científica

Teste diagnósticoTeste diagnóstico

• Qualquer processo designado para detectar um sinal, substância, alteração tecidual ou respostas.

• Melhor que um processo aleatório para uma tomada de decisão: distinguir entre doentes e sadios.

• Pode ser aferido em escala dicotômica (sinais clínicos, isolamento viral, testes sorológicos), ordinal (título sorológico) ou contínua (contagem de células sangüíneas, enzimas séricas, valores de densidade ótica para Elisa)

• Deveria refletir o verdadeiro estado de infecção (mas nenhum é 100% confiável).

Interessa principalmente a inferência dos resultados do teste quanto ao:

– Diagnóstico de infecção

– Estado de doença

– Nível de imunidade protetora

– Transição entre estágios de doença

– Verdadeira concentração de um analito

• A abordagem que compara com um padrão ouro utiliza uma tabela de contingência 2 X 2.

Os elementos de uma população variam (na estimação devemos levar em conta essas variações e calcular o possível erro cometido).

Erro sistemático:

Todas as medidas x1, x2, ..., xn da amostra diferem do valor

verdadeiro por uma quantidade constante     

Erro aleatório ou estatístico:

As medidas x1, x2, ..., xn da amostra se distribuem de

maneira aleatória em torno do valor verdadeiro     

Fontes potenciais de erros sistemáticos e Fontes potenciais de erros sistemáticos e aleatórios em laboratórioaleatórios em laboratório

• Pré-analíticos: má identificação do animal; mistura de amostras, contaminação; interrupção da cadeia de resfriamento.

• Analíticos: pipetagem, mensurações, calibração, deterioração dos reagentes.

• Pós-analíticos – identificação da amostra, interpretação.

Precisão - falta de erro aleatório

• É a habilidade de um teste de produzir resultados consistentes quando repetido sob as mesmas condições e interpretados sem o conhecimento do resultado final do teste (padrão ouro).

• É pré-requisito para acurácia.

• Independe da validade

Afetam a precisão:

– Condições do animal e laboratoriais

– Variações na interpretação de uma pessoa para outra – variabilidade interobservador (reprodutibilidade)

– Variações na interpretação de uma mesma pessoa (variabilidade intraobservador) (repetibilidade)

– Variação inerente ao teste ou ao kit (instrumentos)

Principais componentes da variação Principais componentes da variação aleatória (erro amostral)aleatória (erro amostral)

• Processo de seleção dos sujeitos de estudo Processo de seleção dos sujeitos de estudo (amostragem)(amostragem)

• Técnicas de mensuraçãoTécnicas de mensuração

• Aumentam a precisão o aumento da amostra Aumentam a precisão o aumento da amostra e ajustes no delineamento de estudo.e ajustes no delineamento de estudo.

Validade = acurácia Validade = acurácia Falta Falta de erro sistemático de erro sistemático

• Estado verdadeiro dos fenômenos que estão sendo aferidos.

• Interna - Habilidade em identificar doença como uma entidade clínica (um caso) distinto de não casos. Validade em relação aos elementos da amostra.

• Externa - habilidade de gerar resultados comparáveis, se usado em diferentes meio-ambientes, por diferentes profissionais de saúde, e /ou instrumentos, em várias condições.

• Grau de extensão dos resultados da pesquisa para a população alvo e outras populações semelhantes.

Tabela de contingência para avaliar Tabela de contingência para avaliar validade internavalidade interna

Padrão

Doentes

Ouro

Sadios

Teste Positivo

Verdadeiro Positivo (a)

Falso Positivo (b)

Total testes Positivos

Teste Negativo

Falso Negativo (c)

Verdadeiro Negativo (d)

Total testes Negativos

Total Doentes Total Sadios

Propriedade de um teste diagnósticoPropriedade de um teste diagnóstico

• Sensibilidade Sensibilidade - capacidade de detectar - capacidade de detectar a doença quando de fato está a doença quando de fato está presente.presente.

• S = a / a + c S = a / a + c

• EspecificidadeEspecificidade - probabilidade do teste - probabilidade do teste ser negativo na ausência de doença.ser negativo na ausência de doença.

» (quantos resultados negativos serão obtidos nos (quantos resultados negativos serão obtidos nos indivíduos saudáveis)indivíduos saudáveis)

• E = d / b + dE = d / b + d

DoentesDoentes SadiosSadios

Teste Teste PositivoPositivo

6565 1515

Teste Teste NegativoNegativo

1313 7878

•Sensibilidade = 65/78

•Especificidade= 78/93

•VPP = 65/80

•VPN = 78 /91

• Valor preditivo - Probabilidade após o teste ser realizado: qual a probabilidade de um resultado positivo ter realmente detectado a doença, e de um paciente com teste negativo não ter a doença.

• Valor Preditivo Positivo (VPP) - % Verdadeiros Positivos (VP) entre todos os com teste positivo. (VPP = a / a+ b ).

• VPN - % VN entre todos com teste negativo (VPN = d / c+d)

• ambos dependem da prevalência (Probabilidade pré-teste)– VPP = S x P / (S x P) + (1 - E) x (1 - P)

– VPN = E x (1 - P) / (1 - S) x P + E x (1 - P)

Accuracy of an enzyme immunoassay Accuracy of an enzyme immunoassay (ELISA) and indirect immunofluorescence (ELISA) and indirect immunofluorescence for the laboratory diagnosis of American for the laboratory diagnosis of American tegumentary leishmaniasistegumentary leishmaniasis

• A.P.T. Barroso-Freitas1,2; S.R.L. Passos3; E. Mouta-Confort1,2; M.F. Madeira1,2; A.O. Schubach2; G.P.L. Santos2,4; L.D. Nascimento1,2; M.C.A. Marzochi 2; K.B.F. Marzochi2

•Transactions of Royal Society of Tropical Medicine & Hygiene•2009, Apr;103(4):383-9. Epub 2009 Feb 10 •

L. major- LikeDO (IC 95%)

L. braziliensisDO (IC 95%)

p-valor

Sensibilidade 78,7 % (69,1-86,5) 95,7% (89,5-98,8) 0,0005

Especificidade 82,8% (76,0- 88,3) 100% (97,7-100) 0,0000

VPP 73,3% (63,5-81,6) 100% (95,9-100,0) 0,0005

VPN 86,6 (80,2-91,7) 97,5 (93,8-99,3%) 0,0003

•Tabela. Valores de sensibilidade, especificidade, VPP e VPN com respectivos IC de 95%, utilizando-se antígenos de L. major- Like e L. braziliensis na reação de ELISA.

Tabela. Valores preditivos positivo (VPP) Tabela. Valores preditivos positivo (VPP) e negativo (VPN) utilizando-se antígenos e negativo (VPN) utilizando-se antígenos de de L. braziliensisL. braziliensis, , L. major-L. major-Like e Kit Bio-Like e Kit Bio-manguinhos na reação de IFImanguinhos na reação de IFI..

VPP% (IC 95%)

p-valor VPN% (IC 95%) p-valor

L. braziliensis 73,4 (62,3- 82,7)

0,137 94,7 (88,9- 98,0)

0,001

L. major-Like 63,5 (53,1- 73,1)

96,9 (91,2- 99,4)

Kit Bio-Manguinhos

79,6 (66,5- 89,4)

84,8 (77,8-90,4)

É mais importanteÉ mais importante

• O resultado negativo de um teste sensível.

• Resultado positivo de um teste específico.

• Quanto mais específico maior o VPP

• Quanto maior a prevalência > o VPP e < o VPN.

• Acurácia = a + d / a + b + c + d

Razão de verossimilhança (Razão de verossimilhança (Likelihood Likelihood RatioRatio))

• Razão entre a probabilidade de um resultado Razão entre a probabilidade de um resultado de um teste em portadores da doença e a de um teste em portadores da doença e a probabilidade do mesmo resultado em probabilidade do mesmo resultado em indivíduos sem a doença.indivíduos sem a doença.

• Chance de se encontrar um resultado Chance de se encontrar um resultado positivo (RV=) entre doentes e não doentes.positivo (RV=) entre doentes e não doentes.

• RV + = S / 1 - ERV + = S / 1 - E

• Chance de um falso negativo em relação ao Chance de um falso negativo em relação ao verdadeiro negativo.verdadeiro negativo.

• RV - = 1 - S / ERV - = 1 - S / E

Medidas combinadas de acurácia diagnóstica

• Eficiência (Ef) : é a probabilidade de um teste de classificar corretamente indivíduos infectados e não-infectados de uma população com uma dada prevalência.

• Ef = Se*P + (Sp) * (1-P)

• Ef= (VN+VP)/(VN+FN+VP+FP)

• Índice de Youden´s (J): é uma medida da probabilidade de classificação correta que não depende da prevalência.

• J = Se + Sp - 1

Testes Múltiplos (testes independentes)Testes Múltiplos (testes independentes)

• Testes em série ( T s = A+ B+ )

• S s = S A x S B

• E s = EA + EB - EA X EB

• Aumentam a especificidade e o VPP

• Testes em paralelo (T p = A+ U B+ )

• S p = S A+ S B - S A x S B

• a especificidade combinada se um dos dois for negativo

• E p = EA X EB

• Aumentam a sensibilidade, para uma mesma prevalência de doença > VPN.

ConfiabilidadeConfiabilidade

• Capacidade de concordância interna; replicar os mesmos resultados.

• Repetibilidade: grau de variação entre resultados de um mesmo laboratório (dentro de um ensaio, de um dia para outro).

• Reprodutibilidade: grau de variação dos resultados entre laboratórios.

Curvas ROC – Análise de Receiver Operating Characteristic

• Desenvolvida em 1950 para análise de detecção de sinal.Desenvolvida em 1950 para análise de detecção de sinal.

• Afere a performance em termos de pares de sensibilidade Afere a performance em termos de pares de sensibilidade (Se) e 1-Sp para cada valor observado da variável (Se) e 1-Sp para cada valor observado da variável discriminatória.discriminatória.

• Plota gráficamente.Plota gráficamente.

• Estabelece um limiar (ponto de corte) para diferenciar entre Estabelece um limiar (ponto de corte) para diferenciar entre os dois grupos.os dois grupos.

• Independe de unidade de medida – permite Independe de unidade de medida – permite comparabilidade de performancescomparabilidade de performances

• Estatística mais importante é a AUCEstatística mais importante é a AUC

• Testes perfeitos possuem área sob a curva (AUC) = 1Testes perfeitos possuem área sob a curva (AUC) = 1

Figure 3: ROC curve for mean results of five independent readings of PRNT test to smallpox antibodies considering subjects ≥ 35 years old as a gold standard (N = 41 positives and 141 negatives)

ROC Curve

Diagonal segments are produced by ties.

1 - Specificity

1.00.75.50.250.00

Se

nsitiv

ity

1.00

.75

.50

.25

0.00

Figure 2b:Figure 2b: ROC curve for ROC curve for mean mean results of mean value of five results of mean value of five independent readings of PRNT test to independent readings of PRNT test to smallpox antibodies considering 51 subjects ≥ smallpox antibodies considering 51 subjects ≥ 31 years old as a gold standard and 131 31 years old as a gold standard and 131 younger subjects as a control group.younger subjects as a control group.

ROC Curve

Diagonal segments are produced by ties.

1 - Specificity

1.00.75.50.250.00

Se

nsi

tivity

1.00

.75

.50

.25

0.00

1 - Specificity (probability)

1.0.8.5.30.0Se

nsi

tivity

(p

rob

ab

ility

)

1.0

.8

.5

.3

0.0

Fig B

Lm 10ug

Lm 5ug

Area Under the Curve

,858 ,037 ,000 ,785 ,932

,891 ,032 ,000 ,827 ,954

Test Result Variable(s)lm1 5ug

lm1 10ug

Area Std. Errora

AsymptoticSig.

bLower Bound Upper Bound

Asymptotic 95% ConfidenceInterval

The test result variable(s): lm1 5ug, lm1 10ug has at least one tie between the positive actual stategroup and the negative actual state group. Statistics may be biased.

Under the nonparametric assumptiona.

Null hypothesis: true area = 0.5b.

•Curva ROC braziliensis

•Curva ROC major

Figure 1. Area under the curve obtained with Leishmania braziliensis antigen at concentrations of 2.5 and 5.0 µg/mL (Fig. 1.A). We observe that there is almost a perfect separation of the values of the two groups, ie, there is no overlapping of the distributions, the area under the curve almost equals 1 (the ROC curve will reach the upper left corner of the plot) independent of concentrations used. In contrast, with Leishmania major antigen at concentrations of 5.0 and 10.0 µg/mL (Fig. 1.B), we observe a more moderate performance.

•Comparação medias de Densidade Ótica entre apresentações clinicas e segundo antígeno utilizado

Validation and repeatibility of a micro plaque Validation and repeatibility of a micro plaque reduction neutralization test for vaccinia reduction neutralization test for vaccinia

antibodiesantibodies Biologicals, Biologicals, BiologicalsBiologicals. 2008 Mar;36(2):105-10. Epub 2007 Sep . 2008 Mar;36(2):105-10. Epub 2007 Sep

24.24.•Maria Beatriz J. Borgesa, Sayuri E. M. Katoc, Clarissa R.A. Damasoc, Nissin Moussatchéc, Marcos da Silva Freirea, Sonia Regina Lambert Passosb, Jussara Pereira do Nascimentoa,*

Parameters ≥ 35 years (N= 41) ≥ 31 years (N= 51)

Sensitivity % 92.7 (81.3;98.8) 75.4 (61.3;85.0)

Specificity % 90.8 (85.9;94.7) 99.0(96.2; 99.9)

PPV % 73.5 (81.4;98.1) 75.4 (89.0; 94.8)

NPV % 96.2(93.9;99.4) 86.8 (85.1; 94.9)

Accuracy 90.1 (86.4; 94.7) 90.1(87.7; 95.5)

ROC area (AUC)* 0.96 (0.93; 0.98) 0.89 (0.83; 0.95)

ICC 0.89 (0.88; 0.92) 0.89 (0.88; 0.92)

Cut-off 7.9 (5.0; 8.0) 5.9 ( 5.0; 6.0)

IR 6.9 - 13.3 5.0 - 5.4

•Table 1: Validity and repeatibility parameters (95% confidence interval) for PRNT (vaccinia antibodies) considering different age criteria (≥ 31 or ≥ 35 years old) N = 182; 41 subjects > = 35 years and 51 subjects > = 31 years

PRNT1

PRNT2

PRNT3

PRNT4

PRNT5

•Fig 1: Matrix correlation of five PRNT of smallpox antibodies (N = 182)

Cálculo do (s) tamanho (s) de amostra para Cálculo do (s) tamanho (s) de amostra para avaliar sensibilidade e especificidadeavaliar sensibilidade e especificidade

• O mesmo princípio de estudos descritivos (dois O mesmo princípio de estudos descritivos (dois cálculos)cálculos)– estimativa da proporção (P) esperada (sensibilidade ou estimativa da proporção (P) esperada (sensibilidade ou

especificidade) da variável de interesse (casos positivos ou especificidade) da variável de interesse (casos positivos ou negativos) na população.negativos) na população.

– Amplitude do intervalo de confiança (D = semi-amplitude Amplitude do intervalo de confiança (D = semi-amplitude do IC)do IC)

– Definição do IC(geralmente de 95%)Definição do IC(geralmente de 95%)

• N = N = ZZ22 (P (1-P)) (P (1-P)) (D(D22))

Roteiro para determinar a validade de Roteiro para determinar a validade de um testeum teste

• Certifique-se da necessidade do testeCertifique-se da necessidade do teste

• Estabeleça o critério de amostragemEstabeleça o critério de amostragem

• Descreva o teste e o padrão de referênciaDescreva o teste e o padrão de referência

• Descreva os procedimentos para a aplicação Descreva os procedimentos para a aplicação do teste e do padrão de referênciado teste e do padrão de referência

• Calcule o tamanho de amostraCalcule o tamanho de amostra

• Esclareça as questões éticasEsclareça as questões éticas

• Análise dos dados (S, E e VP com IC de 95%)Análise dos dados (S, E e VP com IC de 95%)