técnicas estatísticas para validação de métodos qualitativos

Técnicas Estatísticas para Validação de

Métodos qualitativos

Dorival Leão

NecessidadeCausa

Desenvolvimento tecnológico

Teste mais rápidos e efetivos

Aumento da produtividade

Efeito

Substituir as metodologias atuais por metodologias de ensaio mais “eficientes”

Princípios físicos e/ou químicos distintos

Validação de Métodos• “A validação deve garantir, através de estudos experimentais,

que o método atenda às exigências das aplicações analíticas, assegurando a confiabilidade dos resultados” (ANVISA).

• “Validação é o processo de definir uma exigência analítica e confirmar que o método sob investigação tem capacidade de desempenho consistente com o que a aplicação requer” (ISO/IEC 17025).

• “A validação de métodos assegura a credibilidade destes durante o uso rotineiro, sendo algumas vezes mencionado como o “processo que fornece uma evidência documentada de que o método realiza aquilo para o qual é indicado para fazer” (USP).

Validação de Métodos qualitativos

Métodos qualitativos

Os resultados são expressos em termos de presença ou ausência, assim como os procedimentos de confirmação e identificação

Ensaios para validação

Especificidade

Exatidão e PrecisãoLimite de detecçãoRobustez

Ensaios MicrobiológicosEnsaios Presença e ausência de Micro-

organismos

Contagem de Micro-organismos (Quantitativo Discreto);

Tecnologias baseadas

CrescimentoViabilidadeComponentes celularesÁcido nucleico

Modelo Logístico• é o valor da variável explicativa; • é a quantidade de replicatas (número de

ensaios); • número de replicatas detectada com

micro-organismos em replicatas;• n é o total de combinações.

𝑃 [𝑌 𝑖=𝑦 𝑖 ]=(𝑚𝑖𝑦 𝑖 )𝜋 𝑖

𝑦 𝑖(1−𝜋 𝑖❑)𝑚𝑖− 𝑦 𝑖

Suponha uma amostra de n observações independentes da terna

Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que Para adequarmos a resposta média ao modelo linear usamos a função de ligação

que pode ser escrita como

Modelo Logístico

Modelo Logístico com negativo

Modelo Logístico com positivo

Ensaios

Limite de detecção

Menor quantidade de micro-organismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidasrefere-se ao número de micro-organismos presentes na amostra original antes da diluição ou inoculação

Experimento 1Realizar o teste com uma baixa concentração de micro-organismos e aumentar a concentração até que pelo menos 50% das amostras sejam detectadas no método tradicional

Teste UFC Replicata DetecçãoAlternativo 2 30 0Alternativo 2,5 30 3Alternativo 3 30 7Alternativo 3,5 30 11Alternativo 4 30 14Alternativo 4,5 30 18Alternativo 5 30 22Alternativo 5,5 30 25Alternativo 6 30 28Alternativo 6,5 30 30Tradicional 2 30 0Tradicional 2,5 30 0Tradicional 3 30 0Tradicional 3,5 30 2Tradicional 4 30 5Tradicional 4,5 30 8Tradicional 5 30 11Tradicional 5,5 30 13Tradicional 6 30 15Tradicional 6,5 30 17

Ensaio Realizado em paralelo.

Modelo Logístico

  EstimativaDesvio Padrão

Teste de Wald P-Valor

Limite Inferior

Limite Superior

Intercepto -5,02 0,453 -11,08 0 -5,904 -4,129Teste-

Tradicional -2,04 0,249 -8,22 0 -2,531 -1,557UFC 1,22 0,103 11,86 0 1,020 1,424

em que : probabilidade detecção

O método de teste alternativo apresenta um limite de detecção maior que o método de teste tradicional (P-valor abaixo de 0,01%).

Ensaio 2Executar o teste em paralelo em três (ou duas) concentrações distintas.

MétodoConcentraç

ão Replicatas Detecção

Alternativo 15 20 16

Alternativo 45 20 20

Tradicional 15 20 12

Tradicional 45 20 19

Modelo Logístico

em que : probabilidade detecção

O método de teste alternativo apresenta um limite de detecção similar ao método tradicional(P-valor de 11%).

  EstimativaDesvio Padrão

Teste de Wald P-Valor

Limite Inferior

Limite Superior

Intercepto 0,020 0,83 0,02 0,98 -1,61 1,65MetodoT -1,11 0,70 -1,60 0,11 -2,48 0,25

Conc 0,096 0,036 2,68 0,0074 0,026 0,17

Teste Qui-Quadrado de homogeneidade

N_Detectou Deteccao

Gráfico da Tabela Cruzada

Pro

porç

ão

0.0

0.2

0.4

0.6

0.8

1.0

1.2

AlternativoTradicional

Tabela Cruzada Ausente Presente

Total

Alternativo 5 25 30Tradicional 17 13 30

Total 22 38 60

Teste Qui-Quadrado Estatistica X² 8,68

Graus de Liberdade 1

P-Valor 0,0032

Teste Exato de Fisher Estimativa Odds 0,16

P-Valor 0,0028

Ensaio 3: • Determinar uma

concentração específica de micro-organismos;

• Executar um ensaio paralelo entre os dois métodos.

Conclusão:• Tanto o teste exato de Fisher quanto o teste

qui-quadrado detectaram diferenças entre os dois métodos;

• O teste alternativo apresenta maior “chance” de detecção;

Cálculo do Tamanho da Amostra

Método Detecção Tamanho da Amostra

Alternativo 0,8

13Tradicional 0,4

Alternativo 0,8

26Tradicional 0,6

Alternativo 0,75

38Tradicional 0,87Alternativo 0,8

93Tradicional 0,9

Nível de significância: 0,05Poder: 0,95

Crescimento

Capacidade de detectar variedades de micro-

organismos diferentes, que podem estar

presentes na amostra.

Outros

Capacidade de detectar micro-organismos

diferenciando-os de partículas externas,

não deixando com que elas interfiram no resultado do teste.

Especificidade

Exatidão e Precisão• A exatidão e a precisão de um

método alternativo pode ser expressa como a razão relativa de resultados falso positivos e falso negativos entre o método alternativo e o método tradicional, utilizando-se inóculos padronizados com uma baixa concentração de micro-organismos.

Teste Tradicional / referência

+ -

Teste Alternativo

+ Verdadeiro Positivo Falso Positivo

- Falso NegativoVerdadeiro Negativo

A relação entre Teste Alternativo e Teste Tradicional

Teste Tradicional / Referência

TotalPresente Ausente

Teste Alternati

vo

Presente

aVerdadeiro

Positivob

Falso Positivo a+b

Ausente

cFalso

Negativo

dVerdadeiro Negativo c+d

Total a+c b+d a+b+c+d

Sensibilidade e Especificidade

e

Sensibilidade

Probabilidade do teste alternativo detectar

dado que o teste tradicional (ou

referência) detecta

Especificidade

Probabilidade do teste alternativo não

detectar dado que o teste tradicional (ou

referência) não detecta

Coeficiente Kappa de Cohen• É uma medida estatística da

concordância de dois avaliadores quando ambos classificam a mesma amostra;

𝐾𝑎𝑝𝑝𝑎=(Pr (𝑜 )−Pr (𝑒))

(1−Pr (𝑒))¿¿

Tabela Cruzada

Teste Tradicional

TotalPresente Ausente

Teste Alternativo

Presente 20 8 28

Ausente 0 12 12

Total 20 20 40

Grau de Concordância

Tabela de Proporção

Teste Tradicional

TotalPresente Ausente

Teste Alternativo

Presente 0,5 0,2 0,7

Ausente 0 0,3 0,3

Total 0,5 0,5 1

Esperado

Teste TradicionalPresente Ausente

Teste Alternativo

Presente0,35 0,35

Ausente0,15 0,15

Tabela Cruzada

Teste Tradicional

TotalPresente Ausente

Teste Alternativo Presente 19 2 28

Ausente 1 18 12

Total 20 20 40

Grau de Concordância

Tabela de Proporção

Teste Tradicional

TotalPresente Ausente

Teste Alternativo

Presente 0,475 0,05 0,525

Ausente 0,025 0,45 0,3

Total 0,5 0,5 1

EsperadoTeste Tradicional

Presente Ausente

Teste Alternativo

Presente0,2625 0,2625

Ausente0,15 0,15

Robustez• Consiste em medir a capacidade do

método apresentar resultados “similares” quando submetido a pequenas alterações intencionais;

• Fornece indicação da confiabilidade durante o uso rotineiro.

EnsaioExecutar o método com diferentes analistas e temperaturas distintas. Neste caso, realizamos um experimento cruzado totalmente aleatoriazado.

Analista TemperaturaTamanho da

AmostraDetecçã

o

A A 30 25A B 30 23B A 30 27B B 30 22

Modelo Logístico

  Estimativa Desvio Padrão Teste de WaldP-

Valor Limite Inferior Limite SuperiorIntercepto 1,82 0,44 4,12 0 0,95 2,68AnalistaB 0,11 0,47 0,23 0,81 -0,81 1,03

TemperaturaB -0,77 0,48 -1,60 0,11 -1,72 0,17

AnalistaTemperatu

ra Prob. Ajustada LI LSDesvio Padrão

A A 0,86 0,76 0,96 0,05A B 0,74 0,60 0,88 0,07B A 0,87 0,77 0,97 0,05B B 0,76 0,62 0,90 0,07

Conclusão: Como o P-valor para analistas e temperatura são “grandes”, concluímos que a interferência dos analistas e da temperatura (na faixa de estudo) são desprezíveis.

Referências Bibliográficas• PDA, J. of Pharmaceutical Science and

Technology, technical report 3, Evaluation, Validation, and Implementation of New Microbiological Testing Methods.

• Leão JÚNIOR, D. ; AOKI, Reiko ; SILVA, G. F. . Statistical analysis of proficiency testing results under elliptical distributions. Computational Statistics & Data Analysis, v. 53, p. 1427-1439, 2009.