técnicas estatísticas para validação de métodos qualitativos dorival leão
TRANSCRIPT
Técnicas Estatísticas para Validação de
Métodos qualitativos
Dorival Leão
Necessidade
Causa
Desenvolvimento tecnológico
Teste mais rápidos e efetivos
Aumento da produtividade
Efeito
Substituir as metodologias atuais por metodologias de ensaio mais “eficientes”
Princípios físicos e/ou químicos distintos
Validação de Métodos• “A validação deve garantir, através de estudos experimentais,
que o método atenda às exigências das aplicações analíticas, assegurando a confiabilidade dos resultados” (ANVISA).
• “Validação é o processo de definir uma exigência analítica e confirmar que o método sob investigação tem capacidade de desempenho consistente com o que a aplicação requer” (ISO/IEC 17025).
• “A validação de métodos assegura a credibilidade destes durante o uso rotineiro, sendo algumas vezes mencionado como o “processo que fornece uma evidência documentada de que o método realiza aquilo para o qual é indicado para fazer” (USP).
Validação de Métodos qualitativos
Métodos qualitativos
Os resultados são expressos em termos de presença ou ausência, assim como os procedimentos de confirmação e identificação
Ensaios para validação
Especificidade
Exatidão e PrecisãoLimite de detecçãoRobustez
Ensaios Microbiológicos
Ensaios Presença e ausência de Micro-organismos
Contagem de Micro-organismos (Quantitativo Discreto);
Tecnologias baseadas
Crescimento
Viabilidade
Componentes celulares
Ácido nucleico
Modelo Logístico
• é o valor da variável explicativa; • é a quantidade de replicatas (número de
ensaios); • número de replicatas detectada com
micro-organismos em replicatas;• n é o total de combinações.
𝑃 [𝑌 𝑖=𝑦 𝑖 ]=(𝑚𝑖
𝑦 𝑖)𝜋 𝑖
𝑦 𝑖(1−𝜋 𝑖❑)𝑚𝑖− 𝑦 𝑖
Suponha uma amostra de n observações independentes da terna
Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que Para adequarmos a resposta média ao modelo linear usamos a função de ligação
que pode ser escrita como
Modelo Logístico
Modelo Logístico com negativo
Modelo Logístico com positivo
Ensaios
Limite de detecção
Menor quantidade de micro-organismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidas
refere-se ao número de micro-organismos presentes na amostra original antes da diluição ou inoculação
Experimento 1Realizar o teste com uma baixa concentração de micro-organismos e aumentar a concentração até que pelo menos 50% das amostras sejam detectadas no método tradicional
Teste UFC Replicata DetecçãoAlternativo 2 30 0Alternativo 2,5 30 3Alternativo 3 30 7Alternativo 3,5 30 11Alternativo 4 30 14Alternativo 4,5 30 18Alternativo 5 30 22Alternativo 5,5 30 25Alternativo 6 30 28Alternativo 6,5 30 30Tradicional 2 30 0Tradicional 2,5 30 0Tradicional 3 30 0Tradicional 3,5 30 2Tradicional 4 30 5Tradicional 4,5 30 8Tradicional 5 30 11Tradicional 5,5 30 13Tradicional 6 30 15Tradicional 6,5 30 17
Ensaio Realizado em paralelo.
Modelo Logístico
EstimativaDesvio Padrão
Teste de Wald P-Valor
Limite Inferior
Limite Superior
Intercepto -5,02 0,453 -11,08 0 -5,904 -4,129Teste-
Tradicional -2,04 0,249 -8,22 0 -2,531 -1,557UFC 1,22 0,103 11,86 0 1,020 1,424
em que
: probabilidade detecção
O método de teste alternativo apresenta um limite de detecção maior que o método de teste tradicional (P-valor abaixo de 0,01%).
Ensaio 2
Executar o teste em paralelo em três (ou duas) concentrações distintas.
MétodoConcentraç
ão Replicatas Detecção
Alternativo 15 20 16
Alternativo 45 20 20
Tradicional 15 20 12
Tradicional 45 20 19
Modelo Logístico
em que
: probabilidade detecção
O método de teste alternativo apresenta um limite de detecção similar ao método tradicional(P-valor de 11%).
EstimativaDesvio Padrão
Teste de Wald P-Valor
Limite Inferior
Limite Superior
Intercepto 0,020 0,83 0,02 0,98 -1,61 1,65MetodoT -1,11 0,70 -1,60 0,11 -2,48 0,25
Conc 0,096 0,036 2,68 0,0074 0,026 0,17
Teste Qui-Quadrado de homogeneidade
N_Detectou Deteccao
Gráfico da Tabela Cruzada
Pro
po
rçã
o
0.0
0.2
0.4
0.6
0.8
1.0
1.2
AlternativoTradicional
Tabela Cruzada Ausente Presente
Total
Alternativo 5 25 30Tradicional 17 13 30
Total 22 38 60
Teste Qui-Quadrado
Estatistica X² 8,68Graus de Liberdade 1
P-Valor 0,0032
Teste Exato de Fisher
Estimativa Odds 0,16
P-Valor 0,0028
Ensaio 3: • Determinar uma
concentração específica de micro-organismos;
• Executar um ensaio paralelo entre os dois métodos.
Conclusão:• Tanto o teste exato de Fisher quanto o teste
qui-quadrado detectaram diferenças entre os dois métodos;
• O teste alternativo apresenta maior “chance” de detecção;
Cálculo do Tamanho da Amostra
Método Detecção Tamanho da Amostra
Alternativo 0,8
13Tradicional 0,4
Alternativo 0,8
26Tradicional 0,6
Alternativo 0,75
38Tradicional 0,87
Alternativo 0,8
93Tradicional 0,9
Nível de significância: 0,05Poder: 0,95
Crescimento
Capacidade de detectar variedades de micro-
organismos diferentes, que podem estar
presentes na amostra.
Outros
Capacidade de detectar micro-organismos
diferenciando-os de partículas externas,
não deixando com que elas interfiram no resultado do teste.
Especificidade
Exatidão e Precisão
• A exatidão e a precisão de um método alternativo pode ser expressa como a razão relativa de resultados falso positivos e falso negativos entre o método alternativo e o método tradicional, utilizando-se inóculos padronizados com uma baixa concentração de micro-organismos.
Teste Tradicional / referência
+ -
Teste Alternativo
+ Verdadeiro Positivo Falso Positivo
- Falso NegativoVerdadeiro Negativo
A relação entre Teste Alternativo e Teste Tradicional
Teste Tradicional / Referência
TotalPresente Ausente
Teste Alternati
vo
Presente
aVerdadeiro
Positivob
Falso Positivo a+b
Ausente
cFalso
Negativo
dVerdadeiro Negativo c+d
Total a+c b+d a+b+c+d
Sensibilidade e Especificidade
e
Sensibilidade
Probabilidade do teste alternativo detectar
dado que o teste tradicional (ou
referência) detecta
Especificidade
Probabilidade do teste alternativo não
detectar dado que o teste tradicional (ou
referência) não detecta
Coeficiente Kappa de Cohen
• É uma medida estatística da concordância de dois avaliadores quando ambos classificam a mesma amostra;
𝐾𝑎𝑝𝑝𝑎=(Pr (𝑜 )−Pr (𝑒))
(1−Pr (𝑒))¿¿
Tabela Cruzada
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 20 8 28
Ausente 0 12 12
Total 20 20 40
Grau de Concordância
Tabela de Proporção
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 0,5 0,2 0,7
Ausente 0 0,3 0,3
Total 0,5 0,5 1
Esperado
Teste Tradicional
Presente Ausente
Teste Alternativo
Presente0,35 0,35
Ausente0,15 0,15
Tabela Cruzada
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 19 2 28
Ausente 1 18 12
Total 20 20 40
Grau de Concordância
Tabela de Proporção
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 0,475 0,05 0,525
Ausente 0,025 0,45 0,3
Total 0,5 0,5 1
Esperado
Teste Tradicional
Presente Ausente
Teste Alternativo
Presente0,2625 0,2625
Ausente0,15 0,15
Robustez
• Consiste em medir a capacidade do método apresentar resultados “similares” quando submetido a pequenas alterações intencionais;
• Fornece indicação da confiabilidade durante o uso rotineiro.
EnsaioExecutar o método com diferentes analistas e temperaturas distintas. Neste caso, realizamos um experimento cruzado totalmente aleatoriazado.
Analista TemperaturaTamanho da
AmostraDetecçã
o
A A 30 25
A B 30 23
B A 30 27
B B 30 22
Modelo Logístico
Estimativa Desvio Padrão Teste de WaldP-
Valor Limite Inferior Limite Superior
Intercepto 1,82 0,44 4,12 0 0,95 2,68AnalistaB 0,11 0,47 0,23 0,81 -0,81 1,03
TemperaturaB -0,77 0,48 -1,60 0,11 -1,72 0,17
AnalistaTemperatu
ra Prob. Ajustada LI LSDesvio Padrão
A A 0,86 0,76 0,96 0,05A B 0,74 0,60 0,88 0,07B A 0,87 0,77 0,97 0,05B B 0,76 0,62 0,90 0,07
Conclusão: Como o P-valor para analistas e temperatura são “grandes”, concluímos que a interferência dos analistas e da temperatura (na faixa de estudo) são desprezíveis.
Referências Bibliográficas
• PDA, J. of Pharmaceutical Science and Technology, technical report 3, Evaluation, Validation, and Implementation of New Microbiological Testing Methods.
• Leão JÚNIOR, D. ; AOKI, Reiko ; SILVA, G. F. . Statistical analysis of proficiency testing results under elliptical distributions. Computational Statistics & Data Analysis, v. 53, p. 1427-1439, 2009.