filipe de medeiros albano - redemetrologica.com.br de... · relação entre validação de métodos...

Relação entre Validação de Métodos e Ensaios de Proficiência

Eng. Filipe de Medeiros Albano, Dr.

Fundação da Rede Metrológica RS23 DE NOVEMBRO DE 1992

23 anos

Sede na FIERGS

281 LABORATÓRIOS ASSOCIADOS

REDE METROLÓGICA RS:

EXPERIÊNCIA EM PEP (na área de Ensaios)

Qualificações

Ensaios: Materiais e Produtos

• Corrosão em Metais;

• Móveis;

• Ensaios Mecânicos;

• Metalografia;

• Carvão;

• Saneantes;

• Combustíveis.

Ensaios: Área Ambiental (águas)

• Físico-Química geral (MA);

• Compostos Voláteis;

• Cromatografia Iônica;

• Microbiologia;

• Amostragem (água superficial e subterrânea);

• Ecotoxicologia;

• Hidrobiologia;

• Agrotóxicos

Ensaios: Agropecuária e Alimentos

• Azeite de Oliva• Bebidas (vinhos, cachaça, sucos,

espumante, cerveja, destilados)

• Vacina de F. Aftosa• Anemia Inf. Equina

• Sanidade Aviária• Resíduos Med. Vet.

• Grãos (Arroz, feijão)

• Sementes (soja, trigo)

• Carnes (patê)

PEP Customizados

• Ensaios em lonas de freios;

• Agrotóxicos em geléias;

• Micotoxinas em amendoim;

• Análise eficiência de Inseticidas;

• Ensaios em fornos, fogões e aquecedores;

PEP in company:

Fumo (Souza Cruz);

PP/PE/EVA (Braskem);

Sangue (Hemorgs);

Água e Esgoto (Corsan);

Água Superficial (ANA).

Lógica da Avaliação de Desempenho(valor de consenso)

Avaliação de Desempenho - Exatidão

PT

PTXXZ i

σ

)( −=

O Escore Z da média das três medições de cada laboratório, que avalia a exatidão do laboratório, foi obtido pela equação:

Xi é a média aritmética dos resultados obtidos pelo participante;

XPT é o valor da média robusta do conjunto de dados (valor designado como referência) ;

é o desvio robusto.PTσ

Lógica:

| Z | ≤ 2 Resultado Satisfatório

2 < | Z | < 3 Resultado Questionável| Z | ≥ 3 Resultado Insatisfatório

Avaliação de Desempenho - Precisão

O Z score interno é calculado considerando a repetitividade dos laboratórios

(variação interna das suas medições), conforme segue:

IQR

DMedianaDZI olaboratóri )(−

=

Onde:

Dlaboratório = Amplitude padronizada das vias do laboratório participante.

Mediana (D) = Mediana das amplitudes padronizadas dos laboratórios participantes

IQR = Amplitude Interquartílica normalizada das amplitudes padronizadas dos

laboratórios participantes.

Onde,IQR = [3° Quartil (D) – 1° Quartil (D)] x 0,7413

Nesta avaliação os problemas de precisão são assinalados somente

quando o z-score é positivo e maior do que 2 ou 3.

Lógica:

Z ≤ 2 Resultado Satisfatório

2 < Z < 3 Resultado QuestionávelZ ≥ 3 Resultado Insatisfatório

2

Se o z-score for negativo (mesmo sendo -2,3, por exemplo), o resultado indica que o laboratório é muito repetitivo, quando comparado com o grupo.

Ver

pre

cis

ão

Ver

exatidão

Código do Laboratório Método/Técnica 1ª via

%(v/v) 2ª via %(v/v)

Média das vias %(v/v)

Amplitude Padronizada

Z Score interno - Precisão

Z Score da Média -

Exatidão

BEB_6 Acessório hidrostático; 9,86 9,85 9,86 0,0071 -0,2569 0,8398

BEB_7 Densimetria eletrônica; 9,77 9,74 9,76 0,0212 0,2569 -0,1506

BEB_8 Acessório hidrostático; 9,75 9,79 9,77 0,0283 0,5139 -0,0021

BEB_9 Densimetria eletrônica; 9,92 9,92 9,92 0,0000 -0,5139 1,4835

BEB_10 Densimetria eletrônica; 9,77 9,77 9,77 0,0000 -0,5139 -0,0021

BEB_11 Acessório hidrostático; 9,67 9,65 9,66 0,0141 0,0000 -1,0915

BEB_12 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951

BEB_13 Densimetria eletrônica; 9,65 9,67 9,66 0,0141 0,0000 -1,0915

* BEB_14 Densimetria eletrônica; 9,62 9,74 9,68 0,0849 2,5695 -0,8934

BEB_15 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951

BEB_16 Densimetria eletrônica; 9,86 9,83 9,85 0,0212 0,2569 0,7407

** * BEB_21 Alcoômetro. 9,40 9,60 9,50 0,1414 4,6251 -2,6761

BEB_22 Acessório hidrostático; 9,75 9,75 9,75 0,0000 -0,5139 -0,2001

BEB_24 Acessório hidrostático; 9,86 9,84 9,85 0,0141 0,0000 0,7902

BEB_25 Alcoômetro. 9,68 9,63 9,66 0,0354 0,7708 -1,1410

BEB_26 Acessório hidrostático; 9,75 9,69 9,72 0,0424 1,0278 -0,4973

BEB_27 Alcoômetro. 9,92 9,83 9,88 0,0636 1,7986 1,0378

BEB_28 Acessório hidrostático; 9,74 9,73 9,74 0,0071 -0,2569 -0,3487

BEB_29 Densimetria eletrônica; 9,84 9,85 9,85 0,0071 -0,2569 0,7407

BEB_30 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951

** BEB_31 Picnometria; 10,16 *** 10,16 - - 3,8605

BEB_32 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951

* BEB_33 Densimetria eletrônica; 9,60 9,70 9,65 0,0707 2,0556 -1,1905

* BEB_34 Alcoômetro. 9,80 9,70 9,75 0,0707 2,0556 -0,2001

* Laboratório com resultado questionável; ** Laboratório com resultado insatisfatório; *** Resultado da via não fornecido.

Grau Alc. Real a 20°C –Vinho Tinto (PEP15/R1): Alvo = 9,77% Ampl. Máxima = 0,069

Z Exatidão:

Z Precisão:

Z Exatidão:

Z Precisão:

Z Exatidão:

Z Precisão:

Z Exatidão:

Z Precisão:

Interpretando ...

PEP QUALITATIVO

• Avaliação apenas da exatidão:

– Verificação da concordância com o valor de referência (conforme x não-conforme)

• Valor de Referência por consenso (Moda do Grupo);

• Valor de um Laboratório de Referência Oficial.

• Precisão é avaliada internamente, com estudos de R&R.

Afinal, qual a ligação entre PEP e Validação?

MIND MAP

E a ISO/IEC 17025 implementada em um Lab. gera melhores resultados em PEP?

Resultados:

Cenário:

• 9 Analitos, total de 896 dados;

• 92 laboratórios;

• PEP acreditado ISO/IEC 17043

Objetivo:

• Analisar diferenças de desempenho entre labsacreditados, reconhecidos e sem SGQ com ISO/IEC 17025 implementada;

• Análise de dados SPSS: ANOVA, Dunnet, Chi-Quadrado

Resultados:

Chi-Squared test (% satisfactory, questionable and unsatisfactory results) – p value:0,022

Labs NIQS have a significant higher % of unsatisfactory and questionable results than

accredited and recognized.

Considerações Finais:

1. Confiabilidade Analítica: Precisão + Exatidão (ao longo do tempo) -pode se apoiada por controle externos de qualidade;

2. Existe relação direta entre validação e PEP;

3. A ISO/IEC 17025 tem como objetivo principal a confiabilidade. A sua implantação pode influenciar positivamente resultados de PEP e consequentemente a melhoria de desempenho do laboratório.

4. A validação deve ser acompanhada periodicamente (não adianta fazer apenas uma vez na vida e nunca mais verificar o desempenho do método) – de forma interna e externa.

Referências:

Albano F, Ten Caten C (2014) Proficiency tests for laboratories: a systematic review. Accred Qual Assur 9:245–257. DOI:10.1007/s00769-014-1061-8.

Boley N (2004) Uses and abuses of PT. Accred Qual Assur. 9(10):633–634. DOI:10.1007/s00769-004-0797-y.

Monteiro L, Graffitti D, Albano F, Porfırio D, Fernandes J, Laercio P, Cotrim M, Pires M (2013) Evaluation of a Brazilian ion chromatography interlaboratory study. Accred Qual Assur 18:207–215. DOI:10.1007/s00769-013-0987-6.

Albano, F. Raya-Rodriguez. Validação e Garantia da Qualidade de Ensaios Laboratoriais. RMRS, 2° ed. Porto Alegre, 2015.

ISO 13528 (2005) Statistical methods for use in proficiency testing by interlaboratory comparisons. International Organization for Standardization, Geneva.

ISO/IEC 17025 (2005) General requirements for the competence of testing and calibration laboratories. International Organization for Standardization, Geneva.

ISO/IEC 17043 (2010) Conformity assessment—general requirements for proficiency testing. International Organization for Standardization, Geneva.

Albano, F. Faustini, L (2015). The influence of a quality system according to ISO/IEC 17025 on the performance of Brazilian laboratories in proficiency testing in the environmental area . Accred Qual Assur. DOI 10.1007/s00769-015-1181-9

Albano, F. Caten, C (2016). Analysis of the relationships between proficiency testing, validation of methods and estimation of measurement uncertainty: a qualitative study with experts. Accred Qual Assur. DOI 10.1007/s00769-016-1194-z

Muito Obrigado!

Eng. Filipe Albano, Dr.Gerente da Qualidade da Rede Metrológica RS

Professor da Graduação e Pós-Graduação da Engenharia da PUCRS

Coordenador da Linha de Pesquisa “Avaliação da Conformidade” LESP/PUCRS

qualidade@redemetrologica.com.br

filipe.albano@pucrs.br

OBRIGADUU!