comparabilidade intralaboratorial em … · coeficiente kappa de cohende cohen ob d 2 matriz de...

COMPARABILIDADE

INTRALABORATORIAL

EMEM

MICROSCOPIA

Tópicos Abordados p

P li id d M d lPeculiaridades na

microscopiaAnálise geral do processo

Modelos estatísticos de comparaçãomicroscopia comparação

Microscopiap

VariabilidadeVariabilidade

Dificuldades

Interpretação p çdo

microscopista

Variabilidade

Padronização do processo de realização de cada exame que envolve microscopia

• Pré analítico• Pré-analítico

• Analítico

Pré-Analítico

informações do pacienteinformações do paciente

Requisiçãodados clínicosdados clínicos

Requisição de exames

hipóteses diagnósticas.

hipóteses diagnósticas.

Pré-Analítico

ArmazenamentoArmazenamentoTransporte

Tempo até chegar à área técnicaRastreabilidadeMaterial Rastreabilidade

IdentificaçãoMaterial Biológico

Preservação.

Analítico

Qualidade dos reagentes e Coloraçãog

corantes

P dê i

ç

I t õ d• Procedência• Data de validade

• Instruções de trabalho escritas

• Controle de qualidade na coloração

Gestão dos microscópiosp

manutenções diárias, mensais e semestraismanutenções diárias, mensais e semestrais

reduzir o número dereduzir o número dereduzir o número de defeitos e quebrasreduzir o número de defeitos e quebras

Q lid d d iQ lid d d iQualidade das imagensQualidade das imagens

Interpretação do Microscopistap ç p

Uniformidade Uniformidade Uniformidade Uniformidade Uniformidade

no Uniformidade

no Uniformidade na

interpretação

Uniformidade na

interpretação

Uniformidade de conceitos morfológicos

Uniformidade de conceitos morfológicos

no conhecimento

teórico das patologias

no conhecimento

teórico das patologias

TreinamentoTreinamento

patologiaspatologias

Treinamento

Para manter adequado padrão dePara manter adequado padrão dePara manter adequado padrão de competência

Para manter adequado padrão de competência

Programa de integração de novos Programa de integração de novos g g çfuncionários

g g çfuncionários

Treinamentos teóricosTreinamentos teóricosTreinamentos teóricosTreinamentos teóricos

Treinamentos práticosTreinamentos práticos

Contínuo aprimoramento diárioContínuo aprimoramento diário

Avaliação da competênciaAvaliação da competência

Exemplop

OMS possui um Programa de Competência para detecção de Malária:

5 dias de treinamentos teóricos práticos- 5 dias de treinamentos teóricos práticos.- Ao final, numa avaliação são analisadas 20

lâminas com tempo de 10 minutos para cada.

Exemplop

Avaliação final de Competência adotada pela OMS num

A li ã E tidã Q tifi ã d

Avaliação final de Competência adotada pela OMS num programa de competência para detecção de Malária

Avaliação Exatidão na identificação das

espécies

Quantificação dos parasitas

Perito ≥ 90% ≥ 50%

Referência ≥ 80% ≥ 40%

Avançado ≥ 70% ≥ 30%

Em treinamento < 70% < 30%

Modelos Estatísticos para Comparaçãop p ç

Criar uma forma de avaliação de comparação objetiva.comparação objetiva.

Critérios definidos matematicamente

Análise microscópica qualitativa eAnálise microscópica qualitativa e quantitativa

MODELOS ESTATÍSTICOS PARA ÃCOMPARAÇÃO

1- Tabela de Rümke* - utilidades

- Comparação entre microscopista(s) e uma contagem padrão;

- Monitoramento de variações nas contagens de leucócitos de um mesmo paciente; p

- Na validação de analisadores hematológicos.

* Henry, J.B. - Diagnósticos Clínicos e Tratamento por Métodos Laboratoriais. y g p20a Edição, Manole, 2008, pags 592 - 593

1 - TABELA DE RÜMKE

Contagem diferencial de leucócitos: Estagiário x CoordenadorEstagiário x Coordenador

Contagem Diferencial de Leucócitos: Estagiário e Coordenador ( n = 100 )

Leucócito Média (%) do Coordenador

Estagiário (%)Lâmina 1

Média (%) do Coordenador

Estagiário (%)Lâmina 2

(a) Lâmina 1 (a) Lâmina 2

Bastonetes 2 1 8 10

Segmentados 15 13 75 71

Eosinófilos 2 1 0 0Eosinófilos 2 1 0 0

Basófilos 0 0 0 0

Linfócitos 20 23 14 17

Monócitos 1 0 3 2

Blastos 60 62 0 0

Avaliação dos resultadosLâmina 1

C d d

Lâmina 1

E t iá i

IC 95%

V i ã itá lCoordenador Estagiário Variação aceitável para n = 100

2 1 0 0 7 02 1 0,0 - 7,0

15 13 8,6 - 23,5

2 1 0,0 - 7,0

0 0 0,0 - 3,6

20 23 12,7 - 29,220 23 12,7 29,2

1 0 0,0 - 5,4

60 62 49,7 - 69,7

Avaliação dos resultadosLâmina 2

C d d

Lâmina 2

E t iá i

IC 95%

V i ã itá lCoordenador Estagiário Variação aceitável para n = 100

8 10 3 1 28 10 3,5 - 15,2

75 71 65,3 - 83,1

0 0 0,0 - 3,6

0 0 0,0 - 3,6

14 17 8,0 - 23,014 17 8,0 23,0

3 2 0,6 - 8,5

0 0 0,0 - 3,6

2 - ESTATÍSTICA DE CHAUVENET

A t tí ti d Ch t li d l it d l d- A estatística de Chauvenet avalia a presença de leituras deslocadas (outliers: valores discrepantes) em um grupo de dados provenientes de dois ou mais microscopistas.

- Os valores discrepantes fazem com que o desvio-padrão e o coeficiente de variação da distribuição fiquem elevados, mostrando imprecisão nas ç ç q , pleituras. Através do cálculo do Fator da distribuição e, principalmente, do range de Chauvenet percebemos quais são as leituras discrepantes (outliers)(outliers).

*Jones, R.G., Payne R.B – Clinical Investigation and Statistics in Laboratory Medicine, ACB V P bli i 199 L d 22 2Venture Publications, 1997, London, pag. 22-25.

*Lynch’s Medical Laboratory Technology. Raphael, S.S. Igaku-Shoin/ Saunders InternationalLynch s Medical Laboratory Technology. Raphael, S.S. Igaku Shoin/ Saunders International Edition. W.B. Saunders Company. 1983, p.47-48.

Tabela de ChauvenetFatores de Chauvenet em relação ao número (n)

de participantes.de participantes.

n Fator n Fator n Fator

2 1,15 9 1,91 35 2,45

3 1 38 10 1 96 40 2 503 1,38 10 1,96 40 2,50

4 1,54 12 2,04 50 2,58

5 1,65 15 2,13 75 2,71

6 1 73 20 2 24 100 2 816 1,73 20 2,24 100 2,81

7 1,80 25 2,33 200 3,02

8 1,86 30 2,40 500 3,29

Estatística de Chauvenet

1. Fator da distribuição = | Valor – Média |Desvio PadrãoDesvio Padrão

2 Intervalo da Distribuição = Média ± 2 x Desvio Padrão2. Intervalo da Distribuição = Média ± 2 x Desvio Padrão

3. Intervalo de Chauvenet = Média ± Fator de Chauvenet x DP

( Range ideal → 95% IC )( Range ideal 95% IC )

Exemplo: : Estatística de Chauvenet

Urina I: contagem de eritrócitos (mL) em câmara de Neubauer

Dado Urina 1 Urina 2 Urina 3

Microscopista 1 (Experiente) 9 800 7 000 19 000Microscopista 1 (Experiente) 9.800 7.000 19.000

Microscopista 2 (Experiente) 9.500 6.700 17.000



Microscopista 5 (Iniciante) 6.700 3.300 6.000

Média 9.020 5.800 15.800

Desvio Padrão 1.340 1.464 5.540

Fator de Chauvenet para n = 5 1 65 1 65 1 65Fator de Chauvenet para n = 5 1,65 1,65 1,65

Fator da Distribuição ( média – valor ) / DP

1,73 1,70 1,76

Intervalo de Chauvenet( média ± 1,65. DP )

6.808 – 11.231 3.383 – 8.216 6.657 – 24.942

3 - ESTATÍSTICA KAPPA

- Coeficiente Kappa de Cohen* é usado, em geral, para dados nominais f idéi d d dâ i t d i b de fornece uma idéia do grau de concordância entre dois observadores

independentes que realizam uma única leitura de cada amostra.

- Para este teste, sugere-se usar um número de amostras ≥ 5.

- Dados nominais: qualitativos (fem, masc, raça, nomes sem ordem etc).q ( , , ç , )

- Coeficiente Kappa de Fleiss é usado quando os observadores independentes realizam mais de uma leitura de uma mesma amostraindependentes realizam mais de uma leitura de uma mesma amostra necessitando cálculos mais complexos para sua determinação.

* Vieira, A.J., Garrett, J.M. Understanding interobserver agreement: The Kappa Statistic. Farm Med 2005; 37(5): 360-363.

Tabela de de Kappa

Classificação de Concordância frente ao valor de Kappa

Valor de Kappa Concordância

0 00 Sem concordância0,00 Sem concordância

0,01 a 0,19 Mínima, ,

0,20 a 0,39 Discreta

0,40 a 0,59 Moderada

0,60 a 0,79 Boa

0,80 a 1,00 Ótima

Exemplo: Kappa de Cohen

Resultados das análises de 10 protoparasitológicos examinados por dois microscopistas na pesquisa de helmintos nas fezes.

Amostra Observador1

Observador 2

Amostra Observador 1 Observador 2

1 Positiva Positiva 6 Negativa Positiva

2 Positiva Positiva 7 Negativa Negativag g

3 Negativa Positiva 8 Positiva Positiva

4 Positiva Positiva 9 Positiva Positiva

5 Positiva Positiva 10 Positiva Positiva

Matriz de Comparação para cálculo do coeficiente Kappa de Cohencoeficiente Kappa de Cohen

Ob d 2

Matriz de comparação

Observador 2

Total

Característica 1 Característica 2

Característica 1 A B A+B=M1

Observador 1

Característica 2 C D C+D=M0

Total A+C=N1 B+D=N0 N

Cálculo do coeficiente Kappa de Cohen

Concordância observada (CO) = (A + D) / N

Concordância Esperada (CE) = [ (N1/N) x M1/N)] + [ (N0/N) x (M0/N) ]

K ( K) (CO CE) / (1 CE)Kappa ( K) = (CO – CE) / (1-CE)

Matriz de Comparação para cálculo do coeficiente Kappa de Cohencoeficiente Kappa de Cohen

Ob d 2

Matriz de comparação

Observador 2

Total

Característica 1 Característica 2

Característica 1 7 0 7

Observador 1

Característica 2 2 1 3

Total 9 1 10

Cálculo do coeficiente Kappa de Cohen

Concordância Observada (CO) = (7 + 1) / 10 = 0,8

Concordância Esperada (CE) = [(9/10) x (7/10)] + [(1/10) x (3/10)] = 0,66p ( ) [( ) ( )] [( ) ( )] ,

Kappa = (0 8 – 0 66) / (1 – 0 66) = 4 117Kappa = (0,8 – 0,66) / (1 – 0,66) = 4,117

Kappa = 0, 4117 → Concordância moderadapp

4 - REPETITIVIDADE E REPRODUTIBILIDADE ( Kappa de Fleiss )

REPETITIVIDADE: avalia a concordância de leituras repetidas em di õ idê ti l i i t t

( Kappa de Fleiss )

condições idênticas , pelo mesmo microscopista, em curto espaço de tempo.

REPRODUTIVIDADE: avalia a concordância de leituras obtidas em condições diferentes, por diferentes microscopistas, em tempos diferentes.

A Análise de Variância (ANOVA) é uma opção eficiente para este tipo de análise Ela considera os principais componentes de variaçãoanálise. Ela considera os principais componentes de variação ( microscopista e amostras ) e também a interação este eles, o que enriquece a análise.

A Estatística Analítica ou indutiva usa a teoria das probabilidades que permite calcular o risco para determinadas conclusões.

Estatística descritiva: média, mediana, moda, SD, CV etc

ANOVA → Estatística F

Para trabalhar com ANOVA precisamos:

• Criar Hipóteses: Nula (Ho) e Alternativa (Ha)

• Definir o Nível de significância ( α ) do teste: Em geral, escolhido de forma arbitrária como α = 0,05 ( 5%).

• Alfa (α ) = probabilidade escolhida no início da investigação que nos levará a rejeitar a hipótese de nulidade (Ho) se nosso valor de p se encontrara rejeitar a hipótese de nulidade (Ho) se nosso valor de p se encontrar abaixo dela.

• Definir o tamanho da amostra ( n );

Exemplo do uso da estatística Kappa de Fleiss

- Validação de uma nova coloração bacteriológica e Análise da concordância entre as leituras dos Microscopistas

Dois microscopistas: 30 leituras de forma independente e em duplicata- Dois microscopistas: 30 leituras, de forma independente e em duplicata

- Amostras de materiais biológicos: usar corante tradicional (padrão) e novo corante

- Estudo estatístico: software Minitab 15* ( Attribute Agreement Analysis ):

zero ( 0 ): leitura negativa ( 1 ) l it itium ( 1 ): leitura positiva

Atributos = dados não quantitativos

*Campos, M.S - Desvendando o Minitab. M.S. Qualitymark, Rio de Janeiro, p.129-142, 200p y p

Kappa de Fleiss: Atributos

Resultados das leituras microscópicas: Negativas (0) e Positivas (1)

Lâmina M1 Leitura 1

M1Leitura 2

M2 Leitura 1

M2 Leitura 2

Padrão

Kappa de Fleiss: Atributos

Resultados das leituras microscópicas Negativas (0) e Positivas (1)

Lâmina M1 M1 M2 M2 Padrão Leitura 1 Leitura 2 Leitura 1 Leitura 2

Resultados: Kappa de Fleiss - Atributos

R&R: Análise por atributos. Achados estatísticos das leituras microscópicas

R.R dados Quantitativos – Minitab 15

Tabela: Contagem de linfócitos (mm³) de 5 líquidos pleurais, realizada em duplicata, por 3 microscopistas (M1, M2 e M3), no mesmo dia e no dia seguinte.

R.R Crossed com dados Quantitativos

Tabela: Achados estatísticos do estudo R&R crossed

R.R Crossed com dados Quantitativos

100

t

% Contribution% Study Var 200

Components of Variation Resultado by A mostra

50

0

Perc

ent

54321

100

0Part-to-PartReprodRepeatGage R&R

UCL=55 36

M1 M2 M3

54321Amostra

R Chart by MicroscopistaResultado by Microscopista

50

25

Sam

ple

Ran

ge

_R=24,27

UCL=55,36200

100

0

S

LCL=0

240M1 M2 M3

M3M2M10

MicroscopistaXbar Chart by Microscopista

Microscopista * Amostra Interaction240

160

mpl

e M

ean

__X=133,5UCL=151,1

LCL=115,8

240

160ve

rage

M1M2M3

Microscopista

p

80Sam

,

54321

80

Amostra

Av

5 – MICROSCOPIA x AUTOMAÇÃO

Tabela: Controle do número de leucócitos, aumento 400X, sem óleo

Q li l i h l D D B A J Cli P h l 40 457 464 1963Q li l i h l D D B A J Cli P h l 40 457 464 1963•Quality control in hematology. Dorsey, D.B. Am.J.Clin.Pathol. 40:457-464, 1963.•Quality control in hematology. Dorsey, D.B. Am.J.Clin.Pathol. 40:457-464, 1963.

Tabela: Número de Plaquetas e Leucócitos do aparelho avaliados pelo esfregaço corado. Aumento de 1000X, com óleo

•Hematology: a combined theoretical & technical approach. Simmons, A. Philadelphia, W.B. Saunders, 1989, p. 191.•Hematology: a combined theoretical & technical approach. Simmons, A. Philadelphia, W.B. Saunders, 1989, p. 191.

6 – EXAME MICROSCÓPICO SEM ENSAIO DE PROFICIÊNCIA

Recomendações para o Controle Interno de exames

ENSAIO DE PROFICIÊNCIA

microscópicos sem Ensaio de Proficiência:

1. Uso de controle duplo cego;p g ;

2. Comparação entre dois ou mais observadores independentes;

3 Uso de lâminas controle positivas e negativas na rotina;3. Uso de lâminas controle positivas e negativas na rotina;

4. Controle Interlaboratorial;

5 C l ã Clí i L b t i l5. Correlação Clínica e Laboratorial;

6. Apoio e Intercâmbio morfológico.

7- LIMITES PARA DUPLA OBSERVAÇÃO

Tabela: Critérios de Aceitabilidade e Limites de Variação para Dupla Observação independente

Obrigado !

Marcos Antonio Gonçalves Munhoz

Nelson Medeiros Junior

[email protected]

[email protected]

comparabilidade intralaboratorial em … · coeficiente kappa de cohende cohen ob d 2 matriz de...

Documents