revisão sistemática

5/14/2011

1

Revisão Sistemática

Evandro S F Coutinho

Departamento de Epidemiologia e Métodos Quantitativos em Saúde

Escola Nacional de Saúde Pública - Fiocruz

Em 1983 fraturou a fíbula em New Hampshire.Procurou um cirurgião ortopédico nos EUA que deu a seguinte orientação terapêutica:

� Assim que o edema diminuísse, engessar a perna por 6 semanas.

A Fratura de Sir Iain Chalmers

What do I want from health research and researchers when I am a patient? BMJ 1995;310:1315-1318

Cirurgião inglês

� Não engessar� Usar uma tala removível� Andar apoiando na perna o máximo possível

36 horas após

I would like to be randomised

Rev.Sistemática

5/14/2011

2

“The scandalous failure of scientists to cumulate scientifically”Sir Iain Chalmers

Embora atualmente a utilidade de várias intervenções seja testada repetidamente, ainda assim persiste o costume de buscar evidências em estudos isolados, ao invés de olhar para o corpo de evidências produzidas.

Chalmers I. The scandalous failure of scientists to cumulate scientifically. Abstract to paper presented at: Ninth World Congress on Health Information and Libraries; 2005 Sep 20–23; Salvador, Brazil.

http://www.icml9.org/program/public/documents/Chalmers-131623.pdfRev.Sistemática

� Em 1940 havia 2.300 revistas biomédicas.

� Em 1990 havia 25.000 revistas biomédicas.

� A cada mês publicam-se 4.000 fascículos de revistas biomédicas.

NECESSIDADE DE SÍNTESE

� Volume de investigações e publicações. Em 1992 o New England Journal of Medicine e British Medical Journal publicaram cerca de 1.100 artigos. No mundo, são publicados mais de 2 milhões de artigos médicos por ano.

Estima-se que apenas 10-15% dos artigos terão valor científico duradouro.

Rev.Sistemática

5/14/2011

3

REVISÃO NARRATIVA

Rev.Sistemática

Rev.Sistemática

Pergunta: Psicoterapia associada ao tratamento farmacológico é superior ao tratamento isolado?

O que você faria?

Revisão Tradicional ou Narrativa

“Algumas comparações entre psicoterapia e tratamento medicamentososugeriram que o tratamento combinado pode apresentar vantagenssobre tratamentos isolados (ref). Outros estudos não mostraramdiferenças entre psicoterapia e psicoterapia associada a medicamentos(ref) e ainda outros mostraram vantagens para pacientes com terapiacognitivo-comportamental......”

Golfried et al cit by Hunt (1997)

5/14/2011

4

Rev.Sistemática

Revisões narrativas não costumam ser baseadas em um protocolo prévio, em que os procedimentos para identificação, seleção e avaliação dos estudos são explicitados.

Frequentemente a pergunta que se deseja responder é ampla.

Não costuma haver:

a) Critério objetivo para identificação dos estudos.b) Critério objetivo para seleção dos estudos.c) Critério objetivo para a avaliação da qualidade metodológica dos estudos.d) Síntese dos resultados.

Revisão Narrativa

No início dos anos 1980, como médico interno de umhospital na Suíça, ele recebeu um paciente com IAM.

Pergunta: usar ou não usar beta-bloqueador?

Encontrou 4 estudos com conclusões contraditórias

O caso de Mathias EggerBeta-bloqueadores em IAM

Encontrou ainda uma revisão narrativa que conclui pela ineficácia desses medicamentos para prevenir um segundo IAM deu alta para o paciente sem prescrição de beta-bloqueador

Fonte: Borenstein, 2007

Alguns anos mais tarde ele encontrou outra revisão narrativa, publicada na mesma época da primeira, numa revista que não havia no seu hospital. Esta revisão concluiu que os beta-bloqueadores eram eficazes para prevenir um segundo IAM

Rev.Sistemática

5/14/2011

5

The Medical Review Article. State of the Science C. Mulrow - 1987

Avaliação de 50 artigos de revisão publicados no Ann Int Med, Arch Int Med, JAMA, NEJM entre 1985-86

Os artigos foram avaliados quanto à explicitação de diversos tópicos.

Rev.Sistemática

Ann Intern Med 1987; 106:485-8

� Uma forma de investigação científica que faz uso de métodos pré-definidos para avaliar criticamente e integrar estudos, visandominimizar vieses.

Decisões devem ser transparentes e estabelecidas antes de se iniciar a revisão – protocolo.

Rev.Sistemática

Revisão Sistemática

� Os componentes dessa estratégia incluem a busca de todos os estudospotenciamente relevantes e o uso de critérios de seleção explícitos ereprodutíveis.

� Os estudos são avaliados criticamente e seus dados sintetizados. Possíveis discrepâncias entre os resultados são investigadas.

5/14/2011

6

ELEMENTOS DA REVISÃO SISTEMÁTICA

Rev.Sistemática

1. Formular a pergunta de forma objetiva e clara

� A paroxetina, antidepressivo de segunda geração, é eficaz no tratamento do transtorno de ansiedade social (fobia social)?

2. Definir critérios de inclusão e de exclusão de estudos

� Desenho: ensaio clínico randomizado

� Participantes: ambos os sexos, idade igual ou superior a 18 anos, com diagnóstico de fobia social feito segundo critérios do DSM-III ou versões mais recentes.

� Intervenção: paroxetina, qualquer dose ou duração, versusplacebo.

� Desfechos: redução da sintomatologia e melhora.

Rev.Sistemática

5/14/2011

7

3. Identificação de estudosDicas de fontes: www.york.ac.uk/inst/crd/revs.htm

� Referências bibliográficas de artigos.

� Bases eletrônicas: Medline, Cochrane Controlled Trials Register, Biological Abstracts, Embase, Scisearch, Lilacs, bancos de dados da industria farmacêutica (Datastar Service e Dialog Service), bases de estudos por especialidade (PsycLit, Psyndex), entre outros.

� Especialistas.

� Registros de ensaios clínicos.

� Congressos, simpósios.

� Busca manual.

RS/metanálise

4. Seleção de estudos

� Preenchem critérios de inclusão/exclusão?

� Pelo menos 2 investigadores

� Estratégia para discordâncias

5. Avaliação da qualidade do estudo

� Considerar a avaliação de mais de um observador

� Usar “checklists” ao invés de escalas com escore único de qualidade

6. Extração da informação

� Formulário para extração de dados

� Mínimo de 2 investigadores

� Obtenção da informação adicional: contato com autores, re-análise de estudos individuais

Rev.Sistemática

5/14/2011

8

7. Análise Estatística - Metanálise

� Combinar resultados dos diferentes estudos em uma medida única

� Avaliação da heterogeneidade.

� Avaliação de vieses.

Rev.Sistemática

Geração da sequência adequada

Ocultamento da alocação

Mascaramento (desfechos laboratriais)

Mascaramento (desfechos auto-referidos)

Manejo de perdas (desfechos laboratoriais)

Manejo de perdas (desfechos auto-relato)

Ausência de relato parcial

Ausência de outros vieses |_________|__________|_________|_________|0% 25% 50% 75% 100%

Sim (baixo risco de viés) Sem informação Não (alto risco de viés)

Ch

acra

et al

DeF

Ron

zo et al

Holla

nder et a

l

Jadizin

sky et al

Rosen

stock et al

Geração da sequência adequada

Ocultamento da alocação

Mascaramento (desfechos laboratriais)

Mascaramento (desfechos auto-referidos)

Manejo de perdas (desfechos laboratoriais)

Manejo de perdas (desfechos auto-relato)

Ausência de relato parcial

Ausência de outros vieses

+-?

Sim

Não

Sem informação

Avaliação de QualidadeCochrane Collaboration

Rev.Sistemática

5/14/2011

9

� Análise estatística que combina e integra os resultados de estudos independentes, considerados passíveis de combinação, com o propósito de extrair uma conclusão sobre o conjunto da pesquisa.

� Os passos que antecedem a metanálise são os mesmos de uma revisão sistemática.

Rev.Sistemática

� Análise estatística que busca explicar diferenças nos resultados entre os estudos.

Metanálise

Rev.Sistemática

Diferença na variação no escore da escala de Liebowitz (final – início) entre os grupos paroxetina e placebo

Overall (I-squared = 0.0%, p = 0.708)

Stein 1998

Algullander 2004

Baldwin 1999

Lepolla 2004

Liebowitz 2002 (60 mg)


Study

ID

Liebowitz 2005


-14.42 (-16.92, -11.92)

-16.00 (-23.33, -8.67)

-16.30 (-23.04, -9.56)

-13.80 (-21.42, -6.18)

-13.10 (-18.02, -8.18)

-10.20 (-18.83, -1.57)

-9.50 (-18.15, -0.85)

WMD (95% CI)

-17.00 (-24.00, -10.00)

-19.10 (-27.68, -10.52)

100.00

11.63

13.78

10.75

25.83

8.40

8.35

%

Weight

12.75

8.50

-14.42 (-16.92, -11.92)

-16.00 (-23.33, -8.67)

-16.30 (-23.04, -9.56)

-13.80 (-21.42, -6.18)

-13.10 (-18.02, -8.18)

-10.20 (-18.83, -1.57)

-9.50 (-18.15, -0.85)

WMD (95% CI)

-17.00 (-24.00, -10.00)

-19.10 (-27.68, -10.52)

100.00

11.63

13.78

10.75

25.83

8.40

8.35

%

Weight

12.75

8.50

0-27.7 0 27.7

FOREST PLOT

intervalo de confiança de 95% do estudo de Stein

Pesos relativos atribuídos aos estudos de Lepolla e Liebowitz

diferença de médiasnos estudo de Stein, Lepolla e Liebowitz

diferença combinada das médias

Valor nulo - ausência de diferença entre os grupos

5/14/2011

10

Rev.Sistemática

NOTE: Weights are from random effects analysis

Overall (I-squared = 55.8%, p = 0.016)


Stein 1998

Study

Lapolla 2004

Baldwin 1999

ID

Lader 2004


Algullander 1999

Algullander 2004


Liebowitz 2005

1.82 (1.57, 2.11)

1.63 (1.11, 2.40)

2.34 (1.56, 3.52)

1.87 (1.46, 2.41)

2.06 (1.59, 2.67)

RR (95% CI)

1.44 (1.21, 1.73)

1.60 (1.08, 2.35)

8.45 (3.25, 22.03)

1.87 (1.44, 2.42)

1.52 (1.03, 2.25)

1.73 (1.34, 2.23)

100.00

8.43

7.89

%

12.55

12.31

Weight

15.30

8.40

2.13

12.23

8.27

12.49

1.82 (1.57, 2.11)

1.63 (1.11, 2.40)

2.34 (1.56, 3.52)

1.87 (1.46, 2.41)

2.06 (1.59, 2.67)

RR (95% CI)

1.44 (1.21, 1.73)

1.60 (1.08, 2.35)

8.45 (3.25, 22.03)

1.87 (1.44, 2.42)

1.52 (1.03, 2.25)

1.73 (1.34, 2.23)

100.00

8.43

7.89

%

12.55

12.31

Weight

15.30

8.40

2.13

12.23

8.27

12.49

Tratamento piora sintomas Tratamento melhora sintomas 1.0454 1 22

Proporção de melhora no grupo da paroxetina em relação ao grupo placebo (risco relativo)

FOREST PLOT

ESTUDOS COM RESULTADOS HETEROGÊNEOS

Julian Higgins

Simon Thompson

5/14/2011

11

Rev.Sistemática

NOTE: Weights are from random effects analysis

.

.

.

.

.

.

.

.

.

TYPE OF INSTRUMENT EMPLOYEDSelf-reported (35)Interview (5)Subtotal (I-squared = 0.0%, p = 0.829)

DIAGNOSTIC CRITERIA FOR PTSDSelf-reported instruments using cut-off (14)Missing (2)Interview using DSM criteria (5)Self-reported instruments using DSM criteria (19)Subtotal (I-squared = 0.0%, p = 0.685)

REQUIREMENT OF IMPAIRMENT FOR THE DIAGNOSISNo (33)Yes (4)Missing (3)Subtotal (I-squared = 89.1%, p = 0.000)

GEOGRAPHIC LOCATIONOceania (5)North America (12)Africa (1)South America (1)Asia (7)Europe (15)Subtotal (I-squared = 62.7%, p = 0.020)

ECONOMICALLY DEVELOPED COUNTRYYes (33)No (7)Subtotal (I-squared = 0.0%, p = 0.851)

OCCUPATIONAL GROUPFirefighters (16)Police officers exposed to a major disaster(4)Other rescue teams (12)Ambulance personnel (8)Subtotal (I-squared = 81.7%, p = 0.001)

TYPE OF WORKProfessional (29)Unspecified/mixed (1)Non professional (10)Subtotal (I-squared = 66.3%, p = 0.051)

EXPOSURE TO THE SAME MAJOR DISASTERYes (20)No (20)Subtotal (I-squared = 0.0%, p = 0.692)

NATURE OF MAJOR DISASTERExposed to a natural disaster (8)No exposure to a major disaster (20)Exposure to a human-made disaster (12)Subtotal (I-squared = 59.2%, p = 0.086)

SUBGROUP

19835589

232972858916778

19389256779

29715261341808603792

19634790

5680495385261265

140511346239

168483576

638357626342

N

10.10 (8.10, 12.20)9.30 (2.40, 16.30)10.04 (8.07, 12.00)

10.50 (7.10, 14.00)16.10 (4.40, 27.90)9.30 (2.40, 16.30)9.20 (6.60, 11.80)9.82 (7.86, 11.78)

10.90 (8.70, 13.10)7.50 (3.00, 11.90)3.30 (0.60, 6.00)7.26 (2.08, 12.44)

5.70 (1.20, 10.30)11.80 (8.80, 14.70)6.00 (0.00, 14.00)6.70 (3.00, 10.40)17.90 (9.80, 26.00)7.40 (4.60, 10.20)8.71 (5.88, 11.54)

10.00 (7.90, 12.10)10.60 (4.70, 16.50)10.07 (8.09, 12.05)

7.30 (3.60, 11.00)4.70 (1.20, 8.30)13.50 (10.00, 17.00)14.60 (8.80, 20.30)9.80 (5.14, 14.46)

10.40 (8.00, 12.70)5.00 (1.30, 8.70)9.60 (5.40, 13.70)8.49 (5.16, 11.82)

10.40 (7.70, 13.10)9.60 (6.70, 12.50)10.03 (8.05, 12.00)

17.20 (9.30, 25.10)9.60 (6.70, 12.50)7.70 (4.60, 10.80)9.99 (6.38, 13.59)

PREVALENCE (95% CI)

92.008.00100.00

32.332.797.9756.92100.00

35.6829.7634.56100.00

16.6322.1410.4819.468.6122.68100.00

88.7611.24100.00

26.0326.3726.4821.12100.00

40.4531.1828.37100.00

53.5746.43100.00

15.4543.1041.45100.00

Weight%

10.10 (8.10, 12.20)9.30 (2.40, 16.30)10.04 (8.07, 12.00)

10.50 (7.10, 14.00)16.10 (4.40, 27.90)9.30 (2.40, 16.30)9.20 (6.60, 11.80)9.82 (7.86, 11.78)

10.90 (8.70, 13.10)7.50 (3.00, 11.90)3.30 (0.60, 6.00)7.26 (2.08, 12.44)

5.70 (1.20, 10.30)11.80 (8.80, 14.70)6.00 (0.00, 14.00)6.70 (3.00, 10.40)17.90 (9.80, 26.00)7.40 (4.60, 10.20)8.71 (5.88, 11.54)

10.00 (7.90, 12.10)10.60 (4.70, 16.50)10.07 (8.09, 12.05)

7.30 (3.60, 11.00)4.70 (1.20, 8.30)13.50 (10.00, 17.00)14.60 (8.80, 20.30)9.80 (5.14, 14.46)

10.40 (8.00, 12.70)5.00 (1.30, 8.70)9.60 (5.40, 13.70)8.49 (5.16, 11.82)

10.40 (7.70, 13.10)9.60 (6.70, 12.50)10.03 (8.05, 12.00)

17.20 (9.30, 25.10)9.60 (6.70, 12.50)7.70 (4.60, 10.80)9.99 (6.38, 13.59)

PREVALENCE (95% CI)

92.008.00100.00

32.332.797.9756.92100.00

35.6829.7634.56100.00

16.6322.1410.4819.468.6122.68100.00

88.7611.24100.00

26.0326.3726.4821.12100.00

40.4531.1828.37100.00

53.5746.43100.00

15.4543.1041.45100.00

Weight%

0-27.9 0 27.9

PRINCIPAIS VIESES EM METANÁLISE

Mathias Egger

5/14/2011

12

Viés de Publicação

Ocorre quando estudos inteiros, ou parte de seus dados, não são publicados em função do resultado obtido.

Tal decisão tende a produzir um predomínio de publicações com resultados positivos (estatisticamente significativos), aumentando a probabilidade de que uma publicação apresente um resultado falso-positivo.

85% dos estudos publicados na área médica mostraram resultados “estatisticamente significativos”.Egger et al, 2001

Rev.Sistemática

Viés de Idioma

Os estudos são identificados, mas excluídos em função da língua. A situação mais frequente é a exclusão de artigos publicados em outro idioma, que não o inglês, em metanálises publicadas em inglês.

P-valores: entre os artigos publicados por autores alemães, 63% daqueles publicados em inglês tinha achados estatisticamente significativos (p<0.05) contra 35% daqueles publicados em alemão.Egger et al (Lancet, 1997)

Rev.Sistemática

5/14/2011

13

Revisões narrativas são inapropriadas para:

� Avaliar a eficácia de intervenções clínicas.

� Avaliar a eficácia de intervenções populacionais.

� Avaliar fatores de risco.

Revisões narrativas são apropriadas para:� Descrever a história e o manejo de um problema.� Descrever avanços mais recentes quando os estudos são

raros, preliminares ou apresentam metodologia insuficiente.� Discutir dados a partir de uma teoria ou contexto.� Integrar conceitualmente dois campos de pesquisa.

Rev.Sistemática

Revisão Narrativa vs Revisão Sistemática

COMO APRESENTAR METANÁLISES

David Moher

Douglas Altman

5/14/2011

14

Quality of Reporting of Meta-analyses Group (QUOROM)

Conferência em outubro de 1996, com 30 pessoas envolvidas com metanálise, incluindo epidemiologistas, clínicos, estatísticos, editores,

Foi produzida uma lista de 21 tópicos cuja informação foi considerada imprescindível para que leitores possam julgar a qualidade de metanálises sobre ensaios clínicos randomizados.

http://www.consort-statement.org/mod_product/uploads/ QUOROM%20Statement%201999.pdf (acessado em 20/05/2009).

Rev.Sistemática

Meta-analysis of Observational Studies in Epidemiology -MOOSE Group

Conferência 1997 em Atlanta, com 27 pessoas envolvidas com metanálise, incluindo epidemiologistas, clínicos, estatísticos, editores.

Fizeram uso de 32 artigos sobre relato de metanálise de estudos observacionais.

Foi produzida uma lista de tópicos cuja informação foi considerada imprescindível para que leitores possam julgar a qualidade de metanálises de estudos observacionais.

http://www.consort-statement.org/mod_product/uploads/ MOOSE%20Statement%202000.pdf (acessado em 20/05/2009)

Rev.Sistemática

5/14/2011

15

Preferred Reporting Items for Systematic reviews and Meta-Analyses - PRISMA

Encontro com 29 autores de revisões em 2005

Foi desenvolvido um checklist com 29 itens

Fez modificações no fluxograma do QUOROM.

http://www.prisma-statement.org/ (acessado em 27/11/2009)

Rev.Sistemática

Richard Smith – Editor do BMJ durante uma conferência no Cochrane Colloquium na Noruega

revisão sistemática

Education