HERBERT TURNER

Política e Prática baseadas em Evidências:

De onde vieram, para onde vão e por que é

importante para determinar o que funciona

no Brasil?

Dr, Herbert M, Turner, III

Presidente & Cientista Principal

ANALYTICA, Inc, (www,analytica-inc,com)

Professor Associado Adjunto

Penn GSE (http://scholar,gse,upenn,edu/turner)

Setembro de 2016

Resumo da apresentação

• Origens Históricas da Política e Prática Baseada em

Evidências (EBP&P)

• Impacto da EBP&P na Pesquisa Educacional (e suas

implicações para o Brasil)

• Lições aprendidas sobre EBP&P nos Estados Unidos

(e suas implicações para o Brasil)

Política e Prática Baseada em Evidências

no Mundo

Origens Históricas

das

Organizações que Realizam

Análises Sistemáticas

(inclusive Meta-Análises)

Principais Influências no Campo das Análises Sistemáticas e

a Pesquisa Científica na Educação

1987

SCTA

1993

Cochrane

EPPI

GAO (US)

1999

CERM

2002

IES

WWC

Fora dos EUA:

(Suécia, Canadá, Reino

Unido, Austrália)1

Nos EUA

2000

C2

1997

BVP

A Péssima

Reputação

da

Pesquisa

Educacional

(1993)

Melhorando

a Péssima

Reputação

da Pesquisa

Educacional

(1997)

Lei da

Reforma das

Ciências da

Educação

2002

Lei

NCLB

2002

2001

CEBP1988

CSLP

1994

CSLP

1995

JBI

2006

RELS

(RCTs)

2010

i31980Ano::

Organizações:

Livros e Monografias:

Artigos e Legislação

Federal:

Outras Agências Federais

“Como a Ciência faz um balanço”- Morton Hunt, 1997

Resumo do Conteúdo

Capítulo 1: Pondo Ordem no Caos Científico

Capítulo 2: Esclarecendo Dúvidas sobre a Psicoterapia

Capítulo 3: Esclarecendo Questões Obscuras na Educação

Capítulo 4: “Quem decide, quando os Doutores não

concordam?

Capítulo 5: Endireitando as Ciências Sociais Abaladas

Capítulo 6: Iluminando o Caminho para os Elaboradores da

Política Social

Capítulo 7: Epílogo: O Futuro da Meta-Análise

“A Ciência Faz um Balanço por meio de Análises Sistemáticas”Morton Hunt, 1997

Análises sistemáticas deveriam conter os estudos

mais rigorosos:

O que é um Estudo Rigoroso?

Um estudo rigoroso tem um Grupo de Controle

(ou de Comparação)

Aproveita-

mento em

Matemática

Mediana do

Grupo de

Intervenção

de

Matemática

Mediana

do Grupo

de

Controle

Diferença

Estimada

Valor

de p-

Intervalo

de

confiança

de 95 %

Escore antes

da prova 621,46 621,35 0,11 ,964

(–4,81,

5,03)

Escore depois

da prova 647,41 646,60 0,81 ,734

(–3,82,

5,44)

Escore

Ganho 25,95 25,25 0,70 - -

Falácia do Design de

Prova Prévia/Posterior

de Um Grupo

Outono

2007

Verão

2008

Pool de tarefas

congruentes

ou aleatórias

Maio

2009

Setembro

2008

Recrutamento

dos

Estimando os efeitos da intervenção:

Um estudo único usando um Design Rigoroso

Participantes do

Estudo

Processo de tarefas

congruentes ou aleatórias

Teste prévia

Teste

posterior

Teste prévia

Teste

posterior

Resultado

médio

Resultado

médio

Resultado

Resultado

A Diferença =

Efeito Médio do

Tratamento

O que é um Estudo Rigoroso?

• Um estudo que controla por variáveis

que poderiam servir como fator, que

não a intervenção, explicativo da

diferença média entre os grupos de

Intervenção e Controle no resultado

• Há dois tipos principais (para responder

a pergunta “O que Funciona?”)

O que é um Estudo Rigoroso? Continuação

1. Experimento (RCT): Aleatorização

usada para formar grupos de

intervenção e controle

2. Quase-experimento (QED):

Métodos não aleatórios usados para

formar grupos de intervenção e

comparação

Impacto da EBP&P sobre a Pesquisa Educacional

(e suas implicações para o Brasil)

Principais influências no campo da Análise Sistemática e da Pesquisa

Científica na Educação

1987

SCTA

1993

Cochrane

EPPI

GAO (US)

1999

CERM

2002

IES

WWC

Fora dos EUA:

(Suécia, Canadá, Reino Unido,

Austrália)1

Nos EUA

2000

C2

1997

BVP

A Péssima

Reputação

da

Pesquisa

Educacional

(1993)

Melhorando a

Péssima

Reputação da

Pesquisa

Educacional

(1997)

Lei da

Reforma das

Ciências da

Educação

2002

Lei

NCLB

2002

2001

CEBP1988

CSLP

1994

CSLP

1995

JBI

2006

RELS

(RCTs)

2010

i31980Ano

Organizações

Livros e Monografias

Artigos

e

Legislação Federal

Evidência Enganosa e Política Baseada em Evidência

Setembro de 2003

Análises sistemáticas começaram na Medicina

www,cochranecollaboration,org

Fundada em

1993

Presidente da Royal Statistical Society:

“Mas o que é tão especial na medicina? Somos confrontados

diariamente, através da mídia, como cidadãos comuns, com

controvérsias e debates sobre uma enorme variedade de questões de

políticas públicas. Porém, em geral, não temos acesso a nenhum

tipo de “base de evidência” sistemática – e, portanto, não temos

meios de participar no debate de maneira madura e bem informada.

Exemplos de tópicos óbvios incluem a educação – o que funciona

em uma sala de aula? E política penal – o que é eficaz” (Smith

1996)

Sir Ian Chalmers: (Na época da Cochrane Collaboration)

“Foi após ler o discurso do presidente e o excelente livro de

Robert Boruch “Randomized Experiments for Planning and

Evaluation” (1997), que decidi pegar a estrada e ir até a casa de

Boruch, em outubro de 1998. Queria tentar persuadi-lo de

assumir o desafio de liderar um esforço para estabelecer um

análogo à Cochrane Collaboration para preparar análises

sistemáticas de intervenções sociais e educacionais.” (p.34)

“…Eu acreditava que falharia sem a liderança e envolvimento

atuante de cientistas sociais nos EUA—Donald Campbell,” (p.34)

www.campbellcollaboration.org

Definições

Uma análise sistemática é:

“A aplicação de procedimentos que limitam vieses

na montagem, avaliação crítica e a síntese de

todos os estudos importantes em um tópico

específico. A meta-análise pode ser, mas não é

necessariamente parte do Processo”(Chalmers et

al. 2002)

ANALYTICA

Definições

A meta-análise é definida como:

“A síntese estatística dos dados de estudos

separados, mas comparáveis, que levam a

um resumo quantitativo dos resultados

agrupados.” (Chalmers et al. 2002.)

ANALYTICA

Definições

Um modelo de produção de análise sistemática é

definido como:

A organização sistemática e replicável de recursos

humanos e financeiros para alcançar a eficiência,

boa relação custo/benefício e economias de escala

na produção de análises sistemáticas (Turner et al.,

2006).

ANALYTICA

Exemplo dos resultados de uma análise sistemática

(e uma meta-análise)

Resultados de uma análise sistemática da Campbell

Collaboration sobre envolvimento dos pais

InvolvementModel Study name Comparison Outcome Statistics for each study Sample size Hedges's g and 95% CI

Hedges's Lower Upper g limit limit Group-A Group-B

Ryan (1964) parent_vs_control Combined 0.347 0.088 0.605

Aronson (1966) Combined Read_Ach 1.109 0.421 1.798 18 18

Clegg (1971) Combined Combined 0.792 -0.084 1.669 10 10

Hirst (1974) parent_vs_control Combined 0.181 -0.217 0.579

Henry (1974) Combined Combined 0.281 -0.677 1.239 7 11

O'Neil (1975) Combined Combined 0.223 -0.724 1.169 7 9

Tizard (1982) Combined Read_Comp 0.879 0.369 1.390 26 43

Heller (1993) parentrpt_vs_control Combined 1.496 0.881 2.110 26 26

Miller (1993) Combined Combined 0.164 -0.557 0.884 16 13

Roeder (1993) parent_vs_control Math_Ach 0.123 -0.445 0.692

Fantuzzo (1995) Combined Combined 0.741 -0.047 1.529 13 13

Ellis (1996) parent_vs_control Combined -0.116 -0.652 0.420 20 38

Joy (1996) Combined cr_Math_Ach 0.114 -0.842 1.071 10 9

Peeples (1996) parent_vs_control Combined 0.920 0.345 1.495 25 25

Kosten (1997) parent_vs_control Science_Ach 0.075 -0.573 0.723 17 18

Hewison (1988) Combined Read_Comp 0.646 0.089 1.203 21 35

Meteyer (1998) parent_vs_control Combined 0.381 -0.164 0.925 25 27

Powell-Smith (2000) Combined Combined -0.298 -1.076 0.480 12 12

Fixed 0.430 0.299 0.561

Random 0.454 0.248 0.660

-2.50 -1.25 0.00 1.25 2.50

Favours A Favours B

Figure 1a. Efficacy of Parent Involvement and Student Achievement

Heterogeneity Statistics for a Fixed Effects Model: Q=35.70, df=17, Prob.=0.005, and I Squared=52.4%.

116 116

48 48

23 23

Nye,C,,Turner, H,,& Schwartz, J,(2006) , Disponível em http://www,campbellcollaboration,org

Os resultados de uma análise sistemática (e uma

meta-análise) podem ampliar a aplicabilidade limitada

de um único estudo rigoroso

Principais influências no campo da análise sistemática e da pesquisa

científica na educação

1987

SCTA

1993

Cochrane

EPPI

GAO (US)

1999

CERM

2002

IES

WWC

Fora dos EUA:

(Suécia, Canadá, Reino Unido,

Austrália)1

Nos EUA

2000

C2

1997

BVP

A Péssima

Reputação

da

Pesquisa

Educacional

(1993)

Melhorando

a Péssima

Reputação

da Pesquisa

Educacional

(1997)

Lei da

Reforma das

Ciências da

Educação

2002

Lei

NCLB

2002

2001

CEBP1988

CSLP

1994

CSLP

1995

JBI

2006

RELS

(RCTs)

2010

i31980Ano

Organizações

Livros e Monografias

Artigos e legislação

federal

• Análises sistemáticas identificaram a necessidade

de melhorar de maneira significativa a qualidade

da pesquisa (estudos de controle aleatórios) na

educação e em campos relacionados

• Análises sistemáticas também identificaram a

necessidade de desenvolver padrões de evidência

sistemáticos, replicáveis e transparentes para

determinar quais estudos analisados eram

“rigorosos” e quais não eram

O crescimento de estudos controlados aleatórios e

análises sistemáticas nos EUA

Amostra de Evidência de Clearinghouses

Table 2: A Sample of Evidence Clearinghouses, 2015

Clearinghouse for Labor Evaluation and Research-CLEAR (U.S. Department of Labor).

Retrieved 10/23/15 at: http://clear.dol.gov/

Crime Solutions.gov (Office of Justice Programs) . Retrieved 10/23/15 at:

http://www.crimesolutions.gov/default.aspx

Find Youth Info (The Interagency Working Group on Youth Programs). Retrieved 10/23/15 at:

http://usich.gov/usich_resources/helpful_websites/find_youth_info.

Clearinghouse on Families & Youth (National Commission on Families and Youth).

Retrieved 10/23/15 at: http://ncfy.acf.hhs.gov/

Home Visiting Evidence of Effectiveness— HomVEE (U.S. Department of Health and Human

Services, Administration for Children and Families, Office of Planning, Research, and

Evaluation), Retrieved 10/30/2015 at http://homvee.acf.hhs.gov/

Teen Pregnancy Prevention Review Study Database (U.S. Department of Health and Human

Services) Retrieved 10/23/15 at:

http://tppevidencereview.aspe.hhs.gov/StudyDatabase.aspx

What works Clearinghouse- WWC (U.S. Department of Education, Institute of Education

Sciences). Retrieved 10/23/15 at http://ies.ed.gov/ncee/wwc/.

Workforce Systems Strategies (U.S. Department of Labor, Employment and Training

Administration). Retrieved 10/23/15 at: http://strategies.workforce3one.org/

Source: Maynard, Rebecca, Naomi Goldstein, and Demetra Smith Nightingale. (Forthcoming fall 2016).

Experimentos controlados realizados pelo IES

e NSF ou publicados na ERIC desde 2002

O What Works Clearinghouse (WWC)http://ies,ed,gov/ncee/wwc/

Desde 2002

Practice Guides

Guias de Prática do WWC

Guias de Prática

Outros

estudos

consultados

Estudos de

Eficácia

(Análise do

WWC)

Pesquisa Ampla na Literatura

Excluídos

Pesquisa

inicial

Após

triagem

Estudos de

eficácia

Atenderam

aos padrões

RTI-Matemática 801 350 115 40

Decisões impulsio-

nadas por dados2,853 495 64 24

Tempo fora da

escola

3,972 1,170 88 29

• Qual é a Evidência nos Estados Unidos e da

What Works Clearinghouse sobre a Eficácia da

Organização e Governança Escolar?

• Resumirei essa Evidência conforme Relatada

pela Clearinghouse

Algumas lições aprendidas desde 2002

• Práticas e políticas baseadas em evidências originaram

na Europa e no campo da medicina.

• Práticas e políticas baseadas em evidências na educação

migraram para os EUA com força total a partir de 2002.

• A International Campbell Collaboration foi uma força

propulsora nessa migração.

• •Análises sistemáticas (e meta-análises) são a principal (e

ideal) base para informar a prática e política baseada em

evidências.

• A produção de análises sistemáticas veio para ficar nos

EUA (não são efêmeras).

Algumas lições aprendidas desde 2002 – Continuação

• •Há outras abordagens cientificamente válidas (por exemplo, Guias

de Práticas)

• •No entanto, cada abordagem se baseia em padrões de evidência

para estabelecer a validade de cada estudo

• Uma externalidade positiva das SR Clearinghouses foi aumentar a

conscientização entre os stakeholders educacionais a respeito de

padrões de pesquisa!

• A International Campbell Collaboration e a What Works

Clearinghouse atuam desde 2000 e 2002, respectivamente. Levou

tempo para:

o Desenvolver uma massa crítica de estudos em uma

determinada área como inputs para uma análise sistemática

o Desenvolver os padrões de evidência para analisar a qualidade

dos estudos

Fim