O que estamos formando?

10 anos de Avaliação dos Egressos no Estado de São Paulo

Bráulio Luna Filho

Presidente do CREMESP Coordenador do Exame do CREMESP

Prof. Livre-Docente em Cardiologia – EPM, UNIFESP

Conselho Regional de Medicina do Estado de São Paulo VII Congresso de Bioética de Ribeirão Preto

20 a 22 de agosto de 2015

CREMESP:

Em 14 anos aumentaram em 320% os processos ético-profissionais:

Cerca de 60% - relacionados à má prática.

Número de Médicos foi de 80.684 para 122.436 (52%)

Aumento de Processos Éticos Profissionais

2014 – 3.831 DENÚNCIAS

3.289 PROCESSOS em andamento

Ano de Criação

18081900

19501960

19701980

19902000

2010

Tota

l de

Cur

sos

de M

edic

ina

0

20

40

60

80

100

120

140

160

180

200

Fonte: escolasmedicas.com.br

Cursos de Medicina no Brasil

257+36

2015

SP: 44+13

“Lamentavelmente, no Brasil não existe uma

cultura de racionalidade e justeza da avaliação

profissional. Confunde-se diploma com proficiência e

competência para toda a vida.”

Exames dos Egressos das Escolas Médicas

“Todavia, na maioria das faculdades do país são raros

os indivíduos que uma vez admitidos não consigam

obter o certificado de conclusão.”

“Em relação às escolas médicas, após o famigerado

vestibular de ingresso, só existe avaliação de fato na

seleção do Exame de Residência-Médica”

Projeto Piloto para Avaliação dos Egressos das Escolas Médicas de São Paulo

2004

Axioma # 1

Conhecimento e Desempenho Não são Separáveis. É preciso conhecimento para ter desempenho.

“Você não pode fazer se você não sabe como”

Correlação entre medidas de Conhecimento vs Desempenho: 0.6 — 0.9

Axioma #3

Condutas Gerais, Atitudes, Características Pessoais

(por ex: estilo de aprendizado; prática reflexiva)

São Preditores Pobres de Desempenho.

Something Old (that works)

Multiple choice questions

GOOD multiple choice questions

Geoff Norman, Ph.D. McMaster University

Student Assessment: What works; what doesn’t

Uma Boa Questão - J.S. de 55 anos, contador, apresenta-se no PS com dor

torácica em aperto que se iniciou à 3 horas atrás e vem piorando. A dor irradia-se por toda a extensão do braço esquerdo. O paciente está sudorético. A PAS é de 120/80 mm Hg ; o pulso radial de 90bpm e irregular.

O ECG foi realizado. Quais dos achados seguintes você esperaria:

a) Elevação do segmento ST-T e ondas T negativas

b) Ondas R Aumentadas

c) Elevação do ponto J

d) Ondas R e Q Aumentadas

e) Padrão RSR’

Correlação com o Desempenho Prático

Ram (1999) ; Davis (1990)

*OSCE - practice 0.46 0.46

*MCQ - practice 0.51 0.60

• OSCE – Exame Clínico Estruturado Objetivo

• MCQ - Questão de Múltipla Escolha

Conclusão

Questões de Múltiplas Escolhas são gold standards para avaliação do conhecimento e cognição.

Virtude em amostragem ampla.

Geoff Norman, Ph.D. McMaster University

Alguns Países que Instituem Avaliação Externa

Canadá

Croácia

Alemanha

Japão

Filipinas

Romênia

•Reino Unido

• Austrália

• Estados Unidos

• Espanha

• Portugal

• México

EXAME DO CREMESP 2014

ESTATÍSTICA DE INSCRITOS - PRESENTES / AUSENTES

EXAME DE 2014 INSCRITOS Presentes (%) Ausentes (%)

Total 3.445 3.359 (97,5) 86 (2,5)

Em São Paulo 2.916 2.891 (99,1) 25 (0,9)

Distribuição das Questões da Prova do

CREMESP- 2014 por Área de Conteúdo

Áreas

Total de

Questões

Número da

questão na

Prova

Questões

atribuídas

Clínica Médica 22 1 a 22 14 e 15

Clinica Cirúrgica 22 23 a 44 36, 37, 38 e 39

Pediatria 22 45 a 66 72

Ginecologia 11 67 a 77

Obstetrícia 11 78 a 88

Saúde Mental 9 89 a 97 91, 95

Saúde Pública/

Epidemiologia 9 98 a 106

Ciências Básicas 10 107 a 116 114

Bioética 4 117 a 120 117

Exemplos de questões e percentual de erro dos participantes Exame do Cremesp - 2010

Questão

14

Classificação das Questões da Prova Objetiva

segundo o Índice de Facilidade (2014)

Índice de Facilidade Classificação n %

> 0,86 Muito Fácil 5 4,6%

0,61 a 0,85 Fácil 36 33,3%

0,41 a 0,60 Médio 35 32,4%

0,16 a 0,40 Difícil 32 29,6%

< 0,15 Muito Difícil 0 0,0%

Total 108 100,0%

Classificação das questões da Prova Objetiva

segundo o Índice de Discriminação (2014)

Índice de Discriminação Classificação n %

> 0,40 Muito bom 48 44,4%

0,30 a 0,39 Bom 31 28,7%

0,20 a 0,29 Médio 15 13,9%

< 0,19 Fraco 14 13,0%

Total 108 100,0%

Teste do Progresso – UNIFESP Resultados individuais em % de acerto (140 questões)

y = 0,082x + 28,590

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

% A

ce

rto

s

Desempenho UNIFESP – Fase 1 n = 92 egressos presentes (% de acerto)

0

10

20

30

40

50

60

70

80

90

100

0 10 20 30 40 50 60 70 80 90 100

Fase 1

- %

de a

cert

o

Equalização dos Exames Cremesp Teoria da Resposta ao Item (TRI)

Dificuldade Média do Itens nos Exames do Cremesp por Área de Conhecimento - Nove Edições Equalizadas

Participantes aprovados e reprovados no Exame do Cremesp

segundo a natureza das Escolas Médicas Paulistas

Natureza

das

Escolas Participantes

Aprova

dos Aprovação

Repro

vados Reprovação

PÚBLICAS 915 613 67,0% 302 33,0%

PRIVADAS 1.9760 689 34,9% 1.287 65,1%

Grupo

Total 2.891 1.302 45,0% 1.589 55,0%

2014

Médias (em percentual de acertos) por Área de Conteúdo –

Instituições de Ensino do Estado de São Paulo - 2014

52,12 57,18 55,91

62,58

66,00 64,25 57,43

54,88 64,80

Participantes e Índice de Reprovação Exame do CREMESP – 2005 a 2014

Ano do Exame Participantes Reprovados Reprovação (%)

2014

2013

2012

2.891

2.843

2.411

1.589

1.684

1.313

55,00

59,20

54,50

2011

418

191

46 2010 533 227 43

2009 621 345 56

2008 730 447 61

2007 833 466 56

2006 688 261 38

2005 998 313 32

Curva ROC para os Componentes do Exame

FM Santa Casa

2012-2013

UNIVERSIDADE XXXXXXXXXXXXX

MUNICÍPIO DO CURSO: Interior – SP PROVA OBJETIVA

Total de Alunos que Realizaram a Prova: 3328 Média Geral: 55,08

Total de Alunos da IES que Realizaram a Prova: 249 Média da IES: 44,52

ÁREAS

Prova Objetiva

Média da

Instituição

Média

Geral

Clínica Médica 40,71 51,82

Clínica Cirúrgica 40,60 51,49

Pediatria 40,38 47,25

Ginecologia 40,78 56,19

Obstetrícia 58,53 64,62

Saúde Mental 50,47 61,48

Saúde Pública e

Epidemiologia 46,72 58,77

Ciências Básicas 48,71 63,10

Bioética 52,71 63,80

Aprovados

23 (9%)

EXAME DO CREMESP 2014

ESTATÍSTICA DOS EGRESSOS

SÃO PAULO E OUTROS ESTADOS

Outros Estados Participantes Aprovados (%) Reprovados (%)

468 172 (36,8%) 296 (63,2%)

São Paulo 2.891 1.302 (45%) 1.589 (55,0%)

Propostas do CREMESP

1. Realização do Exame do Progresso em todas as Instituições Médicas Estaduais

2. Exame de Habilitação no Final do Internato

3. Exame do CRM - critério para Residência Médica

4. Exame do CRM - critério para admissão na UNIMED

Acompanhamento dos Egressos que não

foram aprovados no Exame do CRM.