ValidaValidaçção de ão de instrumentos de instrumentos de

pesquisa pesquisa

Prof. Paulo SProf. Paulo Sáávio A. vio A. GoesGoes, , PhDPhD..Departamento de Odontologia SocialDepartamento de Odontologia Social

FOPFOP--UPEUPE

ValidaValidaçção de instrumentos de pesquisaão de instrumentos de pesquisa

O que significa ser vO que significa ser váálido?lido?

Propostas metodolPropostas metodolóógicas gicas

Perspectivas de futuro Perspectivas de futuro

““ Uma maneira de se formular objetivos Uma maneira de se formular objetivos em estudos epidemiolem estudos epidemiolóógicos, gicos, éé vêvê--lo lo

como um exerccomo um exercíício de medicio de mediççãoão””

RothmanRothman andand GreenlandGreenland, 2001, 2001

Medindo SaMedindo Saúúdede

Conceito de saConceito de saúúde de éé complexo, complexo, conseqconseqüüentemente medir saentemente medir saúúde de éé um um ato de complexidade .ato de complexidade .–– São muitos os aspectos a serem São muitos os aspectos a serem

considerados:considerados:MortalidadeMortalidadeMorbidadeMorbidadeIncapacidade fIncapacidade fíísicasicaQualidade de vidaQualidade de vida

Dilemas para o pesquisadorDilemas para o pesquisador

Diante dos resultados de uma associaDiante dos resultados de uma associaçção ão positiva em um estudo epidemiolpositiva em um estudo epidemiolóógico, hgico, háá de de se perguntar?se perguntar?

Teria estes resultados sido produto:Teria estes resultados sido produto:

Da chance?Da chance?De vieses introduzidos durante o De vieses introduzidos durante o planejamento, execuplanejamento, execuçção e ão e ananáálise dos lise dos dados?dados?Produto de fatores de Produto de fatores de confundimentoconfundimento??

Erros associados a estudos Erros associados a estudos epidemiolepidemiolóógicos:gicos:

Produzir parâmetros os quais são o objetivo do Produzir parâmetros os quais são o objetivo do processo de medida de forma acurada.processo de medida de forma acurada.Erro aleatErro aleatóóriorio–– São variaSão variaçções incontrolões incontrolááveis por estarem ligadas ao veis por estarem ligadas ao

objeto, instrumento e ao observador. objeto, instrumento e ao observador.

Erro sistemErro sistemááticotico–– São erros associados a definiSão erros associados a definiçções das medidas (Viões das medidas (Viéés s

ou ou biasbias) e denotam desconhecimento t) e denotam desconhecimento téécnico do cnico do pesquisador a respeito do objeto, dos instrumentos pesquisador a respeito do objeto, dos instrumentos utilizados ou da observautilizados ou da observaçção realizada.ão realizada.

Validade, o que isto significa?Validade, o que isto significa?

Validade externaValidade externaValidade internaValidade interna–– Validade das mensuraValidade das mensuraççõesões

ObjetoObjetoObservadorObservadorO instrumento de medida O instrumento de medida

(Question(Questionáário X escala)rio X escala)

Medindo SaMedindo Saúúdede

ValidadeValidade

O indicador ou O indicador ou ííndice deve ser capaz de ndice deve ser capaz de discriminar corretamente um dado evento discriminar corretamente um dado evento de outros, assim como detectar as de outros, assim como detectar as mudanmudançças com o passar do tempo.as com o passar do tempo.

Medindo SaMedindo Saúúdede

ReprodutibilidadeReprodutibilidadeÉÉ a capacidade de obtena capacidade de obtençção de resultados ão de resultados semelhantes, quando a mensurasemelhantes, quando a mensuraçção ão éérepetida.repetida.

RepresentatividadeRepresentatividadeÉÉ a capacidade de alcana capacidade de alcanççar cobertura ar cobertura populacional.populacional.

Medindo SaMedindo Saúúdede

Aceitabilidade Aceitabilidade ÉÉ a capacidade do indicador não provocar a capacidade do indicador não provocar malefmalefíícios ou prejucios ou prejuíízos as pessoas zos as pessoas investigadas.investigadas.

Oportunidade, simplicidade, facilidade de Oportunidade, simplicidade, facilidade de obtenobtençção.ão.

Qual das opQual das opçções abaixo representa ões abaixo representa a cor amarela?a cor amarela?

Qual das opQual das opçções abaixo representa ões abaixo representa a cor amarela escura ?a cor amarela escura ?Qual das opQual das opçções abaixo representa ões abaixo representa a cor amarela da camisa que você a cor amarela da camisa que você usou na ultima semana?usou na ultima semana?

W

W

W

W

XXXXY Y

YY

ZZZZ

ÉÉ posspossíível medir Dor ?vel medir Dor ?

Epidemiologia das disfunEpidemiologia das disfunçções ões temporomandibularestemporomandibulares

DTM >>>>DORDTM >>>>DORDemanda por serviDemanda por serviçços e assistência de os e assistência de

sasaúúde.de.(Cerca de 2(Cerca de 2--7.5% dos pacientes com dor associada a DTM 7.5% dos pacientes com dor associada a DTM

demandam por assistência de sademandam por assistência de saúúde)de)

KosminskiKosminski & & GoesGoes, 2004., 2004.

Epidemiologia das disfunEpidemiologia das disfunçções ões temporomandibularestemporomandibulares

DefiniDefiniçção e critão e critéérios de diagnrios de diagnóósticos das sticos das DTMsDTMs: : ConsideraConsideraçções sobre validade, confiabilidade e ões sobre validade, confiabilidade e reprodutibilidadereprodutibilidade

RDC (RDC (DworkinDworkin andand LeRecheLeReche, 1992), 1992)

IHCIHC-- ClassificaClassificaçção Internacional de ão Internacional de CefalCefalééiaia

TMJ TMJ scalescale ((levitlevit etet al. 1994)al. 1994)

CranioCranio Mandibular Mandibular IndexIndex ((FrinctonFrincton andandSchiffmanSchiffman, 1986)., 1986).

HelkimoHelkimo AnamnesticAnamnestic andand ClinicalClinical IndexIndex((HelkimoHelkimo, 1974), 1974)

ReprodutibilidadeReprodutibilidadeValidadeValidadeSistemaSistema

KosminskiKosminski & & GoesGoes, 2004, 2004

AvanAvanççando de medidas tradicionais ando de medidas tradicionais para escalas vpara escalas váálidaslidas

Tipos de validaTipos de validaççãoão

ValidaValidaçção face a faceão face a faceValidaValidaçção de conteão de conteúúdo (Padrão ouro)do (Padrão ouro)ValidaValidaçção de ão de constructoconstructo–– DivergenteDivergente–– Convergente Convergente

AvanAvanççando de medidas tradicionais ando de medidas tradicionais para escalas vpara escalas váálidaslidas

Tipos de validaTipos de validaççãoãoConfiabilidadeConfiabilidadeConsistência interna (escala)Consistência interna (escala)InterpretabilidadeInterpretabilidadeAvaliaAvaliaçção de mudanão de mudanççaaSensibilidade/especificidadeSensibilidade/especificidade

ValidaValidaçção face a faceão face a face

Essa Essa éé uma forma de validauma forma de validaçção de ão de conteconteúúdo em que se procura identificar, se do em que se procura identificar, se os itens selecionados para o estudo estão os itens selecionados para o estudo estão medindo o que se deseja, realmente, medindo o que se deseja, realmente, medir. Almedir. Aléém de se discutir, se o significado m de se discutir, se o significado e a relevância do indicador estão e a relevância do indicador estão evidentes por si sevidentes por si sóó. .

(BOWLING, 1997).(BOWLING, 1997).

ValidaValidaçção face a faceão face a face

Equipe multidisciplinar e/ou pesquisadores Equipe multidisciplinar e/ou pesquisadores da da áárea do conhecimentorea do conhecimentoAnAnááliselise

Equivalências idiomEquivalências idiomááticaticaSemânticaSemânticaCulturalCulturalConceitual do instrumento Conceitual do instrumento

ValidaValidaçção de ão de constructoconstructo

Esse tipo de validaEsse tipo de validaçção ão éé constituconstituíído por do por dois tipos: a convergente e a divergente. dois tipos: a convergente e a divergente. ValidaValidaçção convergente requer que a ão convergente requer que a escala deva se correlacionar com outras escala deva se correlacionar com outras varivariááveis, tambveis, tambéém, relacionadas entre si. m, relacionadas entre si. JJáá a validaa validaçção divergente, requer que a ão divergente, requer que a construconstruçção da escala não seja ão da escala não seja correlacionada com varicorrelacionada com variááveis desiguais. veis desiguais.

(BOWLING, 1997).(BOWLING, 1997).

As propostas metodolAs propostas metodolóógicas em gicas em diferentes situadiferentes situaçções ões

QuestionQuestionáários ou escalas jrios ou escalas jáá existentesexistentesDesenvolvimento de uma nova escala Desenvolvimento de uma nova escala Desenvolvimento de uma escala quando Desenvolvimento de uma escala quando jjáá estão disponestão disponííveis escalas para medir veis escalas para medir determinado atributodeterminado atributo–– No mesmo idiomaNo mesmo idioma–– Em outro idiomaEm outro idioma

Estudos de validaEstudos de validaçção ão ((MedlineMedline 19971997--2007)2007)

0%10%

20%30%

40%50%

60%70%

80%90%

Geral Saude Bucal

1997-20012001-2007

Coleta de dados para estudos epidemiolColeta de dados para estudos epidemiolóógicos gicos quando jquando jáá existem existem

questionquestionáários ou escalas no idiomarios ou escalas no idioma

O que se pretende medir?O que se pretende medir?–– VariVariáável dependente ou dependentes:vel dependente ou dependentes:

Dado Dado clclííniconico e não e não clclííniconico––Medidas de controle de qualidade Medidas de controle de qualidade

((ReproducibilidadeReproducibilidade, questões , questões cruzadas, grau de concordância e cruzadas, grau de concordância e consistência interna da escala)consistência interna da escala)

Coleta de dados para estudos epidemiolColeta de dados para estudos epidemiolóógicos gicos quando jquando jáá existem existem

questionquestionáários ou escalas no idiomarios ou escalas no idioma

Teste de reprodutibilidade

Grau de concordância

Questões cruzadas

ValidaValidaçção de escalasão de escalas

Em outro idiomaEm outro idioma--AdaptaAdaptaçção culturalão culturalDesenvolvimento de escalaDesenvolvimento de escala-- definidefiniçção ão

dos seus atributosdos seus atributos

ValidaValidaçção de escala em outro idiomaão de escala em outro idioma

Tradução Análise dos resultados

Retrotradução

Aplicação do instrumento na Versão Final

Análise de reprodutibilidade e

confiabilidadeAvaliação e refinamento do instrumento

Processo de Validação de

Conteúdo (contraste) e de Constructo(convergente e

divergente)

Validação de Face através de:

Comitê Multidisciplinar e

Bilíngüe Teste Piloto

Adaptação Cultural

Goes et al, 2006

InternationalInternational ConsortiumConsortium for for RDC/RDC/TMDTMD--BasedBased ResearchResearch

AdaptaAdaptaçção cultural RDCão cultural RDC--TMDTMDTraduTraduçção inglêsão inglês--português realizada previamente português realizada previamente por Pereira por Pereira etet al. (2002)23. al. (2002)23.

A metodologia utilizada para a adaptaA metodologia utilizada para a adaptaçção ão transculturaltranscultural do instrumento em estudo constou de do instrumento em estudo constou de duas etapas: duas etapas: (1) avalia(1) avaliaçção da traduão da traduçção inglêsão inglês--português (IP)português (IP)(2) valida(2) validaçção de face (avaliaão de face (avaliaçção por um comitê ão por um comitê multidisciplinar e prmultidisciplinar e préé--teste).teste).

KOSMINSKY, M. ; LUCENA, L. B. S. ; SIQUEIRA, J. T. T. ; PEREIRA KOSMINSKY, M. ; LUCENA, L. B. S. ; SIQUEIRA, J. T. T. ; PEREIRA JUNIOR, F. J. ; GOES, P. S. A.JUNIOR, F. J. ; GOES, P. S. A. ..AdaptaAdaptaçção cultural do ão cultural do QuestionarioQuestionario ResearchResearch DiagnosticDiagnostic CriteriaCriteria for for TemporomandibularTemporomandibular DisordersDisorders: : AxisAxisII para o II para o portuguesportugues. JBC. Jornal Brasileiro de cl. JBC. Jornal Brasileiro de clíínica odontolnica odontolóógica integrada, v. 8, n. 43, p. 51gica integrada, v. 8, n. 43, p. 51--61, 2004.61, 2004.

Tabela 1- Distribuição das palavras de difícil compreensão.

Doença que afeta muitas articulações do corpoDoença artrítica sistêmicaRangido perto do ouvidoMaxilares crepitamOuve estalo quando abre e fecha a boca Maxilares estalamNos lados da cabeçaTêmporaDor na faceDor facial

Versão finalTradução61 a 100% incompreensão

Afastado temporariamente do trabalhoDe dispensaTravamento da mandíbulaTravamento articularAtividade de lazerAtividade recreativaOcorre o tempo todo / aparece e desaparecePersistente e recorrenteSaúde da sua bocaSaúde oral

Versão finalTradução20 a 60% de incompreensão

Percentual de Incompreensão

KOSMINSKY, M. ; LUCENA, L. B. S. ; SIQUEIRA, J. T. T. ; PEREIRA KOSMINSKY, M. ; LUCENA, L. B. S. ; SIQUEIRA, J. T. T. ; PEREIRA JUNIOR, F. J. ; GOES, P. S. A.JUNIOR, F. J. ; GOES, P. S. A. ..AdaptaAdaptaçção cultural do ão cultural do QuestionarioQuestionario ResearchResearch DiagnosticDiagnostic CriteriaCriteria for for TemporomandibularTemporomandibular DisordersDisorders: : AxisAxis II II para o para o portuguesportugues. JBC. Jornal Brasileiro de cl. JBC. Jornal Brasileiro de clíínica odontolnica odontolóógica integrada, v. 8, n. 43, p. 51gica integrada, v. 8, n. 43, p. 51--61, 2004.61, 2004.

ValidaValidaçção propriamente ditaão propriamente dita

ValidaValidaçção da versão multimão da versão multimíídiadia

Validation of the Portuguese multimedia version of the RDC/TMD Axis II Questionnaire *Cavalcanti, RF, GOES, PSA; KOSMINSKY, M; STUDART,L (2007) No prelo.

Desenvolvimento de uma escala Desenvolvimento de uma escala Pesquisa

bibliográfica Análise dos resultados

Aplicação dos métodos de Apuração

(métodos: aditivo, aditivo dicotomizado e

aditivo com uso de pesos)Definição das

dimensões consideradas

no instrumentoAplicação do

instrumento com as correções

Análise de reprodutibilidade e

confiabilidade

Teste Piloto

Avaliação e refinamento do

instrumento

Processo de Validação de

Conteúdo (contraste) e de Constructo(convergente e

divergente)

Validação de Face através de pesquisadores

da área

Goes et al, 2006

AVALIAAVALIAÇÇÃO DA SATISFAÃO DA SATISFAÇÇÃO DOS USUÃO DOS USUÁÁRIOS RIOS COM OS SERVICOM OS SERVIÇÇOS POS PÚÚBLICOS DE SABLICOS DE SAÚÚDE DE

BUCAL BUCAL -- QASSaBQASSaB®®

LECY MARIA FERNANDESLECY MARIA FERNANDES

FERNANDES, LMAG; SOUZA, EHA; GOES, PSAFERNANDES, LMAG; SOUZA, EHA; GOES, PSA (2006) VALIDAVALIDAÇÇÃO DE UM ÃO DE UM INSTRUMENTO PARA AVALIAINSTRUMENTO PARA AVALIAÇÇÃO DA SATISFAÃO DA SATISFAÇÇÃO DOS USUÃO DOS USUÁÁRIOS, RIOS, COM OS SERVICOM OS SERVIÇÇOS POS PÚÚBLICOS DE SABLICOS DE SAÚÚDE BUCAL DE BUCAL -- QASSaBQASSaB®® (no (no preloprelo))

Pesquisabibliográfica Análise dos

resultados

Aplicação dos métodos de Apuração (métodos:

aditivo, aditivo dicotomizado e aditivo

com uso de pesos)

Definição das dimensões

consideradas no instrumento Aplicação do

instrumento com as correções

Análise de reprodutibilidade e

confiabilidade

Teste Piloto

Avaliação e refinamento do

instrumento

Processo de validação de conteúdo (por contraste) e de

constructo(convergente e

divergente)

Validação face a face através de pesquisadores

da área

FLUXOGRAMA DO ESTUDO

CaracterCaracteríísticas avaliadassticas avaliadas

AdequaAdequaçção, ão, Acessibilidade,Acessibilidade,ResolutividadeResolutividade ou efetividade e ou efetividade e Qualidade tQualidade téécnicocnico--cientcientííficafica. . As relaAs relaçções deões de comunicacomunicaçção dos ão dos profissionais com os pacientesprofissionais com os pacienteslimpeza limpeza conforto.conforto.

QASSaBQASSaB®®

O questionO questionáário rio éé composto por trinta e um composto por trinta e um itens, que representam as dimensões a itens, que representam as dimensões a serem avaliados, chegaserem avaliados, chega--se a um total de se a um total de 155, traduzido pela seguinte equa155, traduzido pela seguinte equaçção: ão: nnúúmero de itens x nmero de itens x núúmero de opmero de opçções de ões de resposta para cada itemresposta para cada item∴∴ y = 5 x 31 = y = 5 x 31 = 155.155.

ValidaValidaçção face a faceão face a face

Foram consultados 10 especialistas da Foram consultados 10 especialistas da áárea de sarea de saúúde coletiva, que lidam de coletiva, que lidam diretamente com ensino, pesquisa e diretamente com ensino, pesquisa e administraadministraçção dos servião dos serviçços de saos de saúúde.de.Verificar, se alguma dimensão da Verificar, se alguma dimensão da qualidade em saqualidade em saúúde, foi deixada de lado. de, foi deixada de lado. E, quando detectada a dimensão não E, quando detectada a dimensão não contemplada era automaticamente, contemplada era automaticamente, acrescentada ao instrumento de pesquisa.acrescentada ao instrumento de pesquisa.

Teste de normalidadeTeste de normalidade

A normalidade da escala A normalidade da escala QASSaBQASSaB®® foi foi analisada a partir do teste analisada a partir do teste KolmogorovKolmogorov--SmirnovSmirnov, sendo o mesmo , sendo o mesmo estatisticamente significante para estatisticamente significante para normalidade. normalidade. QASSaBQASSaB(Z= 0,679, P= 0,746)(Z= 0,679, P= 0,746)

ValidaValidaçção de ão de constructoconstructoForam utilizadas duas medidas subjetivas para Foram utilizadas duas medidas subjetivas para este fim. este fim. A primeira baseada no relato se o paciente A primeira baseada no relato se o paciente sentiu dor de dente nos sentiu dor de dente nos úúltimos seis meses (tipo ltimos seis meses (tipo divergente), levandodivergente), levando--se como referencia a se como referencia a severidade da dor, como medida de referência severidade da dor, como medida de referência de sade saúúde bucal do paciente. de bucal do paciente. E a segunda, do (tipo convergente), baseada no E a segunda, do (tipo convergente), baseada no grau de satisfagrau de satisfaçção com a saão com a saúúde bucal. Deverão, de bucal. Deverão, portanto, apresentar maior grau de satisfaportanto, apresentar maior grau de satisfaçção ão com os servicom os serviçços, aqueles que apresentarem os, aqueles que apresentarem maior grau de satisfamaior grau de satisfaçção com a saão com a saúúde bucal.de bucal.

Validação de constructo divergente, considerando a dor de dente nos últimos seis meses, através do coeficiente de Spearman nos

instrumentos – QASSaB

0,181-0,14QASSaB1

Valor de Pμ (Spearman)

ESCALA ORDINAL (dor de dente)

ESCALA NORMAL

0,012*0,26QASSaB1

Valor de Pμ (Spearman)

ESCALA ORDINAL (dor de dente)ESCALA NORMAL

Validação de constructo convergente, considerando a autopercepção de saúde bucal,

nos últimos seis meses, através do coeficiente de Spearman nos instrumentos – QASSaB

ValidaValidaçção do conteão do conteúúdo (por do (por contraste)contraste)

Para o presente estudo dois tipos diferentes Para o presente estudo dois tipos diferentes de pacientes foram utilizados. Os pacientes de pacientes foram utilizados. Os pacientes usuusuáários dos servirios dos serviçços oferecidos pela os oferecidos pela instituiinstituiçção de ensino, foram utilizados como ão de ensino, foram utilizados como referência para avaliareferência para avaliaçção da satisfaão da satisfaçção do ão do usuusuáário, devendo, portanto, apresentar nrio, devendo, portanto, apresentar níível vel de satisfade satisfaçção maior, do que aqueles pacientes ão maior, do que aqueles pacientes que utilizam os servique utilizam os serviçços da Unidade Bos da Unidade Báásica de sica de SaSaúúde do SUS.de do SUS.

10,11-6,640,8763,361,73

-15,75-32,51<0,0013,36-24,13*UNIVER-SIDADE

CENTRO DE SAÚDE

UNIDADE BÁSICA

6,64-10,110,8763,36-1,73*

-17,49-34,24<0,0013,36-25,86*UNIVER-SIDADE

UBS

CENTRO DE SAÚDE

32,5115,75<0,0013,3624,13*UBS

34,2417,49<0,0013,3625,86*CENTRO DE SAÚDEUNIVER-

SIDADE

LIMITE SUPERIORLIMITE

INFERIOR

INTERVALO DE CONFIANÇAVALOR DE

P

ERRO PADRÃ

O

DIFEREN-ÇA

DE MÉDIA

TIPO DE SERVI

ÇO

TIPO DE SERVIÇ

O

* A diferença da média é significativa ao nível de 0,05.

Análise multivariada do QASSaB1 (método aditivo), por do tipo de serviço (ANOVA)

VariVariááveisveis--escalas continuasescalas continuas

Analise de consistência Analise de consistência αα--CronbachCronbach

M1 M1 αα = 0,84 = 0,84 αα padronizado = 0,87padronizado = 0,87M2 M2 αα = 0,87 = 0,87 αα padronizado = 0,90padronizado = 0,90

Reprodutibilidade do MReprodutibilidade do Méétodo Aditivotodo Aditivo

Os resultados do Os resultados do testeteste--retestereteste obtidos a obtidos a partir da duplicapartir da duplicaçção do questionão do questionáário para rio para o QASSaB1, apo QASSaB1, apóós um mês mostrous um mês mostrou--se se reprodutreprodutíível, com o mesmo padrão de vel, com o mesmo padrão de resposta, antes e depois (r = 0,872, p resposta, antes e depois (r = 0,872, p <<0,01). 0,01).

QASSaBQASSaB®®

a versão do a versão do QASSaBQASSaB apapóós a ans a anáálise lise fatorial mostroufatorial mostrou--se como um parâmetro se como um parâmetro adequado, reprodutadequado, reprodutíível e vvel e váálido para ser lido para ser utilizado na avaliautilizado na avaliaçção da qualidade dos ão da qualidade dos ServiServiçços de Saos de Saúúde, na de, na óótica do usutica do usuáário;rio;

Perspectivas de futuroPerspectivas de futuro

AdoAdoçção de mão de méétodos de preventodos de prevençção da ão da corrida malucacorrida maluca–– Estabelecimento de protocolos conjuntos de Estabelecimento de protocolos conjuntos de

cooperacooperaçção ão -- consconsóórciosrcios–– Discussão Discussão éética (Fortalecimento de tica (Fortalecimento de

metodologia para testes de metodologia para testes de diagndiagnóósticostico))Desenvolvimento e aperfeiDesenvolvimento e aperfeiççoamento de oamento de metodologias para utilizametodologias para utilizaçção de formas ão de formas digitais de coleta de dadosdigitais de coleta de dados

Perspectivas de futuroPerspectivas de futuro

ConsolidaConsolidaçção de metodologia para analise ão de metodologia para analise de de esclasesclas multidimensionaismultidimensionaisValidaValidaçção de indicadores utilizados para ão de indicadores utilizados para os servios serviçços de saos de saúúde para avaliade para avaliaçção e ão e monitoramentomonitoramentoDesenvolvimento de escala para Desenvolvimento de escala para ááreas reas negligenciadas negligenciadas

psagoes@uol.com.br