fifteen common mistakes encountered in clinical … · e não reconhecem e constroem sobre os...

UNIDADE DE PESQUISA CLÍNICACentro de Medicina Reprodutiva Dr Carlos Isaia Filho Ltda.

FIFTEEN COMMON MISTAKES ENCOUNTERED IN CLINICAL

RESEARCH

Clark GT, Mulligan R

Journal of Prosthodontic Research (2011)

Apresentação: Andressa Daron Giordani

www.isaia.com.br

Porto Alegre/RS

www.isaia.com.br

Porto Alegre/RS

Foram identificados e descritos 15 erros comuns quenovos pesquisadores muitas vezes cometem quandoplanejam conduzir e publicar um projeto de pesquisa.

Esses erros normalmente acontecem na elaboração doprojeto, mas também podem ocorrer durante a coletaou análise de dados.


Introdução

www.isaia.com.br

Porto Alegre/RS

Todas as pesquisas iniciam com uma ideia ou pergunta.

Portanto, deve-se assumir que a questão de interessejá foi pesquisada antes, e o primeiro passo naelaboração do projeto deve ser buscar exaustivamentee catalogar o que já foi publicado.

Também é trabalho do pesquisador considerar osresultados positivos e negativos dos estudos anterioresno desenvolvimento do projeto de pesquisa.


1. Falha em examinar cuidadosamente a literatura buscando pesquisa prévia

semelhante

DICA: Ao selecionar e refinar o foco de uma questão é extremamente

importante ler atentamente a sessão de discussão de artigos

similares, pois, nessa sessão, muitos pesquisadores especulam sobre o

que precisa ser realizado em seguida naquela área para avançar

a ciência.

www.isaia.com.br

Porto Alegre/RS

Após a catalogação de materiais publicados deve serfeita uma revisão para descobrir o que ospesquisadores anteriores acharam que poderia ter sidomelhor.

Uma estratégia para atingir esse objetivo é organizarum grupo de colegas pesquisadores, selecionar de 10 a15 artigos (os mais importantes sobre o tema) esolicitar uma análise crítica para cada membro dogrupo, destacando tanto pontos positivos comonegativos do material selecionado.


2. Falha na avaliação crítica da literatura prévia

www.isaia.com.br

Porto Alegre/RS

É importante incluir os resultados dessa análise críticana sessão introdutória do projeto de pesquisa comouma justificativa para a necessidade de nova pesquisa epara elucidar o que você como pesquisador fez melhordo que os pesquisadores anteriores.


2. Falha na avaliação crítica da literatura prévia

DICA: Investigadores que repetem trabalhos já realizados e não reconhecem e constroem

sobre os esforços anteriores são suscetíveis a ter seus trabalhos não publicados.

www.isaia.com.br

Porto Alegre/RS

Uma omissão comum de muitos trabalhos de pesquisaé a falta de especificação dos participantes de pesquisa,ou seja, critérios de inclusão e exclusão. Listar essescritérios ajuda outros pesquisadores a entender porqueseus resultados podem ser diferentes de outrosestudos publicados.

É necessário especificar da melhor forma possível acomposição da sua amostra por meio dos critérios deinclusão e exclusão.


3. Falha na especificação dos critérios de inclusão e exclusão dos participantes

DICA: Se o pesquisador não tem certeza sobre como

elaborar os critérios de inclusão e exclusão para uma questão de pesquisa, pode olhar para pesquisas anteriores e usar os

critérios citados.

www.isaia.com.br

Porto Alegre/RS

Todos os métodos devem ser replicáveis e todopesquisador deve estar apto a responder a pergunta

“Qual é o erro no seu método de avaliação?”


4. Falha ao determinar e relatar o erro do seu método de avaliação

www.isaia.com.br

Porto Alegre/RS

Para encontrar esse valor de erro é necessário conduzirum experimento de teste-reteste. No entanto, se opesquisador está utilizando múltiplos examinadorespara obtenção dos dados, esses precisam ser calibradospara um padrão conhecido antes de iniciar o estudo.

Se a pesquisa for de longa duração é imprescindívelque os examinadores sejam recalibradosperiodicamente.



www.isaia.com.br

Porto Alegre/RS

Um artigo publicado em 2001 examinou os efeitos doserros de avaliação em estudos de equivalênciaterapêutica e relatou que esses erros favorecem oobjetivo de demonstrar equivalência entre ostratamentos.

Essencialmente esse artigo reportou como dadosimprecisos tornam difícil dizer se existe qualquerdiferença real entre dois métodos ou dois tratamentos.



www.isaia.com.br

Porto Alegre/RS

Essa imprecisão é uma desvantagem se oobjetivo for demonstrar que o novo tratamentoé melhor que o antigo.

Entretanto se a intenção é provar que o novotratamento é equivalente ao antigo, dadosimprecisos, beneficiam o objetivo dedemonstrar equivalência ou não inferioridade.



www.isaia.com.br

Porto Alegre/RS

Outro estudo realizado em 2008 examinou a frequênciae características de erros na entrada de dados emgrandes bases de dados. Esses autores relataram queas taxas de erro variaram de 2,3 a 26,9%, sendo que oserros não são apenas na entrada de dados, mas muitosnão-aleatórios, que poderiam potencialmente afetar oresultado do estudo.



DICA: Um bom pesquisador pode até fazer do processo de

calibração um esforço de pesquisa independente, que

poderia resultar em uma publicação em uma revista

científica.

www.isaia.com.br

Porto Alegre/RS

Uma vez que a maioria dos estudos irá incluir análiseestatística dos dados, especificar o nível de significância(chamado de nível alfa) que é aceitável, e os métodosde testes estatísticos exatos utilizados é comum.

No entanto, raramente você vê os autores afirmando oque eles usaram como seu valor beta, que indica a suachance de um erro de tipo II (geralmente beta é 0,2 oumenos). O recíproco de beta (1 menos beta) é entãoconvertido em uma porcentagem e relatado como opoder de um estudo (geralmente ≥ 80%).


5. Falha em especificar as suposições estatísticas exatas feitas na análise

www.isaia.com.br

Porto Alegre/RS

Em 2007, uma excelente revisão de literatura catalogoue descreveu 47 erros estatísticos que são comumenteencontrados na literatura médica. Esses autoressugerem envolver um consultor estatístico incialmenteno estudo como um meio de prevenir esse erroscomuns.


5. Falha em especificar as suposições estatísticas exatas feitas na análise

DICA: Fornecer detalhes das suposições dos testes

estatísticos dá ao leitor / revisor a sensação de que os

autores estão atentos aos detalhes e honestos ao descrever o processo de pesquisa, já a falta de tal

detalhe implica o contrário.

www.isaia.com.br

Porto Alegre/RS

Muitas pesquisas clínicas que afirmam equivalência ounão inferioridade entre dois métodos são insuficientes,o que significa que eles têm poucos participantes.

Para evitar esse erro, antes de iniciar a pesquisa éimportante saber quantos participantes sãonecessários para atingir o poder mínimo desejado parao estudo.


6. Falha na análise do tamanho da amostra antes do início do estudo

www.isaia.com.br

Porto Alegre/RS

Para alcançar a análise do tamanho da amostra énecessário entender a natureza dos dados que serãocoletados, por exemplo, se o dado é linear ou não-linear. Também é necessário ter uma estimativarazoável de qual será o efeito da intervenção. E porúltimo, é essencial entender a variabilidade dos dadoscoletados.



www.isaia.com.br

Porto Alegre/RS

Em um artigo de 2001 os investigadores examinaramestudos que compararam a eficácia de prótesessuportadas por 2 implantes versus próteses suportadaspor 4 implantes em estudos de equivalência.

Os autores descobriram que diminuir o poder doestudo torna mais fácil encontrar equivalência entre osmétodos.



DICA: Para os dados lineares, se o desvio padrão for um pouco maior (por exemplo 2-3 vezes

maior) do que a diferença entre os dois grupos de tratamento, o tamanho da amostra requerido para mostrar significância sobe

substancialmente.

www.isaia.com.br

Porto Alegre/RS

Esse é o erro mais importante que os pesquisadorescometem. Controle de viés é o que distingue uma boapesquisa de uma pesquisa ruim.

Medidas de controle de viés incluem randomização dosparticipantes, intervenção e condições controladas(avaliação e análise do individuo pelo investigadorcegado).


7. Falha na implementação de medidas adequadas para controle de vieses

www.isaia.com.br

Porto Alegre/RS

Estudo duplo cego é o desenho mais indicado paraevitar viés. Quando o cegamento não é utilizado ou ogrupo do participante pode ser facilmente detectado,os participantes geralmente tentarão satisfazer asexpectativas do pesquisador.



www.isaia.com.br

Porto Alegre/RS

A questão de preencher as expectativas foi apontadapela primeira vez em um estudo em Michigan.

O experimento variou a intensidade de luz disponívelno ambiente para ver se havia uma relação de causa eefeito entre a produtividade e a intensidade de luz.Felizmente eles variaram a luz nas duas direções,aumentando e diminuindo a intensidade.



www.isaia.com.br

Porto Alegre/RS

O que eles descobriram é que sempre que umexperimento estava sendo conduzido, a produtividadedo trabalho aumentava. Isso significa que qualquerindivíduo é susceptível a cumprir as expectativas doinvestigador se não forem cegados.



www.isaia.com.br

Porto Alegre/RS

Em uma meta-análise realizada em 2011, foramrevisadas 190 pesquisas randomizadas envolvendo 8intervenções terapêuticas diferentes. Os estudos foramdivididos entre aqueles com mais de 1.000participantes e aqueles com menos de 1.000participantes.

O resultado dessa análise foi que estudos comamostras menores tiveram efeitos terapêuticos maispositivos do que os estudos com amostras maiores.



www.isaia.com.br

Porto Alegre/RS

Esses pesquisadores também reportaram que estudosmaiores eram sistematicamente menos propensos arelatar um efeito positivo, sugerindo que o viés foi maisfácil de ocorrer e ter impacto em estudos menores.

Os pesquisadores analisaram ainda outras medidas decontrole do viés, tais como randomização e cegamento,e concluíram que a randomização e o cegamentoinadequados levam a estimativas exageradas dobenefício da intervenção.



DICA: Os pacientes são notavelmente capazes de

detectar a que grupo foram atribuídos, mesmo que as

medidas de cegamento tenham sido implementadas; Portanto bons estudos sempre realizam

verificações de cegamento periódicas.

www.isaia.com.br

Porto Alegre/RS

Um cronograma detalhado ou o Diagrama de Gantt éuma característica essencial para incluir em umprotocolo de um ensaio clínico.

No entanto, a falha para criar e acompanhar ocronograma é um erro comum que frequentementeocorre na investigação clínica.


8. Falha ao escrever e manter um cronograma detalhado

www.isaia.com.br

Porto Alegre/RS


8. Falha ao escrever e manter um cronograma detalhado

DICA: Bons pesquisadores fazem um cronograma que inclui pontos de referência

críticos ao longo do caminho, eles colocam na parede para

todos verem e para o cronograma seja seguido!

www.isaia.com.br

Porto Alegre/RS

Os participantes devem ser identificados e recrutadose, um plano para esse processo de recrutamento deveser desenvolvido.

Um estudo comparou três métodos de recrutamento erelatou que ligações telefônicas diretas ao pacienterealizadas pelo investigador foi o método mais efetivo.


9. Falha para vigorosamente recrutar e reter os participantes

DICA: Uma pesquisas bem desenhada muitas vezes falha

por causa do pobre recrutamento e procedimentos de retenção, então torne isso

uma prioridade.

www.isaia.com.br

Porto Alegre/RS

Além de escrever oprotocolo, o pesquisadorprecisa apresentar esseprojeto a um pequenogrupo, de preferência umgrupo com moderadaexperiência em pesquisa, esolicitar comentários críticose sugestões de melhoria.


10. Falha em ter um protocolo detalhado, escrito e revisado

www.isaia.com.br

Porto Alegre/RS

Uma vez que a segunda fase do estudo começa, aanálise dos dados, é crítico que uma metodologiaestatística apropriada seja selecionada e implementadapara análise efetiva dos dados.

Na fase de desenho da pesquisa o estatístico éimportante em ajudar a conceitualizar a metodologiaanalítica que deve ser utilizada.

De várias formas, o estatístico serve como um auditorexterno atestando a diligência e a honestidade doprocesso de pesquisa e análise.


10. Falha em ter um protocolo detalhado, escrito e revisado

DICA: Obter um entendimento geral e concordância de que um

projeto será conduzido não é suficiente. Um pesquisador

também deve obter uma compreensão completa e

acordar sobre as especificidades do projeto, que

devem ser adequadamente documentadas ou o projeto

pode facilmente falhar.

www.isaia.com.br

Porto Alegre/RS

Na fase analítica, é importante examinar os dadoscoletados e verificar se são normalmente distribuídos.Normalidade é um conceito aplicável a dados linearescontínuos e não é aplicável para dados categóricos oudicotômicos não lineares.


11. Falha em examinar a normalidade dos dados

www.isaia.com.br

Porto Alegre/RS

Dados que são distribuídos de forma desigual sobre amédia podem às vezes ser transformados em dadosmais igualmente distribuídos.

A vantagem de transformar os dados é que permiteque você continue usando métodos estatísticosparamétricos, em oposição ao uso de métodos deanálise estatística não-paramétrica. Em geral, a análiseestatística paramétrica é um método mais sensível (istoé, tem mais poder estatístico) e é preferível ao utilizadopara analisar dados não paramétricos.


11. Falha em examinar a normalidade dos dados

DICA: Um pesquisador deve sempre olhar para os dados brutos obtidos a partir do

estudo exibidos graficamente, uma vez que isso demonstra

áreas onde há problemas com os dados. O objetivo é ver se o

histograma dos dados demonstra uma curva em

forma de sino ou alguma outra figura.

www.isaia.com.br

Porto Alegre/RS

Consultores estatísticos normalmente irão recomendarmétodos analíticos consistentes com metodologia deintenção de tratar. Esta metodologia lida com as perdasde seguimento (dropout).

Independente do método de análise utilizado, éimportante relatar todas as perdas de seguimento e osdados faltantes de maneira cuidadosa e honesta. Comoo projeto lidou com esses dados deve estar descrito nasessão de métodos do relatório de pesquisa.


12. Falha em relatar os dados faltantes, os participantes que abandonaram e o

uso de uma análise de intenção de tratar

www.isaia.com.br

Porto Alegre/RS

Pesquisa clínicas com protocolos complicados, difíceisou prolongados tendem a sofrer com a perda deseguimento. Muitos pesquisadores implementamcritérios de inclusão e exclusão que eliminamrazoavelmente a não adesão dos participantes.

Por vezes os pesquisadores veem os potenciasparticipantes mais de uma vez durante a fase de pré-seleção até determinar a elegibilidade.




www.isaia.com.br

Porto Alegre/RS

Essa fase de pré-seleção em um estudo clínico é umavantagem que torna mais fácil identificar participantesque tendem a ser não aderentes ao protocolo e seriamelhor excluí-los antes da inclusão.

Infelizmente, uma pré-seleção com muitas exclusõestorna o resultado menos generalizável para apopulação mundial real da amostra.




DICA: Se você tem que escolher entre excluir participantes e ter

muitos abandonos, escolha sempre a exclusão.

www.isaia.com.br

Porto Alegre/RS

Estudos pequenos com baixo poder frequentementenão encontram diferenças significativas entre asintervenções de tratamento, entretanto, se o poder doestudo é inadequadamente aumentado, então um errode tipo II é mais provável.

Um erro tipo II é a aceitação de uma falsa hipótesenegativa. Esses erros ocorrem porque há poucosparticipantes de pesquisa, mas também porque sãofeitas muitas avaliações em poucos participantes.


13. Falha ao executar e relatar o cálculo de poder do estudo

www.isaia.com.br

Porto Alegre/RS

Se você medir dois grupos de participantes duas vezes,é provável que algumas medidas realizadas na segundaocasião sejam diferentes.

Também é possível mostrar que as diferenças são defato estatisticamente diferentes, se não forem feitosajustes descendentes para o nível de significância paracompensar o fato de que houve medições múltiplas.


13. Falha ao executar e relatar o cálculo de poder do estudo

DICA: Lembre-se que "as associações nunca provam a

causalidade".

www.isaia.com.br

Porto Alegre/RS

Na última fase de um ensaio clínico, os resultados sãoescritos em um formulário manuscrito e submetidospara revisão.

Muitos pesquisadores não conseguem apontar asfraquezas de seu próprio estudo na seção de discussãode seu manuscrito. Esta é muitas vezes razão para arejeição do mesmo.


14. Falha em apontar as fraquezas de seu próprio estudo

DICA: Em geral, esconder seus erros ou ofuscá-los com a

esperança de que ninguém vai notar não é uma boa política.

Tenha em mente que “honestidade é a melhor

política”.

www.isaia.com.br

Porto Alegre/RS

Os pesquisadores devem utilizar a linguagem científicacorreta quando estiverem descrevendo seusresultados. Especificamente, um único estudo nuncaprova que uma hipótese é correta, ele só pode rejeitara hipótese nula. Enquanto a maioria das pessoas não sesente confortável usando essa linguagem deadvertência, esta é a linguagem científica correta.


15. Falha em compreender e usar linguagem científica correta

www.isaia.com.br

Porto Alegre/RS

Na verdade, poucos manuscritos de pesquisaformalmente declaram a hipótese nula na seção demétodo e, em seguida, rejeitam ou aceitamformalmente essa hipótese na seção de discussão. Masquando isso é feito, mostra uma verdadeiracompreensão da pesquisa científica e das limitações dométodo científico.


15. Falha em compreender e usar linguagem científica correta

DICA: Se você quer ser um bom pesquisador, você deve estudar

e entender as nuances da linguagem associada ao processo científico, e só

fazendo isso você também entenderá as limitações deste

processo.

fifteen common mistakes encountered in clinical … · e não reconhecem e constroem sobre os...

Documents