Invisibilidade do erro tipo II: periódicos de alta relevância científica garantem alta confiabilidade da evidência?

Abstract

Introdução: Os erros sistemáticos e aleatórios interferem negativamente na validade interna dos trabalhos, interferindo na precisão das conclusões. Assim, para guiar pesquisadores e leitores, guidelines de validade interna foram feitos para auxiliar na conduta das pesquisas e na leitura de artigos. Entretanto, esses checklists abordam exigências que envolvem quase que completamente orientações para evitar os erros sistemáticos, mas nenhuma para minimizar a presença de erros aleatórios diretamente. Isso pode culminar numa grande quantidade de artigos provavelmente falso-negativos, representando uma violação da integridade cientifica, que pode culminar a fragilização da relação entre a ciência e a sociedade, bem como em condutas médicas equivocadas. Objetivo: Descrever a prevalências de erro tipo II em ensaios clínicos negativos publicados em revistas de grande relevância científica. Metodologia: Trata-se de um estudo metacientífico cuja amostra são ensaios clínicos negativos publicados entre 2020-2021, em revistas de grande relevância científica (British Medical Association, Journal of the American Medical Association, The Lancet e New England Journal of Medicine). Os critérios de exclusão foram: ensaio clínicos não randomizados, pragmáticos, de não inferioridade, de equivalência, duplicados e de conclusão positiva. Um artigo foi considerado com alta probabilidade de erro tipo II, caso houvesse a presença de 1 ou mais das seguintes variáveis: tamanho amostral insuficiente, poder insuficiente e alta variabilidade. Resultados: Dentre os 607 ensaios clínicos coletados, foram excluídos 411 e selecionados 190 ensaios clínicos negativos. Desse total de artigos analisados, 98 (52%) tiveram alta probabilidade de erro do tipo II, dos quais 59 (31%) tiveram poder estatístico insuficiente, 68 (36%) tamanho amostral insuficiente e 29 artigos (30%) poder estatístico e amostra insuficientes simultaneamente. Além disso, dos 190 trabalhos analisados, 14 artigos puderam ser avaliados quanto a alta variabilidade e foram-se encontrados 8 (57%) com tal variável. Conclusão: Encontrou-se uma quantidade relevante de ensaios clínicos randomizados com resultados potencialmente falso-negativos. Estudos mais robustos são necessários para aprofundar a evidência.