Biblioteca cria diretrizes para identificar artigos falhos e descartá-los no momento de avaliar o estado da arte de um tema de pesquisa

Esta é uma replicação da matéria publicada originalmente na Pesquisa Fapesp de autoria de Fabrício Marques [1]

A Biblioteca Cochrane, uma coleção de bancos de dados com sede no Reino Unido, lançou um novo conjunto de diretrizes para auxiliar na identificação de artigos científicos com erros, vieses ou indícios de fraude [2]. O objetivo é evitar que trabalhos falhos comprometam a credibilidade do portfólio de 7,5 mil revisões da literatura científica da biblioteca sobre temas de saúde, feitas para municiar com informações de qualidade o trabalho de médicos e enfermeiros.

Os responsáveis pelas revisões, especialistas encarregados de compilar e comparar evidências científicas obtidas em diferentes papers e ensaios clínicos, dispõem agora de orientações formais sobre o que fazer caso algum artigo que haviam selecionado sofra retratação (a depender da extensão do problema, a revisão também poderá ser cancelada e precisará ser refeita) ou ganhe o carimbo “expressão de preocupação”, uma sinalização de que pode conter erros e está sendo reavaliado. Nesse último caso, a revisão deve exibir uma nota informando sobre as suspeitas e alertando que o texto poderá sofrer uma atualização.

A tarefa se torna mais complexa e desafiadora quando existem razões para duvidar da confiabilidade de um resultado, mas não há uma retratação ou suspeita formal envolvendo o trabalho. A recomendação, nesse caso, é que os autores do estudo sejam procurados e as dúvidas expostas de maneira clara, utilizando uma linguagem neutra, sem acusação de má conduta. O mesmo procedimento deve ser feito com o editor do periódico em que o estudo foi publicado.

Há outras ações a tomar. Uma das sugestões é o uso de checklists para aferir se os estudos foram feitos de forma adequada. Um deles tem 58 itens que já vem sendo usado por editores de periódicos para avaliar manuscritos. Foi batizado de Reappraised, uma sigla composta pelas iniciais em inglês das 11 dimensões avaliadas: governança da pesquisa, ética, autoria, produtividade, plágio, conduta científica, análises e métodos, manipulação de imagens, dados e estatísticas, erros e duplicação de dados. A lista analisa aspectos formais, como a confirmação da aprovação do estudo por comitês éticos e a apresentação de uma declaração explicitando a contribuição de cada autor. E também questiona a consistência dos dados apresentados. No caso de um ensaio clínico, o número de participantes é compatível com o prazo utilizado para recrutá-los? Os resultados têm significância estatística? Há discrepância entre os valores absolutos e em porcentagens? O volume de trabalho envolvido no estudo é compatível com o tamanho do grupo de pesquisa?

Em um texto publicado sobre as mudanças, três editores da biblioteca Cochrane destacaram as dificuldades de fazer uma avaliação justa. Uma delas abrange a definição de estudo “problemático”, o que contém certa carga subjetiva. “Para os fins da política da Cochrane, definimos um estudo problemático como ‘qualquer estudo publicado ou não publicado em que haja sérias dúvidas sobre a confiabilidade dos dados ou resultados, independentemente de o estudo ter sido formalmente retratado’, mas sabemos que tais termos têm significados diferentes para indivíduos diferentes, denotando um grau maior ou menor de seriedade”, escreveram os autores, Stephanie Boughton e Lisa Bero, editoras de integridade científica da biblioteca, e Jack Wilkinson, editor de estatística [3].

Um problema adicional é que as estratégias de verificação disponíveis não foram testadas em profundidade e validadas – os editores ressaltam que é necessário investir em estudos sobre sua eficiência para identificar erros e vieses. “O uso de métodos não validados implica o risco de detectar de forma exagerada ou insuficiente estudos problemáticos. É necessário cautela, pois uma classificação de um estudo genuíno como problemático pode resultar em uma revisão errônea e gerar danos à reputação dos autores.”

Em um artigo de opinião publicado em julho na revista The British Medical Journal (BMJ), o ex-editor do periódico Richard Smith, professor emérito da Universidade de Warwick, comentou a iniciativa da Biblioteca Cochrane e chamou a atenção para um problema de fundo: a presença na literatura científica de relatos de ensaios clínicos que não foram feitos. Ele mencionou um estudo publicado pelo anestesista John Carlisle, do Serviço Nacional de Saúde do Reino Unido, que analisou 536 ensaios clínicos submetidos para publicação na revista Anaesthesia entre 2017 e 2020. O trabalho foi divulgado na própria Anaesthesia, revista de prestígio vinculada a uma associação profissional do Reino Unido e Irlanda, que estava interessada em identificar falhas em seu processo de avaliação. Isso porque, anos antes, ela havia publicado papers fraudulentos de dois pesquisadores que hoje são campeões mundiais em número de retratação de artigos, o japonês Yoshitaka Fujii e o alemão Joachim Boldt (ver Pesquisa FAPESP nº 272). Pois o trabalho de Carlisle constatou que 73 ensaios, ou 14% do total, continham dados manipulados e 43, o equivalente a 8%, eram “zumbis”. Seus resultados foram inventados. A maioria das fraudes envolvia testes realizados no Egito, China, Índia, Irã, Japão, Coreia do Sul e Turquia.

Sem acesso a dados primários dos ensaios, autores de revisões da literatura podem ser enganados. Smith também contou em seu artigo o caso de um colega, Ian Roberts, da Escola de Higiene e Medicina Tropical de Londres, autor de uma revisão da literatura sobre um tratamento para lesão cerebral que, ele descobriu tardiamente, se baseou em ensaios com dados provavelmente fabricados.

Smith, que por muitos anos foi um dos membros do comitê de supervisão da Cochrane, enxerga na nova política da biblioteca uma mudança de paradigma que, a seu juízo, deveria nortear a análise de ensaios clínicos. “Pode ter chegado o momento de parar de presumir que a pesquisa realmente aconteceu e é honestamente relatada, e presumir que a pesquisa é fraudulenta até haver evidência que comprove que ela ocorreu e foi relatada honestamente”, afirma.

http://resource-cms.springernature.com/springer-cms/rest/v1/content/17589730/data/v1

== REFERÊNCIAS ==

[1] MARQUES, Fabricio. Para garantir a confiança nas revisões da literatura. Pesquisa Fapesp, Edição 307
set. 2021. Disponível em: https://revistapesquisa.fapesp.br/para-garantir-a-confianca-nas-revisoes-da-literatura/ Acesso em 30 de set. 2021

[2] COCHRANE LIBRARY. Cochrane Database of Systematic Reviews: editorial policies: Managing potentially problematic studies. Disponível em: https://www.cochranelibrary.com/cdsr/editorial-policies#problematic-studies Acesso em: 30 set. 2021

[2] BOUGHTON, S.L.; WILKINSON, J.; BERO, L. When beauty is but skin deep: dealing with problematic studies in systematic reviews. Cochrane Database of Systematic Reviews, n. 6, 2021. https://www.doi.org/10.1002/14651858.ED000152