Todo artigo de pesquisa submetido a um periódico deve vir acompanhado de um certificado digital que valide que a(s) instituição(ões) dos autores completaram uma série de verificações para garantir a integridade da pesquisa.

Na postagem de hoje, Angela Cochran apela às instituições de pesquisa para que assumam um papel mais importante na validação e nas verificações de integridade.

Esta é uma tradução livre da matéria publicada recentemente pelo grupo Scholarly Kitchen.

As revistas científicas e o processo de revisão por pares não devem ser a primeira linha de defesa na identificação de questões de integridade da investigação.

Os periódicos não devem ser os principais responsáveis ​​pela detecção, correção e punição de autores por comportamento inadequado.

Nos últimos meses, vários “escândalos” abalaram a confiança nos periódicos. Milhares de artigos Hindawi foram retirados porque provavelmente vieram de fábricas de papel. A Wiley anunciou que seu novo serviço de detecção de fábricas de papel  sinalizou de 10 a 13% dos envios  em 270 periódicos para revisão adicional.

A Frontiers publicou números ridículos gerados por IA . E um punhado de periódicos de várias editoras foram pegos publicando artigos com texto óbvio do chatbot AI LLM incluído .

Esses incidentes levaram a artigos na grande imprensa questionando o valor dos periódicos e da CIÊNCIA. Ainda estou para ver alguém que questione o valor das instituições ou do financiamento da ciência.

Há consequências para as revistas que não parecem preocupar-se com a integridade da pesquisa, independentemente do que afirmem as suas declarações de missão corporativa.

Existem mecanismos para lidar com esses periódicos — eles perdem a indexação em compêndios importantes, perdem seu Fator de Impacto , perdem reputação e as submissões caem drasticamente , pelo menos por um tempo. Eles aparecem em listas de instituições ou financiadores nacionais como sendo restritos.

Os periódicos se posicionaram como uma fonte confiável com revisão por pares e algum nível de validação de estudos.

Cada vez mais se espera que os periódicos expliquem o seu valor e, para a grande maioria dos periódicos sérios, a rigorosa revisão por pares tem sido a resposta, juntamente com a curadoria comunitária.

No entanto, a análise forense de conjuntos de dados nunca foi uma tarefa esperada da revisão por pares tradicional. E, no entanto, hoje, o pessoal da revista pode realizar inúmeras verificações, incluindo verificações de plágio, análise de figuras, verificações de identidade de autores e revisores alegados e, pelo menos, seguir as ligações de dados fornecidas para ver se os dados foram depositados conforme necessário.

Agora começaremos a adicionar verificações da fábrica de artigos – todos os autores nomeados são pessoas reais, estão nas instituições listadas no artigo, essas instituições existem, todos os autores trabalham na mesma área, já colaboraram antes, existem “frases torturadas” espalhadas pela revista?

E as ferramentas de detecção de IA, que ainda não chegaram a uma precisão suficiente, nem são escalonáveis ​​ou integradas em qualquer sistema de rastreamento de manuscritos, são uma nova fronteira que aguarda exploração pelos escritórios de periódicos.

Para cada pontuação ou relatório sobre cada verificação automatizada de integridade, uma pessoa precisa revisar e decidir o que fazer: apenas rejeitar o artigo com base na pontuação ou voltar ao autor para obter uma explicação e, se aceitável, trabalhar com ele para corrigir o problema ?

Para qualquer periódico (ou talvez um conjunto de periódicos de uma sociedade), lidar com questões éticas exige um tempo significativo da equipe. Qualquer uma dessas questões pode ser um erro honesto de um autor inexperiente. Nesses casos, um periódico pode querer trabalhar com eles para resolver o problema e continuar o artigo no caminho da revisão por pares. Outras vezes, é o mau comportamento que precisa ser resolvido.

Se um artigo que falhar nas verificações de integridade for rejeitado, há uma boa chance de que ele apareça em outro periódico, desperdiçando o tempo de mais um funcionário da revista.

Essas verificações adicionais ocorrem em um momento em que se espera que a revisão de artigos submetidos a periódicos seja rápida e barata e, ainda assim, nenhum dos processos acima é rápido ou barato. E o número de artigos submetidos a revistas está aumentando — embora esse não seja o caso em todas as disciplinas.

A realização de verificações de integridade em documentos também é uma tarefa de Sísifo com pouca recompensa. A grande maioria dos artigos submetidos à grande maioria das revistas é escrita por pesquisadores éticos e responsáveis. Apesar das manchetes sensacionais que condenavam quase 10 mil retratações em 2023, cerca de 8 mil delas eram de jornais Hindawi. Contexto é tudo.

Se removermos os periódicos ou editores que não estão realmente conduzindo a revisão por pares (ou conduzem a revisão por pares, mas depois ignoram os comentários dos revisores e aceitam os artigos de qualquer maneira), o número de artigos com sérias questões éticas será baixo. E, no entanto, todas as conferências de publicação deste ano, do ano passado e do próximo ano gastarão uma quantidade significativa de tempo abordando questões de integridade da pesquisa. Uma quantidade igual de tempo será gasta assistindo a demonstrações de novas ferramentas criadas para detectar problemas de integridade de pesquisa.

Apesar do número relativamente baixo de incidentes, não verificar todos os artigos aceitos coloca um periódico em risco de perder alguma coisa e acabar nas primeiras páginas do Retraction Watch ou do STAT News . Este não é o lugar onde queremos estar e isso nos abre para uma tempestade de críticas – sua revisão por pares é péssima, você não agrega nenhum valor, você está enchendo a literatura científica de lixo, você está demorando muito para se retratar ou corrigir , etc.

O resultado final é que as revistas não estão equipadas pois possuem editores e revisores voluntários, nem possuem pessoal especializado especializado no assunto para policiar o empreendimento científico mundial.

Alguns apelaram a que as revistas simplesmente retratassem ou publicassem uma expressão de preocupação caso fossem levantadas questões sobre os artigos publicados e forçassem as instituições a conduzir uma investigação.

Cada vez que um editor-chefe precisa enviar um artigo a uma instituição para investigação, um pequeno pedaço de sua alma fica escuro. Talvez se todos os seus artigos vierem de instituições de pesquisa R1 dos EUA você pelo menos consiga identificar para quem o e-mail deve ser enviado. Pessoalmente, passei horas traduzindo no navegador da web nas páginas da instituição em busca de qualquer coisa que possa parecer algo sobre integridade oficial. Normalmente, o melhor que você pode encontrar é um reitor sem um e-mail listado publicamente.

Mas as grandes instituições bem financiadas não estão isentas. As suas revisões e investigações são lentas e nada transparentes.

Existem razões óbvias para não confiar a uma instituição o policiamento dos seus próprios resultados de pesquisa; no entanto, a utilização de ferramentas de terceiros ajudaria a mitigar essas preocupações.

Uma solução para o problema é que as instituições assumam a responsabilidade pela realização de verificações de integridade e pela validação dos periódicos. As muitas empresas excelentes que estão tentando vender aos editores soluções tecnológicas caras deveriam estar tentando vender soluções empresariais para instituições.

Pode haver um meio-termo? As ferramentas tecnológicas poderiam estar disponíveis para autores individuais que então precisariam obter a validação e enviá-la com seu artigo. Isso virá com uma taxa.

Não vejo como os periódicos que precisam empregar cada vez mais verificações de integridade e revisão humana dos resultados sejam sustentáveis. À medida que “enganar o sistema” se torna exponencialmente mais fácil com as ferramentas de IA já ao nosso alcance, a constante vergonha pública das revistas por não captarem os problemas continuará a minar a confiança, não só nas revistas, mas também na ciência.

E é por isso que é crucial apoiar a revisão de integridade no cronograma. A confiança na ciência é baixa, muito baixa. Os EUA estão a uma eleição de perder potencialmente a maior parte do financiamento científico.  Nos cantos do universo, o que é verdade não é mais relevante e muitas mentiras são consideradas fatos.

Em vez de esperar que os escritórios de revistas e os voluntários sobrecarregados encontrem os artigos ruins antes de serem publicados e em vez de culpar a revista quando um deles escapa, talvez as instituições – as empregadoras dos pesquisadores – tenham um papel significativo a desempenhar para garantir que o registro científico seja respeitado e limpo desde o início.

Congratulo-me com a continuação da discussão sobre onde os esforços para garantir a integridade da pesquisa são implementados de forma mais eficiente.

== REFERÊNCIA ==

COCHRAN, Angela. Colocando verificações de integridade de pesquisa onde elas pertencem. Scholarly Kitchen, 28 March 2024. Disponível em: https://scholarlykitchen.sspnet.org/2024/03/28/putting-research-integrity-checks-where-they-belong/