Os periódicos e editores reconhecem que as decisões editoriais podem fazer ou quebrar a carreira dos pesquisadores. 

Está bem estabelecido que os administradores e tomadores de decisão usam o prestígio da revista e os fatores de impacto como um atalho para avaliar a pesquisa dos candidatos a empregos, do pessoal acadêmico atual e até mesmo para recrutar proativamente acadêmicos que pontuam bem nessas métricas. 

Esta é uma tradução livre do artigo publicado na Science Editor intitulado How Journals and Publishers Can Help to Reform Research Assessment [1]

Não é incomum encontrar palavras nas políticas de avaliação de universidades que fazem referência ou mencionam explicitamente o Fator de Impacto da Revista (em inglê Journal Impact Factor – JIF). Por exemplo, um estudo recente descobriu que o JIF ou outros termos intimamente relacionados, incluindo “jornal de alto impacto” e “impacto do jornal”, foram mencionados em 23% dos documentos de revisão, promoção e estabilidade em uma amostra representativa de instituições acadêmicas em todo os Estados Unidos e Canadá. ¹

Esse valor aumentou para 40% entre as universidades de pesquisa intensiva. No entanto, tal abordagem para avaliação de pesquisa fornece uma visão limitada das realizações de qualquer pessoa. 

Muitos grupos também argumentaram que o foco em marcas de periódicos intensifica a competição entre pesquisadores e periódicos de maneiras que distorcem o comportamento e prejudicam um empreendimento acadêmico saudável e produtivo. ^2,3

Mas não basta reconhecer o problema. Identificar abordagens específicas que os editores podem adotar para lidar com essas preocupações é realmente fundamental. 

A Declaração sobre Avaliação de Pesquisa ( DORA ) ⁴está fazendo isso avançando em direção a abordagens práticas e robustas para melhorar a forma como a pesquisa é avaliada nas decisões de contratação, promoção e financiamento. 

Mas a mudança – que é essencialmente cultural – não é fácil. Depende das ações de indivíduos, organizações e todas as partes interessadas no meio ambiente. 

Quando o DORA foi lançado em 2013, a declaração fornecia 18 recomendações direcionadas a editores, institutos de pesquisa, financiadores, provedores de métricas e pesquisadores. 

Cinco das recomendações foram escritas para editores, e o objetivo deste artigo é destacar algumas etapas práticas que os editores podem tomar para apoiar uma avaliação de pesquisa mais eficaz.

De métricas de periódicos a méritos de artigos

Uma ideia central no DORA é mudar a ênfase da avaliação baseada em periódicos para uma visão muito mais ampla das contribuições acadêmicas que leva em consideração artigos individuais e outros resultados de pesquisa, bem como contribuições no ensino, orientação e engajamento público. 

Como primeiro passo, e para sinalizar a falta de apoio para o fator de impacto do periódico, alguns editores abandonaram totalmente a promoção do fator de impacto do periódico, como foi feito pela American Society for Microbiology , eLife e PLOS . ^6–7   Outras editoras, como EMBO , Nature Research e the Royal Society , ^8–10em vez disso, colocaram o fator de impacto do jornal no contexto de uma ampla gama de métricas de jornal, o que ajuda a mostrar que diferentes métricas de jornal têm valores diferentes. 

Esses e outros editores também adicionaram um gráfico para mostrar a amplitude da distribuição de citações que é comum a todos os periódicos e demonstra que um fator de impacto é um indicador pobre do provável número de citações que qualquer artigo receberá. ¹¹

Para apoiar a mudança para a avaliação de artigos individuais (e outros resultados), foram desenvolvidos serviços que fornecem métricas e indicadores no nível do artigo. 

Altmetric e ImpactStory ^12,13 reunem métricas a partir de uma variedade de fontes, incluindo Twitter, Facebook, Wikipedia, agências de notícias e blogs para fornecer um sentido da atenção recebida por um artigo individual, além de citações. 

É importante ressaltar que essas e outras ferramentas permitem a coleta de informações qualitativas e também quantitativas, como quem está comentando sobre um artigo e quais tipos de opiniões estão sendo expressas. Os editores podem oferecer suporte a essas abordagens, fornecendo eles próprios dados no nível do artigo, incluindo informações sobre o uso e citações.

Outra iniciativa que pode ser apoiada por editoras é o CRediT , ¹⁴ que fornece uma taxonomia padronizada das contribuições dos autores. 

Muitos editores importantes adotaram essa taxonomia, que ajuda a identificar as contribuições específicas que qualquer autor fez para um estudo. Com maior adoção por periódicos, os autores podem compilar suas contribuições entre os estudos. 

Juntamente com o uso de métricas e indicadores em nível de artigo, é, portanto, possível para um pesquisador construir uma imagem baseada em dados da influência de seu trabalho, que se estende além da “autoria” tradicional. 

Porém, como acontece com o uso de qualquer métrica, deve-se ter cuidado na apresentação e interpretação de tais dados. ¹⁵ O kit ferramentas de métricas ¹⁶ pode ajudar as pessoas a entender melhor quais informações as diferentes métricas podem ou não fornecer.

Além dos artigos

Cada vez mais, os editores estão apoiando o reconhecimento de resultados de pesquisas além de artigos revisados ​​por pares. 

Um passo importante a ser dado é encorajar as melhores práticas na citação de resultados, como dados, código, protocolos e outros recursos. Iniciativas como a Declaração Conjunta sobre Princípios de Citação de Dados tem um conjunto associado de recomendações ¹⁷ que todos os periódicos podem seguir. Uma iniciativa relacionada foi criada para gerar identificadores exclusivos para recursos de pesquisa ( RRID ). ¹⁸ Ao encorajar o uso de tais identificadores e práticas, podem ser obtidas métricas sobre o uso e o valor de todos os resultados de pesquisa, que podem alimentar uma abordagem mais holística para a avaliação de uma pesquisa individual, de grupo ou de universidade.

Do outro lado da moeda, citar resultados de pesquisas não é útil, a menos que estejam disponíveis para terceiros. Os periódicos devem, portanto, exigir que os autores disponibilizem todos os dados e recursos essenciais que sustentam um trabalho publicado da forma mais aberta possível, de acordo com os princípios FAIR (descoberta, acessibilidade, interoperabilidade e reutilização), ¹⁹ para permitir que outros pesquisadores interessados possam prosseguir em seu trabalho. Os autores se beneficiarão com essa abordagem porque seus recursos e descobertas são mais prováveis ​​de serem usados ​​e citados por outras pessoas: informações que podem servir de base para solicitações de empregos e financiamento. ²⁰

Finalmente, outro aspecto pouco reconhecido da atividade acadêmica é a revisão por pares. A percepção e o conselho que os pesquisadores fornecem rotineiramente aos seus colegas recebem pouco ou nenhum reconhecimento. Portanto, outro passo valioso que os editores podem tomar é garantir que os revisores recebam crédito pelas revisões e, se revisor e autor concordarem, publicar os relatórios de revisão por pares (com ou sem o nome do revisor). Há uma lista crescente de periódicos que já publicam relatórios ou estão comprometidos em fazê-lo. ²¹ Para levar isso adiante, os editores podem se integrar com serviços como ORCID ou Publons ^22,23adicionar atividade de revisão por pares ao perfil de um pesquisador e ajudá-lo a obter reconhecimento por sua contribuição acadêmica. Os pesquisadores podem usar essas informações como evidência para demonstrar suas atividades durante as avaliações.

Metadados poderosos

Uma avaliação de pesquisa mais rica e eficaz será apoiada por uma rede robusta de conexões entre as pessoas e todos os resultados e contribuições de suas pesquisas. 

Um componente crucial dessa rede são os metadados abertos e de alta qualidade. Os editores são fornecedores de uma grande quantidade de metadados, disponibilizados por meio de uma série de serviços, especialmente o Crossref. 

Várias iniciativas foram introduzidas nos últimos anos para aumentar o valor da publicação de metadados e para fortalecer a rede acadêmica, mais notavelmente o projeto Metadados 2020. ²⁴ Os editores têm estado na vanguarda de muitos desses desenvolvimentos e continuam a desempenhar um papel importante em sua adoção. No entanto, ainda há muita variabilidade na qualidade dos metadados e melhorias podem ser feitas.

Muitos editores agora exigem que os autores forneçam ORCIDs para um ou mais autores, o que ajudará na criação de perfis ORCID mais completos e úteis. ²⁵ Outro desenvolvimento importante é a Initiative for Open Citations, ²⁶ que foi lançada em 2017 para incentivar os editores a tornarem seus metadados de lista de referência abertos. 

A maioria dos editores deposita esses metadados com Crossref, mas o acesso é restrito por padrão. Para tornar os dados abertos, os editores precisam enviar um e-mail para Crossref. Desde o lançamento do I4OC, mais da metade dos dados estão agora disponíveis abertamente. No entanto, muitos editores ainda restringem desnecessariamente o acesso, o que limita seu valor para novos usos e serviços. ²⁷ 

Os dados de referência podem ser usados ​​para muitos propósitos, mas dada sua relevância para a avaliação da pesquisa, os dados totalmente abertos também ajudarão a apoiar mais experimentação e maior transparência nas práticas de avaliação.

Advocacy

Quaisquer que sejam as ações tomadas por editores e periódicos para encorajar a reforma da avaliação da pesquisa, também é valioso fornecer contexto para essas iniciativas. 

Editoriais, postagens em blogs e outros artigos podem ser usados ​​para explicar a posição de um determinado periódico. Os editores também podem ajudar a defender a reforma entre as outras partes interessadas, especialmente pesquisadores, financiadores e instituições.

As reuniões acadêmicas, especialmente para as sociedades, são outro lugar para reunir as pessoas para conversas sobre inovação na avaliação de pesquisas. Os periódicos associados a sociedades estão em uma ótima posição para fazer isso. A própria DORA se originou de um grupo de editores de periódicos e editores que se encontraram na reunião da American Society for Cell Biology (ASCB) em San Francisco em 2012.

Mais recentemente, a DORA organizou uma sessão de capacitação no Encontro ASCB | EMBO 2018, onde os participantes forneceram feedback sobre os materiais de inscrição para financiamento de bolsas e cargos no corpo docente. Durante o exercício, os participantes identificaram atalhos que os avaliadores poderiam usar ao analisar as inscrições. Para ajudar a separar artigos individuais da marca de um editor,²⁸

Olhando para dentro

Além de tomar medidas para encorajar avaliações de pesquisas mais eficazes e justas por outras organizações, os editores também devem examinar seus próprios processos. 

A participação no processo de publicação científica como editores, revisores e autores contribui para o sucesso profissional dos pesquisadores. Os periódicos, portanto, têm a obrigação de promover a equidade, a diversidade e a inclusão em cada etapa do processo. Alguns desequilíbrios de gênero são fáceis de reconhecer, como o número relativo de editoras e avaliadoras. ²⁹ 

Outros, entretanto, são menos aparentes. Por exemplo, um estudo revelou as desigualdades de gênero entre os co-autores em artigos de pesquisa, sugerindo que as autoras nem sempre recebem o crédito que merecem. ³⁰

Uma maneira que os periódicos podem diminuir essas disparidades é garantir que os conselhos editoriais e os revisores reflitam a diversidade da comunidade científica, o que também pode ajudar a reduzir o preconceito no processo editorial. ³¹

Por que agir?

O objetivo fundamental de periódicos e editoras é apoiar a comunicação e a condução da academia. 

Do jeito que as coisas estão, existe a preocupação de que as maneiras como os periódicos são usados ​​para avaliação de pesquisas estejam prejudicando os estudos ao introduzir incentivos perversos. ³² 

Para neutralizar esses efeitos, será necessária uma ação coordenada de todos os principais interessados ​​envolvidos na comunicação acadêmica, e os periódicos e seus editores devem fazer sua parte. 

Nesta perspectiva, descrevemos algumas das ações que são alcançáveis ​​pela maioria dos periódicos e estão resumidas em uma chamada à ação (Quadro 1). Os periódicos que adotam essas e outras abordagens estarão na vanguarda da reforma muito necessária e servirão aos estudos de maneira mais eficaz.

Box 1 – Call to Action

1. Cesse a promoção de fatores de impacto do jornal ( ref ) ⁵
2. Forneça métricas e indicadores de artigo ( ref ) ³³
3. Adote a taxonomia CRediT para contribuições do autor ( ref ) ¹⁴
4. Certifique-se de que todos os dados de referência depositados com Crossref estão abertos ( ref ) ²⁶
5. Exigir que os autores disponibilizem todos os dados-chave de acordo com os princípios FAIR ( ref ) ¹⁹
6. Siga os princípios de citação de dados ( ref ) ¹⁷
7. Incentive o uso de identificadores exclusivos (por exemplo, RRIDs; ref ) ¹⁸
8. Exigir que os autores usem ORCIDs ( ref ) ²⁵
9. Publicar relatórios de revisão por pares e respostas do autor junto com o artigo ( ref ) ²¹
10. Examinar maneiras de aumentar a diversidade, equidade e inclusão no processo de publicação ( ref ) ³¹

Reconhecimentos

Agradecemos a Dominique Babini e Ginny Barbour por revisar o artigo e fornecer feedback útil.

Referências e links

1. 
   McKiernan A, Schimanski LA, Nieves CM, Matthias L, Niles MT, Alperin JP. Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. PeerJ Preprints 2019;7:e27638v2. https://doi.org/10.7287/peerj.preprints.27638v2.
2. Montgomery J, Nurse P, Thomas DJ, Tildesley D, Tooke J. The findings of a series of engagement activities exploring the culture of scientific research. London, UK: Nuffield Council on Bioethics. 2014. Available at: http://nuffieldbioethics.org/project/research-culture/the-findings.
3. Working Group on Rewards under Open Science. Evaluation of research careers fully acknowledging open science practices. Brussels, Belgium: European Commission. 2017. Available at: https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport_final.pdf#view=fit&pagemode=none.
4. https://sfdora.org/
5. Casadevall A, Bertuzzi S, Buchmeier MJ, et al. ASM journals eliminate impact factor information from journal websites. mSphere 2016;1:e00184-16. https://doi.org/10.1128/mSphere.00184-16.
6. Schekman R, Patterson M. Science policy: reforming research assessment. eLife 2013;2:e00855. https://doi.org/10.7554/eLife.00855.
7. https://www.plos.org/dora
8. http://emboj.embopress.org/about#bibliometrics
9. https://www.nature.com/npg_/company_info/journal_metrics.html
10. https://royalsocietypublishing.org/rstb/citation-metrics
11. Larivière V, Kiermer V, MacCallum, et al. A simple proposal for the publication of journal citation distributions. 2016. https://doi.org/10.1101/062109.
12. https://www.altmetric.com/
13. http://impactstory.org/
14. https://www.casrai.org/credit.html
15. Wilsdon J, Allen L, Belfiore E, et al. The metric tide: report of the independent review of the role of metrics in research assessment and management. Stoke Gifford, UK: Higher Education Funding Council for England. 2015. https://doi.org/10.13140/RG.2.1.4929.1363.
16. http://www.metrics-toolkit.org/
17. Cousijn H, Kenall A, Ganley E, et al. A data citation roadmap for scientific publishers. Sci Data 2018. https://doi.org/10.1038/sdata.2018.259
18. https://scicrunch.org/resources
19. https://www.go-fair.org/fair-principles/
20. Piwowar HA, Vision TJ. Data reuse and the open data citation. PeerJ 2013;1:e175. https://doi.org/10.7717/peerj.175.
21. https://asapbio.org/letter
22. https://members.orcid.org/api/workflow/peer-review
23. https://publons.com/about/home/
24. http://www.metadata2020.org/
25. https://orcid.org/content/requiring-orcid-publication-workflows-open-letter
26. https://i4oc.org/
27. Taraborelli D. The citation graph is one of humankind’s most important intellectual achievements. Boing Boing 14 April 2018. https://boingboing.net/2018/04/14/open-graphs.html.
28. Hatch A, Kiermer V, Pulverer B, Shugart E, Curry S. Research assessment: reducing bias in the evaluation of researchers. eLife 2019. https://elifesciences.org/inside-elife/1fd1018c/research-assessment-reducing-bias-in-the-evaluation-of-researchers.
29. Helmer M, Schottdorf M, Neef A, Battaglia D. Research: gender bias in scholarly peer review. eLife 2017;6:e21718. https://doi.org/10.7554/eLife.21718.
30. Broderick N, Casadevall A. Meta-research: gender inequalities among authors who contributed equally. eLife 2019;8:e36399. https://doi.org/10.7554/eLife.36399.
31. Murray D, Siler K, Larivière V, et al. Gener and international diversity improves equity in peer review. 2019. https://doi.org/10.1101/400515.
32. Curry S. Let’s move beyond the rhetoric: it’s time to change how we judge research. Nature 2018;554:147. https://doi.org/10.1038/d41586-018-0642-w.
33. https://www.plos.org/article-level-metrics

Anna Hatch is the DORA Community Manager. Mark Patterson is the Executive Director of eLife and serves on the Steering Group of DORA and the Board of Directors of Crossref.

== REFERÊNCIA DESTE ARTIGO ==

Hatch A, Patterson M. How journals can publishers can help to reform research assessment. Science Editor, 2019;42:41-43. Disponível em: https://www.csescienceeditor.org/article/how-journals-and-publishers-can-help-to-reform-research-assessment/ Acesso em: 18 ago. 2022