Uma dupla de pesquisadores espanhóis levantou evidências novas sobre a disposição e a capacidade de revistas científicas em responder a denúncias de erros ou de má conduta em artigos publicados. Foi observado que apenas um em cada cinco papers apontados como problemáticos ou suspeitos em uma rede social acadêmica foi alvo de notas editoriais – declarações públicas nas quais os periódicos comunicam a existência de investigações sobre o trabalho, divulgam erratas ou, em casos graves, anunciam a retratação do estudo, considerando-o inválido.
Em um levantamento divulgado em janeiro na revista Profesional de la Información, o cientista da informação José-Luiz Ortega e a cientista de dados Lorena Delgado-Quirós mapearam comentários sobre o conteúdo de milhares de artigos armazenados no site PubPeer, uma plataforma on-line criada em 2012 e sediada nos Estados Unidos, por meio da qual é possível opinar sobre as conclusões de qualquer paper e apontar eventuais erros e inconsistências, em uma espécie de revisão por pares feita após a publicação dos trabalhos. Como as críticas e análises podem ser feitas de forma anônima, esse fórum on-line se tornou um popular repositório de denúncias de má conduta.
Os dois pesquisadores debruçaram-se sobre uma amostra de 17.244 artigos que receberam comentários no PubPeer até 2020. Em 14.290 desses papers, o equivalente a 82,9%, foram apontados indícios de fraudes, manipulações, falhas metodológicas ou erros cometidos de boa-fé. Não foram computadas denúncias formuladas por robôs, como as feitas em 2016 pelo software statcheck, que detectou inconsistências estatísticas em mais de 50 mil trabalhos na área de psicologia e publicou alertas automáticos no rol de comentários de cada um deles no PubPeer (ver Pesquisa FAPESP n° 253).
O passo seguinte foi identificar se as denúncias tiveram desdobramentos. Isso foi feito por meio da análise de registros em bases de dados como a PubMed, que reúne resumos de artigos das áreas biomédicas, e a do site Retraction Watch, que monitora retratações. O resultado foi que apenas 21,5% dos trabalhos apontados como problemáticos da amostra foram alvo de alguma declaração dos editores. A depender do tipo de erro ou de má conduta, a quantidade de avisos editoriais variava – em termos relativos, foram mais frequentes quando a queixa envolvia fraudes, categoria que inclui desvios como plágio, autoria falsa e manipulação da revisão por pares: de 1.698 artigos que receberam comentários envolvendo esses tipos de má conduta, 499, ou 29,4%, resultaram em algum tipo de declaração do periódico. Em números absolutos, a queixa mais frequente envolvia manipulação ou fabricação de dados ou imagens. Foram 10.989 papers – desses, 2.256, ou 20,5%, ensejaram avisos editoriais. “Os periódicos precisam melhorar sua resposta aos artigos problemáticos”, escreveram Ortega e Delgado-Quirós, ambos do Instituto de Estudos Sociais Avançados, em Córdoba, vinculado ao Conselho Nacional de Pesquisas Científicas da Espanha.
Os autores reconhecem que o estudo tem uma limitação importante: as denúncias apresentadas ao PubPeer nem sempre são baseadas em evidências e, em uma quantidade de casos difícil de mensurar, podem ser infundadas e injustas. É possível que muitas acusações tenham sido investigadas preliminarmente e descartadas. E, como as publicações não registram publicamente ou fazem alarde desse tipo de apuração, não dá para saber quantas foram.
Ainda assim, algumas publicações são bem mais rigorosas do que outras na tarefa de apurar e dar transparência a erros e casos de má conduta, o que parece evidenciar lacunas nos mecanismos de autocorreção de registros científicos. O estudo apresentou dados sobre os 10 periódicos que tiveram mais artigos problemáticos na amostra analisada. O centenário Journal of Biological Chemistry, revista da Sociedade Americana de Bioquímica e Biologia Molecular, estava no topo desse ranking, com 5,3% dos trabalhos problemáticos da amostra. A PLOS ONE aparecia em seguida, com 3,7%. Mas as duas também foram as que divulgaram notas editoriais e correções com mais frequência em, respectivamente, 38,2% e 36,3% dos casos. No exemplo da PLOS ONE, a resposta está relacionada à criação em 2018 de uma equipe dedicada à investigação de problemas éticos, após uma onda de denúncias de manipulação de imagens em papers publicados entre 2014 e 2016 (ver Pesquisa FAPESP nº 319).
No extremo oposto, títulos como Oncotarget e Oncogene foram os que menos reagiram, com alertas para 13% e 14,3% dos papers denunciados, respectivamente. As áreas de ciências da vida (56,6%) e ciências da saúde (19,6%) foram as que mais registraram artigos suspeitos. Periódicos de conteúdo multidisciplinar (28,6%) divulgaram mais avisos editoriais do que os de ciências da vida (22,5%) e ciências sociais e humanidades (21%). “Isso sugere que revistas multidisciplinares teriam mais controle sobre publicações problemáticas”, escreveram os autores.
O índice de resposta das revistas era maior para os trabalhos publicados mais recentemente – entre os do ano de 2019, notas editoriais foram lançadas sobre 34% das publicações. Há sinais, segundo os autores, de que o rigor vem aumentando ano a ano, ainda que vagarosamente. Outro achado curioso do estudo é que periódicos de prestígio, aqueles que ostentam índices de citação mais elevados, sofrem mais denúncias de manipulação de imagens, enquanto o plágio é a queixa maior em revistas de baixo impacto.
A ideia de que revistas nem sempre conseguem acionar os mecanismos de autocorreção não é nova e já foi delineada em outros estudos. Em alguns deles, o número de artigos com problemas que escaparam de retratações foi pequeno – o que foi atribuído ao fato de os casos envolverem denúncias formais a instâncias de investigação. Um estudo publicado em 2007 na revista Science and Engineering Ethics analisou casos de má conduta em artigos da área biomédica descritos nos relatórios anuais dos Institutos Nacionais de Saúde (NIH), agência de pesquisa biomédica dos Estados Unidos, e do Escritório de Integridade Científica (ORI) do país, e constatou que 83% dos papers mencionados como falhos nesses relatórios foram alvo de retratação. Em outras situações, o número de artigos suspeitos que não foram retratados parece ter sido muito maior. Em 2016, a microbiologista Elizabeth Bik inspecionou manualmente imagens de testes western blot, método usado na biologia molecular para identificar proteínas, divulgadas em 20.621 estudos da área biomédica publicados em 40 revistas entre 1995 e 2014 (ver Pesquisa FAPESP nº 245). Encontrou imagens alteradas em 782 papers, 3,8% do total – em muitos casos, segundo Bik, as modificações feitas com o software Photoshop pareciam intencionais e de caráter fraudulento. Avisou os editores das publicações e escreveu para 10 instituições que abrigavam pesquisadores responsáveis por problemas recorrentes. O saldo da iniciativa, segundo ela revelou na época, foi modesto: apenas seis artigos foram retratados e 60 corrigidos.
Republicar