Imprimir PDF Republicar

Covid-19

Estudos avaliam o desempenho e a aceitação dos preprints durante a pandemia

Trabalhos científicos divulgados logo que ficam prontos, sem revisão por pares, aceleram a difusão por conhecimento

Léo Ramos Chaves

A urgência em encontrar respostas para enfrentar a pandemia pôs à prova o modelo de publicação em preprints, trabalhos científicos ainda não avaliados por especialistas que são divulgados em plataformas de acesso aberto assim que ficam prontos. Estudos e dados recém-publicados produziram um balanço sobre a utilização crescente e o desempenho desse modelo de comunicação científica durante a emergência sanitária. Pesquisadores da Universidade de Zagreb, na Croácia, analisaram pouco mais de 6 mil trabalhos sobre Covid-19 divulgados nos repositórios de preprints bioRxiv e medRxiv entre janeiro e setembro de 2020. Debruçaram-se sobre uma fração desses trabalhos que depois passou por revisão por pares e acabou publicada em periódicos científicos. Observaram que preprints sobre Covid-19 foram aceitos para publicação cerca de 50 dias depois de apresentados, ante uma demora que ultrapassava os 100 dias em manuscritos sobre outros temas de pesquisa – a performance mostra como as revistas agilizaram a avaliação do conhecimento disseminado de forma expressa sobre a pandemia.

Outro estudo, publicado em fevereiro na PLOS Biology, analisou o conteúdo dos preprints e concluiu que, para um conjunto de trabalhos publicados posteriormente em revistas, a contribuição da avaliação por pares foi pequena, em um sinal de que a maioria desses trabalhos, mesmo em suas versões preliminares, já estava razoavelmente completa. De autoria de pesquisadores da Alemanha, do Reino Unido e dos Estados Unidos, o estudo analisou resumos de preprints sobre temas diversos divulgados no início da pandemia também nas plataformas bioRxiv e medRxiv e publicados em periódicos até 30 de abril de 2020. Nos trabalhos sobre Covid-19, apenas 17,2% sofreram alterações entre a versão preliminar e a revisada por pares. Ainda assim, a maioria dessas mudanças não afetou qualitativamente as conclusões do artigo. Já entre preprints sobre outros assuntos, a taxa de alterações foi menor – 7,2% do total. A análise não verificou o conteúdo dos trabalhos que não se converteram em artigos de periódicos.

É certo que houve ocasiões na pandemia em que manuscritos de má qualidade e até fraudulentos foram divulgados em repositórios de preprints. Em 31 de janeiro de 2020, um grupo de pesquisadores da Índia depositou um trabalho no repositório bioRxiv em que sugeria haver semelhanças entre proteínas do Sars-CoV-2 e do HIV, o causador da Aids. A publicação teve repercussão no Twitter, alimentando teorias conspiratórias sobre a origem do novo coronavírus. O estudo foi escrutinado por pesquisadores que prontamente o refutaram – e o trabalho foi removido do repositório por seus autores em 2 de fevereiro.

Não se imagine, porém, que preprints foram os principais disseminadores de dados de pesquisa falsos. O site Retraction Watch contabilizou até meados de fevereiro 212 trabalhos científicos sobre Covid-19 que tiveram seus resultados desqualificados por erros, problemas metodológicos ou fraude. Somente 43 deles eram preprints. A maioria da lista, 169 do total, era de artigos publicados em periódicos e haviam passado por revisão por pares. Mesmo revistas de prestígio, como The Lancet e The New England Journal of Medicine, tiveram artigos retratados ante as evidências de que os trabalhos se baseavam em dados fraudulentos, fornecidos por uma empresa, a Surgisphere, que não tinha meios de obtê-los. Entre os papers de Covid que sofreram retratação, também houve exemplos que denotam falhas fragorosas no processo de revisão, como um artigo do Journal of Biological Regulators and Homeostatic Agents segundo o qual a tecnologia de telefonia celular 5G poderia produzir o novo coronavírus a partir de células epiteliais.

Entrevista: Alex Mendonça
00:00 / 21:54

O médico Olavo Amaral, do Instituto de Bioquímica Médica da Universidade Federal do Rio de Janeiro (UFRJ), publicou em 2020 na revista Research Integrity and Peer Review um estudo comparando a qualidade de preprints e artigos revisados por pares na literatura biomédica – a amostra analisada foi de 2016, antes da pandemia. O trabalho mostrou que a revisão foi capaz de melhorar de forma incremental o conteúdo dos manuscritos, corrigindo erros formais e pequenas omissões. Mas a qualidade dos preprints analisados, apenas um pouco inferior à dos artigos revisados, sustentava a ideia de que esses trabalhos devem ser considerados contribuições científicas válidas. “A vantagem mais óbvia dos preprints é a velocidade com que eles são disseminados. Uma demora de meses na divulgação de resultados de pesquisa, enquanto é realizado o processo de revisão por pares das revistas, é inadmissível para um achado com impacto na saúde das pessoas”, afirma.

Amaral é coordenador da Iniciativa Brasileira de Reprodutibilidade, projeto que pretende refazer uma centena de experimentos de artigos brasileiros da área biomédica para verificar se é possível repetir os resultados publicados. Ele não enxerga nos preprints um perigo maior de divulgação de dados que depois não se confirmam. “Não é verdade que um artigo revisado por pares tenha qualidade garantida. Os revisores conseguem avaliar dados disponíveis e sugerir algum aperfeiçoamento. Se um autor mentir ou fraudar dados, dificilmente isso será detectado, como, aliás, se pode observar na grande quantidade de artigos retratados”, afirma.

Na avaliação de Abel Packer, coordenador da biblioteca de revistas de acesso aberto SciELO Brasil, a revisão por pares tornou-se um pilar da comunicação científica e a adoção dos preprints como padrão de publicação está muito longe de obter consenso. “No modelo atual, a responsabilidade pelo que é publicado compete ao periódico, seu editor e seus revisores. No preprint, ela passa a ser do autor. Há resistência a isso”, explica. Ele reconhece que as publicações instantâneas ganharam mais aceitação na pandemia. “Hoje, quando se noticia um achado de um preprint, sempre se faz o alerta de que o resultado ainda vai ser avaliado por outros pesquisadores. Esse entendimento sobre como funciona o trabalho científico foi assimilado pela sociedade.”

Packer, que também coordena o repositório de acesso aberto SciELO Preprints, conta que é possível evitar que trabalhos de má qualidade sejam divulgados. No caso da plataforma brasileira, um moderador faz uma análise do manuscrito antes de liberá-lo, verificando requisitos mínimos: se houve aprovação de um comitê de ética quando isso é necessário ou se há descrição de métodos. Os autores também precisam informar sua identificação no sistema Orcid, no qual é possível avaliar se têm produção científica pregressa. “Se o autor for jovem e não tiver publicado nada, só liberamos o manuscrito na plataforma se apresentar o endosso de algum cientista reconhecido”, afirma. Um meio-termo foi adotado durante a pandemia por diversas revistas científicas, como The Lancet e Jama, que criaram repositórios próprios de preprints para divulgar rapidamente trabalhos com resultados relevantes enquanto corria em paralelo seu processo de revisão. O expediente também vem sendo usado por revistas da coleção SciELO. Quando recebem manuscritos, os editores recomendam aos autores que o depositem também na SciELO Preprints. “Dessa forma, o conhecimento já fica disponível enquanto o artigo é revisado”, diz Packer.

Republicar