Um estudo publicado por pesquisadores da Espanha, da Dinamarca e do Canadá na revista Nature Human Behaviour mostrou que as revistas científicas levaram em média apenas seis dias para avaliar e aceitar para publicação artigos sobre a Covid-19 nas 12 primeiras semanas da pandemia, em um esforço sem precedentes para gerar resultados rápidos capazes de atenuar os efeitos da emergência sanitária. Esse processo, que envolve análise feita pelos editores e por pesquisadores especializados no tema dos artigos, demorava em média 100 dias em tempos normais. O grupo debruçou-se sobre o conjunto de papers incluído na base de dados Pubmed entre 30 de janeiro e 23 de abril e contabilizou a publicação em periódicos de 367 artigos sobre a doença a cada semana.
Liderado pelo hepatologista Jeffrey Lazarus, do Instituto de Saúde Global da Universidade de Barcelona, o estudo declara preocupação com os prejuízos que essa velocidade pode produzir na credibilidade da ciência, quando artigos com erros ou fraudes são inadvertidamente publicados. O site Retraction Watch contabiliza 22 estudos sobre a Covid-19 que foram retratados por revistas científicas ou removidos de repositórios de preprints, um número pequeno em um universo de mais de 40 mil trabalhos publicados, mas com potencial para causar ruídos. Para reduzir riscos e danos, Lazarus e seus colegas propõem um roteiro de recomendações dirigido a pesquisadores, editores de revistas e autoridades. Uma das sugestões é a utilização de checklists que permitam aos editores avaliar a robustez da metodologia ou da análise estatística das pesquisas a fim de verificar se os resultados apresentados fazem sentido ou são compatíveis com a proposta original do trabalho. Essas listas de controle não são uma novidade, mas os autores veem indícios de que elas não estão sendo observadas em toda a sua extensão na análise expressa de manuscritos durante a pandemia.
A iniciativa Strobe (sigla em inglês para Fortalecendo os Relatos de Estudos Observacionais em Epidemiologia) é um exemplo a ser valorizado, segundo o grupo de Lazarus. Criada em 2009 pela Universidade de Berna, na Suíça, fornece uma relação de informações sobre o desenho da pesquisa que os responsáveis por estudos epidemiológicos precisam apresentar para que os revisores tenham confiança na qualidade dos resultados, tais como os critérios para seleção de participantes, a descrição de métodos estatísticos e os esforços empreendidos para prevenir vieses. Outro exemplo é a Consort (sigla para Padrões Consolidados para a Comunicação de Ensaios), essa talhada para o monitoramento de resultados de ensaios clínicos.
A Associação Europeia de Editores de Ciência lançou em abril uma declaração pública sobre os cuidados necessários no processo de revisão de artigos sobre a pandemia. Entre as sugestões, propõem a incorporação nos papers de uma declaração dos autores expondo as limitações de seus achados – quando se baseiam em modelagem computacional e não em estudos com seres vivos ou quando são lastreados em um número pequeno de pacientes, por exemplo – e também recomendam que os dados brutos que embasam os estudos sejam disponibilizados.
A seleção dos pesquisadores incumbidos de analisar os artigos é outro ponto vulnerável, de acordo com o trabalho: é necessário garantir que os revisores estejam preparados para fazer uma análise rápida e ao mesmo tempo rigorosa. A boa notícia é que há ferramentas que já demonstraram eficiência para o treinamento de pareceristas com pouca experiência, como o COBPeer, que utiliza os checklists previstos pela iniciativa Consort. “O desafio de disseminar um grande volume de pesquisas no contexto de uma emergência de saúde global deve ser reconhecido como um apelo a um pensamento inovador e à implementação de soluções que garantam a confiança contínua no processo de publicação científica”, escreveram Lazarus e seus colegas. “As lições aprendidas poderão enriquecer a publicação científica de maneira mais ampla nos próximos anos.”
O grupo também sugere investimentos na curadoria de informações científicas sobre a Covid-19 e cita projetos que mereceriam ser incentivados, como bancos de dados que reúnem milhares de artigos relevantes sobre o novo coronavírus. Um exemplo é a LitCovid, criada pela Biblioteca Nacional de Medicina dos Estados Unidos, que reúne mais de 30 mil trabalhos publicados e permite fazer buscas por categoria (estudos de caso, cenários, prevenção etc.) e por país mencionado em cada manuscrito. Outro é o banco de dados sobre o novo coronavírus da Organização Mundial da Saúde (OMS), que reúne mais de 40 mil trabalhos. Também há iniciativas que buscam avaliar e sintetizar o conhecimento acumulado sobre a doença, como a da Biblioteca Cochrane, que criou uma seção sobre a Covid-19 com análises e revisões sobre artigos publicados, a da Escola de Saúde Pública Bloomberg Johns Hopkins, que reuniu um time de 40 especialistas para fazer uma análise aprofundada de estudos com resultados promissores ou que estejam recebendo muita atenção da imprensa e das mídias sociais.
Outras iniciativas estão a caminho. A editora MIT Press anunciou a criação de uma nova revista científica, a Rapid Reviews: Covid-19, dedicada a produzir resenhas de preprints sobre o novo coronavírus, com o objetivo de destacar pesquisas de impacto e apontar aquelas que têm erros ou vieses. Os preprints são trabalhos ainda não submetidos a revisão por pares, cujos resultados ainda preliminares são divulgados em repositórios públicos para que sejam analisados e criticados por outros especialistas – na pandemia, milhares desses trabalhos sobre o novo coronavírus foram disponibilizados. “Os preprints são um tremendo benefício para a comunicação científica, mas trazem alguns perigos, como vimos com alguns exemplos baseados em métodos defeituosos”, afirmou Nick Lindsay, diretor de periódicos da MIT Press, ao site StatNews. A nova revista vai utilizar um sistema de inteligência artificial desenvolvido no Laboratório Nacional Lawrence Berkeley para categorizar os preprints por disciplina e grau de novidade.
Republicar