Prêmio CBMM
Imprimir PDF Republicar

Boas práticas

Inteligência artificial na revisão por pares

Software aponta possíveis conflitos de interesse envolvendo autores de artigos e pesquisadores que avaliam sua qualidade

Tom Kelley Archive / Getty Images

A editora suíça Frontiers, que publica mais de 90 periódicos científicos em acesso aberto, desenvolveu um software que utiliza inteligência artificial para examinar artigos e identificar até 20 diferentes problemas relacionados à sua integridade, como plágio ou imagens com sinais de manipulação. O programa chamou a atenção, no entanto, por oferecer um serviço inovador: ele avisa quando os autores de um manuscrito e os editores e revisores que estão apreciando o seu conteúdo já assinaram juntos outros artigos, em uma proximidade que pode tornar a avaliação subjetiva e configurar um conflito de interesses. Denominado Artificial Intelligence Review Assistant (Aira), a ferramenta está sendo utilizada no processo de revisão por pares de revistas da Frontiers com o propósito de fornecer um alerta objetivo sobre interações prévias entre quem produz e quem avalia o conhecimento. Cabe a um juiz de carne e osso – o editor-chefe do periódico, em última instância – arbitrar se esses contatos anteriores afetam ou não a isenção da análise. “É necessário ter apoio tecnológico para verificar em larga escala conflitos de interesse entre autores e revisores”, disse o cientista da computação Daniel Petrariu, diretor de Desenvolvimento de Produtos da Frontiers, no lançamento do programa, em julho.

O Committee on Publication Ethics (Cope), fórum que discute temas relacionados à integridade na ciência, define conflito de interesses como uma situação em que pesquisadores ou instituições científicas têm interesses que concorrem entre si, de caráter profissional ou econômico, de modo que tomar partido de um deles pode comprometer a imparcialidade de suas decisões. A existência de um conflito de interesses, observa o Cope, não é determinante para a ocorrência de má conduta: a despeito de tais circunstâncias, um estudo pode perfeitamente ter resultados válidos e fidedignos. Mas, quando isso acontece, é obrigatório lidar com o problema de forma transparente. Por isso, exige-se que pesquisadores assinem declarações de conflitos de interesse sempre que apresentar um projeto ou publicar um artigo. Fica a cargo do avaliador do projeto ou do leitor do paper ponderar os resultados tendo em mente os interesses envolvidos.

Um caso típico de má conduta é esconder que recebeu financiamento de uma empresa para realizar uma pesquisa em cujos resultados ela tem interesse econômico. Foi o caso do oncologista José Baselga, que perdeu o cargo de diretor clínico do Memorial Sloan Kettering Cancer Center, em Nova York, depois de reconhecer que omitiu ligações com empresas farmacêuticas em dezenas de artigos científicos de sua autoria (ver Pesquisa FAPESP nº 272). Também há situações de conflitos de interesse que macularam a objetividade da revisão por pares. Em 2017, a revista Scientific World Journal, da editora Hindawi, anunciou a retratação de dois artigos quando se soube que o autor dos trabalhos, Zheng Xu, era um colaborador frequente de Xiangfeng Luo, editor do periódico e pesquisador da Universidade de Shanghai. Eles assinaram juntos dezenas de artigos e Luo foi orientador de doutorado de Xu.

O objetivo do software Aira é detectar uma fonte potencial de conflito de interesses que poderia passar despercebida. Mas seu alcance é limitado – ele só aponta problemas quando há dados disponíveis para corroborá-los. E parte desses conflitos ocorre em uma zona de sombras. Se o autor e o avaliador receberem financiamento de um mesmo patrocinador e omitirem esse vínculo, não é o software que irá revelar isso.

Um documento sobre o futuro da revisão por pares publicado em 2017 pela editora BioMed Central mostrou que a inteligência artificial vem sendo utilizada de várias formas na avaliação de artigos científicos. Há editoras que usam tais recursos para rastrear a produção científica disponível on-line a fim de identificar pesquisadores com perfil para atuar como revisores de papers em suas disciplinas. Da mesma forma, a inteligência artificial está municiando novos softwares capazes de detectar plágio. Eles identificam quando frases ou parágrafos foram reescritos para driblar algoritmos que só conseguem captar cópias literais.

O exemplo mais polêmico foi o do software Statcheck, criado em 2015 por pesquisadores da Universidade de Tilburg, nos Países Baixos (ver Pesquisa FAPESP nº 253), e hoje incorporado ao dia a dia de centenas de revistas. Uma controvérsia envolveu não a tecnologia, capaz de refazer os cálculos descritos em artigos científicos já publicados e apontar erros estatísticos, mas a forma como ela foi utilizada. Cinquenta mil artigos da área de psicologia foram analisados pelo software e os resultados desse escrutínio foram divulgados na plataforma PubPeer, expondo em público pequenos e grandes erros cometidos por milhares de autores. Mais de 25 mil artigos apresentaram alguma inconsistência.

Para a psicóloga Michèle Nuijten, professora da Universidade de Tilburg e uma das criadoras do Statcheck, ferramentas como o Aira podem ser valiosas na avaliação por pares. “Precisamos buscar soluções inovadoras que ajudem a aumentar a qualidade e a robustez dos estudos científicos, e a inteligência artificial tem um papel a desempenhar nisso”, disse, em reportagem sobre o Aira publicada no jornal The New York Times. Mas Nuijten adverte que essas ferramentas devem ser usadas apenas no apoio ao trabalho dos editores e que cabe ao homem, e não à máquina, decidir se um paper deve ou não ser publicado. “Fico preocupada com a ideia de que um artigo possa ser rejeitado apenas porque uma ferramenta de inteligência artificial identificou um problema, sem que se verifique realmente o que está acontecendo.”

Agências de fomento também têm normas para prevenir conflitos de interesse na avaliação de projetos. A FAPESP há muito tempo solicita que assessores escolhidos para analisar propostas declarem se têm interesses relacionados a elas. Uma verificação prévia dos nomes de potenciais assessores já descarta os que têm vínculos como parentesco, afiliação à mesma instituição e participação no projeto. Em maio, começou a funcionar um sistema automático de identificação de possíveis revisores desenvolvido pela Gerência de Informática da Fundação, que sugere aos coordenadores de área uma lista de 20 pesquisadores capazes de avaliar cada projeto. O sistema de busca compara parâmetros como títulos e palavras-chave dos projetos com uma base de perfis de assessores e aponta, por ordem de relevância, as melhores combinações. A tecnologia responsável pela classificação das palavras utilizou recursos de inteligência artificial. Além de tornar a seleção mais objetiva, o sistema checa de modo automático se os revisores têm vínculos com os proponentes.

Republicar