Divulgada em julho, a declaração anual do Comitê de Integridade de Pesquisa do Reino Unido (UKCori) destacou que o avanço da inteligência artificial gerou novos desafios, como o de identificar trabalhos acadêmicos gerados pelo ChatGPT, mas também está criando oportunidades para ampliar a produtividade científica e combater a má conduta. “Ferramentas que utilizam inteligência artificial podem aprimorar os processos de pesquisa”, segundo escreveram os integrantes do comitê no relatório, referindo-se ao uso crescente dessa tecnologia por editores de revistas científicas para agilizar o processo de análise e seleção de artigos ou para detectar indícios sutis de manipulação de imagens ou de truques para tentar enganar programas antiplágio.
A inteligência artificial, diz o documento, pode igualmente ser útil para fornecer dados de interesse de órgãos de promoção da integridade que dificilmente seriam obtidos de outra forma – o próprio relatório do UKCori publica um quadro sobre indicadores de ciência aberta, como a evolução da quantidade de dados e códigos compartilhados por pesquisadores em repositórios públicos, que foram produzidos pela coleção de revistas PLOS utilizando técnicas de inteligência artificial. O UKCori é um órgão independente criado em 2022 para promover boas práticas científicas no Reino Unido, associado ao UK Research and Innovation, principal agência de fomento à ciência do país.
Grandes modelos de linguagem, que em programas como o ChatGPT identificam padrões sobre como os seres humanos conectam palavras, números e símbolos, também podem ser úteis para rastrear sinais de má conduta. No final de maio, a equipe do cientista de dados Dmitry Kobak, da Universidade de Tübingen, na Alemanha, publicou no repositório de preprints bioRxiv um atlas de toda a literatura da área biomédica publicada no mundo entre 1970 e 2021. Para gerar o enorme mapa circular, que lembra um pouco a imagem de uma placa de Petri colonizada por bactérias, foi necessário primeiro fazer o download de resumos de 20,6 milhões de artigos utilizando a ferramenta de busca PubMed, que dá acesso à base de dados da literatura biomédica Medline.
O grupo usou um modelo de linguagem de inteligência artificial, o PubMedBert, e agregou artigos com características ou termos semelhantes. Os agrupamentos de papers com conteúdo convergente foram batizados de “vizinhanças” – basta dar um zoom no atlas para analisar em detalhes esses aglomerados.
O mapa permite analisar tendências de todo tipo presente na literatura, como as relacionadas ao gênero e à origem dos autores de cada agrupamento, mas também mostrou potencial para detectar má conduta de um modo mais eficiente do que o disponível hoje. Os pesquisadores analisaram um conjunto de 11.756 artigos presentes no atlas que sofreram retratação – esse status indica papers cancelados devido à descoberta de erros, fraudes ou plágio que comprometeram a correção de seu conteúdo. Os resumos foram sinalizados como retratados pelo banco de dados PubMed para que não sejam considerados como literatura válida.
Embora estivessem espalhados por todo o mapa, muitos deles se situavam em uma mesma vizinhança, formando o que os autores denominaram “ilhas”, nas quais foi possível vislumbrar concentrações de artigos retratados em temas específicos, como pesquisas de drogas contra o câncer, genes marcadores e funções de microRNAs. Esses tópicos são frequentemente abordados em estudos fraudulentos produzidos por fábricas de papers, serviços ilegais que produzem estudos em geral com dados ou imagens forjadas, comercializam a autoria dos trabalhos com pesquisadores interessados e até ajudam a submetê-los para publicação em nome dos clientes.
Ao verificar os demais artigos presentes nas mesmas ilhas, e que não foram retratados, o grupo encontrou 25 trabalhos que também podem ter sido produzidos por fábricas de papers, mas não haviam chamado a atenção. Eles exibiam características comuns a esses artigos fraudulentos, como títulos com padrão idêntico ou a afiliação de autores a hospitais da China. A análise das ilhas pode ajudar editores de revistas e universidades a investigar estudos que podem ter escapado de seu escrutínio. “Mas aglomerados de papers semelhantes precisariam de mais triagem para evitar a sinalização incorreta de papers genuínos”, disse à revista Science Jennifer Byrne, professora de oncologia molecular da Universidade de Sydney, na Austrália, e especialista em integridade científica.
Outra frente promissora aberta pela inteligência artificial é a identificação das chamadas revistas predatórias, periódicos que publicam artigos em troca de dinheiro, sem fazer uma avaliação rigorosa de seu conteúdo. Um grupo de cientistas da computação da Universidade Nacional Yang Ming Chiao Tung, em Taiwan, desenvolveu um sistema de verificação de periódicos, batizado de AJPC, baseado em aprendizado de máquina. Foram coletados dados de 883 periódicos apontados como predatórios em duas listas disponíveis na internet e de outras 1.213 revistas de boa procedência, obtidas em compilação feita pelo Instituto de Saúde de Berlim – estas listas costumam ser utilizadas para orientar autores a escolher revistas idôneas para publicar seus artigos.
A equipe extraiu informações que ajudaram a identificar palavras e termos característicos de sites de revistas predatórias. Constatou, por exemplo, que as páginas dessas publicações tendem a enfatizar demais termos como “revisão por pares” e “indexação”, enquanto periódicos legítimos mencionam com mais moderação conceitos que padronizam os processos de publicação. Depois, testou oito diferentes algoritmos de aprendizado de máquina com potencial para distinguir entre periódicos predatórios e legítimos. Selecionou um deles, o algoritmo de “floresta aleatória”, que teve o melhor desempenho para distinguir uma amostra de 167 sites, com o índice mais elevado de acertos e apenas dois falsos negativos. “Os resultados dos testes de desempenho sugerem que nosso sistema funciona tão bem ou melhor do que aqueles que estão sendo usados atualmente para identificar editores e publicações suspeitas”, escreveram os pesquisadores taiwaneses, no artigo publicado na revista Scientific Reports que apresentou o AJPC. Eles ressaltam que as conclusões são apenas indicativas, sendo necessário complementar a análise com o olhar humano. Um próximo passo será treinar o sistema para identificar fraudes em anais de conferências, que têm características distintas dos periódicos predatórios. O recurso já está sendo utilizado em universidades de Taiwan.
Republicar