O site Retraction Watch, que mantém um banco de dados com milhares de artigos científicos invalidados por erros ou má conduta, começou a compilar uma lista de papers publicados em dezenas de revistas acadêmicas que foram produzidos com a ajuda de programas de inteligência artificial generativa, apesar de seus autores não terem declarado de forma transparente o uso desses softwares, como os periódicos exigem. A lista é atualizada sempre que surgem novos trabalhos questionáveis e reunia em meados de junho perto de uma centena deles. Os artigos chamam a atenção pelo desleixo grosseiro de seus autores, que expuseram o uso da ferramenta ao simplesmente copiar e colar respostas do ChatGPT, e também pela negligência dos revisores e editores, a quem cabe avaliar a qualidade e a robustez de manuscritos, sugerir aperfeiçoamentos e recomendar ou rejeitar sua publicação.
Um caso que ganhou repercussão nas redes sociais envolveu um artigo sobre o desempenho de baterias de lítio divulgado em março por pesquisadores chineses na revista Surfaces and Interfaces, da editora Elsevier. Na primeira linha da introdução, aparece uma frase típica da linguagem padronizada utilizada pelo ChatGPT em interações com usuários: “Certamente, aqui está uma possível introdução para esse tópico”. A anomalia fez com que o conteúdo inteiro fosse analisado de forma aprofundada e logo se descobriu que ele tinha vários problemas, como imagens copiadas de um outro paper do mesmo grupo. O trabalho foi alvo de retratação, ou seja, foi cancelado.
O repertório de frases feitas do ChatGPT é variado e foi negligenciado por outros autores. Um artigo de 2022 sobre urbanização sustentável de favelas incorporou em seu texto a justificativa dada pelo programa de inteligência artificial para não analisar a literatura publicada ultimamente. “Como um modelo de linguagem de IA, eu não tenho acesso à internet em tempo real ou a capacidade de navegar por estudos recentes”, registrou o trabalho, assinado por um pesquisador da Tunísia e publicado no International Journal of Advances Engineering and Civil Research, periódico mantido por um instituto de engenharia do Egito.
A mesma revista divulgou outro estudo feito com o suporte de inteligência artificial, assinado por um pesquisador argelino, sobre o uso de internet das coisas na engenharia civil. No meio do conteúdo, sobrou a advertência “limite de conhecimento em setembro de 2021”, que costuma ser feita pelo ChatGPT para circunscrever no tempo sua resposta ao usuário. Uma variação desse alerta é a frase “Na última vez em que atualizei meu conhecimento, em 2023”, que apareceu em uma revisão de literatura sobre aplicações do grafeno na indústria de óleo e gás, publicada em 2023 por dois pesquisadores do Kuwait na revista Geoenergy Science and Engineering, da Elsevier.
Quase dois terços dos papers divulgados na lista cometeram um mesmo deslize: reproduziram duas palavras que não fazem sentido no contexto dos artigos – “renegerate response” –, mas personificam a inteligência artificial generativa. Trata-se do rótulo de um botão clicável do ChatGPT, que aparece no meio das respostas do programa. A expressão está presente, por exemplo, em um artigo sobre a aceitação do ensino a distância entre alunos de graduação em informática, publicado em 2023 no Journal of Engineering Researcher and Lecturer por pesquisadores da Indonésia e da Malásia. O caso não teve desdobramentos. As duas palavras desapareceram do texto no site da revista, em um expediente conhecido nos meios editoriais como revisão furtiva, na qual o conteúdo é corrigido de forma pouco transparente, sem que se divulgue uma errata.
Um episódio idêntico ocorreu na revista PLOS ONE, mas seu desfecho foi diferente. Um artigo sobre efeitos do ensino híbrido (presencial e on-line) na motivação de estudantes paquistaneses também exibia o “regenerate response” do ChatGPT e acabou sendo retratado, ou seja, teve a publicação cancelada pelo periódico. A equipe de integridade da PLOS ONE fez uma análise aprofundada do trabalho. Assinado por pesquisadores paquistaneses afiliados a universidades chinesas, o paper também tinha problemas em suas referências bibliográficas – foi impossível verificar a existência ou o conteúdo de 18 delas supostamente porque programas de inteligência artificial, às vezes, inventam referências. Outro problema é que os documentos que atestavam a aprovação ética a experimentos realizados no Paquistão por autoridades do país tinham data posterior ao recrutamento de participantes, um sinal de violação de normas. Os autores reconheceram apenas terem usado a plataforma Grammarly, que usa inteligência artificial para a revisão do idioma.
É certo que a publicação desses trabalhos só ocorreu porque houve negligência de revisores e editores de periódicos na avaliação dos manuscritos. Um caso recente demonstrou como mesmo revistas comprometidas com a integridade científica lidam com esse problema de forma desigual. No ano passado, a professora da comunicação Jacqueline Ewart, da Universidade Griffith, em Queensland, na Austrália, foi convidada pelo Journal of Radio and Audio Media a avaliar um artigo sobre rádios comunitárias e recomendou que fosse rejeitado, por receio de que tivesse sido escrito com ajuda de inteligência artificial. A pesquisadora não conseguiu comprovar a existência de várias referências bibliográficas e tinha certeza de que ao menos uma tinha sido inventada, pois a mencionava como autora de um estudo que ela nunca escreveu.
Em abril, Ewart foi surpreendida pela publicação do manuscrito em outro periódico, o World of Media, editado pela Universidade Estadual de Moscou, na Rússia. Segundo ela disse ao Retraction Watch, os autores haviam feito uma única alteração em relação à versão que ela revisou – a troca de “progressão” por “desenvolvimento” no título –, embora tivessem sido avisados sobre o problema nas referências. Ewart contou o caso aos editores do World of Media, que abriram uma investigação. Um dos autores, Amit Verma, da Universidade Manipal, na Índia, defendeu-se dizendo que usou ferramentas de IA apenas para revisar o texto em inglês e que as referências não verificáveis haviam sido obtidas em repositórios de instituições de seu país, que têm indexação irregular – só não explicou a origem da citação do artigo que Ewart nunca escreveu. O paper está indisponível no site da revista World of Media, com um aviso de que está sob investigação. Verma informou ao Retraction Watch que a revista prometeu republicar uma versão corrigida.
Republicar