Uma versão mais econômica e acessível do ChatGPT se mostrou incapaz de alertar usuários sobre problemas em artigos científicos que foram alvo de questionamento público. Pesquisadores do Reino Unido e da Finlândia pediram ao programa ChatGPT 4o-mini para avaliar a qualidade de 217 papers cujos resultados ganharam repercussão nas redes sociais e na imprensa, mas, conforme se descobriu posteriormente, continham erros ou indícios de má conduta: 152 foram alvo de retratação, ou seja, foram considerados inválidos; 26 foram retratados e republicados com novo conteúdo; 16 foram marcados com “expressões de preocupação”, declarações publicadas por revistas científicas quando há suspeitas fortes o suficiente para desencadear investigações; 12 sofreram correção; e 11 não foram retratados, mas tiveram seus resultados questionados em fóruns da internet, como o PubPeer.
Para cada um dos 217 artigos foram solicitadas 30 avaliações ao ChatGPT 4o-mini, gerando 6.510 respostas. Pois nenhuma delas mencionou que os artigos tinham sido retratados ou que podiam conter erros relevantes. Pior: o programa classificou 190 desses artigos como trabalhos de excelência. Nos outros 27, reconheceu que seus resultados foram apontados como frágeis, sem, contudo, informar que haviam sido invalidados, corrigidos ou continham erros. “O ChatGPT 4o-mini parece não lidar muito bem com retratações, pois não as mencionou e ainda relatou as informações retratadas como verdadeiras”, diz o coautor do estudo, Mike Thelwall, pesquisador de metaciência na Universidade de Sheffield, no Reino Unido, de acordo com o Chemical & Engineering News, site de notícias da Sociedade Americana de Química.
Thelwall adverte que, se um autor usar o programa para auxiliá-lo em uma revisão de literatura científica sobre um determinado tema, poderá facilmente incluir artigos retratados sem se dar conta. Segundo ele, os resultados reforçam a importância de verificar as informações fornecidas por grandes modelos de linguagem ao utilizá-las na busca ou análise do conhecimento acadêmico. O estudo foi publicado em agosto na revista Learned Publishing.
Republicar