Um grupo de pesquisadores da França e da Rússia investigou a presença frequente de expressões sem sentido em artigos de revistas de ciência da computação. Em vez de usar artificial intelligence (inteligência artificial), trabalhos se referiram a esse campo do conhecimento como counterfeit consciousness, algo como percepção simulada. Da mesma forma, o termo big data, consagrado para denominar a utilização de grandes volumes de dados, por vezes era substituído por algo com sentido aproximado, mas sem lastro no uso corrente: colossal information (informações colossais).
Em um estudo publicado no ano passado no repositório arXiv, os cientistas da computação Guillaume Cabanac, da Universidade de Toulouse, Ciryl Labbé, da Universidade de Grenoble, ambos na França, e o russo Alexander Magazinov, da empresa de software Yandex, concluíram que esses termos, batizados por eles de “frases torturadas”, podem sinalizar vários tipos de má conduta. O mais comum é o plágio. As expressões ficam estranhas porque são traduzidas de forma automatizada do inglês para um outro idioma e depois convertidas de volta para o inglês, com o objetivo de simular paráfrases e enganar os softwares detectores de plágio.
Além de esquisitos, os termos mal traduzidos comprometem a compreensão dos textos, tornando-os imprecisos ou mesmo equivocados. Mas as “frases torturadas” podem ser o prenúncio de um problema mais grave. Elas também foram encontradas em papers totalmente fraudulentos, gerados por modelos de linguagem que se valem de recursos de inteligência artificial. “Ao contrário dos artigos em que os autores usaram recursos de paráfrase, que alteram um texto existente, esses modelos de inteligência artificial podem produzir textos a partir do nada”, explicaram Cabanac, Labbé e Magazinov em um estudo publicado em janeiro no site do Bulletin of the Atomic Scientists. Eles se referem especificamente a uma rede neural chamada GPT-2, desenvolvida pela instituição privada de pesquisa OpenAI, dos Estados Unidos, capaz de gerar estruturas coerentes que parecem ter sido escritas por pessoas. No ano passado, o grupo submeteu 140 mil resumos de trabalhos a um detector de textos gerados por GPT-2, criado pela própria OpenAI. “Centenas de artigos suspeitos apareceram em dezenas de periódicos respeitáveis”, escreveu o trio de pesquisadores.
Programas capazes de gerar artigos falsos não são uma novidade, mas até recentemente o resultado era tão ruim que eles só conseguiam enganar pessoas incautas ou muito negligentes. Em 2005, três alunos do Instituto de Tecnologia de Massachusetts (MIT) criaram um software, batizado de SciGEN, capaz de combinar sequências de palavras extraídas de papers genuínos de forma a compor textos que, no entanto, não fazem nenhum sentido (ver Pesquisa FAPESP nº 219). Naquele mesmo ano, eles submeteram um desses manuscritos a uma conferência mundial sobre cibernética e informática que ocorreu nos Estados Unidos e conseguiram publicá-lo – o objetivo do grupo do MIT era mostrar que o processo de revisão por pares em anais de conferências com frequência é malfeito. A ferramenta que surgiu como uma piada virou munição para fraude. Em 2012, o cientista da computação Cyril Labbé mostrou que o software dos alunos do MIT, disponível na internet, vinha sendo usado por falsificadores – ele encontrou artigos gerados pelo SciGEN em anais de mais de 30 conferências. Labbé desenvolveu um programa para identificá-los por meio de palavras-chave, que foi adotado por editoras científicas para prevenir o problema.
Os avanços da inteligência artificial deram fôlego novo a esse tipo de fraude. Cabanac e seus parceiros criaram então um instrumento mais potente, batizado de rastreador de papers problemáticos, que procura artigos com “frases torturadas”. Voluntários compilaram expressões frequentemente mal traduzidas em trabalhos de diversas áreas do conhecimento para abastecer o banco de dados do rastreador. Nesse catálogo, irregular esteem (algo como estimativa irregular) é apresentada como um suposto equivalente de random value (valor aleatório), comumente usado em análise estatística. Um caso bizarro é o do termo bosom peril (perigo no peito), que apareceu no lugar de breast cancer (câncer de mama).
Nem estudos sobre Covid-19 escaparam: em alguns, a Síndrome Respiratória Aguda Grave (Sars) foi convertida para algo como Síndrome Respiratória Extremamente Intensa. Um deles, assinado pelo médico egípcio Ahmed Elgazzar, da Universidade de Benha, foi removido da plataforma de preprints Research Square por indícios de má conduta que iam além da linguagem imprópria. O estudo, que sugeria a eficácia do vermífugo ivermectina contra o vírus Sars-CoV-2, foi considerado inválido devido a discrepâncias encontradas entre os dados brutos da pesquisa e os protocolos do ensaio clínico. Além da tradução torta da sigla Sars, havia evidências de plágio de comunicados de imprensa sobre a ivermectina que resistiram aos truques para parafrasear os textos originais.
Periódicos que publicam manuscritos com expressões mal traduzidas podem ter outras falhas de controle de qualidade. Cabanac fez uma busca na base de dados Dimensions procurando documentos científicos com os termos que compilou. Foram detectados 860 artigos com alguma “frase torturada” e 31 deles se concentravam em uma mesma revista: Microprocessors & Microsystems, da editora Elsevier. O cientista da computação fez, então, o download de todos os textos publicados pelo periódico entre 2018 e 2021 e analisou-os em profundidade. Encontrou cerca de 500 casos problemáticos – a maioria envolvia irregularidades no processo de revisão por pares. Boa parte dos papers suspeitos havia sido publicada em edições temáticas especiais e apresentava datas idênticas para submissão, revisão e aceitação, em uma evidência de que não haviam sido avaliados com um mínimo de cuidado.
Uma investigação feita paralelamente pela Elsevier corroborou os achados do francês e 165 artigos foram removidos ou retratados. Segundo comunicado da editora, “a integridade e o rigor do processo de revisão por pares foram investigados e confirmou-se que estavam abaixo dos altos padrões esperados pela Microprocessors & Microsystems”. Havia também indicações de que grande parte das edições especiais continha conteúdos “não originais e fortemente parafraseados”.
A Elsevier não foi a única editora a lidar com o problema. Em março, a IOP Publishing, do Reino Unido, anunciou a retratação de 350 trabalhos divulgados em dois periódicos – The Journal of Physics: Conference Series e IOP Conference Series: Materials Science and Engineering –, que reúnem anais de conferências sobre física, ciência de materiais e engenharias. Muitos continham “frases torturadas”. Esses papers foram descobertos por Nick Wise, um estudante de engenharia da Universidade de Cambridge, que utilizou o rastreador criado pelo grupo de Cabanac para analisar as revistas.
Republicar