Un grupo de investigadores de Franca y Rusia estudió la presencia frecuente de expresiones sin sentido en artículos publicados en revistas de ciencias de la computación. En lugar de utilizar el término en inglés artificial intelligence (inteligencia artificial), había artículos que se referían a ese campo del conocimiento como counterfeit consciousness, algo así como percepción simulada. Del mismo modo, big data, macrodatos, un término empleado comúnmente para denominar la utilización de grandes volúmenes de datos, en ocasiones fue sustituido por algo con un sentido parecido, pero en la práctica inusual: colossal information (información colosal).
En un estudio publicado el año pasado en el repositorio arXiv, los científicos de la computación Guillaume Cabanac, de la Universidad de Toulouse, Ciryl Labbé, de la Universidad de Grenoble, ambos franceses, y el ruso Alexander Magazinov, de la empresa de software Yandex, arribaron a la conclusión de que esos términos, bautizados por ellos como “frases torturadas”, pueden ser señal de diversos tipos de mala conducta. El más común es el plagio. Las expresiones suenan extrañas porque se traducen automáticamente del inglés a otro idioma y luego se vuelven a convertir al inglés para simular una paráfrasis y engañar al software de detección de plagio.
Más allá de ser raros, los términos mal traducidos dificultan la comprensión de los textos, haciéndolos imprecisos o incluso erróneos. Pero las “frases torturadas” pueden ser el preludio de un problema más grave. También se las ha detectado en papers totalmente fraudulentos, generados por modelos de lenguaje que hacen uso de la inteligencia artificial. “A diferencia de los artículos en los que los autores utilizan la paráfrasis como recurso, para alterar un texto existente, estos modelos de inteligencia artificial pueden generar un texto de la nada”, explicaron Cabanac, Labbé y Magazinov en un trabajo publicado en enero de este año en el sitio web del Bulletin of the Atomic Scientist. Concretamente, ellos se refieren a una red neural llamada GPT-2, desarrollada por el instituto privado de investigaciones OpenAI, de Estados Unidos, capaz de generar estructuras coherentes que parecen haber sido escritas por personas. El año pasado, el grupo el grupo analizó 140.000 resúmenes de artículos con un detector de textos generados vía GPT-2, creado por el propio OpenAI. “Cientos de trabajos sospechosos aparecían en decenas de publicaciones de renombre”, escribió el trío de investigadores.
Los programas capaces de generar artículos falsos no son una novedad, pero hasta hace poco el resultado era tan malo que solo conseguían engañar a algunos incautos o a personas muy negligentes. En 2005, tres alumnos del Instituto de Tecnología de Massachusetts (MIT), diseñaron un software al que bautizaron SciGEN, capaz de combinar secuencias de palabras extraídas de papers genuinos para componer textos que, sin embargo, no tienen ningún sentido (lea en Pesquisa FAPESP, edición nº 219). Ese mismo año, presentaron uno de aquellos manuscritos en una conferencia mundial sobre cibernética e informática celebrada en Estados Unidos y lograron publicarlo: el propósito del grupo del MIT era demostrar que el proceso de revisión por pares en los anales de las conferencias suele ser defectuoso. Esta herramienta que empezó como una broma se convirtió en un arma para el fraude. En 2012, el científico de la computación Cyril Labbé demostró que el software de los estudiantes del MIT, que se encuentra disponible en internet, estaba siendo utilizado por falsificadores: descubrió artículos generados por el SciGEN en los anales de más de 30 conferencias. Labbé desarrolló un programa para identificarlos por medio de palabras clave, que fue adoptado por las editoriales científicas para prevenir el problema.
Los avances en inteligencia artificial alentaron este tipo de fraudes. Cabanac y sus colaboradores crearon entonces una herramienta más potente, a la cual denominaron rastreador de papers problemáticos, que busca artículos con “frases torturadas”. Los voluntarios recopilaron expresiones frecuentemente mal traducidas en artículos de diversas áreas del conocimiento para abastecer la base de datos del rastreador. En ese catálogo, irregular esteem (que podría traducirse como estimación irregular) aparece como un supuesto equivalente de la expresión random value (valor aleatorio), una expresión común en el campo del análisis estadístico. Un caso extravagante es el del término bosom peril (peligro en el pecho), reemplazando la expresión breast cancer (cáncer de mama).
Ni siquiera los estudios sobre el covid-19 se salvaron: en algunos, al Síndrome Respiratorio Agudo Grave (Sars) lo transformaron en algo así como Síndrome Respiratorio Extremadamente Intenso. Uno de esos artículos, firmado por el médico egipcio Ahmed Elgazzar, de la Universidad de Banha, fue retirado de la plataforma de preprints Research Square por los indicios de mala conducta que iban más allá de la terminología inapropiada. El estudio, que sugería la eficacia de la ivermectina –un antiparasitario– contra el virus Sars-CoV-2, fue considerado inválido debido a las discrepancias detectadas entre los datos brutos de la investigación y los protocolos del ensayo clínico. Además de la traducción errónea de la sigla Sars, presentaba evidencias de plagio de comunicados de prensa sobre la ivermectina que resistieron los trucos para parafrasear los textos originales.
Las revistas que publican manuscritos con expresiones mal traducidas pueden tener otros fallos en sus controles de calidad. Cabanac realizó una búsqueda en la base de datos Dimensions en procura de documentos científicos que incluyeran los términos que había recopilado. Se detectaron 860 artículos con alguna “frase torturada” y 31 de ellos figuraban en una misma publicación: Microprocessors & Microsystems, de la editorial Elsevier. El científico de la computación entonces descargó la totalidad de los textos publicados por la revista entre 2018 y 2021 y realizó un examen más minucioso. Encontró alrededor de 500 casos problemáticos que, en su mayoría, incluían irregularidades en el proceso de revisión por pares. Gran parte de los papers sospechosos habían sido publicados en ediciones temáticas especiales y presentaban una misma fecha de envío, revisión y aceptación, lo que probaba que no habían sido evaluados con un mínimo de cuidado.
Una investigación paralela llevada a cabo por Elsevier corroboró los hallazgos del francés y 165 artículos fueron retirados o retractados. De acuerdo con el comunicado que emitió la editorial, “se investigó la integridad y la rigurosidad del proceso de revisión por pares y se constató que estaban por debajo de los altos estándares que se esperan para Microprocessors & Microsystems”. También se detectaron indicios de que gran parte de las ediciones especiales incluían contenidos “no originales y muy parafraseados”.
La editorial Elsevier no fue la única que tuvo que afrontar este problema. En el mes de marzo, IOP Publishing, del Reino Unido, anunció la retractación de 350 artículos publicados en dos de sus revistas: The Journal of Physics: Conference Series e IOP Conference Series: Materials Science and Engineering, que reúnen las anales de conferencias de los campos de la física, la ciencia de materiales y las ingenierías. Muchos de ellos contenían “frases torturadas”. Esos papers fueron descubiertos por Nick Wise, un estudiante de ingeniería de la Universidad de Cambridge que utilizó el rastreador creado por el grupo de Cabenac para analizar las revistas.
Republicar