Imprimir Republish

Buenas prácticas

Inteligencia artificial en la revisión por pares

Un software detecta posibles conflictos de interés entre los autores de artículos científicos y los investigadores que evalúan su calidad

Tom Kelley Archive/Getty Images

La editorial suiza Frontiers, que publica más de 90 revistas científicas de acceso abierto, desarrolló un software que utiliza inteligencia artificial para efectuar la evaluación de artículos y detecta hasta veinte problemas diferentes relacionados con su integridad, tales como plagio o imágenes con huellas de manipulación. Empero, el programa llamó la atención porque ofrece un servicio innovador: avisa cuando los autores de un manuscrito y los editores y revisores que evalúan su contenido ya han firmado otros artículos juntos, algo que permite suponer una cercanía que podría redundar en una apreciación subjetiva configurando un conflicto de intereses. La herramienta, denominada Artificial Intelligence Review Assistant (Aira), se está utilizando en el proceso de revisión por pares en las revistas del catálogo de Frontiers, con el propósito de proporcionar una advertencia objetiva sobre las interacciones previas entre quien produce y quien evalúa el conocimiento. Le corresponde a un juez de carne y hueso –el editor en jefe de la revista, en última instancia– juzgar si esos contactos previos afectan o no la imparcialidad del análisis. Se necesita ayuda tecnológica para verificar a gran escala los conflictos de interés entre autores y revisores”, dijo el científico de la computación Daniel Petrariu, director de Desarrollo de Productos de la editorial suiza, en el marco de la presentación del programa en el pasado mes de julio.

El Committee on Publication Ethics (Cope), un foro en el que se debaten los temas relacionados con la integridad en la ciencia, define al conflicto de intereses como una situación en la que los investigadores o las instituciones científicas tienen intereses que compiten entre sí, de índole profesional o económica, de manera tal que tomar partido por uno de ellos puede comprometer la imparcialidad de las decisiones. La existencia de un conflicto de intereses, señala el Cope, no constituye un factor determinante de mala conducta: a pesar de esas circunstancias, un estudio puede perfectamente tener resultados válidos y fiables. Pero cuando ello sucede, es obligatorio afrontar el problema con total transparencia. Por eso se les exige a los investigadores que firmen una declaración de conflictos de intereses siempre que presenten un proyecto o publiquen un artículo. Queda a discreción del evaluador del proyecto o del lector del paper ponderar los resultados sin pasar por alto los intereses implicados.

Un caso típico de mala conducta consiste en ocultar que se recibió financiación de una empresa para realizar una investigación en cuyos resultados la misma tiene un interés económico. Este fue el caso del oncólogo José Baselga, quien perdió su puesto como director clínico del Memorial Sloan Kettering Cancer Center, en Nueva York, luego de reconocer que omitió informar sus vínculos con empresas farmacéuticas en decenas de artículos científicos de su autoría (lea en Pesquisa FAPESP, edición nº 272). También hay situaciones de conflictos de intereses que han manchado la objetividad en la revisión por pares. En 2017, la revista Scientific World Journal, de la editorial Hindawi, anunció la retractación de dos artículos cuando se supo que el autor de ambos trabajos, Zheng Xu, era colaborador habitual de Xiangfeng Luo, editor de la revista e investigador de la Universidad de Shanghái. Ambos firmaron como coautores decenas de artículos y Luo fue el supervisor del doctorado de Xu.

El objetivo del software Aira consiste en detectar una fuente potencial de conflictos de intereses que podría pasar desapercibida. Pero su alcance es limitado: solo apunta esos problemas cuando hay datos disponibles para corroborarlos. Y algunos de estos conflictos están bien ocultos. Si el autor y el evaluador reciben financiación de un mismo patrocinador y omiten ese vínculo, el programa informático no podrá revelarlo.

Un documento sobre el futuro de la revisión por pares publicado en 2017 por la editorial BioMed Central reveló que la inteligencia artificial se está utilizando de varias maneras para la evaluación de los artículos científicos. Hay editoriales que utilizan estos recursos para rastrear la producción científica disponible online con el propósito de identificar a los investigadores con un perfil propio para desempeñarse como revisores de papers en sus disciplinas. Asimismo, la inteligencia artificial está proporcionando nuevos programas capaces de detectar plagios, que identifican frases o párrafos que han sido reescritos para eludir la acción de los algoritmos que solo reconocen las copias literales.

El ejemplo más polémico fue el del software Statcheck, concebido en 2015 por científicos de la Universidad de Tilburg, en los Países Bajos (lea en Pesquisa FAPESP, edición nº 253), y actualmente incorporado al cotidiano de cientos de revistas. La controversia no solo aludía a la tecnología, capaz de reproducir los cálculos descritos en artículos científicos previamente publicados y señalar errores estadísticos, sino también a lo referente a la forma en que se la utilizó. Con ese programa se analizaron cincuenta mil artículos del campo de la psicología y los resultados del estudio fueron divulgados en la plataforma PubPeer, exponiendo públicamente pequeños y grandes errores cometidos por miles de autores. Se detectaron inconsistencias en más de 25 mil de esos artículos.

Para la psicóloga Michèle Nuijten, docente de la Universidad de Tilburg y una de las creadoras del Statcheck, las herramientas como el Aira pueden ser valiosas para la revisión por pares. “Necesitamos buscar soluciones innovadoras que ayuden a elevar la calidad y la solidez de los trabajos científicos, y la inteligencia artificial tiene un rol que cumplir en ese sentido”, dijo en un informe sobre el Aira que salió publicado en el periódico The New York Times. Pero Nuijten advierte que estas herramientas solo deben utilizarse como ayuda en la labor de los editores y que le corresponde al ser humano y no a las máquinas decidir si un paper debe publicarse o no. “Me preocupa que un artículo pueda ser rechazado tan solo porque una herramienta de inteligencia artificial detectó un problema, sin que se compruebe qué es lo que realmente está sucediendo”.

Las agencias de fomento también tienen normas para evitar conflictos de intereses al evaluar proyectos. Ya hace tiempo que la FAPESP exige que los asesores designados para evaluar propuestas declaren si tienen intereses relacionados con ellas. Una verificación previa descarta a aquellos asesores con vínculos tales como parentesco, filiación con la misma institución o participación en el proyecto. En el mes de mayo fue puesto en marcha un sistema automático de identificación de posibles revisores desarrollado por la Gerencia de Informática de la Fundación, que sugiere a los coordinadores de área una lista de veinte investigadores capacitados para evaluar cada proyecto. El sistema de búsqueda coteja parámetros tales como títulos y palabras clave de los proyectos con una base de perfiles de asesores y señala, por orden de idoneidad, las mejores combinaciones. La tecnología responsable de la clasificación de las palabras empleó recursos de inteligencia artificial. Además de una mayor objetividad en la selección, el sistema comprueba automáticamente si los revisores tienen vínculos con los proponentes.

Republicar