Las herramientas de la inteligencia artificial (IA) podrían ejecutar tareas en los procesos de evaluación científica que hasta ahora se les confían únicamente a revisores humanos, según se lo propone un estudio publicado en noviembre en el Journal of Informetrics. El objetivo de dicho artículo, firmado por investigadores de la Universidad Federal de Rio Grande do Sul (UFRGS), consistió en identificar los criterios y atributos capaces de definir si un investigador será premiado con una Beca de Productividad en Investigación (PQ) del Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq) de Brasil. Estas becas, que actualmente se distribuyen entre unos 15.000 investigadores, complementan la remuneración que perciben de sus instituciones como reconocimiento a su producción sobresaliente y a su labor en la dirección de estudiantes.
Se analizaron los Currículos Lattes de 133.000 investigadores, de los cuales 14.138 fueron beneficiados con las becas PQ entre 2005 y 2022. Los autores del estudio utilizaron un conjunto de técnicas de aprendizaje automático aplicado a los currículums de los candidatos a las becas que consiguió determinar, con un grado de acierto razonable, a qué investigadores se les concederían las mismas. La precisión alcanzó un 80 % en una de las categorías de becarios, la PQ-2, centrada en los investigadores más jóvenes y que considera fundamentalmente la cantidad de artículos publicados y la cantidad de estudiantes dirigidos. “Para los demás niveles, la herramienta funcionó bien, pero con menor precisión, pues la definición depende de un análisis más cualitativo”, dijo uno de los autores del estudio, Denis Borenstein, de la Escuela de Administración de la UFRGS.
Según el investigador, solo fue posible crear el modelo porque existe un gran volumen de datos sobre la producción de los investigadores en la Plataforma Lattes que se utiliza para entrenar a los algoritmos de aprendizaje automático. A su juicio, esta herramienta podría utilizarse al menos para realizar una preselección de los postulantes y aliviar el trabajo de los evaluadores. “Los examinadores podrían analizar un volumen menor de propuestas en forma más calma y meticulosa”, dice Borenstein, experto en investigación operativa aplicada, un enfoque interdisciplinario que se vale de algoritmos y métodos matemáticos y estadísticos para ayudar en la toma de decisiones.
El físico Olival Freire, director científico del CNPq, coincide en que la inteligencia artificial se tornará útil en los procedimientos de evaluación de la agencia, pero afirma que su adopción debe ser criteriosa y paulatina. “Los sistemas de IA mal entrenados o aplicados en forma incorrecta pueden llegar a mostrar resultados disparatados. Es necesario revisar cuidadosamente los algoritmos para comprobar si el análisis es consistente”, dice. Freire comenta que el CNPq utiliza la IA para realizar tareas tales como la selección de los revisores que evalúan las solicitudes de becas y proyectos de investigación. “El sistema repasa la lista de los 15.000 becarios de productividad y selecciona un pequeño conjunto de especialistas en el tema del proyecto, que a continuación son contactados por los técnicos del CNPq”, explica.
Según Freire, esta estrategia evita sesgos en la elección de los revisores, como el exceso de invitaciones a aquellos que aceptan la tarea o emiten sus dictámenes rápidamente. También se permite ahora el uso de programas de inteligencia artificial generativa en la formulación de propuestas por parte de los postulantes a las becas de investigación, siempre y cuando hayan declarado que utilizaron estos recursos. El director del CNPq sostiene, sin embargo, que el uso generalizado de la IA podría ir en detrimento del carácter cualitativo que el CNPq pretende imprimirle a su proceso de evaluación. “Algunos comités de áreas temáticas del CNPq están juzgando las solicitudes de becas de productividad en dos etapas. La primera, de carácter más cualitativo, analiza datos sobre la producción científica, las citas y la cantidad de estudiantes dirigidos por los candidatos y puede apoyarse en algoritmos. En la segunda, se les solicita a los postulantes que no indiquen cifras, sino sus principales logros, que pueden ser un artículo influyente, una patente o una producción artística, y su apreciación es realizada por pares. La inteligencia artificial no podría hacerlo en forma apropiada”, explica.
Las herramientas de IA ya se utilizan para organizar y analizar grandes volúmenes de datos de investigación e incluso para identificar o modelar estructuras proteicas que pueden dar lugar a nuevos medicamentos. El físico Osvaldo Novais de Oliveira Júnior, investigador y actual director del Instituto de Física de São Carlos de la USP, demostró que la inteligencia artificial es capaz de predecir, con alta probabilidad de acierto, si un artículo científico recibirá muchas citas. Él y sus colegas de la USP y de la Universidad de Indiana, en Estados Unidos, publicaron un estudio sobre el tema en el repositorio arXiv, que aún no ha sido revisado por pares. El trabajo analizó los resúmenes de 40.000 artículos publicados entre 2012 y 2022 en la revista ACS Applied Materials & Interfaces, editada por la Sociedad Estadounidense de Química, utilizando métodos de inteligencia artificial, y consiguió indicar con un 80 % de precisión cuáles figuraban dentro del 20 % más citado, con base solamente en las palabras utilizadas y en los temas tratados, sin tener en cuenta quiénes eran los autores ni a qué institución pertenecían. Estudioso de la lingüística computacional, Novais sostiene que el dominio del lenguaje humano por las computadoras les permitirá ejecutar actividades intelectuales de todo tipo y que la gigantesca capacidad de procesamiento de datos de las máquinas las llevará a superar, en breve, la inteligencia humana. “Es probable que en un futuro no muy lejano, hacia 2027, alcancemos la singularidad tecnológica, el punto en el que la inteligencia artificial superará la capacidad humana”, añade.
El genetista Marcio de Castro Silva Filho, director científico de la FAPESP, considera que la tendencia al uso de la IA en los procesos de evaluación es irreversible. “Las editoriales científicas ya utilizan la tecnología para el cribado y el análisis de los artículos científicos recibidos. Las agencias de financiación tienden a moverse en esta dirección, desarrollando herramientas de apoyo para sus asesores”, dice. “En la FAPESP estamos discutiendo cómo desarrollar algoritmos que permitan extraer información de las propuestas y ayudar a los evaluadores a la hora de revisarlas”. Según él, lo esencial es dotar de transparencia al uso de la inteligencia artificial a medida que se vayan incorporando herramientas de este tipo, así como dejar claro cuáles son los criterios que las guían.
Pero la viabilidad de utilizar algoritmos para realizar tareas complejas del proceso de evaluación puede llevar un tiempo, según la médica Rita Barradas Barata, quien entre 2016 y 2018 fue directora de evaluación de la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes). “Una cosa es utilizar algoritmos para procesar grande volúmenes de datos y otra interpretarlos de forma tal que permitan captar todos los matices necesarios para analizar los proyectos”. La investigadora, responsable de la culminación de la evaluación cuatrienal de los programas de posgrado publicada a cargo de la Capes en 2017 (lea en Pesquisa FAPESP, edición nº 260), dice que las múltiples dimensiones del desempeño de los másteres y doctorados, como el contexto en el que operan o su modo regional, tienen incidencia en el proceso de evaluación y los algoritmos que se desarrollen deberán considerarlas.
Jacques Marcovitch, rector de la USP entre 1997 y 2001, afirma que el uso predictivo de la inteligencia artificial entraña riesgos. Uno de ellos es que inhibe la adopción de los principios de lo que se denomina “evaluación responsable”, que apunta a introducir parámetros cualitativos, basados en la revisión por pares, en el análisis de los resultados científicos. “Los algoritmos son capaces de leer una gran cantidad de contenidos, pero siempre están observando el pasado, los datos acumulados a lo largo del tiempo. En el marco de una era disruptiva, estas herramientas limitan la identificación y la valorización de la ciencia que tallará nuestro futuro”, sostiene. Marcovitch dirige el Proyecto Métricas, una iniciativa que aglutina a investigadores de diversas instituciones en pos del desarrollo de formas abarcadoras de medir el impacto de las universidades en la sociedad.
Esto no significa, según el investigador, que los modelos de inteligencia artificial no puedan ser útiles: lo fundamental, dice, es que sus resultados sean utilizados por personas competentes que comprendan sus limitaciones y sepan interpretarlos. Justin Axel-Berg, también investigador del Proyecto Métricas, advierte sobre la falta de transparencia de los parámetros adoptados por los algoritmos de inteligencia artificial generativa. “Sería arriesgado utilizar estos programas para determinar el destino de los fondos públicos asignados a proyectos y becas. ¿Qué le diríamos a un candidato descontento con el resultado de la evaluación? ¿Que fue el algoritmo el que dijo que no?”, indaga.
La ingeniería química adopta criterios de evaluación cualitativos
La distribución de las Becas de Productividad en Investigación (PQ) del CNPq en el área de la ingeniería química está siguiendo criterios diferentes a los que suelen adoptar otras disciplinas. En lugar de limitarse a los indicadores cuantitativos tradicionales, tales como la cantidad de artículos, las citas y los alumnos dirigidos, se centra en medir la contribución de los postulantes a acceder a las becas de forma amplia, evaluando desde el impacto académico de su producción científica hasta su rol en la formación de recursos humanos, sus esfuerzos por establecer colaboraciones y su liderazgo en proyectos de investigación científica e innovación. Las reglas válidas para el próximo trienio venían siendo discutidas por el comité asesor de ingeniería química del CNPq en los últimos cuatro años y comenzarán a aplicarse en octubre, una vez debatidas con la comunidad. “La idea es considerar el carácter cualitativo de las investigaciones, con el propósito de desalentar las prácticas de publicación depredadoras que inflan artificialmente la producción científica”, dice Claudio Dariva, investigador de la Universidade Tiradentes, en Aracaju (Sergipe), actual coordinador del comité.
La búsqueda de nuevos criterios se explica, en parte, por la feroz competencia por las becas de productividad en ingeniería química. Si se considera el promedio de las tres últimas evaluaciones para las becas PQ (2021, 2022 y 2023), por cada 100 investigadores del área que se postulan, solamente 35 tienen éxito, el nivel más bajo de obtención entre todas las áreas de la ingeniería del CNPq. Para darse una idea de la asimetría, el promedio de satisfacción de las solicitudes para todas las disciplinas de ingeniería en el período ronda el 45 %, con algunas áreas alcanzando el 60 %. “Si utilizáramos criterios meramente cuantitativos para distribuir las becas, muchos investigadores con contribuciones importantes a la sociedad ni siquiera llegarían a competir. La pregunta que siempre nos ha guiado ha sido: ¿qué es ser un investigador productivo?”, dice Maria Alice Zarur Coelho, investigadora de la Universidad Federal de Río de Janeiro (UFRJ), quien dirigió el comité consultivo durante el período en que se establecieron los nuevos criterios. “El objetivo es poder contribuir a un análisis multidimensional del investigador, que sirva como herramienta orientativa y priorice el impacto de la investigación de una manera amplia”, dice Marisa Beppu, investigadora de la Universidad de Campinas (Unicamp), quien también dirigió el comité asesor de ingeniería química del CNPq.
Este artículo salió publicado con el título “La regla de algoritmos” en la edición impresa n° 346 de diciembre de 2024.
Republicar