{"id":558735,"date":"2025-08-19T16:48:30","date_gmt":"2025-08-19T19:48:30","guid":{"rendered":"https:\/\/revistapesquisa.fapesp.br\/?p=558735"},"modified":"2025-08-21T17:33:00","modified_gmt":"2025-08-21T20:33:00","slug":"expertos-analizan-los-riesgos-y-las-ventajas-de-utilizar-la-inteligencia-artificial-para-medir-el-rendimiento-de-los-investigadores","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/expertos-analizan-los-riesgos-y-las-ventajas-de-utilizar-la-inteligencia-artificial-para-medir-el-rendimiento-de-los-investigadores\/","title":{"rendered":"Expertos analizan los riesgos y las ventajas de utilizar la inteligencia artificial para medir el rendimiento de los investigadores"},"content":{"rendered":"

Las herramientas de la inteligencia artificial (IA) podr\u00edan ejecutar tareas en los procesos de evaluaci\u00f3n cient\u00edfica que hasta ahora se les conf\u00edan \u00fanicamente a revisores humanos, seg\u00fan se lo propone un estudio publicado en noviembre en el Journal of Informetrics<\/em>. El objetivo de dicho art\u00edculo, firmado por investigadores de la Universidad Federal de Rio Grande do Sul (UFRGS), consisti\u00f3 en identificar los criterios y atributos capaces de definir si un investigador ser\u00e1 premiado con una Beca de Productividad en Investigaci\u00f3n (PQ) del Consejo Nacional de Desarrollo Cient\u00edfico y Tecnol\u00f3gico (CNPq) de Brasil. Estas becas, que actualmente se distribuyen entre unos 15.000 investigadores, complementan la remuneraci\u00f3n que perciben de sus instituciones como reconocimiento a su producci\u00f3n sobresaliente y a su labor en la direcci\u00f3n de estudiantes.<\/p>\n

Se analizaron los Curr\u00edculos Lattes de 133.000 investigadores, de los cuales 14.138 fueron beneficiados con las becas PQ entre 2005 y 2022. Los autores del estudio utilizaron un conjunto de t\u00e9cnicas de aprendizaje autom\u00e1tico aplicado a los curr\u00edculums de los candidatos a las becas que consigui\u00f3 determinar, con un grado de acierto razonable, a qu\u00e9 investigadores se les conceder\u00edan las mismas. La precisi\u00f3n alcanz\u00f3 un 80 % en una de las categor\u00edas de becarios, la PQ-2, centrada en los investigadores m\u00e1s j\u00f3venes y que considera fundamentalmente la cantidad de art\u00edculos publicados y la cantidad de estudiantes dirigidos. \u201cPara los dem\u00e1s niveles, la herramienta funcion\u00f3 bien, pero con menor precisi\u00f3n, pues la definici\u00f3n depende de un an\u00e1lisis m\u00e1s cualitativo\u201d, dijo uno de los autores del estudio, Denis Borenstein, de la Escuela de Administraci\u00f3n de la UFRGS.<\/p>\n

Seg\u00fan el investigador, solo fue posible crear el modelo porque existe un gran volumen de datos sobre la producci\u00f3n de los investigadores en la Plataforma Lattes que se utiliza para entrenar a los algoritmos de aprendizaje autom\u00e1tico. A su juicio, esta herramienta podr\u00eda utilizarse al menos para realizar una preselecci\u00f3n de los postulantes y aliviar el trabajo de los evaluadores. \u201cLos examinadores podr\u00edan analizar un volumen menor de propuestas en forma m\u00e1s calma y meticulosa\u201d, dice Borenstein, experto en investigaci\u00f3n operativa aplicada, un enfoque interdisciplinario que se vale de algoritmos y m\u00e9todos matem\u00e1ticos y estad\u00edsticos para ayudar en la toma de decisiones.<\/p>\n

El f\u00edsico Olival Freire, director cient\u00edfico del CNPq, coincide en que la inteligencia artificial se tornar\u00e1 \u00fatil en los procedimientos de evaluaci\u00f3n de la agencia, pero afirma que su adopci\u00f3n debe ser criteriosa y paulatina. \u201cLos sistemas de IA mal entrenados o aplicados en forma incorrecta pueden llegar a mostrar resultados disparatados. Es necesario revisar cuidadosamente los algoritmos para comprobar si el an\u00e1lisis es consistente\u201d, dice. Freire comenta que el CNPq utiliza la IA para realizar tareas tales como la selecci\u00f3n de los revisores que eval\u00faan las solicitudes de becas y proyectos de investigaci\u00f3n. \u201cEl sistema repasa la lista de los 15.000 becarios de productividad y selecciona un peque\u00f1o conjunto de especialistas en el tema del proyecto, que a continuaci\u00f3n son contactados por los t\u00e9cnicos del CNPq\u201d, explica.<\/p>\n

Seg\u00fan Freire, esta estrategia evita sesgos en la elecci\u00f3n de los revisores, como el exceso de invitaciones a aquellos que aceptan la tarea o emiten sus dict\u00e1menes r\u00e1pidamente. Tambi\u00e9n se permite ahora el uso de programas de inteligencia artificial generativa en la formulaci\u00f3n de propuestas por parte de los postulantes a las becas de investigaci\u00f3n, siempre y cuando hayan declarado que utilizaron estos recursos. El director del CNPq sostiene, sin embargo, que el uso generalizado de la IA podr\u00eda ir en detrimento del car\u00e1cter cualitativo que el CNPq pretende imprimirle a su proceso de evaluaci\u00f3n. \u201cAlgunos comit\u00e9s de \u00e1reas tem\u00e1ticas del CNPq est\u00e1n juzgando las solicitudes de becas de productividad en dos etapas. La primera, de car\u00e1cter m\u00e1s cualitativo, analiza datos sobre la producci\u00f3n cient\u00edfica, las citas y la cantidad de estudiantes dirigidos por los candidatos y puede apoyarse en algoritmos. En la segunda, se les solicita a los postulantes que no indiquen cifras, sino sus principales logros, que pueden ser un art\u00edculo influyente, una patente o una producci\u00f3n art\u00edstica, y su apreciaci\u00f3n es realizada por pares. La inteligencia artificial no podr\u00eda hacerlo en forma apropiada\u201d, explica.<\/p>\n

Las herramientas de IA ya se utilizan para organizar y analizar grandes vol\u00famenes de datos de investigaci\u00f3n e incluso para identificar o modelar estructuras proteicas que pueden dar lugar a nuevos medicamentos. El f\u00edsico Osvaldo Novais de Oliveira J\u00fanior, investigador y actual director del Instituto de F\u00edsica de S\u00e3o Carlos de la USP, demostr\u00f3 que la inteligencia artificial es capaz de predecir, con alta probabilidad de acierto, si un art\u00edculo cient\u00edfico recibir\u00e1 muchas citas. \u00c9l y sus colegas de la USP y de la Universidad de Indiana, en Estados Unidos, publicaron un estudio sobre el tema en el repositorio arXiv, que a\u00fan no ha sido revisado por pares. El trabajo analiz\u00f3 los res\u00famenes de 40.000 art\u00edculos publicados entre 2012 y 2022 en la revista ACS Applied Materials & Interfaces<\/em>, editada por la Sociedad Estadounidense de Qu\u00edmica, utilizando m\u00e9todos de inteligencia artificial, y consigui\u00f3 indicar con un 80 % de precisi\u00f3n cu\u00e1les figuraban dentro del 20 % m\u00e1s citado, con base solamente en las palabras utilizadas y en los temas tratados, sin tener en cuenta qui\u00e9nes eran los autores ni a qu\u00e9 instituci\u00f3n pertenec\u00edan. Estudioso de la ling\u00fc\u00edstica computacional, Novais sostiene que el dominio del lenguaje humano por las computadoras les permitir\u00e1 ejecutar actividades intelectuales de todo tipo y que la gigantesca capacidad de procesamiento de datos de las m\u00e1quinas las llevar\u00e1 a superar, en breve, la inteligencia humana. \u201cEs probable que en un futuro no muy lejano, hacia 2027, alcancemos la singularidad tecnol\u00f3gica, el punto en el que la inteligencia artificial superar\u00e1 la capacidad humana\u201d, a\u00f1ade.<\/p>\n

El genetista Marcio de Castro Silva Filho, director cient\u00edfico de la FAPESP, considera que la tendencia al uso de la IA en los procesos de evaluaci\u00f3n es irreversible. \u201cLas editoriales cient\u00edficas ya utilizan la tecnolog\u00eda para el cribado y el an\u00e1lisis de los art\u00edculos cient\u00edficos recibidos. Las agencias de financiaci\u00f3n tienden a moverse en esta direcci\u00f3n, desarrollando herramientas de apoyo para sus asesores\u201d, dice. \u201cEn la FAPESP estamos discutiendo c\u00f3mo desarrollar algoritmos que permitan extraer informaci\u00f3n de las propuestas y ayudar a los evaluadores a la hora de revisarlas\u201d. Seg\u00fan \u00e9l, lo esencial es dotar de transparencia al uso de la inteligencia artificial a medida que se vayan incorporando herramientas de este tipo, as\u00ed como dejar claro cu\u00e1les son los criterios que las gu\u00edan.<\/p>\n

Pero la viabilidad de utilizar algoritmos para realizar tareas complejas del proceso de evaluaci\u00f3n puede llevar un tiempo, seg\u00fan la m\u00e9dica Rita Barradas Barata, quien entre 2016 y 2018 fue directora de evaluaci\u00f3n de la Coordinaci\u00f3n de Perfeccionamiento de Personal de Nivel Superior (Capes). \u201cUna cosa es utilizar algoritmos para procesar grande vol\u00famenes de datos y otra interpretarlos de forma tal que permitan captar todos los matices necesarios para analizar los proyectos\u201d. La investigadora, responsable de la culminaci\u00f3n de la evaluaci\u00f3n cuatrienal de los programas de posgrado publicada a cargo de la Capes en 2017 (lea en <\/em>Pesquisa FAPESP, edici\u00f3n n\u00ba 260<\/em><\/a>), dice que las m\u00faltiples dimensiones del desempe\u00f1o de los m\u00e1steres y doctorados, como el contexto en el que operan o su modo regional, tienen incidencia en el proceso de evaluaci\u00f3n y los algoritmos que se desarrollen deber\u00e1n considerarlas.<\/p>\n

Jacques Marcovitch, rector de la USP entre 1997 y 2001, afirma que el uso predictivo de la inteligencia artificial entra\u00f1a riesgos. Uno de ellos es que inhibe la adopci\u00f3n de los principios de lo que se denomina \u201cevaluaci\u00f3n responsable\u201d, que apunta a introducir par\u00e1metros cualitativos, basados en la revisi\u00f3n por pares, en el an\u00e1lisis de los resultados cient\u00edficos. \u201cLos algoritmos son capaces de leer una gran cantidad de contenidos, pero siempre est\u00e1n observando el pasado, los datos acumulados a lo largo del tiempo. En el marco de una era disruptiva, estas herramientas limitan la identificaci\u00f3n y la valorizaci\u00f3n de la ciencia que tallar\u00e1 nuestro futuro\u201d, sostiene. Marcovitch dirige el Proyecto M\u00e9tricas, una iniciativa que aglutina a investigadores de diversas instituciones en pos del desarrollo de formas abarcadoras de medir el impacto de las universidades en la sociedad.<\/p>\n

Esto no significa, seg\u00fan el investigador, que los modelos de inteligencia artificial no puedan ser \u00fatiles: lo fundamental, dice, es que sus resultados sean utilizados por personas competentes que comprendan sus limitaciones y sepan interpretarlos. Justin Axel-Berg, tambi\u00e9n investigador del Proyecto M\u00e9tricas, advierte sobre la falta de transparencia de los par\u00e1metros adoptados por los algoritmos de inteligencia artificial generativa. \u201cSer\u00eda arriesgado utilizar estos programas para determinar el destino de los fondos p\u00fablicos asignados a proyectos y becas. \u00bfQu\u00e9 le dir\u00edamos a un candidato descontento con el resultado de la evaluaci\u00f3n? \u00bfQue fue el algoritmo el que dijo que no?\u201d, indaga.<\/p>\n

An\u00e1lisis multidimensional
\n<\/strong>La ingenier\u00eda qu\u00edmica adopta criterios de evaluaci\u00f3n cualitativos<\/em><\/p>\n

La distribuci\u00f3n de las Becas de Productividad en Investigaci\u00f3n (PQ) del CNPq en el \u00e1rea de la ingenier\u00eda qu\u00edmica est\u00e1 siguiendo criterios diferentes a los que suelen adoptar otras disciplinas. En lugar de limitarse a los indicadores cuantitativos tradicionales, tales como la cantidad de art\u00edculos, las citas y los alumnos dirigidos, se centra en medir la contribuci\u00f3n de los postulantes a acceder a las becas de forma amplia, evaluando desde el impacto acad\u00e9mico de su producci\u00f3n cient\u00edfica hasta su rol en la formaci\u00f3n de recursos humanos, sus esfuerzos por establecer colaboraciones y su liderazgo en proyectos de investigaci\u00f3n cient\u00edfica e innovaci\u00f3n. Las reglas v\u00e1lidas para el pr\u00f3ximo trienio ven\u00edan siendo discutidas por el comit\u00e9 asesor de ingenier\u00eda qu\u00edmica del CNPq en los \u00faltimos cuatro a\u00f1os y comenzar\u00e1n a aplicarse en octubre, una vez debatidas con la comunidad. \u201cLa idea es considerar el car\u00e1cter cualitativo de las investigaciones, con el prop\u00f3sito de desalentar las pr\u00e1cticas de publicaci\u00f3n depredadoras que inflan artificialmente la producci\u00f3n cient\u00edfica\u201d, dice Claudio Dariva, investigador de la Universidade Tiradentes, en Aracaju (Sergipe), actual coordinador del comit\u00e9.<\/p>\n

La b\u00fasqueda de nuevos criterios se explica, en parte, por la feroz competencia por las becas de productividad en ingenier\u00eda qu\u00edmica. Si se considera el promedio de las tres \u00faltimas evaluaciones para las becas PQ (2021, 2022 y 2023), por cada 100 investigadores del \u00e1rea que se postulan, solamente 35 tienen \u00e9xito, el nivel m\u00e1s bajo de obtenci\u00f3n entre todas las \u00e1reas de la ingenier\u00eda del CNPq. Para darse una idea de la asimetr\u00eda, el promedio de satisfacci\u00f3n de las solicitudes para todas las disciplinas de ingenier\u00eda en el per\u00edodo ronda el 45 %, con algunas \u00e1reas alcanzando el 60 %. \u201cSi utiliz\u00e1ramos criterios meramente cuantitativos para distribuir las becas, muchos investigadores con contribuciones importantes a la sociedad ni siquiera llegar\u00edan a competir. La pregunta que siempre nos ha guiado ha sido: \u00bfqu\u00e9 es ser un investigador productivo?\u201d, dice Maria Alice Zarur Coelho, investigadora de la Universidad Federal de R\u00edo de Janeiro (UFRJ), quien dirigi\u00f3 el comit\u00e9 consultivo durante el per\u00edodo en que se establecieron los nuevos criterios. \u201cEl objetivo es poder contribuir a un an\u00e1lisis multidimensional del investigador, que sirva como herramienta orientativa y priorice el impacto de la investigaci\u00f3n de una manera amplia\u201d, dice Marisa Beppu, investigadora de la Universidad de Campinas (Unicamp), quien tambi\u00e9n dirigi\u00f3 el comit\u00e9 asesor de ingenier\u00eda qu\u00edmica del CNPq.<\/div>\n

Este art\u00edculo sali\u00f3 publicado con el t\u00edtulo \u201cLa regla de algoritmos<\/strong>\u201d en la edici\u00f3n impresa n\u00b0 346 de diciembre de 2024. <\/p>\n","protected":false},"excerpt":{"rendered":"Se aplic\u00f3 el aprendizaje autom\u00e1tico para evaluar los curr\u00edculums y prever qui\u00e9nes obtendr\u00edan becas de una agencia federal brasile\u00f1a","protected":false},"author":11,"featured_media":558736,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[288],"coauthors":[98],"class_list":["post-558735","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-politica-ct","tag-computacion"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/558735","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=558735"}],"version-history":[{"count":2,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/558735\/revisions"}],"predecessor-version":[{"id":560729,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/558735\/revisions\/560729"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media\/558736"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=558735"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=558735"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=558735"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=558735"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}