{"id":393449,"date":"2021-05-17T17:10:36","date_gmt":"2021-05-17T20:10:36","guid":{"rendered":"https:\/\/revistapesquisa.fapesp.br\/?p=393449"},"modified":"2021-05-17T17:10:36","modified_gmt":"2021-05-17T20:10:36","slug":"en-busca-de-metricas-mas-refinadas","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/en-busca-de-metricas-mas-refinadas\/","title":{"rendered":"En busca de m\u00e9tricas m\u00e1s refinadas"},"content":{"rendered":"

Un art\u00edculo que sali\u00f3 publicado en febrero en la revista Scientometrics<\/em> present\u00f3 una herramienta inform\u00e1tica que puede ser de utilidad para\u00a0 el an\u00e1lisis de la producci\u00f3n cient\u00edfica de los investigadores. Se trata de un algoritmo capaz de recabar informaci\u00f3n sobre el conjunto de papers<\/em> de un autor determinado y analizar, por ejemplo, hasta qu\u00e9 punto esa producci\u00f3n tiene que ver con los temas candentes de su disciplina o cu\u00e1les fueron sus repercusiones, generando citas en otros trabajos, en comparaci\u00f3n con la de colegas con intereses similares. Los autores del manuscrito, el ingeniero de materiales Edgar Dutra Zanotto, de la Universidad Federal de S\u00e3o Carlos (UFSCar) y el estudiante universitario de computaci\u00f3n Vin\u00edcius Carvalho desarrollaron el algoritmo para recopilar y procesar los datos de dos indicadores provistos por SciVal, una plataforma anal\u00edtica vinculada a la base de datos Scopus, de la editorial Elsevier.<\/p>\n

Uno de ellos es el Field-Weighted Citation Index (FWCI), que analiza las citas de un art\u00edculo, compar\u00e1ndolas con las de otros papers<\/em> que incluyen palabras claves similares y con la misma antig\u00fcedad. El \u00edndice sopesa cu\u00e1nto se cit\u00f3 el art\u00edculo en comparaci\u00f3n con el promedio de citas de sus hom\u00f3logos. Si el resultado fuera 1, esto significa que registra exactamente una repercusi\u00f3n promedio y, si fuera superior, la misma es mayor. La ventaja de esta metodolog\u00eda radica en que permite comparar estudios de cualquier \u00e1rea del conocimiento, ponderando su importancia con respecto a otros del mismo tema. Otros indicadores del impacto cient\u00edfico no permiten este tipo de analog\u00eda, porque cada disciplina posee pr\u00e1cticas de publicaci\u00f3n peculiares y sus comunidades tienen un tama\u00f1o dispar, que repercute en la frecuencia con la que sus estudios son citados sin que esto represente una diferencia de impacto y visibilidad.<\/p>\n

El segundo indicador es el Topic Prominence Percentile (TPP), que muestra el grado de sintonizaci\u00f3n de los temas de un art\u00edculo con aquellos que constituyen el centro del debate actual en su campo del conocimiento. El \u00edndice de preponderancia se calcula sobre la base de la cantidad de citas que el paper<\/em> acumul\u00f3 durante los \u00faltimos dos a\u00f1os, el factor de impacto de la revista en la que fue publicado y el n\u00famero de visualizaciones que registr\u00f3 en internet. Su contenido se compara con una especie de ranking<\/em> de temas de investigaci\u00f3n, que tambi\u00e9n se elabora a partir de los est\u00e1ndares de citas, sugiriendo cu\u00e1nto converge con los temas m\u00e1s en boga entre los editores de revistas o que han captado m\u00e1s financiaci\u00f3n de las agencias de fomento. \u201cEl problema reside en que para calcular el rendimiento global de un investigador se necesita evaluar cada publicaci\u00f3n en forma individual, algo que lleva mucho tiempo. El software<\/em> que hemos desarrollado recopila dentro de la base Scopus el FWCI y el TPP del conjunto de los papers<\/em> de un autor y se propone ofrecer un retrato completo de su producci\u00f3n\u201d, explica Dutra Zanotto.<\/p>\n

Una prueba preliminar del algoritmo realizada con la producci\u00f3n de un investigador que, desde el a\u00f1o 2000 en adelante, public\u00f3 226 art\u00edculos, pudo completarse en tan solo 35 minutos. Algunos resultados fueron interesantes. El FWCI del conjunto de trabajos m\u00e1s recientes era muy similar al de los m\u00e1s antiguos, se\u00f1al de que la valoraci\u00f3n efectuada por el \u00edndice corrigi\u00f3 distorsiones y registr\u00f3 un desempe\u00f1o estable del cient\u00edfico. Tambi\u00e9n detect\u00f3 que la producci\u00f3n realizada en colaboraci\u00f3n internacional coincide con un FWCI m\u00e1s alto y que su \u00edndice de prominencia era mayor. A continuaci\u00f3n, se utiliz\u00f3 el software<\/em> para analizar la producci\u00f3n de 15 investigadores s\u00e9nior, incluidos dentro del nivel 1A en el Consejo Nacional de Desarrollo Cient\u00edfico y Tecnol\u00f3gico (CNPq) \u2013acad\u00e9micos con entre 30 y 50 a\u00f1os de carrera\u2013, y la de 12 j\u00f3venes investigadores prol\u00edficos, seleccionados entre diversas \u00e1reas, entre ellas, qu\u00edmica, f\u00edsica, astronom\u00eda, matem\u00e1tica, biolog\u00eda y materiales. Se pudo comprobar que pr\u00e1cticamente todos los de la muestra ostentaban un FWCI promedio superior a 1. Se llev\u00f3 a cabo un segundo an\u00e1lisis, normalizando los art\u00edculos seg\u00fan la cantidad de autores de cada uno de ellos. Al hacerlo, dos de los investigadores s\u00e9nior del \u00e1rea de matem\u00e1tica, que hab\u00edan firmado sus trabajos tan solo junto a dos o tres colegas, siguieron registrando un FWCI superior a 1 y superaron a los dem\u00e1s, de otras \u00e1reas, que generalmente compart\u00edan la autor\u00eda con m\u00e1s coautores. \u201cEl algoritmo propuesto y las m\u00e9tricas resultantes aportan una nueva herramienta a la cientometr\u00eda\u201d, sostiene el investigador, en referencia a la disciplina que estudia los aspectos cuantitativos de la ciencia.<\/p>\n

L\u00edder de uno de los principales grupos de investigaci\u00f3n en nucleaci\u00f3n y cristalizaci\u00f3n de vidrios del mundo, Edgar Dutra Zanotto coordina desde 2013 el Centro de Investigaci\u00f3n, Educaci\u00f3n e Innovaci\u00f3n en Vidrios (CeRTEV), uno de los Centros de Investigaci\u00f3n, Educaci\u00f3n y Difusi\u00f3n (Cepid) financiados por la FAPESP. Su dedicaci\u00f3n a los estudios en cientometr\u00eda es espor\u00e1dica: de los m\u00e1s de 350 art\u00edculos de su autor\u00eda, tan solo cinco son de la materia. Su inter\u00e9s por el tema se remonta al comienzo de la d\u00e9cada de 2000, cuando fue miembro de la coordinaci\u00f3n adjunta de ciencias exactas e ingenier\u00edas de la FAPESP. \u201cEn ese entonces evaluaba continuamente los curr\u00edculos de cient\u00edficos y becarios y empezaron a aparecer una serie de m\u00e9tricas para analizar la producci\u00f3n de los investigadores, como fue el \u00edndice h\u201d, dice, en referencia al indicador propuesto en 2005 por el f\u00edsico argentino Jorge Hirsh, que combina el n\u00famero de art\u00edculos con la consistencia de sus citas y que se generaliz\u00f3 por la facilidad para calcularlo. En busca de par\u00e1metros m\u00e1s exhaustivos, Dutra Zanotto public\u00f3 tambi\u00e9n en Scientometrics<\/em>, en 2006, un estudio en el que suger\u00eda una forma de clasificar a los investigadores basada en 11 criterios, entre ellos, los premios internacionales obtenidos, la cantidad de art\u00edculos publicados en revistas de alto impacto y el volumen de financiaci\u00f3n de investigaciones obtenido de las agencias cient\u00edficas de fomento y de empresas (lea en <\/em>Pesquisa FAPESP, edici\u00f3n n\u00ba 124<\/em><\/a>). La idea sirvi\u00f3 para fomentar el debate acad\u00e9mico y no lleg\u00f3 a adoptarse a gran escala. Pero Dutra Zanotto sigue utilizando hasta los d\u00edas actuales esa clasificaci\u00f3n cuando eval\u00faa curr\u00edculos de investigadores para proyectos y premios.<\/p>\n

Entre 2017 y 2019, Dutra Zanotto presidi\u00f3 el Consejo Cient\u00edfico del Instituto Serrapilheira, una instituci\u00f3n privada de fomento de la investigaci\u00f3n cient\u00edfica con sede en R\u00edo de Janeiro, y retom\u00f3 su inter\u00e9s por las m\u00e9tricas de evaluaci\u00f3n. Descubri\u00f3 casi una centena de indicadores disponibles. Existe, por ejemplo, el \u00edndice g, que indica cu\u00e1ndo un investigador tuvo, entre su conjunto de art\u00edculos, algunos muy citados, una particularidad que el \u00edndice h no capta. La proliferaci\u00f3n de trabajos con cientos de autores tambi\u00e9n condujo a la creaci\u00f3n de \u00edndices que sopesan el impacto de la contribuci\u00f3n de cada uno, evitando distorsiones al comparar con papers<\/em> con pocas firmas. En el Serrapilheira, Dutra Zanotto estudi\u00f3 varias m\u00e9tricas para complementar el an\u00e1lisis de los proyectos de investigaci\u00f3n del instituto. \u201cLa evaluaci\u00f3n de la productividad, la calidad y la visibilidad de los cient\u00edficos es pertinente, pero muy compleja, y todav\u00eda no hay una soluci\u00f3n clara adoptada universalmente. Los indicadores como el \u00edndice h han sido utilizados por muchos, pero no todos. Si no se entienden bien, pueden causar, y han causado, numerosas distorsiones. El FWCI las corrige razonablemente, pero no perfectamente\u201d, explica Dutra Zanotto.<\/p>\n

La creaci\u00f3n de nuevos indicadores bibliom\u00e9tricos fue impulsada por el desarrollo de la ciencia de datos, que permiti\u00f3 extraer tendencias de grandes vol\u00famenes de informaci\u00f3n. Empresas tales como Elsevier y Clarivate, que mantienen respectivamente las bases de datos Scopus y Web of Science, comenzaron a comercializar servicios de an\u00e1lisis de la producci\u00f3n cient\u00edfica para administradores, universidades y agencias cient\u00edficas de fomento con m\u00e9tricas cada vez m\u00e1s refinadas, aunque la base de la mayor\u00eda de ellas sigue siendo el n\u00famero de art\u00edculos y las citas. Sergio Salles-Filho, coordinador del Grupo de Estudios sobre Organizaci\u00f3n de la Investigaci\u00f3n Cient\u00edfica y la Innovaci\u00f3n de la Universidad de Campinas (Geopi-Unicamp), quien trabaja con la evaluaci\u00f3n de la producci\u00f3n acad\u00e9mica y tecnol\u00f3gica, dice que los an\u00e1lisis pudieron mejorarse en los \u00faltimos a\u00f1os gracias a estas nuevas m\u00e9tricas. \u201cLos resultados de la evaluaci\u00f3n se volvieron m\u00e1s precisos, estableciendo comparaciones adecuadas y evitando distorsiones\u201d, sostiene. En un informe de evaluaci\u00f3n reciente de tres programas de la FAPESP (de apoyo a las peque\u00f1as empresas, colaboraciones internacionales y formaci\u00f3n de investigadores), Salles-Filho complement\u00f3 los resultados con datos sobre el \u00edndice de preponderancia de las investigaciones realizadas, dejando en claro que un resultado bajo no significa falta de calidad, sino que tan solo podr\u00eda indicar que un tema de investigaci\u00f3n de gran inter\u00e9s para Brasil no encabeza la agenda de la comunidad internacional (lea en<\/em> Pesquisa FAPESP, edici\u00f3n n\u00ba 297<\/em><\/a>).<\/p>\n

Adem\u00e1s de los indicadores que normalizan la contribuci\u00f3n de los investigadores seg\u00fan las caracter\u00edsticas de su disciplina, tambi\u00e9n han ganado espacio en los procesos de evaluaci\u00f3n las denominadas m\u00e9tricas alternativas, o \u201caltmetr\u00edas\u201d, que evidencian la penetraci\u00f3n de los art\u00edculos cient\u00edficos en la prensa y en los medios sociales (lea en <\/em>Pesquisa FAPESP, edici\u00f3n n\u00ba 250<\/em><\/a>)). La base de datos Dimensions, creada en 2018, proporciona un \u00edndice sint\u00e9tico de altmetr\u00eda compuesto por m\u00e1s de una decena de par\u00e1metros, entre citas en blogs, referencias en tuits, \u201cme gusta\u201d en Facebook o intercambios en la red social acad\u00e9mica Mendeley. \u201cLa base Dimensions solo consigue detectar la repercusi\u00f3n de un trabajo en la prensa o en las redes sociales si contiene su registro DOI [Identificador de Objeto Digital]. Por ello, los investigadores empezaron a incluir el DOI cuando difund\u00edan sus estudios en Twitter o Facebook\u201d, explica Salles-Filho.<\/p>\n

Pese a la utilidad de los nuevos indicadores, persiste el debate sobre hasta qu\u00e9 punto estas m\u00e9tricas pueden reconocer la calidad de un estudio cient\u00edfico y si tienen el potencial de sustituir la revisi\u00f3n por pares, en la que el contenido y el grado de innovaci\u00f3n y originalidad de la producci\u00f3n de un autor son analizados por investigadores de su \u00e1rea para medir el valor de su contribuci\u00f3n. Para el bioqu\u00edmico Jorge Guimar\u00e3es, queien presidi\u00f3 la Coordinaci\u00f3n de Perfeccionamiento del Personal de Nivel Superior (Capes) entre 2004 y 2015, los indicadores bibliom\u00e9tricos ofrecen una informaci\u00f3n importante y permiten evaluar un volumen de datos muy amplio. \u201cAunque criticadas, estas m\u00e9tricas son cada vez m\u00e1s utilizadas por el segmento acad\u00e9mico porque hay pocas alternativas. Imag\u00ednese a un investigador que ha escrito 200 art\u00edculos. \u00bfUn evaluador los leer\u00e1 todos? No es factible. En primer lugar, necesito saber qu\u00e9 art\u00edculos tuvieron eco en la comunidad cient\u00edfica y recibieron m\u00e1s citas. Y cu\u00e1ntos no fueron citados. Si la proporci\u00f3n es alta, este es un dato relevante\u201d, dice Guimar\u00e3es, quien actualmente preside la Empresa Brasile\u00f1a de Investigaci\u00f3n e Innovaci\u00f3n Industrial (Embrapii).<\/p>\n

En la d\u00e9cada de 2000, la Capes cre\u00f3 el Qualis, un sistema de clasificaci\u00f3n de las revistas cient\u00edficas que se emplea para evaluar la producci\u00f3n de los programas de posgrado en Brasil. El sistema est\u00e1 siendo revisado y a menudo es criticado porque mide el impacto de un art\u00edculo no por el n\u00famero de citas que realmente recibi\u00f3, sino por un par\u00e1metro indirecto: el \u00edndice de citas de la revista que lo public\u00f3. \u201cEs una cr\u00edtica injusta, porque la evaluaci\u00f3n de la Capes se centra en lo publicado en los cuatro a\u00f1os anteriores y, en ese breve espacio de tiempo, la cantidad de citas que recibe cada art\u00edculo es peque\u00f1a, no servir\u00eda como par\u00e1metro para evaluarlos\u201d, dice.<\/p>\n

El matem\u00e1tico e ingeniero Renato Pedrosa, coordinador del programa especial de indicadores de la FAPESP, reconoce la utilidad de los \u00edndices bibliom\u00e9tricos en los procesos de evaluaci\u00f3n, pero considera prudente utilizarlos con moderaci\u00f3n. \u201cAl fin y al cabo, todos se basan en los mismos par\u00e1metros: los art\u00edculos y sus citas. Es razonable utilizarlos, por ejemplo, cuando se eval\u00faa la producci\u00f3n de una universidad o de un departamento, pero el an\u00e1lisis de la producci\u00f3n individual de un investigador exige un mayor detalle y cuidado\u201d, dice Pedrosa, quien es investigador del Departamento de Pol\u00edtica Cient\u00edfica y Tecnol\u00f3gica de la Unicamp. \u00c9l menciona como ejemplo al proceso de evaluaci\u00f3n de las universidades y laboratorios del Reino Unido, que se realiza cada cinco a\u00f1os y, en lugar de centrarse en toda la producci\u00f3n acad\u00e9mica del per\u00edodo, les pide a los investigadores que seleccionen los dos o tres trabajos m\u00e1s significativos para que los revisores puedan analizarlos en profundidad.<\/p>\n

La preocupaci\u00f3n est\u00e1 en sinton\u00eda con el Manifiesto de Leiden sobre las m\u00e9tricas de investigaci\u00f3n, concebido en los Pa\u00edses Bajos en 2015, que advierte sobre el uso indiscriminado de los indicadores en la toma de decisiones de las universidades y de las agencias cient\u00edficas de fomento. \u201cCorremos el riesgo de da\u00f1ar al sistema de la ciencia con las mismas herramientas dise\u00f1adas para mejorarlo, ya que la evaluaci\u00f3n la llevan a cabo cada vez m\u00e1s instituciones que no poseen un conocimiento pertinente sobre las buenas pr\u00e1cticas y la interpretaci\u00f3n adecuada de los indicadores\u201d, expresa el manifiesto. Pedrosa tambi\u00e9n llama la atenci\u00f3n al respecto de una importante limitaci\u00f3n de los indicadores bibliom\u00e9tricos, que es su incapacidad para evaluar a los investigadores que inician su carrera. \u201cAunque tengan talento y potencial, los j\u00f3venes investigadores no han tenido tiempo de producir art\u00edculos y recibir citas\u201d, dice. Una de las ventajas del FWCI es que normaliza la cantidad de citas recibidas en funci\u00f3n de la antig\u00fcedad del paper<\/em>.<\/p>\n

Art\u00edculo cient\u00edfico<\/strong>
\nZANOTTO, E. D. et al.<\/em> Article age- and field-normalized tools to evaluate scientific impact and momentum<\/a>. Scientometrics<\/strong>. 25 feb. 2021.<\/p>\n","protected":false},"excerpt":{"rendered":"Nuevos indicadores apuntan a revelar tendencias y a establecer comparaciones m\u00e1s precisas al evaluar los datos cuantitativos de la producci\u00f3n cient\u00edfica","protected":false},"author":11,"featured_media":394395,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[284],"coauthors":[98],"class_list":["post-393449","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-politica-ct","tag-cienciometria-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/393449","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=393449"}],"version-history":[{"count":3,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/393449\/revisions"}],"predecessor-version":[{"id":394795,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/393449\/revisions\/394795"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media\/394395"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=393449"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=393449"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=393449"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=393449"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}