Imprimir Republish

cienciometría

Lléveme con su líder

Un método creado por un docente de la Unesp agita el debate sobre la evaluación de la producción académica

abertura MARCOS GARUTIEl físico George Matsas, docente de la Universidad Estadual Paulista (Unesp), desarrolló un original método destinado a identificar líderes científicos y evaluar su influencia, además de medir el vigor de las comunidades académicas. Se trata del Factor de Impacto Normalizado (NIF – Normalized Impact Factor), una ecuación aplicable a miembros de cualquier comunidad científica cuya producción se mida en artículos publicados en revistas internacionales indexadas, tal como sucede con las hard sciences. El NIF se basa en una idea sencilla: el índice pondera las citas que un investigador hace en sus artículos con la cantidad de veces que es citado en artículos ajenos.

Quien recibe más citas que las que hace tiene NIF mayor que 1 y puede ser considerado un líder, pues ejerce más influencia sobre los demás miembros de su comunidad que lo que es influenciado por éstos. En tanto, un NIF menor que 1 es propio del perfil de un liderado -su influencia no es todavía suficiente como para que reciba más citas que las que produce. “Para mí el índice captura la esencia de lo que es ser un líder”, afirma Matsas, que es profesor del Instituto de Física Teórica de la Unesp e integra la coordinación del área de física tanto de la FAPESP como del Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq).

El índice fue presentado ante la comunidad científica por medio del artículo “What are scientific leaders” The introduction of a normalized impact factor-, que está disponible en la red de servicios arXiv.org, un portal con pre prints (pre publicaciones) de diversos campos de la física, la matemática, las ciencias no lineales, la ciencia de la computación y la biología cuantitativa. Presentado a la revista Scientometrics, referencia en cienciometría, la disciplina que procura generar informaciones destinadas a estimular la superación de los desafíos de la ciencia, el texto se encuentra aún en proceso de análisis. Pero tuvo una buena repercusión entre los expertos y ayudó a alimentar el eterno debate sobre la forma más fidedigna de evaluar la producción académica.

Para Rogério Meneghini, especialista en cienciometria y director científico de la biblioteca electrónica SciELO (Scientific Electronic Library Online), la propuesta de Matsas es innovadora y tiene potencial de utilización. Según Meneghini, el índice NIF en general significa una mejora en relación con el llamado índice h, método propuesto por el físico Jorge Hirsch, de la Universidad de California en San Diego en 2005, que tuvo vasta utilización entre investigadores del mundo entero. “Con la popularización del índice h, varios investigadores han sugerido formas de perfeccionarlo o evitar sus distorsiones”, dice Meneghini. “La propuesta de Matsas, en cierta forma, se integra a ese esfuerzo”. Fácil de calcular, el índice h combina productividad e impacto y se define como el número “h” de trabajos que tienen al menos un número “h” de citas cada uno. En otras palabras: un investigador con índice h 30 es aquél que publicó 30 artículos científicos que recibieron cada uno al menos 30 citas en otros trabajos. La ponderación excluye trabajos menos citados y también evita que las citas en un solo artículo de un autor contaminen el conteo general. De este modo, suministra la medida del tamaño y del impacto de la producción académica de un investigador.

Una de las ventajas del NIF es que, al contrario que el índice h, es poco influenciado por la auto cita. Un investigador que al escribir un artículo cita varios artículos suyos anteriores logra fácilmente elevar su índice h, sin que ello necesariamente lo cualifique como líder científico. El NIF posee un antídoto contra ese  recurso, pues las auto citas serían computadas al mismo tiempo en el numerador como cita recibida, y en el denominador como cita realizada, minimizando así su influencia.
Edgar Dutra Zanotto, profesor del Departamento de Ingeniería de Materiales de la Universidad Federal de São Carlos (UFSCar), también elogia la propuesta de Matsas. “Creo que va en la dirección correcta. Es un valor universal y robusto que logra distinguir a los líderes de los no líderes”, afirma Zanotto, quien hace dos años propuso otro método para identificar liderazgos académicos, publicado en la revista Scientometrics, basado en la sumatoria de factores objetivos, tales como publicaciones y citas en revistas indexadas, y factores cualitativos, como la capacidad de captar recursos, el hecho de trabajar en centros de renombre internacional o el logro de premios importantes (lea Pesquisa FAPESP nº 124).

Ponderación
Para Zanotto, la principal cualidad del NIF es que suministra un valor de referencia estándar para varias comunidades científicas, independientemente de las tradiciones y de las costumbres de cada una. “Cada área del conocimiento tiene una cantidad de citas peculiar. Si un artículo en el área de matemática cita otros seis artículos, uno de bioquímica llega a citar 30 ó 40. Eso no interfiere en el NIF, pues la ponderación siempre se basará en un valor de referencia igual a 1”, afirma el profesor de la UFSCar. En tanto, el índice h es influido por esa distorsión: líderes de áreas diferentes tienen índices h en escalones distintos y no puede comparárselos. “Eso no quiere decir que la comunidad de matemática no tenga sus líderes, o que los bioquímicos sean en media más competentes que sus otros colegas”, explica George Matsas.

Para validar la metodología, el investigador de la Unesp examinó en el banco de datos científico ISI Web of Science a 223 físicos seleccionados con base en una lista de 531 individuos reconocidos en 2008 como outstanding referees por la Sociedad Americana de Física (APS). De los 223 investigadores analizados, a un 31% se los consideró líderes, y al 69%, seguidores, toda vez que el NIF de estos fue menor que 1.

Es cierto que el concepto de NIF también tiene sus limitaciones. El método no es aplicable a las ciencias humanas, cuya producción académica se expresa no mayoritariamente en revistas indexadas internacionalmente, sino en libros o capítulos de libros, por citar dos ejemplos. Y el método solamente produce resultados confiables en investigadores séniores, toda vez que investigadores en comienzo de carrera ven su NIF influenciado por la producción académica de sus supervisores o superiores, con quienes firman los artículos.

Matsas admite que, si el método fuera adoptado por la comunidad científica, podría modificar comportamientos de investigadores interesados en elevar su NIF, a ejemplo de los que sucedió con el índice h. “Un modo de evitar que el NIF baje sería procurar no hacer citas de otros artículos. Pero eso tendría un límite. Un editor de revista académica no aceptaría un artículo que dejase de hacer citas indispensables”, afirma el profesor de la Unesp. Un aspecto positivo, según él, es que difícilmente un investigador haría citas innecesarias, aquéllas que suelen hacerse pura y exclusivamente para granjearse la simpatía de sus pares.

El creador del método hace hincapié en que la intención de su método no es hacer juicios individuales, sino evaluar el vigor de las comunidades científicas con el fin de ajustar políticas científicas. “Si fuéramos a aplicar el método a comunidades brasileñas, probablemente descubriremos que el número de líderes no es tan grande como el aumento vigoroso de la producción académica haría suponer”, dice. Pero este tipo de referencia ayudaría a los formuladores de políticas a favorecer la formación de líderes. “Necesitamos más líderes. Queremos que extranjeros vengan a trabajar en proyectos de brasileños. Brasil ha pasado por etapas positivas. La ciencia nacional tiene un vigor cada vez mayor. Pero falta dar el paso final: necesitamos políticas que creen más posibilidades de que la investigación brasileña sea protagonista en el escenario internacional.”

Republicar