Las quejas sobre el uso indiscriminado del factor de impacto (FI) como parámetro de calidad de las publicaciones científicas han generado una autocrítica del Institute for Scientific Information, encargado de producir el indicador. A finales del mes de junio, la entidad, que es un brazo de la empresa Clarivate Analytics, divulgó la actualización anual de la base de datos Journal Citation Reports, que presenta el FI de 11.655 periódicos científicos del mundo. Esta vez, en lugar de presentar solamente el tradicional ranking con el número promedio de citas recibido por cada revista en un intervalo de dos años, la base pasó a ofrecer también informaciones que muestran el contexto en el que se ha producido el índice. Ahora es posible tener acceso a datos suplementarios, como una curva de distribución que muestra todos los artículos publicados en cada revista y cuántas veces fue citado cada uno.
Este tipo de información tiene como objetivo atenuar las criticas de que el índice, alardeado por las revistas y sus autores como parámetro de prestigio, a menudo mezcla artículos altamente citados con otros de baja repercusión. “La gran mayoría de los periódicos científicos contienen artículos que presentan un estándar armónico. Pero aquellos que publican textos con estándares múltiples se vuelven de hecho un problema”, argumenta el químico Rogério Meneghini, coordinador científico de la biblioteca electrónica Scielo Brasil. El nuevo abordaje también ayuda a mostrar si el desempeño de una publicación está vinculado a un gran conjunto de artículos –tal como sucede con revistas como Science, Nature, PLOS o Scientific Reports– o si es resultado de una cantidad pequeña de papers seleccionados de forma muy rigurosa. “Los gráficos de distribución de citas se han desarrollado para mostrar qué es el factor de impacto por dentro. La idea es ver no solo el número, sino mirar a través de él”, explicó Marie McVeigh, directora de productos del Journal Citation Reports, en su perfil en Twitter. El objetivo de la nueva orientación, según ella, es desestimular el uso aislado del FI y mostrar la diversidad de datos en que se basa el índice.
También se ofrecen otras informaciones detalladas. Es posible ver el cálculo de la mediana de las citas, que, diferentemente de la media, no es influenciada por los extremos. Otra novedad es la distinción de las citas realizadas en artículos de investigación, que evidencian la repercusión entre los pares, y las hechas en artículos de revisión, que organizan la bibliografía existente sobre un tema.
En un paper publicado en el sitio web de la Times Higher Education, Jonathan Adams, director del Institute for Scientific Information, afirma que la nueva orientación forma parte de un esfuerzo para promover las llamadas “métricas responsables” y propone a quienes producen otros indicadores que se esfuercen por revelar el contexto en el que se generan. En este sentido, menciona el ejemplo del Índice-H, cuyo uso indiscriminado, sin tener en cuenta el área del conocimiento y el tiempo de carrera de los investigadores, recibe igualmente muchas críticas. “Nos hemos dedicado a aconsejar a los evaluadores para que hagan elecciones responsables según la necesidad. Nosotros y otras organizaciones de datos necesitamos trabajar por el uso responsable de las métricas que se merece la investigación de clase mundial”.
Publicado desde hace 44 años, el FI se ha consolidado como el más importante indicador de la influencia de las revistas científicas, pasó a orientar la estrategia de los editores y se convirtió en un señuelo para autores ávidos por ampliar la visibilidad de sus trabajos. Al mismo tiempo, ha generado distorsiones. La más común es tomar al índice, que muestra el desempeño medio de una revista, como representativo de la calidad individual o de la originalidad de todos sus artículos; el mérito de estos, en la mejor de las hipótesis, se limita a la validación de un proceso de evaluación riguroso. Otra percepción engañosa es la de considerar que la publicación de un artículo en una revista de alto impacto es un pasaporte para una buena repercusión del mismo. “Se le da mucho valor a dónde se publicó el artículo –y el factor de impacto de la revista es un parámetro de orientación importante– y poco a su contribución para el avance del conocimiento científico”, sostiene el biólogo molecular Adeilton Brandão, coeditor de Memórias do Instituto Oswaldo Cruz, publicación científica creada en 1907 que, en el más reciente Journal Citation Reports, aparece en 2º lugar entre las revistas de Brasil, con un FI de 2,833. Esto significa que, en promedio, los cerca de 240 artículos de la revista publicados en el bienio anterior fueron citados en periódicos científicos poco más de 2,8 veces durante el año de 2017. “No tenemos el hábito de hacer un seguimiento de los artículos después de divulgados. Es como si el trabajo del investigador culminara con el momento en que los resultados se divulgan en una buena revista, cuando en realidad ese es tan solo el inicio de su trayectoria.” Las revistas del país, sostiene Brandão, tienen dificultades para atraer artículos con potencial de alto impacto. “La estructura de la investigación científica brasileña está muy anclada en el posgrado, cuyos programas son fuertemente incentivados por los órganos de evaluación a publicar sus resultados en revistas del exterior. Es difícil para nuestras revistas revertir esa desventaja”, afirma.
La búsqueda de un FI elevado a cualquier precio da lugar a desviaciones éticas. No es inusual que editores intenten manipular el índice, abusando, por ejemplo, del recurso de la autocita –que es la exageración de menciones, en artículos de una determinada revista, a otros papers publicados por el autor– o de la llamada cita cruzada, una especie de acción entre editores de dos revistas, por medio de la cual uno cita los artículos del otro. Al divulgar el más reciente Journal Citation Reports, Clarivate Analytics anunció la suspensión de 20 periódicos científicos de sus listas, porque presentaban un patrón de citas considerado anómalo. Durante dos años, dichos periódicos quedarán sin FI. Brasil, que llegó a tener seis revistas suspendidas del JCR en 2013, estaba fuera de la lista de suspensiones de este año.
Desde el punto de vista de editores brasileños, los cambios en la presentación del FI son bienvenidas. “El factor de impacto no es un indicador absoluto sobre la calidad de una publicación. Hay revistas que publican trabajos teóricos importantes, pero no obtienen FI alto porque los temas interesan a pocas personas”, dice Marc André Meyers, jefe de redacción del Journal of Materials Research and Technology (JMRT), la revista científica de Brasil con mayor FI en 2018; el índice llegó a 3,398. Meyers, profesor de la Universidad da California, San Diego, pondera que la divulgación de informaciones contextualizadas tiende a tener poco impacto en la dinámica de las publicaciones científicas. “El FI es un parámetro consagrado para atraer a buenos autores y eso sigue siendo una preocupación central de los editores de cualquier buena revista. Aceptar un artículo es siempre una inversión de riesgo. A veces el manuscrito parece prometedor, pero termina obteniendo pocas citas”. El JMRT, creado en 2011 por la Asociación Brasileña de Metalurgia, Materiales y Minería (ABM), adoptó una estrategia agresiva para elevar su factor de impacto, trayendo un gran volumen de autores extranjeros y siendo altamente selectivo en la elección de los papers.
Para Jean Paul Metzger, docente del Instituto de Biociencias de la Universidad de São Paulo (USP) y jefe de redacción de Perspectives in Ecology and Conservation, el FI de 2,766 obtenido por la publicación es el resultado de un trabajo reciente para ampliar su visibilidad. La revista, que ni siquiera estaba entre las 10 más citadas en el Journal Citation Reports de 2017, figuró en 3º lugar en la lista de 2018. Esta publicación, hasta recientemente llamada Naturaleza e Conservação, hizo una apuesta en un nicho de artículos científicos que evalúan políticas públicas en ecología. “Entre nuestros papers más citados, se destaca un trabajo que evalúa los cambios de la Ley de Protección de la Vegetación Autóctona, más conocida como el nuevo Código Forestal brasileño, que fue escrito en lenguaje accesible y sirvió como insumo incluso para discusiones en el Supremo Tribunal Federal, además de un conjunto de artículos sobre los efectos de la tragedia de la ciudad de Mariana. Son temas que despiertan la atención de un público amplio, tanto de investigadores como de tomadores de decisión, y atraen a buenos autores interesados en discutir los efectos de las políticas públicas”, afirma. Metzger reconoce que el mal uso del factor de impacto es un problema, pero sostiene que, pese a las limitaciones, el índice sigue teniendo utilidad. “La cantidad de artículos publicados en cualquier área del conocimiento está creciendo de forma exponencial, por eso es necesario tener algún tipo de tamiz y privilegiar la lectura de un conjunto de artículos. El FI permite seleccionar de forma más atenta las revistas que concentran artículos de impacto”, asevera.
Republicar