Al final del año pasado, la revista Chemistry World, editada por la Royal Society of Chemistry, del Reino Unido, decidió dejar de publicar un ranking online que era un éxito entre los lectores. Se trataba de la lista, actualizada varias veces al año, con más de 500 investigadores altamente productivos en el área de química, aquéllos que ostentan en su currículo un índice h mayor que 55. La decisión de suspender el ranking constituyó una capitulación ante las críticas al respecto de que otorgaba demasiado énfasis a un simple indicador del desempeño, sin tomar en cuenta otros aspectos de la producción científica, y podría inducir a universidades y agencias de fomento a tomar decisiones simplistas o erróneas. El índice h de un investigador se define como el mayor número “h” de artículos científicos del investigador en cuestión que cuentan al menos con el mismo número “h” de citas cada uno. Quien encabezaba el ranking de la Chemistry World era George Whitesides, de la Universidad Harvard, con un índice h 169. Eso equivale a decir que éste publicó al lo menos 169 artículos que obtuvieron, cada uno, al menos 169 citas en otros trabajos. Para ostentar un índice h elevado, se necesita publicar artículos que logren repercusión en la comunidad científica. Si un investigador publica asiduamente, pero es poco citado, o si recibe muchas citas, pero a partir de una reducido cantidad de artículos publicados, poseerá un índice h bajo.
El índice h fue propuesto en 2005 por el físico argentino Jorge Hirsch, docente de la Universidad de California en San Diego, como una herramienta capaz de combinar cantidad y calidad en la producción académica. Inmediatamente se transformó en un parámetro en evaluaciones y en una tarjeta de presentación de investigadores con desempeño destacado; y extrapoló su utilización más allá del mero desempeño individual: actualmente existen rankings del índice h de universidades, países y revistas científicas. En opinión de Henry Schaefer, docente de la Universidad de Georgia en Atenas, Estados Unidos, y responsable de la compilación del escalafón de la Chemistry World, las críticas aparecieron desde la primera edición del ranking en 2007 y nunca cesaron. “El problema no era con el índice h en sí, sino con el ranking que sobrevalora ese indicador”, explicó.
El episodio de la Chemistry World revela las bondades y defectos del índice h, una medición que logró aplicación generalizada por sus méritos, puesto que resulta fácil de calcular, se basa en criterios objetivos y resume en un único número la productividad y la relevancia del trabajo de un investigador. Simultáneamente, su uso se tornó objeto de críticas por no tener en cuenta sus limitaciones. El propio Jorge Hirsch admite un problema importante. “Siempre debe tenerse en cuenta que las investigaciones fuera del mainstream pueden ser poco citadas subvaluadas por indicadores bibliométricos y a pesar de ello merecen apoyo económico”, afirmó para la revista online Research Trends. “Un indicador bibliométrico siempre debe utilizarse junto a otros indicadores, y con sentido común”.
No puede utilizarse el índice h para comparar a investigadores en etapas diferentes de la carrera, puesto que un investigador sénior con índice h 100 en el área de química puede enorgullecerse por ser extremadamente productivo, tanto como un joven investigador de la misma área que ostente un índice h 30. También resulta erróneo comparar el desempeño de investigadores en distintas áreas. “Cada área presenta un tamaño peculiar y tendencias de cita diferentes”, explica Rogério Meneghini, coordinador científico de la biblioteca SciELO Brasil. “En bioquímica, por ejemplo, hay una cantidad enorme de investigadores. Por ende, hay mayor cantidad de artículos y profesionales citándose. La regla consiste en trabajar con las subáreas cuando se realizan comparaciones”, sostiene Meneghini, para quien, no obstante, el índice h representa una valiosa herramienta, sobre todo en las ciencias naturales. “Un índice h elevado en esas áreas implica que el investigador ha hecho cosas con impacto”, afirma.
En tanto, en muchas disciplinas de humanidades la divulgación de resultados de investigaciones por medio de libros es tan importante como su divulgación por medio de artículos en revistas indexadas, de modo tal que en ellas, el índice h generalmente es poco revelador del impacto real del trabajo de un investigador. “En las humanidades, un índice numérico de evaluación del impacto ciertamente es algo que debe tenerse en cuenta, pero como un elemento de evaluación entre otros. Sin el aval de elementos de evaluación de naturaleza cualitativa, será sólo un número”, sostiene Luiz Henrique Lopes dos Santos, coordinador adjunto de Ciencias Humanas y Sociales de la FAPESP. “Además, el impacto de una publicación no se mide solamente de acuerdo con las citas, sino también por varias otras cosas, tales como su contribución en innovaciones tecnológicas o en la formulación de políticas públicas, por ejemplo”.
Virtud
El italiano Mauro Degli Esposti, docente de la Universidad de Manchester, en el Reino Unido, compiló recientemente una lista de investigadores de todas las áreas con índice h superior a 100, basado en los datos del Google Académico. En su ranking, que cuenta casi con 200 nombres, aparecen poquísimos investigadores de ciencias humanas o sociales aplicadas, como son los casos, por ejemplo, del Nobel de Economía Joseph Stiglitz (índice h 130) y del lingüista Noam Chomsky (123), y predominan en los estratos más altos los científicos de los campos de la medicina y de la bioquímica (observe el cuadro). No hay una correlación directa entre los ganadores del Nobel y el tope de la clasificación. Entre los 30 primeros, hay tan sólo cuatro premiados con el Nobel y un ganador de la Medalla Fields, el principal galardón entre los jóvenes matemáticos. “La única virtud que observo en el índice h es el hecho de que es sencillo calcularlo”, critica George Matsas, docente del Instituto de Física Teórica de la Universidade Estadual Paulista (Unesp). “No hay ningún criterio claro para establecer lo que es un índice h alto o bajo. Estimo que el h de Peter Higgs, del bosón de Higgs, o el de Kenneth Wilson, premio Nobel de Física en 1982, sería menor que el de varios otros de los cuales nunca oímos hablar”, dice.
Rogério Meneghini alerta al respecto de una distorsión importante en el índice h: la participación en redes que llegan a agrupar a 700 investigadores en estudios de física de partículas, astronomía o nuevos fármacos. “Sería una decisión drástica, pero tal vez fuera cuestión de no considerar ese tipo de artículo para el cálculo del índice h. Sus resultados son importantes, pero no es posible medir la real participación de cada autor”, sostiene. Pero no es nada en contra de la participación en redes de cooperación internacional, acota Meneghini. “Hay muchos investigadores brasileños que continuamente participan en redes conformadas por 20 ó 30 científicos de diversos países y mantienen colaboraciones sólidas con colegas del MIT, de Inglaterra o de Francia. Eso, es un distintivo de la calidad”, añade.
Asesores y miembros de las Coordinaciones de Área de la FAPESP utilizan el índice h de investigadores como un parámetro auxiliar en la evaluación de la calidad del conjunto de artículos, pero la FAPESP se basa en las opiniones extensivas de asesores y en el análisis cualitativo para seleccionar las mejores propuestas. “Lo fundamental, en cuanto a nuestro análisis, radica en la calidad del proyecto de investigación”, dice Wagner Caradori do Amaral, profesor de la Facultad de Ingeniería Eléctrica y de Computación (FEEC) de la Universidad de Campinas (Unicamp), y coordinador adjunto de la Dirección Científica de la FAPESP en el área de Ciencias Exactas e Ingenierías. “Si el proyecto tiene calidad y el proponente demuestra potencial para realizarlo, no es el índice h lo que impedirá que reciba financiación”, afirma el coordinador adjunto José Roberto Postali Parra, docente de la Escuela Superior de Agricultura Luiz de Queiroz (Esalq), de la USP.
“El índice h constituye uno de los parámetros de observación, pero nunca es suficiente”, complementa Marie-Anne Van Sluys, profesora del Instituto de Biociencias de la Universidad de São Paulo (USP) y coordinadora adjunta de Ciencias de la Vida. Según Van Sluys, la popularidad del índice h ayudó a consolidar en Brasil la importancia de la divulgación de resultados en periódicos indexados. “Pero hay que tener cuidado para no generar un vicio numérico”, sostiene. Más importante que el índice h, dice la profesora, es el contexto en el que se insertan las publicaciones. “Hay citas que aluden a una mejora de tecnología, otras que representan un aporte al conocimiento, otras de observación de un fenómeno. Dependiendo del tipo de proyecto presentado, este tipo de información tiene relevancia específica en la evaluación. También es preciso tener en cuenta cómo evolucionó el índice h en el contexto de la carrera de un investigador. Si el impacto es el resultado de un solo artículo o si se trata de una obra: ése es un dato relevante”, añade.
Confianza
En opinión de Carlos Eduardo Negrão, coordinador adjunto de Ciencias de la Vida, el índice h es una herramienta que sirve para evaluar a investigadores del campo de la fisiología y la medicina, pero no puede observárselo desde una perspectiva aislada. “Es un índice que contribuye a calificar el impacto de los estudios publicados por un investigador y si el mismo se concentra en pocos o varios trabajos”, dice Negrão, que es docente de la Escuela de Educación Física y Deporte de la USP y director de la Unidad de Rehabilitación Cardiovascular y Fisiología del Ejercicio del Instituto del Corazón (InCor). “Es importante analizar también el impacto de las revistas en que se publican los artículos y consultar el Web of Knowledge, de Thomson Reuters, para verificar la cantidad total de citas que recibió el investigador. También resulta interesante verificar cuál es su categorización dentro de nuestra comunidad científica, esto es, su nivel en el CNPq. Tal conjunto me inspira mayor confianza para arribar a una evaluación justa”.
En el caso de los proyectos en el área de ciencias de la computación, una preocupación del coordinador adjunto en Ciencias Exactas e Ingenierías, Roberto Marcondes Cesar Júnior, profesor del Instituto de Matemática y Estadística de la USP, radica en evaluar también la producción científica presentada en ciertas conferencias internacionales, tal como es el caso, por ejemplo, de la International Conference on Computer Vision. “El uso del índice h en ciencias de la computación es similar al de las hard sciences, pero los mejores periódicos ostentan un impacto similar a los de los artículos de esa conferencia, que es indexada en bases internacionales”, afirma. Según él, el índice h resulta útil para medir el éxito de los investigadores, las conexiones que logró establecer con otros grupos y el impacto de su investigación. “Pero lo que importa es siempre el proyecto. Las ideas son más importantes que las cifras”, dice.
Un efecto colateral de peso en la difundida adopción del índice h ‒así como de otros indicadores basados en las citas que reciben los artículos científicos‒ consiste en que el mismo comienza a ejercer influjo sobre la cultura de publicación en varias áreas del conocimiento en Brasil. En un estudio dado a conocer en 2011, Rogério Mugnaini, docente de la Escuela de Artes, Ciencias y Humanidades de la USP, junto con su alumna de maestría Denise Peres Sales, mapearon el uso de índices de citas e indicadores bibliométricos en la evaluación brasileña. Notaron que el índice h es utilizado por la Coordinación de Perfeccionamiento del Personal de Nivel Superior (Capes) como uno de los criterios para definir el estrato más alto de revistas científicas en diversas áreas, en el sistema Qualis. Esas publicaciones cuentan con mayor peso en la evaluación de grupos de investigación realizada por la Capes y, por ello, acaban por tornarse un objetivo preferencial para sus investigadores.
En el caso de la odontología, sólo se admiten en el estrato 1-A a periódicos con índice h igual o superior a 52. En enfermería, los periódicos que ocupan el estrato 1-A son los que poseen un índice h de al menos 15. En administración, el límite es un índice h de 5. El índice h de los periódicos es provisto por las bases Web of Science y Scopus, que adoptaron la metodología de Hirsch para evaluar la producción y el impacto de revistas, donde una publicación con índice h 50 es aquélla que registró por lo menos 50 artículos con no menos de 50 citas durante un determinado período. Un hallazgo importante del estudio de Mugnaini es la gran utilización de índices de citas (JCR), destacándose el factor de impacto (FI), en la consideración de la mayoría de las áreas. El FI es una medida que refleja la cantidad promedio de citas de artículos científicos publicados en determinado periódico. Los valores del FI varían desde 0,5 para áreas tales como geografía, administración, ciencias contables y turismo, hasta 6, para el caso de la astronomía. Las ciencias biológicas exigen un factor de impacto superior a 4; medicina, 3,8; ciencias agrarias, 2; ingenierías, entre 0,8 y 1, y matemática, 0,95.
Madurez
“La utilización generalizada de índices de citas incluye áreas con menor historial de publicar en periódicos internacionales, tales como las ciencias humanas y las ciencias sociales aplicadas, que pese a no basarse en ningún indicador exigen la indexación de los periódicos en los índices internacionales”, dice Mugnaini. “La Capes desempeña un papel fenomenal con el sistema Qualis, ya que abarca a investigadores de todo el país y vela por la calidad de los posgrados. Pero termina por transmitirles a las áreas que la meta es que todo el mundo publique en revistas con factor de impacto internacional”, sostiene. Mugnaini opina que lo que sucede en algunas áreas es la aceleración de un proceso de maduración, con investigadores que intentan publicar cada vez más en revistas con alto impacto. En otros casos, empero, no se trata de una evolución natural. “No podemos esperar que la sociología presente un proceso de internacionalización idéntico al de la física. Paralelamente, se necesitan mecanismos que permitan concebir una revista nacional, publicada en portugués de la que pueda decirse: es una buena revista. No serán ni las citas ni el índice h lo que otorgue ese parámetro”, dice.
Un artículo publicado en julio de 2012 en la revista Perspectivas em Ciências da Informação elabora un análisis comparativo entre la producción científica de becarios de productividad del CNPq en los niveles 1-A y 1-B, que se encuentran en la cima de la clasificación, en cuatro diferentes campos del conocimiento, y esboza lo que puede constituir un cambio de comportamiento en las ciencias humanas. El estudio, firmado por Ricardo Arcanjo de Lima, Lea Velho y Leandro Innocentini Lopes de Faria, reveló que en física y en genética, áreas en las cuales existen comunidades consolidadas y habituadas a publicar en revistas internacionales, había correlación entre el índice h de los investigadores y su estatus académico. En el caso de la física, el promedio del índice h para los becarios nivel 1-A fue 13 y para los de 1-B, 11. En tanto, en genética, el promedio del índice h para los becarios nivel 1-A fue 15 y para los de 1-B, 11. En ciencias agrarias, los promedios fueron 7 y 6, respectivamente. Un dato que sorprendió fue el resultado en el área de la sociología. “Esperábamos un índice h cero, puesto que las prácticas de publicación están alejadas del modelo de las revistas internacionales, y existe una clara preferencia por la publicación en libros”, dice Arcanjo, que es analista de Embrapa y el año pasado se doctoró en política científica y tecnológica en la Unicamp. El índice h fue de cero para los investigadores 1-A, pero llegó a 1 en la categoría 1-B, que agrupa a los investigadores más jóvenes. “La presión sobre los investigadores podría estar modificando las prácticas de la disciplina en Brasil”, sostiene.
Para Rogério Meneghini, el caso de las humanidades pone de manifiesto la presión creciente por la disponibilidad del conocimiento. “Hoy en día, el dinamismo de la producción científica es otro”, afirma. No obstante, Meneghini acota que la dificultad para publicar en revistas internacionales está generando un crecimiento exagerado de periódicos en el campo de las humanidades en el país. “Como la cantidad de carreras de posgrado en humanidades crece a mayor velocidad que en otras áreas, sobreviene este fenómeno del aumento descontrolado de periódicos en Brasil. El país cuenta actualmente con alrededor de 5 mil periódicos. Entre las revistas que solicitan su inclusión en la biblioteca SciELO, la proporción de las humanidades llega al 80%”, dice Meneghini.
Republicar