¿Cuál es la forma más justa de evaluar la producción de un investigador? El debate que desde hace mucho tiempo anima a la comunidad académica ganó un nuevo combustible en un artículo firmado por Edgar Dutra Zanotto, profesor del Departamento de Ingeniería de Materiales de la Universidad Federal de São Carlos (UFSCar). Con base en los diez años en que actuó como coordinador adjunto de la directiva científica de la FAPESP pasaron por su criba cerca de 48 mil proyectos en este período, Zanotto propuso una forma de clasificar la producción de un investigador no apenas con los tradicionales parámetros cuantitativos (artículos publicados en revistas científicas y citaciones de esos artículos en otros trabajos), sino también en criterios de calidad. El artículo de Zanotto fue aceptado para publicación en la revista Scientometrics, referencia en la cienciometría, disciplina que busca generar informaciones para estimular la superación de los desafíos de la ciencia. Intitulado La pirámide de los científicos, presenta un elenco de situaciones y cualidades capaces de situar un investigador entre cuatro categorías propuestas.
La principal de ellas, el tope de la pirámide, presenta exigencias en las cuales raros investigadores brasileños se encuadrarían. Dos de ellas son consagradas, como la publicación de trabajos científicos en las más importantes revistas científicas, como Science, Nature, Cell, New England Journal of Medicine y Physical Review Letters, y el índice en el orden de los miles de citaciones de sus artículos en publicaciones de la base Thomsom ISI. Las demás son cualitativas, como haber recibido los premios más importantes de su campo del conocimiento, trabajar en centros de investigación o laboratorios de nivel internacional, ser contemplado con recursos abundantes, pertenecer a academias científicas de prestigio y al cuerpo editorial de publicaciones importantes, haber sido convidado para dar conferencias y comandar mesas redondas en congresos o simposios internacionales, ser citado en libros de texto de su especialidad y en los medios. En total, son 11 parámetros. Para pertenecer a esta categoría, sería necesario cumplir por lo menos nueve o diez de los parámetros, dice Zanotto, que prevé alguna incomodidad en el caso de que su metodología gané adeptos: En Brasil, creo que no más de una docena de investigadores, aquellos pocos que estarían en la antesala de un premio Nobel, se enmarcarían en el tope de la pirámide, dice.
Escalones en la escala
En las otras tres categorías, bautizadas de clases A, B y C, los criterios son semejantes, pero con un rigor decreciente. Tomando como ejemplo el parámetro de las citaciones, los de la clase A deberían tener por lo menos 500 artículos citados en la base Thomson ISI, los de la clase B al menos una centena y los de la clase C poca o ninguna citación. Los de la clase A deberían trabajar en centros de investigación o laboratorios internacionalmente conocidos, los de clase B en centros de investigación razonables y los de la clase C en centros incipientes.
¿Pero cuál seria la utilidad de una clasificación de ese tipo? Zanotto cree que el formato ayudaría a los investigadores a percibir mejor sus puntos fuertes y débiles e intentar subir escalones en la escala de la pirámide. También cree que tendría utilidad para que las agencias de fomento direccionaran sus recursos. Cada agencia establecería sus criterios. Uno de ellos podría ser, por ejemplo, que sólo un investigador del tope o de la clase A está apto para liderar un proyecto de porte como los temáticos de la Fapesp, afirma. Zanotto vivió en Estados Unidos en 2005, gozando un período sabático, y durante ese tiempo reflexionó sobre su experiencia en buscar una forma más fidedigna de clasificar la producción de investigadores. El artículo es un resultado de esa reflexión. Los criterios de la pirámide se refieren a categorías que él aprendió a identificar en su trabajo de evaluador.
La preocupación en buscar una nueva clasificación para el desempeño de los investigadores viene alimentando otras propuestas. Una de ellas es el llamado índice h, propuesto por el físico Jorge Hirsch, de la Universidad de la California, en San Diego. El índice h es definido como el número h de trabajos que tienen por lo menos el número ?h? de citaciones cada uno. Explicándolo más simple: un investigador con índice h 30 es aquél que publicó 30 artículos científicos, cada uno de los cuales recibió al menos 30 citaciones en otros trabajos. La ponderación excluye trabajos menos citados y también evita distorsiones (si las citaciones están concentradas en un único artículo de un autor, eso no contamina el conteo general). Así, se da la medida del tamaño y del impacto de la producción académica de un investigador.
En su estudio, Zanotto sugiere que, aunque corrija las distorsiones, el índice h está lejos de la perfección. Él aplicó el índice a la producción de cuatro renombrados físicos brasileños (cuyos nombres no se revela para no personalizar el debate). Todos los cuatro tenían índice h semejante, entre 10 y 12. El más productivo de ellos, no obstante, ostentaba un índice de citaciones por artículo cuatro veces mayor que el último de la lista. Es urgente encontrar una forma más holística de evaluar la calidad, el talento y la reputación de un científico, dice el profesor de la UFSCar.
Pero la propuesta de Zanotto también tiene limitaciones. La principal de ellas, admitida por el propio autor, es su aplicabilidad en ciertos campos del conocimiento, pero no en otros. En las ciencias humanas, el criterio de contabilizar artículos y citaciones tendría que ser sustituido por otro, toda vez que la realidad es diferente de las ingenierías, la medicina y las ciencias exactas, y poco es publicado en revistas internacionales. Pero sería posible hacer adaptaciones. Lo esencial es mantener el espíritu de mostrar el prestigio que un investigador tiene en su medio. Nadie consigue engañar al conjunto de sus pares, dice Zanotto.
Para el especialista en cienciometria Rogério Meneghini, coordinador científico de la Scielo, profesor jubilado del Instituto de Química de la Universidad de São Paulo y también ex-coordinador adjunto de la directiva científica de la FAPESP, el valor del trabajo de Zanotto reside en levantar la discusión sobre el mejor criterio de evaluación y también en demostrar la importancia de la evaluación de los pares. En la práctica, ya es lo que sucede cuando se hace un concurso para la contratación de profesores en que tenemos 40 candidatos y apenas dos o tres vacantes, dice Meneghini. Todos esos criterios cualitativos son contemplados por los evaluadores y producen una elección más justa. Meneghini, no obstante, cree difícil transponer tales criterios para una evaluación sistemática y de masa. Hay dificultades para hacer comparaciones objetivas. ¿Quién va a definir si un asiento en una determinada academia científica vale tanto en el currículo de un investigador cuanto otro asiento que consta en la biografía de otro investigador?, pregunta Meneghini. Siempre hay margen para algún tipo de distorsión. La cantidad de fondos que un investigador recibe a veces tiene más que ver con una prioridad del gobierno que propiamente por su desempeño.
Zanotto defiende su método. Es posible que haya distorsión en uno u otro parámetro, pero no en el conjunto de ellos, afirma. El investigador se esfuerza en avisar que no creó la metodología en provecho propio. Yo no me enmarcaría en el tope de la pirámide, dice él. Parece juego, pero ya hubo investigadores que sugirieron criterios de evaluación adecuados para hacer relucir los propios currículos. El famoso físico ruso Lev Landau (1908-1968) cierta vez propuso un logaritmo para el ranking de los investigadores en su campo del conocimiento. Albert Einstein recibió una cotización modesta: 0,5. Mientras que Lev Landau apareció en el tope, con 2,5.
Republicar