marcos garutiSectores de la comunidad científica recibieron con críticas los cambios realizados en el Sistema Qualis, una herramienta empleada por la Coordinación de Perfeccionamiento del Personal de Nivel Superior (Capes) para catalogar a los periódicos en los cuales los programas de posgrado publican su producción científica. Mientras que el sistema de categorización anterior dividía a los periódicos de acuerdo con su circulación (local, nacional e internacional) y su calidad (A, B, C), la nueva escala esta formada por ocho estratos (A1, A2, B1 a B5 y C). El estrato C tiene peso cero. La evaluación de la calidad de la producción pasa a medirse primordialmente por el factor de impacto (FI) de los periódicos, independientemente del ámbito de su circulación. El FI, empleado como herramienta de evaluación desde los años 1960, apunta a medir el impacto científico de una publicación teniendo en cuenta el índice de citas de los trabajos publicados en otros artículos.
El denominador común de las críticas se vincula al peso exagerado que el factor de impacto pasa a tener en la clasificación de la Capes y sus efectos sobre las publicaciones mal evaluadas -es previsible que pasen a ser evitadas por los investigadores y tengan aún más dificultad para consolidarse. La reacción más contundente provino del área de química. En noviembre de 2008, el Foro de Coordinadores de Posgrado en Química se reunió en Ribeirão Preto, interior paulista, con una agenda que incluía la discusión de la evaluación de las carreras. Al cabo de dos días de debates, se dio a conocer una moción que consideró “inadecuada” a la nueva clasificación de la Capes. En su primera edición de 2009, la revista Química Nova, vinculada a la Sociedad Brasileña de Química, reforzó la postura asumida por el foro. Un editorial firmado por dos de los investigadores del área más productivos del país, Fernando Galembeck, de la Universidad Estadual de Campinas (Unicamp), y Jailson Bittencourt de Andrade, de la Universidad Federal de Bahía (UFBA), al mismo tiempo que ponía de relieve la importancia de la evaluación, exponía el descontento con el cambio en el Qualis.
De acuerdo con el editorial, la valoración excesiva de la visibilidad y de la inserción internacional de los periódicos, medida por el FI, promueve diferenciaciones artificiales entre publicaciones de subáreas de la disciplina. “Considerando un área específica como la química, la comparabilidad entre los periódicos utilizando el factor de impacto (FI) incurre en serios desvíos. Por ejemplo, el periódico Inorganic Chemistry difícilmente presentará un FI mayor que el Analytical Chemistry, lo que no significa que no haya artículos de excelente calidad en ambas disciplinas. Sencillamente la visibilidad de las innovaciones metodológicas analíticas en otras disciplinas es mayor que la de la química inorgánica”, escribieron Galembeck y Andrade.
De acuerdo con Andrade, la Capes debería sofisticar su esquema de evaluación. “El sistema brasileño de evaluación ha sido sumamente importante para elevar la calidad del posgrado, por eso mi postura es enteramente favorable”, afirma el profesor. “Pero el factor de impacto no es una medida absoluta de calidad. Hay que crear un sistema más complejo, que de un peso mayor a otros indicadores, como por ejemplo el destino de los egresados de los programas de posgrado. Existen programas cuyos doctores no logran después ser aprobados en concursos docentes de universidades públicas. Ese indicador habla mejor de la calidad que la cantidad de papers publicados”, afirma.
Límite – Lívio Amaral, director de evaluación de la Capes, dice que el cambio fue necesario porque la escala adoptada anteriormente había perdido su capacidad de discriminar entre los programas de posgrado. “Siempre se debe enfatizar que la evaluación de los programas de posgrado considera un conjunto de indicadores y que el Qualis Periódicos se aplica solamente a uno de ellos, el que se refiere a la producción intelectual”, dijo Amaral. Éste argumenta que la estratificación se realizó por cada una de las 47 coordinaciones de áreas de la Capes y que no todas trabajan con el FI. También recuerda que esa medida es asignada mediante un conjunto de procedimientos independientes de la agencia. “Tal como sabemos, para que una determinada revista tenga un factor de impacto, debe ser indexada y analizada en el ISI-Thomson. Una vez atribuido un factor de impacto, es uno y sólo uno, ya sea en Brasil o en cualquier otro país del mundo”, afirmó.
El editorial de Química Nova repercutió en otras de las así llamadas ciencias duras. En Boletim da Sociedade Brasileira de Física, Silvio Salinas, docente del Instituto de Física de la Universidad de São Paulo, endosó la crítica. “Francamente, pienso que hemos llegado a un límite peligroso, que pone en riesgo al propio concepto de evaluación. Por ejemplo, ¿qué significa clasificar a Physical Review D como A2 y Physical Review B como B1? ¿Por casualidad los particuleros son mejores que los solidistas?”, pregunta el profesor. “Creo que es hora de reflexionar sobre esta numerología, que poco a poco se acentúa en todas las áreas, impulsada por las facilidades de la informática y por una vaga idea de globalización. ¿Será que la numerología realmente ocupará el lugar de la evaluación a cargo de pares?”, dice Salinas.
El profesor de la USP toca en un punto clave, que es la utilización cada vez más recurrente de criterios bibliométricos como herramientas de evaluación. Éstos han venido reemplazando a sistemas más complejos, tales como la evaluación por pares (peer review), en la cuales los miembros de una comunidad académica miden la calidad de un determinado trabajo, como hace la FAPESP en la evaluación de los proyectos de investigación que financia. La discusión es internacional. El Reino Unido, por ejemplo, planea la sustitución de Research Assessment Ejercise (RAE), que periódicamente evalúa la calidad de la investigación de sus universidades y orienta la distribución de recursos y se basa primordialmente en peer review. En su lugar surgiría un sistema más sencillo y barato, que utilizará más criterios bibliométricos como el factor de impacto, pero preservará una buena dosis de peer review (lea en Pesquisa FAPESP nº 156). El formato del nuevo sistema aún se encuentra en construcción e inspira controversias en la comunidad académica británica. A comienzos de este año, editores de publicaciones internacionales del área de humanidades y ciencias sociales lanzaron un manifiesto levantándose contra una propuesta de la Unión Europea que apuntaba a categorizarlas en tres escalas según su factor de impacto y propagación. La idea de la escala terminó siendo abandonada (lea en Pesquisa FAPESP nº 157).
Rogério Meneghini, coordinador científico de la biblioteca electrónica SciELO Brasil, explica que la utilización creciente de indicadores bibliométricos se debe a la necesidad de evaluar una producción científica que crece a un ritmo veloz. “El factor de impacto es una herramienta adecuada para evaluar la producción académica de grupos de posgrado, pues incluso desvíos hacia arriba o hacia abajo que puedan surgir en la evaluación de cada investigador se compensan cuando se ve el grupo entero”, afirma. Lívio Amaral, de la Capes, añade: “El uso del Qualis Periódicos es totalmente inadecuado en la evaluación de los investigadores. Se destina al análisis de programas de posgrado, y no de investigadores individualmente”.
Condena
Un gran riesgo embutido en el cambio del Qualis, según dicen sus críticos, es la condenación de publicaciones importantes, mal evaluadas por razones que van de la periodicidad irregular a la escasez de recursos. Es razonable suponer que sean menos consultadas por investigadores de peso y se sumerjan en un círculo vicioso de pérdida de prestigio. El zoólogo Miguel Trefaut Rodrigues, docente del Instituto de Biociencias de la USP, da ejemplos en su área. “No puedo aceptar la idea de que publicaciones tradicionales y de alta penetración y respeto internacional como Arquivos do Museu Nacional, Boletim do Museu Nacional, Arquivos de Zoologia, Boletim do Museu Goeldi y algunas publicaciones nuevas con un cuerpo editorial de alta calidad vengan listadas con B5, al lado de panfletos y periodicuchos de divulgación hechos por amateurs”, dijo Trefaut. Éste recuerda que algunas de estas publicaciones no tienen índice de impacto porque su periodicidad es irregular, pero tuvieron y mantienen una importancia significativa en el desarrollo de la ciencia brasileña.
La falta de periodicidad, explica, se debió sobre todo a la escasez de recursos, pero sirvieron para informar a la comunidad internacional sobre avances del conocimiento, como la descripción de nuevas especies, una etapa que ya no existe más en los países del Primer Mundo que ya conocen su fauna. “Se trata de una total falta de visión de la realidad de la ciencia brasileña. No estamos en el Primer Mundo. Si actualmente tenemos excelentes bibliotecas zoológicas con colecciones completas de periódicos extranjeros en el Museo de Zoología de la USP, esto se debe al trueque que hicimos con las publicaciones internacionales, utilizando nuestras revistas como moneda de cambio. Esto y el elevado concepto que aún tienen revelan la importancia que tuvieron en el avance de la ciencia nacional. ¿Tiraremos todo eso a la basura?”
La socióloga de la ciencia Lea Velho, docente de la Universidad Estadual de Campinas, llama la atención sobre el impacto que la pérdida de prestigio de las publicaciones puede traer aparejado. “En la mayoría de los campos del conocimiento existe una diversidad de paradigmas y publicaciones que los contemplan -un economista marxista no publica sus papers en periódicos de orientación neoclásica, por ejemplo. El riesgo es quitarles la voz a paradigmas minoritarios y exigir que se publique todo en el llamado mainstream. Esto es una locura para la ciencia”, afirma. Según la profesora, las áreas multidisciplinarias se ven especialmente afectadas por los criterios de la Capes. “Existe un discurso según el cual la multidisciplinariedad es el camino que debe seguirse, pues enfrenta los problemas de la vida real. Pero los investigadores del área publican en periódicos nuevos y poco citados, porque sus comunidades son aún pequeñas e incipientes. El sesgo de la Capes es marcadamente disciplinario: quien quiera ser bien evaluado deberá publicar en áreas consolidadas”, afirma Lea Velho. Y hace otra salvedad: investigaciones de interés pura y exclusivamente regional también saldrán perdiendo. “Existe una tendencia en la investigación agrícola a abocarse a temas de interés internacional en detrimento de la solución de problemas de la agricultura nacional, que siempre fue la tónica do Brasil en el área.”
Falta de criterio
Rogério Meneghini formula una crítica a la falta de criterio en la política de evaluación de la Capes. “La mayoría de estas publicaciones contó en los últimos años con apoyos financieros del gobierno federal, como los pliegos del CNPq. El cambio en la evaluación va en detrimento de esta inversión”, afirma. Según él, el impacto que alcanzan publicaciones de muchos países desarrollados se debe al incentivo para que las publicaciones mejoren. Esto está haciéndose en Brasil en el marco de SciELO, financiada por la FAPESP, que estimuló la adopción de normas rígidas de calidad por parte de los periódicos y lo tornó más visibles, gracias a un sistema de acceso abierto. “Las publicaciones de SciELO se beneficiaron enormemente con este estímulo”, afirma Meneghini.
En carta enviada al presidente de la Capes, Jorge Guimarães, al final de mayo, 78 investigadores de botánica y zoología se quejaron por el rebajamiento de periódicos de sus especialidades con el nuevo Qualis, pese a los esfuerzos denodados para mejorar su calidad. “En tal sentido, apuntamos como un camino alternativo para las revistas nacionales que la Capes use el sistema SciELO, que ha venido evaluando y monitoreando desde hace años el parque de revistas científicas brasileñas”, dice el manifiesto elevado a la Capes por Rodney Ramiro Cavichioli, presidente de la Sociedad Brasileña de Zoología. Hussam Zaher, docente del Instituto de Biociencias de la USP y uno dos coordinadores del manifiesto, dice que la Capes, al adoptar un sistema de evaluación que privilegia un parámetro, termina por decidir sola sobre un campo atinente a otros atores, como es el caso, por ejemplo, del Ministerio de Ciencia y Tecnología. “El escenario es muy complejo y no se lo puede gestionar de una forma simplista. No debemos rechazar las evaluaciones, pero lo que pedimos es que el sistema sea bien pensado, bien articulado”, dice el profesor, que es editor de las revistas del Museo de Zoología de la USP. “Me gustaría ver un sistema que calificase a nuestras revistas y nos ayudase a competir. Este sistema llevará a la extinción de publicaciones. No creo que sea saludable reducir la posibilidad de expresión de la comunidad científica brasileña”, afirmó.
Pero existen países, dice Rogério Meneghini, que adoptan una estrategia diferente. Menciona los ejemplos de Suecia o de Holanda, que poco se preocupan con la manutención de sus publicaciones, pero tienen una estrategia clara de cultivar editores en los comités de las publicaciones internacionales. “Quienes están en estos comités tienen poder de decisión, y eso se traduce en la aceptación de los buenos artículos publicados en el país. Pero la cantidad de editores brasileños en publicaciones internacionales es todavía es muy pequeña”, afirma Meneghini.
Republicar