La evaluación cuatrienal de los programas de posgrado en Brasil, utilizada para estimar la calidad de las 6.500 mil carreras de maestría y doctorado existentes en el país y orientar la asignación de becas y fondos, asiste a un cuestionamiento inédito ante la Justicia en sus 45 años de existencia. En respuesta a una demanda civil pública presentada por el Ministerio Público Federal (MPF), la jueza Andrea de Araújo Peixoto, de la 32ª Circunscripción Federal de Río de Janeiro, concedió en septiembre una medida cautelar que establece la suspensión de la evaluación del período 2017-2021, que atravesaba su etapa final e iba a divulgar sus resultados en diciembre.
El reclamo de los fiscales Jessé Ambrósio dos Santos Jr. y Antônio do Passo Cabral plantea que la Coordinación Nacional de Perfeccionamiento del Personal de Nivel Superior (Capes), organismo que depende del Ministerio de Educación (MEC) a cargo del análisis y calificación de las carreras, modifica los parámetros a lo largo de los cuatro años que dura el proceso y esto genera inseguridad jurídica para los programas. “En ocasiones se aplican en forma retroactiva los nuevos criterios definidos al final del período de evaluación, lo que imposibilita a las instituciones revisar sus disposiciones previas y reacomodar sus rutinas y procedimientos para ajustarse a los nuevos parámetros bajo los cuales serán evaluadas”, escribieron los procuradores. “Se vulnera el derecho de toda la sociedad a ser debidamente fiscalizada por la administración pública y a ver que se opere una distribución correcta e impersonal de los fondos públicos, algo desvirtuado e impactado por la evaluación ilícita de la Capes en relación con las carreras fiscalizadas”.
Los fiscales sugieren la adopción de criterios idénticos a los utilizados en la evaluación anterior, culminada en 2016, para medir la calidad de las carreras en 2021. La demanda se ampara en una investigación del MPF iniciada en 2018, que escruta las normas adoptadas por la Capes y que estuvo motivada por las críticas, habituales al momento de divulgarse los resultados, interpuestas por los coordinadores de los programas insatisfechos con la metodología adoptada o con las calificaciones recibidas. La jueza fluminense le concedió a la Capes un plazo de 30 días para informar los criterios adoptados.
La suspensión del proceso de evaluación ha dejado perplejo al ambiente académico. “La inseguridad es muy grande”, dice Ricardo Pimenta Bertolla, prorrector adjunto de Posgrado de la Universidad Federal de São Paulo (Unifesp). “Los responsables de los programas completaron informes con una gran cantidad de información recabada a lo largo de cuatro años y la mayoría se han preparado, invirtieron y promovieron mejoras con la expectativa de mejorar sus notas. El flujo de la evaluación está bien entendido por el sistema de posgrado. La suspensión menosprecia todo este esfuerzo”. La prorrectora de Posgrado de la Universidade Estadual Paulista (Unesp), Maria Valnice Boldrin, relata que, en 2020, 24 programas de la institución han sido objeto de fusiones, generando 12 programas nuevos, cuyo propósito ha sido aunar esfuerzos y brindarle más solidez a las carreras y mayor consistencia a la formación de los magísteres y doctores. “Hay gran expectativa por conocer cuál será el desempeño de estos y de otros 116 programas, porque con la evaluación podemos revisar las metas y elaborar política más asertivas”.
La Capes supervisa la calidad de los programas de posgrado brasileños desde 1976 y hace más de dos décadas que sigue un modelo en el que los responsables de los programas completan periódicamente un cuestionario con información sobre diversos ítems. Estos datos son analizados en primera instancia por un comité de expertos de 49 campos del conocimiento, a quienes les corresponde comprobar los resultados y recomendar las calificaciones. En una segunda etapa, el Consejo Técnico Científico de la Educación Superior (CTC) de la Capes, compuesto por los coordinadores de área de los programas, revisa los resultados y define las calificaciones.
La resolución judicial acarrea incertidumbre, porque la comunidad científica considera confiable al sistema objetado por el Ministerio Público. Según Carlos Gilberto Carlotti Júnior, prorrector de Posgrado de la Universidad de São Paulo (USP), hay cierta confusión en cuanto a la idea de que los criterios se definen con posterioridad y tienen efecto retroactivo. “La evaluación se centra en tres apartados: la estructura de los programas, la producción de los docentes y la producción de los graduados. Eso está definido desde el comienzo”, explica. Al promediar el período, tras los dos primeros años del cuatrienio, tiene lugar una reunión denominada de “medio término”, en la que se analiza la marcha del recabado de datos y se aprueban los documentos que consolidan los criterios.
Lo que se calibra hacia el final del período es la importancia atribuida a los trabajos científicos de los alumnos e investigadores. En los programas en que esa producción se basa en artículos, las calificaciones se guían por una tabla de calificación de revistas conocida como Qualis Periódicos, vinculada al índice de citas de las publicaciones. Pero la relevancia que se les adjudica a los papers puede ajustarse a partir de lo que resuelvan las comisiones conformadas por los coordinadores de área, dependiendo del conjunto de datos recogidos sobre la producción científica. “Esta definición queda para el final porque la evaluación es de carácter comparativo y su objetivo consiste en mostrar la posición de los programas en relación con los demás en 2021”, explica Carlotti. “Primero es necesario conocer la totalidad de la producción del período para definir una métrica basada en la realidad de esos cuatro años que, como cabe esperar, debería superar el nivel de los cuatro años previos”. De adoptarse los mismos criterios del proceso anterior, el riesgo es que muchos cursos alcancen el nivel más alto y no haya una herramienta para identificar los matices y distinguir la excelencia. Las notas van del 3 al 7. “Tampoco tendría sentido utilizar los datos de la evaluación anterior porque los índices de impacto de las publicaciones en los que se basa la Qualis cambian todos los años. Se correría el riesgo de valorar a una revista que ha perdido reputación o menospreciar a una producción importante”.
Para el presidente de la Sociedad Brasileña para el Progreso de la Ciencia (SBPC), Renato Janine Ribeiro, quien fue director de evaluación de la Capes, la judicialización del proceso crea un problema delicado, en el que la Justicia se involucra en un tema que no tiene capacidad de entender y analizar cabalmente. “Es una situación similar a un concurso para profesor titular de lengua griega y que un juez impugne el resultado. Es muy poco probable que el juez sepa más sobre la competencia de los postulantes que el tribunal que los evaluó”, dice. Según Janine Ribeiro, las repercusiones generadas por la suspensión pueden causar daño a la producción de conocimiento, ya que los programas se reflejan en la clasificación para planificar su futuro.
“La ciencia brasileña tiene una relación umbilical con el posgrado”, asevera el neurocientífico Luiz Eugênio Mello, director científico de la FAPESP. “La paralización del proceso de evaluación de la Capes le quita el norte a la producción científica y deja volando a ciegas un vector importante para el desarrollo del país”. Según la bioquímica Helena Nader, vicepresidenta de la Academia Brasileña de Ciencias (ABC), la calificación de las carreras es la gran responsable del crecimiento de la excelencia de los programas de posgrado, que es donde se hace investigación de alto nivel en las universidades, y ha posibilitado que hoy en día Brasil gradúe a más de 24.000 doctores por año. “Los criterios son definidos por los investigadores y se debaten en forma exhaustiva. Es natural que algunos programas estén disgustados con sus resultados o piensen que han sido perjudicados. Pero quejarse y proponer mejoras es una cosa, suspender la evaluación es otra muy distinta. Esto debilita uno de los pilares de la ciencia brasileña”.
En respuesta a una consulta de Pesquisa FAPESP, la presidenta de la Capes, Cláudia Mansani Queda de Toledo, informó a través de un comunicado que se están buscando soluciones para continuar con la evaluación y defendió el proceso, en el cual participan más de 1.500 investigadores en las 49 coordinaciones de distintas áreas del conocimiento. “Se reitera públicamente el agradecimiento a los evaluadores y consejeros por todo el compromiso que han mostrado a lo largo de los últimos años, participando en todas las etapas de evaluación, así como por el espíritu público que ha guiado el accionar de todos”.
Quejarse y proponer mejoras es una cosa, suspender la evaluación es otra muy distinta. Esto debilita uno de los pilares de la ciencia brasileña, dice Helena Nader, de la ABC
La suspensión se produce en un contexto de turbulencias en la Capes. En los días previos a la decisión judicial, fueron destituidos los miembros del Consejo Técnico Científico (CTC), el organismo colegiado que delibera sobre la evaluación cuatrienial. Esta decisión se tomó esgrimiendo que su composición era irregular e incluía a 20 miembros representantes de las coordinaciones de áreas, cuando el estatuto de la agencia estipula solamente 18. Se temió que el proceso de evaluación estuviera en riesgo, pero a la semana siguiente se convocó una elección que repuso a 18 de los miembros originales, los otros dos renunciaron voluntariamente a participar para adecuar el consejo a la normativa vigente.
Antes de su disolución, la relación entre el CTC y la dirección de la agencia ya era tensa. El 10 de septiembre, la presidencia de la Capes publicó una disposición que reafirma las reglas del Qualis Periódicos para la evaluación de 2021, que amplió la flexibilidad de las coordinaciones de área para establecer el peso atribuido a las publicaciones científicas, contrariando al CTC. También se incorporaron otros dispositivos que generaron controversias, como la posibilidad de que algunas áreas elijan entre las reglas sobre el Qualis establecidas en 2021 o en 2016. La resolución fue igualmente criticada por aspectos que algunos sectores esperaban ver actualizados, pero se mantuvieron sin cambios. “La evaluación sigue basándose en el impacto que se espera de la producción científica –el factor de impacto de las revistas– y no en el efectivamente observado, que son las citas recibidas por cada artículo producido por los docentes y alumnos de los programas de posgrado”, dice Abel Packer, coordinador de la biblioteca de revistas de acceso abierto SciELO Brasil. “Pero la decepción principal radica en que la resolución se ha cerrado a los conceptos de la llamada ciencia abierta, al excluir de la evaluación a las revistas que adoptan algún tipo de revisión abierta por pares, como es el caso de British Medical Journal, porque considera que violan las buenas prácticas de publicación. Esto parece extenderse a las revistas que, en número creciente, aceptan producciones científicas publicadas previamente sin revisión por pares en servidores web específicos, bajo el formato conocido como preprints”.
Boldrin, de la Unesp, dice que la tensa relación entre la Capes y la comunidad científica tiene un trasfondo más amplio que los impasses en la evaluación. “En los últimos cuatro años hemos tenido cuatro presidentes en la Capes y esta rotación ha generado incertidumbre respecto a las políticas fundamentales”, sostiene, citando como ejemplo el Programa Institucional de Internacionalización de las Universidades Brasileñas (Print), puesto en marcha por la Capes en 2017 con el propósito de estimular colaboraciones internacionales en los programas de maestría y doctorado. La agencia seleccionó a 36 instituciones para participar en el Print, que se acreditaron para recibir recursos federales, siendo la Unesp una de las instituciones contempladas. “En 2020, debido a la pandemia, no se otorgaron becas de movilidad, y ahora en 2021 el programa ha sido suspendido. Ya estamos a finales de año y los recursos no se han asignado”, comenta. “Esto es lamentable, porque se trata de una iniciativa muy bien estructurada, que prometía invertir en una política de internacionalización de los programas más efectiva y fomentar el diálogo entre grupos de investigación vinculados a 70 redes de investigación con miembros nacionales e internacionales. Esperamos que todo vuelva a la normalidad luego de la evaluación de noviembre del Print”. Según Boldrin, el bloqueo de la evaluación forma parte de un contexto desfavorable más amplio. “La investigación del MPF ya había arrancado en 2018, pero solo ahora se llegó a esta crisis. Me da la impresión de que esta instancia de vulnerabilidad del sistema de posgrado, aliada a la caída de las inversiones y a la disolución del CTC, ha abierto un flanco para la impugnación judicial”.
Carlotti, de la USP, también considera que la suspensión de la evaluación cuatrienial le pone más combustible a un proceso de debilitamiento de los programas de posgrado. “El sistema se basa en tres pilares y ahora todos se han debilitado, dice. Uno de ellos, explica el prorrector, es la financiación de las becas, que ha padecido recortes sucesivos en los últimos años, principalmente en las agencias federales. Otro, que funciona como anclaje para orientar la mejora de los programas, es el Plan Nacional de Posgrado, cuya duración es de 10 años. “El último plan llegó a su fin en 2020 y debería haberse discutido uno nuevo, pero ni siquiera se ha comenzado”, dice. El tercer pilar es el sistema de calificación, ahora impugnado. “La evaluación les da seguridad a los estudiantes, porque indica cuáles son los programas de mejor calidad. Sin un plan nacional, sin un fomento adecuado y con la evaluación en entredicho, todo el sistema puede dañarse”.
Republicar
