Durante los últimos cuatro años, el sistema brasileño de posgrado evidenció un progreso tanto en la oferta de vacantes como en indicadores de calidad. Entre 2013 y 2017, creció un 25% la cantidad de programas stricto sensu, aquéllos que otorgan diplomas y que su funcionamiento se encuentra sujeto al reconocimiento y la autorización del Ministerio de Educación. En la actualidad existen 4.175 programas, frente a 3.337 cuatro años atrás, de acuerdo con la evaluación cuatrienal del posgrado efectuada por la Coordinación Nacional del Personal de Nivel Superior (Capes), cuyos resultados se dieron a conocer el 19 de septiembre. Existe una oferta de 2.202 carreras de doctorado, 3.398 másteres y 703 maestrías profesionales. El número de programas con nivel internacional, aquéllos que reciben notas 6 y 7, las más altas en la escala de la Capes, aumentó de 412 a 465, y representan un 11% del total. En el otro extremo, 119 programas, es decir el 3%, recibieron notas 1 y 2, y sus cursos serán desacreditados. Las solicitudes de reconsideración de notas se analizaran a fin de año. “El resultado muestra que el sistema se encuentra en crecimiento y está ganando en calidad. Nuestro modelo se muestra capaz de percibir el avance del posgrado y también de apuntarles necesidades de corrección a instituciones y programas”, dijo el presidente de la Capes, Abílio Baeta Neves, al divulgar el balance.
Todos los estados brasileños tuvieron programas evaluados, desde Amapá, con tan sólo cuatro, hasta São Paulo, con 894. Pero hay una notable concentración de las carreras con notas 6 y 7 en seis unidades de la federación: São Paulo (171), Río de Janeiro (78), Rio Grande do Sul (61), Minas Gerais (56), Paraná (20) y Santa Catarina (20). En términos relativos, el desempeño de Paraná llamó la atención: ostentaba 11 programas con notas 6 y 7 en 2013 y ahora cuenta con 20.
En 10 estados, no se registra ni siquiera un programa con las dos notas más elevadas. La mayoría de ellos se encuentra en las regiones norte y centro-oeste, aunque en esa lista también figura Espírito Santo, en el sudeste. El rector de la Universidad Federal de Tocantins (UFT), Luiz Eduardo Bovolato, viajó a Brasilia para conversar con el presidente de la Capes acerca del desempeño de las universidades de la región norte, donde la UFT tuvo 22 programas evaluados, de los cuales siete fueron calificados con 4 y los demás, con 3. “Le solicitamos mayor a la comisión evaluadora mayor sensibilidad en función de nuestra realidad local y una mayor amplitud en el enfoque con las universidades de la región norte”, dijo Bovolato, según publica el sitio web de la UFT.
La Universidad de São Paulo (USP) despunta en varios indicadores. Registró 265 programas evaluados, casi el doble de la que ocupa el segundo puesto, la Universidade Estadual Paulista (Unesp), con 135. La Universidad Federal de Río de Janeiro (UFRJ), aparece en tercer lugar, con 116 (vea el cuadro). La USP responde por sí sola por el 18% de los programas con notas 6 y 7, con 83 en total. En un segundo pelotón, aparecen la UFRJ, con 39 programas, la Federal de Rio Grande do Sul (UFRGS), con 36, y la de Campinas (Unicamp), con 32.
La evaluación cuatrienal repercute firmemente en la comunidad académica porque se la usa como parámetro al respecto de la relevancia de los programas y de los grupos de investigación asociados a ellos, así como por encauzar la distribución de becas y presupuestos. Los programas con notas 6 y 7 tienen mayor autonomía y reciben financiación directamente de la Capes, mientras que aquéllos que sacan un 5 también tienen su cuota por intermedio de la dirección de la universidad.
Por todas estas razones, es natural que las universidades se movilicen cuando no quedan satisfechas con los resultados. El desempeño de la Unicamp se mantuvo estable en comparación con 2013, con el 70% de sus carreras con notas de 5 a 7. Pero los resultados trajeron una sorpresa desagradable: la cantidad de programas con nota 7 descendió de 16 a 14. “No evaluaron con demasiado rigor”, dice el economista André Tosi Furtado, prorrector de Posgrado y docente del Instituto de Geociencias. “La Unicamp es una institución que se destaca en el posgrado brasileño. Somos la segunda mejor universidad del país según atestiguan varios rankings e indicadores, pero en programas con nota 7 esta vez quedamos en el cuarto puesto”, dice Tosi Furtado, que estudia apelar algunos resultados. La nota del programa de ingeniería mecánica, que se redujo de 7 a 5, fue la que causó mayor perplejidad. El profesor apunta que hubo programas recomendados por las comisiones de evaluación para que se les aumente la nota. “Sin embargo, en la etapa final, la progresión de la nota no fue confirmada”.
La directora de evaluación de la Capes, Rita Barradas Barata, explica que los criterios no son estáticos. “Las notas se definen con base en criterios conocidos, pero el peso que se les atribuye a los mismos puede modificarse por decisión de los coordinadores de área al finalizar la evaluación, con la finalidad de reflejar la situación del conjunto de programas. No estamos comparando los programas con lo que ellos eran hace cuatro años, sino mostrando la posición de unos en relación con los otros en 2017”, dice. Ella cita como ejemplo la producción científica de los alumnos. “Con el avance de la cultura de publicación, un número creciente de estudiantes pasó a publicar más. Si el criterio era contar con al menos dos artículos por alumno en determinada área pero la mayoría publicó cuatro artículos, puede adaptarse el peso atribuido a este criterio a esa nueva realidad”, comenta.
Más allá del malestar, la Unicamp registró resultados bastante positivos, con una progresión hacia la nota 7 de programas en clínica odontológica y biología vegetal, así como diversos programas pasaron de una nota 5 a 6. “La evaluación de la Capes ha sido de importancia para encauzar la evolución del sistema, uniformando criterios sobre la calificación de docentes y la producción científica”, pondera Furtado.
La Capes brinda ayuda y monitorea el posgrado brasileño desde 1976 y desde hace casi 20 años sigue un modelo de evaluación donde los responsables de los programas completan periódicamente un cuestionario con información acerca de varios apartados: la propuesta del programa, la calificación del cuerpo docente, el perfil de los estudiantes y la producción intelectual, además de la inserción internacional de las carreras y su influencia sobre otros programas (vea el cuadro). Tales datos son analizados en primera instancia por un comité de especialistas de 49 áreas del conocimiento, a los cuales les cabe examinar los resultados y recomendar notas. En una segunda instancia, el Consejo Técnico-Científico de la Educación Superior de la Capes, compuesto por coordinadores y coordinadores adjuntos de las áreas de los programas académicos y profesionales, revisa los resultados y define las notas.
Esas etapas tuvieron lugar entre agosto y septiembre y duraron seis semanas. “En las primeras cuatro semanas dimos cuenta de los programas académicos y en las dos últimas evaluamos los de maestrías profesionales y aquéllos ofrecidos por redes institucionales”, explica Rita Barradas Barata. El trabajo contó con la participación de 1.550 miembros de la comunidad científica. Entre 1998 y 2013, las evaluaciones fueron trienales. Con el crecimiento del sistema, se optó por ampliar el período pasándose a realizar el mapeo en forma cuatrienal.
La evaluación que promueve la Capes tiene parangón con pocas iniciativas a nivel mundial. “En Estados Unidos, las asociaciones científicas asumen los procesos de acreditación y evaluación de los programas, pero en forma descentralizada. En los países latinoamericanos, los consejos de investigación analizan informaciones suministradas por los programas y permiten o no que estos sigan funcionando”, comenta la directora de evaluación de la Capes. Hay similitudes, por el tamaño de la labor, con el sistema de evaluación de las universidades del reino Unido, que acontece cada cinco años, si bien que en este último caso, la calidad de la investigación se analiza a la par de la educación, basándose en un análisis proveniente de indicadores y, principalmente, de la evaluación por pares, que define la distribución de recursos para las instituciones para el período siguiente (lea en Pesquisa FAPESP, edición nº 156).
La regularidad de la evaluación de la Capes contribuyó a moldear el sistema de posgrado brasileño. La Unesp festejó el crecimiento de los programas con nota 7 –eran tres y ahora son seis– y los de nota 6, que subieron de 15 a 21. Este crecimiento fue fruto de una política de seguimiento de los programas, con la exigencia de informes anuales, con especial atención a los programas con nota 3. No es casualidad que la Unesp no haya registrado ninguna recomendación de desacreditación. En tanto, los programas de buena calidad obtuvieron incentivos. “No se trató de un esfuerzo trivial en medio de un escenario de retracción presupuestaria y de dificultades para contratar a nuevos investigadores”, comenta el geógrafo João Lima Sant’Anna Neto, prorrector de Posgrado de la Unesp y docente de la Facultad de Ciencias y Tecnología de Presidente Prudente.
La acreditación de una nueva carrera de posgrado en la Capes depende de un proceso similar al de la evaluación: la propuesta de cada programa es analizada por una comisión de expertos en el área, que recomienda una nota. Si la misma fuera igual o superior a 3, la comisión le eleva su parecer al Consejo Técnico-Científico de la Educación Superior, a quien le cabe la decisión final. La evaluación cuatrienal no califica a las carreras recién creadas. No existen atajos para lograr las notas más altas, sino que el proceso, en general, es lento y acumulativo.
El posgrado de la Universidad Federal del ABC (UFABC), una institución creada hace escasos 11 años, viene evolucionando paulatinamente. De los 22 programas calificados por la Capes, seis mejoraron su nota, uno empeoró y otros 15 mantuvieron su nivel. Tres de ellos obtuvieron nota 5: el de nanociencias y materiales avanzados, el de ciencia y tecnología química y el de física. En la evaluación anterior, sólo el de física obtuvo un 5. Según el neurocientífico Alexandre Kihara, prorrector de Posgrado de la universidad, la evaluación privilegia a las instituciones consolidadas. “Las notas más altas, en parte están relacionadas con el poder de aglutinación que ostenta un programa, si trabaja en conjunto con programas más recientes o si un egresado se transforma en docente en otras universidades. Las instituciones emergentes presentan dificultades en esos apartados”, sostiene. Según Kihara, el desempeño de la UFABC en los rankings universitarios y en ciertos indicadores, tales como la internacionalización y el impacto de la investigación, es mejor que el que surge de la calificación de la Capes.
Diversidad de criterios
El profesor Rogério Mugnaini, docente de la Escuela de Comunicación y Artes (ECA) de la USP, estudió los criterios del Qualis-Periódicos, un sistema que la evaluación de la Capes utiliza para clasificar la producción de los programas de posgrado en lo referente a los artículos publicados en periódicos científicos, entre 1998 y 2012. En un estudio presentado en 2015, Mugnaini demostró cómo se mide de distintas formas la calidad de la producción de los programas, dependiendo del campo del conocimiento, y señaló las vulnerabilidades del modelo. En aquellas áreas que tradicionalmente publican sus resultados en revistas extranjeras indexadas, tales como física y química, los indicadores de citad, principalmente el Factor de Impacto de los periódicos, valen como referencia de la calidad de los artículos. “Pero existe una porción de la producción publicada fuera de esas bases que no es evaluada”. En áreas tales como geociencias y nutrición, que cuentan con un número acotado de periódicos indexados en las bases internacionales –entre ellos, Web of Science y Scopus–, las citas no permiten distinguir la producción según su impacto. En esos casos, se acepta como criterio el hecho de que el periódico esté vinculado a alguna base de datos, dando por hecho que pasarán por algún filtro hasta llegar allí. “Pero habría que auditar si las bases de datos aplican los criterios de calidad que declaran. No hay garantías de que estén exentas de algún tipo de sesgo”, afirma. Y también hay campos del conocimiento, tales como las artes y arquitectura y urbanismo, en los cuales la calidad de las publicaciones, al no estar vinculadas a revistas o bases prestigiosas, se infiere según criterios tales como el origen diverso de los autores o de los miembros del consejo editorial del periódico. “Ése es un criterio importante para evitar la endogamia –por cierto, este tipo de criterio, por lo general, lo exigen las bases de datos–, pero no es suficiente para asegurar la calidad de los artículos publicados por los programas de posgrado”. En conferencias brindadas en eventos de asociaciones científicas y en la propia Capes, Mugnaini sugirió que la producción de los programas se mida en forma más amplia, a partir de indicadores que combinen varias bases de datos. “De esa forma se tendría un panorama más fidedigno de la producción brasileña”.
Uno de los aspectos de la evaluación cuatrienal que genera más controversias tiene que ver con la autonomía conferida a cada comité de área para deducir la calidad de sus programas. “Hay comités que le restan puntos al programa si la maestría supera los 24 meses y el doctorado, 48 meses, al tiempo que otros muestran mayor tolerancia”, dice João Lima, de la Unesp. “Es justo que la Capes use esos plazos como referencia para la duración de las becas, pero no entiendo por qué penalizar a un programa por algún retraso, puesto que eso no impacta sobre su calidad”. Lima, quien se desempeñó como coordinador de geografía de la Capes entre 2008 y 2014, considera que la evaluación fue asumiendo una perspectiva muy tecnicista. “Hay una fórmula para seguir que puede elevar la nota del programa con el curso del tiempo por sus aspectos más cuantitativos. Pero hay casos de programas de excelencia que se rehusaron a adoptar dicha fórmula, porque sus miembros adhieren a una tradición más humanista, y penan con ello”, explica Lima, refiriéndose a programas afianzados de universidades tradicionales.
Para el médico Carlos Gilberto Carlotti Junior, prorrector de Posgrado de la USP y docente de la Facultad de Medicina de Ribeirão Preto (FMRP), el sistema de evaluación debería evolucionar para captar más elementos de la excelencia académica. “No sólo es importante saber cuánto se produjo, sino también cuál es el impacto del conocimiento generado, tanto en la ciencia brasileña como en la formulación de políticas públicas y en el desarrollo del país”, sugiere. “El producto final de un programa de posgrado no es la tesina de maestría o la tesis doctoral, sino el alumno que egresa. Actualmente, hay varios aspectos concernientes al alumno que no se miden. Ni siquiera se evalúa la calidad de la tesis”.
Si bien la USP concentra programas de excelencia, también afrontó problemas con la evaluación. Una carrera de doctorado en clínica quirúrgica, por ejemplo, obtuvo una nota de 2 y será cerrado. Otros seis programas tuvieron nota 3 en la maestría y 2 en el doctorado, una situación que lleva a la desacreditación del doctorado. “Nos reuniremos con cada programa para estudiar qué hacer”, dice Carlotti.
Rita Barradas Barata, de la Capes, coincide en que los criterios de evaluación deben evolucionar. Entre los cambios contemplados para la próxima evaluación cuatrienal, se estudia modificar el sistema de puntuación, que contemplaría también notas intermedias, como 6,5 por ejemplo, en lugar de notas plenas. “Esto permitiría mostrar que el programa de algún modo cambió su forma de evaluar, incluso cuando solamente sintonizó con las variantes del resto de los programas”, dice. Pero los cambios podrían ser más amplios. “Lo esencial es reducir el énfasis en las normativas y elevar el empeño en cuanto a la calidad. Es necesario promover aquellos artículos que tengan relevancia, valorando la flexibilidad del posgrado y la posibilidad de reconocer diferentes formas de organización”, afirmó.
Republicar