En Brasil, el modelo de evaluación de los programas de posgrado afrontará su mayor reconfiguración en más de dos décadas. La Coordinación de Perfeccionamiento del Personal de Nivel Superior (Capes), agencia ligada al Ministerio de Educación que evalúa la calidad de las carreras de maestría y doctorado en el país, anunció que los más de 4 mil programas en actividad dejarán de tener una nota única –que actualmente va de 3 a 7 para los recomendados y reconocidos– y su rendimiento será calificado de acuerdo con cinco parámetros: Enseñanza y Aprendizaje, Producción de Conocimiento, Inserción Internacional y Regional, Innovación y Transferencia de Conocimiento e Impacto en la Sociedad. Los detalles de este sistema serán planteados durante los próximos meses por expertos de la comunidad académica y del área técnica de la Capes. Esta modificación regirá para el ciclo de evaluación que comienza en 2021 y sus resultados se darán a conocer en 2025.
El objetivo es promover una evaluación más precisa y minuciosa de los programas, que tenga en cuenta la naturaleza de cada uno de ellos y permita efectuar un análisis de calidad en diversos aspectos, revelador de sus puntos fuertes y detectando aquellos vulnerables. Según expresa el presidente de la Capes, el ingeniero Anderson Ribeiro Correia, el modelo actual, que prioriza los indicadores de investigación y enseñanza, fue importante para la expansión del posgrado en Brasil desde la década de 1960 en adelante, pero se ha vuelto insuficiente para comprender la diversidad de las carreras. “Ideamos programas de posgrado de alta calidad que tienen características diversas. Pero seguimos evaluando su calidad concentrándonos solamente en el impacto de las publicaciones científicas”, dice. Ribeiro Correia sostiene que el sistema en vigencia le concede escaso valor, por ejemplo, a la influencia de la capacitación en la vida de los profesionales titulados o al desarrollo de la región en la cual los programas funcionan. “Existen carreras que transforman la trayectoria de sus alumnos, asegurándoles incrementos salariales significativos y movilidad social. También hay programas que inciden notablemente en la economía local, incluso aunque no estén a la vanguardia del conocimiento. Al revalorizar esas contribuciones, podemos ampliar el impacto del posgrado sobre el desarrollo del país”.
La idea de modificar radicalmente el modelo se viene gestando desde hace dos años. Luego de la difusión de los resultados del ciclo de evaluación de 2013 a 2016, el directorio de la Capes le encomendó al Consejo Tecnocientífico de la institución un estudio sobre aquellos aspectos del sistema de deberían perfeccionarse. Luego de consultas con expertos y con organizaciones vinculadas al posgrado, surgieron dos sugerencias principales: la importancia de que las universidades realicen una autoevaluación de sus programas, declarando lo que se esperaba de ellos y si esa expectativa se cumplió, y la adopción de métricas sensibles a los diferentes propósitos que las carreras de posgrado pueden tener más allá de hacer investigación de calidad, tales como colaborar para con el desarrollo regional y su interacción con el sector productivo.
Hacia el final de 2018, la Capes envió una comisión a Alemania y a Holanda, de la cual formaron parte la presidenta honoraria de la SBPC, Helena Nader, y la directora de Evaluación de la agencia, Sonia Baó, para conocer los pormenores del U-Multirank, una herramienta de evaluación de universidades que parecía atender los anhelos de cambio del modelo de posgrado brasileño. El U-Miltirank muestra los puntos fuertes y débiles de cada institución, analizando indicadores en cinco dimensiones diferentes: enseñanza y aprendizaje, investigación, transferencia de conocimiento, orientación internacional y compromiso regional. El resultado se verifica en un gráfico con cinco colores distintos, que representan a los cinco parámetros evaluados y sus indicadores, que se muestran con tonos diferentes de acuerdo con el desempeño de la institución en cada uno de esos puntos.
Esta metodología fue creada en 2014 por el Centro de Educación Superior en Gütersloh, Alemania, y por el Centro de Estudios sobre Políticas de Educación Superior de la Universidad de Twente, en Holanda, por encargo de la Comisión Europea, que deseaba contar con un instrumento de evaluación más fidedigno para sus universidades que los rankings internacionales para detectar lo mejor de cada institución. Hoy en día lo utilizan las universidades de 96 países, Brasil inclusive: lo están adoptando las tres universidades estaduales paulistas. La tendencia apunta que el U-Multirank servirá de inspiración del nuevo modelo de evaluación del posgrado brasileño, pero que se ideará una metodología distinta a la original, adecuada a las metas de la evaluación que realiza la Capes. “El U-Multirank fue concebido para realizar una evaluación global de las universidades y posee muchos indicadores sobre la enseñanza de la carrera de grado. Para medir la calidad del posgrado habrá que introducir indicadores apropiados”, analiza Abílio Baeta Neves, presidente de la Capes entre 2016 y 2018, cuando comenzó a contemplarse esa modificación.
La intención de modificar el modelo de evaluación de la Capes tuvo buena repercusión en la comunidad académica. Para la zootecnóloga Telma Berchielli, prorrectora de Posgrado de la Universidade Estadual Paulista (Unesp), el reconocimiento de los diversos parámetros que conforman los programas es una necesidad. “La evaluación nos dejaba muy tiesos. Parecía que el único interés era formar personal para trabajar en las universidades, pero hoy en día hay muchos doctores que trabajan en empresas y realizan un aporte diferente a la sociedad”, sostiene. Según ella, la Unesp dispone de varios programas –algunos afianzados, otros aún en fase de maduración– que generan conocimiento de impacto regional, dado que la institución posee campus en 24 ciudades paulistas. Ella menciona los programas de biología animal en la unidad de São José do Rio Preto, que tiene menos de 10 años y alcanzó la nota máxima (7) en la última evaluación de la Capes, y el de biodiversidad en ambientes costeros en el campus de São Vicente, en el litoral paulista, que por ahora fue calificado con nota 4. “En ambos casos, hay un impacto en la realidad local, en la generación de conocimiento y en la capacitación de mano de obra especializada, que acaban no siendo debidamente reconocidos”. Berchielli hace hincapié en la valoración de la autoevaluación en el nuevo modelo. “Ese ejercicio mostrará cuál es la expertise del programa y permitirá vislumbrar cuál es la vocación de la universidad y dónde están concentradas sus mejores investigaciones”.
La estadística Nancy Lopes Garcia, prorrectora de Posgrado de la Universidad de Campinas (Unicamp), coincide en que el modelo de evaluación debe ser perfeccionado, pero plantea algunas dudas. “Temo que el impacto socioeconómico de un programa pase a ser sobrevalorado. ¿Cómo se evaluará en este apartado a las carreras de ciencias básicas, que a veces tardan bastante para generar aplicaciones, pero que resultan fundamentales para que las mismas surjan? ¿Cómo medir la contribución económica y social de un programa de matemática, por ejemplo?”, indaga. No obstante, ella estima que la Unicamp no se verá perjudicada con el cambio. “Siempre nos hemos preocupado por la calidad de nuestros programas, que en su mayoría son sólidos y competitivos a nivel internacional. Poco menos de la mitad de nuestros alumnos son de posgrado, el porcentaje más alto entre las universidades paulistas”.
Resulta prematuro anticipar el impacto del cambio antes de conocer los pormenores de sus directrices; empero, según Baeta Neves, no conviene menospreciar sus implicaciones. “No será algo sencillo, pues va a interferir con toda una cultura de evaluación bastante arraigada que es la que ayudó a estructurar los programas. Ellos tendrán que orientarse sin disponer de la nota única con la que cuentan actualmente y nunca hicieron eso antes”, advierte. La evaluación de la Capes siempre tuvo un efecto inductor en el funcionamiento del sistema de posgrado, ya que hasta aquí se la utilizó como criterio para la asignación de becas y de recursos. Hasta 1996, la agencia calificaba a los programas con un sistema de letras que iba de la A hasta la E. En el sistema de evaluación posterior, pasaron a ser evaluados con notas del 1 al 5 para los cursos que solamente tenían maestría y hasta 7 para aquellos que incluían doctorado. Para 1998, la diferencia entre las notas 6 y 7 surgía de criterios tales como inserción internacional y cuerpo docente con experiencia en centros del exterior. En aquel momento, la internacionalización de la investigación se transformó en un parámetro importante, ante las evidencias de que la producción científica en colaboración con instituciones del exterior tenía un impacto, medido en citas, cuatro veces mayor que la que se realizaba internamente.
Durante los últimos 20 años, la cantidad de programas casi se ha triplicado y se ha expandido la percepción de la sociedad acerca de los impactos que la ciencia debe proporcionar; pero el sistema de evaluación no ha acompañado este cambio. Según Baeta Neves, el modelo futuro será aún más transformador si abandona lo que él considera como un exceso de exigencias normativas del modelo actual. “Debería haber más libertad para experimentar en las universidades, principalmente en aquellas más consolidadas. El sistema actual es muy controlador e impone exigencias que no tienen ningún vínculo con la excelencia. Se exige, por ejemplo, una cantidad mínima de docentes por programa. Pero, ¿por qué contar con 12 profesores sería mejor que tener 10, o que 9?”
El tipo de evaluación que realiza Brasil de su sistema de posgrado es único en el mundo. En Estados Unidos, las sociedades científicas son las que realizan los procesos de acreditación y evaluación de los programas, aunque en forma descentralizada. La última vez que hubo un análisis global de los programas de doctorado fue en 2010, cuando la Academia Nacional de Ciencias se abocó a estudiar los datos de 5 mil programas de 62 áreas del conocimiento en 212 universidades del año académico 2005-2006. Al compararlos con los datos recabados a mediados de la década de 1990, se constató un aumento de un 4% en el número de doctorandos en ingeniería y del 9% en ciencias físicas, al tiempo que se registró una caída de un 5% en ciencias sociales y de un 12% en humanidades. Un dato curioso fue la prevalencia de las universidades públicas en el sistema de posgrado de Estados Unidos: fueron responsables del 72% de los programas de doctorado evaluados. De las 37 universidades que formaron más PhDs entre 2002 y 2006, solo 12 eran privadas.
La evaluación brasileña es similar, por el tamaño de la tarea, al sistema adoptado para monitorear la calidad de la investigación científica en las universidades del Reino Unido, que se realiza cada cinco años y define la distribución de recursos entre las instituciones para el período siguiente. “El Reino Unido evalúa la investigación porque allá no hay carreras de posgrado para evaluar como las que hay aquí. Para hacer un doctorado, se busca un supervisor y se le presenta un proyecto. En caso que el mismo esté de acuerdo, esa investigación es la que redundará en el título de doctor”, explica Baeta Neves.
Así como el modelo de la Capes sufrirá modificaciones sustanciales a partir de 2021, el proceso de evaluación que está en curso –que comprende al período de 2017 a 2020– también introdujo alteraciones importantes, enfocadas en una revalorización de la calidad de la investigación en lugar de la cantidad. Formalmente, la ficha de evaluación pasó a tener tres apartados en lugar de cinco, y se modificó la importancia atribuida a cada cuestión. Por ejemplo, ahora se le otorga mayor reconocimiento a la producción científica de los exalumnos, y no solamente a la de los docentes. “Mientras regía la evaluación anterior, los indicadores relacionados con los alumnos eran de carácter mayormente cuantitativo, abarcando la cantidad de matriculados y el tiempo promedio para recibirse. Ahora se va a tener en cuenta la producción de los egresados hasta cinco años después de haber obtenido el grado de magíster y doctor. Solo se podrán considerar las citas acumuladas a corto plazo, pero eso ya es un avance”, dice Nancy Garcia, de la Unicamp.
También se están gestando cambios en el sistema Qualis, una clasificación de la Capes que evalúa la calidad de la producción científica de los programas. En el caso de las revistas científicas, se las califica con notas de acuerdo con su impacto y prestigio en las áreas del conocimiento, y los programas que logran publicar artículos en los periódicos más valorados ganan puntos en la evaluación. La idea es que el Qualis sea menos subjetivo. Hasta ahora, una revista podía tener una calificación alta en un determinado campo del conocimiento y baja en otro. En tanto, en el próximo sistema de evaluación las revistas tendrán una calificación única, independientemente del área del conocimiento evaluada. Pero se permitirá que cada área adapte parcialmente esa calificación, pudiendo subir o bajar dos niveles del Qualis en el 10% de sus periódicos, o bien subir o bajar un nivel en el 20% de sus periódicos.
El cambio más significativo tiene que ver con la calidad de la producción científica. En lugar de informar solamente la cantidad de publicaciones en los extractos más altos del Qualis, los programas deberán seleccionar una cantidad acotada de artículos y documentos de sus investigadores a los cuales se los considere los de mejor calidad con el fin de poder evaluarlos. Para el estadístico y doctor en ciencias de la información Rogério Mugnaini, de la Escuela de Comunicación y Artes de la Universidad de São Paulo (USP), la idea de evaluar los mejores artículos puede suponer un efecto beneficioso. “En la evaluación de la Capes, aún hay áreas del conocimiento que valoran demasiados criterios cuantitativos, lo que conduce a un productivismo exagerado, en el cual los investigadores intentan publicar a cualquier costo, aunque la producción no siempre sea de calidad. Y eso a su vez genera congestión en el sistema de revisión de artículos en las revistas”, afirma. Mugnaini asevera que la tendencia internacional apunta correcciones similares. La evaluación en el Reino Unido, que anteriormente había adoptado criterios más cuantitativos, dado el tamaño de la labor de analizar toda la investigación realizada por las universidades en cinco años, vuelve a tener en cuenta predominantemente la revisión por pares. “Los cambios en el sistema de la Capes los definen con frecuencia los expertos de cada área, y estos no siempre tienen en cuenta las reflexiones recientes de la investigación internacional en cuanto a la evaluación de la ciencia. Al proponer transformaciones, es importante tener en cuenta el conocimiento actualizado acerca del tema”.
Republicar