Imprimir Republish

Producción científica

Una carrera para medir el impacto

Universidades brasileñas invierten en la creación de oficinas para la gestión y el análisis de indicadores de rendimiento

La necesidad de proveerles datos a los organismos de fiscalización y a los rankings académicos nacionales e internacionales impulsó a las universidades brasileñas a invertir en la creación de comisiones administrativas u oficinas dedicadas a la recolección y análisis de información de su rendimiento. El ejemplo más reciente es el de la Universidad Federal de São Paulo (Unifesp), que en el mes de septiembre inauguró su Oficina de Datos Estratégicos Institucionales. “Hay informaciones desperdigadas por diversos sectores dentro del ámbito de la universidad. Queremos ordenar esos datos y proponer métricas más adecuadas para la calificación de nuestras actividades educativas y de investigación”, explica Juliana Garcia Cespedes, Prorrectora Adjunta de Planificación de la Unifesp.

La universidad, así como el resto de las instituciones educativas y de investigación federales, está obligada a proveerle al Ministerio de Educación (MEC) y al Tribunal de Cuentas de la Unión (TCU) un conjunto amplio y pormenorizado de informaciones, tales como ejecución presupuestaria, costo por alumno, cantidad de estudiantes que se graduaron en el plazo límite contemplado para cada carrera e índice de calificación del cuerpo docente, entre otros. El procesamiento de esos datos, a cargo de la superintendente de tecnología de la información Lidiane Cristina da Silva, le dio rédito a la universidad y demuestra la importancia de ampliar el trabajo y crear una estructura más organizada para ejecutarlo.

Durante el mes de abril pasado, la revista inglesa Times Higher Education (THE) publicó una nueva propuesta de ranking académico para calificar el impacto social generado por las universidades. En lugar de atenerse a los indicadores de educación e investigación, la clasificación tuvo en cuenta el rendimiento de las instituciones en algunos de los Objetivos de Desarrollo Sostenible de la Organización de las Naciones Unidas (ONU), tales como la reducción de las desigualdades, la sostenibilidad ambiental de las instituciones y el impacto en el desarrollo urbano de su entorno. Grandes casas de estudios de Brasil y de todo el mundo se abstuvieron de participar en ese ranking, en buena medida porque no disponían de datos tales como la cantidad de basura reciclada o un inventario de sus iniciativas para combatir la violencia.

La Unifesp aceptó el desafío y cumplió un papel destacado entre las 200 mejores universidades del mundo en ese escalafón, en un mismo nivel que otras dos universidades federales, la del ABC (UFABC) y la de Ceará (UFC). “Pudimos reunir rápidamente los datos que el ranking  exigía porque nuestro plantel de tecnología de la información y de planificación cuenta con experiencia en esa labor”, dice la rectora, Soraya Smaili. El hecho de que una mujer dirija la universidad sumó puntos extra en el apartado del combate contra la desigualdad. La atención médica de la población, un sello de la institución desde los tiempos en que era la Escuela Paulista de Medicina y que estaba restricta al área de la salud, también apuntaló el desempeño.

Los indicadores del rendimiento académico les sirven de apoyo a los administradores para la toma de decisiones y ayudan a que las universidades puedan mostrarles sus resultados a la sociedad, que, en última instancia, es la responsable de financiar las actividades que promueven esas instituciones. “El análisis de los indicadores nos sirve para definir parámetros más adecuados para evaluar los resultados de la enseñanza e investigación en diversas áreas del conocimiento. Simultáneamente, posibilita que las instituciones reflexionen al respecto de su relación con la comunidad exterior”, dice Aluísio Cotrim Segurado, docente de la Facultad de Medicina de la Universidad de São Paulo (FM-USP) y coordinador de la Oficina de Gestión de Indicadores de Desempeño Académico (Egida) de la institución. Ese organismo, creado en 2018, se dedica a mejorar el estudio y la interpretación de datos con el propósito de ayudar en la planificación de la USP. El Egida también se ocupa de actuar como interlocutor con los responsables de la edición de rankings académicos. La importancia de estrechar esa relación quedó en evidencia, según Cotrim Segurado, cuando se comprobó que el rendimiento de la USP en un ranking de reputación académica y de impacto en el mercado laboral, elaborado por la empresa consultora británica QS, estaba desfasado porque hacía algunos años que la institución paulista no actualizaba la lista de investigadores designados para responder el cuestionario. “Situaciones como esa dejan en claro la importancia de esas oficinas para las universidades”, dice Cotrim Segurado. Otro reto radica en definir nuevos indicadores de producción intelectual para áreas en las que el análisis bibliométrico –medido a partir de la cantidad de artículos publicados, índice de citas, entre otros ítems– no es lo más adecuado, tal como ocurre en el caso del área de humanidades. “Pretendemos desarrollar indicadores de calificación que tengan sentido para áreas tales como artes, música y cine, por ejemplo”, dice.

La creación de esas oficinas dentro de las universidades está ayudando a la FAPESP a actualizar los Indicadores de Ciencia, Tecnología e Innovación (CT&I) en São Paulo, que recopila desde el final de la década de 1990. La Fundación está trabajando en forma coordinada con las oficinas y comisiones en el recabado de datos relacionados con la inversión en investigación y desarrollo, con las fuentes de financiación, con la cantidad y el perfil de los científicos que trabajan en las universidades, institutos de investigación y empresas instaladas en el estado. “Las oficinas fueron creadas en el momento justo. Anteriormente, los interlocutores en las universidades estaban muy dispersos. Ahora resulta más sencillo obtener los datos de manera ordenada y consistente”, explica el economista Sinésio Pires Ferreira, gerente de estudios de indicadores de la FAPESP.

La USP, la Unicamp y la Unesp se unieron para generar métricas que muestren el impacto económico, social y cultural de sus actividades

Las iniciativas promovidas por la USP y la Unifesp se suman a otras similares creadas por universidades públicas brasileñas, como es el caso de la UFC, en Fortaleza (estado de Ceará), cuya Coordinación de Planificación y Administración Estratégica viene trabajando en nuevas estrategias de análisis y monitoreo de indicadores académicos de desempeño. “Las informaciones que recopilamos y analizamos hasta ahora nos están ayudando a elaborar planes de desarrollo institucional más efectivos y enfocados en una administración más transparente”, subraya la coordinadora, Roberta Queirós Viana Maia.

En tanto, la Universidade Estadual Paulista (Unesp) creó una comisión, en marzo de 2017, integrada por profesionales de las áreas de administración, ciencias de la información y métricas, para evaluar  el rendimiento de la institución en diversos rankings universitarios, entre ellos el de la revista THE y el que elabora el Centro de Estudios en Ciencia y Tecnología de la Universidad de Leiden, en Holanda. “El objetivo consiste en monitorear los resultados de la Unesp, interpretar esos datos y determinar cómo pueden sernos útiles”, explica José Augusto Chaves Guimarães, docente del Departamento de Ciencias de la Información de la Unesp, en el campus de Marília.

Al monitorear los rankings, la comisión de la Unesp constató que muchos investigadores publican artículos en portugués, motivo por el cual disminuye su repercusión internacional. También se detectan dificultades para informarles a los escalafones un cuadro consolidado de la producción científica de la institución. Eso ocurre porque el nombre de la universidad no se escribe de una manera normalizada en los artículos científicos. La comisión identificó más de 90 grafías diferentes para describir la sigla en inglés.

Para resolver esos problemas, la comisión de la Unesp lanzó el programa Propetips. Este programa es un instructivo para que los investigadores publiquen en inglés y en revistas internacionales, citando en forma correcta el nombre de la institución. “Incluso contiene indicaciones obvias, como que eviten publicar en aquellas revistas denominadas depredadoras, de baja calidad”, explica Guimarães. Otras iniciativas ya estaban en curso antes de que se creara la comisión. Una de ellas es la obligatoriedad de empadronamiento de todos los investigadores en la Open Researcher and Contributor ID (ORCID), que les garantiza que tengan un número de identificación en el ámbito científico global, una manera de evitar que se los confunda con homónimos.

Las oficinas de indicadores del país reflejan el éxito de experiencias similares en las universidades Harvard y en la de Miami, en Estados Unidos, y en la de Cambridge, en el Reino Unido. A partir del estudio y análisis de datos, esas instituciones avalan estrategias y políticas que ayudan a mantener o incrementar la financiación a la investigación. También mapean el éxito profesional de los egresados de las carreras de grado y del posgrado, y proveen diversas informaciones a los rankings.

Aunque las universidades brasileñas se preocupen cada vez más por medir su desempeño, Marisa Beppu, quien fue Prorrectora de Desarrollo Universitario de la Universidad de Campinas (Unicamp) entre 2017 y 2019, destaca que la relación no debe ser de sumisión. “Los rankings deben utilizarse como instrumentos para calibrar las actividades educativas y de investigación de las instituciones”, enfatiza. “Las universidades necesitan hacer una lectura crítica de esos rankings e ir más allá de esos datos, teniendo en cuenta métricas que tengan sentido para ellas y para la realidad brasileña”, comenta Milena Serafim, asesora de la Coordinación General de la Unicamp, el organismo que concentra las iniciativas de gestión de los datos institucionales, a cargo de la vicerrectora Teresa Atvars. Ellas explican que desde hace años la Unicamp trabaja en el desarrollo de métricas tendientes a perfeccionar el sistema de gobernanza y colaborar en la toma de decisiones que involucran temas administrativos y de las carreras de los docentes e investigadores. “La institución también está empeñada en lograr una mejor interacción con las agencias responsables de los rankings universitarios en cuanto al desarrollo de indicadores que tengan sentido para la realidad de la sociedad en que la institución está inserta”, resalta Beppu. La Unicamp ostenta una tradición de impacto en la sociedad en diversas áreas, pero tiene relieve en la producción y protección de la propiedad intelectual, en la transferencia de tecnología y en el área de emprendimientos. El mes pasado, anunció que en 2019 dio origen a 114 nuevas “empresas hijas”, emprendimientos creados por alumnos, exalumnos y por personas vinculadas con las institución, así como negocios cuya actividad deriva de una innovación bajo licencia de la universidad, o bien empresas emergentes de su incubadora tecnológica. En total, hay 717 de esas empresas en actividad, que facturaron 7.900 millones de reales durante este año.

En la USP, el Egida intenta realizar esa evaluación abarcadora apelando a estudios en bancos de datos externos. A partir de informaciones de la plataforma Lattes, se busca calcular el impacto de la USP en la formación de docentes de grado y de posgrado en otras universidades del país. “En algunas de ellas, más de la mitad de los docentes se graduaron en la USP”, dice Cotrim Segurado.

Las tres universidades estaduales paulistas vienen desarrollando métricas para el análisis de su impacto económico, social y cultural. Esta iniciativa se desarrolla en el marco de un proyecto coordinado por Jacques Marcovitch, de la Facultad de Economía, Administración y Contabilidad (FEA-USP). La idea consiste en generar indicadores adecuados para monitorear las misiones institucionales de esas universidades. “Ya estaban abocadas a reunir datos para los rankings internacionales. Estamos aprovechando ese impulso para generar indicadores sobre el impacto de las instituciones en el desarrollo económico, en la producción de innovación y en la calidad de vida de la población, mostrando los resultados de la inversión efectuada con el gasto público”, dice Renato Pedrosa, docente de la Unicamp e investigador del proyecto liderado por Marcovitch. La intención es que las universidades generen datos con metodologías similares y que sean comparables, dice Pedrosa, quien también coordina el programa Indicadores de Ciencia, Tecnología e Innovación de la FAPESP. “El proyecto ideado por el profesor Marcovitch es exactamente lo que la FAPESP espera de un proyecto de investigación en políticas públicas: se identificó un desafío, se congregó a un equipo de investigadores capacitados y se logró el aval de una organización interesada en utilizar los resultados, en este caso, el Consejo de Rectores de las Universidades Estaduales Paulistas, el Cruesp”, dice el director científico de la FAPESP, Carlos Henrique de Brito Cruz.

Una de las disposiciones adoptadas en el marco del proyecto fue la adhesión al U-Multirank, el ranking lanzado en 2014 por un consorcio europeo liderado por el Centro de Estudios de Políticas de Educación Superior de la Universidad de Twente. El U-Multirank publica gráficos multidimensionales de las universidades y permite la identificación de sus puntos fuertes y también de otros aspectos que deben perfeccionarse. “Esta iniciativa nos ayudará a evaluar el rendimiento de las universidades paulistas y a compararlas con otras universidades, parecidas o complementarias, para establecer colaboraciones estratégicas”, destaca Contrim Segurado.

Republicar