Imprimir

Indicadores

Criterios para ingresar al club

En una tesis se investiga la metodología empleada en la elaboración de los rankings de excelencia académica para comprender el desempeño de las universidades brasileñas

Rankings_244-02Una tesis doctoral defendida en 2015 en la Universidad de São Paulo (USP) reunió un conjunto de datos y argumentos que ayudan a comprender por qué Brasil exhibe un desempeño relativamente modesto en los rankings internacionales de universidades. La investigación, realizada por Solange Maria dos Santos, coordinadora de producción y publicación de la biblioteca electrónica SciELO, analizó una década de producción científica brasileña (2003-2012) y escrutó la metodología que se utilizó en la elaboración de seis de esos rankings para entender por qué existe discrepancia en la cantidad de instituciones brasileñas que se ubican entre las mejores del mundo, por ejemplo: uno de ellos registra tan sólo a dos instituciones en ese club, en tanto que otros exhiben hasta 22. Otra cuestión que se abordó se refiere a una aparente paradoja: si Brasil tiene un buen desempeño en rankings vinculados a ciertas áreas del conocimiento, tales como medicina y agronomía, ¿por qué esto no se ve reflejado en los rankings generales?

Según la investigadora, los parámetros de selección adoptados en los rankings limitan la participación de otras universidades del país. “Uno de los criterios de corte es el volumen de la producción indexada en bases internacionales. Por eso grandes instituciones, con indicadores robustos de investigación y enseñanza, tienen más posibilidades de clasificarse. En los rankings se selecciona una cantidad restringida de instituciones –la mayoría, las 500 mejores– en un universo de más de 16 mil universidades del mundo”, dice Dos Santos, quien defendió su tesis en la Escuela de Comunicación y Artes (ECA) de la USP y realizó parte de su investigación en España, en la Universidad Carlos III, de Madrid.

Curiosamente, a relevancia del volumen de la producción científica indexada también ayuda a explicar por qué hay más universidades brasileñas en rankings ahora que hace 10 años: el país ha invertido en la profesionalización de las revistas nacionales, mediante iniciativas tales como la biblioteca electrónica SciELO, y logró incrementar la cantidad de periódicos de Brasil presentes en bases internacionales a mediados de la década de 2000. En Web of Science, por ejemplo, el número de publicaciones brasileñas indexadas trepó de 26 en 2006 a 103 en 2008. “Un conjunto mayor de artículos pasó a ser considerado en los indicadores, y más universidades brasileñas cobraron visibilidad en los rankings”, afirma.

Rankings_244-01Esto puede percibirse en el ranking ARWU, las siglas de Academic Ranking of World Universities (arwu.org), de China, por ejemplo. Cuando se lo creó, en 2003, sólo la USP, la Universidad de Campinas (Unicamp), la Estadual Paulista (Unesp) y la Federal de Río de Janeiro (UFRJ) aparecían entre las 500 mejores del mundo. En 2007, la clasificación pasó a incluir a la Federal de Minas Gerais (UFMG), y en 2008 también a la Federal de Rio Grande do Sul (UFRGS). La clasificación del ARWU se basa en parámetros más objetivos, tales como publicaciones y citas, cantidad de investigadores con artículos altamente citados, existencia de exalumnos y docentes galardonados con el Premio Nobel o una Medalla Fields y proporción de docentes con dedicación exclusiva en la universidad.

En tanto, el ranking de la británica THE, las siglas de Times Higher Education, registra tan sólo dos brasileñas entre las 500 mejores del mundo (USP y Unicamp). Entre 2008 y 2009, la UFRJ también apareció en la lista, pero no permaneció. Parte de sus criterios tienen un sesgo subjetivo: un tercio de los puntos proviene de un sondeo de reputación académica realizada con científicos de 133 países. La puntuación también contempla las citas, las presencia de docentes y de alumnos extranjeros y el presupuesto destinado a la investigación.

El estudio constató que cambios en las metodologías de los rankings suelen ser responsables de las oscilaciones bruscas en el desempeño de las universidades. “Yo desconfío cuando un titular de periódico dice que una universidad cayó o subió 100 lugares en un ranking. Ninguna institución cambia tanto de un año a otro”, explica. Un caso de cambio de metodología comprendió al ranking de la consultora Quacquarelli Symonds (QS). A partir de 2010, éste pasó a utilizar la base Scopus, de editorial Elsevier, que reúne una cantidad mayor de revistas latinoamericanas que el banco de datos utilizado anteriormente, el Web of Science, de Thomson Reuters. Como parte de los puntos asignados se vincula a las citas de los artículos de docentes, la cantidad de instituciones brasileñas entre las 1.000 mejores trepó de seis en 2010 a 22 en 2013. En este ranking, el 40% de los puntos tiene su origen en un sondeo de reputación académica y otro 10% en una evaluación de empleadores de la mano de obra egresada de las instituciones. En tales encuestas se altera la base de entrevistados periódicamente, lo cual genera oscilaciones en los resultados.

Este fenómeno también se detectó en el marco de una tesina de maestría defendida en 2015 por Carlos Marshal França, profesor de administración de la Pontificia Universidad Católica de Campinas. El investigador comparó tres rankings universitarios de carácter nacional organizados por periódicos iberoamericanos: el chileno El Mercurio, el español El Mundo y el brasileño Folha de S.Paulo – RUF. Marshal França observó que cada uno aplica una modalidad para recabar datos. Mientras que el chileno se basa en fuentes de información públicas e indicadores bibliométricos, el español se vale de cuestionarios respondidos por las instituciones y por docentes. En tanto, el brasileño mezcla datos públicos y entrevistas con docentes y profesionales del mercado de trabajo, y ha promovido cambios para perfeccionar su metodología. El chileno presentó los resultados más estables: eventuales variaciones de un año a otro se ceñían a la pérdida o al ascenso de uno o dos lugares en la escala. En el ranking Folha RUF, entre las 20 mejores universidades se registraron alteraciones de hasta siete puestos de un año a otro.

Una interpretación burda
El principal aporte de la tesis de Dos Santos consiste en que mapea aquello que cada uno de los rankings está midiendo, al decir de Samile Vanz, docente de la Facultad de Biblioteconomía de la UFRGS. “Los rankings suelen interpretarse de una manera burda, sin que se entienda lo que indican”, dice. Para Vanz, quien actualmente estudia estos escalafones en el marco de una pasantía de posdoctorado en la misma universidad española donde Solange Santos realizó parte de su doctorado, la producción brasileña sigue siendo subvaluada. “Estoy observando que en diversos rankings en los cuales se utiliza como referencia la base de datos Web of Science no se tienen en cuenta todas las colecciones de revistas que figuran en él. Es común que seleccionen dos o tres colecciones principales y dejen de afuera a SciELO Citation Index, la colección en la cual se encuentra presente buena parte de la producción de Brasil”, dice. Vanz destaca que los rankings no son instrumentos neutros. “Es común que las empresas encargadas de los sondeos vendan servicios asociados a los datos y que las instituciones listadas los utilicen en sus estrategias de marketing”, dice.

Rankings_244-03Según Solange dos Santos, las clasificaciones se ven en dificultades a la hora de medir todas las dimensiones de la calidad académica. “Los rankings miden lo que es posible medir, no aquello que desearían medir”, afirma. Indicadores objetivos, tales como producción científica, citas e investigadores premiados, pueden resultar apropiados para comparar entre instituciones de todo el mundo, pero existen dificultades con parámetros tales como reputación académica y calidad de la formación de los recursos humanos. “Los rankings aún no logran medir bien la calidad de la enseñanza, el compromiso regional de las universidades y su impacto en la sociedad”, ejemplifica. Cada ranking cuenta con su propia metodología. La clasificación de la Universidad Nacional de Taiwán, el NTU Ranking, jerarquiza a las universidades con base en indicadores de investigación, como el índice-h, la cantidad de artículos altamente citados y la de artículos publicados en revistas de alto impacto. El ranking de la Universidad de Leiden, de Holanda, utiliza indicadores sobre la cantidad de publicaciones y citas, con relieve para aquéllos que miden ciencia de alto impacto y colaboraciones en el exterior y con las industrias.

La parte más lenta de la investigación de Dos Santos fue el análisis de 10 años de producción científica brasileña en bases de datos internacionales por área de conocimiento. En primer lugar, constató que las universidades de Brasil no llegan a ocupar ubicaciones muy elevadas en los rankings porque en general producen ciencia de bajo impacto. En 2003, el 37,5% de las revistas brasileñas estaban posicionadas en el primer cuartil, el grupo que reúne a las más citadas en las respectivas disciplinas. En 2012, ese porcentaje había caído al 28,8%. En tanto, la cantidad de revistas brasileñas situadas en el cuarto cuartil, de menor impacto, aumentó un 137% en dicho período. Sin embargo, en el análisis se detectaron áreas de excelencia. La principal es la de Medicina Clínica, debido a su gran comunidad de investigadores que publicó el 20,83% de toda la producción científica brasileña entre 2003 y 2012, según datos compilados por la investigadora. Sólo la USP es responsable por casi una tercera parte de esa producción. En el ranking temático de Times Higher Education de 2014, la USP apareció en el 79º lugar en Ciencias Clínicas, Preclínicas y de la Salud, y en la 92ª ubicación en Ciencias de la Vida. En el ranking general, dicha universidad paulista se situó en el rango entre la 201ª y la 225ª colocación.

Rankings_244-04Otras tres áreas en las cuales la investigación científica brasileña se distingue son las de Física, Geociencias y Ciencias Espaciales, las cuales al igual que Medicina exhiben una buena capacidad para publicar en revistas de alto impacto. “En esas áreas, científicos brasileños mantienen colaboraciones internacionales con grupos de alto nivel. Con todo, debido a que su producción es relativamente pequeña, no cuentan con la fuerza suficiente como para arrastrar a las universidades en los rankings generales”, dice Dos Santos. Otro destacado lo constituye Ciencias Agrarias, con un 9,62% de la producción nacional, aunque no se concentra en publicaciones de alto impacto. “La producción en ciencias agrarias hace que universidades dedicadas al área, como la Federal de Viçosa, tengan relieve en rankings temáticos”, afirma. En el ranking por área de QS, algunas universidades brasileñas despuntan en Artes y Humanidades. En Filosofía, Sociología e Historia, la USP y la Unicamp aparecen entre las 100 mejores del mundo (lea en Pesquisa FAPESP, edición nº 186).

Rogerio Mugnaini, docente de la ECA-USP, llama la atención con respecto a un efecto de los rankings: los mismos reafirman la influencia de un conjunto de universidades de origen anglosajón valiéndose de criterios que no siempre tienen sentido para las instituciones brasileñas. Un ejemplo de ello es el peso que algunos escalafones le asignan a la existencia de carreras dictadas en inglés, algo que en Brasil es tenido a menudo como un factor de elitización de la educación superior. “Las instituciones de mayor prestigio tienden a reforzar este instrumento que ratifica su posición original de dominio”, dice Mugnaini. El investigador trabaja en el desarrollo de indicadores de la producción científica brasileña basados en las referencias del currículo Lattes, que contienen tesis, libros y documentos no indexados usualmente (lea en Pesquisa FAPESP, edición nº 233). Para Samile Vanz, se hace necesario profundizar los estudios sobre los rankings y proponer formas de medir dimensiones que interesen a las comunidades científicas alejadas de los países centrales. Sin embargo, Vanz acota que ignorar los rankings no configura una alternativa. “Sirven como referencia para la circulación de estudiantes e investigadores extranjeros y son importantes en la estrategia de internacionalización de nuestras universidades”, dice.

Republicar