Imprimir PDF

Indicadores

Critérios para entrar no clube

Tese investiga metodologia dos rankings de excelência acadêmica para compreender o desempenho das universidades brasileiras

Solange Santos
     
Uma tese de doutorado defendida em 2015 na Universidade de São Paulo (USP) reuniu um conjunto de dados e argumentos que ajuda a compreender por que o Brasil tem um desempenho relativamente modesto em rankings internacionais de universidades. A pesquisa, feita por Solange Maria dos Santos, coordenadora de produção e publicação da biblioteca eletrônica SciELO, analisou uma década de produção científica brasileira (2003-2012) e esmiuçou a metodologia adotada por seis desses rankings para entender, por exemplo, por que há discrepância no número de instituições brasileiras entre as melhores do mundo – um deles registra apenas duas instituições nesse clube, enquanto outros enxergam até 22. Outra questão abordada envolve um aparente paradoxo: se o Brasil tem bom desempenho em rankings vinculados a certas áreas do conhecimento, como medicina e agronomia, por que isso não se reflete nos rankings gerais?

Segundo a pesquisadora, parâmetros de seleção adotados pelos rankings limitam a participação de mais universidades do país. “Um dos critérios de corte é o volume da produção indexada em bases internacionais. Por isso, grandes instituições, com indicadores robustos de pesquisa e ensino, têm mais chance de classificação. Os rankings selecionam um número restrito de instituições – na maioria das vezes, as 500 melhores – num universo de mais de 16 mil universidades no mundo”, diz Solange, que defendeu a tese na Escola de Comunicações e Artes (ECA) da USP e realizou parte da pesquisa na Espanha, na Universidade Carlos III, de Madri.

Curiosamente, a relevância do volume da produção científica indexada também ajuda a explicar por que há mais universidades brasileiras em rankings hoje do que há 10 anos: o país investiu na profissionalização das revistas nacionais, por meio de iniciativas como a biblioteca eletrônica SciELO, e conseguiu aumentar o número de periódicos do Brasil em bases internacionais em meados dos anos 2000. Na Web of Science, por exemplo, o número de publicações brasileiras indexadas saltou de 26 em 2006 para 103 em 2008. “Um conjunto maior de artigos passou a ser considerado nos indicadores e mais universidades brasileiras tornaram-se visíveis para os rankings”, afirma.

026-029_Rankings_244-01Isso é perceptível, por exemplo, no ARWU, sigla para Academic Ranking of World Universities (arwu.org), da China. Quando ele foi criado, em 2003, apenas a USP, a Universidade Estadual de Campinas (Unicamp), a Estadual Paulista (Unesp) e a Federal do Rio de Janeiro (UFRJ) apareciam entre as 500 melhores do mundo. Em 2007, a classificação passou a incluir a Federal de Minas Gerais (UFMG) e, em 2008, também a Federal do Rio Grande do Sul (UFRGS). A classificação do ARWU se baseia em parâmetros mais objetivos, como publicações e citações, número de pesquisadores com artigos altamente citados, existência de ex-alunos e professores que receberam um Prêmio Nobel ou uma Medalha Fields e proporção de professores com dedicação integral à universidade.

Já o ranking da britânica THE, sigla para Times Higher Education, registra apenas duas brasileiras entre as 500 melhores do mundo (USP e Unicamp). Entre 2008 e 2009, a UFRJ também apareceu na lista, mas não permaneceu. Parte de seus critérios tem um viés subjetivo: um terço dos pontos vem de uma pesquisa de reputação acadêmica feita com pesquisadores em 133 países. A pontuação também leva em conta citações, presença de professores e alunos estrangeiros e orçamento para pesquisa.

O estudo constatou que mudanças de metodologia nos rankings costumam ser responsáveis por oscilações bruscas no desempenho das universidades. “Eu desconfio quando uma manchete de jornal diz que uma universidade caiu ou subiu 100 posições num ranking. Nenhuma instituição muda tanto de um ano para o outro”, explica. Um caso de mudança de metodologia envolveu o ranking da consultoria Quacquarelli Symonds (QS). A partir de 2010, ela passou a utilizar a base Scopus, da editora Elsevier, que reúne um número maior de revistas latino-americanas que o banco de dados usado anteriormente, o Web of Science, da Thomson Reuters. Como parte dos pontos atribuídos vincula-se a citações dos artigos de docentes, o número de instituições brasileiras entre as mil melhores saltou de seis em 2010 para 22 em 2013. Neste ranking, 40% dos pontos têm origem numa pesquisa de reputação acadêmica e outros 10% em uma avaliação de empregadores da mão de obra formada pelas instituições. Tais pesquisas mudam a base de entrevistados periodicamente, o que gera oscilações nos resultados.

026-029_Rankings_244-02O fenômeno também foi detectado por uma dissertação de mestrado defendida em 2015 por Carlos Marshal França, professor de administração da Pontifícia Universidade Católica de Campinas. Ele comparou três rankings universitários de caráter nacional organizados por jornais ibero-americanos: o chileno El Mercurio, o espanhol El Mundo e o brasileiro Folha de S.Paulo – RUF. Observou que cada um tem uma forma de coletar dados. Enquanto o chileno se baseia em fontes de informação públicas e indicadores bibliométricos, o espanhol usa questionários respondidos pelas instituições e por professores. Já o brasileiro mescla dados públicos e entrevistas com professores e profissionais do mercado de trabalho – e tem promovido mudanças para aperfeiçoar a sua metodologia. O chileno apresentou os resultados mais estáveis: eventuais variações de um ano para o outro limitavam-se à perda ou à conquista de uma ou duas posições na escala. No Folha RUF, entre as 20 melhores universidades, houve mudanças de até sete posições de um ano para o outro.

Interpretação grosseira
A principal contribuição da tese de Solange é mapear o que cada um dos rankings está medindo, diz Samile Vanz, professora da Faculdade de Biblioteconomia da UFRGS. “Frequentemente, os rankings são interpretados de forma grosseira, sem que se entenda o que indicam”, diz. Para Samile, que atualmente estuda os rankings num estágio de pós-doutorado na mesma universidade espanhola onde Solange Santos realizou parte do doutorado, a produção brasileira continua a ser sub-avaliada. “Estou observando que vários rankings que utilizam como referência a base de dados Web of Science não levam em conta todas as coleções de revistas que estão lá dentro. É comum que selecionem duas ou três coleções principais e deixem de fora, por exemplo, o SciELO Citation Index, coleção na qual está boa parte da produção do país”, diz. Samile destaca que rankings não são instrumentos neutros. “É comum que empresas responsáveis pelos levantamentos vendam serviços associados aos dados e que as instituições listadas os utilizem em suas estratégias de marketing”, diz.

026-029_Rankings_244-03Segundo Solange Santos, as classificações têm dificuldade de mensurar todas as dimensões da qualidade acadêmica. “Os rankings medem o que é possível medir, não o que gostariam”, afirma. Indicadores objetivos, como produção científica, citações e pesquisadores premiados, podem ser apropriados para comparar instituições de todo o mundo, mas há dificuldades com parâmetros como reputação acadêmica e qualidade da formação dos recursos humanos. “Os rankings ainda não conseguem medir bem a qualidade do ensino, o engajamento regional das universidades e o impacto na sociedade”, exemplifica. Cada ranking tem uma metodologia própria. A classificação da Universidade Nacional de Taiwan, o NTU Ranking, hierarquiza as universidades com base em indicadores de pesquisa, como o índice-h, o número de artigos altamente citados e o de artigos publicados em revistas de alto impacto. O ranking da Universidade de Leiden, da Holanda, utiliza indicadores sobre o número de publicações e citações, com destaque para os que medem ciência de alto impacto e colaborações no exterior e com indústrias.

A parte mais demorada da pesquisa de Solange foi a análise de 10 anos de produção científica brasileira em bases de dados internacionais, por área do conhecimento. Constatou, em primeiro lugar, que as universidades do país não alcançam posições muito elevadas nos rankings porque, em geral, produzem ciência com baixo impacto. Em 2003, 37,5% das revistas brasileiras estavam no primeiro quartil, grupo que reúne as mais citadas nas respectivas disciplinas. Em 2012, esse percentual havia caído para 28,8%. Já o número de revistas brasileiras no quarto quartil, de menor impacto, cresceu 137% no período. A análise, porém, detectou áreas de excelência. A principal é a Medicina Clínica, graças a uma grande comunidade de pesquisadores que publicou 20,83% de toda a produção científica brasileira entre 2003 e 2012, segundo dados compilados pela pesquisadora. Apenas a USP é responsável por quase um terço dessa produção. No ranking temático da Times Higher Education de 2014, a USP apareceu em 79º lugar em Ciências Clínicas, Pré-Clínicas e da Saúde, e na 92ª posição em Ciências da Vida – no ranking geral, a universidade se classificou no intervalo entre a 201ª e a 225ª colocação.

026-029_Rankings_244-04Outras três áreas em que a pesquisa brasileira se distingue são Física, Geociências e Ciências Espaciais, que, assim como a Medicina, exibem boa capacidade de publicar em revistas de alto impacto. “Nessas áreas, pesquisadores brasileiros mantêm colaborações internacionais com grupos de alto nível. Mas, como a produção é relativamente pequena, isso não tem força para impulsionar as universidades nos rankings gerais”, diz Solange. Outro destaque são as Ciências Agrárias, com 9,62% da produção nacional, embora não se concentrem em publicações de alto impacto. “A produção em ciências agrárias faz com que universidades dedicadas a essa área, como a Federal de Viçosa, se destaquem em rankings temáticos”, afirma. No ranking por área da QS, algumas universidades brasileiras se destacam em Artes e Humanidades. Em Filosofia, Sociologia e História, USP e Unicamp aparecem entre as 100 melhores do mundo (ver Pesquisa FAPESP nº 186).

Rogério Mugnaini, professor da ECA-USP, chama atenção para um efeito dos rankings: eles reafirmam a influência de um conjunto de universidades de origem anglo-saxã utilizando critérios que nem sempre fazem sentido para instituições brasileiras. Um exemplo é o peso que alguns deles conferem à existência de cursos ministrados em inglês, algo frequentemente visto no Brasil como um fator de elitização do ensino superior. “As instituições de maior prestígio tendem a reforçar esse instrumento que ratifica sua posição original de domínio”, diz Mugnaini. Ele trabalha no desenvolvimento de indicadores da produção científica brasileira baseados nas referências do Currículo Lattes, que contêm teses, livros e documentos não usualmente indexados (ver Pesquisa FAPESP nº 233). Para Samile Vanz, é preciso aprofundar estudos sobre os rankings e propor formas de medir dimensões que interessem a comunidades científicas distantes dos países centrais. Ela observa, porém, que ignorar os rankings não é uma alternativa. “Eles servem como referência para a circulação de estudantes e pesquisadores estrangeiros e são importantes para a estratégia de internacionalização das nossas universidades”, diz.

Republish