Dois estudos publicados em setembro no repositório de preprints arXiv analisaram uma crise deflagrada pela manipulação de métricas de desempenho de pesquisadores da área de matemática – o primeiro detalhou as causas do problema e o segundo reuniu soluções e recomendações para enfrentá-lo. O pano de fundo dos dois manuscritos, produzidos por um grupo de trabalho composto por membros da União Matemática Internacional (IMU) e do Conselho Internacional de Matemática Industrial e Aplicada (Iciam), foi a exclusão de todos os autores de artigos na área de matemática da lista de “pesquisadores altamente citados” da empresa Clarivate Analytics, em 2023 e 2024. Essa lista é um levantamento anual que aponta cerca de 6 mil cientistas de todos os campos do conhecimento, cujos trabalhos foram citados com frequência extraordinária por outros pesquisadores de suas áreas em anos recentes.
A Clarivate atribuiu a desclassificação ao fato de a disciplina ser um domínio de pesquisa relativamente pequeno e altamente fragmentado: o número de matemáticos não é grande e eles produzem trabalhos em muitas subáreas. Como as taxas médias de publicação são baixas, na comparação com outras disciplinas, mesmo pequenos aumentos no número de papers e citações tendem a distorcer o desempenho de pesquisadores e a análise da produção científica do campo como um todo. Por conta disso, segundo a empresa, a área se tornou vulnerável a estratégias de manipulação de métricas. Em 2025, a Clarivate voltou a incluir os matemáticos em sua lista – foram 65 pesquisadores no total – depois de aplicar critérios mais rigorosos ao avaliar os nomes.
“Um certo número absoluto de artigos e citações pode fazer um ‘pesquisador altamente citado’ em matemática, mas não ser suficiente em outras áreas. Portanto, manipular o sistema fica mais fácil”, afirmou ao site Retraction Watch a matemática e cientista da computação alemã Ilka Agricola, autora principal de ambos os preprints. Segundo ela, o indicador da Clarivate, com poucas exceções, tornara-se inútil para revelar pesquisa em matemática de boa qualidade. “A lista de altamente citados para a área de matemática ficou tão distorcida que a Clarivate não podia mais fingir que ela tinha algum valor”, afirma Agricola, que é pesquisadora da Universidade de Marburg.
A Clarivate não mencionou casos concretos de manipulação na lista, mas uma reportagem publicada em janeiro de 2024 na Science revelou os contornos da fraude. Com base em um levantamento feito pelo matemático Domingo Docampo, da Universidade de Vigo, na Espanha, a revista apontou indícios da existência de cartéis de citação formados por pesquisadores de determinadas universidades, que mencionavam os artigos uns dos outros para inflar indicadores de produtividade da instituição. “Achei indivíduos que publicavam em revistas que nenhum matemático sério lê, cujos trabalhos eram citados em artigos sem importância e que estavam em instituições que ninguém conhece”, disse Docampo à Science.
A manipulação também envolvia a publicação de papers em periódicos que aceitam somas em dinheiro para divulgar artigos sem uma revisão por pares genuína, as chamadas revistas predatórias. Docampo constatou que havia ocorrido uma mudança no perfil dos papers da área de matemática entre o 1% dos artigos que receberam maior número de citações em anos recentes. No topo dessa lista, apareciam trabalhos assinados por autores ligados a instituições sem tradição em pesquisa em matemática, como a Universidade Médica da China, em Taiwan, e a Universidade King AbdulAziz, na Arábia Saudita.
As estratégias de manipulação utilizadas por pesquisadores desonestos são descritas no primeiro manuscrito publicado pelo grupo de trabalho. O estudo sugere que as tentativas de manipulação da lista dos altamente citados – tanto na matemática como nas outras áreas – foram impulsionadas pelo peso que essa classificação ganhou no cômputo de rankings internacionais de universidades, a exemplo do Academic Ranking of World Universities (ARWU), da Universidade Shangai Jiao Tong, da China. Em alguns casos, pesquisadores com grande produção científica faziam acordos financeiros com universidades de pouco renome para se declararem vinculados a elas – assim, as instituições ganhavam pontos no ranking chinês.
Já o segundo manuscrito oferece recomendações, diretrizes e ações para detectar e neutralizar tentativas de manipulação de indicadores bibliométricos, o que permitiria à comunidade dos matemáticos ter mais controle sobre a avaliação de sua pesquisa. Recompensar o corpo docente com base em seus melhores artigos, aliviando a pressão para que publique com muita frequência, assim como educar os pesquisadores sobre periódicos predatórios e desencorajá-los a utilizar esses veículos, são algumas das práticas sugeridas às instituições pelos autores do preprint.
No campo individual, o manuscrito lança alguns alertas. Lembra que a matemática tem muitas conjecturas famosas ainda em aberto e que periódicos com práticas predatórias podem oferecer a autores chances de publicar “provas” dessas conjecturas sem fazer uma revisão por pares confiável. “O status desses resultados pode se tornar obscuro e pesquisas futuras baseadas neles serão um desperdício de esforço ou recursos”, diz Agricola. Para identificar bons periódicos e artigos de qualidade, o estudo sugere aos autores a utilização de dois bancos de dados confiáveis, o zbMath Open e o Mathematical Reviews, com a ressalva de que não abrangem alguns títulos interdisciplinares. O zbMath Open é um serviço de resumos e revisão bibliográfica gratuito para matemática pura e aplicada que contém mais de 5 milhões de entradas bibliográficas, resenhas e resumos de artigos, livros e conferências. Já o Mathematical Reviews (ou Math Reviews) coleta e revisa artigos, livros e outras publicações nas áreas de matemática, estatística e ciência da computação teórica e é publicado pela Sociedade Americana de Matemática (AMS).
O que, no final, perpassa todas as recomendações é a crítica a avaliações baseadas apenas em indicadores bibliométricos. “Quando uma medida se torna uma meta, ela deixa de ser uma boa medida”, diz Agricola citando uma máxima do economista britânico Charles Goodhart. “Talvez uma vantagem dos matemáticos seja que não nos impressionamos facilmente com números, pois conhecemos os meios para entendê-los e analisá-los.”
Republicar