As queixas sobre o uso indiscriminado do fator de impacto (FI) como parâmetro de qualidade de publicações científicas geraram uma autocrítica do Institute for Scientific Information, responsável pela produção do indicador. No final de junho, a entidade, que é um braço da empresa Clarivate Analytics, divulgou a atualização anual da base de dados Journal Citation Reports, que apresenta o FI de 11.655 periódicos científicos do mundo. Dessa vez, no lugar de apresentar apenas o tradicional ranking com o número médio de citações recebido por cada revista em um intervalo de dois anos, a base passou a oferecer também informações que mostram o contexto em que esse índice foi produzido. Agora é possível ter acesso a dados suplementares, como uma curva de distribuição mostrando todos os artigos publicados em cada periódico e quantas vezes cada um dos papers foi citado.
Esse tipo de informação busca atenuar as críticas de que o índice, alardeado por revistas e seus autores como um parâmetro de prestígio, frequentemente mescla artigos altamente citados com outros de baixa repercussão. “A grande maioria dos periódicos científicos contém artigos que seguem um padrão harmônico. Mas aqueles que publicam textos com padrões múltiplos tornam-se de fato um problema”, diz o químico Rogério Meneghini, coordenador científico da biblioteca eletrônica Scielo Brasil. A nova abordagem também ajuda a mostrar se o desempenho de uma publicação está vinculado a um grande conjunto de artigos – como acontece com periódicos como Science, Nature, PLOS ou Scientific Reports – ou se é resultado de um número pequeno de papers selecionados de forma muito rigorosa. “Os gráficos de distribuição de citações foram desenvolvidos para mostrar o que é o fator de impacto por dentro. A ideia é ver não apenas o número, mas enxergar através dele”, explicou Marie McVeigh, diretora de produtos do Journal Citation Reports, em seu perfil no Twitter. O objetivo dessa nova orientação, segundo ela, é desestimular o uso isolado do FI e mostrar a diversidade de dados que lastreia o índice.
Uma distorção comum é tomar o fator de impacto de um periódico como representativo de artigos ou autores
Outras informações detalhadas também foram disponibilizadas. É possível ver o cálculo da mediana das citações, que, ao contrário da média, não é influenciada pelos extremos. Outra novidade é a distinção de citações feitas em artigos de pesquisa, que evidenciam a repercussão entre os pares, e em artigos de revisão, aqueles que organizam a bibliografia existente sobre um tema.
Em um paper publicado no site da Times Higher Education, Jonathan Adams, diretor do Institute for Scientific Information, diz que a nova orientação faz parte de um esforço para promover as chamadas “métricas responsáveis” e propôs que os responsáveis por outros indicadores se esforcem para revelar o contexto em que são produzidos – ele mencionou o exemplo do Índice-H, cujo uso indiscriminado, sem levar em conta a área do conhecimento e o tempo de carreira dos pesquisadores, também recebe muitas críticas (ver Pesquisa FAPESP nº 207). “Temos nos dedicado a municiar os avaliadores de pesquisas a fazer escolhas responsáveis de acordo com a necessidade. Nós e outras organizações de dados precisamos trabalhar para apoiar o uso responsável de métricas que a pesquisa de classe mundial merece.”
Publicado há 44 anos, o FI se consolidou como o mais importante indicador da influência dos periódicos, passou a orientar a estratégia de editores e tornou-se um chamariz para autores sequiosos por ampliar a visibilidade de seus trabalhos. Ao mesmo tempo, gerou distorções. A mais comum é tomar o índice, que mostra o desempenho médio de um periódico, como representativo da qualidade individual ou da originalidade de todos os seus artigos – o mérito deles, na melhor das hipóteses, limita-se à chancela de processo de avaliação rigoroso. Outra percepção enganosa é considerar que a publicação de um paper em uma revista de alto impacto é passaporte para uma boa repercussão do artigo. “Dá-se muito valor para onde o artigo foi publicado – e o fator de impacto da revista é um parâmetro de orientação importante – e muito pouco para a contribuição de cada paper ao avanço do conhecimento científico”, diz o biólogo molecular Adeilton Brandão, coeditor das Memórias do Instituto Oswaldo Cruz, publicação científica criada em 1907 que, no mais recente Journal Citation Reports, aparece em 2º lugar entre os periódicos do Brasil, com FI de 2,833. Isso significa que, em média, os cerca de 240 artigos da revista publicados no biênio anterior foram citados em periódicos pouco mais de 2,8 vezes no ano de 2017 (ver quadro). “Não temos o hábito de acompanhar o que acontece com os artigos depois que eles são divulgados. É como se o trabalho do pesquisador culminasse com o momento em que os resultados são divulgados em uma boa revista, quando na verdade esse é apenas o começo de sua trajetória.” As revistas do país, observa Brandão, têm dificuldade de atrair artigos com potencial de alto impacto. “A estrutura da pesquisa brasileira está bastante ancorada na pós-graduação, cujos programas são fortemente incentivados por órgãos de avaliação a publicar seus resultados em revistas de fora. É difícil para os nossos periódicos reverter essa desvantagem”, afirma.
A busca de um FI elevado a qualquer preço abre espaço para desvios éticos. Não é incomum que editores tentem manipular o índice, abusando, por exemplo, do recurso da autocitação – que é o exagero de menções, em artigos de um determinado periódico, a outros papers que ele publicou – ou da chamada citação cruzada, uma espécie de ação entre editores de dois periódicos, por meio do qual um cita os artigos do outro. São estratégias de risco. Ao divulgar o mais recente Journal Citation Reports, a Clarivate Analytics anunciou a suspensão de 20 periódicos de suas listas, por apresentarem um padrão de citações considerado anômalo. Por dois anos, essas revistas ficarão sem FI. O Brasil, que chegou a ter seis periódicos suspensos do JCR em 2013 (ver Pesquisa FAPESP nº 213), estava fora da lista de suspensões deste ano.
Do ponto de vista de editores brasileiros, as mudanças na apresentação do FI são bem-vindas. “O fator de impacto não é um indicador absoluto sobre a qualidade de uma publicação. Há revistas que publicam trabalhos teóricos importantes, mas não obtêm FI alto porque os temas interessam a poucas pessoas”, diz Marc André Meyers, editor-chefe do Journal of Materials Research and Technology (JMRT), o periódico do Brasil com maior FI em 2018 – o índice chegou a 3,398. Meyers, professor da Universidade da Califórnia, San Diego, pondera que a divulgação de informações contextualizadas tende a ter pouco impacto na dinâmica das publicações científicas. “O FI é um parâmetro consagrado para atrair bons autores e isso continua a ser uma preocupação central dos editores de qualquer boa revista. Aceitar um artigo é sempre um investimento de risco. Às vezes o manuscrito parece promissor, mas acaba obtendo poucas citações.” O JMRT, criado em 2011 pela Associação Brasileira de Metalurgia, Materiais e Mineração (ABM), adotou uma estratégia agressiva para elevar seu fator de impacto, trazendo um grande volume de autores estrangeiros e sendo altamente seletivo na escolha dos papers (ver Pesquisa FAPESP nº 263).
Para Jean Paul Metzger, professor do Instituto de Biociências da Universidade de São Paulo (USP) e editor-chefe de Perspectives in Ecology and Conservation, o FI de 2,766 obtido pela publicação é resultado de um trabalho recente para ampliar a sua visibilidade – o periódico, que sequer estava entre os 10 mais citados no Journal Citation Reports de 2017, apareceu em 3º lugar na lista de 2018. A revista, que até recentemente se chamava Natureza e Conservação, fez uma aposta em um nicho de artigos científicos que avaliam políticas públicas em ecologia. “Entre os nossos papers mais citados, destacam-se um trabalho que avalia as mudanças da Lei de Proteção da Vegetação Nativa, mais conhecida como o novo Código Florestal brasileiro, que foi escrito em linguagem acessível e subsidiou inclusive discussões no Supremo Tribunal Federal, e também um conjunto de artigos sobre os efeitos da tragédia de Mariana. São temas que despertam atenção de um público amplo, tanto de pesquisadores quanto de tomadores de decisão, e atraem bons autores interessados em discutir os efeitos de políticas públicas”, ele afirma. Metzger reconhece que o mau uso do fator de impacto é um problema, mas avalia que, apesar das limitações, o índice segue tendo utilidade. “O número de artigos publicados em qualquer área do conhecimento vem crescendo de forma exponencial e é preciso ter algum tipo de triagem e privilegiar a leitura de um conjunto de artigos. O FI permite selecionar de forma mais atenta revistas que concentram artigos de impacto”, diz.
Republicar