Guia Covid-19
Imprimir PDF Republicar

Cienciometria

Leve-me ao seu líder

Método criado por professor da Unesp movimenta o debate sobre avaliação da produção acadêmica

MARCOS GARUTIO físico George Matsas, professor da Universidade Estadual Paulista (Unesp), desenvolveu um método original de identificar líderes científicos e avaliar sua influência, além de medir o vigor de comunidades acadêmicas. Trata-se do Fator de Impacto Normalizado (NIF – Normalized Impact Factor), uma equação aplicável a membros de qualquer comunidade científica cuja produção seja medida em artigos publicados em revistas internacionais indexadas, como acontece com as hard sciences. O NIF é baseado numa ideia simples: o índice pondera as citações que um pesquisador faz em seus artigos com o número de vezes em que é citado em artigos alheios.

Quem mais recebe do que faz citações tem NIF maior do que 1 e pode ser considerado um líder, pois exerce mais influência sobre os demais membros de sua comunidade do que é influenciado por eles. Já um NIF menor do que 1 é próprio do perfil de um liderado – sua influência ainda não é suficiente para que receba mais citações do que as que produz. “O índice, a meu ver, captura a essência do que é ser um líder”, afirma Matsas, que é professor do Instituto de Física Teórica da Unesp e integra a coordenação da área de física tanto da FAPESP quanto do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

O índice foi apresentado à comunidade científica por meio do artigo “What are scientific leaders? The introduction of a normalized impact factor”, que está disponível na rede de serviços arXiv.org, um portal com pré-prints (pré-publicações) de diversos campos da física, matemática, ciências não lineares, ciência da computação e biologia quantitativa. Submetido à revista Scientometrics, referência em cienciometria, a disciplina que busca gerar informações para estimular a superação dos desafios da ciência, o texto ainda está em processo de análise. Mas teve boa repercussão entre especialistas e ajudou a alimentar o eterno debate sobre a forma mais fidedigna de avaliar a produção acadêmica.

Para Rogério Meneghini, especialista em cienciometria e diretor científico da biblioteca eletrônica SciELO (Scientific Electronic Library Online), a proposta de Matsas é inovadora e tem potencial para ser utilizada. Segundo ele, o índice NIF em geral significa uma melhoria em relação ao chamado índice h, método proposto pelo físico Jorge Hirsch, da Universidade da Califórnia, em San Diego, em 2005, que ganhou larga utilização entre pesquisadores do mundo inteiro. “Com a popularização do índice h, vários pesquisadores vêm sugerindo formas de aperfeiçoá-lo ou evitar suas distorções”, diz Meneghini. “A proposta de Matsas, de certa forma, se integra a esse esforço.” Fácil de calcular, o índice h combina produtividade e impacto e é definido como o número “h” de trabalhos que têm pelo menos o número “h” de citações cada um. Trocando em miúdos: um pesquisador com índice h 30 é aquele que publicou 30 artigos científicos que receberam, cada um deles, ao menos 30 citações em outros trabalhos. A ponderação exclui trabalhos menos citados e também evita que as citações num único artigo de um autor contamine a contagem geral. Assim, dá a medida do tamanho e do impacto da produção acadêmica de um pesquisador.

Uma das vantagens do NIF é que, ao contrário do índice h, ele é pouco influenciado pela autocitação. Um pesquisador que, ao escrever um artigo, cite vários de seus artigos anteriores consegue facilmente elevar seu índice h, sem que isso necessariamente o qualifique como liderança científica. O NIF possui um antídoto contra esse expediente, pois as autocitações seriam computadas ao mesmo tempo no numerador, como citação recebida, e no denominador, como citação feita, minimizando sua influência.

Edgar Dutra Zanotto, professor do Departamento de Engenharia de Materiais da Universidade Federal de São Carlos (UFSCar), também elogia a proposta de Matsas. “Creio que vai na direção certa. É valor universal e robusto, que consegue distinguir os líderes dos não líderes”, afirma Zanotto, que há dois anos propôs um outro método para identificar lideranças acadêmicas, publicado na revista Scientometrics, calcado no somatório de fatores objetivos, como publicações e citações em revistas indexadas, e fatores qualitativos, como a capacidade de captar recursos, o fato de trabalhar em centros de renome internacional ou conquistas de prêmios importantes (ver Pesquisa FAPESP nº 124).

Ponderação
Para Zanotto, a principal qualidade do NIF é que ele fornece um valor de referência padrão para várias comunidades científicas, independentemente das tradições e dos costumes de cada uma delas. “Cada área do conhecimento tem um número de citações peculiar. Se um artigo na área de matemática cita seis outros artigos, um de bioquímica chega a citar 30 ou 40. Isso não interfere no NIF, pois a ponderação sempre vai basear-se num valor de referência igual a 1”, afirma o professor da UFSCar. Já o índice h é influenciado por essa distorção: líderes de áreas diferentes têm índices h em patamares distintos e não podem ser comparados. “Isso não quer dizer que a comunidade de matemática não tenha seus líderes, ou que os bioquímicos sejam em média mais competentes do que seus outros colegas”, explica George Matsas.

Para validar a metodologia, o pesquisador da Unesp examinou, no banco de dados científico ISI Web of Science, 223 físicos selecionados a partir de uma lista de 531 indivíduos reconhecidos em 2008 como outstanding referees pela Sociedade Americana de Física (APS). Dos 223 pesquisadores analisados, 31% deles foram considerados líderes e 69% seguidores, uma vez que o NIF destes foi menor que 1.

O conceito de NIF, é certo, também tem limitações. O método não é aplicável às ciências humanas, cuja produção acadêmica se expressa não majoritariamente em revistas indexadas internacionalmente, mas em livros ou capítulos de livros, para citar dois exemplos. E o método só produz resultados confiáveis em pesquisadores seniores, uma vez que pesquisadores em início de carreira têm o NIF influenciado pela produção acadêmica de seus orientadores ou superiores, com quem assinam os artigos.

Matsas admite que, se o método fosse adotado pela comunidade científica, poderia modificar comportamentos de pesquisadores interessados em elevar seu NIF, a exemplo do que aconteceu com o índice h. “Um modo de evitar que o NIF baixe seria procurar não fazer citações de outros artigos. Mas isso teria um limite. Um editor de revista acadêmica não aceitaria um artigo que deixasse de fazer citações indispensáveis”, afirma o professor da Unesp. Um aspecto positivo, segundo ele, é que dificilmente um pesquisador faria citações desnecessárias, aquelas que costumam ser feitas apenas para granjear simpatia de seus pares.

O criador do método ressalta que a intenção de seu método não é fazer julgamentos individuais, mas avaliar o vigor de comunidades científicas a fim de ajustar políticas científicas. “Se formos aplicar o método a comunidades brasileiras, provavelmente descobriremos que o número de líderes não é tão grande quanto o aumento vigoroso da produção acadêmica faria supor”, diz. Mas esse tipo de referência ajudaria os formuladores de políticas a favorecer a formação de líderes. “Precisamos de mais líderes. Queremos que estrangeiros venham trabalhar em projetos de brasileiros. O Brasil tem passado por etapas positivas. A ciência nacional tem vigor cada vez maior. Mas falta um passo derradeiro: precisamos de políticas que criem mais chances de que a pesquisa brasileira seja protagonista no cenário internacional.”

Republicar