Mobilizados para produzir conhecimento relevante, os pesquisadores costumam ficar apreensivos conforme o tempo passa e aquele artigo em que investiram grande esforço e entusiasmo não é mencionado nas referências de papers de outros autores. A preocupação se justifica, já que o número de citações de um artigo é considerado uma boa medida de seu impacto – um número alto indicaria que sua contribuição foi reconhecida pela comunidade científica a ponto de servir de parâmetro para novos estudos. A ideia de que artigos sem citação são inúteis é questionada em um trabalho da edição de julho da revista Scientometrics. De autoria de Jianhua Hou e Jiantao Ye, pesquisadores da Escola de Gestão de Informação da Universidade Sun Yat-Sen, em Guangzhou, na China, o levantamento analisou 1.068 documentos publicados entre 2006 e 2014 na respeitada revista PLOS ONE, que não haviam recebido uma citação sequer cinco anos após sua divulgação.
Hou e Ye constataram que, a despeito desse baixo desempenho, os artigos sem citação tiveram sim repercussão, que pode ser medida pela leitura de seu conteúdo – a PLOS ONE é uma revista de acesso aberto –, pela contagem de downloads e de arquivamentos dos papers em ferramentas acadêmicas, como Mendeley e o CiteULike, e ainda pela discussão de seus resultados, seja no espaço para comentários da própria revista, seja em mídias sociais como Facebook, Twitter e Wikipedia. A ressonância dos artigos sem citação nesses meios foi comparada com a de 586 artigos altamente citados, publicados no mesmo período na mesma PLOS ONE. A conclusão foi de que, no rol dos nunca citados, o 1% com maior índice de leitura, downloads e discussões teve desempenho melhor nesses quesitos que o de 31% dos papers altamente citados.“Esses artigos não citados exercem influência em plataformas de mídias sociais”, escreveram os autores.
Saber por que papers não recebem citações desafia a compreensão dos pesquisadores e se tornou um tema de investigação no campo da cientometria, a disciplina que estuda aspectos quantitativos da ciência. Os trabalhos sobre o assunto revelam um panorama repleto de nuanças. Existe de fato uma grande quantidade de artigos que não são citados simplesmente porque lhes falta qualidade ou originalidade. Um estudo depositado em dezembro de 2019 no repositório de preprints arXiv analisou uma amostra de estudos publicados em 2014 em 250 revistas científicas apontadas como “predatórias”, aquelas que não têm um processo de revisão por pares autêntico e publicam apenas em troca de pagamento. De acordo com o levantamento, produzido por pesquisadores da Escola de Economia Hanken e da Universidade de Tampere, na Finlândia, seis em cada 10 artigos das revistas predatórias não receberam citação cinco anos depois de publicados. O resultado foi comparado com 250 documentos selecionados aleatoriamente na base Scopus, composto por periódicos que seguem padrões de qualidade. Nesse grupo de controle, só 6% dos papers não foram citados.
Mas o conjunto de variáveis que leva um artigo a não ter repercussão aparente extrapola largamente a questão da qualidade. Índices de não citação variam bastante entre as áreas do conhecimento e refletem práticas de comunicação científica peculiares de cada disciplina. Análise realizada em 2018 pela revista Times Higher Education (THE) a partir de 10 mil artigos indexados na base Scopus constatou que as artes visuais e cênicas eram as áreas com o maior número de documentos sem citação – 77% dos papers publicados em 2012 não haviam sido citados até 2017. Em seguida, apareciam a literatura e a teoria literária, com 75%. No extremo oposto, apenas 3% dos artigos sobre catálise, um subcampo da química, não se tornaram referência de outros trabalhos (ver quadro).
A aparente desvantagem de artes e humanidades tem uma justificativa conhecida: sua produção mais robusta é feita na forma de livros ou de capítulos de livros e eles é que são mais mencionados em referências. Mesmo algumas áreas das ciências duras, como engenharias, têm uma quantidade significativa de artigos não citados. “O foco das engenharias é fazer artefatos e testes e trazer isso para uma aplicação real, o que toma tempo. Publicar não é a primeira prioridade”, explicou à THE o engenheiro industrial Frede Blaabjerg, da Universidade de Aalborg, Dinamarca. Segundo ele, os subcampos da engenharia têm comunidades pequenas, o que resulta em uma quantidade restrita de pesquisadores que podem citar um artigo.
Papers que descrevem novas espécies vivas são publicados todos os anos em grande quantidade e, em geral, recebem poucas citações – o que não tira sua importância. O botânico Michael MacRoberts, da Universidade do estado de Louisiana, nos Estados Unidos, publicou um artigo em 2010 sobre deficiências na análise de citações em que faz referência a um trabalho de sua autoria: a descrição de uma espécie de musgo no estado do Texas. Essa citação à própria descoberta foi a única que o trabalho de MacRoberts teve, mas o musgo está registrado em atlas de plantas e passou a integrar bancos de dados on-line, consolidando sua contribuição ao conhecimento. O odontologista Sigmar de Mello Rode, presidente da Associação Brasileira dos Editores Científicos (Abec), afirma que o peso atribuído a citações vem sendo redimensionado à medida que surgem indicadores alternativos de impacto. “Quando um autor tem sucesso em disseminar o conhecimento que produziu em mídias sociais e científicas e, com isso, traz benefícios à sociedade, o número de citações que obteve pode ter importância secundária, ainda que a métrica tenha relevância acadêmica”, diz Rode, que é pesquisador da Universidade Estadual Paulista (Unesp), em São José dos Campos.
Revistas de caráter interdisciplinar tendem a receber mais citações, mas também são influenciadas por características do campo do conhecimento ao qual estão mais ligadas. Pesquisadores da Faculdade de Saúde Pública da Universidade de São Paulo (FSP-USP) analisaram, em 2017, a ocorrência de artigos sem citação em oito revistas do Brasil da área de saúde pública e observaram uma grande disparidade entre elas. O periódico que teve o índice mais desfavorável foi aquele que mais se aproximava da área das humanidades: História, Ciência, Saúde – Manguinhos, publicado pela Casa de Oswaldo Cruz desde 1994. No rol de artigos publicados entre 2008 e 2012, 58% não haviam sido citados três anos depois de divulgados. Na outra ponta, a Revista de Saúde Pública e os Cadernos de Saúde Pública, com uma identificação mais forte com o campo da biomedicina, tiveram apenas 6% de documentos não citados.
O grupo segue investigando as razões que levam um artigo a se tornar ou não referência. Na pesquisa de doutorado da nutricionista Milena Maria de Araújo Lima Barbosa estão sendo investigados os atributos dos artigos da área de nutrição muito citados. Notou-se, por exemplo, que papers resultantes de projetos financiados por agências de fomento recebem mais citações do que os não financiados. “Provavelmente, esse elemento dá credibilidade ao artigo no momento da seleção e indica que o trabalho já passou por um crivo de qualidade”, diz a coordenadora do grupo, Angela M. Belloni Cuenca, pesquisadora da FSP-USP e editora-executiva da Revista de Saúde Pública. Artigos publicados por múltiplos autores, com colaboração entre países e em revistas interdisciplinares, também são mais citados. Foram observados ainda fatores ligados a baixo número de citações, como títulos abrangentes que informam apenas o tema do artigo, sem dar ao leitor uma ideia de qual foi a conclusão do estudo. Resumos mais longos foram associados a maior número de citações, mas os autores ressaltam: “Na hora de escrever o resumo, é importante não desperdiçar palavras e escolher aquelas que podem potencializar as chances de o artigo ser encontrado por ferramentas de busca e ampliar sua visibilidade na internet. Evitar repetições utilizando sinônimos também ajuda”.
Artigos publicados em acesso aberto tendem a ser mais citados do que os disponíveis em revistas por assinatura, mas isso só é válido para periódicos de boa reputação, aqueles que estão entre os que têm mais citações em cada disciplina. Um estudo publicado em julho na revista Scientometrics por pesquisadores espanhóis da Universidade de Las Palmas de Gran Canaria mostrou que, entre revistas de acesso aberto com alto impacto, há de fato uma propensão maior de atrair citações do que periódicos de acesso restrito. Mas essa vantagem não é observada em publicações de acesso aberto com impacto mais baixo, como é o caso de muitas das revistas chamadas predatórias.
A origem dos artigos e o idioma em que são escritos são fatores decisivos para que um paper seja – ou não – citado. Trabalhos em inglês, que é a língua franca da ciência, são em geral mais citados do que em outros idiomas, assim como os de autores de países centrais, como os Estados Unidos e os da Europa, têm mais chance de ser mencionados do que os de países como China, Rússia, Índia e Brasil. “Se as bases de dados internacionais incluíssem mais periódicos com idioma regional, o número de trabalhos sem citação seria muito menor”, disse à revista Nature o cientista da informação Vincent Larivière, da Universidade de Montreal, Canadá. Ter certeza absoluta de que um artigo não foi citado é, por si só, um desafio – pois essa informação é captada de forma particular em cada base de dados. Em 2011, um levantamento publicado no Journal of the Association for Information Science and Technology estimou que 10% dos trabalhos produzidos por cientistas laureados com o Nobel não recebiam citações. No ano seguinte, o biólogo checo Petr Heneberg, da Universidade Charles, em Praga, analisou a produção indexada na base Web of Science de 10 ganhadores do prêmio e chegou a um índice bem menor, em torno de 1,6%. E quando foi cruzar os dados com os da base Google Scholar vislumbrou um número ainda inferior, de 0,3%.
A ideia de que parte da produção científica não tem impacto assombra pesquisadores desde o início dos anos 1990, quando um estudo da revista Science estimou em 55% a quantidade de documentos publicados entre 1981 e 1985 que não tinham recebido nenhuma menção cinco anos após publicados. A pesquisa, contudo, incluía em seu escopo não só artigos científicos, mas também correspondências, correções e resumos de reuniões científicas publicados em periódicos, que não costumam ser citados. Em 2017, Larivière evidenciou uma situação mais alentadora. Constatou que, dos 39 milhões de artigos originais e de revisão publicados entre 1900 e o final de 2015 cadastrados na base Web of Science, 21% não haviam sido citados – a maioria deles em revistas de pouca expressão. Nos periódicos conhecidos e com boa reputação, o índice era muito pequeno. De acordo com o pesquisador, observa-se uma redução progressiva do número de documentos não citados nas últimas décadas, já que a internet tornou mais fácil encontrar e citar papers relevantes. Mas, segundo Larivière, isso não significa necessariamente que a ciência produzida hoje tenha mais impacto. Com o crescimento exponencial da produção científica mundial nas últimas duas décadas, a quantidade de referências nos artigos multiplicou-se e se tornou mais provável receber alguma citação.
Para Sigmar Rode, a grande quantidade de artigos não citados também é reflexo de uma prática equivocada no campo da comunicação científica, que é o número exagerado de periódicos em diversos campos do conhecimento – com isso, eles tendem a publicar trabalhos que trazem poucas contribuições novas e que não receberão citações. Ele menciona como exemplo a revista que editou por muitos anos, a Brazilian Oral Research, que foi o resultado da fusão, nos anos 1990, de três publicações científicas sobre a odontologia que eram editadas por diferentes grupos da USP. “A fusão foi estimulada pela Sociedade Brasileira de Pesquisa Odontológica, que tinha recursos para patrocinar a nova publicação. Esse tipo de discussão acontece em muitos grupos de revistas, mas costuma esbarrar em um problema: quem vai abrir mão de sua publicação para se fundir com a do outro grupo?”, pergunta Rode. Para ele, é preciso separar as revistas científicas que desejam competir internacionalmente daquelas que se propõem a dar contribuições importantes, mas que interessam a comunidades restritas. “O melhor exemplo é a Revista da Associação Paulista dos Cirurgiões Dentistas, que há anos é uma referência por divulgar em português artigos sobre casos clínicos direcionados para os profissionais. Ela tem um enorme impacto entre milhares de dentistas brasileiros, mas não está indexada em bases de dados internacionais nem mede seu fator de impacto por meio de citações, porque isso não tem a ver com o seu objetivo.”
Republicar