Imprimir Republicar

BOAS PRÁTICAS

Pesquisadores desenvolvem algoritmo para medir a qualidade da revisão por pares

O nível de rigor e detalhamento de avaliações de manuscritos científicos tende a ser alto nos periódicos da área de física, independentemente do quão prestigiosa seja a publicação. A conclusão consta de análises feitas por uma equipe de pesquisadores de instituições da Itália, Espanha e Países Baixos, publicadas na revista científica PeerJ.

Sob coordenação do sociólogo Flaminio Squazzoni, da Universidade de Milão, na Itália, o grupo analisou pouco mais de 1,3 milhão de pareceres produzidos por revisores entre 2018 e 2020 para 740 revistas de várias áreas publicadas pela editora holandesa Elsevier – incluindo 161 títulos da área de física, como o Physics Letters B e o The Journal of Computational Physics. Os autores criaram um algoritmo baseado em técnicas de processamento de linguagem natural para filtrar os relatórios e determinar sua qualidade com base em 10 elementos específicos, entre os quais comentários sobre estudos anteriores, aplicabilidade do trabalho, impacto e limitações de resultados. Em seguida, atribuíram uma pontuação a cada elemento e calcularam o que chamaram de “score de desenvolvimento” dos documentos de revisão.

Os pareceres produzidos para revistas de física obtiveram os scores de desenvolvimento mais altos. Enquanto a pontuação das revisões nas ciências sociais e da vida variava de acordo com a qualidade do periódico, no das ciências físicas eles eram mais ou menos iguais, independentemente do fator de impacto da revista.

Segundo Squazzoni, é possível que os revisores nas ciências físicas tenham uma abordagem mais padronizada do que os cientistas de outras áreas. No estudo, os autores observaram ainda que os acadêmicos em início de carreira costumam produzir relatórios com scores mais altos do que os de cientistas sêniores. “Seus relatórios são mais construtivos, informativos, longos e detalhados”, disse Squazzoni à revista Physics Today. Revisões feitas por mulheres tendem a ter pontuações mais altas do que as dos homens, segundo o estudo. Da mesma forma, avaliações de manuscritos feitas por pesquisadores de países da Europa Ocidental tiveram pontuações mais altas do que as de revisores de outras partes do mundo.

Republicar