Qual é a forma mais justa de avaliar a produção de um pesquisador? O debate que desde há muito tempo anima a comunidade acadêmica ganhou novo combustível num artigo assinado por Edgar Dutra Zanotto, professor do Departamento de Engenharia de Materiais da Universidade Federal de São Carlos (UFSCar). Com base nos dez anos em que atuou como coordenador adjunto da diretoria científica da FAPESP – passaram por seu crivo cerca de 48 mil projetos neste período -, Zanotto propôs uma forma de classificar a produção de um pesquisador não apenas com os tradicionais parâmetros quantitativos (artigos publicados em revistas científicas e citações desses artigos em outros trabalhos), mas também em critérios de qualidade. O artigo de Zanotto foi aceito para publicação na revista Scientometrics, referência na cienciometria, disciplina que busca gerar informações para estimular a superação dos desafios da ciência. Intitulado “A pirâmide dos cientistas”, apresenta um elenco de situações e qualidades capazes de situar um pesquisador dentre quatro categorias propostas.
A principal delas, o topo da pirâmide, apresenta exigências nas quais raros pesquisadores brasileiros se enquadrariam. Duas delas são consagradas, como a publicação de trabalhos científicos nas mais importantes revistas científicas, como Science, Nature, Cell, New England Journal of Medicine e Physical Review Letters, e o índice na casa dos milhares das citações de seus artigos em publicações da base Thomsom ISI. As demais são qualitativas, como ter recebido os prêmios mais importantes de seu campo do conhecimento, trabalhar em centros de pesquisa ou laboratórios de nível internacional, ser contemplado com recursos abundantes, pertencer a academias científicas de prestígio e ao corpo editorial de publicações importantes, ter sido convidado para dar palestras e comandar mesas-redondas em congressos ou simpósios internacionais, ser citado em livros- texto de sua especialidade e na mídia. Ao todo, são 11 parâmetros. “Para pertencer a esta categoria, seria necessário cumprir pelo menos nove ou dez dos parâmetros”, diz Zanotto, que antevê algum desconforto caso sua metodologia ganhe adeptos: “No Brasil, creio que não mais do que uma dúzia de pesquisadores, aqueles poucos que estariam na ante-sala de um prêmio Nobel, se encaixaria no topo da pirâmide”, diz.
Degraus na escala
Nas outras três categorias, batizadas de classes A, B e C, os critérios são semelhantes, mas com rigor decrescente. Tomando como exemplo o parâmetro das citações, os de classe A deveriam ter pelo menos 500 artigos citados na base Thomson ISI, os de classe B ao menos uma centena e os de classe C pouca ou nenhuma citação. Os de classe A deveriam trabalhar em centros de pesquisa ou laboratórios internacionalmente conhecidos, os de classe B em centros de pesquisa razoáveis e os de classe C em centros incipientes.
Mas qual seria a serventia de uma classificação desse tipo? Zanotto acredita que o formato ajudaria os pesquisadores a perceber melhor seus pontos fortes e fracos e tentar galgar degraus na escala da pirâmide. Também crê que teria utilidade para que agências de fomento direcionassem seus recursos. “Cada agência estabeleceria seus critérios. Um deles poderia ser, por exemplo, que só um pesquisador do topo ou classe A está apto a liderar um projeto de porte como os temáticos da Fapesp”, afirma. Zanotto morou nos Estados Unidos em 2005, gozando um período sabático, e durante esse tempo refletiu sobre sua experiência em buscar uma forma mais fidedigna de classificar a produção de pesquisadores. O artigo é um resultado dessa reflexão. Os critérios da pirâmide referem-se a categorias que ele aprendeu a identificar em seu trabalho de avaliador.
A preocupação em buscar uma nova classificação para o desempenho dos pesquisadores vem alimentando outras propostas. Uma delas é o chamado índice h, proposto pelo físico Jorge Hirsch, da Universidade da Califórnia, em San Diego. O índice h é definido como o número “h” de trabalhos que tem pelo menos o número “h” de citações cada. Trocando em miúdos: um pesquisador com índice h 30 é aquele que publicou 30 artigos científicos, sendo que cada um deles recebeu ao menos 30 citações em outros trabalhos. A ponderação exclui trabalhos menos citados e também evita distorções (se as citações estão concentradas num único artigo de um autor, isso não contamina a contagem geral). Assim, dá a medida do tamanho e do impacto da produção acadêmica de um pesquisador.
Em seu estudo, Zanotto sugere que, embora corrija distorções, o índice h está longe da perfeição. Ele aplicou o índice à produção de quatro renomados físicos brasileiros (cujos nomes não revela para não personalizar o debate). Todos os quatro tinham índice h semelhante, entre 10 e 12. O mais produtivo deles, contudo, ostentava um índice de citações por artigo quatro vezes maior do que o último da lista. “É urgente encontrar uma forma mais holística de avaliar a qualidade, o talento e a reputação de um cientista”, diz o professor da UFSCar.
Mas a proposta de Zanotto também tem limitações. A principal delas, admitida pelo próprio autor, é sua aplicabilidade em certos campos do conhecimento, mas não em outros. Nas ciências humanas, o critério de contabilizar artigos e citações teria de ser substituído por outro, uma vez que a realidade é diferente das engenharias, medicina e das ciências exatas, e pouco é publicado em revistas internacionais. “Mas seria possível fazer adaptações. O essencial é manter o espírito de mostrar o prestígio que um pesquisador tem em seu meio. Ninguém consegue enganar o conjunto de seus pares”, diz Zanotto.
Para o especialista em cienciometria Rogério Meneghini, coordenador científico da Scielo, professor aposentado do Instituto de Química da Universidade de São Paulo e também ex-coordenador adjunto da diretoria científica da FAPESP, o valor do trabalho de Zanotto reside em levantar a discussão sobre o melhor critério de avaliação e também em demonstrar a importância da avaliação dos pares. “Na prática, já é o que acontece quando se faz um concurso para contratação de professores em que temos 40 candidatos e apenas duas ou três vagas”, diz Meneghini. “Todos esses critérios qualitativos são contemplados pelos avaliadores e produzem uma escolha mais justa”. Meneghini, contudo, acha difícil transpor tais critérios para uma avaliação sistemática e de massa. “Há dificuldades de fazer comparações objetivas. Quem vai definir se uma cadeira numa determinada academia científica vale tanto no currículo de um pesquisador quanto outro assento que consta na biografia de outro pesquisador?”, pergunta Meneghini. “Sempre há margem para algum tipo de distorção. A quantidade de fundos que um pesquisador recebe às vezes tem mais a ver com uma prioridade de governo do que propriamente por seu desempenho”.
Zanotto defende seu método. “É possível haver distorção em um ou outro parâmetro, mas não no conjunto deles”, afirma. O pesquisador faz questão de avisar que não criou a metodologia em proveito próprio. “Eu não me encaixaria no topo da pirâmide”, diz ele.
Republicar