Imprimir PDF

Avaliação

A escala da discórdia

Novos critérios do Sistema Qualis, da Capes, recebem críticas da comunidade científica

MARCOS GARUTI

Setores da comunidade científica receberam com críticas as mudanças no Sistema Qualis, ferramenta usada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) para classificar os periódicos nos quais os programas de pós-graduação publicam sua produção científica. Enquanto o sistema de categorização anterior dividia os veículos segundo sua circulação (local, nacional e internacional) e a sua qualidade (A, B, C), a nova escala é formada por oito estratos (A1, A2, B1 a B5 e C). O estrato C tem peso zero. A avaliação da qualidade da produção passa a ser medida primordialmente pelo fator de impacto (FI) dos periódicos, independentemente do âmbito da sua circulação. O FI, utilizado como ferramenta de avaliação desde os anos 1960, busca medir o impacto científico de uma publicação levando em conta o índice de citação dos trabalhos publicados em outros artigos.

O denominador comum das críticas vincula-se ao peso exagerado que o fator de impacto passa a ter na classificação da Capes e seus efeitos sobre publicações mal avaliadas – é previsível que elas passem a ser evitadas pelos pesquisadores e tenham ainda mais dificuldade em se consolidar. A reação mais contundente veio da área de química. Em novembro de 2008, o Fórum de Coordenadores de Pós-graduação em Química reuniu-se em Ribeirão Preto, interior paulista, com uma agenda que incluía a discussão da avaliação dos cursos. Após dois dias de debates, foi divulgada uma moção que considerou “inadequada” a nova classificação da Capes. Em sua primeira edição de 2009, a revista Química Nova, vinculada à Sociedade Brasileira de Química, reforçou a posição assumida pelo fórum. Um editorial assinado por dois dos pesquisadores da área mais produtivos do país, Fernando Galembeck, da Universidade Estadual de Campinas (Unicamp), e Jailson Bittencourt de Andrade, da Universidade Federal da Bahia (UFBA), ao mesmo tempo que ressaltava a importância da avaliação expunha o descontentamento com a mudança no Qualis.

De acordo com o editorial, a valorização excessiva da visibilidade e da inserção internacional dos periódicos, medida pelo FI, promove diferenciações artificiais entre publicações de subáreas da disciplina. “Considerando-se uma área específica como a química, a comparabilidade entre os periódicos utilizando o fator de impacto (FI) incorre em sérios desvios. Por exemplo, o periódico Inorganic Chemistry dificilmente apresentará um FI maior do que Analytical Chemistry, o que não significa que não haja artigos de excelente qualidade nas duas disciplinas. Simplesmente a visibilidade das inovações metodológicas analíticas em outras disciplinas é maior do que a da química inorgânica”, escreveram Galembeck e Andrade.

De acordo com Andrade, a Capes deveria sofisticar seu esquema de avaliação. “O sistema brasileiro de avaliação tem sido muito importante para elevar a qualidade da pós-graduação, sou inteiramente favorável a ele”, afirma o professor. “Mas o fator de impacto não é uma medida absoluta de qualidade. É preciso criar um sistema mais complexo, que dê um peso maior a outros indicadores, como, por exemplo, o destino dos egressos dos programas de pós-graduação. Há programas cujos doutores não conseguem depois ser aprovados em concursos de professores das universidades públicas. Esse indicador fala mais sobre a qualidade do que o número de papers publicados”, afirma.

Limite
Lívio Amaral, diretor de avaliação da Capes, diz que a mudança foi necessária porque a escala adotada anteriormente perdera sua capacidade de discriminar os programas de pós-graduação. “Deve-se sempre enfatizar que a avaliação dos programas de pós-graduação considera um conjunto de indicadores e que o Qualis Periódicos aplica-se apenas a um deles, o que se refere à produção intelectual”, disse Amaral. Ele argumenta que a estratificação foi realizada por cada uma das 47 coordenações de áreas da Capes e que nem todas elas trabalham com FI. Também lembra que essa medida é atribuída por um conjunto de procedimentos independentes da agência. “Como sabemos, para que uma dada revista tenha um fator de impacto, ela deve ser indexada e analisada no ISI-Thomson. Uma vez atribuído um fator de impacto, ele é um e um só, seja no Brasil, seja em qualquer outro país no mundo”, afirmou.

O editorial da Química Nova repercutiu em outras das chamadas ciências duras. No Boletim da Sociedade Brasileira de Física, Silvio Salinas, professor do Instituto de Física da Universidade de São Paulo, endossou a crítica. “Francamente, acho que atingimos um limite perigoso, que coloca em risco o próprio conceito de avaliação. Por exemplo, o que significa classificar Physical Review D como A2 e Physical Review B como B1? Por acaso os particuleiros são melhores do que os solidistas?”, pergunta o professor. “Acho que está na hora de refletir sobre essa numerologia, que pouco a pouco se acentua em todas as áreas, impulsionada pelas facilidades da informática e por uma vaga ideia de globalização. Será que a numerologia vai mesmo substituir a avaliação dos pares?”, diz Salinas.

O professor da USP toca num ponto-chave, que é a utilização cada vez mais recorrente de critérios bibliométricos como ferramentas de avaliação. Eles vêm substituindo sistemas mais complexos, como a avaliação por pares (peer review), na qual os membros de uma comunidade acadêmica mensuram a qualidade de um determinado trabalho, como faz a FAPESP na avaliação dos projetos de pesquisa que financia. A discussão é internacional. O Reino Unido, por exemplo, planeja a substituição de Research Assessment Exercise (RAE), que periodicamente avalia a qualidade da pesquisa de suas universidades e orienta a distribuição de recursos e é baseado primordialmente em peer review. No lugar, deve surgir um sistema mais simples e barato, que utilizará mais crítérios bibliométricos como o fator de impacto, mas preservará uma boa dose de peer review (ver Pesquisa FAPESP nº 156). O formato do novo sistema ainda está em construção e inspira controvérsias na comunidade acadêmica britânica. No início do ano, editores de publicações internacionais da área de humanidades e ciências sociais lançaram um manifesto insurgindo-se contra uma proposta da União Europeia que buscava categorizá-las em três escalas segundo seu fator de impacto e disseminação. A ideia da escala acabou abandonada (ver Pesquisa FAPESP nº 157).

Rogério Meneghini, que é coordenador científico da biblioteca eletrônica SciELO Brasil, explica que a utilização crescente de indicadores bibliométricos deve-se à necessidade de avaliar uma produção científica que cresce em ritmo veloz. “O fator de impacto é uma ferramenta adequada para avaliar a produção acadêmica de grupos de pós-graduação, pois mesmo desvios para cima ou para baixo que possam surgir na avaliação de cada pesquisador são compensados quando se vê o grupo inteiro”, afirma. Lívio Amaral, da Capes, acrescenta:  “O uso do Qualis Periódicos é totalmente inadequado na avaliação de pesquisadores. Ele se destina à análise de programas de pós-graduação, e não de pesquisadores individualmente”.

Condenação 
Um grande risco embutido na mudança do Qualis, dizem seus críticos, é a condenação de publicações importantes, mal avaliadas por razões que vão da periodicidade irregular à escassez de recursos. É razoável supor que elas sejam menos procuradas por pesquisadores de peso e mergulhem num círculo vicioso de perda de prestígio. O zoólogo Miguel Trefaut Rodrigues, professor do Instituto de Biociências da USP, dá exemplos em sua área. “Não posso aceitar a ideia de que publicações tradicionais e de alta penetração e respeito internacional como Arquivos do Museu Nacional, Boletim do Museu Nacional, Arquivos de Zoologia, Boletim do Museu Goeldi e algumas publicações novas com corpo editorial de alta qualidade venham listadas com B5, ao lado de panfletos e jornalecos de divulgação feitos por amadores”, disse Trefaut. Ele lembra que algumas dessas publicações não têm índice de impacto porque sua periodicidade é irregular, mas tiveram e mantêm uma importância significativa no desenvolvimento da ciência brasileira.

A falta de periodicidade, ele explica, se deveu sobretudo à escassez de recursos, mas elas serviram para informar a comunidade internacional sobre avanços do conhecimento, como a descrição de novas espécies, uma etapa que já não existe mais nos países de Primeiro Mundo que já têm a fauna conhecida. “Trata-se de uma completa falta de visão da realidade da ciência brasileira. Não estamos no Primeiro Mundo. Se hoje temos excelentes bibliotecas zoológicas com coleções completas de periódicos estrangeiros no Museu de Zoologia da USP, foi graças à permuta que fizemos com as publicações internacionais, utilizando nossas revistas como moeda de troca. Isso e o elevado conceito que ainda têm revelam a importância que elas tiveram no avanço da ciência nacional. Vamos jogar isso no lixo?”

A socióloga da ciência Lea Velho, professora da Universidade Estadual de Campinas, chama a atenção para o impacto que a perda de prestígio das publicações pode acarretar. “Na maioria dos campos do conhecimento há uma diversidade de paradigmas e publicações que os contemplam – um economista marxista não publica seus papers em periódicos de orientação neoclássica, por exemplo. O risco é tirar a voz de paradigmas minoritários e exigir que se publique tudo no chamado mainstream. Isso é uma loucura para a ciência”, afirma. Segundo a professora, as áreas multidisciplinares são especialmente afetadas pelos critérios da Capes. “Há um discurso segundo o qual a multidisciplinaridade é o caminho a ser seguido, pois enfrenta os problemas da vida real. Mas os pesquisadores dessa área publicam em periódicos novos e pouco citados, porque suas comunidades são ainda pequenas e incipientes. O viés da Capes é notadamente disciplinar: quem quiser ser bem avaliado terá que publicar em áreas consolidadas”, afirma Lea Velho. Ela faz outra ressalva: pesquisas de interesse apenas regional também sairão perdendo. “Já há uma tendência na pesquisa agrícola de prestigiar temas de interesse internacional em detrimento da solução de problemas da agricultura nacional, que sempre foi a tônica do Brasil nessa área.”

Falta de critério
Rogério Meneghini faz uma crítica à falta de critério na política de avaliação da Capes. “A maioria dessas publicações contou nos últimos anos com apoios financeiros do governo federal, como os editais do CNPq. A mudança na avaliação prejudica esse investimento”, afirma. Segundo ele, o impacto alcançado por publicações de muitos países desenvolvidos se deve ao incentivo para que as publicações melhorem. Isso vem sendo feito no Brasil por meio da SciELO, financiada pela FAPESP, que estimulou a adoção de normas rígidas de qualidade pelos periódicos e os tornou mais visíveis, graças a um sistema de acesso aberto. “As publicações da SciELO beneficiaram-se enormemente desse estímulo”, afirma Meneghini.

Em carta enviada ao presidente da Capes, Jorge Guimarães, no final de maio, 78 pesquisadores de botânica e zoologia reclamaram do rebaixamento de periódicos de suas especialidades pelo novo Qualis, apesar dos esforços feitos para melhorar a sua qualidade. “Nesse sentido, apontamos como um caminho alternativo para as revistas nacionais o uso pela Capes do sistema SciELO, que vem avaliando e monitorando há anos o parque de revistas científicas brasileiras”, diz o manifesto, encaminhado à Capes por Rodney Ramiro Cavichioli, presidente da Sociedade Brasileira de Zoologia. Hussam Zaher, professor do Instituto de Biociên­cias da USP e um dos coordenadores do manifesto, diz que a Capes, ao adotar um sistema de avaliação que privilegia um parâmetro, acaba decidindo sozinha sobre uma seara que diz respeito a outros atores, caso, por exemplo, do Ministério da Ciên­cia e Tecnologia.  “O cenário é muito complexo e não pode ser gerenciado de uma forma simplista. Não devemos rejeitar avaliações – o que pedimos é que o sistema seja bem pensado, bem articulado”, diz o professor, que é editor das revistas do Museu de Zoologia da USP. “Gostaria de ver um sistema que qualificasse nossas revistas e nos ajudasse a competir. Esse sistema vai levar à extinção de publicações. Não acho que seja salutar reduzir a possibilidade de expressão da comunidade científica brasileira”, afirmou.

Mas há países, diz Rogério Meneghini, que seguem uma estratégia diferente. Ele cita exemplos como o da Suécia ou da Holanda, que pouco se preocupam com a manutenção de suas publicações, mas têm uma estratégia clara de cultivar editores nos comitês das publicações internacionais. “Quem está nesses comitês tem poder de decisão, e isso se traduz na aceitação dos bons artigos publicados no país. Mas o número de editores brasileiros em publicações internacionais ainda é muito pequeno”, afirma Meneghini.

Republicar