A avaliação quadrienal dos programas de pós-graduação do Brasil, utilizada para aferir a qualidade dos 6,5 mil cursos de mestrado e doutorado do país e nortear a distribuição de bolsas e verbas, está sofrendo uma contestação na Justiça que é inédita em seus 45 anos de existência. Em resposta a uma ação civil pública do Ministério Público Federal (MPF), a juíza Andrea de Araújo Peixoto, da 32ª Vara Federal do Rio de Janeiro, concedeu em setembro uma liminar determinando a suspensão da avaliação do período 2017-2021, que estava em sua etapa final e deveria divulgar resultados em dezembro.
A alegação dos procuradores Jessé Ambrósio dos Santos Jr. e Antônio do Passo Cabral é que a Coordenação Nacional de Aperfeiçoamento de Pessoal de Nível Superior (Capes), agência do Ministério da Educação (MEC) responsável pela análise e classificação dos cursos, modifica os parâmetros ao longo dos quatro anos do processo e isso gera insegurança jurídica para os programas. “Aplicam-se retroativamente critérios novos, às vezes, definidos no final do período de avaliação, sendo impossível às instituições reverem atos anteriores e readequarem suas rotinas e procedimentos para atender aos novos parâmetros pelos quais serão avaliadas”, escreveram os procuradores. “Há violação ao direito de toda a sociedade de ser fiscalizada adequadamente pela administração pública e de ver operada uma distribuição correta e impessoal de verbas públicas, o que é desvirtuado e impactado pela avaliação ilícita da Capes em relação aos cursos fiscalizados.”
Eles sugerem a adoção de critérios idênticos aos utilizados na avaliação anterior, encerrada em 2016, para mensurar a qualidade dos cursos em 2021. A ação tem como base um inquérito do MPF instalado em 2018, que investiga as regras adotadas pela Capes e foi motivado por críticas, que são habituais na época da divulgação dos resultados, formuladas por coordenadores de programas insatisfeitos com a metodologia adotada ou com as notas que receberam. A juíza fluminense deu um prazo de 30 dias para a Capes informar os critérios adotados.
O embargo do processo de avaliação causou perplexidade no ambiente acadêmico. “A insegurança é muito grande”, afirma Ricardo Pimenta Bertolla, pró-reitor adjunto de Pós-graduação da Universidade Federal de São Paulo (Unifesp). “Os responsáveis pelos programas preencheram relatórios com uma grande quantidade de informações colhidas ao longo de quatro anos e a maioria se preparou, investiu e promoveu aperfeiçoamentos com expectativa de melhorar suas notas. O fluxo da avaliação é muito bem compreendido pelo sistema de pós-graduação. A suspensão desmerece todo esse esforço.” Maria Valnice Boldrin, pró-reitora de Pós-graduação da Universidade Estadual Paulista (Unesp), conta que, em 2020, 24 programas da instituição foram alvo de fusões, gerando 12 programas novos – o objetivo era unir esforços e dar mais robustez aos cursos e consistência à formação dos mestres e doutores. “Há uma grande expectativa para saber como será o desempenho desses e também dos outros 116 programas, pois com a avaliação podemos rever metas e traçar políticas mais assertivas.”
A Capes monitora a qualidade da pós-graduação brasileira desde 1976 e segue há mais de duas décadas um modelo em que os responsáveis pelos programas preenchem periodicamente um questionário com informações sobre vários quesitos. Tais dados são analisados primeiro por comitês de especialistas de 49 áreas do conhecimento, aos quais cabe apurar os resultados e recomendar notas. Em um segundo momento, o Conselho Técnico-Científico da Educação Superior (CTC) da Capes, composto por coordenadores das áreas dos programas, revisa os resultados e define as notas.
A decisão judicial traz incertezas porque a sistemática criticada pelo Ministério Público é considerada confiável pela comunidade científica. De acordo com Carlos Gilberto Carlotti Júnior, pró-reitor de Pós-graduação da Universidade de São Paulo (USP), há uma certa confusão na ideia de que os critérios são definidos a posteriori e têm efeito retroativo. “A avaliação tem três focos: a estrutura dos programas, a produção dos docentes e a produção dos egressos. Isso está definido desde o início”, explica. Na metade do período, após os dois primeiros anos do quadriênio, é realizada uma reunião chamada de “meio-termo”, em que se analisa o andamento da coleta de dados e se aprovam documentos consolidando critérios.
O que é calibrado perto do final do quadriênio é o peso atribuído aos trabalhos científicos de alunos e pesquisadores. Nos programas em que essa produção é baseada em artigos, as notas são norteadas por uma tabela de classificação de revistas conhecida como Qualis Periódicos, vinculada a índices de citações das publicações. Mas o peso conferido aos papers pode vir a sofrer ajustes por decisão de comissões formadas pelos coordenadores de área, a depender do conjunto de dados coletados sobre a produção científica. “Essa definição fica para o final porque a avaliação é de caráter comparativo e seu objetivo é mostrar a posição dos programas uns em relação aos outros em 2021”, explica Carlotti. “É preciso conhecer primeiro o universo da produção no período para definir uma métrica baseada na realidade desses quatro anos, que, espera-se, esteja em um patamar mais elevado do que nos quatro anos anteriores.” O risco, ao se adotar os mesmos critérios do processo anterior, é de que muitos cursos alcancem o patamar mais alto e não haja uma ferramenta para identificar nuanças e distinguir a excelência. As notas vão de 3 a 7. “Também não faria sentido usar dados da avaliação anterior porque os índices de impacto das publicações, que orientam o Qualis, mudam todos os anos. Haveria o perigo de valorizar uma revista que perdeu reputação ou menosprezar uma produção importante.”
Para o presidente da Sociedade Brasileira para o Progresso da Ciência (SBPC), Renato Janine Ribeiro, que já foi diretor de avaliação da Capes, a judicialização do processo cria um problema delicado, que é a Justiça se envolver em um assunto que ela pode não ter condição de compreender e examinar adequadamente. “A situação é semelhante a você ter um concurso para professor titular de língua grega e um juiz impugnar o resultado. É muito pouco provável que o juiz saiba mais sobre a competência dos candidatos do que a banca que os avaliou”, afirma. Segundo Ribeiro, a turbulência provocada pela suspensão pode causar prejuízos à produção de conhecimento, já que os programas se espelham na classificação para planejar seu futuro.
“A ciência brasileira tem uma relação umbilical com a pós-graduação”, observa o neurocientista Luiz Eugênio Mello, diretor científico da FAPESP. “A paralisação do processo de avaliação da Capes tira o norte da produção da ciência e deixa em voo cego um importante vetor do desenvolvimento do país.” De acordo com a bioquímica Helena Nader, vice-presidente da Academia Brasileira de Ciências (ABC), a classificação dos cursos é a grande responsável por ampliar a excelência dos programas de pós-graduação, que é onde se faz pesquisa de alto nível nas universidades, e por permitir que o Brasil forme hoje mais de 24 mil doutores por ano. “Os critérios são definidos por pesquisadores e discutidos de forma exaustiva. É natural que alguns programas fiquem chateados com seus resultados ou se julguem injustiçados. Reclamar e propor aperfeiçoamentos é uma coisa. Outra é suspender a avaliação. Isso enfraquece um dos pilares da ciência brasileira.”
Procurada por Pesquisa FAPESP, a presidente da Capes, Cláudia Mansani Queda de Toledo, informou por meio de nota que está procurando soluções para dar continuidade à avaliação e defendeu o processo, que tem a participação de mais de 1,5 mil pesquisadores nas 49 coordenações de áreas do conhecimento. “Reitera-se publicamente a gratidão por todo o empenho demonstrado pelos conselheiros e avaliadores que, ao longo dos últimos anos, participaram de todas as etapas da avaliação, bem como pelo espírito público que pautou a atuação de todos.”
Reclamar e propor aperfeiçoamentos é uma coisa. Outra é suspender a avaliação. Isso enfraquece um dos pilares da ciência brasileira, diz Helena Nader, da ABC
A suspensão ocorre em um momento de turbulência na Capes. Nos dias que antecederam a decisão da Justiça, foram destituídos os membros do Conselho Técnico-Científico (CTC), o colegiado que delibera sobre a avaliação quadrienal. A decisão foi tomada sob o argumento de que a composição estava irregular e continha 20 membros representando as coordenações de áreas, quando o estatuto da agência prevê apenas 18. Houve temores de que o processo de avaliação estivesse em risco, mas, na semana seguinte, foi convocada uma eleição que trouxe de volta 18 dos membros originais – dois voluntariamente abriram mão de participar para adequar o conselho às regras vigentes.
Antes da dissolução, a relação entre o CTC e a direção da agência já andava tensa. Em 10 de setembro, a presidência da Capes publicou uma portaria consolidando as regras do Qualis Periódicos para a avaliação de 2021, que ampliou a flexibilidade às coordenações de área para modular o peso atribuído a publicações científicas, contrariando o CTC. Também foram inseridos dispositivos que geraram controvérsia, como a possibilidade de que algumas áreas escolhessem entre regras sobre o Qualis estabelecidas em 2021 ou em 2016. A portaria foi igualmente criticada por aspectos que alguns setores esperavam ver atualizados, mas que permaneceram iguais. “A avaliação continua a se basear em um impacto esperado da produção científica – que é o fator de impacto de revistas – e não no efetivamente observado, que são as citações recebidas por cada artigo produzido por docentes e alunos dos programas de pós-graduação”, afirma Abel Packer, coordenador da biblioteca de revistas de acesso aberto SciELO Brasil. “Mas a principal decepção é que a portaria se fechou a conceitos da chamada ciência aberta, ao excluir da avaliação revistas que adotam algum tipo de revisão aberta por pares, como a British Medical Journal, por considerar que violam boas práticas de publicação. Isso parece estender-se a revistas que em número crescente aceitam produção científica publicada previamente sem revisão por pares em servidores da web especializados, na forma conhecida como preprints.”
Boldrin, da Unesp, observa que a relação tensa entre a Capes e a comunidade científica tem pano de fundo mais amplo do que os impasses na avaliação. “Nos últimos quatro anos, já tivemos quatro presidentes da Capes e essa rotatividade criou incertezas em relação a políticas fundamentais”, afirma. Ela cita como exemplo o Programa Institucional de Internacionalização das Universidades Brasileiras (PrInt), lançado pela Capes em 2017 com o objetivo de estimular parcerias internacionais nos programas de mestrado e doutorado. A agência selecionou 36 instituições para participar do PrInt, que se credenciaram a receber recursos federais – a Unesp foi uma das instituições contempladas. “Em 2020, por conta da pandemia, não foram concedidas bolsas de mobilidade, e agora em 2021 o programa foi suspenso. Já estamos no final do ano sem que os recursos tenham sido destinados”, conta. “É lamentável, porque se trata de uma iniciativa muito bem estruturada, que prometia investir numa política de internacionalização mais efetiva dos programas e fomentar a interlocução entre grupos de pesquisa alinhados a 70 redes de pesquisa com membros nacionais e internacionais. Esperamos que tudo se normalize após a avaliação de novembro do PrInt.” De acordo com Boldrin, o embargo da avaliação faz parte de um contexto desfavorável mais extenso. “O inquérito do MPF já vinha desde 2018, mas só agora se chegou a esse impasse. Tenho a percepção de que o momento vulnerável do sistema de pós-graduação, com queda de investimentos e a dissolução do CTC, abriu um flanco para a contestação judicial.”
Carlotti, da USP, também considera que a suspensão da avaliação quadrienal fornece combustível adicional a um processo de enfraquecimento da pós-graduação. “O sistema se baseia em três pilares e agora todos eles estão fragilizados”, afirma. Um deles, explica o pró-reitor, é o financiamento de bolsas, que tem sofrido sucessivos cortes nos últimos anos, principalmente nas agências federais. Outro, que serve como âncora para orientar o aperfeiçoamento dos programas, é o Plano Nacional de Pós-graduação, que tem duração de 10 anos. “O último plano encerrou-se em 2020 e um novo deveria ter sido discutido, mas isso ainda não começou”, afirma. O terceiro pilar é o sistema de classificação, agora contestado. “A avaliação dá segurança para os alunos, pois sinaliza quais programas têm a melhor qualidade. Sem um plano nacional, sem fomento adequado e com a avaliação questionada, todo o sistema pode sofrer prejuízos.”
Republicar
