Avaliação da Capes registra avanço em indicadores de qualidade dos cursos de mestrado e doutorado no Brasil : Revista Pesquisa Fapesp

A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), agência vinculada ao Ministério da Educação (MEC), divulgou em dezembro, um ano após o previsto, os resultados da avaliação quadrienal da pós-graduação no Brasil, usada desde a década de 1970 para aferir a qualidade dos cursos de mestrado e doutorado, acadêmicos e profissionais, e nortear a distribuição de bolsas e verbas. Mesmo em um cenário de subfinanciamento da ciência, com cortes de recursos para pesquisas e corrosão do valor das bolsas, muitos programas melhoraram seus indicadores. Dos 4.512 cursos avaliados entre 2017 e 2020, 34% aumentaram sua nota. O número de programas de nível internacional, aqueles que recebem as notas mais elevadas na escala da Capes (6 e 7), cresceu 37%, saltando de 490 para 671.

A maioria dos cursos concentra-se em estados do Sul e do Sudeste, principalmente São Paulo, Rio de Janeiro, Rio Grande do Sul e Minas Gerais. Mas outras regiões também ganharam fôlego. No Nordeste, o número de programas de excelência passou de 37 para 60, um crescimento de 62%. A região Norte, que não tinha nenhum programa com nota 7 até a avaliação anterior, agora tem três nesse patamar, dois na Universidade Federal do Pará (UFPA) e um no Instituto Nacional de Pesquisas da Amazônia (Inpa). “Tínhamos a expectativa de que a UFPA receberia notas melhores, mas os resultados foram além das expectativas, o que terá um impacto importante na nossa capacidade de captar recursos para o desenvolvimento da nossa pós-graduação”, destacou o psicólogo Emmanuel Zagury Tourinho, reitor da universidade, em vídeo divulgado pela UFPA nas redes sociais.

Os resultados reafirmam tendências já alcançadas em avaliações anteriores. A Universidade de São Paulo (USP) segue como a instituição brasileira com mais programas com notas 6 e 7. São 114 no total, sobretudo nas áreas de ciências biológicas, engenharia e medicina. Criada há apenas 17 anos, a Universidade Federal do ABC (UFABC) também comemorou os resultados. Dos 29 programas avaliados, 10 subiram de nota, sendo que dois obtiveram nota 6, o de nanociência e materiais avançados e o de ciência e tecnologia química, “um desempenho notável para uma instituição relativamente jovem”, avalia Charles Morphy, pró-reitor de pós-graduação da instituição. A pós-graduação da Universidade Estadual Paulista (Unesp) passou a ter 10 programas com conceito 7, entre eles os de física, química e odontologia. “Isso se deve a uma política de pós-graduação baseada em metas e no acompanhamento dos programas ao longo de cada quadriênio”, diz a química Maria Valnice Boldrin, pró-reitora de pós-graduação da Unesp.

Na Universidade Estadual de Campinas (Unicamp), 30 cursos aumentaram suas notas em relação ao ciclo anterior, sendo que 37 obtiveram nível de excelência, com destaque para as áreas de ciências humanas, de alimentos, engenharias, medicina e odontologia. A pró-reitoria de pós-graduação da universidade informou que irá se reunir com os coordenadores dos programas com notas 3 e 4 a fim de definir estratégias para melhorar o desempenho na próxima avaliação.

Além do prestígio acadêmico, os programas de excelência têm mais autonomia e podem receber financiamento diretamente da Capes por meio do Programa de Excelência Acadêmica (ProEx) – aqueles com notas entre 3 e 5 também recebem recursos da agência federal a partir do Programa de Apoio à Pós-graduação (ProAP), mas o repasse é menor. Projetos vinculados a programas com notas altas também têm mais chances de serem selecionados em chamadas da Capes e do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

É certo que, nos anos recentes, as dificuldades de financiamento de bolsas e projetos atingiram cursos bem ou mal avaliados. “Os programas nos últimos anos tiveram de administrar uma série de restrições impostas não apenas pela pandemia, mas também pela escassez de recursos para a ciência e educação”, diz a cientista política Rachel Meneguello, pró-reitora de Pós-graduação da Unicamp. “O valor defasado e insuficiente das bolsas federais ilustra bem esse cenário.” Há anos os estudantes sofrem com a corrosão do valor dos auxílios, reajustados pela última vez em 2013, ao passo que a inflação acumulada desde então, medida pelo IGP-M, foi de 125,1% – atualmente, um bolsista de mestrado recebe R$ 1,5 mil mensais e o de doutorado R$ 2,2 mil.

Iniciativas como o Programa Institucional de Internacionalização das Universidades Brasileiras (PrInt), lançado pela Capes em 2017 com o objetivo de estimular parcerias internacionais nos programas de mestrado e doutorado, também foram afetadas. Em 2020, por conta da pandemia, não foram concedidas bolsas de mobilidade, que propiciam intercâmbios de estudantes, e em 2021 elas foram suspensas. Boldrin explica que o programa, que terminaria em 2021, foi estendido até 2024 e as bolsas, que deveriam ter sido pagas em 2020 e 2021, foram remanejadas para 2023 e 2024.

Não há consenso sobre os fatores que contribuíram para o bom desempenho dos programas, mas existem algumas hipóteses. Uma delas diz respeito a mudanças no modelo de classificação da Capes, que no último processo passou a dar mais peso a alguns aspectos qualitativos relacionados à formação oferecida pelos cursos e sua produção intelectual. Até então, os responsáveis pelos programas preenchiam um questionário com várias informações sobre a proposta do programa, a qualificação do corpo docente, o perfil dos estudantes e o contingente de trabalhos publicados nos estratos mais altos do Qualis, sistema de classificação de revistas científicas da Capes. “Na última avaliação, eles também puderam indicar os trabalhos de melhor qualidade de seus alunos e pesquisadores”, destaca a epidemiologista Rita Barradas Barata, ex-diretora da Capes, que participou da análise dos programas profissionais de pós-graduação na área de saúde coletiva.

Os programas registraram 4,7 milhões de produções intelectuais entre 2017 e 2020. Desse total, 280 mil foram destacadas pelos próprios coordenadores e escrutinadas de acordo com seu impacto, originalidade e inovação. “Isso pode ter contribuído para que os programas tenham tido um desempenho melhor do que o que eles teriam se a avaliação tivesse se concentrado em aspectos quantitativos”, afirma Barata.

Alexandre Affonso / Revista Pesquisa FAPESP

Especialistas ouvidos pela reportagem sugerem que houve uma tendência dentro do Conselho Técnico-Científico da Educação Superior (CTC-ES) da Capes, colegiado que delibera sobre a avaliação, em dar mais autonomia ao trabalho feito pelos coordenadores de área, acatando suas recomendações de notas – em avaliações de anos anteriores, a Capes chegou a criar uma comissão especial para reanalisar a concessão de notas 6 e 7.

Também é possível que a evolução dos indicadores de qualidade dos programas seja reflexo de investimentos feitos no quadriênio anterior e não tenha sido afetada pelas dificuldades recentes. “O desempenho dos cursos em cada avaliação costuma refletir parte do que foi feito no passado”, afirma Morphy, da UFABC. “A primeira metade da década de 2010 foi marcada por uma política de valorização e expansão da pós-graduação, e é possível que os resultados atuais ainda estejam espelhando isso.”

Para Rita Barata, a Capes terá de adaptar seus critérios para a próxima avaliação, que contemplará o período entre 2021 e 2024. “Os programas, que já sofriam com a falta de recursos, foram muito impactados pela pandemia, que resultou em um aumento da evasão dos cursos de mestrado e doutorado, interrupção de projetos, atraso na conclusão de teses e dissertações, e na publicação de artigos científicos”, ela diz. “Tudo isso refletirá no desempenho e na produção dos programas nos próximos anos e a agência precisa estar atenta a isso.”

A Capes, segundo ela, também precisará reexaminar a efetividade de seu modelo de classificação. “A lógica da avaliação quadrienal é identificar nuanças e distinguir a excelência entre os programas para que, com base nisso, a própria Capes, o CNPq e outras agências de fomento possam definir prioridades de investimento e estratégias de desenvolvimento da pós-graduação”, explica. “No momento em que muitos programas conseguem ascender às notas mais altas, a escala usada pela agência perde sua capacidade de distinguir a excelência.”

Alexandre Affonso / Revista Pesquisa FAPESP

A expectativa da comunidade científica é a de que o desempenho dos programas passe a ser computado com base em um modelo multidimensional, com a atribuição de diferentes notas a cinco dimensões de desempenho: ensino e aprendizagem, produção de conhecimento, inserção internacional e regional, inovação e transferência do conhecimento, e impacto na sociedade (ver Pesquisa FAPESP nº 286). “Essa proposta vem sendo discutida há anos e tem amplo apoio da comunidade, mas ainda não sabemos se será implementada”, afirma o agrônomo Marcio de Castro Silva Filho, pró-reitor de pós-graduação da USP. “O novo modelo teria um papel importante no aperfeiçoamento do sistema, pois promoveria uma avaliação mais precisa e detalhada dos programas, levando em conta vocações específicas”, acrescenta Meneguello.

A fase final do processo de avaliação da Capes foi marcada por uma série de constrangimentos. O principal deles se deu em setembro de 2021. Em resposta a uma ação civil pública do Ministério Público Federal (MPF), a juíza Andrea de Araújo Peixoto, da 32ª Vara Federal do Rio de Janeiro, concedeu uma liminar determinando a suspensão da avaliação, que deveria divulgar seus resultados em dezembro. Segundo a ação movida pelo MPF, a Capes teria mudado os parâmetros ao longo dos quatro anos do processo, gerando insegurança jurídica para os programas. À época, o MPF sugeriu que a agência adotasse critérios idênticos aos utilizados em 2016 para mensurar a qualidade dos cursos em 2021 (ver Pesquisa FAPESP nº 309).

Em dezembro, o juiz Antonio Henrique Correa da Silva, também da 32ª Vara Federal do Rio de Janeiro, atendeu a um pedido da Advocacia-geral da União e reverteu a liminar que havia ordenado a interrupção do processo. Ele pôde ser concluído, mas a divulgação dos resultados permaneceu suspensa. A permissão para a retomada se deu em meio à renúncia de cerca de 80 pesquisadores que atuavam como coordenadores e consultores nas áreas de química, matemática e física. Eles reclamaram da falta de empenho da agência em tentar reverter a decisão judicial e de pressões para a aprovação de novos cursos.

Em setembro de 2022, a Capes assinou um acordo com o MPF para pôr fim à ação civil pública e permitir a divulgação dos resultados. Em um primeiro momento, as notas foram informadas apenas para os coordenadores dos programas e pró-reitores de pós-graduação, que puderam solicitar reconsideração – é natural que as universidades se movimentem quando não ficam satisfeitas com os resultados preliminares. O acordo, no entanto, foi criticado pela Sociedade Brasileira para o Progresso da Ciência (SBPC) por conta da permissão para que os cursos mantivessem a nota da avaliação quadrienal anterior caso tenham tido seu conceito rebaixado na atual. A Capes não informou quais programas que solicitaram reconsideração se valeram desse dispositivo para evitar o rebaixamento do conceito de seus cursos. Em nota, a agência disse que recebeu 975 pedidos de reconsideração, dos quais 707 mantiveram a nota de 2017. “Mesmo assim, acreditamos que os resultados tenham refletido as reais qualidades dos programas em relação às notas atribuídas a eles”, escreveram. Ao todo, apenas 189 tiveram notas inferiores às de 2017.

Tais contratempos atrapalharam os cursos. “Passamos por dois anos de muita instabilidade, com trocas na presidência da Capes, paralisação da avaliação e atraso na divulgação dos resultados, o que fez com que os coordenadores dos programas atrasassem seu planejamento”, destaca Boldrin. “Já estamos no meio da próxima avaliação quadrienal e só agora será possível avaliar pontos fortes e vulneráveis e traçar novas metas.” Também por conta da pandemia, a discussão do Plano Nacional de Pós-graduação (PNPG) para o decênio de 2021 a 2030 só agora começou a ser feita e deve estabelecer metas que terão de ser alcançadas nos próximos anos. “Cabe à nova gestão, agora presidida pela bióloga Mercedes Bustamante, dar prosseguimento a essas discussões com a comunidade”, conclui Meneguello, da Unicamp.

Ranking da Capes diluiu desempenho de algumas universidades

A universidades de São Paulo (USP), Estadual Paulista (Unesp) e Federal do Rio de Janeiro (UFRJ) são as três instituições com maior número de programas de pós-graduação do país, de acordo dados oficiais compilados da mais recente avaliação quadrienal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) divulgada em dezembro. A USP teve 265 programas avaliados, pouco mais do que a soma da Unesp (128) e da UFRJ (125).

Entretanto, a metodologia que a Capes usou para divulgar a classificação apresentou de forma diluída o desempenho de algumas universidades, a USP e a Unesp entre elas, ao reproduzir a forma não padronizada com a qual as instituições inscreveram seus programas de pós-graduação no processo de avaliação. As que declararam o conjunto de seus programas de forma agrupada aparecem no ranking com maior destaque do que as que informaram os programas de modo desagregado e dividido por unidades.

Rodrigo Cunha

O ranking dividiu a USP em sete diferentes unidades e atribuiu a cada uma delas a fração correspondente do total de programas avaliados da universidade. Mesmo assim, a instituição apareceu em 1º lugar na lista, graças aos 174 programas dos campi da capital paulista. Além deles, foram avaliados 50 programas do campus de Ribeirão Preto, 17 de São Carlos, 17 da Escola Superior de Agricultura Luiz de Queiroz, em Piracicaba, 4 da Escola de Engenharia de Lorena, 2 da Faculdade de Odontologia de Bauru e 1 do Centro de Energia Nuclear na Agricultura (Cena), em Piracicaba.

Já no caso da Unesp, essa metodologia tornou invisível sua contribuição. A universidade nem sequer é mencionada em uma tabela elaborada pela Capes e reproduzida nesta reportagem, mostrando as 30 instituições que mais se destacaram na avaliação em número de programas. Com campi em 24 cidades do estado de São Paulo, a Unesp tem programas de pós-graduação distribuídos por 19 diferentes unidades, que apareceram de forma fragmentada no ranking. A primeira menção à universidade aparece só na 48ª posição e se refere ao grupo de 27 programas de pós-graduação do campus de Botucatu avaliados. Depois, a Unesp ressurge no rol das instituições com 10 a 19 programas avaliados – graças ao desempenho dos campi da Araraquara e de Bauru, com 13 programas cada um, o de São José do Rio Preto, com 11, e o de Rio Claro, com 10. E assim por diante, passando por Jaboticabal (9 programas), Ilha Solteira e Presidente Prudente (7 cada), Marília (5), Araçatuba, Franca e São Paulo/Reitoria (4 cada), Assis, Guaratinguetá e São José dos Campos (3 cada), Sorocaba (2), São Vicente, Tupã e Instituto de Física Teórica, em São Paulo (1 programa cada).

Já a UFRJ não enfrentou esse problema, pois declarou todos os seus 125 programas de forma agrupada. Entre as instituições com mais programas, também se destacam as universidades de Brasília (UnB) e federal do Rio Grande do Sul (UFRGS), com 90 cada uma, as federais de Minas Gerais (UFMG) e do Pará (UFPA), com 87 cada uma, do Rio Grande do Norte (UFRN), com 81, de Pernambuco (UFPE), com 80, a Universidade Estadual de Campinas (Unicamp), com 79, e as federais da Bahia (UFBA), de Santa Catarina (UFSC), do Paraná (UFPR) e Fluminense (UFF), com 78 cada.

Republicar

Capes