O modelo de avaliação dos programas de pós-graduação do Brasil vai passar por sua maior reformulação em mais de duas décadas. A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), agência ligada ao Ministério da Educação que examina a qualidade dos cursos de mestrado e doutorado do país, anunciou que os mais de 4 mil programas em atividade deixarão de ter uma nota única – que hoje vai de 3 até 7 para os recomendados e reconhecidos – e terão seu desempenho classificado em cinco dimensões: Ensino e Aprendizagem, Produção de Conhecimento, Inserção Internacional e Regional, Inovação e Transferência do Conhecimento e Impacto na Sociedade. Os detalhes do sistema serão propostos nos próximos meses por especialistas da comunidade acadêmica e da área técnica da Capes. A mudança vai valer para o ciclo de avaliação que começa em 2021 e terá resultados divulgados em 2025.
O objetivo é promover uma avaliação mais precisa e detalhada dos programas, que leve em conta a vocação de cada um deles e permita a análise da qualidade em diversos aspectos, mostrando quais são os pontos fortes e os vulneráveis. Segundo o presidente da Capes, o engenheiro Anderson Ribeiro Correia, o modelo atual, que privilegia indicadores de pesquisa e ensino, foi importante para expandir a pós-graduação no Brasil desde a década de 1960, mas se tornou insuficiente para compreender a diversidade dos cursos. “Criamos programas de pós-graduação de alta qualidade que têm características diferentes. Mas continuávamos a estimar a qualidade deles olhando só para o impacto das publicações científicas”, diz. Correia observa que o sistema em vigor dá pouco peso, por exemplo, para a influência da formação na vida dos profissionais titulados ou para o desenvolvimento da região em que os programas estão inseridos. “Há cursos que transformam a carreira dos alunos, garantindo ganhos salariais expressivos e mobilidade social. Também há programas com peso notável na economia local, mesmo sem estar no estado da arte do conhecimento. Ao valorizar essas contribuições, podemos ampliar o impacto da pós-graduação no desenvolvimento do país.”
A ideia de mudar radicalmente o modelo vem sendo gestada há dois anos. Após a divulgação dos resultados do ciclo de avaliação de 2013 a 2016, a direção da Capes encomendou ao Conselho Tecnocientífico da instituição um estudo sobre aspectos do sistema que mereceriam ser aprimorados. Depois de uma consulta a especialistas e organizações vinculadas à pós-graduação, duas sugestões principais emergiram: a importância de que as universidades fizessem uma autoavaliação de seus programas, declarando o que esperavam deles e se a expectativa se cumpriu, e a adoção de métricas sensíveis a diferentes propósitos que os cursos de pós-graduação podem ter além de fazer pesquisa de qualidade, como auxiliar o desenvolvimento regional e interagir com o setor produtivo.
No final de 2018, a Capes enviou à Alemanha e à Holanda uma comissão, da qual participaram a presidente de honra da SBPC, Helena Nader, e a diretora de Avaliação da agência, Sonia Baó, para conhecer os detalhes do U-Multirank, uma ferramenta de avaliação de universidades que parecia atender aos anseios de mudança no modelo de pós-graduação brasileiro. O U-Multirank mostra os pontos fortes e fracos de cada instituição, analisando indicadores em cinco diferentes dimensões: ensino e aprendizagem, pesquisa, transferência de conhecimento, orientação internacional e engajamento regional. O resultado é exibido em um diagrama com cinco cores, representando as cinco dimensões analisadas e seus indicadores, apresentados com tonalidades diferentes de acordo com a performance da instituição em cada quesito.
A metodologia foi criada em 2014 pelo Centro de Educação Superior em Gütersloh, na Alemanha, e pelo Centro de Estudos sobre Políticas em Educação Superior da Universidade de Twente, na Holanda, por encomenda da Comissão Europeia, que desejava ter um instrumento de avaliação de suas universidades mais fidedigno do que os rankings internacionais para enxergar o que cada instituição tem de melhor. Hoje, é utilizado por universidades de 96 países, incluindo o Brasil, onde está sendo adotado pelas três universidades estaduais paulistas. A tendência é que o U-Multirank inspire o novo modelo de avaliação da pós-graduação brasileira, mas que seja criada uma metodologia diferente da original, adequada aos propósitos da avaliação feita pela Capes. “O U-Multirank foi desenvolvido para fazer uma avaliação global de universidades e tem muitos indicadores sobre o ensino de graduação. Para medir a qualidade da pós-graduação, será necessário construir indicadores apropriados”, analisa Abílio Baeta Neves, presidente da Capes entre 2016 e 2018, quando a mudança começou a ser considerada.
A intenção de mudar o modelo de avaliação da Capes foi bem recebida pela comunidade acadêmica. Para a zootecnista Telma Berchielli, pró-reitora de Pós-graduação da Universidade Estadual Paulista (Unesp), o reconhecimento de diferentes dimensões dos programas é uma necessidade. “A avaliação nos deixava muito engessados. Parecia que a preocupação era formar gente para trabalhar nas universidades, mas hoje tem muito doutor indo trabalhar em empresas e contribuindo de modo diferente para a sociedade”, afirma. Segundo ela, a Unesp tem vários programas – alguns bem avaliados, outros ainda em fase de amadurecimento – que geram conhecimento com impacto regional, já que a instituição tem campus em 24 cidades paulistas. Ela menciona os programas de biologia animal na unidade de São José do Rio Preto, que tem menos de 10 anos e alcançou a nota máxima (7) na última avaliação da Capes, e de biodiversidade de ambientes costeiros no campus de São Vicente, no litoral paulista, que por enquanto tem nota 4. “Em ambos os casos, há um impacto na realidade local, na geração de conhecimento e na formação de mão de obra especializada, que acaba não sendo devidamente reconhecido.” Berchielli destaca a valorização da autoavaliação no novo modelo. “Esse exercício mostrará qual é a expertise do programa e será possível perceber qual é a vocação da universidade e onde estão concentradas suas melhores pesquisas.”
A estatística Nancy Lopes Garcia, pró-reitora de Pós-graduação da Universidade Estadual de Campinas (Unicamp), concorda que o modelo de avaliação precisa ser aprimorado, mas antevê algumas incertezas. “Temo que o impacto econômico-social de um programa passe a ser muito valorizado. Como serão avaliados, neste quesito, os cursos de ciências básicas, que às vezes demoram muito para gerar aplicações, mas são fundamentais para que elas surjam? Como medir a contribuição econômica e social de um programa, por exemplo, de matemática?”, indaga. Ela estima, contudo, que a Unicamp não será prejudicada com a mudança. “Sempre investimos na qualidade dos nossos programas, que na maioria são sólidos e competitivos internacionalmente. Pouco menos da metade dos nossos estudantes é de pós-graduação, a proporção mais alta entre as universidades paulistas.”
É prematuro prever o impacto da mudança antes de saber os detalhes de suas diretrizes, mas, segundo Baeta Neves, convém não menosprezar as implicações. “Não será simples porque vai mexer com uma cultura de avaliação bastante arraigada que ajudou a moldar os programas. Eles terão que se orientar sem a nota única que tem hoje e nunca fizeram isso antes”, alerta. A avaliação da Capes sempre teve um efeito indutor no funcionamento do sistema de pós-graduação, pois é usada como critério para a distribuição de bolsas e de recursos. Até 1996, a agência classificava os programas por sistema de letras – de A até E. Na avaliação seguinte, passaram a ser avaliados com notas de 1 a 5 para os cursos que tinham apenas mestrado e até 7 para os que incluíam doutorado. Já em 1998, a diferença entre as notas 6 e 7 decorria de critérios como inserção internacional e corpo docente com experiência em centros do exterior. Naquele momento, a internacionalização da pesquisa tornou-se um parâmetro importante, ante as evidências de que a produção científica em colaboração com instituições do exterior tinha impacto, medido em citações, quatro vezes maior do que a realizada internamente.
Nos últimos 20 anos, o número de programas quase triplicou e aumentou a cobrança da sociedade sobre os impactos que a ciência deve proporcionar, mas o sistema de avaliação não acompanhou a mudança. Segundo Baeta Neves, o futuro modelo será ainda mais transformador se abandonar o que ele considera um excesso de exigências normativas do modelo atual. “Deveria haver mais liberdade de experimentação para as universidades, principalmente as mais consolidadas. O sistema atual é muito controlador e tem exigências sem nenhum vínculo com a excelência. Exige, por exemplo, um número mínimo de professores por programa. Mas por que ter 12 docentes seria melhor do que 10 ou que 9?”
O tipo de avaliação que o Brasil faz de seu sistema de pós-graduação é único no mundo. Nos Estados Unidos, associações científicas realizam os processos de acreditação e de avaliação dos programas, mas de forma descentralizada. A última vez que houve uma análise global dos programas de doutorado foi em 2010, quando a Academia Nacional de Ciências se debruçou sobre os dados de 5 mil programas de 62 áreas do conhecimento em 212 universidades no ano acadêmico de 2005-2006. Na comparação com dados obtidos em meados da década de 1990, constatou-se um aumento de 4% no número de doutorandos de engenharia e de 9% em ciências físicas, ao passo que houve queda de 5% em ciências sociais e 12% em humanidades. Um dado curioso foi a prevalência das universidades públicas no sistema de pós-graduação dos Estados Unidos: elas foram responsáveis por 72% dos programas de doutorado analisados. Das 37 universidades que mais formaram PhDs entre 2002 e 2006, só 12 eram privadas.
A avaliação brasileira é semelhante, pelo tamanho da empreitada, com o sistema adotado para monitorar a qualidade da pesquisa das universidades do Reino Unido, que acontece a cada cinco anos e define a distribuição de recursos para as instituições no período seguinte. “O Reino Unido avalia a pesquisa porque lá não há cursos de pós-graduação a serem avaliados como aqui. Para fazer doutorado, procura-se o orientador e se apresenta a ele um projeto. Se ele estiver de acordo, a pesquisa é que vai dar lastro ao título de doutor”, explica Baeta Neves.
Se o modelo da Capes terá mudanças radicais a partir de 2021, o processo de avaliação que está em curso – que compreende o período de 2017 a 2020 – também sofreu alterações importantes, voltadas para valorizar a qualidade da pesquisa em vez da quantidade. Formalmente, a ficha de avaliação passou a ter três itens, em vez de cinco, e mudaram os pesos atribuídos a cada quesito. Ganhou reconhecimento, por exemplo, a produção científica dos ex-alunos, e não apenas dos docentes. “Até a avaliação anterior, os indicadores relacionados aos alunos eram de caráter mais quantitativo, envolvendo o número de matriculados e o tempo médio de titulação. Agora, será considerada a produção dos egressos até cinco anos após terem obtido o grau de mestre e doutor. Só será possível captar citações obtidas no curto prazo, mas é um avanço”, diz Nancy Garcia, da Unicamp.
Também há mudanças sendo gestadas no sistema Qualis, classificação da Capes que avalia a qualidade da produção científica dos programas. No caso das revistas científicas, elas são avaliadas com notas de acordo com seu impacto e prestígio nas áreas do conhecimento – e os programas que conseguem publicar artigos nos periódicos mais valorizados ganham pontos na avaliação. A ideia é tornar o Qualis menos subjetivo. Até agora, uma revista podia ter uma avaliação alta em um determinado campo do conhecimento e baixa em outro. Já na próxima avaliação, as revistas vão ganhar uma classificação única, independentemente da área do conhecimento avaliada. Mas se permitirá que cada área adapte parcialmente essa classificação, podendo subir ou descer dois níveis do Qualis em 10% de seus periódicos, ou subir ou descer um nível de 20% de seus periódicos.
A mudança mais significativa tem a ver com a qualidade da produção científica. Em vez de apenas informar o número de publicações nos extratos mais altos do Qualis, os programas deverão apontar um número seleto de artigos e documentos de seus pesquisadores que julguem ser os de melhor qualidade a fim de que sejam avaliados. Para o cientista da informação Rogério Mugnaini, da Escola de Comunicações e Artes da Universidade de São Paulo (USP), a ideia de valorizar os melhores artigos pode ter um efeito benéfico. “Na avaliação da Capes, ainda há áreas do conhecimento que valorizam demasiadamente critérios quantitativos e levam a um produtivismo exagerado, no qual os pesquisadores tentam publicar a qualquer custo, embora a produção nem sempre seja de qualidade. E isso ainda congestiona o sistema de revisão de artigos nas revistas”, afirma. Ele observa que a tendência internacional sinaliza correções similares. A avaliação do Reino Unido, que anteriormente adotou critérios mais quantitativos, dado o tamanho da empreitada de analisar toda a pesquisa feita pelas universidades em cinco anos, volta a levar em conta predominantemente a revisão por pares. “Mudanças no sistema da Capes frequentemente são definidas pelos especialistas de cada área e eles nem sempre consideram as reflexões recentes da pesquisa internacional sobre avaliação da ciência. Ao propor transformações, é importante levar em conta o conhecimento atualizado a respeito do tema.”
Republicar