Podcast: Henrique Rozenfeld
Todos os estados brasileiros tiveram programas avaliados – do Amapá, com apenas quatro, a São Paulo, com 894. Mas há uma notável concentração dos cursos com notas 6 e 7 em seis unidades da federação: São Paulo (171), Rio de Janeiro (78), Rio Grande do Sul (61), Minas Gerais (56), Paraná (20) e Santa Catarina (20). Em termos relativos, o desempenho do Paraná chamou a atenção: tinha 11 programas com notas 6 e 7 em 2013 e hoje tem 20.
Em 10 estados, não há um programa sequer com as duas notas mais elevadas. A maioria deles está nas regiões Norte e Centro-Oeste – mas nessa lista também está o Espírito Santo, no Sudeste. O reitor da Universidade Federal do Tocantins (UFT), Luiz Eduardo Bovolato, foi a Brasília conversar com o presidente da Capes sobre o desempenho das universidades da região Norte – a UFT teve 22 programas avaliados, sendo que sete tiveram nota 4 e os demais, 3. “Pedimos maior sensibilidade da comissão de avaliação em relação a nossa realidade local e ampliação do olhar da Capes às universidades da região Norte”, disse Bovolato, segundo o site da UFT.
A Universidade de São Paulo (USP) se destaca em vários indicadores. Teve 265 programas avaliados, quase o dobro da segunda colocada, a Universidade Estadual Paulista (Unesp), com 135. A Universidade Federal do Rio de Janeiro (UFRJ) aparece em terceiro, com 116 (ver quadro). A USP responde sozinha por 18% dos programas com notas 6 e 7 – são 83 ao todo. Num segundo pelotão, aparecem a UFRJ, com 39 programas, e a Federal do Rio Grande do Sul (UFRGS), com 36, e a Estadual de Campinas (Unicamp), com 32.
A avaliação quadrienal repercute fortemente na comunidade acadêmica por ser usada como parâmetro sobre a relevância dos programas e dos grupos de pesquisa associados a eles, e por nortear a distribuição de bolsas e de verbas. Os programas com notas 6 e 7 têm mais autonomia e recebem financiamento diretamente da Capes, enquanto os com nota até 5 também são aquinhoados por intermédio da direção da universidade.
Por todas essas razões, é natural que as universidades se movimentem quando não ficam satisfeitas com os resultados. O desempenho da Unicamp manteve-se estável em relação a 2013, com 70% dos cursos com notas de 5 a 7. Mas os resultados trouxeram uma surpresa desagradável: o número de programas com nota 7 caiu de 16 para 14. “Fomos duramente avaliados”, afirma o economista André Tosi Furtado, pró-reitor de Pós-graduação e professor do Instituto de Geociências. “A Unicamp é uma instituição que se destaca na pós-graduação brasileira. Somos a segunda melhor universidade do país de acordo com vários rankings e indicadores, mas em programas nota 7 ficamos dessa vez em quarto lugar”, afirma Furtado, que estuda recorrer de alguns resultados. A nota do programa de engenharia mecânica, reduzida de 7 para 5, foi a que mais causou perplexidade. Furtado observa que houve programas com recomendação das comissões de avaliação para aumentar a nota. “Mas, na etapa final, a progressão da nota não foi confirmada.”
Rita Barradas Barata, diretora de avaliação da Capes, explica que os critérios não são estáticos. “As notas são definidas com base em critérios conhecidos, mas os pesos atribuídos a eles podem ser modificados por decisão dos coordenadores de área no final da avaliação, a fim de refletir a situação do conjunto de programas. Não estamos comparando os programas com o que eles eram há quatro anos, mas mostrando a posição de uns em relação aos outros em 2017”, diz. Ela cita o exemplo da produção científica dos alunos. “Com o avanço da cultura de publicação, um número crescente de estudantes passou a publicar mais. Se o critério era ter pelo menos dois artigos por aluno em determinada área, mas a maioria publicou quatro artigos, é possível adaptar o peso atribuído ao critério a essa nova realidade ”, conta.
À parte o mal-estar, a Unicamp teve resultados bastante positivos, com a progressão para a nota 7 de programas em clínica odontológica e biologia vegetal, assim como diversos programas evoluíram da nota 5 para a 6. “A avaliação da Capes tem sido importante para nortear a evolução do sistema, uniformizando critérios sobre a qualificação de docentes e a produção científica”, pondera Furtado.
A Capes dá apoio e monitora a pós-graduação brasileira desde 1976 e segue há quase 20 anos um modelo de avaliação em que os responsáveis pelos programas preenchem periodicamente um questionário com informações sobre vários quesitos: a proposta do programa, a qualificação do corpo docente, o perfil dos estudantes e a produção intelectual, além da inserção internacional dos cursos e a sua influência sobre outros programas (ver quadro). Tais dados são analisados primeiro por comitês de especialistas de 49 áreas do conhecimento, aos quais cabe apurar os resultados e recomendar notas. Em um segundo momento, o Conselho Técnico-Científico da Educação Superior da Capes, composto por coordenadores e coordenadores adjuntos das áreas dos programas acadêmicos e profissionais, reavalia os resultados e define as notas.
Tais etapas ocorreram entre agosto e setembro e duraram seis semanas. “Esgotamos nas primeiras quatro semanas os programas acadêmicos e nas duas últimas avaliamos os de mestrado profissional e os oferecidos por redes de instituições”, explica Rita Barradas Barata. O trabalho teve a participação de 1.550 membros da comunidade científica. Entre 1998 e 2013, as avaliações foram trienais. Com o crescimento do sistema, optou-se por ampliar o período e fazer o levantamento quadrienalmente.
A avaliação promovida pela Capes encontra paralelo em poucas iniciativas no mundo. “Nos Estados Unidos, associações científicas fazem os processos de acreditação e de avaliação dos programas, mas de forma descentralizada. Nos países latino-americanos, os conselhos de pesquisa avaliam informações prestadas pelos programas e permitem ou não que continuem funcionando”, relata a diretora de avaliação da Capes. Há uma semelhança, pelo tamanho da empreitada, com o sistema de avaliação das universidades do Reino Unido, que acontece a cada cinco anos – nesse caso, porém, a qualidade da pesquisa também é analisada junto com a do ensino e, com base na análise de indicadores e principalmente em avaliação por pares, define-se a distribuição de recursos para as instituições no período seguinte (ver Pesquisa FAPESP nº 156).
A regularidade da avaliação da Capes ajudou a moldar o sistema de pós-graduação brasileiro. A Unesp comemorou o crescimento dos programas nota 7 – eram três e agora são seis – e os de nota 6, que subiram de 15 para 21. O crescimento foi fruto de uma política de acompanhamento dos programas, com a exigência de relatórios anuais, com especial vigilância sobre os programas com nota 3. Não por acaso, a Unesp não teve nenhuma recomendação de descredenciamento. Já os programas de boa qualidade ganharam incentivos. “Não foi um esforço trivial em um cenário de retração orçamentária e de dificuldade em contratar novos pesquisadores”, conta o geógrafo João Lima Sant’Anna Neto, pró-reitor de Pós-graduação da Unesp e professor da Faculdade de Ciências e Tecnologia de Presidente Prudente.
A acreditação de um novo curso de pós-graduação na Capes depende de um processo semelhante ao da avaliação: a proposta de cada programa é analisada por uma comissão de especialistas na área, que recomenda uma nota. Se ela for igual ou superior a 3, a comissão encaminha um parecer ao Conselho Técnico-Científico da Educação Superior, a quem cabe a decisão final. A avaliação quadrienal não dá notas a cursos recém-criados. Não existem atalhos para alcançar as notas mais altas – o processo, em geral, é lento e cumulativo.
A pós-graduação da Universidade Federal do ABC (UFABC), instituição criada há apenas 11 anos, vem evoluindo paulatinamente. Dos 22 programas avaliados pela Capes, seis melhoraram a nota, um piorou e os outros 15 permaneceram no mesmo patamar. Três ganharam nota 5: o de nanociências e materiais avançados, o de ciência e tecnologia química e o de física. Na avaliação anterior, só o de física teve 5. Segundo o neurocientista Alexandre Kihara, pró-reitor de Pós-graduação da universidade, a avaliação privilegia instituições já consolidadas. “As notas mais altas estão em parte relacionadas com o poder de nucleação que um programa tem, se ele trabalha em conjunto com programas mais novos ou se um egresso vira docente em outras universidades. Instituições jovens têm dificuldades nesses quesitos”, afirma. Segundo Kihara, o desempenho da UFABC em rankings universitários e em certos indicadores, como internacionalização e impacto da pesquisa, é melhor do que o observado na avaliação da Capes.
Diversidade de critérios
Rogério Mugnaini, professor da Escola de Comunicações e Artes (ECA) da USP, estudou os critérios do Qualis-Periódicos, um sistema usado pela avaliação da Capes para classificar a produção dos programas de pós-graduação no que se refere aos artigos publicados em periódicos científicos, entre 1998 e 2012. Em um estudo apresentado em 2015, ele mostrou como a qualidade da produção dos programas é mensurada de formas variadas, a depender do campo do conhecimento, e apontou vulnerabilidades do modelo. Em áreas com tradição de publicar resultados em revistas estrangeiras indexadas, como física e química, indicadores de citação, principalmente o Fator de Impacto dos periódicos, são usados como referência da qualidade dos artigos. “Mas há uma parte da produção publicada fora dessas bases que deixa de ser avaliada.” Em áreas como geociências e nutrição, nas quais há um número restrito de periódicos indexados nas bases internacionais – como Web of Science e Scopus –, as citações não permitem distinguir a produção segundo seu impacto. Nesses casos, aceita-se como critério o fato de o periódico estar vinculado a alguma base de dados, na suposição de que passaram por algum crivo para chegar ali. “Mas seria necessário auditar se as bases de dados aplicam os critérios de qualidade que declaram. Não há garantias de que sejam isentas de vieses”, afirma. E também há campos do conhecimento, como artes e arquitetura e urbanismo, em que a qualidade das publicações, por não estarem vinculadas a revistas ou bases consagradas, é aferida por critérios como a origem diversa dos autores ou dos membros do conselho editorial do periódico. “É um critério importante para evitar a endogenia – aliás, esse tipo de critério é comumente exigido por bases de dados –, mas não suficiente para garantir a qualidade dos artigos publicados pelos programas de pós-graduação.” Em palestras em eventos de associações científicas e na própria Capes, Mugnaini sugeriu que a produção dos programas seja mensurada de uma forma mais ampla, a partir de indicadores que combinem várias bases de dados. “Dessa forma se teria uma visão mais fidedigna da produção brasileira.”
Um dos aspectos da avaliação quadrienal que mais gera controvérsias tem a ver com a autonomia conferida a cada comitê de área para aferir a qualidade de seus programas. “Há comitês que tiram pontos do programa se o mestrado superar 24 meses e o doutorado, 48 meses, enquanto outros têm mais tolerância”, diz João Lima, da Unesp. “É justo que a Capes utilize esses prazos como referência para duração de bolsas, mas não entendo por que penalizar um programa por algum atraso, já que isso não têm impacto em sua qualidade.” Lima, que foi coordenador de geografia da Capes entre 2008 e 2014, considera que a avaliação foi assumindo uma perspectiva muito tecnicista. “Existe uma receita a ser seguida que pode elevar a nota do programa ao longo do tempo por seus aspectos mais quantitativos. Mas há casos de programas de excelência que se recusaram a seguir essa receita, porque seus membros têm uma tradição mais humanista, e sofrem com isso”, explica Lima, referindo-se a programas consolidados de universidades tradicionais.
Para o médico Carlos Gilberto Carlotti Junior, pró-reitor de Pós-graduação da USP e professor da Faculdade de Medicina de Ribeirão Preto (FMRP), o sistema de avaliação deveria evoluir para captar mais elementos da excelência acadêmica. “É importante saber não apenas o quanto foi produzido, mas também qual é o impacto do conhecimento gerado tanto na ciência brasileira quanto na formulação de políticas públicas e no desenvolvimento do país”, sugere. “O produto final de um programa de pós-graduação não é a dissertação ou a tese, mas o aluno formado. Hoje, há vários aspectos sobre o aluno que não são mensurados. Nem mesmo a qualidade da tese é avaliada.”
A USP, embora concentre programas de excelência, também enfrentou problemas na avaliação. Um curso de doutorado de clínica cirúrgica, por exemplo, recebeu nota 2 e será fechado. Outros seis programas tiveram nota 3 no mestrado e 2 no doutorado, situação que leva ao descredenciamento do doutorado. “Vamos nos reunir com cada programa e estudar o que fazer”, afirma Carlotti.
Rita Barradas Barata, da Capes, concorda que os critérios de avaliação precisam evoluir. Entre as mudanças cogitadas para a próxima avaliação quadrienal, estuda-se modificar o sistema de pontuação, atribuindo também notas intermediárias, como 6,5, em vez de apenas notas cheias. “Isso permitiria mostrar que o programa de alguma forma mudou de uma avaliação para outra, mesmo quando apenas acompanhou o movimento dos demais programas”, afirma. Mas as mudanças podem ser mais amplas. “O essencial é diminuir a ênfase na normatização e aumentar a preocupação com a qualidade. É preciso promover os artigos que tenham relevância, valorizar a flexibilidade da pós-graduação e a possibilidade de reconhecer formas diferentes de organização”, afirmou.
Republicar