Imprimir PDF Republicar

Financiamento

O mérito mensurado

Reino Unido divulga mega-avaliação baseada em peer review que norteará distribuição de recursos para as universidades

WARWICK UNIVERSITYA comunidade acadêmica do Reino Unido vive um momento de definições. Foram divulgados no final de 2008 os resultados do sexto Research Assessment Exercise (RAE 2008), um grande esforço de avaliação da qualidade da pesquisa que determinará como US$ 2,3 bilhões anuais em verbas públicas serão distribuídos entre as universidades britânicas no período de 2009 a 2014. Foram avaliados 52,4 mil acadêmicos de 159 instituições de educação superior. Constatou-se que 17% das pesquisas conduzidas por eles têm nível de liderança mundial; 37% estão na categoria excelência internacional; 33% possuem reconhecimento internacional; 11%, reconhecimento nacional; e 2% estão abaixo dos padrões exigidos no Reino Unido. “Isso representa uma conquista notável e confirma que somos uma das grandes potências mundiais da pesquisa”, declarou, ao anunciar os resultados, David Eastwood, executivo-chefe do Higher Education Funding Council for England (Hefce), um dos órgãos responsáveis pela avaliação. “Das 159 instituições, 150 têm algum trabalho na fronteira mundial.”

Embora o RAE 2008 não divulgue um ranking consolidado de instituições, uma análise dos dados feita pelo Times Higher Education mostra que as melhores foram as universidades de Cambridge e de Oxford, seguidas pela London School of Economics e pelo Imperial College. Algumas instituições melhoraram o desempenho em relação ao RAE anterior, realizado em 2001, caso da Universidade de Londres Queen Mary, que subiu da 48ª para a 13ª posição. Outras amargaram quedas, como a Universidade Warwick, que caiu do 6º para o 9º lugar. Mas as universidades terão de esperar até o dia 4 de março para saber exatamente quem vai ganhar e quem vai perder em recursos, pois a partilha levará em conta, além da qualidade da pesquisa, o volume de pesquisadores de cada instituição submetidos à avaliação. A Universidade de Cardiff, por exemplo, caiu da 8ª para a 22ª posição, mas é provável que não perca recursos porque submeteu mais membros de seu staff ao RAE 2008 do que na avaliação anterior. Ainda assim, são esperadas ondas de choque nas instituições com desempenho em queda, na forma, por exemplo, de demissões, como aconteceu em avaliações anteriores.

O RAE chama a atenção pela sofisticação de sua metodologia, baseada num sistema de avaliação por pares que envolve consultores nacionais e estrangeiros, e por sua magnitude – a edição de 2008 custou US$ 17 milhões, diante de US$ 8 milhões da avaliação de 2001. Baseia-se em 15 painéis que supervisionam o trabalho de 67 subpainéis disciplinares. Ao todo, 950 revisores participam do processo. Há a presença de pelo menos um pesquisador estrangeiro nos comitês principais. “A ideia não é comparar a avaliação dos membros internacionais com os nacionais, mas assegurar que os níveis de qualidade exigidos sejam os apropriados”, disse a Pesquisa FAPESP Ed Hughes, do Hefce, o gerente do RAE 2008. “Em muitos casos, os membros internacionais ajudam a estabelecer parâmetros. Eles desempenham um importante papel de assegurar que a análise dos painéis tenha credibilidade internacional.”

WARWICK UNIVERSITYConsequências
Para efeito de comparação, o modelo britânico tem diferenças significativas em relação ao sistema desenvolvido no Brasil pela Coor­denação Nacional de Aperfeiçoamento de Pessoal de Nível Superior (Capes), que desde a década de 1970 avalia programas de pós-graduação stricto sensu. A começar pelos propósitos e as consequências dos processos de avaliação. No caso brasileiro, a avaliação trienal dos cursos de mestrado, mestrado profissional e doutorado busca não apenas medir a qualidade dos programas mas também estimular o seu desenvolvimento, uma vez que norteia o financiamento de bolsas e reconhece a excelência dos respectivos grupos de pesquisa. O fechamento de cursos mal avaliados acontece apenas em situações extremas e programas com nota regular preservam o direito de formar mestres e doutores, ainda que seu prestígio fique abalado. Já o RAE tem um impacto imediato e, às vezes, devastador, que vai além da pesquisa e da pós-graduação, pois serve como subsídio para alocação de uma ampla fatia de recursos para as universidades do Reino Unido. Uma avaliação ruim resulta em menos dinheiro por um longo período. “Com base no RAE, universidades podem decidir fechar determinados departamentos que se saíram mal na avaliação, como, aliás, ocorreu com o primeiro RAE”, diz Lea Velho, professora do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Universidade Estadual de Campinas (Unicamp). “As consequências pa­ra os departamentos que se saíram mal na avaliação são reais”, afirma.

Embora ambos os modelos levem em conta dados quantitativos e avaliação por pares, as metodologias adotadas pela Capes e pelo Hef­ce britânico guardam poucas semelhanças. O RAE avalia a qualidade de apenas parte da produção acadêmica das universidades, aquela que, por decisão de cada departamento, é julgada mais relevante. Cada pesquisador pode declarar no máximo quatro linhas de investigação em que tenha se envolvido no período. Já no modelo da Capes, os programas de mestrado e doutorado stricto sensu devem declarar anualmente um espectro amplo de informações relacionadas à produção científica de professores e estudantes, à formação do corpo docente e à qualidade da formação dos alunos – e esse conjunto de dados subsidia a avaliação trienal.

No exemplo britânico, o peer review é a tônica. Os revisores têm a obrigação de ler os trabalhos científicos destacados por cada departamento para formarem sua opinião. Em casos excepcionais, permite-se que alguns comitês abstenham-se de analisar em detalhes um determinado trabalho, desde que possam basear sua análise em revisões já feitas por outros especialistas, não em dados bibliométricos. O capítulo dos critérios de avaliação diz textualmente que “nenhum painel usará fatores de impacto de publicações como medida substituta de avaliação de qualidade”.

WARWICK UNIVERSITYA análise é feita com base em três elementos. O primeiro são os resultados da pesquisa acadêmica, na forma de artigos, livros, relatórios técnicos, patentes, entre outros. O segundo é o ambiente de pesquisa e se baseia em dados como o número de bolsas, o volume de recursos obtidos ou apoio institucional à pesquisa. O terceiro são indicadores de prestígio – no máximo quatro para cada pesquisador – como prêmios e distinções obtidas, organização de congressos, participação no comitê editorial de publicações científicas, entre outros. Cada comitê julga a qualidade desse conjunto de dados e a composição dos resultados dos três elementos confere o perfil geral de qualidade, que pode ter cinco classificações: 0 (abaixo dos padrões nacionais); 1 (reconhecido nacionalmente); 2 (reconhecido internacionalmente); 3 (de excelência internacional); e 4 (com pesquisa de ponta em nível mundial). Essa metodologia substituiu a de RAEs anteriores, que somavam pontos obtidos em diversos quesitos. “O objetivo é evitar que se repitam distorções na distribuição de fundos, com um departamento avaliado com menção 5* recebendo muito mais verbas do que outro avaliado com 5, embora as diferenças entre ambos não sejam grandes”, disse Ed Hughes.

No caso da Capes, os critérios bibliométricos têm um peso grande, ainda que a avaliação esteja a cargo de comitês de especialistas. As principais revistas científicas foram cadastradas pela agência de acordo com sua qualidade (leia-se: fator de impacto) e o alcance da circulação (local, nacional e internacional). Esse sistema, chamado Qualis, serve para avaliar os artigos científicos dos pesquisadores e fundamenta uma parte significativa do processo de avaliação, sobretudo em áreas cuja produção acadêmica se expressa em artigos publicados em revistas. Dessa forma, uma produção modesta, mas divulgada em publicações de alto impacto, ganha mais peso nas fórmulas adotadas pelos comitês de avaliação do que uma produção mais vasta divulgada em periódicos com fator de impacto restrito. Os dados coletados são submetidos aos comitês de área e cada um deles utiliza critérios específicos para analisar as informações. Os programas são avaliados com notas de 1 a 5. Esse trabalho produz planilhas, comuns a todos os programas, que buscam dar transparência e exigem que os comitês levem em conta uma série padronizada de informações como contingente de docentes, o número de teses e dissertações defendidas, artigos publicados em periódicos científicos nacionais e internacionais, trabalhos publicados em anais de eventos nacionais e internacionais, livros e capítulos de livros. Mas uma análise qualitativa pode ser requerida em tópicos como, por exemplo, a avaliação de livros ou capítulos de livros, mais comuns na produção das ciências humanas, dada a ausência de indicadores capazes de avaliar sua qualidade.

Os programas de doutorado que obtiverem nota máxima (5) podem ser submetidos a uma segunda etapa de avaliação, essa de caráter mais qualitativo. Eles podem ser reavaliados com menção 6 ou 7 a depender de indicadores como a capacidade de nuclear grupos de pesquisa ou a sua inserção internacional, mensurada por critérios como a existência de convênios internacionais, a presença de professores visitantes de universidades estrangeiras reputadas como de primeira linha, o intercâmbio de alunos com universidades estrangeiras, a participação de docentes em comitês e diretorias de associações internacionais, entre outros.

A escolha dos avaliadores segue formatos diferentes nos dois modelos. No caso do RAE 2008, houve uma disputa pelo preenchimento das vagas de membros e chefes dos painéis e subpainéis. Eles foram escolhidos por representantes das agências de financiamento com base em 4.948 indicações feitas por 1.371 instituições e sociedades científicas (as universidades não podem indicar membros). Na Capes, os coordenadores dos comitês, que são escolhidos pela instituição, têm certa  liberdade para sugerir com quem vão trabalhar, respeitando  critérios de competência na área. Os nomes, de todo modo, precisam ser aprovados pela diretoria de avaliação da agência. A última avaliação trienal envolveu cerca de 700 revisores. Há a exigência de que pelo menos 50% dos membros de cada comitê sejam substituídos a cada três anos.

Citações
O RAE 2008 será a última avaliação britânica a seguir esse modelo. Para reduzir custos e dar mais agilidade à avaliação, o governo do Reino Unido decidiu lançar um novo sistema, o Research Excellence Framework (REF), que, embora não abandone a avaliação por pares, fará grande uso de indicadores bibliométricos, como o número de citações das publicações feitas pelos cientistas. “Os elementos que serão usados e o equilíbrio entre eles irão variar de acordo com as características de cada campo do conhecimento”, afirmou Ed Hughes. O Hefce está fazendo um estudo-piloto, envolvendo 22 áreas do conhecimento, para comparar os resultados do RAE 2008 com o que será a metodologia do REF. A mudança divide a comunidade científica britânica, sobretudo porque ainda não há clareza sobre os métodos a serem adotados. “Tomadas de forma isolada, citações têm se mostrado repetidamente uma medida pobre da qualidade da pesquisa”, disse a revista Nature em editorial sobre as mudanças na edição de 1º de janeiro.

A publicação cita um estudo de 1998 que comparou os resultados de duas análises de um conjunto de artigos sobre física, uma usando métricas como citações e outra baseada em peer review. As divergências atingiram 25% dos artigos analisados. “Os formuladores de políticas não têm outra opção a não ser reconhecer que a revisão de especialistas tem um papel indispensável na avaliação”, disse a Nature.

Num relatório apresentado em 2003 ao Hefce, os pesquisadores Nick von Tunzelman, da Universidade de Sussex, e Erika Kraemer-Mbula, da Universidade de Brighton, informavam que, apesar das críticas ao sistema de avaliação por pares britânico, raros países adotaram sistemas quantitativos puros para avaliar a pesquisa e, onde isso ocorreu, caso da região de Flandres, na Bélgica, foi cercado de controvérsias. A questão, segundo Ed Hughes, é encontrar um ponto de equilíbrio. “O novo sistema manterá elementos da avaliação por pares, mas precisamos encontrar meios de fazer um sistema de avaliação mais simples e mais eficiente sem perder o valor obtido pelos processos rigorosos usados nos RAE”, afirmou.

Republicar