Publié en février 2009
WARWICK UNIVERSITYLa communauté universitaire britannique vit un moment d’expectative. Les résultats du sixième Research Assessment Exercise (RAE 2008) ont été présentés en 2008. Il s’agit d’une vaste évaluation de la qualité de la recherche qui orientera le versement de 2,3 milliards de dollars annuels de fonds publics entre les différentes universités britanniques de 2009 à 2014. 52 400 chercheurs appartenant à 159 institutions d’enseignement supérieur ont été évalués. On a constaté que 17 % des recherches menées sont à la pointe de la recherche mondiale ; 37 % se situent dans la catégorie d’excellence internationale; 33 % sont reconnues sur le plan international; 11 % sur le plan national, et 2 % sont en dessous du niveau exigé par le Royaume-Uni. «Cette évaluation représente une étape importante et confirme que nous sommes une grande puissance mondiale en matière de recherche» a déclaré David Eastwood, lors de l’annonce des résultats. Ce dernier est le directeur exécutif du Higher Education Funding Council for England (Hefce), un des organismes qui a réalisé cette analyse. «Parmi les 159 institutions analysées, 150 mènent des recherches de niveau international» déclare-t-il.
Bien que le RAE 2008 ne propose pas un classement des meilleures institutions, une analyse de données réalisée par le Times Higher Education montre que les meilleures universités sont celles de Cambridge et d’Oxford, suivies par la London School of Economics et par l’Imperial College. Certaines institutions ont amélioré leurs performances par rapport au RAE précédent réalisé en 2001. C’est le cas de l’Université Queen Mary de Londres, qui est passée de la 48ème à la 13ème place. D’autres ont enregistré de mauvaises performances comme l’Université de Warwick qui est passée de la 6ème à la 9ème place. Les universités devront cependant attendre le 4 mars pour connaître celles qui gagneront des fonds et celles qui vont en perdre, car cette analyse tiendra compte de la qualité de la recherche menée et du nombre de chercheurs dans chaque institution. L’Université de Cardiff, par exemple, est passée de la 8ème à la 22ème place, mais il est probable qu’elle ne sera pas pénalisée car le nombre de chercheurs évalués par le RAE 2008 est plus important que lors de la précédente évaluation. On s’attend quand même à des ondes de choc dans les institutions mal notées et qui se sont traduiront par des licenciements comme pour les évaluations précédentes.
Le RAE possède une méthodologie sophistiquée basée sur un système d’évaluation double, utilisant des consultants britanniques et étrangers. De par son importance, l’évaluation de 2008 a coûté 17 millions de dollars contre 8 millions de dollars en 2001. Elle se base sur 15 panels qui supervisent le travail de 67 sous-panels de disciplines. 950 réviseurs ont participé à ce processus. Les comités principaux comptent sur la participation d’au moins un chercheur étranger. «L’objectif n’est pas de comparer l’analyse des membres britanniques et étrangers, mais de s’assurer que les niveaux de qualité exigés sont appropriés», déclare Ed Hughes, du Hefce, et coordonnateur du RAE 2008. «Dans de nombreuses situations, les spécialistes internationaux nous aident à définir des paramètres. Ils doivent garantir une crédibilité internationale».
Conséquences
Le modèle britannique est différent du système développé au Brésil par la Coordination Nationale de Perfectionnement du Personnel de Niveau Supérieur (Capes) qui, depuis les années 70, évalue les programmes du 3ème cycle universitaire stricto sensu en analysant les objectifs et les conséquences des processus d’évaluation. Au Brésil, l’évaluation triennale de master, master professionnelle et de doctorat ne cherche pas seulement à mesurer la qualité des programmes mais encourage leur développement qui orientera le financement de bourses et reconnaîtra l’excellence des groupes de recherche impliqués. Certains cours ne sont supprimés que dans des situations extrêmes et des programmes ayant des notes moyennes mais régulières sont autorisés à former des maîtres et des docteurs, bien que parfois leur prestige en pâtisse. Le RAE a un impact immédiat et parfois dévastateur car c’est un indicateur pour l’allocation de ressources destinées aux universités britanniques. Une mauvaise évaluation signifie moins de financement durant une longue période. «En se basant sur le RAE, les universités peuvent être amenées à supprimer certains départements comme cela s’est produit lors du premier RAE», affirme Lea Velho, professeur du Département de Politique Scientifique et Technologique de l’Institut de Géosciences de l’Université Publique de Campinas (Unicamp). «Les sanctions sont réelles pour les départements ayant eu une mauvaise évaluation», déclare-t-il.
Bien que les deux modèles tiennent compte de données quantitatives et bénéficient d’une double évaluation, les méthodologies utilisées par la Capes et par le Hefce britannique sont différentes. Le RAE n’évalue qu’une partie de la production académique des universités considérée importante par chaque département. Chaque chercheur doit indiquer quatre lignes de recherches maximum auxquelles il a participé au cours de la période. Pour la Capes, les programmes de maîtrise et de doctorat stricto sensu doivent présenter chaque année de nombreuses informations concernant la production scientifique des professeurs et des étudiants, la formation des professeurs et la qualité de l’enseignement dispensé. Cet ensemble d’informations est la base de l’évaluation triennale.
Dans l’exemple britannique, l’évaluation des pairs est primordiale. Les réviseurs doivent lire et analyser les travaux scientifiques choisis par chaque département avant de se prononcer. Dans des cas exceptionnels, certains comités s’abstiennent d’analyser les travaux de manière détaillée quand ils peuvent se baser sur des révisions déjà faites par d’autres spécialistes et non à l’aide de données bibliométriques. L’item concernant les critères d’évaluation stipule «qu’aucun critère ne sera influencé par des facteurs externes, comme la publication d’articles, pour évaluer la qualité des travaux».
L’analyse se base sur trois aspects. Le premier concerne les résultats obtenus par la recherche académique en termes d’articles, de livres, de rapports techniques, de brevets déposés, entre autres. Le deuxième est relatif à l’environnement de recherche et se base sur certaines données comme le nombre de bourses, le financement obtenu ou le soutien institutionnel à la recherche. Le troisième correspond aux indicateurs de prestige (quatre maximum pour chaque chercheur) comme les récompenses et les distinctions obtenues, l’organisation de congrès et la rédaction d’article scientifiques, entre autres. Chaque comité analyse la qualité de cet ensemble d’informations et les résultats déterminent un profil général noté de cette manière : 0 (en dessous du niveau national); 1 (reconnu sur le plan national); 2 (reconnu sur le plan international); 3 (d’excellence internationale); et 4 (de recherche de pointe mondiale). Cette méthodologie a remplacé les RAE précédents qui totalisaient les points obtenus dans les différentes catégories. «L’objectif est d’éviter les écarts de financement quand un département noté 5+ reçoit davantage de fonds qu’un autre évalué 5 car les différences entre les deux sont minimes», déclare Ed Hughes.
Les critères bibliométriques ont une grande importance pour la Capes même si l’évaluation dépend de comités de spécialistes. Les principaux articles scientifiques ont été classés selon l’importance des revues (lire: facteur d’impact) et leur portée (locale, nationale et internationale). Ce système, appelé Qualis, sert à évaluer les articles scientifiques publiés et justifie une part significative du processus d’évaluation, surtout dans des domaines où la production académique s’exprime principalement par des articles publiés dans des revues. Une contribution modeste publiée dans une revue renommée est plus importante qu’une production plus large publiée dans une revue d’un impact limité, selon les critères des comités d’évaluation. Les informations recueillies sont soumises aux comités respectifs qui utilisent des critères spécifiques à chaque domaine pour analyser ces informations. Les programmes reçoivent une note de 1 à 5. Ces analyses sont publiées sur des listes communes pour favoriser la transparence en exigeant que les comités tiennent compte d’un ensemble standardisé d’informations comme : le nombre de professeurs, la quantité de thèses et de dissertations soutenues, les articles publiés dans des revues scientifiques nationales et internationales, les travaux publiés dans les annales d’événements nationaux et internationaux, les livres et les chapitres de livres. Une analyse qualitative peut également être demandée comme, par exemple, l’évaluation de livres ou de chapitres de livres qui sont nombreux dans le domaine des sciences humaines, en fonction de l’absence d’indicateurs pour évaluer leur qualité.
Les programmes de doctorat ayant obtenu la note maximale (5) sont parfois soumis à une deuxième étape d’évaluation plus qualitative. Ils peuvent être réévalués et obtenir la note 6 ou 7 en fonction de certains indicateurs comme le potentiel scientifique des groupes de recherche ou leur insertion internationale, mesuré par l’existence d’accords internationaux, la présence de professeurs visiteurs provenant d’universités étrangères réputées, les échanges d’étudiants entre universités, la participation de professeurs dans des comités et à la direction d’associations internationales, entre autres.
Les évaluateurs sont choisis de manière différente dans les deux méthodologies. Dans le cas du RAE 2008, une sélection a eu lieu pour désigner les membres, les chefs des panels et des sous-panels. Ils ont été choisis par des représentants d’agences de financement à l’aide des 4 948 indications proposées par 1 371 institutions et sociétés scientifiques (les universités ne peuvent pas indiquer de membres). Les coordonnateurs de comités choisis par la Capes peuvent suggérer les noms de personne avec qui ils veulent travailler, conformément à leurs compétences. Ces personnes indiquées doivent être approuvées par la direction d’évaluation de l’agence. 700 réviseurs ont participé à la dernière évaluation triennale. La moitié des membres de chaque comité doit être renouvelée tous les 3 ans.
Citations
Le RAE 2008 sera la dernière évaluation britannique à suivre ce modèle. Le gouvernement britannique a décidé d’utiliser un nouveau système afin de réduire les coûts et d’améliorer l’évaluation. Le nouveau modèle appelé Research Excellence Framework (REF) utilisera toujours l’évaluation des pairs mais aussi de nombreux indicateurs bibliométriques, comme le nombre de citations de scientifiques dans les revues. «Les éléments qui seront utilisés et leur importance varieront selon les caractéristiques de chaque domaine de la connaissance», déclare Ed Hughes. Le Hefce développe une étude pilote dans 22 domaines de la connaissance pour comparer les résultats du RAE 2008 avec la nouvelle méthodologie utilisée par le modèle REF. Ce changement divise la communauté scientifique britannique car les méthodes qui seront adoptées ne sont pas encore clairement définies. «Les citations prises de manière isolée se sont avérées insuffisantes pour mesurer la qualité de la recherche», affirme la revue Nature dans un éditorial sur les changements climatiques publié le 1er janvier.
La revue cite une étude de 1998 qui compare les résultats de deux analyses d’un ensemble d’articles dans le domaine de la physique, l’une utilisant le nombre de citations et l’autre basée sur l’évaluation des pairs. Les différences observées concernent 25 % des articles analysés. «Les décideurs politiques sont obligés de reconnaître que la révision faite par des spécialistes est primordiale dans l’évaluation», déclare la revue Nature.
Un rapport présenté en 2003 au Hefce, par les chercheurs Nick von Tunzelman, de l’Université de Sussex, et Erika Kraemer-Mbula, de l’Université de Brighton, indique que malgré les critiques à l’encontre du système d’évaluation des pairs, peu de pays ont adopté des systèmes quantitatifs purs pour évaluer la recherche et quand c’est le cas, comme en Flandres, en Belgique, ce système est controversé. Il faut trouver le juste équilibre. «Le nouveau modèle utilisera toujours l’évaluation des pairs mais nous devons créer un système plus simple et plus efficace sans perdre la valeur ajoutée acquise grâce au processus d’analyse rigoureux utilisé dans les RAE», déclare Ed Hughes.
Republier
