{"id":119829,"date":"2013-06-04T12:59:33","date_gmt":"2013-06-04T15:59:33","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/?p=119829"},"modified":"2013-06-05T16:13:33","modified_gmt":"2013-06-05T19:13:33","slug":"le-merite-mesure","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/fr\/le-merite-mesure\/","title":{"rendered":"Le m\u00e9rite mesur\u00e9"},"content":{"rendered":"

<\/p>\n

<\/p>\n

Publi\u00e9 en f\u00e9vrier 2009<\/em><\/p>\n

\"\"WARWICK UNIVERSITY<\/span>La communaut\u00e9 universitaire britannique vit un moment d\u2019expectative. Les r\u00e9sultats du sixi\u00e8me Research Assessment Exercise (RAE 2008) ont \u00e9t\u00e9 pr\u00e9sent\u00e9s en 2008. Il s\u2019agit d\u2019une vaste \u00e9valuation de la qualit\u00e9 de la recherche qui orientera le versement de 2,3 milliards de dollars annuels de fonds publics entre les diff\u00e9rentes universit\u00e9s britanniques de 2009 \u00e0 2014. 52 400 chercheurs appartenant \u00e0 159 institutions d\u2019enseignement sup\u00e9rieur ont \u00e9t\u00e9 \u00e9valu\u00e9s. On a constat\u00e9 que 17 % des recherches men\u00e9es sont \u00e0 la pointe de la recherche mondiale ; 37 % se situent dans la cat\u00e9gorie d\u2019excellence internationale; 33 % sont reconnues sur le plan international; 11 % sur le plan national, et 2 % sont en dessous du niveau exig\u00e9 par le Royaume-Uni. \u00abCette \u00e9valuation repr\u00e9sente une \u00e9tape importante et confirme que nous sommes une grande puissance mondiale en mati\u00e8re de recherche\u00bb a d\u00e9clar\u00e9 David Eastwood, lors de l\u2019annonce des r\u00e9sultats. Ce dernier est le directeur ex\u00e9cutif du Higher Education Funding Council for England (Hefce), un des organismes qui a r\u00e9alis\u00e9 cette analyse. \u00abParmi les 159 institutions analys\u00e9es, 150 m\u00e8nent des recherches de niveau international\u00bb d\u00e9clare-t-il.<\/span><\/p>\n

Bien que le RAE 2008 ne propose pas un classement des meilleures institutions, une analyse de donn\u00e9es r\u00e9alis\u00e9e par le Times Higher Education montre que les meilleures universit\u00e9s sont celles de Cambridge et d\u2019Oxford, suivies par la London School of Economics et par l\u2019Imperial College. Certaines institutions ont am\u00e9lior\u00e9 leurs performances par rapport au RAE pr\u00e9c\u00e9dent r\u00e9alis\u00e9 en 2001. C\u2019est le cas de l\u2019Universit\u00e9 Queen Mary de Londres, qui est pass\u00e9e de la 48\u00e8me<\/sup> \u00e0 la 13\u00e8me<\/sup> place. D\u2019autres ont enregistr\u00e9 de mauvaises performances comme l\u2019Universit\u00e9 de Warwick qui est pass\u00e9e de la 6\u00e8me<\/sup> \u00e0 la 9\u00e8me<\/sup> place. Les universit\u00e9s devront cependant attendre le 4 mars pour conna\u00eetre celles qui gagneront des fonds et celles qui vont en perdre, car cette analyse tiendra compte de la qualit\u00e9 de la recherche men\u00e9e et du nombre de chercheurs dans chaque institution. L\u2019Universit\u00e9 de Cardiff, par exemple, est pass\u00e9e de la 8\u00e8me<\/sup> \u00e0 la 22\u00e8me<\/sup> place, mais il est probable qu\u2019elle ne sera pas p\u00e9nalis\u00e9e car le nombre de chercheurs \u00e9valu\u00e9s par le RAE 2008 est plus important que lors de la pr\u00e9c\u00e9dente \u00e9valuation. On s\u2019attend quand m\u00eame \u00e0 des ondes de choc dans les institutions mal not\u00e9es et qui se sont traduiront par des licenciements comme pour les \u00e9valuations pr\u00e9c\u00e9dentes.<\/span><\/p>\n

Le RAE poss\u00e8de une m\u00e9thodologie sophistiqu\u00e9e bas\u00e9e sur un syst\u00e8me d\u2019\u00e9valuation double, utilisant des consultants britanniques et \u00e9trangers. De par son importance, l\u2019\u00e9valuation de 2008 a co\u00fbt\u00e9 17 millions de dollars contre 8 millions de dollars en 2001. Elle se base sur 15 panels qui supervisent le travail de 67 sous-panels de disciplines. 950 r\u00e9viseurs ont particip\u00e9 \u00e0 ce processus. Les comit\u00e9s principaux comptent sur la participation d\u2019au moins un chercheur \u00e9tranger. \u00abL\u2019objectif n\u2019est pas de comparer l\u2019analyse des membres britanniques et \u00e9trangers, mais de s\u2019assurer que les niveaux de qualit\u00e9 exig\u00e9s sont appropri\u00e9s\u00bb, d\u00e9clare Ed Hughes, du Hefce, et coordonnateur du RAE 2008. \u00abDans de nombreuses situations, les sp\u00e9cialistes internationaux nous aident \u00e0 d\u00e9finir des param\u00e8tres. Ils doivent garantir une cr\u00e9dibilit\u00e9 internationale\u00bb.<\/span><\/p>\n

Cons\u00e9quences
\n<\/span><\/strong> Le mod\u00e8le britannique est diff\u00e9rent du syst\u00e8me d\u00e9velopp\u00e9 au Br\u00e9sil par la Coordination Nationale de Perfectionnement du Personnel de Niveau Sup\u00e9rieur (Capes) qui, depuis les ann\u00e9es 70, \u00e9value les programmes du 3\u00e8me<\/sup> cycle universitaire stricto sensu en analysant les objectifs et les cons\u00e9quences des processus d\u2019\u00e9valuation. Au Br\u00e9sil, l\u2019\u00e9valuation triennale de master, master professionnelle et de doctorat ne cherche pas seulement \u00e0 mesurer la qualit\u00e9 des programmes mais encourage leur d\u00e9veloppement qui orientera le financement de bourses et reconna\u00eetra l\u2019excellence des groupes de recherche impliqu\u00e9s. Certains cours ne sont supprim\u00e9s que dans des situations extr\u00eames et des programmes ayant des notes moyennes mais r\u00e9guli\u00e8res sont autoris\u00e9s \u00e0 former des ma\u00eetres et des docteurs, bien que parfois leur prestige en p\u00e2tisse. Le RAE a un impact imm\u00e9diat et parfois d\u00e9vastateur car c\u2019est un indicateur pour l\u2019allocation de ressources destin\u00e9es aux universit\u00e9s britanniques. Une mauvaise \u00e9valuation signifie moins de financement durant une longue p\u00e9riode. \u00abEn se basant sur le RAE, les universit\u00e9s peuvent \u00eatre amen\u00e9es \u00e0 supprimer certains d\u00e9partements comme cela s\u2019est produit lors du premier RAE\u00bb, affirme Lea Velho, professeur du D\u00e9partement de Politique Scientifique et Technologique de l\u2019Institut de G\u00e9osciences de l\u2019Universit\u00e9 Publique de Campinas (Unicamp). \u00abLes sanctions sont r\u00e9elles pour les d\u00e9partements ayant eu une mauvaise \u00e9valuation\u00bb, d\u00e9clare-t-il.<\/span><\/p>\n

Bien que les deux mod\u00e8les tiennent compte de donn\u00e9es quantitatives et b\u00e9n\u00e9ficient d\u2019une double \u00e9valuation, les m\u00e9thodologies utilis\u00e9es par la Capes et par le Hefce britannique sont diff\u00e9rentes. Le RAE n\u2019\u00e9value qu\u2019une partie de la production acad\u00e9mique des universit\u00e9s consid\u00e9r\u00e9e importante par chaque d\u00e9partement. Chaque chercheur doit indiquer quatre lignes de recherches maximum auxquelles il a particip\u00e9 au cours de la p\u00e9riode. Pour la Capes, les programmes de ma\u00eetrise et de doctorat stricto sensu doivent pr\u00e9senter chaque ann\u00e9e de nombreuses informations concernant la production scientifique des professeurs et des \u00e9tudiants, la formation des professeurs et la qualit\u00e9 de l\u2019enseignement dispens\u00e9. Cet ensemble d\u2019informations est la base de l\u2019\u00e9valuation triennale. <\/span><\/p>\n

Dans l\u2019exemple britannique, l\u2019\u00e9valuation des pairs est primordiale. Les r\u00e9viseurs doivent lire et analyser les travaux scientifiques choisis par chaque d\u00e9partement avant de se prononcer. Dans des cas exceptionnels, certains comit\u00e9s s\u2019abstiennent d\u2019analyser les travaux de mani\u00e8re d\u00e9taill\u00e9e quand ils peuvent se baser sur des r\u00e9visions d\u00e9j\u00e0 faites par d\u2019autres sp\u00e9cialistes et non \u00e0 l\u2019aide de donn\u00e9es bibliom\u00e9triques. L\u2019item concernant les crit\u00e8res d\u2019\u00e9valuation stipule \u00abqu\u2019aucun crit\u00e8re ne sera influenc\u00e9 par des facteurs externes, comme la publication d\u2019articles, pour \u00e9valuer la qualit\u00e9 des travaux\u00bb.<\/span><\/p>\n

L\u2019analyse se base sur trois aspects. Le premier concerne les r\u00e9sultats obtenus par la recherche acad\u00e9mique en termes d\u2019articles, de livres, de rapports techniques, de brevets d\u00e9pos\u00e9s, entre autres. Le deuxi\u00e8me est relatif \u00e0 l\u2019environnement de recherche et se base sur certaines donn\u00e9es comme le nombre de bourses, le financement obtenu ou le soutien institutionnel \u00e0 la recherche. Le troisi\u00e8me correspond aux indicateurs de prestige (quatre maximum pour chaque chercheur) comme les r\u00e9compenses et les distinctions obtenues, l\u2019organisation de congr\u00e8s et la r\u00e9daction d\u2019article scientifiques, entre autres. Chaque comit\u00e9 analyse la qualit\u00e9 de cet ensemble d\u2019informations et les r\u00e9sultats d\u00e9terminent un profil g\u00e9n\u00e9ral not\u00e9 de cette mani\u00e8re : 0 (en dessous du niveau national); 1 (reconnu sur le plan national); 2 (reconnu sur le plan international); 3 (d’excellence internationale); et 4 (de recherche de pointe mondiale). Cette m\u00e9thodologie a remplac\u00e9 les RAE pr\u00e9c\u00e9dents qui totalisaient les points obtenus dans les diff\u00e9rentes cat\u00e9gories. \u00abL\u2019objectif est d\u2019\u00e9viter les \u00e9carts de financement quand un d\u00e9partement not\u00e9 5+ re\u00e7oit davantage de fonds qu\u2019un autre \u00e9valu\u00e9 5 car les diff\u00e9rences entre les deux sont minimes\u00bb, d\u00e9clare Ed Hughes. <\/span><\/p>\n

Les crit\u00e8res bibliom\u00e9triques ont une grande importance pour la Capes m\u00eame si l\u2019\u00e9valuation d\u00e9pend de comit\u00e9s de sp\u00e9cialistes. Les principaux articles scientifiques ont \u00e9t\u00e9 class\u00e9s selon l\u2019importance des revues (lire: facteur d\u2019impact) et leur port\u00e9e (locale, nationale et internationale). Ce syst\u00e8me, appel\u00e9 Qualis, sert \u00e0 \u00e9valuer les articles scientifiques publi\u00e9s et justifie une part significative du processus d\u2019\u00e9valuation, surtout dans des domaines o\u00f9 la production acad\u00e9mique s\u2019exprime principalement par des articles publi\u00e9s dans des revues. Une contribution modeste publi\u00e9e dans une revue renomm\u00e9e est plus importante qu\u2019une production plus large publi\u00e9e dans une revue d\u2019un impact limit\u00e9, selon les crit\u00e8res des comit\u00e9s d\u2019\u00e9valuation. Les informations recueillies sont soumises aux comit\u00e9s respectifs qui utilisent des crit\u00e8res sp\u00e9cifiques \u00e0 chaque domaine pour analyser ces informations. Les programmes re\u00e7oivent une note de 1 \u00e0 5. Ces analyses sont publi\u00e9es sur des listes communes pour favoriser la transparence en exigeant que les comit\u00e9s tiennent compte d\u2019un ensemble standardis\u00e9 d\u2019informations comme\u00a0: le nombre de professeurs, la quantit\u00e9 de th\u00e8ses et de dissertations soutenues, les articles publi\u00e9s dans des revues scientifiques nationales et internationales, les travaux publi\u00e9s dans les annales d\u2019\u00e9v\u00e9nements nationaux et internationaux, les livres et les chapitres de livres. Une analyse qualitative peut \u00e9galement \u00eatre demand\u00e9e comme, par exemple, l\u2019\u00e9valuation de livres ou de chapitres de livres qui sont nombreux dans le domaine des sciences humaines, en fonction de l\u2019absence d\u2019indicateurs pour \u00e9valuer leur qualit\u00e9.<\/span><\/p>\n

Les programmes de doctorat ayant obtenu la note maximale (5) sont parfois soumis \u00e0 une deuxi\u00e8me \u00e9tape d\u2019\u00e9valuation plus qualitative. Ils peuvent \u00eatre r\u00e9\u00e9valu\u00e9s et obtenir la note 6 ou 7 en fonction de certains indicateurs comme le potentiel scientifique des groupes de recherche ou leur insertion internationale, mesur\u00e9 par l\u2019existence d\u2019accords internationaux, la pr\u00e9sence de professeurs visiteurs provenant d\u2019universit\u00e9s \u00e9trang\u00e8res r\u00e9put\u00e9es, les \u00e9changes d\u2019\u00e9tudiants entre universit\u00e9s, la participation de professeurs dans des comit\u00e9s et \u00e0 la direction d\u2019associations internationales, entre autres.<\/span><\/p>\n

Les \u00e9valuateurs sont choisis de mani\u00e8re diff\u00e9rente dans les deux m\u00e9thodologies. Dans le cas du RAE 2008, une s\u00e9lection a eu lieu pour d\u00e9signer les membres, les chefs des panels et des sous-panels. Ils ont \u00e9t\u00e9 choisis par des repr\u00e9sentants d\u2019agences de financement \u00e0 l\u2019aide des 4 948 indications propos\u00e9es par 1 371 institutions et soci\u00e9t\u00e9s scientifiques (les universit\u00e9s ne peuvent pas indiquer de membres). Les coordonnateurs de comit\u00e9s choisis par la Capes peuvent sugg\u00e9rer les noms de personne avec qui ils veulent travailler, conform\u00e9ment \u00e0 leurs comp\u00e9tences. Ces personnes indiqu\u00e9es doivent \u00eatre approuv\u00e9es par la direction d\u2019\u00e9valuation de l\u2019agence. 700 r\u00e9viseurs ont particip\u00e9 \u00e0 la derni\u00e8re \u00e9valuation triennale. La moiti\u00e9 des membres de chaque comit\u00e9 doit \u00eatre renouvel\u00e9e tous les 3 ans.<\/span><\/p>\n

Citations
\n<\/span><\/strong> Le RAE 2008 sera la derni\u00e8re \u00e9valuation britannique \u00e0 suivre ce mod\u00e8le. Le gouvernement britannique a d\u00e9cid\u00e9 d\u2019utiliser un nouveau syst\u00e8me afin de r\u00e9duire les co\u00fbts et d\u2019am\u00e9liorer l\u2019\u00e9valuation. Le nouveau mod\u00e8le appel\u00e9 Research Excellence Framework (REF) utilisera toujours l\u2019\u00e9valuation des pairs mais aussi de nombreux indicateurs bibliom\u00e9triques, comme le nombre de citations de scientifiques dans les revues. \u00abLes \u00e9l\u00e9ments qui seront utilis\u00e9s et leur importance varieront selon les caract\u00e9ristiques de chaque domaine de la connaissance\u00bb, d\u00e9clare Ed Hughes. Le Hefce d\u00e9veloppe une \u00e9tude pilote dans 22 domaines de la connaissance pour comparer les r\u00e9sultats du RAE 2008 avec la nouvelle m\u00e9thodologie utilis\u00e9e par le mod\u00e8le REF. Ce changement divise la communaut\u00e9 scientifique britannique car les m\u00e9thodes qui seront adopt\u00e9es ne sont pas encore clairement d\u00e9finies. \u00abLes citations prises de mani\u00e8re isol\u00e9e se sont av\u00e9r\u00e9es insuffisantes pour mesurer la qualit\u00e9 de la recherche\u00bb, affirme la revue Nature dans un \u00e9ditorial sur les changements climatiques publi\u00e9 le 1er<\/sup> janvier.<\/span><\/p>\n

La revue cite une \u00e9tude de 1998 qui compare les r\u00e9sultats de deux analyses d\u2019un ensemble d\u2019articles dans le domaine de la physique, l\u2019une utilisant le nombre de citations et l\u2019autre bas\u00e9e sur l\u2019\u00e9valuation des pairs. Les diff\u00e9rences observ\u00e9es concernent 25 % des articles analys\u00e9s. \u00abLes d\u00e9cideurs politiques sont oblig\u00e9s de reconna\u00eetre que la r\u00e9vision faite par des sp\u00e9cialistes est primordiale dans l\u2019\u00e9valuation\u00bb, d\u00e9clare la revue Nature. <\/span><\/p>\n

Un rapport pr\u00e9sent\u00e9 en 2003 au Hefce, par les chercheurs Nick von Tunzelman, de l\u2019Universit\u00e9 de Sussex, et Erika Kraemer-Mbula, de l\u2019Universit\u00e9 de Brighton, indique que malgr\u00e9 les critiques \u00e0 l\u2019encontre du syst\u00e8me d\u2019\u00e9valuation des pairs, peu de pays ont adopt\u00e9 des syst\u00e8mes quantitatifs purs pour \u00e9valuer la recherche et quand c\u2019est le cas, comme en Flandres, en Belgique, ce syst\u00e8me est controvers\u00e9. Il faut trouver le juste \u00e9quilibre. \u00abLe nouveau mod\u00e8le utilisera toujours l\u2019\u00e9valuation des pairs mais nous devons cr\u00e9er un syst\u00e8me plus simple et plus efficace sans perdre la valeur ajout\u00e9e acquise gr\u00e2ce au processus d\u2019analyse rigoureux utilis\u00e9 dans les RAE\u00bb, d\u00e9clare Ed Hughes.<\/span><\/p>\n

\u00a0<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"Le m\u00e9rite mesur\u00e9","protected":false},"author":11,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[1191],"tags":[],"coauthors":[98],"class_list":["post-119829","post","type-post","status-publish","format-standard","hentry","category-politique-st"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/posts\/119829","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/comments?post=119829"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/posts\/119829\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/media?parent=119829"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/categories?post=119829"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/tags?post=119829"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/coauthors?post=119829"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}