catarina besselPublié en octobre 2014
Un article publié par des brésiliens dans la revue scientifique Scientometrics montre l’utilité d’une méthodologie pour évaluer l’impact des programmes de recherche, en particulier quand l’univers de projets à analyser est restreint et que le groupe de contrôle – ce qui sert de référence pour la comparaison – a des caractéristiques différentes de celles de l’objet d’étude. Signé par Fernando Colugnati (Université Fédérale de Juiz de Fora), Sergio Firpo (Fondation Getúlio Vargas), Paula Drummond et Sergio Salles-Filho (tous deux de l’Université d’État de Campinas, Unicamp), l’article décrit en détail cette méthodologie novatrice destinée à l’évaluation du Programme Biota-FAPESP, qui étudie depuis 1999 la biodiversité de l’État de São Paulo. Pour obtenir des données sur l’impact du programme, le groupe a comparé des projets du Biota-FAPESP avec d’autres aux caractéristiques équivalentes mais qui ne font pas partie du programme. Le challenge était d’éviter que certains éléments aient des conséquences sur les résultats; par exemple, que le groupe de contrôle ait un plus grand nombre de projets, et dans certains cas aux caractéristiques différentes. Vu que le Programme Biota-FAPESP compte une quantité élevée de projets thématiques, qu’ils réunissent plus de ressources financières et humaines et peuvent durer jusqu’à 5 ans, les projets du groupe de contrôle s’inscrivaient généralement dans la modalité ‘Aide régulière à la recherche’, aux délais plus courts et avec moins de ressources.
Partant de là, les chercheurs se sont attachés à créer une méthodologie capable de dissocier statistiquement les effets des projets thématiques du Programme Biota-FAPESP. Ils ont recouru à une théorie statistique développée dans les années 1980 pour estimer la probabilité de comparaison de chaque projet du groupe de contrôle avec un projet du Programme Biota. Les variables choisies (l’âge du coordonnateur du projet, le nombre d’articles publiés ou la taille de l’équipe, par exemple) sont apparues comme des voies potentielles pour l’étude et ont augmenté la probabilité que le projet soit du groupe Biota. Cette probabilité porte le nom de score de propension (propensy score) pour les projets du groupe de contrôle – l’inverse de cette valeur fournit une sorte de poids capable de corriger des distorsions. Un autre challenge était de compenser le fait que les deux groupes puissent présenter des tailles et des compositions différentes, et que l’échantillon provienne d’un univers limité de projets. Comme l’explique Colugnati, « une fois le score de propension estimé, les projets thématiques du groupe de contrôle qui étaient plus rares ont acquis plus de poids. Dès lors, nous avons obtenu une meilleure homogénéité et un équilibre de distribution, ce qui a permis une comparaison plus fiable entre les groupes et les modèles statistiques » .
Pour sélectionner les projets du groupe de contrôle, les chercheurs ont eu accès à 1 400 projets de sciences biologiques de la base de données de la FAPESP, mais qui ne faisaient pas partie du Programme Biota-FAPESP. Une sélection à partir de mots-clés (biodiversité, biomes,…) a réduit l’échantillon à environ 300 projets. Puis une analyse au cas par cas a finalement donné un échantillon de 117 projets pour ce groupe, parmi lesquels des projets thématiques, des projets du module ‘Aide Régulière à la Recherche’ et des projets ‘Jeune Chercheur’. Le groupe du Programme Biota comptant 66 projets, l’univers de projets a été au total de 183. Leurs coordonnateurs ont été invités à remplir le questionnaire en ligne qui a servi de base à l’évaluation. Au final, 142 personnes ont répondu : 56 du Programme Biota-FAPESP et 86 du groupe de contrôle. Le score de propension et la modélisation statistique ont été appliqués à ces données.
Prospection
Le résultat de l’évaluation du Programme Biota-FAPESP s’est avéré positif, aussi bien en termes de productivité scientifique que de capacité à fournir une base pour de nouvelles politiques publiques – même si les résultats étaient timides au niveau de l’exploitation de composés au potentiel de développement de produits en segments, comme le pharmaceutique et celui des cosmétiques.
L’évaluation du Programme Biota a été réalisée grâce à un soutien de la FAPESP par le Groupe d’Études sur l’Organisation de la Recherche et de l’Innovation (Geopi), rattaché au Département de Politique Scientifique et Technologique (DPCT) de l’Institut de Géosciences de l’Université d’État de Campinas (Unicamp). Elle a été dirigée par Sergio Salles-Filho, également coordonnateur adjoint d’évaluation des programmes de la FAPESP (bourses, Jeune Chercheur, Équipements Multiusagers (EMU) et Recherche Innovation dans les Petites Entreprises (Pipe), entre autres). Salles-Filho indique que les particularités de chaque programme exigent habituellement le développement de méthodologies spécifiques pour l’évaluation: « Et parfois ce n’est pas nécessaire, mais nous en profitons pour tester des hypothèses et de nouvelles méthodes. […] En évaluant l’impact d’un programme, le grand défi est de garantir l’attribution de causalité, c’est-à-dire que les mesures obtenues soient effectivement attribuées à l’investissement fait pour le programme, en cherchant à isoler des facteurs qui peuvent avoir une influence sur les impacts. Il faut recourir à un groupe de contrôle chaque fois que cela est possible. Mais le groupe de contrôle doit être fiable, d’où l’utilité de la méthodologie qui utilise le score de propension » . La méthodologie a des applications bien définies: « Notre groupe a travaillé sur une évaluation d’entreprises ayant utilisé les incitations de la loi informatique et il n’était pas possible d’avoir un groupe de contrôle parce que la grande majorité des entreprises du pays utilise ces incitations. Donc il n’était pas possible de construire un groupe de contrôle fiable » .
De l’avis de Salles-Filho, la formulation de nouvelles méthodologies donne aux processus d’évaluation l’opportunité de générer de la connaissance. La contribution scientifique de l’évaluation du Programme Biota-FAPESP ne va pas se limiter à l’article publié dans Scientometrics. Le groupe du Geopi doit achever une étude qui compare deux méthodologies différentes en utilisant les résultats de l’évaluation du Programme Biota. L’une d’elles est celle qui recourt au groupe de contrôle, décrite dans l’article. L’autre est la méthodologie d’additionnalité avec vérification de la causalité, qui mesure les impacts sans utiliser de groupe de contrôle et compare les données du début et de la fin du projet. Et Salles-Filho de conclure: « L’objectif est de savoir si les deux méthodologies produisent des résultats équivalents ou s’il y a des différences ».
Republier