{"id":204593,"date":"2015-12-02T15:05:30","date_gmt":"2015-12-02T17:05:30","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/?p=204593"},"modified":"2015-12-02T17:44:30","modified_gmt":"2015-12-02T19:44:30","slug":"calculs-innovateurs","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/fr\/calculs-innovateurs\/","title":{"rendered":"Calculs innovateurs"},"content":{"rendered":"

\"metodocatarina bessel<\/span>Publi\u00e9 en octobre 2014<\/em><\/p>\n

Un article publi\u00e9 par des br\u00e9siliens dans la revue scientifique Scientometrics montre l\u2019utilit\u00e9 d\u2019une m\u00e9thodologie pour \u00e9valuer l\u2019impact des programmes de recherche, en particulier quand l\u2019univers de projets \u00e0 analyser est restreint et que le groupe de contr\u00f4le \u2013 ce qui sert de r\u00e9f\u00e9rence pour la comparaison \u2013 a des caract\u00e9ristiques diff\u00e9rentes de celles de l\u2019objet d\u2019\u00e9tude. Sign\u00e9 par Fernando Colugnati (Universit\u00e9 F\u00e9d\u00e9rale de Juiz de Fora), Sergio Firpo (Fondation Get\u00falio Vargas), Paula Drummond et Sergio Salles-Filho (tous deux de l\u2019Universit\u00e9 d\u2019\u00c9tat de Campinas, Unicamp), l\u2019article d\u00e9crit en d\u00e9tail cette m\u00e9thodologie novatrice destin\u00e9e \u00e0 l\u2019\u00e9valuation du Programme Biota-FAPESP, qui \u00e9tudie depuis 1999 la biodiversit\u00e9 de l\u2019\u00c9tat de S\u00e3o Paulo. Pour obtenir des donn\u00e9es sur l\u2019impact du programme, le groupe a compar\u00e9 des projets du Biota-FAPESP avec d\u2019autres aux caract\u00e9ristiques \u00e9quivalentes mais qui ne font pas partie du programme. Le challenge \u00e9tait d\u2019\u00e9viter que certains \u00e9l\u00e9ments aient des cons\u00e9quences sur les r\u00e9sultats; par exemple, que le groupe de contr\u00f4le ait un plus grand nombre de projets, et dans certains cas aux caract\u00e9ristiques diff\u00e9rentes. Vu que le Programme Biota-FAPESP compte une quantit\u00e9 \u00e9lev\u00e9e de projets th\u00e9matiques, qu\u2019ils r\u00e9unissent plus de ressources financi\u00e8res et humaines et peuvent durer jusqu\u2019\u00e0 5 ans, les projets du groupe de contr\u00f4le s\u2019inscrivaient g\u00e9n\u00e9ralement dans la modalit\u00e9 \u2018Aide r\u00e9guli\u00e8re \u00e0 la recherche\u2019, aux d\u00e9lais plus courts et avec moins de ressources.<\/p>\n

Partant de l\u00e0, les chercheurs se sont attach\u00e9s \u00e0 cr\u00e9er une m\u00e9thodologie capable de dissocier statistiquement les effets des projets th\u00e9matiques du Programme Biota-FAPESP. Ils ont recouru \u00e0 une th\u00e9orie statistique d\u00e9velopp\u00e9e dans les ann\u00e9es 1980 pour estimer la probabilit\u00e9 de comparaison de chaque projet du groupe de contr\u00f4le avec un projet du Programme Biota. Les variables choisies (l\u2019\u00e2ge du coordonnateur du projet, le nombre d\u2019articles publi\u00e9s ou la taille de l\u2019\u00e9quipe, par exemple) sont apparues comme des voies potentielles pour l\u2019\u00e9tude et ont augment\u00e9 la probabilit\u00e9 que le projet soit du groupe Biota. Cette probabilit\u00e9 porte le nom de score de propension (propensy score) pour les projets du groupe de contr\u00f4le \u2013 l\u2019inverse de cette valeur fournit une sorte de poids capable de corriger des distorsions. Un autre challenge \u00e9tait de compenser le fait que les deux groupes puissent pr\u00e9senter des tailles et des compositions diff\u00e9rentes, et que l\u2019\u00e9chantillon provienne d\u2019un univers limit\u00e9 de projets. Comme l\u2019explique Colugnati, \u00ab une fois le score de propension estim\u00e9, les projets th\u00e9matiques du groupe de contr\u00f4le qui \u00e9taient plus rares ont acquis plus de poids. D\u00e8s lors, nous avons obtenu une meilleure homog\u00e9n\u00e9it\u00e9 et un \u00e9quilibre de distribution, ce qui a permis une comparaison plus fiable entre les groupes et les mod\u00e8les statistiques \u00bb .<\/p>\n

Pour s\u00e9lectionner les projets du groupe de contr\u00f4le, les chercheurs ont eu acc\u00e8s \u00e0 1 400 projets de sciences biologiques de la base de donn\u00e9es de la FAPESP, mais qui ne faisaient pas partie du Programme Biota-FAPESP. Une s\u00e9lection \u00e0 partir de mots-cl\u00e9s (biodiversit\u00e9, biomes,…) a r\u00e9duit l\u2019\u00e9chantillon \u00e0 environ 300 projets. Puis une analyse au cas par cas a finalement donn\u00e9 un \u00e9chantillon de 117 projets pour ce groupe, parmi lesquels des projets th\u00e9matiques, des projets du module \u2018Aide R\u00e9guli\u00e8re \u00e0 la Recherche\u2019 et des projets \u2018Jeune Chercheur\u2019. Le groupe du Programme Biota comptant 66 projets, l\u2019univers de projets a \u00e9t\u00e9 au total de 183. Leurs coordonnateurs ont \u00e9t\u00e9 invit\u00e9s \u00e0 remplir le questionnaire en ligne qui a servi de base \u00e0 l\u2019\u00e9valuation. Au final, 142 personnes ont r\u00e9pondu : 56 du Programme Biota-FAPESP et 86 du groupe de contr\u00f4le. Le score de propension et la mod\u00e9lisation statistique ont \u00e9t\u00e9 appliqu\u00e9s \u00e0 ces donn\u00e9es.<\/p>\n

Prospection<\/strong>
\nLe r\u00e9sultat de l\u2019\u00e9valuation du Programme Biota-FAPESP s\u2019est av\u00e9r\u00e9 positif, aussi bien en termes de productivit\u00e9 scientifique que de capacit\u00e9 \u00e0 fournir une base pour de nouvelles politiques publiques \u2013 m\u00eame si les r\u00e9sultats \u00e9taient timides au niveau de l\u2019exploitation de compos\u00e9s au potentiel de d\u00e9veloppement de produits en segments, comme le pharmaceutique et celui des cosm\u00e9tiques.<\/p>\n

L\u2019\u00e9valuation du Programme Biota a \u00e9t\u00e9 r\u00e9alis\u00e9e gr\u00e2ce \u00e0 un soutien de la FAPESP par le Groupe d\u2019\u00c9tudes sur l\u2019Organisation de la Recherche et de l\u2019Innovation (Geopi), rattach\u00e9 au D\u00e9partement de Politique Scientifique et Technologique (DPCT) de l\u2019Institut de G\u00e9osciences de l\u2019Universit\u00e9 d\u2019\u00c9tat de Campinas (Unicamp). Elle a \u00e9t\u00e9 dirig\u00e9e par Sergio Salles-Filho, \u00e9galement coordonnateur adjoint d\u2019\u00e9valuation des programmes de la FAPESP (bourses, Jeune Chercheur, \u00c9quipements Multiusagers (EMU) et Recherche Innovation dans les Petites Entreprises (Pipe), entre autres). Salles-Filho indique que les particularit\u00e9s de chaque programme exigent habituellement le d\u00e9veloppement de m\u00e9thodologies sp\u00e9cifiques pour l\u2019\u00e9valuation: \u00ab Et parfois ce n\u2019est pas n\u00e9cessaire, mais nous en profitons pour tester des hypoth\u00e8ses et de nouvelles m\u00e9thodes. […] En \u00e9valuant l\u2019impact d\u2019un programme, le grand d\u00e9fi est de garantir l\u2019attribution de causalit\u00e9, c\u2019est-\u00e0-dire que les mesures obtenues soient effectivement attribu\u00e9es \u00e0 l\u2019investissement fait pour le programme, en cherchant \u00e0 isoler des facteurs qui peuvent avoir une influence sur les impacts. Il faut recourir \u00e0 un groupe de contr\u00f4le chaque fois que cela est possible. Mais le groupe de contr\u00f4le doit \u00eatre fiable, d\u2019o\u00f9 l\u2019utilit\u00e9 de la m\u00e9thodologie qui utilise le score de propension \u00bb . La m\u00e9thodologie a des applications bien d\u00e9finies: \u00ab Notre groupe a travaill\u00e9 sur une \u00e9valuation d\u2019entreprises ayant utilis\u00e9 les incitations de la loi informatique et il n\u2019\u00e9tait pas possible d\u2019avoir un groupe de contr\u00f4le parce que la grande majorit\u00e9 des entreprises du pays utilise ces incitations. Donc il n\u2019\u00e9tait pas possible de construire un groupe de contr\u00f4le fiable \u00bb .<\/p>\n

De l\u2019avis de Salles-Filho, la formulation de nouvelles m\u00e9thodologies donne aux processus d\u2019\u00e9valuation l\u2019opportunit\u00e9 de g\u00e9n\u00e9rer de la connaissance. La contribution scientifique de l\u2019\u00e9valuation du Programme Biota-FAPESP ne va pas se limiter \u00e0 l\u2019article publi\u00e9 dans Scientometrics. Le groupe du Geopi doit achever une \u00e9tude qui compare deux m\u00e9thodologies diff\u00e9rentes en utilisant les r\u00e9sultats de l\u2019\u00e9valuation du Programme Biota. L\u2019une d\u2019elles est celle qui recourt au groupe de contr\u00f4le, d\u00e9crite dans l\u2019article. L\u2019autre est la m\u00e9thodologie d\u2019additionnalit\u00e9 avec v\u00e9rification de la causalit\u00e9, qui mesure les impacts sans utiliser de groupe de contr\u00f4le et compare les donn\u00e9es du d\u00e9but et de la fin du projet. Et Salles-Filho de conclure: \u00ab L\u2019objectif est de savoir si les deux m\u00e9thodologies produisent des r\u00e9sultats \u00e9quivalents ou s\u2019il y a des diff\u00e9rences \u00bb.<\/p>\n","protected":false},"excerpt":{"rendered":"Une m\u00e9thodologie pour \u00e9valuer le Programme Biota-FAPESP est d\u00e9crite dans un article scientifique","protected":false},"author":11,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[1191],"tags":[],"coauthors":[98],"class_list":["post-204593","post","type-post","status-publish","format-standard","hentry","category-politique-st"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/posts\/204593","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/comments?post=204593"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/posts\/204593\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/media?parent=204593"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/categories?post=204593"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/tags?post=204593"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/fr\/wp-json\/wp\/v2\/coauthors?post=204593"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}