Déclaration du FNS sur l`évaluation “Qualité et transparence

www.fns.ch
Wildhainweg 3, Case postale 8232, CH-3001 Berne
Déclaration du FNS sur l’évaluation “Qualité et transparence
dans la procédure de sélection du FNS”
Le Fonds national suisse (FNS) souhaite non seulement soutenir l’excellence dans la recherche,
mais également exceller lui-même dans l’encouragement de celle-ci. Une analyse indépendante
effectuée par une équipe de chercheuses et de chercheurs de la Western Michigan University
démontre que cet objectif est atteint dans une très large mesure. Les conclusions et
recommandations de cette évaluation soulignent cependant qu’il existe encore un certain potentiel
d’amélioration. Par cette déclaration, le FNS prend position sur les différentes conclusions de
l’évaluation, en mettant l’accent sur les possibilités d’amélioration et les mesures grâce auxquelles
il entend donner suite aux recommandations.
Le projet d’évaluation “Qualité et transparence dans la procédure de sélection du FNS” a été
initié par le Conseil de fondation dans le but d’évaluer et d’améliorer la procédure de sélection. Il
a été effectué en 2012 par une équipe de chercheuses et de chercheurs de la Western Michigan
University sous la direction de Chris Coryn.
L’évaluation devait définir dans quelle mesure la procédure de sélection était équitable,
impartiale, intelligible et transparente, tout en fournissant des recommandations d’amélioration.
L’examen devait par ailleurs établir dans quelle mesure la procédure de sélection du FNS
permettait
 de soutenir une recherche excellente et originale dans toutes les disciplines;
 d’augmenter la compétitivité de la recherche suisse et des chercheuses et chercheurs actifs
en Suisse;
 de soutenir la relève scientifique.
Objectif atteint, mais...
Après analyse de nombreux entretiens conduits avec des acteurs clé du FNS, de sondages auprès
des expert-e-s externes et des requérant-e-s, ainsi que d’analyses de documents et des données
existantes sur les activités d’encouragement, l’équipe de recherche américaine est parvenue à la
conclusion que le FNS remplit la plupart de ses objectifs: “Globalement, la procédure et la
politique d’évaluation du FNS encouragent une recherche excellente, soutiennent une recherche
originale et scientifiquement pertinente, augmentent la compétitivité de la recherche suisse,
encouragent et soutiennent le travail de recherche des femmes et de la relève scientifique, tout en
étant impartiales et transparentes”.
Selon l’équipe d’évaluation, le FNS enregistre en particulier un bon résultat au regard de son
objectif principal – financer une recherche excellente et contribuer à la compétitivité de la
recherche en Suisse, bien qu’une minorité de requérant-e-s et d’expert-e-s externes décrivent le
FNS comme légèrement conservateur dans son approche d’encouragement des recherches
novatrices. L’équipe d’évaluation identifie par ailleurs un risque dans l’augmentation constante
de la charge de travail du Conseil national de la recherche (CNR), laquelle pourrait donner lieu à
un compromis entre qualité et quantité. A cet égard, l’examen confirme les préoccupations du
FNS concernant la charge de travail du Conseil de la recherche, déjà mises en lumière par une
évaluation préalable du FNS en 2001. Face à la forte augmentation des demandes
d’encouragement, les changements mis en place suite à l’évaluation de 2001 (introduction des
comités spécialisés du Conseil de la recherche, groupes d’expert-e-s externes, transfert de
compétences au Secrétariat) n’ont pas suffi à stabiliser la charge de travail. Diverses
recommandations de l’équipe de Chris Coryn visent à alléger la charge de travail du Conseil de la
recherche, faisant de ce problème un sujet de préoccupation majeur à traiter en toute priorité
(cf. recommandations 1-5 ci-dessous).
L’équipe d’évaluation estime par ailleurs que le système de garde-fous mis en place afin d’assurer
l’équité de la procédure de sélection fonctionne correctement. Les membres du FNS prennent très
au sérieux la nécessité de garantir un processus de sélection équitable et impartial et les
analyses des données des requêtes ainsi que des sondages auprès des requérant-e-s et des
expert-e-s externes confortent l’idée que les procédures sont équitables et impartiales. L’analyse
des données des requêtes révèle des travers systématiques, mineurs mais néanmoins
significatifs, associés au sexe, à l’âge, au type de demande et au type d’institution, et confirme
dès lors les analyses de suivi internes. Se basant sur l’analyse des instruments d’encouragement,
l’équipe d’évaluation remarque que les jeunes chercheuses et chercheurs sont plus susceptibles
de recevoir des bourses. Cela démontre le succès des instruments d’encouragement à la carrière.
Le FNS a mis en place des mesures spécifiques afin d’assurer que l’âge ne pénalise pas les jeunes
chercheuses et chercheurs présentant une demande portant sur des projets ouverts aux
chercheuses et chercheurs à différentes étapes de la carrière. Il approuve les recommandations
correspondantes concernant les critères de sélection et le portefeuille de financement
(recommandations 4 et 7).
Bien qu’impartiale et équitable, la prise de décision du FNS ainsi que les processus et critères
sous-jacents devraient être rendus plus intelligibles et transparents. L’équipe d’évaluation
reconnaît les efforts considérables fournis par le FNS pour améliorer l’information relative à la
procédure de sélection. De nouvelles directives pour les chercheuses et les chercheurs ont été
introduites en 2011/20121 et les mesures de communication des décisions d’encouragement ont
été harmonisées et renforcées dans les mêmes temps. Cela étant, il est encore trop tôt pour
vérifier les effets de ces mesures. Bien que le FNS espère qu’elles aideront à améliorer la
compréhension des procédures de sélection et des raisons motivant ses décisions, il prend très
au sérieux les conclusions de l’évaluation selon lesquelles un pourcentage relativement
important des requérant-e-s ne comprend pas complètement les critères et procédures de
sélection ainsi que les processus de prise de décision. Ainsi, près des deux tiers des requérant-es a indiqué ne pas être, ou ne pas être du tout au clair avec la façon dont les décisions
d’encouragement sont prises. Le taux de satisfaction concernant la qualité générale des
sélections du FNS est, sans surprise, significativement plus bas pour les requérant-e-s ayant
obtenu une réponse négative que pour celles et ceux dont la demande a été acceptée. Des
mesures supplémentaires sont en préparation afin d’améliorer la communication avec les
requérant-e-s (recommandation 6).
1
http://www.snf.ch/F/services-aux-scientifiques/Pages/documents-pour-scientifiques.aspx
Fonds national suisse | 2
Processus d’examen externe et charge de travail du Conseil national de la recherche
Recommandation 1: réformer les processus et procédures d’évaluation externe des requêtes
L’équipe d’évaluation considère le peer review externe comme un élément crucial pour la
transparence et l’équité du processus de sélection, mais également comme un facteur décisif
dans l’augmentation de la charge de travail du Conseil de la recherche. Des propositions
concrètes sont formulées dans le but d’améliorer la qualité des examens tout en réduisant la
charge de travail.
Recommandation 2: encadrer les expert-e-s externes
Bien que seule une minorité d’expert-e-s externes expriment le besoin d’un entraînement
supplémentaire, les parties prenantes du FNS estiment que certaines évaluations présentent trop
de lacunes pour être exploitées ou contiennent des informations contradictoires, ce qui
compromet l’équité et la transparence de la procédure de sélection et augmente la charge de
travail du Conseil de la recherche. Pour encadrer les évaluations externes, l’équipe dirigée par
C. Coryn propose de fournir des exemples d’évaluations excellentes, acceptables ou insuffisantes,
ainsi que d’autres formes d’entraînement. Le suivi interne des évaluations externes indique que
les nouvelles instructions et formulaires pour les expert-e-s introduits en 2011 ont permis
d’obtenir un éventail de notes plus équilibré. Dans ce contexte, le FNS n’identifie pas de
besoin immédiat en matière d’entraînement des expert-e-s. Dans deux ans, il procédera à une
réévaluation de la situation sur la base des nouvelles données sur l’utilisabilité des
évaluations acquises depuis 2012.
Recommandation 3: répartir de manière plus efficace la charge de travail entre le CNR et le
Secrétariat
Afin d’optimiser le temps et la charge de travail du Conseil national de la recherche, l’équipe
d’évaluation propose d’étendre le soutien du Secrétariat aux membres du Conseil de la
recherche lors du processus d’évaluation externe. Si le Conseil de la recherche devrait, selon
l’équipe de C. Coryn, prendre la décision finale en ce qui concerne les personnes à mandater, les
responsables scientifiques peuvent toutefois fournir une liste initiale d’expert-e-s au Conseil de la
recherche. Le FNS partage ce point de vue et se prépare à donner suite à cette recommandation
en tenant compte des implications au niveau de l’organisation du Secrétariat.
Recommandation 4: généraliser le refus direct des demandes d’encouragement de projet au sein de
toutes les divisions du CNR
L’examen recommande également d’étendre le refus direct – après un contrôle administratif
préalable mais avant un peer review externe – aux requêtes manifestement inadéquates. Le refus
direct est prévu dans le règlement des subsides et est pratiqué dans certains cas où le dossier
du/de la requérant-e est manifestement inadéquat ou lorsque le plan de recherche n’est de toute
évidence pas suffisamment étayé. Selon l’équipe d’évaluation, il pourrait cependant être appliqué
de manière plus systématique. Le FNS approuve les remarques de l’équipe d’évaluation
concernant les conditions dans lesquelles appliquer le refus direct sans porter préjudice à
l’équité et à la transparence de la procédure de sélection: des critères objectifs et explicites
devraient être rendus publics en veillant à ne pas désavantager systématiquement certains
groupes particuliers. Sur cette base, le FNS entend explorer des possibilités d’harmonisation et
de généralisation des directives et des pratiques de refus direct.
Fonds national suisse | 3
Recommandation 5: prévoir une compensation pour les expert-e-s externes
L’équipe de C. Coryn propose d’envisager une compensation pour les expert-e-s externes. Les
auteurs se réfèrent aux théories de l’échange social, selon lesquelles les incitations pécuniaires
influent sur la motivation et améliorent la qualité des réponses et des évaluations. Par ailleurs,
70% des expert-e-s externes interrogé-e-s lors de l’évaluation ont indiqué qu’ils/elles seraient au
moins “un peu plus motivé-e-s” à rédiger un compte rendu à l’intention au FNS si une
compensation était prévue. Dans le meilleur des cas, une compensation pourrait ainsi doubler le
taux de réponse actuel de 40% à 80%. Elle pourrait également réduire la dépendance à l’égard
des expert-e-s suisses, dont le pourcentage sur l’ensemble des expert-e-s s’inscrit déjà, quoi qu’il
en soit, en recul. A l’inverse de la théorie de l’échange social, la théorie de l’éviction de la
motivation de Frey suggère quant à elle que des rétributions financières ou des primes sont
susceptibles de mener à la suppression de la motivation intrinsèque.2 Il existe relativement peu
d’études portant sur les compensations financières et le renforcement de la motivation au sein
du système de peer review. Une étude publiée en février 2013 dans le journal “Research Policy” a
simulé la dynamique du peer review sous différentes conditions de rétribution.3 Les auteurs de
l’étude concluent que les organismes d’encouragement de la recherche devraient éviter les
incitations matérielles, lesquelles risquent d’affaiblir les principes éthiques des expert-e-s en
favorisant un comportement intéressé et stratégique. Selon cette étude, un peer review dépourvu
d’incitations matérielles représente le système le plus efficace, permettant une plus grande
confiance et une meilleure coopération. Dans ce contexte, le FNS a décidé de miser sur
l’amélioration de la communication avec les expert-e-s et d’explorer des solutions de
compensation non pécuniaires, telles que des cadeaux de fin d’année, des lettres ou des prix.
Le FNS espère ainsi cultiver le taste for science des expert-e-s, un système de préférences
particulier aux communautés scientifiques décrit par Merton, dans lequel les motivations non
monétaires jouent un rôle de premier plan.4
Définition des instruments d’encouragement et clarification des critères
Recommandation 6: améliorer la documentation et les instructions destinées aux requérant-e-s afin
de définir clairement et de rendre plus transparents les critères et procédures de sélection ainsi que
les processus de prise de décision
Selon l’équipe de C. Coryn, les informations concernant les instruments d’encouragement, les
processus de sélection et autres devraient bénéficier d’une accessibilité accrue auprès des
requérant-e-s. En complément de la documentation usuelle, un aide-mémoire de référence
permettrait de définir avec davantage de précision les critères, procédures et processus de
sélection, tout en les rendant plus transparents. A compter de 2014, le site Internet remanié
du FNS fournira un accès facilité aux instructions à l’intention des requérant-e-s en misant sur
une communication plus ciblée auprès des chercheuses et des chercheurs. Afin d’améliorer la
compréhension des décisions, le FNS étudie l’introduction d’un rapport d’évaluation, lequel
fournirait une justification générale de la décision d’encouragement sur la base des évaluations
externes et de l’appréciation de l’organe d’évaluation compétent du FNS.
Frey, B. S. et Jegen, R. (2001), Motivation Crowding Theory, in Journal of Economic Surveys, 15(5), 589-611,
disponible en ligne http://www.bsfrey.ch/articles/359_01.pdf.
3 Squazzoni, F., Bravo, G., Takács, K., (2013), Does incentive provision increase the quality of peer review? An
experimental
study,
in
Research
Policy,
42(1),
287-294,
disponible
en
ligne
http://www.sciencedirect.com/science/article/pii/S0048733312001230.
4 Merton, R. K., (1973), The sociology of science: theoretical and empirical investigation, University of Chicago Press:
Chicago, IL.
2
Fonds national suisse | 4
Recommandation 7: effectuer des contrôles réguliers et systématiques et envisager la révision des
instruments d’encouragement
Par ailleurs, selon l’équipe de C. Coryn, certains aspects des instruments d’encouragement ne
seraient pas conformes à leurs intentions respectives. L’équipe d’évaluation recommande ainsi de
soumettre les instruments d’encouragement à des contrôles réguliers, afin d’améliorer l’impact
sur les femmes en début de carrière ainsi que sur les jeunes chercheuses et chercheurs en
général. A cet égard, l’équipe d’évaluation estime notamment que la séparation de
l’encouragement de projets en deux groupes distincts, l’un constitué de projets continus et à long
terme, l’autre de projets menés plus spécialement sur le court terme, contribuerait à promouvoir
un processus d’évaluation équitable et impartial. En ce sens, le FNS envisage d’adapter
l’encouragement des projets dans le but de distinguer les subventions de fonctionnement
destinées à soutenir des lignes de recherche sur le long terme des subventions de projet
destinées à soutenir des idées de recherche portant sur le court terme. Le FNS étudiera l’accueil
réservé aux changements envisagés lors d’un sondage auprès des chercheuses et des
chercheurs qui sera réalisé au cours de l’année 2013. De plus, les instruments
d’encouragement à la carrière seront analysés au regard du rapport sur la situation des jeunes
chercheuses et chercheurs de Suisse actuellement en élaboration au Secrétariat d'Etat à la
formation, à la recherche et à l'innovation (SEFRI).
Membres du Conseil national de la recherche
Recommandation 8: examiner et clarifier les procédures de sélection des membres du CNR
Bien que l’évaluation n’ait pas relevé de problèmes majeurs concernant les qualifications ou les
compétences professionnelles du Conseil national de la recherche, certains points de la
procédure de sélection des membres pourraient être rendus plus transparents. Le FNS effectuera
un examen général de la structure, de l’organisation et des tâches du Conseil de la
recherche en 2013 et 2014. L’examen portera également sur la procédure de sélection des
membres, point clé de la qualité et de la transparence de l’évaluation.
8 mai 2013
Fonds national suisse | 5