La fonction dvaluation dans ladministration publique qubcoise

Pernelle Smits
Steve Jacob
La fonction d’évaluation dans
l’administration publique
québécoise : analyse de la
cohérence du système d’actions
Sommaire : Cet article analyse la fonction d’évaluation dans l’administration
publique du Québec au cours des années 2000 comme un système organisé
d’actions (valeurs, environnement, ressources et modalités, pratique, effets) avec
ses cohérences et incohérences. Trois constats émergent : les activités de soutien de
la pratique évaluative de la part des ministères centraux sont quasiment absentes,
la transparence auprès des citoyens dans le processus évaluatif est peu présente, la
réalisation et l’utilisation d’évaluations de portée stratégique parait peu fréquente.
Cet article met en évidence certaines cohérences et incohérences d’une fonction de
gestion, et propose une façon directe et systématique de souligner les points à
améliorer.
Abstract: In this article, we analyze the evaluation function within the Quebec
public administration during the 2000s as an organized action system (values,
environment, resources and procedures, practice, impacts) with its consistencies
and inconsistencies. Three findings emerge: the support that central agencies give
to the evaluation practice is almost non-existent; the transparency of the evaluation process for the citizens is barely noticeable; and the undertaking and use
of the strategic use of evaluations seem rare. This article brings the attention to
some consistencies/inconsistencies of the management function, and suggests a
direct and systematic way to highlight what needs to be improved.
Introduction1
e
« En ce début de XXI siècle, en Occident, la folie sociale a pris un nouveau nom, celui
d’ÉVALUATION » (Abelhauser, Gori et coll. 2011)
Comment faire pour que la fonction d’évaluation soit plus utile aux
administrations publiques et à l’action publique? Comment faire pour que
l’information produite soutienne le fonctionnement d’une administration
publique efficace?
Pernelle Smits est chercheure à l’ÉNAP et aussi rattachée à l’Université de Montréal. Steve Jacob
est professeur à la Faculté des sciences sociales, Département de science politique, Université
Laval. Cet article n’aurait pu se faire sans la contribution de quelques collaborateurs,
notamment la Direction des études et analyses en dépenses publiques du Secrétariat du Conseil
du Trésor, dont nous soulignons la bonne volonté à contribuer à la réflexion, la disponibilité,
l’œil averti et le professionnalisme dans cette collaboration. Nous les remercions.
CANADIAN PUBLIC ADMINISTRATION / ADMINISTRATION PUBLIQUE DU CANADA
VOLUME 57, NO. 1 (MARCH/MARS 2014), PP. 71–96
© The Institute of Public Administration of Canada/L’Institut d’administration publique du Canada 2014
PERNELLE SMITS, STEVE JACOB
Une réflexion sur la cohérence d’un ensemble de ressources, actions,
système de valeurs et culture organisationnelle basée sur la gestion axée
sur les résultats peut être informée par l’étude de l’action sociale.
Plusieurs théoriciens de l’action sociale se sont penchés sur les théories
qui permettent de décrire et de comprendre l’action individuelle et
sociale (Talcott 1977; Bourdieu et Wacquant 1992). Sicotte et coll. (Sicotte
1998; Sicotte 1999) proposent un cadre d’analyse de l’action sociale qui
prend place dans le contexte de la vie organisationnelle plutôt que
sociétale. Ce cadre a l’intérêt d’être à la fois intégrateur et
opérationnalisé et propose qu’un système organisé d’actions soit compris
comme un arrangement de moyens, de ressources et de modes de production, de valeurs et de capacités d’adaptation à l’environnement. Il
vise à atteindre des objectifs organisationnels. En reprenant ce découpage
du fonctionnement organisationnel, nous proposons d’examiner la
fonction d’évaluation de l’administration publique québécoise sous ces
mêmes aspects, c’est-à-dire l’environnement et les valeurs, les ressources
et les modalités de production, ainsi que la pratique évaluative et ses
effets.
Lorsqu’un système d’actions est organisé, c’est-à-dire qu’il existe une
cohérence entre ses composantes, il possède la capacité de modifier la
trajectoire des évènements. Ainsi, une fonction d’évaluation au Québec qui
répondrait aux critères d’un système organisé d’actions aurait la capacité
d’influencer certains aspects administratifs comme le devenir des programmes ou l’allocation des budgets dans le contexte de l’administration
publique québécoise.
Le présupposé du cadre des systèmes organisés d’action est que tout
système organisé est plus efficace dans l’atteinte de ces finalités et sera
pérenne si les ajustements se font entre les composantes du système. Une
fonction d’évaluation dont les ressources, les modalités, les valeurs, la
pratique et les finalités sont cohérentes serait plus performante.
Cet article se concentre sur le cas de la fonction d’évaluation au sein des
ministères de l’administration publique du Québec. L’essor de l’évaluation
est concomitant avec l’introduction du système de budgétisation de programme au Québec (Marceau, Otis et coll. 1992). Le Québec a subi
plusieurs vagues de réformes concernant la fonction d’évaluation entre les
années 1970 et 2000 (Marceau, Otis et coll. 1992; Marceau, Otis et coll. 1992;
Marceau 2007) avec un soutien politique variable (Marceau 1994). Le cadre
de gestion axée sur les résultats est introduit au Québec par la Loi sur
l’administration publique (LAP) adoptée en 2000 (Gouvernement du Québec
2000). Cette loi ne mentionne pas explicitement l’évaluation, mais insiste
sur les principes d’atteinte des résultats en fonction d’objectifs
préalablement établis, de reddition de comptes portant sur la performance
dans l’atteinte des résultats et d’utilisation optimale des ressources (article
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
2). En 2002, le Conseil du Trésor édictait des orientations relatives à la
fonction d’évaluation de programme dans les ministères et organismes
(Conseil du Trésor du Québec 2002).
L’information disponible concernant le suivi de la mise en œuvre de la
LAP suggère que de nombreux programmes sont mis en place sans être
revus, que l’attention porte principalement sur le suivi des processus plutôt
que sur les résultats des programmes, et que les recommandations des
rapports ne semblent pas engendrer de changements majeurs sur
l’ajustement des programmes ou des budgets.
Plusieurs auteurs se sont penchés sur certaines dimensions de la
fonction d’évaluation dans différents pays. Ainsi, les politiques
d’évaluation, les profils des évaluateurs, les mécanismes mis en place ont
été rapportés en Amérique du Nord, en Europe, Asie, Afrique, Amérique
Latine (Weiss 1979; Marceau et Turgeon 1994; Furubo 2002). Nous
proposons d’étudier l’ensemble des dimensions de la fonction d’évaluation
pour une même administration publique. L’analyse porte ici sur un niveau
microscopique de la cohérence des dimensions qui composent la fonction
d’évaluation plutôt que sur la cohérence horizontale entre la fonction
d’évaluation, de planification, de budgétisation, ou verticale entre les
niveaux de responsabilités gouvernementales.
Afin d’analyser la fonction d’évaluation au Québec, plusieurs niveaux
d’analyse sont envisageables. Il est possible de partir du plus spécifique
pour aller vers le plus général en observant d’abord la situation dans les
ministères, puis au niveau exécutif ou gouvernemental, voire de l’État
québécois dans son ensemble. Dans cette étude, nous nous nous
concentrons sur la fonction d’évaluation dans les ministères. Par ailleurs,
la perspective empruntée est organisationnelle et les concepts du cadre
analytique sont appliqués à l’ensemble des ministères, par exemple,
les ressources en évaluation des ministères, la pratique d’évaluation
dans les ministères par les évaluateurs, directeurs et gestionnaires
d’évaluation, plutôt que de s’intéresser aux ressources en évaluation des
pouvoirs législatif, exécutif et judiciaire. Nous examinons en priorité le
fonctionnement intra ministériel au niveau des employés, plutôt que les
dynamiques politiques qui auraient pu mobiliser d’autres perspectives
théoriques que celle retenue dans ce travail.
En bref, cet article propose un cadre d’analyse de la fonction de gestion
dans une administration publique, et porte la réflexion sur les zones
de cohérence et d’incohérence de l’organisation et du fonctionnement
de la fonction d’évaluation dans les ministères (M) au Québec. Pour
ce faire, l’analyse se fonde sur quatre aspects d’un système d’action
collective : l’environnement et les valeurs, les ressources et modalités
organisationnelles, la pratique de l’évaluation, les finalités effectives et
poursuivies de la fonction d’évaluation.
PERNELLE SMITS, STEVE JACOB
L’article comprend six sections. Nous présentons tout d’abord la
méthodologie employée pour la collecte et l’analyse des données. Ensuite,
nous détaillons chacun des quatre aspects d’un système d’action
collective : l’environnement et les valeurs, les ressources et modalités
organisationnelles, la pratique de l’évaluation, les finalités effectives et
théoriques de la fonction d’évaluation. Enfin, dans la dernière section, une
analyse croisée de ces différents aspects fait ressortir les cohérences et
incohérences de la fonction d’évaluation au Québec.
Méthodologie
Pour décrire la fonction d’évaluation dans l’administration publique
québécoise, nous avons mobilisé plusieurs sources de données telles que
les documents législatifs2, les articles et chapitres décrivant la pratique
évaluative au Québec, les rapports administratifs qui présentent des
aspects spécifiques de la fonction d’évaluation, ainsi que des commentaires
d’acteurs clés qui ont été associés à cette recherche. Pour réaliser cette
étude, nous avons procédé en plusieurs étapes décrites ci-dessous. Il s’agit
de l’opérationnalisation des variables, de la formation d’un groupe de
lancement, de la revue documentaire, de la rédaction et la validation d’une
synthèse descriptive de la fonction d’évaluation au Québec, ainsi que de
l’analyse de l’ensemble des données recueillies.
Opérationnalisation des variables
Afin de documenter la fonction d’évaluation d’après le cadre analytique
choisi, les variables suivantes ont été considérées : valeurs, environnement,
ressources et modalités, pratique, et effets. Nous avons aussi, pour
l’analyse subséquente, dû définir les concepts de cohérence et
d’incohérence.
La valeur est définie comme un système d’idées et de principes sur
lequel se fonde l’action (Wei 2008) de la fonction d’évaluation au Québec
et de l’administration publique du Québec. Les valeurs correspondent à ce
qu’il est juste de faire.
L’environnement signifie le périmètre d’exercice de la fonction
d’évaluation au sein de l’administration publique. L’environnement de la
fonction d’évaluation inclut l’appui législatif et réglementaire qui est donné
directement et indirectement à la fonction d’évaluation.
Les ressources et modalités reprennent l’ensemble des intrants
mentionnés dans un modèle logique (Knowlton et Phillips 2012) incluant
les ressources humaines, financières, matérielles ainsi que les modalités ou
procédures de fonctionnement d’une organisation pour réaliser une
évaluation.
La pratique d’évaluation fait référence à la répétition de compétences
acquises (Pickering 1990; Raelin 1997; Cook et Brown 1999; Whittington
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
2003; Raelin 2007) dans l’exercice des évaluations, lors de leur
encadrement, direction ou amélioration. La pratique est à la base d’une
expertise professionnelle d’évaluation ou de gestion d’évaluation. Elle
reprend la façon dont les choses sont faites.
Les effets comprennent les finalités anticipées et les objectifs atteints
par l’exercice de l’évaluation. Les effets peuvent être les utilisations
conceptuelles, instrumentales et symboliques (Weiss, Murphy-Graham et al.
2005) et porter sur les rapports d’évaluation ou le processus évaluatif (Ilse et
Alba 1989; Cousins et Earl 1992; Fetterman et coll. 1996; Patton 1998). Les
effets regroupent ici l’ensemble des répercussions théoriques et empiriques
des rapports d’évaluation dans un objectif tant formatif que sommatif.
Afin de réaliser l’analyse des composantes de la fonction d’évaluation
que nous venons de définir, nous utilisons les concepts de cohérence et
d’incohérence. Cohérence peut, selon les études, faire appel à la
complémentarité, à la persistance dans le temps, etc., (Picciotto 2005; May
2006; Rolland 2010). Nous considérons ici la cohérence interne de la
fonction d’évaluation, plus précisément la cohérence des composantes de
la fonction d’évaluation. Il s’agit de situations ancrées pour lesquelles deux
composantes ne sont pas en contradiction l’une avec l’autre, ou encore, que
l’une soutient l’autre. Par exemple, lorsque les ressources mobilisées pour
réaliser l’évaluation permettent de soutenir la pratique évaluative avec des
formations couvrant l’ensemble des compétences essentielles d’un
évaluateur (Société Canadienne d’Évaluation 2010).
L’incohérence correspond aux situations pour lesquelles les dimensions
prises deux à deux interfèrent l’une avec l’autre, se contredisent, ou
lorsqu’une composante ne permet pas de rendre l’autre efficace.
Récolte et analyse des données
Un groupe de lancement avait pour tâche de commenter et compléter la
procédure de collecte de données. Les membres du groupe de lancement
(n = 6) travaillent ou ont travaillé à la réalisation, l’encadrement ou la
gestion d’évaluations dans et pour les ministères au Québec. Nous n’avons
pas rejoint de personnes directement en lien avec le Conseil des ministres.
Quelques réunions avec le groupe ont permis de préciser le champ d’étude
et de rassembler les documents pertinents à chaque composante de la
fonction d’évaluation au Québec de 2000 à 2011. Les documents identifiés
sont:
– Des sondages récents sur les évaluateurs (Groupe des responsables en
analyse et évaluation de programme 2008), et des données sur l’état de
l’évaluation (Secrétariat du Conseil du Trésor 2011), et le sondage.
– Le site Internet du Vérificateur général du Québec et les rapports
de la Commission d’Administration publique concernant la fonction
PERNELLE SMITS, STEVE JACOB
d’évaluation (Commission de l’administration publique 2008;
Commission de l’administration publique 2011).
– Les textes encadrant la fonction d’évaluation au Québec : LAP
(Gouvernement du Québec 2000), directive (Conseil du Trésor du
Québec 2002), loi sur la diffusion (Gouvernement du Québec 1982).
Les documents ont permis d’extraire les points concernant chacune des
composantes de la fonction d’évaluation et de rédiger une description
préliminaire (analyse de premier niveau). Le groupe de lancement a ajouté,
mis à jour et complété la description préliminaire. L’analyse a procédé de
façon étapiste:
– Analyse de premier niveau : elle a consisté à diagnostiquer les composantes de la fonction d’évaluation une à une à partir des documents et
commentaires des acteurs.
– Analyse de deuxième niveau : il a s’agit de relever les cohérences et
incohérences pour chaque composante de la fonction d’évaluation prise
deux à deux (dyade).
– Analyse de troisième niveau : nous avons réalisé un regroupement
thématique des cohérences et incohérences. Le regroupement thématique
fait partie des étapes de l’analyse qualitative souvent mobilisées pour
mettre en évidence, à partir des données, les thèmes émergents (May
2006). Ces thèmes émergents constituent les constats présentés dans la
section discussion et conclusion.
L’exhaustivité des données repose en partie sur la participation, la
connaissance et la profondeur des commentaires des acteurs. Certaines
limites accompagnent cet exercice, notamment la qualité inégale des
sources de données selon leur provenance, le biais de désirabilité qui
consiste ici pour les acteurs clés à vouloir présenter leur organisation sous
un angle favorable, et le devoir de réserve.
Résultats
Environnement et valeurs
Environnement législatif et réglementaire
Comme nous l’avons mentionné en introduction, la fonction d’évaluation
au Québec existe depuis de nombreuses années, ce qui positionne la
province parmi les pionniers en termes d’institutionnalisation. Nous avons
aussi vu que les principes de la nouvelle gestion publique ont été promus
au sein de la fonction publique à la suite de l’adoption, en 2000, de la Loi
sur l’administration publique (LAP). L’article 75 de cette loi stipule que le
Conseil du Trésor peut établir des mécanismes de contrôle et exiger la mise
en place d’évaluation. L’article 78 concourt dans le même sens et en élargit
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
la portée au renseignement utile à l’exercice des fonctions du président ou
de celles du Conseil du Trésor.
De façon générale, la LAP contribue à enraciner des réflexes de nature
évaluative en introduisant une obligation de planification par objectifs
(article 9), en lien avec la gestion des dépenses (article 46). Toutefois,
l’arrimage entre la planification, la budgétisation et l’évaluation reste à
resserrer (Saskatchewan Government 2010; Secrétariat du Conseil du
Trésor 2011).
Au début 2013, la fonction évaluative est toujours encadrée par les
Orientations relatives à la fonction d’évaluation de programme (Conseil du
Trésor du Québec 2002) émises par le Conseil du Trésor le 28 mai 2002. Les
orientations contenues dans le document s’appliquent à l’ensemble des
ministères et organismes visés par le chapitre II de la LAP (art. 5), à savoir
les ministères, les organismes budgétaires ainsi que ceux désignés par le
ministre dont ils relèvent. Plus spécifiquement, les orientations s’adressent
aux sous-ministres ou dirigeants d’organismes (Conseil du Trésor du
Québec 2002).
Ainsi, alors que l’administration centrale ne dispose pas de politiques ou
de directives d’évaluation en tant que telles, sauf dans le cas de programmes visés par des normes spécifiques du Conseil du Trésor, certains
ministères disposent de leur propre politique d’évaluation puisque la
responsabilité de la gestion axée sur les résultats incombe individuellement
à chaque sous-ministre et dirigeant d’organisme qui est directement imputable de sa gestion administrative devant l’Assemblée nationale (art. 29).
Pour aider ces hauts fonctionnaires, le SCT a mis à leur disposition une
publication intitulée L’évaluation de programmes : document destiné aux
dirigeantes et dirigeants de ministères et d’organismes.
Enfin, mentionnons la politique d’évaluation fédérale dont les exigences
s’appliquent aux transferts fédéraux vers les provinces. Cette politique a
été renouvelée en 2009 et les ministères fédéraux ont jusqu’au 31 mars 2013
pour la mettre pleinement en œuvre. Ainsi, les ministères provinciaux qui
reçoivent des sommes du gouvernement fédéral doivent se conformer aux
exigences de la Politique sur l’évaluation du gouvernement du Canada,
soit transmettre l’information qui permettra au gouvernement fédéral
d’assumer ses responsabilités en matière d’évaluation, soit prendre en
charge l’évaluation et transmettre les résultats de celle-ci au gouvernement
du Canada.
Valeurs de l’administration publique et éthique de l’évaluation
Les évaluateurs qui œuvrent au sein de la fonction publique québécoise
sont soumis à un encadrement éthique qui ne cesse de se développer (Loi
sur la transparence et l’éthique en matière de lobbyisme en 2002, commissaire à
l’éthique de l’Assemblée nationale en 2010) en raison de scandales publics
PERNELLE SMITS, STEVE JACOB
(Boisvert 2009) et des attentes élevées de la population en termes
d’intégrité, d’honnêteté et de transparence (Jacob 2011). Par conséquent,
nous assistons à la multiplication d’énoncés de valeurs, de codes d’éthique
et de codes de déontologie. Une étude empirique récente (Jacob, Imbeau et
coll. 2011) montre que la multiplication des textes crée de la confusion et
ne prémunit pas les évaluateurs des dilemmes éthiques.
Dans cette section, nous présentons les principales valeurs qui encadrent
la conduite des fonctionnaires québécois en général. Les valeurs qui
s’appliquent à l’ensemble des membres de la fonction publique sont
contenues dans plusieurs documents officiels. Le Tableau 1 présente ces
valeurs en distinguant celles qui sont liées au professionnalisme, à
l’administration et aux citoyens. En l’absence de normes à caractère
contraignant pour les évaluateurs de la fonction publique, les mêmes
valeurs de l’administration publique s’appliquent.
De manière générale, ces énoncés prescriptifs promeuvent la
compétence des agents publics, la publicité à l’égard des citoyens ainsi que
l’impartialité, l’intégrité, la loyauté, le respect, la neutralité et la discrétion
Tableau 1. Valeurs de l’administration publique québécoise
Document officiel
L’éthique dans la fonction
publique québécoise
(2003)
[Énoncé explicite]
Règlement sur l’éthique
et la discipline dans
la fonction publique
(2002)
[Périphrase]
Loi sur la fonction
publique
[Énoncé explicite]
Valeurs liées au
professionnalisme
Valeurs liées à
l’administration
Compétence
Impartialité
Intégrité
Loyauté
Respect
Discrétion
Intégrité
Compétence
Impartialité
Loyauté
Discrétion
Intégrité
Neutralité
Réserve
Loi sur l’administration
publique (2000)
[Énoncé explicite]
Déclaration de valeurs de
l’administration publique
québécoise (ND)
[Énoncé explicite]
Valeurs liées aux
citoyens
Qualité du service
Diligence
Rendre publique
la déclaration
de services aux
citoyens
Compétence
Impartialité
Intégrité
Loyauté
Respect
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
de la fonction publique. À ces valeurs s’ajoutent celles figurant dans les
déclarations de valeurs adoptées par différents ministères.
Depuis plusieurs années, la communauté internationale des évaluateurs
se préoccupe des enjeux éthiques de la pratique évaluative qui peuvent
affecter les évaluateurs ou les personnes impliquées dans une évaluation.
Le Québec n’échappe pas à cette tendance, comme en témoignent les
tentatives de rédaction d’une charte de l’évaluation par des associations
professionnelles en évaluation (Jacob et Boisvert 2010). En l’absence d’un
texte québécois, les évaluateurs qui œuvrent au sein de la fonction
publique québécoise peuvent, sur une base volontaire, se référer aux
normes du Joint Committee on Standards for Educational Evaluation, aux lignes
directrices de la Société canadienne d’évaluation3, aux normes en
évaluation du gouvernement fédéral ou à des chartes d’évaluation qui
soulignent la compétence, l’intégrité et l’imputabilité.
Ressources humaines, financières et matérielles et modalités organisationnelles
Selon des données préliminaires présentement disponibles, la pratique
évaluative est nettement répandue dans les ministères québécois. Près de
trois-quarts des ministères produisent des évaluations (Secrétariat du
Conseil du Trésor 2011).
Les activités de soutien de la pratique évaluative de la
part des ministères centraux sont quasi absentes
En comparant la situation d’un point de vue chronologique, nous
observons une certaine stabilité dans la pratique d’évaluation au sein des
ministères (Secrétariat du Conseil du Trésor 2011). Au cours de l’année
budgétaire 2009–2010, les employés de la fonction publique québécoise ont
contribué à 162 projets d’évaluations (Secrétariat du Conseil du Trésor
2011). En 2009–2010, plus de 90% des ministères ont nommé un
responsable d’évaluation. Il s’agit d’une nette augmentation puisqu’en
2007–2008, cette situation s’observait dans 77% des cas (Secrétariat du
Conseil du Trésor 2011).
Ces chiffres sont en accord avec une pratique effective de l’évaluation et
la forte implication des ministères dans la conduite des évaluations. Il
arrive aussi que le gestionnaire d’évaluation soit également en charge des
opérations de vérification interne. En fait, dans plusieurs ministères,
certains répondants interrogés ont exprimé des appréhensions à l’effet que
le port de cette double casquette puisse se faire au détriment de la fonction
d’évaluation.
En règle générale, « [aucune] directive ne préconise de budget pour
l’évaluation, ni de budget dédié, ni de part de budget de projet alloué
PERNELLE SMITS, STEVE JACOB
systématiquement aux évaluations » (Secrétariat du Conseil du Trésor
2011). Nous ne disposons pas des budgets détaillés pour l’évaluation.
Cependant, l’estimation des budgets alloués aux programmes qui ont fait
l’objet d’une évaluation au cours de l’année financière 2009–2010 sont
disponibles. Le budget estimé des programmes qui font l’objet d’une
évaluation dépasse les 8 milliards de dollars, ce qui représente environ
13 % du montant total des dépenses de programmes du gouvernement qui
sont évaluées sur un total avoisinant les 60 milliards de dollars (Secrétariat
du Conseil du Trésor 2011).
Selon un sondage du Groupe des responsables en analyse et évaluation
de programme, en 2008, les évaluations dans l’administration publique du
Québec ont été réalisées par 130 individus (Groupe des responsables en
analyse et évaluation de programme 2008). La plupart des évaluations ont
été conduites à l’interne, dans les ministères et les organismes, plutôt que
confiées à des évaluateurs externes. Les ministères du gouvernement du
Québec ont vu augmenter le nombre de ressources humaines dans ce
secteur depuis 2004, passant de 84 à 103 pour le même nombre
d’organisations (Groupe des responsables en analyse et évaluation de
programme 2008). Sachant que la tendance générale dans l’administration
québécoise est aux nombreux départs en retraite, des questionnements
quant à la mémoire institutionnelle et à la transmission des savoirs
s’imposent. De plus, la répartition des évaluateurs dans les ministères
reste très hétérogène, quelques uns seulement disposant d’équipes
chevronnées (Groupe des responsables en analyse et évaluation de
programme 2008).
En étudiant la proportion de la tâche consacrée à l’évaluation, chaque
catégorie d’emploi consacre la majorité de sa tâche à l’évaluation. Dans les
ministères (voir Tableau 2), les employés qui consacrent plus de 80 % de
leur tâche à l’évaluation sont une majorité (90 sur 103 employés). Il s’agit
d’une tendance stable par rapport à la situation de 2004 pour la plupart des
employés. Les cadres sont ceux qui y consacrent le moins de temps et les
professionnels ceux qui se consacrent presque exclusivement aux tâches
d’évaluation.
Modalités organisationnelles
Dans la section précédente, nous avons vu que l’organisation du cadre de
gestion de la fonction d’évaluation, telle qu’établie par la Loi sur
l’administration publique, est décentralisée. Ainsi, la grande majorité des
ministères ont leurs propres structures de gestion ou de support
informationnel pour les soutenir dans leurs évaluations. Dans le Tableau 3,
nous voyons que les modalités organisationnelles reposent principalement
sur l’adoption d’un cadre de référence en évaluation ou sur la mise en
place d’un comité ministériel d’évaluation.
84 (51,2%)
14
60
7
3
Nombre
(% par type
d’organisation)
2004
48
93
100
63
Proportion
de la tâche
(%)
16
Nombre
d’organisations
répondantes
103 (79,2%)
13
64
17
9
N
2008
52
96
86
73
Proportion
de la
tâche (%)
16
Nombre
d’organisations
répondantes
Source : 2008 – (Groupe des responsables en analyse et évaluation de programme 2008), (décembre 2008 et janvier 2009).
L’enquête ne précise pas si les données de 2004 et de 2008 sont calculées sur la même base. Tableau repris intégralement du
rapport.
Ministères
Cadres
Professionnels
Occasionnels / contractuels
Autres
Type d’organisation
Tableau 2. Effectifs en évaluation par catégorie d’emploi (estimations)
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
PERNELLE SMITS, STEVE JACOB
Tableau 3. Pourcentage des ministères équipés pour l’évaluation (estimation)
Mécanismes
Possèdent un comité ministériel d’évaluation
Possèdent un cadre de référence en évaluation de programmes
Partagent les services, soit en demande, soit en offre
Mettent en place un comité d’évaluation participant à la réalisation
des mandats
Ministères
8
16
3
14
Source : données préliminaires (Secrétariat du Conseil du Trésor 2011). Tableau
repris intégralement du rapport.
Le peu de soutien assuré par les organismes centraux du Québec auprès
des ministères en matière d’évaluation de programme est une des
conséquences de cette décentralisation. Le rôle des organismes centraux à
cet égard est limité et s’appuie sur des effectifs réduits. Par exemple, en
2011, une seule personne au SCT était affectée à l’encadrement de
l’évaluation de programme pour l’ensemble des ministères et organismes
du gouvernement du Québec. Le ministère du Conseil exécutif (MCE), qui
appuie le Premier ministre et le Conseil des ministres, n’était pas plus actif
en termes d’évaluation puisque son mandat ne concerne pas cette pratique
et que son Comité des priorités (formé de ministres) a notamment pour
fonction l’encadrement général de la planification stratégique ministérielle.
Dans son rôle de soutien au Comité des priorités, le MCE favorise toutefois
la cohérence entre la planification stratégique et le recours à l’évaluation,
par exemple pour assurer la mesurabilité des objectifs stratégiques et des
indicateurs de résultats qui y correspondent. Toutefois, les liens entre la
planification stratégique et l’évaluation de programme sont informels, ni le
législateur, ni le Conseil des ministres, ni le Conseil du Trésor n’ayant
statué officiellement en ce sens.
Il est difficile de pouvoir réaliser des évaluations comparatives entre les
ministères puisqu’il n’y a pas de système spécifique, conçu pour assurer le
suivi des indicateurs de rendement par exemple, que ce soit au plan
opérationnel ou au plan des résultats des programmes sur les clientèles
visées, en termes d’extrants et d’effets. Les évaluations menées par des tiers
sont également extrêmement rares même si le Vérificateur général du
Québec (VGQ) peut, dans les limites prescrites par sa loi constitutive,
vérifier les actions des ministères et organismes. Ce niveau d’intérêt du
VGQ s’explique notamment par les réserves prévues par sa loi constitutive
qui stipule que les vérifications du Vérificateur général ne doivent pas
mettre en cause le bien-fondé des politiques et objectifs de programme de
l’organisme public ou de l’organisme du gouvernement (article 25 de la Loi
sur le Vérificateur général).
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
Il n’existe pas non plus à ce jour beaucoup de mécanismes de suivi ou
de vérification de la qualité des évaluations. Une collecte d’informations
est cependant réalisée annuellement par le SCT. Elle consiste en un
sondage réalisé dans le cadre du Rapport sur l’application de la Loi sur
l’administration publique, tel que prévu par cette dernière (art. 28). Il est
laissé à la discrétion du répondant de déterminer ce qui constitue une
évaluation de programme. Le rapport produit par le SCT fournit, depuis
2005, des informations sur la fonction d’évaluation au sein du
gouvernement du Québec en présentant des informations sur le nombre
d’évaluations réalisées, les budgets déployés, le rôle et l’implication du
sous-ministre ou du dirigeant d’organisme envers l’évaluation. De
plus, à notre connaissance, aucune méta-évaluation n’a été réalisée sur la
qualité des évaluations de programmes produites par l’administration
publique du Québec. Dans les ministères, le contrôle de la qualité des
évaluations est assuré par l’intermédiaire du responsable de la fonction
et du client de l’évaluation. Il n’y a pas à ce jour d’examen régulier par
les organismes centraux des produits d’évaluation afin de poser un
jugement sur leur qualité et leur capacité à répondre aux besoins
d’information.
Les examens externes sont pratiquement impossibles à réaliser
puisqu’une partie des évaluations réalisées au sein de l’administration
publique du Québec ne sont pas accessibles au public. À ce sujet, les
directives du SCT en matière d’évaluation sont brèves et générales, il n’y
a aucune mention concernant la confidentialité des rapports ni leur format.
La diffusion du rapport est laissée à la discrétion de chaque sous-ministre
ou dirigeant d’organisme.
La transparence auprès des citoyens dans le processus
évaluatif est peu présente
À ce sujet, le Règlement sur la diffusion de l’information et sur la protection
des renseignements personnels contient des dispositions concernant les conditions et les exigences relatives aux documents qui doivent être rendus
publics. Plus précisément l’article 4 de ce Règlement précise que : « 7° Les
études, les rapports de recherches ou de statistiques, produits par
l’organisme public ou pour son compte dont la diffusion présente un
intérêt pour l’information du public » doivent être diffusés. Ce texte
s’applique à toute information produite par l’administration publique
québécoise et ne vise pas spécifiquement les rapports d’évaluation. Bien
qu’un argument puisse être avancé à l’effet que les rapports d’évaluation
soient des renseignements d’intérêt pour le citoyen et qu’ils devraient par
conséquent être systématiquement rendus accessibles, la loi ne prévoit pas
PERNELLE SMITS, STEVE JACOB
explicitement un tel automatisme et laisse place à une analyse au cas par
cas de chaque document. Cette possibilité est encore plus grande en ce
qui concerne les recommandations qui découlent d’une évaluation
explicitement visées par les restrictions au droit d’accès prévu à la section
II , article 37 de la Loi sur l’accès à l’information (Gouvernement du Québec
1982).
La section suivante élabore sur les pratiques effectives de diffusion des
évaluations, en plus du contenu du cadre légal et réglementaire sur l’accès
et la diffusion qui vient d’être discuté.
Pratique de l’évaluation
Plusieurs entités de l’État québécois sont interpellées par l’information
produite par la fonction d’évaluation : le Conseil du Trésor, son président
et son Secrétariat, l’Assemblée nationale et ses commissions parlementaires
(notamment la Commission de l’administration publique), le Vérificateur
général du Québec et, en premier lieu, les ministères.
Commission de l’administration publique de l’Assemblée nationale
En 2008, la Commission de l’administration publique (CAP) a publié, dans
le cadre de son vingtième rapport, ses critères pour l’analyse des rapports
annuels de gestion concernant la qualité de l’information et la performance. Plusieurs de ces critères sont étroitement associés à des travaux
d’évaluation, notamment la présentation des résultats atteints et de leur
mise en contexte, des liens entre les coûts, les activités, les produits et
services et les résultats ainsi que l’utilisation des ressources de façon
optimale (Commission de l’administration publique 2008).
Vérificateur général du québec
Le VGQ, à compter de l’automne 2011, a émis des observations et des
recommandations au regard de l’évaluation de programmes et souligne
qu’il y a peu d’évaluations qui abordent la question de la pertinence, et que
beaucoup traitent des activités sans refléter l’atteinte des résultats. Dans
son rapport du 30 novembre 2011, une analyse critique du plan stratégique,
du plan d’évaluation de programme et du rapport annuel du ministère de
la Famille et des Aînés recommande notamment la fixation d’indicateurs
de résultats et l’élaboration d’objectifs ciblés. Il en va de même pour ce qui
se rapporte à la coordination, au niveau gouvernemental, d’une stratégie
interministérielle orchestrée par le ministère de l’Emploi et de la Solidarité
sociale (MESS) sur la lutte contre la pauvreté et, en 2010 pour la coordination gouvernementale du développement durable qui souffre des mêmes
maux. Le rapport déposé à l’automne 2012 par le VGQ présente également
des constats et des recommandations concernant l’évaluation des
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
programmes administrés par différents fonds de recherche relevant du
gouvernement du Québec.
Conseil du Trésor et son secrétariat
Le Conseil du Trésor a adopté des orientations en évaluation en 2002, dont
des dispositions à l’effet de décentraliser aux sous-ministres et dirigeants
d’organismes les responsabilités afférentes à la fonction d’évaluation. Le
Secrétariat du Conseil du Trésor n’a pas exercé de façon systématique une
surveillance à l’encontre des ministères eu égard à la fonction d’évaluation
de programme ou des actions interministérielles, sauf dans le cas
d’évaluations produites expressément à la demande du gouvernement, du
Conseil du Trésor ou de son président. Le développement de ces mesures,
le cas échéant, relève des hauts dirigeants des ministères eux-mêmes. Pour
le Secrétariat du Conseil du Trésor, l’une des conséquences de cette
décentralisation est qu’il reçoit rarement les évaluations produites par les
ministères, sauf celles qu’il exige, et que les informations reçues ne
répondent pas nécessairement à ses besoins. Lorsque les évaluations sont
transmises, les analystes budgétaires reçoivent des rapports sous une
forme non standardisée, notamment eu égard aux résultats atteints par les
programmes. Outre le caractère décentralisé des orientations de 2002, le
peu de développement et d’outils produits à l’intention des évaluateurs et
de leurs coordonnateurs à ce jour peut être expliqué partiellement par le
peu d’effectifs dédiés au suivi des orientations sur la fonction d’évaluation
de programme.
Ministères et organismes
L’organisation de la fonction d’évaluation de programme varie beaucoup
entre les organisations. Dans certains ministères, les unités responsables de
fonctions telles que l’analyse des politiques, la planification et l’évaluation
peuvent interagir (voire relever d’une même direction), dans d’autres, la
fonction d’évaluation reste largement à renforcer. Un portrait à jour de
chaque ministère n’est pas disponible. Cependant, un forum a permis
de partager l’organisation de la fonction d’évaluation dans plusieurs
ministères au Québec (Smits 2012).
Du côté des communautés de pratiques, l’information se rapportant à
l’évaluation, telle que les rapports d’évaluation ou les procédures, peut
s’échanger de façon ad hoc par le Groupe des responsables en analyse
et évaluation de programme (GRAEP), dans le cadre d’activités de la
Société québécoise d’évaluations de programme (SQEP), de la Société
canadienne d’évaluation (SCE) et par l’entremise d’échanges individuels
entre évaluateurs.
Malgré l’absence d’exigences explicites et externes pour produire et
diffuser des évaluations, comme un système de suivi normalisé et commun
PERNELLE SMITS, STEVE JACOB
aux ministères, des examens réguliers de la qualité des évaluations ou des
méta-évaluations, une publication en ligne, environ une centaine de projets
d’évaluation étaient en cours en 2010 (Secrétariat du Conseil du Trésor
2011).
Au sein des ministères, les hauts dirigeants approuvent les programmes
à évaluer dans plus de 90 % des ministères. Ils approuvent aussi la portée
des évaluations dans plus de 65 % des cas. Selon les répondants interrogés,
la décision sur le contenu et celle de mener une évaluation reposent
principalement sur les préoccupations immédiates des ministères, sur
certains programmes, et sur une planification des évaluations sur plusieurs
années.
Notons que l’imputabilité quant aux constatations et résultats des
programmes évalués est du ressort des sous-ministres ou dirigeants
d’organisme (Conseil du Trésor du Québec 2002). D’ailleurs, le VGQ et la
CAP interpellent de plus en plus les hauts fonctionnaires et non les
ministres sur les impacts des programmes et des politiques publiques.
Sur 18 recommandations liées à l’évaluation de programmes des vingtsept rapports sur l’imputabilité des sous-ministres et des dirigeants
d’organismes produits par la Commission de l’administration publique, de
1997 à 2011, aucune recommandation ne s’adresse à un ministre ou au
gouvernement. L’évacuation relative du rôle des ministres dans la
reddition de comptes sur la gestion de l’administration publique a déjà été
discutée (Gow 1995) de façon générale, et se retrouve spécifiquement dans
l’imputabilité liée aux effets et impacts des programmes, dont la mesure
repose principalement sur la fonction d’évaluation.
Diffusion publique des
rapports d’évaluation
La diffusion publique des rapports d’évaluation varie selon le ministère.
Les rapports demandés par le Conseil du Trésor ne sont jamais diffusés :
ils sont produits pour répondre à des besoins d’information rattachés à la
préparation du budget de dépenses et à son suivi. Certains ministères
rendent leurs rapports d’évaluation disponibles au public sur Internet ou
assurent une diffusion plus restreinte via des capsules internes, par
exemple. La publication des rapports d’évaluation passe par l’approbation
des hauts dirigeants dans plus de 90 % des ministères (Secrétariat du
Conseil du Trésor 2011). La fréquence de diffusion parait plus élevée pour
les ministères à vocation sociale.
À moins d’une exigence explicite à cet effet, il n’y a généralement pas
de diffusion des rapports d’évaluation par un ministère. Toutefois, la Loi
sur l’accès aux documents des organismes publics et sur la protection des
renseignements personnels (Gouvernement du Québec 1982) prescrit que
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
toutes les études d’intérêt pour le citoyen doivent être rendues publiques
dans certaines conditions.
Finalités des évaluations
Les finalités des évaluations au Québec sont essentiellement de deux
ordres : opérationnelles et stratégiques. L’amélioration des programmes et
la satisfaction des clientèles desservies préoccupent généralement
davantage les ministères et leurs dirigeants; alors que le gouvernement,
le Conseil du Trésor et son Secrétariat, ainsi que dans certains cas le
ministère du Conseil exécutif, vont s’intéresser davantage aux résultats des
programmes.
Une fois l’évaluation réalisée, le suivi des résultats est essentiellement
assuré par les ministères. Ce suivi peut faire l’objet de vérifications par le
VGQ et donner lieu à l’audition du ministre et, si celui-ci y consent, du
sous-ministre ou du dirigeant d’organisme, en commission parlementaire,
cette dernière ayant la possibilité de revenir sur les résultats des
évaluations. Au cours de cette recherche, nous n’avons pas pu identifier
d’études sur l’utilisation des rapports d’évaluation par les commissions de
l’Assemblée Nationale. Habituellement, les recommandations des rapports
d’évaluation sont discutées à l’interne, dans les ministères, par le biais des
comités aviseurs institués pour l’évaluation du programme concerné.
L’unité responsable du programme peut présenter sa réponse à l’égard des
constats et des recommandations de l’évaluation, puis les décisions
éventuelles sont prises par le sous-ministre ou le dirigeant d’organisme
concernant les suites à donner. La principale reddition de comptes qui se
fait actuellement consécutivement à une évaluation de programme est
interne et elle a pour premier client le sous-ministre ou le dirigeant
d’organisme, de même que le gestionnaire du programme évalué et les
hauts dirigeants (sous-ministres adjoints et directeurs généraux). Bien
qu’aucune procédure formelle n’encadre, au niveau gouvernemental,
l’utilisation des évaluations ou des résultats pour la prise de décision, la
commission parlementaire de l’administration publique ou toute autre
commission compétente peut ou non faire des recommandations dans ce
sens. La commission parlementaire, au moment de l’étude des crédits, peut
revenir auprès du sous-ministre ou dirigeant d’organisme et demander
d’approfondir des points liés aux résultats anticipés dans le plan
stratégique ou encore dans le plan de gestion des dépenses annuelles. Le
Vérificateur général peut occasionnellement revenir sur les résultats
anticipés (Commission de l’administration publique 2011).
Actuellement, les résultats des évaluations servent surtout à améliorer
les processus opérationnels. Le haut dirigeant utilise les évaluations pour
répondre à ses propres besoins de gestion qui sont souvent à court terme.
Dans le cas des évaluations demandées ponctuellement par le Conseil du
PERNELLE SMITS, STEVE JACOB
Trésor ou son Secrétariat, elles sont utilisées notamment pour rendre des
comptes sur les programmes et leurs résultats, appuyer la création d’un
nouveau programme ou prendre des décisions ponctuelles sur le
renouvellement, le non-renouvellement ou le renouvellement partiel des
ressources. Les besoins stratégiques du gouvernement en matière
d’information pour appuyer sa prise de décisions, notamment en matière
d’allocation des ressources, sont actuellement comblés sur la base d’une
fonction d’évaluation peu coordonnée par une entité centrale, en partie en
raison des modalités instituées par les orientations de 2002. Pour répondre
aux besoins du CT, notamment aux fins de la préparation du budget de
dépenses et son suivi, ce dernier peut exiger qu’une évaluation soit prévue
dans le document spécifique accompagnant un programme de subvention
normé. Cette norme mentionne alors explicitement l’exigence de réaliser
une évaluation lors du renouvellement du programme. De même, dans les
demandes adressées au Conseil du Trésor et dans les mémoires déposés au
gouvernement, qui transitent à la fois par le SCT et par le ministère du
Conseil exécutif, les ministères peuvent présenter des analyses de besoins
ainsi qu’une synthèse des résultats d’évaluations à l’appui de leurs
recommandations aux autorités gouvernementales.
La réalisation et l’utilisation d’évaluations de portée
stratégique paraissent peu fréquentes
Compte tenu du caractère confidentiel des mémoires et autres documents
transmis au et depuis le Conseil du Trésor ou le Conseil des ministres, il n’y
a pas de documentation disponible sur le suivi systématique des
recommandations faites dans le cadre d’évaluation de programmes. Selon
un sondage réalisé par le SCT pour l’année financière 2010–2011, les
ministères rapportent un haut degré d’utilisation des évaluations
notamment pour la modification des programmes (> 90 %) et moins
fréquemment, pour l’allocation de ressources (< 65 %) et l’élaboration de
plans stratégiques (< 60 %). La faible utilisation des évaluations dans les
rapports annuels de gestion (< 50 %) est cohérente avec la perception
d’organismes centraux (Secrétariat du Conseil du Trésor 2011). À ce jour, il
n’y a pas au Québec de procédure systématique ou établie pour ajuster la
production des évaluations aux échéanciers décisionnels ou ajuster les
décisions stratégiques aux résultats d’évaluation. Il n’y a pas d’arrimage
avec les cycles de planification budgétaire, sauf pour des besoins particuliers
à la discrétion de gestionnaires des ministères ou si le Conseil du Trésor
l’exige spécifiquement. En dehors des programmes normés et d’autres cas
d’exception, l’information évaluative sur les programmes des ministères ne
parvient généralement pas jusqu’au CT.
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
Cohérence du système?
Afin d’analyser dans quelle mesure le système organisé de « fonction
d’évaluation » québécoise est cohérent, chaque composante est regardée
deux à deux. Ainsi le Tableau 4 présente l’analyse croisée pour chaque
dyade, relève les cohérences (+) et incohérences (-), et récapitule les
grandes lignes pour chaque composante (cellules grisées).
Cohérence
Il semble peu surprenant que les moyens déployés autour de la fonction
d’évaluation au Québec conduisent à une place assez réduite de cette
fonction de gestion au regard de sa potentialité. Avec une fonction
d’évaluation vivant en autarcie, une faible utilisation des évaluations pour
des orientations stratégiques de programmes s’installe. En effet, plusieurs
facteurs concourent à un relatif isolement de la fonction d’évaluation. Les
moyens en ressources humaines, les appuis règlementaires, les acteurs
impliqués dans les choix d’évaluation et ceux qui rendent des comptes
sur les résultats des programmes évalués et l’utilisation de rapports
d’évaluation restent centrés sur les préoccupations internes des ministères,
plutôt qu’arrimés avec les préoccupations du gouvernement ou d’autres
instances de l’administration publique comme le SCT, le ministère du
Conseil exécutif ou d’autres ministères (pour les actions interministérielles).
Les orientations de 2002 sont essentiellement dirigées vers les sous-ministres
et dirigeants d’organismes, ce qui renforce éventuellement la place assez
réduite de la fonction d’évaluation hors des ministères. De même, la fonction
d’évaluation tend à rester centrée sur elle-même à l’intérieur d’un ministère,
plutôt qu’arrimée à d’autres fonctions de gestion d’une même organisation
comme la planification, la vérification interne, la gestion financière ou
l’exécution de programmes.
Incohérence
Il est surprenant, après plus de dix ans, de constater un soutien de
l’administration publique québécoise dans le sens d’une visibilité accrue
à la fonction d’évaluation alors même que des variations marquées
sont constatées dans l’exécution des évaluations et dans les décisions
subséquentes. Une incohérence majeure de la fonction d’évaluation au
Québec des années 2000 pourrait se formuler ainsi : la tentative de visibilité
de la fonction d’évaluation doit composer avec une large variabilité des
pratiques liées à l’évaluation. Cette visibilité passe entre autres par les
orientations, la production d’un guide, les mises en poste de directeur
d’évaluation. Mais par ailleurs, le Règlement sur la diffusion de l’information
et sur la protection des renseignements personnels énonce que la publication
d’informations telles que des études, des rapports de recherche ou de
statistiques revêt une utilité publique, comme peuvent l’être les rapports
+ Approbation des choix de
programmes à évaluer et
de la publication des
rapports par les SM et DO
imputables.
Ë 13% du montant des
dépenses de programmes
sont évalués
Ë Environ 100 professionnels
dans M
Ë Absence de monitorage
central commun aux MO
ou d’examen de la qualité
(sauf par le VG)
Ë Accès et diffusion publique
des rapports dépend des
interprétations tirées de la
Loi sur l’accès et de son
règlement.
Ë Imputabilité des SM et DO
devant l’Assemblée
nationale.
– Absence de système
gouvernemental
d’amélioration continue
des évaluations
– Difficultés de rencontrer
les attentes de
professionnalisme sans
formation des
professionnels et
sensibilisation des SM et
DO responsables.
Ressources et
modalités
organisationnelles
Pratique de l’évaluation
+ Absence de
+ Poids relatif de
systématisation des
l’évaluation dans les textes
évaluations au Québec
(LAP, orientations) et le
sauf dans le cas de
volume de RH et
décisions spécifiques du
financières accordées
CT ou de transferts
+ Principe d’imputabilité
fédéraux.
ministérielle.
Ressources et modalités
organisationnelles
Ë Politique d’évaluation
fédérale (ententes
Québec-Canada)
Ë Orientations relatives à la
fonction d’évaluation
(Québec) Orientations
visant les SM et DO
Ë Professionnalisme/égard à
l’administration/
perspective citoyenne
Environnement et valeurs
Environnement et
valeurs
Incohérence
(-)
Cohérence
(+)
+ Caractère peu stratégique
de l’utilisation des
rapports d’évaluation
accentuant le
positionnement non
stratégique de la fonction
d’évaluation dans
l’administration publique
et une utilisation
sous-optimale des
informations produites.
Non identifiée
Finalités
Tableau 4. Analyse des cohérences et incohérences du système organisé d’actions – Fonction d’évaluation
PERNELLE SMITS, STEVE JACOB
– Théoriquement
l’imputabilité de
l’administration publique
doit refléter une
alimentation en
information stratégique
plutôt que seulement
opérationnelle
– Accès aux résultats
d’évaluation limité au
niveau parlementaire
notamment pour la
reddition de comptes.
– Nécessité d’arrimer la
production des évaluations
des MO en fonction des
besoins d’informer une
décision cohérente avec les
échéanciers
gouvernementaux.
– Audition devant
– Diffusion dans les MO à
l’Assemblée nationale
vocation économique
chaque 4 ans eu égard à
moins habituelle bien
leur gestion administrative
qu’ils soient sous la même
– Peu de diffusion
obligation d’informer le
systématique bien que les
citoyen.
valeurs de l’administration
encouragent la prise en
compte des attentes des
citoyens.
Ë Déclenchement selon les
besoins du SM ou DO, sur
proposition du directeur
d’évaluation, ou en vertu
d’une exigence du CT ou
d’une entente
Québec-Canada
Ë Transmission par les MO
des résultats au Conseil du
Trésor pour les
programmes normés.
Ë Approbation des choix de
programmes et de
publication dans 90 % des
cas
Ë Diffusion plus répandue
dans les ministères à
vocation sociale.
– Approbation par les hauts
fonctionnaires des
évaluations, mais peu
d’utilisation stratégique vu
leur portée souvent
opérationnelle.
Ë Portée et utilisation
opérationnelle plus que
stratégique
Ë Peu de pression
parlementaire et citoyenne
pour la diffusion publique
et un suivi sur l’utilisation
des rapports
Ë Utilisation des informations
pour les besoins
budgétaires pour le CT sur
demande spécifique, pour
une faible proportion des
évaluations produites
Ë Peu d’ajustement des plans
d’évaluation aux
échéanciers décisionnels.
+ Diffusion des évaluations
peu répandue dans les
MO à vocation
économique
+ Faible implication des
parlementaires et de la
voix citoyenne faible dans
la planification, le
déclenchement et
l’utilisation des
évaluations
+ Utilisation budgétaire lors
de programmes normés
du CT.
Note : l’état de chacune des composantes est résumé dans la case grise correspondante; les cohérences par dyade sont situées dans la partie droite du
tableau, les incohérences par dyade sont situées dans la partie gauche.
M : ministère, SM : sous ministre, A : adjoint, CT : Conseil du Trésor, VG : vérificateur général, DO : directeurs d’organismes.
Finalités
Pratique de
l’évaluation
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
PERNELLE SMITS, STEVE JACOB
d’évaluation; pourtant chaque ministère applique différemment la diffusion des rapports d’évaluation. Théoriquement, les évaluations peuvent
contribuer au suivi des actions publiques, à leur amélioration, à la bonne
gouvernance, etc. En outre, les équipes d’évaluateurs varient grandement
en nombre et capacité d’un ministère à l’autre, ne permettant donc pas
totalement de remplir les objectifs théoriques de l’évaluation pour tous les
ministères. Les formations en évaluation offertes aux évaluateurs dans les
ministères et la sensibilisation des dirigeants à l’évaluation fluctuent aussi
largement.
Discussion et conclusion
De l’analyse croisée des composantes prises deux à deux, trois constats
émergent : 1. Les activités de soutien de la pratique évaluative de la part
des ministères centraux sont quasi absentes; 2. La transparence auprès des
citoyens dans le processus évaluatif est peu présente; 3. La réalisation et
l’utilisation d’évaluations de portée stratégique paraissent peu fréquentes.
1. Les activités de soutien de la pratique évaluative de la part des
ministères centraux sont quasi absentes.
À l’échelle gouvernementale, l’absence de système d’amélioration continue des évaluations et le manque de formation et de sensibilisation des
acteurs concernés jouent en défaveur d’une amélioration continue de la
qualité de la pratique, tel que son ajustement à des pratiques émergentes
pertinentes. Une organisation apprenante qui se renouvelle et fait face aux
défis qu’elle rencontre a besoin de s’appuyer sur l’ajustement et le
renouvellement de ces pratiques, évaluatives entre autres, et de capitaliser
sur les projets à succès. L’échange de « bonnes pratiques » entre
professionnels en évaluation semble essentiel pour soutenir de tels objectifs.
Quelques plateformes d’échanges sur l’évaluation dans la fonction
publique existent : notamment à travers les activités du GRAEP, de la
SQEP ou de la SCE, des rencontres ponctuelles entre chercheurs et
utilisateurs de la recherche, ou la mobilisation d’un réseau universitaire
existant (ReQUE). Toutefois, l’animation de tels réseaux nécessitent un
soutien et un engagement sur le long terme.
2. La transparence auprès des citoyens dans le processus évaluatif est peu
présente.
Le déclenchement d’évaluations et l’utilisation des résultats des
évaluations par les parlementaires et les citoyens, par exemple par
l’entremise de la diffusion publique de l’information résultant des
évaluations, semble assez ténue dans les conditions actuelles qui encadrent
la visibilité publique des rapports d’évaluation, puisque la pratique de
diffusion reste du ressort du dirigeant de chaque ministère.
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
Certains rapportent que la diffusion de cette information serait plus
répandue dans les ministères à vocation sociale que dans ceux à vocation
économique. Une administration publique accordant la priorité à la qualité
des services aux citoyens peut bénéficier de moyens pour prendre en
compte les attentes des citoyens, par exemple, à travers des consultations
publiques ou en recourant aux approches participatives actives. À ce jour,
les moyens en place ne semblent pas permettre une diffusion étendue des
évaluations, ni une pratique commune de diffusion entre ministères,
comme semble l’illustrer l’écart rapporté entre les ministères à vocation
sociale et ceux à vocation économique.
3. La réalisation et l’utilisation d’évaluations de portée stratégique
paraissent peu fréquentes.
Les évaluations sont en grande majorité employées à des fins
opérationnelles, pour mettre en œuvre des programmes, ou ajuster des
budgets dans les ministères bien plus qu’à des fins stratégiques comme la
remise en cause de l’existence même de programme, ou la reddition de
comptes auprès du gouvernement, des parlementaires et ultimement, des
citoyens. L’exercice et le contenu des dispositions règlementaires dans ce
sens laissent cette marge de manœuvre aux dirigeants des organisations. Le
déploiement de l’outil d’évaluation des programmes annoncé dans le
Message du président du Conseil du Trésor dans le cadre du Budget de
dépenses 2013–2014 (novembre 2012) pourrait en partie répondre à cette
faible utilisation au niveau stratégique, bien que n’adressant ni l’efficacité
du système d’imputabilité parlementaire, ni la participation active des
citoyens.
Dans le cadre de la présente étude, l’analyse croisée présente certaines
limites. La compétence des ressources humaines (professionnels,
directeurs, haut gestionnaires) à s‘acquitter de leurs tâches d’évaluation
avec le professionnalisme requis d’un évaluateur ou d’un gestionnaire de
la fonction, telle que définie par exemple dans les Normes en évaluation de
programme adoptées par la Société canadienne d’évaluation, peut
difficilement être appréciée. En effet, aucune étude publique à ce jour ne
mentionne le niveau de scolarité, l’expérience en évaluation, les modalités
de recrutement, ou le profil de compétences en évaluation comme c’est le
cas pour certaines analyses publiées par le gouvernement fédéral du
Canada. Cependant, un sondage de cette teneur est en phase de
préparation avancée.
Des valeurs telles que l’impartialité, l’intégrité, la loyauté et le respect de
la fonction publique concernant le personnel qui exerce en évaluation ne
sont pas non plus directement documentées avec les données obtenues.
Des entrevues en profondeur permettraient de répondre de manière plus
précise. Cependant, il ne semble pas y avoir de raison de croire que la
PERNELLE SMITS, STEVE JACOB
fonction d’évaluation soit exercée de manière différente qu’une autre
fonction de gestion où un fonctionnaire est soumis aux mêmes dispositifs,
à défaut d’obligations spécifiques.
Finalement, cet article propose un cadre d’analyse alliant volet théorique
(réglementation, loi, etc.), et volet empirique (actualisation de la fonction
d’évaluation). Ainsi l’ensemble des dimensions choisies (valeurs et
environnement, ressources et modalités, pratique, effets) offre un regard
complémentaire pour l’étude et la compréhension du fonctionnement
d’une fonction de gestion, soit l’évaluation de programme. Il applique une
approche méthodologique systématique pour relever les cohérences et
incohérences de cette fonction de gestion. L’analyse croisée par dyade
présente l’avantage de dégager des zones possibles d’action pour remettre
en question et éventuellement améliorer les pratiques futures.
Des applications d’un cadre d’analyse similaire à d’autres fonctions de
gestion (par exemple, la planification stratégique), permettraient d’élargir
et de préciser le potentiel explicatif et analytique d’un tel cadre. Un suivi
de l’évolution de la fonction étudiée alimenterait l’argumentation sur la
force du cadre analytique et celle de la comparaison par dyade. De
nouvelles modalités de soutien de la fonction d’évaluation d’une administration publique pourraient être ainsi ébauchées.
Notes
1 Remarque à l’intention des praticiens : Cet article est conçu comme une réflexion
conceptuelle sur une pratique de gestion, l’évaluation, et propose un cadre permettant de
mettre en évidence les forces et faiblesses de l’actualisation d’une telle fonction, par une
analyse systématique de la situation. Il n’est pas question ici de défendre ou de remettre
en question l’existence même de la fonction évaluative, mais de prendre pour acquis que
l’évaluation fait partie des moyens disponibles auprès des administrations contemporaines.
2 Plus précisément dans les ministères.
3 Les normes de la Société canadienne d’évaluation reprennent les standards du Joint Committee on Standards for Educational Evaluation.
Bibliographie
Abelhauser, A., R. Gori, et M.-J. Sauret. 2011. La folie évaluation : les nouvelles fabriques de la
servitude.
Boisvert, Y. 2009. Les scandales politiques. Montréal : Liber.
Bourdieu, P., et L.J.D. Wacquant. 1992. An Invitation to Reflexive Sociology. Chicago.
Commission de l’administration publique. 2008. Vingtième rapport sur l’imputabilité des sousministres et des dirigeants d’organismes publics. Québec.
Commission de l’administration publique. 2011. Vingt-septième rapport sur l’imputabilité des
sous-ministres et des dirigeants d’organismes publics. Québec.
Conseil du Trésor du Québec. 2002. Recueil des politiques de gestion.Orientations en évaluation.
Cook, S.D.N., et J.S. Brown. 1999. “Bridging Epistemologies : The Generative Dance Between
Organizational Knowledge and Organizational Knowing.” Organization Science 10 (4):
381–400.
LA FONCTION D’ÉVALUATION DANS L’ADMINISTRATION PUBLIQUE QUÉBÉCOISE
Cousins, J.B., et L.M. Earl. 1992. “The case for participatory evaluation.” Educational Evaluation
and Policy Analysis 14 (4): 397–418.
Fetterman, D.M., S. Kaftarian, et A. Wandersman. 1996. Empowerment evaluation : Knowledge
and tools for self-assessment and accountability. Thousand Oaks, CA: Sage.
Furubo, J.-E., R.C. Rist, R. Sandahl. 2002. “International Atlas of Evaluation.”
Gouvernement du Québec. 1982. Loi sur l’accès aux documents des organismes publics et sur la
protection des renseignements personnels.
Gouvernement du Québec. 2000. Loi sur l’administration publique.
Gow, J.I. 1995. « Propos dissidents sur l’imputabilité parlementaire des hauts fonctionnaires
québécois ». Administration publique du Canada 38 (1): 145–9.
Groupe des responsables en analyse et évaluation de programme. 2008. Sondage : Québec.
Ilse, B., G. Alba. 1989. “Participatory evaluation : A tool to assess projects and empower
people.” New Directions for Program Evaluation 42: 9–18.
Jacob, S. 2011. L’évaluation face aux défis de la professionnalisation et de l’éthique. Québec :
PerfEval.
Jacob, S., Y. Boisvert. 2010. “To be or not to be a profession: Pros, Cons and Challenges for
Evaluation.” Evaluation. The International Journal of Theory, Research and Practice 16 (4): 349–69.
Jacob, S., L.M. Imbeau, et J.-F. Bélanger. 2011. « La nouvelle gestion publique et
l’accroissement des marges de manœuvre. Un terreau propice au développement de
l’éthique? » Administration publique du Canada 54 (2): 189–215.
Knowlton, L.W., and C.C. Phillips. 2012. The Logic Model Guidebook : Better Strategies for Great
Results. SAGE Publications, Inc.
Marceau, R. 1994. « L’évaluation de programmes : rationalisation des dépenses ou stratégie
de marketing ». Un État réduit? / A Down-Sized State? (Dirs) Robert Bernier et James
Iain Gow. Sainte-Foy : Presses de l’Université du Québec : 261–76.
Marceau, R. 2007. « L’expérience québécoise des trente dernières années en évaluation ».
L’évaluation des politiques au niveau régional. S. Jacob, F. Varone et J.-L. Genard. Bruxelles : Peter
Lang : 143–55.
Marceau, R., D. Otis, et P. Simard. 1992. « La gestion de l’évaluation de programme
au gouvernement du Québec ». Management public : comprendre et gérer les institutions de
l’État. R. Parenteau et G. Éthier. Sillery : Presses de l’Université du Québec : 481–97.
Marceau, R., D. Otis, et coll. 1992. « La planification d’une évaluation de programme ».
Management public : comprendre et gérer les institutions de l’État. R. Parenteau et G. Éthier.
Sillery, Presses de l’Université du Québec : 445–77.
Marceau, R., D. Otis, et P. Simard. 1992. ‘Program Evaluation in the Government of Quebec.’
Action-Oriented Evaluation in Organizations : Canadian Practice. J. Hudson. Toronto : Wall &
Emerson: 48–63.
Marceau, R., et J. Turgeon. 1994. « Une analyse comparative de processus institutionnels
d’évaluation des programmes publics ». Les organisations publiques à la recherche de l’efficacité.
M. Charih et M. Paquin. Québec : ENAP: 183–207.
May, E. 2006. « Towards the Institutionalization of Monitoring and Evaluation Systems in
Latin America and the Caribbean : Proceedings of a World Bank/Inter-American Development Bank Conference », World Bank: 95.
Patton, M. Q. 1998. “Discovering process use.” Evaluation 4 (2): 225–33.
Picciotto, R. 2005. “The Evaluation of Policy Coherence for Development.” Evaluation 11 (3):
311–30.
Pickering, A. 1990. “Knowledge, practice and mere construction.” Social Studies of Science 20
(4): 682–729.
Raelin, J. 1997. “A model of work-based learning.” Organization Science 6: 563–78.
Raelin, J. 2007. “Towards an epistemology of Practice.” Academy of Management Learning &
Education Journal 6 (4): 459–519.
PERNELLE SMITS, STEVE JACOB
Rolland, J.-P. 2010. Étude sur la cohérence des politiques commerciales en Afrique de l’ Ouest. Rapport
final : A. f. d. développement.
Saskatchewan government. 2010. Interjuridictional comparisons. 2011.
Secrétariat du Conseil du Trésor. 2011. L’évaluation de programme au Québec : Un état de
situation au 26 avril 2011. Direction de la planification stratégique et de l’Administration
publique.
Secrétariat du Conseil du Trésor. 2011. « Rapport de la présidente du Conseil du Trésor et
ministre responsable de l’Administration gouvernementale sur l’application de la Loi sur
l’administration publique 2009–2010 ».
Sicotte, C., F. Champagne, A.P. Contandriopoulos, J. Barnsley, F. Béland, S.G. Leggat, J.L.
Denis, H. Bilodeau, A. Langley, M. Brémond, G.R. Baker. 1998. “A conceptual framework
for the analysis of health care organizations’ performance.” Health Serv Manage Res 11 (1):
24–41.
Sicotte, C., F. Champagne, A.P. Contandriopoulos. 1999. « La performance organisationnelle
des organisations de santé ». Ruptures, revue transdisciplinaire en santé 6 (1) : 34–46.
Smits, P. 2012. Défis et pratiques actuels pour le recours aux évaluations dans les prises de
décision. 2 février 2012. Rapport du forum ENAP-GETOSS-GRAEP.
Société Canadienne d’Évaluation. 2010. « L’évaluation au Canada : référentiel des
compétences professionnelles requises à son exercice ».
Talcott, P. 1977. Social Systems and the Evolution of Action Theory. New York.
Wei, P. 2008. « Les valeurs fondatrices des sociétés contemporaines ». Diogène 1 (221): 73–99.
Weiss, C.H. 1979. “The many meanings of research utilization.” Public Administration Review
39 (5): 426–31.
Weiss, C.H., E. Murphy-Graham, et S. Birkeland. 2005. “An Alternate Route to Policy
Influence: How Evaluations Affect D.A.R.E.” American Journal of Evaluation 26 (1): 12–30.
Whittington, R. 2003. “The Work of Strategizing and Organizing : For a Practice Perspective.”
Strategic Organization 1 (1): 117–25.