L`art d`évaluer les programmes

L’art d’évaluer les programmes*
Judy Layne
Pour que l’évaluation des programmes
joue un rôle significatif dans le
processus d’élaboration des politiques
officielles, l’application des
paradigmes doit évoluer
considérablement.
P
our que l’évaluation des programmes joue un rôle
significatif dans le processus d’élaboration des
politiques officielles, des principes nouveaux et
ingénieux doivent voir le jour. Les relations uniques et
complexes entre la politique et l’évaluation des
programmes comportent toutes sortes de difficultés que les
démarches scientifiques traditionnelles face à l’évaluation
ne permettent pas de résoudre correctement. Je mettrai
d’abord l’accent sur ce que l’évaluation des programmes
pourrait apporter au processus d’élaboration des politiques
officielles, et je comparerai cet apport au rôle qu’elle joue à
l’heure actuelle dans la prise de décisions aux échelons
politiques. Puis, en m’inspirant de la documentation sur la
question, je ferai valoir qu’il est nécessaire d’adopter des
Judy Layne est doyenne des sciences et de la santé, à l’Institute of
Applied Science and Technology de la Saskatchewan. À l’heure
actuelle, elle suit le programme de maîtrise en administration
publique; elle a remporté deux médailles d’or dans le cadre de ses
études de premier cycle en sciences, en éducation et en gestion du
personnel. Aujourd’hui, dans ses études universitaires, elle s’intéresse
notamment à l’évaluation des programmes et à la mesure du
rendement dans le secteur public, ainsi qu’aux différents modèles de
prestation des services, par exemple les partenariats entre le secteur
public et le secteur privé. Elle a travaillé dans ces deux secteurs en
gestion des ressources humaines et a publié, dans des revues
professionnelles, des articles sur différents sujets se rapportant à la
gestion des ressources humaines et à la gestion en général.
approches qualitatives astucieuses dans l’évaluation des
programmes, pour en améliorer l’à-propos et l’application
dans un contexte politique. Enfin, je ferai certaines
suggestions pour modifier le processus d’évaluation des
programmes, en prêtant une attention particulière à la
nécessité d’accroître la participation des intervenants à cette
évaluation.
Concours possible de
l’évaluation des programmes
à la prise de décisions aux
échelons politiques
L’évaluation des programmes doit permettre de
recueillir des données précises à des fins de planification,
de faire ressortir les rapports de cause à effet en vue de
déterminer quelles variables il faut modifier dans les
* Le présent article est une version abrégée du document rédigé par
Judy Layne dans le cadre de sa maîtrise en administration
publique. L’Association canadienne des programmes publics du
Canada et la Division du Manitoba de l’Institut d’administration
publique du Canada ont attribué à son document le titre de
meilleur texte soumis par un étudiant de deuxième cycle en 1998
dans l’ensemble du pays.
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3 (1-10)
1
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
programmes pour obtenir les résultats voulus et d’obtenir
de l’information sur les coûts et les avantages pour mieux
choisir les mesures d’intervention les plus fructueuses.
Selon Wise, il y a « beaucoup de tapage publicitaire sur la
rationalité que [l’évaluation] pourrait apporter dans l’univers
chaotique du gouvernement »1.
Or, les effets de la recherche évaluative sur l’orientation des politiques officielles sont relativement limités.
Dans l’ensemble, peu d’études auraient produit un impact
notable sur l’élaboration des politiques aux échelons
politiques. De nombreux auteurs2,3,4 confirment qu’il a très
rarement été décidé d’annuler ou de réduire des
programmes publics qui, après évaluation, avaient été jugés
inefficaces. Au Canada, les praticiens semblent avoir réduit
le rôle de l’évaluation des programmes à celui d’« outil de
gestion, alors qu’il devrait présenter un véritable défi pour
le gouvernement »5.
En outre, il semble que la publication des constatations
découlant d’une évaluation ne soit pas une pratique
généralisée : en effet, les ministères conservent
habituellement à l’interne les rapports qui renferment ces
constatations. Certains auteurs font remarquer qu’au
Canada, l’activité d’évaluation vise à répondre aux besoins
en information non pas des citoyens, mais plutôt des
gestionnaires de programmes6,7,8. Il existe bien entendu
certaines exceptions dignes de mention, dont le rapport en
21 volumes du Groupe de travail Nielsen, qui appartient
au domaine public. En règle générale toutefois, la presse
ou le grand public ne prennent connaissance des constatations issues de l’évaluation qu’après qu’elles ont été
intensivement examinées et revues à l’interne.
De plus, bien qu’on s’accorde généralement pour
reconnaître, dans la documentation, que la consultation des
intervenants fait partie intégrante du processus d’évaluation,
il est évident que cette consultation n’a pas lieu9. Schelling,
comme le cite Greenberger, estime que « l’analyse des
intérêts des participants est sans doute aussi importante
que l’analyse des problèmes »10. Le président du Conseil du
Trésor précise que le gouverne-ment doit « travailler afin de
répondre aux attentes du public »11. Cependant, le seul
moyen que le gouvernement a de savoir si ses programmes
officiels répondent à ces attentes, c’est de faire participer le
public au processus d’évaluation. Renouf croit que « nous
avons rendu Ottawa davantage capable d’évaluer Ottawa,
2
au lieu de donner à la collectivité canadienne de meilleurs
moyens d’évaluer son gouvernement fédéral »12.
L’évaluation des programmes
et l’élaboration des politiques
officielles
La raison d’être de l’évaluation et
ses modalités d’application
L’évaluation des programmes peut se faire pour des
raisons très diverses qu’on classera généralement sous des
objectifs généraux comme l’amélioration des politiques
officielles et (ou) des services offerts.
Pal affirme que, si on effectue des études évaluatives,
c’est principalement pour déterminer si « les politiques, les
programmes et les opérations sont efficaces »13. Son propos
n’est pas parfaitement clair; d’autres auteurs définissent plus
en détail la notion d’« efficacité ». Rossi et Berk décrivent
en termes généraux les objectifs de l’évaluation14. À leurs
yeux, l’évaluation vise à répondre à des questions
importantes qui surgissent pendant l’élaboration des
politiques et au moment de la conception et de la mise en
œuvre des programmes; elle sert aussi à contrôler
l’efficience et l’efficacité des programmes en place ou
proposés. Précisons qu’il est rare de trouver, dans la
documentation, des références aux études évaluatives
portant sur des programmes qu’on songe à instaurer.
Patton laisse entendre que l’évaluation des programmes, en plus de servir à la prise de décisions aux échelons
politiques peut avoir d’autres utilités15. En voici quelquesunes : améliorer la mise en œuvre des programmes,
élaborer des objectifs plus clairs pour ces programmes,
réunir des renseignements plus précis sur les besoins des
clients et susciter une mûre réflexion à propos d’un
programme (qui pourrait ne porter fruit que plus tard).
Simeon est d’avis que la simple réalisation d’une étude
évaluative peut créer une conjoncture favorable au
changement; il cite les commentaires d’une personne
interrogée dans le cadre des travaux du Groupe Nielsen,
qui estimait que l’étude en soi faisait sauter certains
obstacles et insufflait de nouvelles idées au sein du
gouvernement16.
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
Le motif de l’évaluation peut être purement politique;
ce peut être, par exemple, de bâtir l’image d’un programme
ou du gouvernement lui-même17. Patton laisse entendre
par ailleurs que les représentants politiques pourraient se
servir de l’évaluation expressément pour tuer un
programme 18; or, rien dans la documentation ne vient
confirmer cette position. Il est vraisemblable également
d’avancer à titre spéculatif que les politiciens pourraient
vouloir recourir à l’évaluation pour justifier une position
déjà adoptée.
Pour leur part, Rossi, Freeman et Wright ont une vision
pessimiste de l’objectif qui sous-tend l’évaluation des
programmes. Ils concluent que celui qui commande une
étude évaluative exprime implicitement le doute que le
programme visé n’est peut-être pas aussi efficace qu’on
l’aurait espéré19.
C’est peut-être Berk et Rossi qui énoncent le motif qui
reflète le mieux le contexte politique dans lequel doit se
dérouler l’évaluation des programmes. Pour eux, l’évaluation
permet d’ « apporter la meilleure information qui soit sur les
grandes questions d’intérêt public, en tenant compte d’un
ensemble de contraintes réelles » 20 . À mon avis, la
« meilleure information qui soit » est une information utile
et pertinente qui tient compte des considérations politiques,
du processus et des éléments de mesure des résultats.
On peut classer les méthodes d’évaluation en deux
catégories : celles qui sont axées sur l’impact et celles qui
portent essentiellement sur le processus. Les évaluations
d’impact, appelées aussi études de résultats ou études
sommatives, sont réalisées après la mise en œuvre d’un
programme. Elles permettent d’évaluer rétrospectivement
les résultats d’un programme par rapport aux objectifs.
Bien que la majorité des études évaluatives mettent l’accent
sur l’impact des programmes, souvent elles sont réalisées
trop tard pour jouer un rôle significatif dans l’orientation
des décisions d’intérêt public, puisque, comme le signale
si justement Palumbo, « les politiques existent
indépendamment du reste une fois qu’elles ont été mises
en œuvre »21. L’évaluation d’impact soulève un problème
de connaissance des relations de cause à effet, puisque le
programme est vu comme une variable causale et qu’on
s’efforce, dans le cadre de l’évaluation, d’en isoler l’impact
par rapport à celui des autres facteurs. Il est difficile, voire
impossible, d’établir cette relation de cause à effet. Les
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
études de coûts-avantages, qui appartiennent à la catégorie
des évaluations d’impact, comportent un autre problème,
puisqu’elles ont pour objet d’attribuer une valeur monétaire
aux coûts et aux avantages souvent intangibles des
programmes de l’État.
L’évaluation des processus, appelée étude formative,
consiste à analyser la mise en œuvre des programmes. Elle
a pour objet de déterminer si un programme est offert à son
public cible selon la « dose » prévue22 et comment on
pourrait l’améliorer. Palumbo et Nachmias font observer
que même si, traditionnellement, l’évaluation apporte une
information sommative qui permet de décider si un
programme public doit être maintenu ou abandonné, on
semble opter de plus en plus pour l’évaluation des
processus23. Cette évolution s’explique peut-être en partie
par le fait que les décisions sur « la vie ou la mort » d’un
programme sont rarement prises dans les milieux politiques,
d’après ce que l’on a pu constater.
Les évaluations exhaustives comprennent à la fois des
études formatives et des études sommatives 24 . Ce
regroupement des processus et des données sur l’impact
des programmes paraît logique et complémentaire, puisque
la qualité de la mise en œuvre d’un programme, mesurée
grâce à l’évaluation des processus, n’est pas nécessairement
synonyme de la qualité du programme lui-même, mesurée
au moyen de l’évaluation d’impact. À mon avis, pour que
les politiciens soient en mesure d’utiliser au maximum
l’évaluation des programmes afin de prendre des décisions,
il leur faut un apport continuel et ininterrompu de
constatations découlant des évaluations; et le meilleur
moyen d’y arriver est de combiner l’examen des processus
et l’évaluation d’impact.
L’évaluation des programmes
comme activité scientifique
L’évaluation des programmes est devenue une activité
scientifique. En effet, il faut reconnaître que c’est grâce aux
assises solides de l’analyse quantitative scientifique, dont
elle s’inspire, que l’évaluation des programmes a évolué.
Aujourd’hui, on continue de présenter l’évaluation des
programmes comme un secteur d’activité scientifique et
systématique. On l’a décrite tantôt comme une « science de
3
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
l’information »25, tantôt comme « la science funeste de
l’analyse des politiques »26. Les écrits confirment que,
même si son application a évolué dans une certaine
mesure, le paradigme prépondérant est toujours celui de la
recherche scientifique. La grande rigueur exercée encore
aujourd’hui sur le plan de la méthode cadre bien avec le
modèle scientifique positiviste. En fait, ceux et celles qui
œuvrent dans le domaine croient souvent que la rigueur
de la méthodologie employée est un gage d’immunité
contre l’influence politique et les autres influences
contextuelles27.
Les défis de l’évaluation des
programmes dans un contexte
politique
Les défis que présente l’évaluation des programmes
dans un contexte politique sont nombreux et variés, par
exemple, l’instabilité du contexte dans lequel se déroule
l’évaluation. En définitive, à cause d’une conjoncture
marquée par de constantes compressions d’effectifs et de
budgets, on a moins d’argent à consacrer à la recherche
évaluative, et ceux et celles qui travaillent dans ce contexte
donnent la priorité à d’autres activités que l’évaluation, ce
qui est compréhensible. Pal note avec à-propos le paradoxe
d’une situation financière qui met en relief la nécessité de
l’évaluation, tout en en restreignant l’application28. Le coût
élevé de nombreuses études évaluatives complique encore
ce problème. Derlien affirme que 20 p. 100 des évaluations
effectuées aux États-Unis en 1984 ont coûté plus de
100 000 $29.
Souvent, le calendrier de la vie politique et celui de
l’évaluation des programmes sont contradictoires. Le
processus annuel de budgétisation, dans le cadre duquel on
prend souvent des décisions de financement rapides à
partir de données incomplètes, peut obliger à réaliser
rapidement des études évaluatives. À cause du peu de
temps dont disposent les représentants politiques pour faire
bonne impression sur l’électorat, il est sans doute plus sage,
politiquement, de lancer un nouveau programme que d’en
évaluer un ancien30.
Généralement, aux yeux des gestionnaires et des
employés chargés des programmes, les études évaluatives
4
représentent une menace. Cela est compréhensible,
puisqu’on peut penser que c’est ce groupe qui a le plus à
perdre ou à gagner si on décide d’abolir ou de maintenir un
programme. Puisque les constatations qui ressortent de
l’évaluation révèlent souvent des vérités désagréables, Pal
note qu’on est tenté de « tuer ou, du moins, d’ignorer
le messager »31. McCleary, comme le cite Kelly, relève avec
cynisme la réaction que le personnel chargé des programmes a face à l’évaluation : Lorsque cela est possible,
les travailleurs se servent des statistiques non pas comme
de statistiques, mais plutôt comme des instruments pour
réduire leur charge de travail32. Cette critique est sans doute
trop dure; Rogers offre un point de vue plus réaliste, en
citant Hartle qui affirme que « rare est le chien prêt à
porter le bâton qui servira à le battre »33. En outre, les
administrateurs de programmes se sentent obligés de
présenter la preuve de l’efficacité de leurs programmes,
compte tenu de l’intolérance des milieux politiques pour
l’échec. Étant donné la rareté apparente des évaluations
« positives », nous pourrions nous attendre à ce que la
stratégie adoptée par les administrateurs soit d’intégrer leur
programme à une étude évaluative portant sur plusieurs
programmes, pour faire comparativement bonne
impression.
Les objectifs des programmes constituent souvent des
baromètres médiocres pour mesurer le succès. Ils sont
souvent imprécis, non mesurables, exagérés et parfois
incompatibles. Parfois, les objectifs définis indiquent que le
but a été formulé de façon précipitée parce qu’on s’efforçait
de faire approuver le financement. Ils peuvent aussi avoir
été formulés ainsi à dessein afin de recueillir des appuis
plus vastes. À l’étape de l’élaboration des programmes, on
pense rarement à se munir d’indicateurs quantitatifs et
qualitatifs complets de l’efficacité.
L’évaluation sommative des réalisations découlant d’un
programme est riche de défis pour d’autres raisons.
Premièrement, il est plus difficile de quantifier des objectifs
de rendement dans le secteur public que dans le secteur
privé. On pourrait en fait affirmer que l’importance
accordée à la quantification a pour effet de faire porter
l’évaluation des programmes sur des notions banales qu’on
peut mesurer facilement. Deuxièmement, les données de
base pour les comparaisons après la mise en œuvre des
programmes sont souvent absentes. Troisièmement, comme
le signale Rein, l’opinion des gens sur le caractère opportun
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
ou souhaitable de l’évaluation change avec le temps34.
Quatrièmement, les intervenants ont tous des définitions
différentes de la notion de succès et, parfois, ils ne sont
prêts à en accepter que certains baromètres. Enfin, alors
que dans la recherche scientifique toutes les variables, sauf
la variable de contrôle, doivent rester constantes pour
permettre d’isoler les effets35, il est difficile d’isoler les
conséquences des programmes publics par rapport aux
autres facteurs déterminants.
Le processus d’évaluation des programmes oblige à
faire des compromis difficiles. Chaque analyse évaluative
est unique, et il n’est pas possible de généraliser comme on
le fait dans le domaine scientifique positiviste. Il faut
réaliser un équilibre harmonieux entre, d’une part, la
faisabilité et le coût des différentes méthodologies
d’évaluation et, d’autre part, les avantages et l’utilisation des
constatations qui ressortent de l’évaluation36.
On considère souvent que la participation de
différents intervenants à l’évaluation menace l’intégrité des
constatations. La recherche scientifique traditionnelle
oblige le chercheur à demeurer objectif par rapport
à l’objet de son étude. Si on juge essentiel de tenir compte
dans l’évaluation de l’opinion de différents intervenants,
on doit assurer un juste équilibre entre la consultation et la
neutralité.
Une difficulté intéressante réside dans l’absence de
critères établis pour juger du mérite relatif des diverses
valeurs des intervenants. Guba et Lincoln souhaitent que les
valeurs des intervenants soient traitées équitablement
pendant toute la durée de l’évaluation37. Bien qu’il soit
noble d’affirmer que « toutes les valeurs naissent égales »,
je soutiens pour ma part qu’ultimement, la prise de
décisions aux échelons politiques réclame un classement
des valeurs par priorité ou selon la hiérarchie.
Nécessité d’une nouvelle
approche face à l’évaluation
des programmes
Le Robert définit l’art comme l’« activité consciente et
créatrice tendue vers un but ». Il est nécessaire d’adopter,
face à l’évaluation des programmes, une approche
ingénieuse davantage axée sur la qualité pour en réaliser le
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
véritable potentiel dans l’élaboration des politiques d’intérêt
public. Cela ne veut pas dire qu’il faille renoncer aux
méthodes scientifiques dans la recherche évaluative; il faut
plutôt faire de l’évaluation un art.
Pour les besoins de cet exposé, il est utile de noter
l’adage « L’art est le miroir de la vie ». Comme l’art, la
recherche évaluative doit s’effectuer en tenant compte de la
réalité du contexte dans lequel elle se déroule. Cette réalité
peut réunir les caractéristiques suivantes. Premièrement, les
faits ne déterminent pas à eux seuls les politiques d’intérêt
public; autrement dit, les constatations qui découlent de
l’évaluation doivent rivaliser avec une foule de facteurs non
scientifiques qui influent sur la prise de décisions aux
échelons politiques38. Deuxièmement, le processus de prise
de décisions aux échelons politiques est essentiellement un
art, puisqu’il consiste à discuter et à négocier pour
produire des résultats satisfaisants. On peut soutenir qu’il
doit en aller de même du processus d’évaluation.
Troisièmement, comme le signale Patton, bien que l’univers
politique des intérêts particuliers et des différents
intervenants soit rationnel et logique, cette rationalité ou
cette logique n’est pas celle de l’économie. Il affirme
également que l’idéal visé lorsqu’on définit explicitement
des objectifs et qu’on mesure leur réalisation est « un
modèle de raison humaine et de rationalité. La réalité de
la pratique de l’évaluation dans un contexte politique
montre que nous n’atteignons pas toujours nos idéaux
rationnels »39.
La science et l’évaluation des programmes poursuivent
des objectifs différents et n’ont pas la même mission.
Premièrement, la science est en quête de vérité, tandis
que l’évaluation doit être en quête d’information. Comme le
fait observer Qvortrup, l’évaluation doit « déborder le
cadre de la systématisation de la réalité empirique »40.
Deuxièmement, la science a pour mission d’être objective,
alors que l’évaluation des programmes n’a pas d’objectif
unique ou de résultat exact. Troisièmement, le contrôle est
un principe sur lequel repose la recherche scientifique, et
l’évaluation des programmes ne peut pas exercer de
contrôle sur la réalité politique. Selon Patton, l’évaluation
exige qu’on adopte une approche de résolution de
problèmes qui soit adaptable aux changements, et non une
approche technique visant à mouler et à définir des
conditions selon un modèle préconçu41.
5
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
Il est nécessaire d’adopter une approche consultative
plus qualitative pour améliorer la pertinence et l’utilisation
des constatations découlant des évaluations de programmes
dans un contexte politique. Brightman et Noble décrivent
les « scientifiques de la décision », dont font partie
les chercheurs-évaluateurs traditionnels, comme
« désespérément naïfs et intellectuellement arrogants. Naïfs,
parce qu’ils croient que la résolution des problèmes
commence et se termine par une analyse; arrogants, parce
qu’ils optent pour la rigueur mathématique au lieu des
résultats »42. Greenberger note qu’en mettant essentiellement
l’accent sur les questions techniques et économiques au
détriment des questions importantes pour les représentants
politiques, les évaluateurs « partent défavorisés dans la
course à l’attention et à l’influence, et leur travail perd
l’impact qu’il aurait normalement pu produire »43.
Une approche ingénieuse s’harmonise avec les normes
d’évaluation professionnelles établies que sont l’utilité, la
faisabilité, la pertinence et l’exactitude. Bien qu’il ne fasse
aucun doute que les méthodes scientifiques telles que les
techniques d’échantillonnage soient utiles dans l’évaluation
des programmes, les critères scientifiques traditionnels
(validité, fiabilité et objectivité), pour leur part, ne
conviennent pas aux normes ni aux hypothèses des milieux
politiques.
Les processus techniques de l’évaluation scientifique ne
peuvent s’adapter au pluralisme des valeurs. On doit plutôt
faire appel à des méthodes ingénieuses pour tenir compte
des points de vue des différents intervenants. Comme Katz,
certains auteurs estiment qu’on ne peut pas résoudre le
problème du pluralisme des valeurs par l’analyse44. Au lieu
de « jeter le bébé avec l’eau du bain », on préfère adopter
des positions comme celle de Greenberger, qui affirme
qu’« à eux seuls, les faits ne permettent pas de résoudre une
controverse enracinée dans des valeurs subjectives et des
positions idéologiques » 45 , et comme celle de Rossi,
Freeman et Wright, qui sont d’accord pour dire que les faits
se situent souvent « en dehors du débat dont les principaux
thèmes sont axés sur les valeurs »46.
Kelly cite Kimmel pour mieux étayer le plaidoyer en
faveur des approches nouvelles et qualitatives face à
l’évaluation des programmes, lorsqu’il fait observer que « la
mesurabilité n’est pas un indice de l’importance » 47 .
Effectivement, on relève de nombreux exemples d’études
6
évaluatives dans lesquelles ce qui a été omis peut être
considéré comme aussi essentiel, voire plus important que
ce qui a été pris en compte.
Enfin, on peut dire que l’évaluation est un art puisque,
comme l’art, l’un de ses principaux avantages est de jeter
un regard neuf sur la réalité.
Suggestions pour changer
l’évaluation des programmes :
lui donner un rôle significatif
dans l’élaboration des
politiques officielles
Je fais ci-après certaines suggestions pour changer
l’approche scientifique qu’on a traditionnellement eue face
à l’évaluation des programmes, pour que celle-ci puisse
ainsi jouer un rôle significatif dans la prise de décisions aux
échelons politiques.
Adopter une approche de
résolution de problème en
situation
L’évaluation doit viser, dans son application, non plus la
rigueur méthodologique, mais l’ingéniosité. Les travaux de
plusieurs auteurs mettent en relief le point de vue selon
lequel la démarche à adopter dans les études évaluatives en
est une de résolution de problèmes en situation, dans
laquelle les critères de décision sont multiples et souples48-51.
L’ingéniosité se traduira par le recours à l’éventail complet
des méthodologies offertes dans le domaine et aux meilleurs
techniques qualitatives et quantitatives qui soit, pour l’étude à
réaliser.
La méthodologie de l’évaluation doit mettre en
équilibre les objectifs liés à la validité de la recherche et
ceux qui ont trait à l’utilité et à la pertinence. Je suis
d’accord avec le point de vue des auteurs qui, comme
Patton, affirment que l’utilité doit être le critère
prépondérant dans les décisions découlant d’une
évaluation52. Autrement dit, le recours à des méthodes
scientifiques trop complexes qui peuvent porter atteinte à la
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
pertinence et à l’utilité des constatations doit être pondéré
en fonction des risques pour la validité. Les préoccupations
liées à la précision technique doivent être examinées dans
le contexte « de l’esprit et du défi » des normes
d’évaluation professionnelles53.
Accroître la diffusion des
constatations découlant de
l’évaluation
Il faudrait diffuser plus largement les constatations
issues de l’évaluation parmi les députés et le grand public,
ce qui favoriserait l’ouverture et l’examen des politiques
officielles. On considère que la publication des résultats des
évaluations fait partie intégrante de l’effort déployé pour
promouvoir, au gouvernement, l’obligation de rendre des
comptes. On doit faire appel à différents moyens pour
atteindre cet objectif, notamment insister davantage sur
l’évaluation dans les rapports annuels, assurer une
couverture médiatique plus grande, améliorer les rapports
présentés au Parlement et offrir de meilleurs moyens
d’accès électroniques. Rist saisit toute l’importance de la
diffusion de l’information lorsqu’il affirme qu’une diffusion
plus large des résultats des évaluations donne lieu à un
climat de changement différent de celui que l’on crée
lorsqu’on restreint la diffusion des constatations issues de
l’évaluation54. Bien que le président du Conseil du Trésor
reconnaisse qu’« il est important que les citoyens et les
contribuables aient accès à l’information relative aux coûts
des activités et des programmes du gouvernement »55, les
coûts ne sont pas le seul facteur important, et il faut
d’autres indicateurs pour connaître l’efficacité des
programmes. S’il est impossible, pour des motifs valables,
de faire participer les intervenants à l’évaluation d’un
programme, on pense qu’il est d’autant plus important de
faire une diffusion plus large des résultats de l’évaluation,
afin de susciter la discussion et le débat.
Accroître la participation des
intervenants
On doit accroître la participation des intervenants à tous
les aspects de l’évaluation. Renouf parle de la nécessité de
« réaffirmer la responsabilité de la collectivité face aux
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
questions économiques »56. Bemelmans-Videc et Conner font
observer que, puisque les programmes de l’État visent à
orienter les processus sociaux en apportant des changements
aux activités des citoyens, « il faudrait tenir compte du point
de vue des intervenants à la fin de la chaîne des relations de
cause à effet »57. Le président du Conseil du Trésor reconnaît
que la participation accrue d’intervenants de l’extérieur
permettrait d’« améliorer la confiance des organismes
centraux en utilisant les conclusions d’études effectuées par
les ministères pour prendre des décisions importantes »58, et
le contrôleur général explique qu’en élargissant et en
approfondissant les formes actuelles de consultation des
clients dans les programmes publics, on créerait un
« environnement propice au changement »59. Palumbo va
même jusqu’à affirmer qu’on devrait tenir compte, dans les
évaluations, de l’avis des opposants à un programme60. Selon
moi, il est aussi important d’analyser les besoins et les
intérêts des intervenants que de se pencher sur les questions
techniques et économiques. En outre, si l’évaluation est
effectivement une recherche de « la meilleure information
qui soit », il est certain qu’en tenant compte de l’opinion des
intervenants, on apportera aux représentants politiques des
données complètes pour leur permettre de prendre des
décisions éclairées.
Bien que je reconnaisse la nécessité d’examiner, dans
chaque cas, l’effort, le coût et la complexité que
représente la consultation des intervenants, on peut
recourir à des solutions ingénieuses pour répondre aux
préoccupations de cette nature. Patton donne l’exemple
d’une situation dans laquelle on a fait appel à des jurés
éventuels qui attendaient de faire partie d’un groupe de
discussion, pour réunir rapidement et à peu de frais des
données à partir d’un échantillon aléatoire relativement
important d’intervenants 61 . On peut affirmer que
l’évaluation des programmes permet de consulter les
intervenants à deux niveaux, ce qui améliore la
méthodologie dans les deux cas. Au premier niveau, les
intervenants participent aux entrevues et expriment leur
avis pendant la réalisation des études évaluatives. Au
deuxième niveau, soit celui que l’on préfère, les
intervenants participent activement à tous les aspects de la
conception et de la réalisation de l’évaluation.
Il est utile de faire un commentaire particulier sur la
consultation, à titre d’intervenants, des gestionnaires et des
7
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
employés chargés des programmes. La méthode
d’évaluation doit permettre de prévoir leurs réactions –
bien compréhensibles – à l’évaluation des programmes et
doit comporter des mesures pour faire face à ces réactions.
Le meilleur moyen de réaliser cet objectif est peut-être de
les faire participer davantage à tous les aspects du
processus d’évaluation. Les préoccupations que pourraient
soulever la participation du personnel chargé des
programmes, notamment le parti pris et la subjectivité,
doivent être jaugés par rapport aux avantages
éventuellement plus importants de leur participation :
engagement plus grand à l’endroit du processus
d’évaluation, réduction des frais de collecte des données et
perfectionnement des compétences internes.
Redéfinir le rôle de l’évaluateur
Conformément à l’évolution des paradigmes dans le
processus d’évaluation, le rôle de l’évaluateur doit lui aussi
être redéfini. Guba et Lincoln proposent une thèse qui
suscite de multiples réflexions sur l’évolution de l’évaluation
des programmes62. Ils parlent en effet d’une « quatrième
génération » d’évaluation, dans laquelle on conserve les
rôles traditionnels, mais en les redéfinissant. Selon ce
modèle, l’évaluateur, plutôt que les outils de mesure plus
normalisés, est le principal instrument de l’étude. Au lieu de
fixer une image au travers d’un objectif scientifique,
l’évaluateur « tâche d’éclairer la scène » et permet de
comprendre différents principes. Au lieu de juger les
données, il devient le médiateur du processus subjectif. À
ce titre, les auteurs affirment que les décisions ne peuvent
être prises tant qu’on ne s’entend pas sur des compromis
entre différentes valeurs ou que certains intervenants ne
sont pas assez puissants pour contrôler le processus63. De
même, Guba et Lincoln reconnaissent que cette dernière
situation est répandue, mais estiment qu’il s’agit d’une
« situation immorale »64. Pour ma part, je soutiens que ces
auteurs sont peut-être trop sévères dans leurs critiques et
quelque peu naïfs dans leur notion de compromis. Par
contre, je reconnais que le compromis n’est pas toujours
possible ou n’est pas nécessairement la meilleure solution.
On peut plutôt penser que la disponibilité de l’information
pertinente sur différentes valeurs peut constituer un cadre
plus complet pour la prise de décisions aux échelons
politiques.
8
Harmoniser le contenu des
constatations de l’évaluation
Les études doivent faire état des résultats négatifs,
même s’ils sont imprévus, autant que des résultats positifs.
Bien que les constatations positives soient évidemment plus
intéressantes politiquement, on doit tenir compte des
résultats négatifs imprévus si on s’engage véritablement à
améliorer les politiques65. Les rapports d’évaluation doivent
présenter des recommandations précises, au lieu de
comporter des critiques qui sont souvent théoriques66 et
doivent faire état des atouts des programmes autant que de
leurs lacunes, de façon à susciter un engagement à l’endroit
du processus d’évaluation.
Orienter le processus d’évaluation
en fonction du processus de
décision politique
Bien qu’on examine les constatations qui ressortent
de l’évaluation dans le contexte de la discussion et du
débat, le processus d’évaluation lui-même doit être à
l’image de cette discussion et de ce débat parmi les
intervenants. Nachmias souligne que dans la plupart des
cas, ni les constatations issues de l’évaluation, ni les
facteurs qui amènent les décideurs politiques à agir comme
ils le font sont parfaitement limpides 67. Un processus
d’évaluation qui prévoit la consultation des intervenants à
toutes les étapes permettrait de rendre ces deux éléments
plus clairs.
Élargir le rôle de l’évaluation des
programmes
Enfin, il faudrait faire de l’évaluation des programmes
un instrument de planification. Cette affirmation est
incompatible avec le rôle d’instrument de mesure
rétrospective traditionnellement attribué à l’évaluation.
Pour devenir un instrument de planification efficace,
l’évaluation doit jouer un rôle « chronologique » dans la
planification des programmes, dans leur mise en œuvre et
dans l’évaluation des résultats.
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
Conclusion
Les paradigmes devront évoluer considérablement
pour que l’évaluation des programmes joue un rôle
significatif dans le processus d’élaboration des politiques
officielles.
Le paradigme prépondérant est toujours celui de la
recherche scientifique traditionnelle. Pourtant, l’interface
entre la politique et l’évaluation présente des défis
complexes, que les démarches scientifiques traditionnelles
en matière d’évaluation ne permettent pas de relever. Voilà
pourquoi l’évaluation des programmes ne réalise pas, à
l’heure actuelle, son véritable potentiel d’outil de décision
politique. Pour répondre aux préoccupations sur la
pertinence et l’utilisation des résultats des évaluations, une
seule solution s’offre à nous : appliquer des méthodes
d’évaluation ingénieuses qui sont axées sur la résolution
des problèmes en situation et qui emploient un ensemble
de techniques qualitatives et quantitatives.
On peut rendre l’évaluation des programmes plus utile
aux milieux politiques en apportant certains changements
précis à la démarche, notamment en insistant sur la
participation des intervenants, en diffusant davantage les
constatations des études, en redéfinissant le rôle de
l’évaluateur et en élargissant le rôle de l’évaluation des
programmes pour en faire un instrument de planification.
En optant pour la pertinence aux dépens de la rigueur
scientifique dans la pratique de l’évaluation, il est certain
qu’on ébranle sérieusement le paradigme scientifique
existant et l’équilibre actuel des pouvoirs politiques. La
description de l’artiste fournie en 1923 par Robert Henri (et
citée par Patton) peut en fait s’appliquer à l’évaluateur dans
ce nouveau contexte :
« Tout individu qui, quelle que soit son œuvre, possède un
tempérament artistique devient une créature inventive, un
chercheur redoutable, un être capable d’extérioriser ses
sentiments…. Il dérange, bouleverse, éclaire et crée des moyens
de mieux comprendre la réalité. Lorsque ceux et celles qui ne
sont pas des artistes essaient de fermer le livre, il l’ouvre et
montre qu’on peut y ajouter encore d’autres pages. »68
Notes
1. C.H. Weiss (réd.). Using Social Research in Public Policy Making,
Lexington, Mass., Lexington Books, 1977, p. 4.
du Trésor, Ottawa, Conseil du Trésor du Canada, Direction de la
planification et des communications, 1995-1996, p. 1.
2. Emil J. Posovac et Raymond G. Carey. Program Evaluation :
Methods and Case Studies, Englewood Cliffs, N.J., Prentice-Hall, 1980, p. 2.
12. Harold Renouf. « The Public Monitoring of Public Expenditures ». Dans
G. Bruce Doern et Allan M. Maslove (réd.). The Public Evaluation of Government
Spending, Montréal, Institute of Research on Public Policy, 1979, p. 93.
3. Donald J. Savoie. The Politics of Public Spending in Canada,
Toronto, University of Toronto Press, 1990.
4. Robert V. Segsworth. « Policy and Program Evaluation in the
Government of Canada », dans Ray C. Rist (réd.). Program Evaluation
and the Management of Government: Patterns and Prospects across
Eight Nations, New Brunswick, N.J., Transaction Publishers, 1990,
p. 21-36.
5. Leslie A. Pal. Beyond Policy Analysis: Public Issue Management in
Turbulent Times, Scarborough, Ont., ITP Nelson, 1997, p. 235.
6. Kenneth Kernaghan et David Siegel. Public Administration in
Canada, Agincourt, Methuen Publications, 1987.
7. Segsworth, 1990, op. cit.
8. Pal, 1997, op. cit.
9. Le terme intervenant employé dans cet article s’entend des
représentants politiques, des gestionnaires et employés chargés des
programmes, des clients et du grand public.
13. Pal, 1997, op. cit., p. 254.
14. Peter H. Rossi et Richard A. Berk. « An Overview of Evaluation
Strategies and Procedures », Human Organizations, vol. 40, no 4 (1981),
p. 287.
15. Michael Q. Patton. Creative Evaluation, Newbury Park, Sage,
1987, p. 74.
16. James C. Simeon. « Groupe de travail Neilsen sur l’étude des
programmes et la réorganisation de l’administration fédérale », Optimum,
vol. 20, no 1 (1989-1990), p. 7.
17. Robert E. Floden et Stephen S. Weimer. « Rationality to Ritual:
The Multiple Roles of Evaluation in Governmental Processes », Policy
Sciences, vol. 9, no 1 (1978), p. 16.
18. Patton, 1987, op. cit., p. 20.
10. Martin Greenberger. Caught Unawares: The Energy Decade in
Retrospect, Cambridge, Mass., Ballinger, 1983, p. 300.
19. Peter H. Rossi, Howard E. Freeman et Sonia R. Wright.
Evaluation – A Systematic Approach, Beverly Hills, Sage Publications, Inc.,
1979, p. 308.
11. Conseil du Trésor du Canada. Pour une fonction d’examen plus
efficace : rapport annuel présenté au Parlement par le Président du Conseil
20. Richard A. Berk et Peter H. Rossi. Thinking about Program
Evaluation, Newbury Park, Sage, 1990, p. 9.
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3
9
L’ A R T D ’ É VA L U E R L E S P R O G R A M M E S
21. Dennis J. Palumbo (réd.). The Politics of Program Evaluation,
Newbury Park, Sage, 1987, p. 41.
22. Mary A. Scheirer. « Designing and Using Process Evaluation »,
dans J.S. Wholey, H.P. Hatry and K.E. Newcomer (réd.). Handbook of
Practical Program Evaluation, San Francisco, Jossey-Bass, 1994,
p. 40.
23. Dennis J. Palumbo et David Nachmias. « The Preconditions for
Successful Evaluation: Is There An Ideal Paradigm? », Policy Sciences,
vol. l6 (1983), p. 68.
24. Howard E. Freeman. « Evaluation Research and Public Policies:
The Dartmouth/OECD Conference », dans Gene M. Lyons (réd.). Social
Research and Public Policies, Hanover, N.H., University Press of New
England, 1975, p. 146.
25. Posovac et Carey, 1980, op. cit.
26. Pal, 1997, op. cit., p. 259.
27. Palumbo et Nachmias, 1983, op. cit., p. 71.
28. Pal, 1997, op. cit., p. 259.
29. Hans-Ulrich Derlien, « Genesis and Structure of Evaluation Efforts
in Comparative Perspective », dans Ray C. Rist (réd.). Program Evaluation
and the Management of Government, New Brunswick, Transaction
Publishers, 1990, p. 173.
30. Joseph S. Wholey. « Assessing the Feasibility and Likely
Usefulness of Evaluation », Handbook of Practical Program Evaluation,
San Francisco, Jossey-Bass, 1994.
31. Pal, 1997, op. cit., p. 234.
32. Rita M. Kelly. « The Politics of Meaning and Policy Inquiry ». In
Dennis J. Palumbo (réd.). The Politics of Program Evaluation, Newbury
Park, Sage, 1987, p. 273.
33. Harry Rogers. « Program Evaluation in the Federal
Government ». Dans Doern et Maslove, 1979, op. cit., p. 86.
34. Martin Rein. From Policy to Practice, New York, M.E. Sharpe Inc.,
1983, p. 135.
35. Richard P. Seiter. Evaluation Research as a Feedback Mechanism
for Criminal Justice Policy Making : A Critical Analysis, San Francisco,
R & E Research Associates, Inc., 1978, p. 24.
36. Wholey, 1994, op. cit., p. 15.
37. Egon G. Guba et Yvonna S. Lincoln. « The Countenances of
Fourth-Generation Evaluation: Description, Judgment and Negotiation »,
dans Dennis J. Palumbo (réd.). The Politics of Program Evaluation,
Newbury Park, Sage, 1987, p. 212.
38. David Nachmias. « The Role of Evaluation in Public Policy »,
Policy Studies Journal, vol. 8, no 7 (1980), p. 1168.
39. Patton, 1987, op. cit.
40. Mette Qvortrup. « Models in Evaluation : A Method to Increase
Utilization », dans J. Mayne, M.L. Behmelmans-Videc, et coll. (réd.).
Advancing Public Policy Evaluation – Learning from International
Experiences, Amsterdam, Elsevier Science Publishers, 1992, p. 269.
10
41. Patton, 1987, op. cit., p. 24.
42. Harvey Brightman et Carl Noble. « On the Ineffective Education
of Decision Scientists », Decision Sciences, vol. 10, no 1 (1979), p. 156.
43. Greenberger, 1983, op. cit., p. 299.
44. James E. Katz. Congress and National Energy Policy, New
Brunswick, Transaction Publishers, 1984, p. 234.
45. Greenberger, 1983, op. cit., p. 271.
46. Rossi, Freeman et Wright, 1979, op. cit.
47. Kelly, 1987, op. cit., p. 275.
48. David Nachmias. Public Policy Evaluation: Approaches and
Methods, New York, St. Martin’s Press, 1979.
49. Walter L. Wallace. Principles of Scientific Sociology, New York,
Aldine Publishing Co., 1983, p. 378.
50. Michael Q. Patton. Utilization-Focused Evaluation (2e éd.),
Beverly Hills, Sage, 1986, p. 87, et 1987, op. cit.
51. Palumbo, 1987, op. cit.
52. Patton, op. cit., 1986, p. 289.
53. Ibid., p. 220.
54. Ray C. Rist (réd.). Program Evaluation and the Management of
Government, New Brunswick, N.J., Transaction Publishers, 1990, p. 9.
55. Conseil du Trésor du Canada, 1995-1996, op. cit., p. 8.
56. Renouf, 1979, op. cit., p. 95.
57. Marie-Louise Bemelmans-Videc et Ross Conner. « The Outcomes
of Evaluation », dans J. Mayne, M.L Bemelmans-Videc, J. Hudson et
R. Conner (réd.). Advancing Public Policy Evaluation : Learning from
International Experiences, Amsterdam, Elsevier Science Publishers B.V.,
1987, p. 245.
58. Conseil du Trésor du Canada, 1995-1996, op. cit., p. 11.
59. Contrôleur général. Aborder les années 90 : perspectives
gouvernementales pour l’évaluation de programmes, Ottawa, Ont., Ministre
des Approvisionnements et Services Canada, (juin 1991).
60. Palumbo, 1987, op. cit., p. 35.
61. Patton, 1987, op. cit., p. 213.
62. Guba et Lincoln, 1987, op. cit., p. 209-231.
63. Ibid.
64. Ibid.
65. Hans-Urich Derlien. « Program Evaluation in the Federal
Republic of Germany ». Dans Ray C. Rist (réd.), 1990, op. cit., p. 46.
66. David Glover.« Politiques publiques : une rencontre entre
chercheurs et décideurs », Le CRDI explore, vol. 23, no 3 (octobre 1995),
p. 4.
67. Nachmias, 1979, op. cit.
68. Patton, 1987, op. cit., p. 153.
Optimum, La revue de gestion du secteur public • vol. 29, nos 2/3