« L`évaluation des politiques publiques »

Transcription

Journée « THEMA » de l’OEJAJ sur
« L’évaluation des politiques publiques »
23 septembre 2011
Par Anne SWALUË
L’évaluation des politiques publiques – Journée théma de l’OEJAJ
TABLE DES MATIÈRES
TABLE DES MATIÈRES ______________________________________________________________________ 1
I. PRÉSENTATION _________________________________________________________________________ 3
II. DÉFINITION ____________________________________________________________________________ 4
2.1. Définition générale ____________________________________________________________________ 4
2.2. Un élément essentiel : la notion d’APPRECIATION ____________________________________________ 4
2.3. L’évaluation comme processus institutionnel régulé __________________________________________ 5
2.4. La démarche évaluative_________________________________________________________________ 5
III. L’ÉVALUATION COMME CONNAISSANCE ____________________________________________________ 7
3.1. Entre rigueur scientifique et considérations politiques ________________________________________ 7
3.2. Evaluation récapitulative ou formative_____________________________________________________ 7
3.3. Modèles scientifique, institutionnel et professionnel __________________________________________ 7
IV. LES COMPOSANTS D’UNE ÉVALUATION_____________________________________________________ 9
4.1. L’OBJET ______________________________________________________________________________ 9
4.2. LES ACTEURS ________________________________________________________________________ 10
4.2.1. L’évaluation peut être interne ou externe : _______________________________________ 11
4.2.2. Une évaluation peut être ascendante ou descendante : _____________________________ 12
4.2.3. L’évaluateur peut être un acteur individuel (personnifié) ou collectif : _________________ 12
4.3. FINALITES ___________________________________________________________________________ 13
4.4. MÉTHODES__________________________________________________________________________ 14
4.4.1. Un passage obligé : l’élaboration des questions____________________________________ 15
4.4.1.1. Angles de questionnement ________________________________________________ 15
4.4.1.2. Objets du questionnement ________________________________________________ 17
4.4.1.3. Bases du questionnement _________________________________________________ 19
1/28
V. MÉTHODES ET TECHNIQUES _____________________________________________________________ 20
5.1. Techniques de collecte d’informations : ___________________________________________________ 20
5.2. Techniques de présentation des données : _________________________________________________ 20
5.3. Méthodes d’établissement des liens de causalité :___________________________________________ 20
5.3.1. Méthodes expérimentales et quasi-expérimentales ________________________________ 21
5.3.2. Méthodes qualitatives ________________________________________________________ 22
5.4. Techniques de jugement : ______________________________________________________________ 22
VI. IMPACT _____________________________________________________________________________ 24
6.1. Format des résultats __________________________________________________________________ 24
6.2. Diffusion du rapport___________________________________________________________________ 24
6.3. Mesure de l’impact d’une évaluation _____________________________________________________ 24
VII. TABLEAU SYNTHETIQUE – OUTIL POUR LA CONSTRUCTION D’UN DISPOSITIF EVALUATIF ___________ 26
VIII. REFERENCES BIBLIOGRAPHIQUES _______________________________________________________ 27
2/28
L’évaluation des politiques
publiques
I. PRÉSENTATION
Cette présentation a pour objectif d’introduire quelques grands principes méthodologiques
propres à l’évaluation de politiques publiques. Vu la diversité des objets et des domaines
susceptibles d’être évalués, il convient de pouvoir s’appuyer sur des principes théoriques
fondamentaux qui pourront s’appliquer aux situations les plus diverses. Le présent
document a donc été élaboré suite à une large revue des ouvrages de référence sur le sujet
et propose dès lors de définir un cadre méthodologique suffisamment général que pour être
adaptable à la construction de toute évaluation.
Notre approche méthodologique est donc résolument orientée vers la pratique. Il s’agit de
présenter un condensé théorique, les « règles de l’art », permettant de construire
rigoureusement une évaluation de politiques publiques.
3/28
II. DÉFINITION
2.1. Définition générale
En préambule, il convient d’identifier clairement ce qu’est ou non une évaluation.
La définition minimaliste, souvent citée, se limite à définir l’évaluation de politiques
publiques comme suit : « l’évaluation d’une politique publique a pour objet d’apprécier
l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux
moyens mis en œuvre ».
Or, derrière cette définition assez simple se cachent déjà des facteurs de complexité car :
1/ les résultats d’une politique sont souvent difficiles à mesurer, diffus, éclatés sur plusieurs
niveaux ;
2/ ses objectifs sont souvent difficiles à déterminer clairement, instables, contradictoires,
peu lisibles (surtout dans le cadre d’évaluation de politiques à caractère social) ;
3/ l’exercice évaluatif en lui-même est souvent obstrué par les réticences d’acteurs détenant
du pouvoir de par la politique en question et appréhendant l’évaluation comme un
jugement, voire un contrôle.
2.2. Un élément essentiel : la notion d’APPRECIATION
L’évaluation comporte nécessairement deux composantes : une étape de collecte et de
traitement d’informations liées à la politique en question, à sa mise en œuvre et à ses effets,
suivie d’une étape d’analyse de ces informations au regard de préoccupations normatives
(« a-t-on bien fait ? » - on porte un jugement de valeur) et instrumentales (« comment faire
mieux ? »). Cette approche normative distingue l’évaluation de la simple « mesure », ou de
l’« étude scientifique» ainsi que de l’ « audit » qui ne comportent pas de jugements de
valeur. De même, la perspective instrumentale distingue l’évaluation du contrôle de gestion
ou de l’inspection : on veut apprendre, s’informer, améliorer plutôt que se limiter à vérifier
la conformité et sanctionner.
4/28
2.3. L’évaluation comme processus institutionnel régulé
La définition n’est pas toujours complète si on ne met pas l’accent sur l’aspect « processus »
de l’évaluation. Au-delà de la suite de pratiques et de techniques de collecte et de
traitement de l’information (ou autrement dit des méthodes de « recherche évaluative »),
l’évaluation est également un processus social dont le déroulement est codifié et
systématisé : conception, organisation, conduite, valorisation.
Cet aspect processuel va de pair avec un autre déterminant de l’évaluation : le caractère
institutionnel de l’activité évaluative. L’évaluation de politiques publiques est une démarche
à caractère institutionnel et à visée opérationnelle. Elle s’intéresse à la gestion publique,
c’est-à-dire au fonctionnement de la puissance publique ou de sa délégation, et cherche à
mieux connaître les processus institutionnels et à les améliorer. La démarche va donc de pair
avec un apprentissage institutionnel spécifique à l’évaluation de politiques publiques. Il
convient donc de conserver le terme d’ « évaluation de politiques publiques » pour activités
liées à une demande institutionnelle, distinctes en cela de l’expertise ou de l’audit externe.
Enfin, l’évaluation des politiques publiques repose sur un certain nombre d’exigences
déontologiques (reprises au niveau francophone dans la Charte de l’évaluation) – autour des
notions de démocratie et d’intérêt général : rigueur scientifique, impartialité, transparence,
souci de tenir compte de la pluralité des points de vue, volonté de faire prévaloir l’intérêt
général.
2.4. La démarche évaluative
Si on entre plus précisément dans l’ontologie d’une évaluation de politique publique, on
peut décrire l’évaluation comme l’élaboration d’un référentiel, c’est-à-dire un ensemble de
critères opératoires et politiquement légitimes de l’efficacité et de la réussite d’une
politique. Cette étape est indispensable : le concept d’évaluation suppose au minimum
qu’on établisse des critères d’évaluation. Ceux-ci peuvent être de nature diverses :
quantitatifs, qualitatifs, indépendants ou non, formalisables ou plus intuitifs, éventuellement
clarifiés plus tard dans le processus, mais il est indispensable de se soumettre à ce travail
d’objectivation et d’explication pour que l’on puisse parler d’évaluation. L’exercice se limite
sinon à de la simple description.
5/28
Une fois ce référentiel établi, il s’agit de formuler des questions liées à ce référentiel qui
seront pertinentes pour analyser l’action publique évaluée sous l’angle normatif et
opérationnel, et enfin y répondre en mobilisant les outils des sciences sociales et du
management.
6/28
III. L’ÉVALUATION COMME CONNAISSANCE
L’évaluation des politiques publiques se situe aux carrefours de différentes tendances. C’est
un processus tiraillé entre différentes forces qu’il faut équilibrer.
3.1. Entre rigueur scientifique et considérations politiques
La démarche évaluative se doit pour être crédible de respecter une certaine rigueur
scientifique dans sa méthode, une précision dans les faits qu’elle identifie, dans ses mesures.
Mais elle doit en même temps s’organiser dans un contexte éminemment politique, aux
implications politiques, et prendre en compte les intérêts et les contradictions afférentes.
Cette tension se retrouve d’ailleurs tout au long du processus évaluatif et sous-tend
l’ensemble des choix méthodologiques qui devront être posés : Qui évalue quoi ?
Comment ? Pourquoi ?
3.2. Evaluation récapitulative ou formative
L’évaluation de politiques publiques peut être envisagée sous deux aspects, au travers de
deux paradigmes1 selon ses finalités :
1/ L’évaluation « récapitulative » : vise directement l’aide à la décision, l’évaluation est
centrée sur les résultats et se base sur des données quantitatives.
2/ L’évaluation « formative » : a pour but d’améliorer les compétences et l’implication des
acteurs, l’évaluation est centrée sur les processus et elle utilise des méthodes qualitatives et
participatives.
3.3. Modèles scientifique, institutionnel et professionnel
Enfin, dans le développement de la pratique évaluative, une tension a émergé entre les
modèles scientifique, institutionnel et professionnel. Dans la première approche,
l’évaluation des politiques publiques est définie comme une science au carrefour des
sciences sociales qui mesure les effets économiques et sociaux de l’intervention publique.
Dans la deuxième approche, l’évaluation est présentée comme un ensemble de dispositifs et
1
Les deux paradigmes ont un statut d’idéal-types car souvent l’évaluation d’une politique publique se
construira en combinant ces deux perspectives.
7/28
de règles procédurales qui imposent l’utilisation de la connaissance sociale dans la gestion
publique.
Tandis que dans la troisième approche, l’évaluation est une pratique professionnelle
regroupant un corps d’ « évaluateurs » spécialisés, organisés autour de codes et valeurs
déontologiques.
8/28
IV. LES COMPOSANTS D’UNE ÉVALUATION
Toute évaluation de politique publique peut être étudiée au travers de 4 composants : son
objet (« quoi ? »), ses acteurs (« par qui ? » et « pour qui ? »), sa finalité (« pourquoi ? ») et
sa/ses méthodes (« comment ? »). Ces 4 composants constituent les piliers de la
construction d’une évaluation de politique publique.
4.1. L’OBJET
Les objets d’évaluation peuvent être très divers et variés, tant par leur nature2 (mesure ou
dispositif réglementaire, projet, programme, activité d’organismes publics, actions, …) que
par leurs domaines ou encore par leur ressort géographique. Il s’agit pour l’évaluateur de
faire un choix quant au champ de l’évaluation : champs géographique, temporel,
institutionnel,… Parfois, ce choix peut être fait par le commanditaire directement mais
souvent l’évaluateur devra le préciser.
L’évaluation prend place dans un schéma circulaire : il faut évaluer une politique pour bien la
connaître mais il faut aussi bien la connaître pour l’évaluer. Il faut débuter la construction du
projet d’évaluation par l’identification précise de l’objet mais aussi, plus précisément,
l’identification des objectifs de la politique publique en question. On distingue deux types
d’objectifs : les objectifs officiels et les objectifs réels.
Les objectifs officiels sont souvent clairement indiqués, par exemple dans l’exposé des
motifs d’une loi. Ceux-ci fournissent a priori un référentiel légitime auquel pourront être
comparés les résultats (cf. définition minimale de l’évaluation). Mais ils ne suffisent pas, il
faudra les retravailler :
Dans les faits, ces objectifs sont souvent formulés de manière trop peu précise
et cohérente que pour pouvoir être confrontés aux résultats observables.
Ils relèvent souvent de niveaux différents : objectifs finaux et intermédiaires
peuvent être confondus, objectifs stratégiques et opérationnels, objectifs
centraux et secondaires.
Ils peuvent être contradictoires, en tensions.
2
Par souci de simplification, nous entendrons par « évaluation de politique publique » l’évaluation de toute
action publique au sens large, peu importe la nature qu’elle pourrait revêtir.
9/28
Ils peuvent avoir évolué – l’évaluation doit s’intéresser aux objectifs qui
apparaissent légitimes au commanditaire, peut porter un regard nouveau sur
ces objectifs
Par ailleurs ils sont souvent incomplets car certains objectifs sont implicites,
voire cachés.
La construction d’un projet d’évaluation implique de ne pas se contenter des objectifs
officiels mais d’identifier les objectifs réels de la politique évaluée.
Sur base d’une relecture des objectifs officiels et de l’identification des objectifs réels,
l’évaluateur va pouvoir élaborer le référentiel (cf. schéma supra) et ainsi opérationnaliser
les objectifs, c’est-à-dire les traduire en critères de résultats.
Nb. : Il existe des procédures d’évaluation dite « affranchie des objectifs » ou « en aveugle »
qui évitent cette étape. Il s’agit cependant pas vraiment d’une méthode alternative mais
plutôt d’une variante à laquelle on recourt lorsque le parcours classique se révèle trop difficile
à suivre, soit parce que la politique englobe de trop grandes zones d’indétermination ou
parce qu’elle produit principalement des effets non voulus initialement.
La détermination précise de l’objet et des objectifs de la politique évaluée permet plus
largement la mise en lumière de la « théorie » de la politique à évaluer. Toute politique se
construit sur une logique propre : une problématique est identifiée, des connaissances plus
ou moins exactes et complètes de la réalité sont prises en considération, on pose des
hypothèses sur les causes du problème et sur les réponses à y apporter de manière directe
ou indirecte. On élabore alors l’intervention politique sous forme d’une chaîne de dispositifs
reliant différents niveaux d’objectifs et de résultats. Le modèle de causalité de la politique
doit guider l’élaboration du questionnement et la collecte des données de l’évaluation.
4.2. LES ACTEURS
Beaucoup d’acteurs peuvent intervenir directement ou non dans l’évaluation : responsables
politiques, exécutants, partenaires, bénéficiaires,… Trois catégories d’acteurs interviennent
dans tous les cas de figure : un commanditaire qui commande l’évaluation, un évaluateur qui
la réalise et un évalué qui « subit » l’évaluation. Selon les montages évaluatifs prévus, les
zones d’autonomie et de coopération entre ces acteurs varient.
Cette répartition des rôles est cruciale : in concreto, cela sera déterminant dans le processus
évaluatif. Dans ce cadre, les tensions existantes entre les dimensions politique et scientifique
10/28
de l’évaluation vont devoir être abordées : il s’agit de concilier les contraintes de l’action
publique et les exigences d’une démarche rigoureuse.
4.2.1. L’évaluation peut être interne ou externe :
L’évaluation interne, ou auto-évaluation, est réalisée au sein même d’un service public, par
ses propres agents. L’évaluation externe est confiée à un organisme extérieur : consultants,
bureau d’étude, service universitaire, etc.
L’évaluation interne a pour avantages une connaissance approfondie de la politique et de sa
mise en œuvre, un accès facilité à l’information, ainsi que l’implication effective des
principaux intéressés et donc souvent plus de chances que les résultats soient utilisés sur le
terrain.
L’évaluation externe présente d’autres avantages, en termes d’objectivité, d’indépendance
et de regard critique. Ces atouts peuvent offrir une plus grande crédibilité aux résultats de
l’évaluation.
Dans les faits, les dispositifs évaluatifs s’organisent souvent sur base d’une combinaison des
deux aspects.
11/28
4.2.2. Une évaluation peut être ascendante ou descendante :
Une évaluation ascendante est commandée d’ « en haut », c’est-à-dire imposée par la loi,
fruit de l’initiative d’un niveau hiérarchique supérieur, ou encore demandée par un ministre,
souvent pour réaliser des économies budgétaire ou réformer une politique inefficace, …
Une évaluation descendante est demandée par ceux qui mettent en œuvre la politique
(évalués et commanditaires se confondent alors !) souvent pour en améliorer le
fonctionnement ou la qualité.
4.2.3. L’évaluateur peut être un acteur individuel (personnifié)
ou collectif :
Dans les deux cas, lorsqu’on désigne l’évaluateur, il convient d’opter pour des modalités qui
permettent de prendre en compte les principes fondamentaux de l’évaluation : le respect de
la pluralité des intérêts entre responsables politiques, exécutants et bénéficiaires ou
partenaires ; la conciliation des aspects scientifiques et politiques ; le respect de
l’impartialité (l’instance d’évaluation doit être une structure de travail, pas de négociation) ;
et la transparence qui impose que l’instance responsable de l’évaluation soit clairement
identifiée.
L’évaluateur collectif prend le plus souvent la forme d’un comité de pilotage. Il s’agit d’une
instance d’évaluation qui regroupera de manière équilibrée les différents acteurs, de
manière à composer avec les logiques de management public, de démocratie et de débat
scientifique. Le principe de pluralisme est ici rencontré par l’association de ces différents
acteurs. L’avantage majeur de cette formule réside dans une chance accrue de voir les
résultats de l’évaluation utilisés : on accroît la légitimité de l’évaluation auprès d’un large
panel d’acteurs et on en facilite du même coup l’appropriation collective.
Quelles sont les missions que peut remplir un comité de pilotage ?
1/ Piloter les travaux d’évaluation : mener à terme l’élaboration du projet d’évaluation, se
mettre d’accord sur le questionnement évaluatif, passer commande auprès de chargés
d’évaluation et suivre les travaux ;
12/28
2/ Intégrer les matériaux de l’évaluation : réceptionner les travaux, valider les résultats,
éventuellement interpréter ces résultats au regard d’autres informations détenues, formuler
des conclusions générales et des propositions, rédiger le rapport final, établir une stratégie
de communication.
3/ Vu sa composition mixte, le comité de pilotage peut également être une instance de
médiation et d’arbitrage entre des intérêts pouvant être contradictoires, tout en restant
une structure de travail (l’aspect arbitrage ne doit pas prendre le dessus).
Notons qu’un comité de pilotage ne doit pas nécessairement remplir toutes ces missions. Il
peut également être un simple discutant qui ne rédige pas les conclusions, il peut ne pas
être collégial mais se limiter à réunir des commanditaires, il peut constituer l’organe
technique d’un comité de suivi plus politique.
La collégialité de l’évaluateur permet de construire des dispositifs évaluatifs participatifs.
Mais certaines conditions doivent être remplies pour pouvoir mettre sur pied une évaluation
participative :
I. Nombre de parties prenantes limité
II. Consensus relatif sur les objectifs à atteindre
III. Acceptation de l’égalité des parties prenantes comme règle du jeu
Dans tous les cas, les évaluations participatives conviennent mal pour des évaluations à
destination de l’autorité politique ayant pour objectif de préparer des décisions pouvant
affecter les porteurs d’enjeux.
4.3. FINALITES
Dans quel but procède-t-on à l’évaluation d’une politique publique ? Quelle est la finalité de
cette évaluation, autrement dit pourquoi évalue-t-on cette politique, quels sont les objectifs
du commanditaire ?
Il est important d’avoir la finalité de l’évaluation en tête pour construire un dispositif
d’évaluation cohérent, notamment en ce qui concerne le choix du questionnement.
Plusieurs finalités peuvent être assignées à une évaluation :
Eviter l’institutionnalisation d’initiatives défaillantes, voire éviter le maintien de lois
inadéquates au regard des effets induits par leurs mises en œuvre (effets pervers) ;
13/28
aider les services et/ou les partenaires à améliorer leur efficacité (organisation,
affectation des ressources, …) ;
mieux prendre en compte les attentes et intérêt de la population ;
améliorer l’adéquation de la politique à son contexte ;
quantifier les résultats (effectifs ou supposés) d’une politique ;
améliorer l’allocation des ressources, réaliser des économies budgétaires ;
augmenter le sentiment de responsabilité des acteurs (cf. notion anglosaxonne
d’ « accountability »).
Nb. : Ces objectifs peuvent être contradictoires – ex. : réaliser des économies budgétaires et
mieux prendre en compte les attentes de la population.
4.4. MÉTHODES
Lorsqu’on parle de méthode d’évaluation de politiques publiques, on englobe deux niveaux :
l’évaluation de politiques publiques est à la fois une démarche et une technique. Autrement
dit : dans le cadre d’une démarche à caractère institutionnel et à visée opérationnelle, on va
avoir recours à des techniques de recherche évaluative.
Lorsqu’on parle de méthode, il convient donc de distinguer deux aspects :
1/ La méthode « processus » concerne les principes méthodologiques et déontologiques
applicables à la conception du projet d’évaluation, à l’organisation de cette évaluation, à sa
conduite et à sa valorisation ; ou plus largement il s’agit de la codification du déroulement de
l’évaluation, ce qui inclut la mise sur pied du comité de pilotage, l’élaboration du référentiel
et du questionnement évaluatif, le choix des méthodes, la planification et le suivi du
programme de la recherche évaluative et la rédaction du rapport.
2/ La méthode « outils » cible pour sa part les techniques de collecte, de traitement et
d’interprétation de l’information, ainsi que les différents apports, corpus scientifiques
mobilisables. On abordera cet aspect plus tard, dans la partie consacrée aux techniques.
La méthode « processus » met en lumière l’importance de la planification du déroulement
d’une évaluation, celle-ci étant résolument une démarche progressive et rigoureuse.
14/28
Le schéma ci-dessous identifie les différentes étapes qui jalonnent une
évaluation.
4.4.1. Un passage obligé : l’élaboration des questions
Il convient avant toute chose d’identifier les objectifs et de les traduire en questions via un
référentiel (cf. supra).
L’évaluation est basée sur la priorité des questions par rapport aux réponses. Evaluer, c’est
questionner. Cette étape est donc essentielle.
De plus, ce processus progressif permet de construire, pas à pas, une connaissance partagée
et de s’approprier des références communes. S’accorder sur les questions constitue une
étape liminaire primordiale.
• 4.4.1.1. Angles de questionnement
Plusieurs angles de vue peuvent être adoptés pour questionner une politique publique, et
ces angles peuvent éventuellement être combinés. Leurs choix dépendent de la finalité de
l’évaluation et des attentes du commanditaire. Il convient également d’anticiper les
conséquences possibles pour tous les groupes concernés pour prévenir d’éventuelles
15/28
difficultés car l’attitude des acteurs vis-à-vis de l’évaluation sera différente selon l’issue qu’ils
envisagent.
Les différents angles de questionnement d’une politique sont :
L’évaluation de la PERTINENCE d’une politique :
Test ou remise en question du modèle de causalité d’une politique. L’évaluateur interroge
les objectifs et la théorie d’action de la politique afin de déterminer si cette logique interne
est pertinente face au problème à résoudre.
La question de la pertinence d’une politique publique constitue l’interrogation la plus
politique. Elle peut être source de tensions entre acteurs et on peut à cet égard choisir de
ne pas la poser.
L’évaluation de la COHERENCE :
La logique interne, à savoir le système formé par les objectifs, les dispositions
règlementaires et organisationnelles, les moyens humains et financiers, est-elle cohérente ?
Cette question est étroitement liée à la question de la pertinence.
L’évaluation de l’EFFICACITE :
Comparaison des « effets propres » d’une politique à ses objectifs. Il s’agit de déterminer si
les objectifs ont été atteints par la politique.
Par « effets propres », on cible les effets dus à la politique elle-même, qui doivent être isolés
de l’influence du contexte et des facteurs exogènes. Les effets propres se schématisent in
abstracto comme la différence entre la situation actuelle et la situation conditionnelle en
l’absence de la politique évaluée. (cf. infra)
Evaluation de l’EFFICIENCE :
Approche mettant l’accent sur les moyens utilisés au regard des résultats obtenus. On
compare les résultats de la politique aux coûts engendrés par celle-ci (cf. infra - analyse
coûts-avantages). Il s’agit en fait d’un examen de productivité.
Attention : Il faut distinguer deux niveaux de résultats : les résultats et les
réalisations (en anglais : outcomes vs. outputs) : la réalisation est ce qui est produit
par l’action publique (par exemple, un texte de loi ou l’attribution d’un budget), le
résultat en est l’effet direct in concreto sur la société (par exemple, la création de
nouvelles entreprises ou les changements de comportement des consommateurs).
16/28
Evaluation de l’IMPACT SYSTEMIQUE :
Appréhension encore plus large des résultats par la prise en compte des effets collatéraux,
ou « pervers », et des modifications systémiques plus larges (ex. : politique de
développement économique par rapport à environnement).
Sur base du ou des angles de vue choisis, l’étape suivante consiste en l’élaboration d’une
liste exhaustive de questions (plusieurs dizaines généralement), classées logiquement et
hiérarchiquement. Ce questionnement sera le lien entre le référentiel établi à la lumière des
objectifs et les réponses qui y seront apportées grâce aux méthodes des sciences sociales.
Ces questions doivent être assez précises pour que l’on puisse y répondre grâce à des
techniques de recherche évaluative : elles doivent autant que possible traduire des
hypothèses scientifiquement réfutables et cibler des faits vérifiables, des processus
observables, des grandeurs mesurables.
• 4.4.1.2. Objets du questionnement
Les questions peuvent éclairer différents moments ou aspects de la politique :
- Mise en œuvre : y a-t-il des divergences entre sa mise en œuvre concrète et les
normes formelles ? Entre les intentions officielles et les stratégies des acteurs de terrain ?
Les questions concernant l’application d’une politique s’apparente à un contrôle de
régularité, mais nous nous situons ici dans une perspective d’évaluation, pas de sanction ou
de contrôle : si une mise en œuvre défectueuse est mise en avant, cela revient plutôt à
mettre en cause la pertinence et/ou la cohérence de la politique que la compétence des
agents. Ce type de questions est principalement intéressant quand l’évaluation est
concomitante au pilotage d’une nouvelle politique.
- Atteinte des objectifs et indicateurs de résultats : il s’agit de l’évaluation au
sens le plus commun du terme.
Mais établir que les objectifs sont atteints n’équivaut pas à juger de l’efficacité réelle d’une
politique. Cela en reste cependant une étape, il faut passer par le rassemblement
d’indicateurs de résultats.
Il existe plusieurs niveaux de résultats. Toute politique peut être vue comme une chaîne de
moyens et d’effets attendus et pour chaque maillon de la politique, les résultats peuvent
17/28
être mesurés via des indicateurs. Ceux-ci doivent être aussi fiables que possibles,
représentatifs de la réalité décrite et permettant des comparaisons.
- Mesure des effets propres d’une politique : mesure de l’efficacité réelle de la
politique. Quels sont les modifications de l’état de la société qui sont directement imputables
à la politique ?
Il s’agit de prouver et de quantifier le lien de causalité entre une politique et des
modifications constatées dans l’état de la société. Pour cela, on compare avec la situation
conditionnelle où la politique n’aurait pas été mise en œuvre (cf. infra et supra – mesures
des effets propres).
- Mécanismes d’action : analyse de la « boîte noire » qui existe entre les inputs et les
outputs d’une politique. L’interrogation cible la manière dont la politique modifie le système
et notamment les comportements. On analyse les effets micro-économiques et microsociaux. Il s’agit en fait d’acquérir une connaissance qualitative de l’efficacité pour pouvoir
procéder à des améliorations.
- Interactions entre la politique et son contexte : on questionne la pertinence de
la politique et de ses objectifs en fonction du contexte dans lequel elle se déploie et des
dynamiques sociales avec lesquelles elle entre en interactions, notamment en fonction du
contexte territorial mais également au regard d’éventuelles évolutions du contexte au cours
du temps.
OBJETS ET CRITERES D'EVALUATION
Pertinence (1)
Problème social à résoudre
Définition politique du problème public (DP)
Programme politico-administratif (PPA) et
Arrangement politico-administratif (APA)
Objectifs,
éléments évaluatifs
Eléments opérationnels Eléments procéduraux Ressources
Elaboration des plans d’action (PA)
Actes de mise en œuvre (OUTPUTS):
produits administratifs
Effectivité (2)
Efficacité (3)
Efficience
productive (5)
OUTCOMES auprès des groupes-cibles
(hypothèse d’intervention)
IMPACTS auprès des bénéficiaires finaux
(hypothèse causale)
Source: Knoepfel et al. 2001 : 272 ; publié dans Knoepfel et Varone 1999
Efficience
allocative (4)
9
18/28
• 4.4.1.3. Bases du questionnement
En plus d’un angle de vue, le questionnement évaluatif doit être pensé par rapport à :
1/ Un diagnostic provisoire : L’instance d’évaluation doit établir un diagnostic provisoire,
sur base des jugements a priori des différents acteurs quant aux réussites, échecs,
dysfonctionnements ou modifications contextuelles de la politique évaluée. Ces
informations constituent des indications utiles à prendre en compte. L’évaluateur va pouvoir
s’appuyer sur cette base pour la formulation d’hypothèses à tester, comme dans tout travail
de recherche.
2/ Un bilan informationnel : L’évaluateur devra débuter son travail en recensant les
informations disponibles. Il est en effet plus économe de commencer par mobiliser les
informations accessibles avant de se lancer dans de nouvelles études et recherches.
Exemples d’informations mobilisables : données quantitatives disponibles au sein de
l’administration, documents administratifs, bilans comptables, évaluations précédentes
(quoique rarement adaptées pour compilation), etc.
Au-delà de ces informations disponibles, pour répondre à ce questionnement évaluatif, il
faut recourir aux différentes méthodes de recherche en sciences sociales. Ces méthodes
n’étant pas spécifiques à l’évaluation des politiques publiques, la partie suivante « Méthodes
et techniques » se limitera à énumérer les techniques en insistant seulement sur quelques
méthodes particulières.
19/28
V. MÉTHODES ET TECHNIQUES
Toutes les méthodes de recherche utilisées en sciences sociales sont mobilisables dans le
cadre de l’évaluation d’une politique publique. Et même plus : puisque l’évaluation se situe à
l’interface entre les champs scientifique et politique, les éléments constituant l’évaluation
s’articulent davantage en termes d’« arguments raisonnablement défendables » plutôt
qu’en certitudes rigoureuses propres aux sciences exactes. On va donc pouvoir prendre en
considération des savoirs relevant de différents niveaux de validité (qu’on hiérarchisera bien
sûr dans le traitement des informations en fonction de leur niveau, tout comme cela peut
être le cas (par analogie) lors d’un procès où les preuves relèvent de différents statuts). Mais
l’évaluation n’exclut a priori aucun élément d’information.
Néanmoins, bien que toutes les techniques puissent être utilisés, certaines le sont plus
fréquemment que d’autres, à savoir : l’analyse documentaire, l’exploitation de données
statistiques, les enquêtes et les entretiens ad hoc, la synthèse d’études préexistantes3.
Les différentes méthodes de recherche doivent être articulées à différents moments de
l’évaluation :
5.1. Techniques de collecte d’informations :
Les techniques doivent être sélectionnées en fonction des questions. Il s’agit le plus
souvent d’entretiens, d’observations, de focus group, éventuellement d’approches
longitudinales, voir aussi du recueil d’avis d’experts pour éclairer l’évaluateur.
5.2. Techniques de présentation des données :
Principalement recours aux statistiques descriptives ou à l’analyse de données (statistiques
factorielles, classificatoires).
5.3. Méthodes d’établissement des liens de causalité :
La relation causale et son analyse constitue le cœur de l’évaluation, mais c’est aussi
l’élément le plus difficile à prouver. Se pose dès lors la question de l’expérimentation et des
dispositifs expérimentaux ou quasi-expérimentaux.
3
Par souci de concision, ces différentes techniques ne seront pas approfondies lors de cette journée thématique.
20/28
5.3.1. Méthodes expérimentales et quasi-expérimentales
La méthode expérimentale est directement inspirée des sciences exactes : on recourt à un
protocole d’expérimentation pour déterminer exactement les résultats d’une politique, en
comparant la situation existante à la situation, toutes choses étant égales par ailleurs, où la
politique n’aurait pas été mise en œuvre. C’est typiquement la méthode de test des
nouveaux médicaments.
On identifie alors deux groupes statistiquement équivalents, sélectionnés aléatoirement,
tous deux cibles du programme mais dont seul l’un des deux sera effectivement soumis au
traitement.
Cette méthode convient particulièrement à l’évaluation de programmes élémentaires
(séquence clairement identifiée d’objectifs, de dispositifs d’action, d’outputs et d’outcomes).
Elle peut être utilisée pour mettre en évidence des relations de causalité de type
déterministe ou probabiliste.
Cette méthode est principalement pratiquée aux USA. Ex. : sensibilisation MST,
sensibilisation tabac, suivi à la sortie de prison, …
Elle présente plusieurs limites :
Tout d’abord, elle ne peut concerner que des mesures ciblées et ne peut s’appliquer
à des mesures concernant l’ensemble d’une population.
Très souvent, les bénéficiaires ne peuvent être sélectionnés aléatoirement.
L’évaluateur doit donc concilier ses résultats avec les biais d’auto-sélection existant
entre les deux groupes.
On dénote des « effets de contexte », la participation à l’étude agissant positivement
sur le comportement des personnes testées.
Problèmes de coûts et de délais.
Méthode éthiquement discutable vis-à-vis de la sélection aléatoire de bénéficiaires
d’une action publique. On peut pallier ce problème via des mesures alternatives, des
comparaisons territoriales ou des attributions séquentielles (comme dans le cas de
projets-pilotes par exemple).
Les difficultés de mise en œuvre d’un véritable dispositif expérimental amènent souvent les
évaluateurs à préférer une méthode dite « quasi-expérimentale », en sélectionnant deux
21/28
échantillons comparables parmi une population nombreuse comprenant des participants et
des non-participants. Il ne s’agit donc pas d’une expérimentation puisque le tirage aléatoire
ne décide pas du traitement mais simplement de l’insertion dans le dispositif évaluatif. On
compare donc des groupes non-équivalents mais en affinant autant que possible les critères
de sélection pour rendre les deux populations aussi comparables que possibles.
Ex. : chômeurs ayant suivi un accompagnement particulier.
Les dispositifs expérimentaux peuvent être liés à des techniques de modélisation
mathématique lors du traitement des résultats.
5.3.2. Méthodes qualitatives
Comme nous l’avons vu plus haut, l’analyse de la relation de causalité peut également être
basée sur l’analyse de l’intérieur de la « boîte noire » d’une politique, c’est-à-dire sur
l’analyse des mécanismes en jeu et des changements induits (notamment de
comportements). L’évaluateur recourra dans ce cas à des méthodes qualitatives.
Il est également possible de procéder à des études de cas (c’est-à-dire en l’absence de
groupe comparatif), par exemple sur base d’une analyse avant/après, ou d’une étude
longitudinale.
Des méthodes qualitatives d’évaluation de l’impact existent également : on procède alors à
des analyses comparatives à partir d’un petit échantillon de bénéficiaires et de nonbénéficiaires, la compréhension approfondie de chaque situation compensant le fait que les
groupes ne sont pas représentatifs.
5.4. Techniques de jugement :
On entend par « techniques de jugement » des techniques analytiques qui peuvent être
utilisées pour porter une appréciation synthétique concernant un programme. Les plus
utilisées sont les analyse coûts-efficacité et coûts-avantages et l’analyse multicritère.
L’analyse coût-efficacité et l’analyse coûts-avantages sont des mesures d’économie
publique, qui consistent comme on le devine intuitivement en la mise en balance des coûts
et des avantages (mesure de l’efficience), la seconde se distinguant de la première par le fait
qu’elle n’est pas monétarisée.
22/28
En préalable, ces deux analyses nécessitent donc de pouvoir mesurer le coût réel d’un
programme et de mesurer son impact. Ces mesures constituent des étapes préalables
indispensables.
L’analyse multicritère, comme son nom l’indique, fournit une méthode de jugement
synthétique basée sur la prise en compte de plusieurs critères d’évaluation hétérogènes
(impacts éco, sociaux, environnementaux, institutionnels…), quantitatifs ou qualitatifs, que
l’on note et que l’on pondère afin de produire un indice synthétique d’évaluation d’un
programme. Ce type de technique de jugement est surtout utile pour hiérarchiser ou classer
différentes mesures.
Dans tous les cas, ces techniques de jugement sont des aides à la réflexion et le jugement
évaluatif revient en tout état de cause à l’instance d’évaluation.
23/28
VI. IMPACT
Une fois l’évaluation terminée, il convient de s’intéresser à la manière dont celle-ci va être
utilisée car c’est un élément de définition de l’évaluation des politiques publiques (cf.
supra) : il s’agit d’une démarche orientée vers une finalité.
6.1. Format des résultats
Il est important que les résultats de l’évaluation prennent la forme d’un écrit : les principes
de transparence et d’impartialité inhérents à l’évaluation mais aussi le souci de la pérennité
des enseignements et de la mémoire de l’évaluation l’exigent. Le rapport doit reprendre
clairement les différents composants de l’évaluation.
Dans son aspect normatif, il s’agit d’articuler rigoureusement les jugements de valeur, ceuxci devant être liés à des raisonnements explicites et appuyés sur des faits vérifiables. Il doit
également préciser les limites de l’évaluation et les conséquences des choix
méthodologiques. Il doit également formuler des recommandations.
6.2. Diffusion du rapport
Pour la diffusion de ce rapport, les modalités peuvent être nombreuses : réunions avec le
commanditaire, conférences, actions de formation du public concerné, articles de presse,
publications… Il convient dans tous les cas d’adapter le contenu et la forme du rapport au
public cible, l’idéal étant de ménager plusieurs portes d’entrées et de permettre plusieurs
niveaux d’appropriation. On soulignera également l’importance de réaliser un résumé riche
et lisible.
6.3. Mesure de l’impact d’une évaluation
En ce qui concerne l’impact des évaluations de politiques publiques, il est difficile de
mesurer précisément quels impacts a l’évaluation d’une politique publique concrètement,
par exemple en termes de modifications des cadres légaux, d’amélioration de la mise en
œuvre, de modifications budgétaires ou organisationnels, …
Tout d’abord parce que l’impact d’une évaluation diffère selon le moment où celle-ci a été
réalisée, une évaluation peut avoir lieu ex ante, ex post ou concomitamment à la mise en
24/28
œuvre de la politique. Dans le premier cas, l’évaluation est opérée lors de la conception de
la politique, de manière prospective, pour permettre d’éventuelles réorientations en
fonction des résultats de l’évaluation. Cette modalité permet donc une utilisation plus facile
des résultats. L’évaluation ex post intervient par contre après la mise en œuvre de la
politique. Les résultats issus de l’évaluation seront donc plus difficiles à implémenter.
Notons que plusieurs évaluations dans des temporalités différentes sont possibles pour une
même politique. Par ailleurs, le dispositif évaluatif le plus fréquent, à savoir l’évaluation
après quelques années d’une politique toujours en cours, réduit à néant cette classification
basée sur le moment de l’évaluation.
De manière générale, si les impacts directs sont difficiles à mesurer, il semble cependant que
les effets majeurs de l’évaluation soient principalement diffus, lents et indirects. L’évaluation
des politiques publiques agit avant tout comme un processus d’apprentissage
organisationnel, un travail d’ajustement de l’intervention politique qui implique un grand
nombre d’acteurs concernés. L’évaluation est souvent alors présentée en lien avec le
concept de gouvernance : face à la complexité sociale (demandes sociales en expansion,
éclatement du pouvoir, agencisation, …) et à l’imprévisibilité de l’action publique (fin du
paradigme balistique basé sur la relation simple entre une mesure et un effet unique),
l’évaluation apparaît comme un moyen opportun pour réduire les incertitudes liée à la mise
en œuvre et aux résultats d’une politique, tout en répondant à des exigences de légitimité
auprès des citoyens.
Ces aspects, couplés avec les pratiques internationales (notamment européennes) et le
déclin progressif des légitimités historiques liées à la démocratie consociative ayant cours en
Belgique (système de « liberté subsidiée » basé sur l’autonomie des « piliers » et le partage
du pouvoir social), laissent penser que nous allons de plus en plus souvent recourir à
l’évaluation de politiques publiques en Communauté française. Dans cette perspective, cette
présentation méthodologique condensée permet d’avoir en tête ces quelques éléments
méthodologiques permet de cadrer et de planifier facilement tout type d’évaluation de
politiques publiques.
25/28
QUOI ?
Mettre en lumière le modèle de
causalité propre à la politique.
Définir la ou les finalités de
l’évaluation sur base de la
demande institutionnelle :
Aide à la décision ?
Management ?
Apprentissage ?
Adaptation au contexte ?
Eviter l’institutionnalisation
d’effets pervers ?
Prise en compte de l’avis des
usagers ?
Responsabilisation des
décideurs ?
Placer la ou les finalités
identifiées comme ligne(s)
directrice(s) de l’évaluation,
pour construire le dispositif
évaluatif.
Eventuellement identifier des
finalités secondaires, indirectes
ou à échéance intermédiaire.
Identifier clairement qui sont les
commanditaires, les évaluateurs
et les évalués, et comment ceuxci interagissent.
Déterminer si on a recours à une
évaluation interne ou externe ?
ou mixte ?
Veiller à la conciliation des
tendances politiques et
scientifiques.
Déterminer si on a recours à un
évaluateur individuel ou
collectif ? Veiller dans les deux
cas au respect du principe de
pluralisme, de transparence et
d’impartialité.
Méthode « PROCESSUS »
Définir, sur du diagnostic
provisoire et du bilan
informationnel, l’angle de
questionnement de la politique :
efficacité, efficience, pertinence,
cohérence, impact systémique ?
Elaborer la liste de questions
précises et hiérarchisées. Cellesci peuvent concerner la mise en
œuvre de la politique, l’atteinte
des objectifs, la mesure des
effets propres, les mécanismes
d’action ou les interactions entre
la politique et son contexte.
Méthode « OUTILS »
Déterminer les techniques
évaluatives adéquates pour la
collecte des données, pour la
présentation des données, pour
l’établissement des liens de
causalité et pour le
jugement/appréciation.
Déterminer qui sera chargé de la
réalisation des travaux
d’évaluation.
COMMENT ?
QUI ?
Définir l’objet avec précision
(champ géographique, limites
temporelles, niveaux d’analyse,
nature de l’action publique).
Identifier les objectifs de la
politique :
Objectifs explicites à
préciser, à compléter, à
hiérarchiser et à contextualiser.
+ objectifs implicites,
objectifs cachés, objectifs
contradictoires.
POURQUOI ?
VII. TABLEAU SYNTHETIQUE – OUTIL POUR LA
CONSTRUCTION D’UN DISPOSITIF EVALUATIF
26/28
VIII. REFERENCES BIBLIOGRAPHIQUES
Ouvrages de référence - sphère francophone :
Perret, Bernard. 2008. L’évaluation des politiques publiques. 2ème éd. Paris: La Découverte.
Ouvrages de référence – sphère anglophone :
Ridde, V., et C. Dagenais (dir.) (2009). Approches et pratiques en évaluation de programme.
Montréal, Presses de l'Université de Montréal.
Rossi, Peter Henry, Mark W. Lipsey, et Howard E. Freeman. 2004. Evaluation: a systematic
approach. SAGE.
Une approche belge :
Jacob, Steve et Varone, Frédéric (2003). Evaluer l’action publique : état des lieux et
perspectives en Belgique. Academia Press : Gent, Série Modernisation de
l’administration, 243 p.
Lefebvre, Luc et al. (2004). Etat des lieux de la pratique évaluative en Communauté
française. Rapport final au Service d’appui des cabinets ministériels de la
Communauté française de Belgique, ADE : Louvain-la-Neuve.
Approche sectorielle : politiques sociales, culturelles et familiales :
de Coorebyter, Vincent. 2002. « Note de synthèse sur l’évaluation des politiques publiques ».
CRISP: 1-18.
Minonzio, Jérôme. 2008. « L’évaluation des politiques familiales: discours sur la méthode ou
mot d’ordre gestionnaire? » Informations sociales 150(6): 10-21.
Guides pour évaluateurs :
Quelques exemples parmi d’autres de manuels à destination des évaluateurs ou des
commanditaires d’évaluation. Certains datent, mais sont toujours utilisés comme références.
http://www.unesco.org/csi/pub/info/seacam5.htm
http://www.evaluation.gouv.fr/cgp/fr/interministere/doc/petit_guide_cse.pdf
http://f3e.asso.fr/IMG/pdf/guideEvaluation.pdf
OCDE. 2002. « Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur
les résultats ».
27/28
Exemples d’évaluation des politiques publiques :
Différentes approches de l’évaluation de l’intervention publique. 2009. Cahiers de
l’évaluation (3): 8-20. Disponible l’adresse :
http://www.strategie.gouv.fr/article.php3?id_article=922
Sites internet de référence :
Euréval – Centre européen d’Expertise et d’Evaluation : http://www.eureval.fr/-Nospublications-.html
PerfEval : http://www.pol.ulaval.ca/Perfeval/cms/index.php?menu=8&temps=1305017206
Le portail francophone de l’évaluation :
http://evaluation.francophonie.org/spip.php?rubrique12
Revues consacrées à l’évaluation des politiques publiques :
Evaluation – the international journal of theory, research and practice (SAGE Journals)
28/28

« L`évaluation des politiques publiques »

Transcription

Documents pareils

des mondes virtuels

L`accueil de la petite enfance : une perspective internationale

Astuce eFRAN

lire l`article

Une plate-forme qui joue la diversification

Français - Classes de 5èmes – Suggestions de

cours specifiques - Ligue Handisport Francophone