Le pilotage et l`évaluation des politiques publiques Définition du

Transcription

Le pilotage et l’évaluation
des politiques publiques
Université d’automne des acteurs politiques
suisses
Prof. Katia Horber-Papazian
Chaire de politique locale et d’évaluation
Définition du pilotage de l’action
publique
Piloter c’est:
S’informer
Analyser les données
Décider
Suivre la mise en œuvre des décisions
Évaluer leurs effets
Réajuster
| ©IDHEAP – [email protected] |
|05/11/2010 |
|2|
De quelles informations le politique a-t-il
besoin pour piloter son action?
|05/11/2010 |
|3|
La primauté de l’information
L’accès à l’information et la capacité à
l’interprétation sont les clés du pilotage.
|05/11/2010 |
|4|
Schéma à insérer
|05/11/2010 |
|5|
Les contrôles traditionnels du système
politico-administratif

Contrôles politiques

Contrôles administratifs

Contrôles de gestion

Contrôles financiers

Contrôles juridictionnels
|05/11/2010 |
| 6|
Limites des contrôles traditionnels
Contrôles

a posteriori

de régularité

de légalité

ponctuels

sporadiques

sans perspective globale

peu adaptés aux programmes conditionnels

peu centrés sur les effets des politiques sur la
population cible et la résolution des problèmes

permettent difficilement la prospective
|05/11/2010 |
| 7|
Pour renforcer les contrôles du
système politico-administratif
L’audit
Le controlling
Le monitoring
L’évaluation
|05/11/2010 |
|8|
Qu’est-ce qu’un audit ?
Audit :
Dérivé du concept américain « auditing », ce
terme englobe diverses formes de révision
interne et externe des modes de fonctionnement
de l’entreprise
Source : service de contrôle administratif du Conseil fédéral
|05/11/2010 |
| 9|
Audits financiers, administratifs,
informatiques (I)
questions centrales :
- la gestion assure-t-elle la régularité des
comptes, la légalité, et le meilleur rapport entre
coût et utilité ?
- comment est organisée la structure, quels sont
les processus d’action ?
- le système informatique correspond-il aux
besoins, est-il structuré de manière adéquate ?
objet principal : service/ département /
administration générale/ instances subventionnées
|05/11/2010 |
| 10 |
Audits financiers, administratifs,
informatiques (II)

moment de l’intervention : ex post

critères : régularité, légalité, efficience
opérationnelle

indicateurs : qualitatifs /quantitatifs

information fournie : constat sur la marche de
l’organisation

présentation de l’information : rapport

réalisation : interne et externe
|05/11/2010 |
| 11 |
Qu’est-ce qu’un controlling ?
Controlling :
Vient du terme anglais « to control », régler, diriger,
piloter. Le controlling est fondé sur des
comparaisons entre les résultats effectifs et les
prévisions.
Il concerne à la fois les résultats intermédiaires et
les résultats finaux.
Source : service de contrôle administratif du Conseil fédéral
|05/11/2010 |
| 12 |
Controlling
question centrale : est-on dans la cible ?
objet : adéquation entre objectifs et résultats
moment de l’intervention : en continu
critères d’analyse : pertinence et efficience
opérationnelle
indicateurs : quantitatifs
information fournie : données périodiques sur le
niveau d’atteinte des cibles et des principaux
écarts aux objectifs
présentation de l’information : tableau de bord
réalisation : interne
|05/11/2010 |
| 13 |
Monitoring

question centrale : comment évolue le champ
d’intervention ?

objet : input / output / impact

moment de l’intervention : en continu

information fournie : données statistiques

indicateurs : quantitatifs

présentation de l’information : tableaux
statistiques

réalisation : interne
|05/11/2010 |
| 14 |
Limites des audits, du controlling et du
monitoring

Manque de vision d’ensemble des audits
sectoriels

Audits transversaux

Photographie à un moment donné

Axé sur les résultats principalement financiers et
les objectifs fixés (pour le controlling)

Tous trois mettent en évidence les dysfonctions
sans pouvoir généralement en déterminer la
cause
|05/11/2010 |
| 15 |
Evaluation: vers une définition

Une évaluation est un jugement porté sur une donnée
par référence à une valeur (F.RANGEON)

La recherche évaluative est l'application systématique
des procédures de recherche sociale (P.H.ROSSI,
H.E.FREEMAN)

L'évaluation permet de collecter et d'analyser de façon
systématique de l'information pour les utilisateurs
spécifiques afin de réduire l'incertitude, d'améliorer
l'efficacité, l'efficience et l'aide à la décision
(M.Q.PATTON)
|05/11/2010 |
| 16 |
Quelques questions qui font débat en
évaluation (I)
Tout peut-il être évalué?
Quelle est la référence qui doit être choisie au
moment de l’évaluation?
Est-il possible d’observer la réalité sans distorsion?
Les décideurs ont-ils une place dans une démarche
évaluative?
Quel que soit l’objet, l’ensemble de la société civile
a-t-elle une place dans les démarches
participatives?
|05/11/2010 |
| 17 |
Quelques questions qui font débat en
évaluation (II)
Les liens de causalité entre une mesure et ses
effets peuvent-ils être démontrés?
Une évaluation dont les résultats ne sont pas
utilisés a-t-elle un sens?
Un évaluateur mandaté peut-il être indépendant?
|05/11/2010 |
| 18 |
Politique publique, une définition
Une politique publique est un enchaînement de
décisions issues d’acteurs publics et d’activités
de mise en œuvre d’acteurs publics et privés
visant à orienter le comportement d’une
population cible, de sorte à ce qu’un problème
que la société civile n’est pas à même de gérer
puisse être résolu par un effort collectif.
Adapté de : Knoepfel, P.; Larrue, C.; Varone F. (1999)
16.09.2010
| Diapositive 19 |
Les politiques publiques se déclinent en
programmes, projets
Un programme opérationnalise un ou plusieurs
objectifs politiques, qui fondent la politique
publique dont il découle. Il est délimité en termes
de calendrier et de budget.
Un projet opérationnalise un ou plusieurs objectifs
du programme. Il est délimité en termes de
calendrier et de budget.
Adapté de : Knoepfel, P.; Larrue, C.; Varone F. (1999)
16.09.2010
| Diapositive 20 |
L’évaluation dans le cycle d’une politique
publique
Mise à l’agenda
évaluation du besoin d’un
programme d’intervention
Effets de la politique
évaluation de l’outcome
(public cible atteint)
EVALUATION
évaluation de l’impact
(part du problème
résolu)
Programmation
évaluation de la
théorie d’action et
du design du
programme
Mise en œuvre
évaluation du processus de mise en oeuvre
et de l’output
|05/11/2010 |
| 21 |
Exemples d’objets d’évaluation
Ajustement
Reconnaissance du problème
et mise à l’agenda
(évaluation du besoin
d’intervention)
Programmation
(évaluation de la théorie
d’action et des inputs)
Processus de mise en œuvre
(évaluation du processus et
des outputs)
Effets de la mise en œuvre
(évaluation des outcomes et des
impacts)
• nature et distribution des besoins nécessitant une nouvelle
intervention
• identification de la population cible et de la population
concernée
• ressources nécessaires et existantes
• faisabilité, pertinence et acceptabilité d’une intervention
• adéquation objectif poursuivi – problème à résoudre
• adéquation hypothèse de causalité - problème à résoudre
• adéquation ressources - problème à résoudre
• adéquation programme d’intervention - problème à résoudre
• adéquation référentiel de la politique publique et
représentations des différents acteurs
• cohérence du programme d’intervention
• adéquation actions de mise en œuvre - problème à résoudre
• adéquation prestations - programme d’intervention
• efficacité opérationnelle (adéquation prestations- objectifs
opérationnels)
• efficience opérationnelle (rapport prestations- ressources)
• effectivité (atteinte de la population cible)
• modification du comportement de la population-cible
• efficacité politique (résolution du problème)
• efficience politique (rapport coût - résolution du problème)
• effets pervers/ effets non voulus positifs/ effets indirects
|05/11/2010 |
| 22 |
Références pour l’évaluation
état idéal
-
état réel
objectif normatif
-
état réel
modèle exemplaire
-
cas réel
Adapté de Owen/Rodgers,1999:173
|05/11/2010 |
| 23 |
Les critères de l'évaluation

Pertinence/cohérence/adéquation

Efficacité opérationnelle

Efficience opérationnelle

Effectivité

Efficacité politique

Efficience politique
|05/11/2010 |
| 24 |
L’évaluation de la Loi sur
les Centres d’action sociale
et de santé LCASS
|05/11/2010 |
| 25 |
Historique de l’évaluation de la Loi sur les
Centres d’action sociale et de santé à Genève
Clause d’évaluation prévue dans la loi sur les
centres d’action sociale et de santé (LCASS)
votée le 21 septembre 2001 par le Grand Conseil
genevois.
Difficulté de mise en œuvre de l’objectif central
de la Loi qui visait à renforcer la coordination
entre les acteurs du domaine de la santé et ceux
du social.
|05/11/2010 |
|26|
Historique (II)
En 2003, lancement du projet d’évaluation par le
Conseiller d’État en charge du dossier
Parallèlement recherche de solutions par le
Département en collaboration avec les différents
partenaires de la mise en œuvre de la Loi
Attribution d’un mandat d’évaluation à l’Unité
d’évaluation de l’IDHEAP
Discussion du design avec le Président du
Département
|05/11/2010 |
|27|
Description
Champ des activités à prendre en compte: un domaine
particulier (mise en œuvre de la loi sur les Centres
d’action sociales et de santé - LCASS) d’une politique
publique plus vaste (politique socio-sanitaire
cantonale).
Parties prenantes: bénéficiaires des prestations
sociales et sanitaires, principaux acteurs de la mise en
œuvre (DASS, DGCASS, CASS, HG, FSASD,
Communes) et autres acteurs concernés (HUG,
associations professionnelles du domaine sociosanitaire, syndicats).
Problème à résoudre: manque de coordination entre
les acteurs du domaine socio-sanitaire genevois.
|05/11/2010 |
|28|
Les questions d’évaluation
des CASS (I)
1) Quelle a été, depuis la dernière évaluation de La
LCASS, l'évolution des projets et actions menés
dans le cadre de la politique du développement
d'aide sociale et d'aide et de soins à domicile ?
2) Quels sont le rôle, la place et le mode de
coordination de chacune des autorités, instances
et structures dans la définition et la mise en
oeuvre de cette politique ?
3) La répartition des compétences et des structures
permet-elle d’atteindre les objectifs en termes de
complémentarité ?
|05/11/2010 |
|29|
Les questions d’évaluation des CASS
(II)
4) Les CASS ont-ils atteint les objectifs qui leur ont
été fixés par la loi et le programme de législature,
soit :
- assurer un service de proximité à la population;
- être des relais de la politique sociale et sanitaire;
- harmoniser et coordonner les prestations sociales
et sanitaires;
en plaçant l’individu au coeur du dispositif ?
5) Les outils d'information, de communication et de
suivi des projets permettent-ils de piloter les
actions et de les ajuster en cas de
dysfonctionnement ?
|05/11/2010 |
|30|
Méthodes de récolte d’informations
dans le cadre des CASS

Analyse juridique et de contenu des documents

Entretiens
- 45 entretiens semi-directifs
- 53 entretiens de groupes
- 360 personnes rencontrées

Participation à des réunions de travail

Démarche menée par une équipe pluridisciplinaire
|05/11/2010 |
|31|
Une des conclusion de l’évaluation de la
LCASS.
Manque d’information/
de communication
Manque de suivi
Mauvaise répartition
des compétences
Problème de coordination
Manque de volonté des
acteurs de mise en oeuvre
Manque d’adhésion
aux objectifs
Résultat: l’hypothèse de causalité de la politique
était mal posée
|05/11/2010 |
|32|
Principaux enseignements de l’évaluation
Ajustement suite à une évaluation
Mise à l’agenda
Théorie d’action
Définition du programme
politico-administratif
Input
Une distinction entre action sociale individuelle
et action sociale communautaire incomprise,
voire contestée
Un hypothèse causale mal posée
Une répartition des tâches inadéquate
Des structures de coordination en concurrence
Mise en oeuvre
Un système d’information à plusieurs vitesses; un
pilotage des actions inexistant
Output ou prestation
Des prestations jugées efficaces et efficientes par
le public cible
Outcome
Impact
Une absence de référence commune
Des objectifs non atteints
|05/11/2010 |
|33|
Valorisation de l’évaluation des CASS

Rapport du Conseil d’Etat au Grand Conseil reprenant
l’intégralité du rapport et des recommandations en 2004

Discussion du rapport en commission des affaires sociales en
2005

Rapport de la Commission des affaires sociales en 2005

Lancement d’études complémentaires sous la direction du
Département en 2005

Dépôt d’un projet de Loi par le Conseil d’État sur le réseau de
soins et le maintien à domicile (un article d’abrogation de la
LCASS) en 2007

Étude par la Commission de la santé du projet de Loi

Audition de l’évaluateur

Révision de la loi
|05/11/2010 |
|34|
Utilité de l’évaluation selon le Président
actuel de la Commission parlementaire
Regard externe fiable
Éclairage du problème
Support fiable sur lequel travailler
Source importante d’argumentation
Aide à la décision
|05/11/2010 |
|35|
L’évaluation du projet jeunes
|05/11/2010 |
|36|
Le cas du projet jeunes - Neuchâtel
Le contexte

Forte augmentation des jeunes émargeant à l’aide sociale et
difficulté d’insertion dans le marché de l’emploi

Conflit gauche/droite sur la nécessité de l’Etat d’intervenir

Loi sur le fonds pour l’insertion professionnelle des
personnes de moins de 30 ans (2006)

Le canton de Neuchâtel est un pionner en matière
d’insertion professionnelle des jeunes émargeant à l’aide
sociale

Désaccord entre les acteurs publics et privés quant aux
résultats des mesures
|05/11/2010 |
|37|
Le projet jeunes (I)
Champ des activités à prendre en compte: un domaine
particulier (intégration des jeunes émargeant à l’aide sociale
au marché de l’emploi) dans une politique plus générale
(aide sociale)
Parties prenantes: assistants sociaux, administration
cantonale, communes, secteur para-étatique, secteur privé,
spécialistes de l’insertion, services de l’emploi et de la
formation professionnelle
Objectifs de l’action publique: mettre à disposition des
places de travail et d’apprentissage pour les jeunes de moins
de 30 ans émargeant à l’aide sociale sur une période de
deux ans (2007-2008), et globalement soutenir les jeunes
dans le processus de réinsertion.
Cible de l’action publique: mettre à disposition dans le
secteur public 80 places de travail et 40 d’apprentissages et
dans le secteur privé 150 places.
|05/11/2010 |
|38|
Le projet jeunes (II)
Problème public à résoudre: augmentation des
dépenses à l’aide sociale
|05/11/2010 |
|39|
Les questions d’évaluation
du projet jeunes (I)
Organisation et processus

Les dispositifs légaux et institutionnels mis en
place sont-ils cohérents avec les objectifs
poursuivis ?

La théorie d’action du dispositif mis en place estelle pertinente par rapport au problème à
résoudre ?

La répartition des tâches au sein de la commission
technique et de son bureau est-elle claire ? Cette
répartition est-elle en adéquation avec les objectifs
du projet ?

Quels sont les critères appliqués dans le processus
de répartition des fonds du projet ?
|05/11/2010 |
|40|
Les questions d’évaluation du projet
jeunes (II)
Partenariats (publics, para-publics, privés)

La collaboration entre acteurs publicpublic/public-privé impliqués dans le projet a-telle été effective ?

Quel est le niveau de connaissance,
d'acceptabilité et d’appréciation du projet parmi
les partenaires ?

Quels sont les facteurs favorisants et faisant
obstacle à la participation des partenaires au
projet ?
|05/11/2010 |
|41|
jeunes (III)
Mesures et bénéficiaires

Quelles sont les mesures mises en place par le
"Projet jeunes" et comment sont-elles appréciées
par les partenaires, les bénéficiaires et les
assistants sociaux ?

Y a-t-il une adéquation entre les profils des
personnes de moins de 30 ans choisies par les
assistants sociaux et les postes disponibles ? Les
critères d’employabilité utilisés par les assistants
sociaux sont-ils pertinents en regard des postes
disponibles ?
|05/11/2010 |
|42|
jeunes (IV)
Objectifs et pérennité
Les objectifs poursuivis, à savoir la mise à disposition de
120 places de travail dont 40 pour des apprentissages
dans l'administration publique et de 150 places de
travail dans le secteur privé, ont-ils été atteints ? si non,
pourquoi ?
Quel pourcentage de contrats signés selon les critères
du "Projet jeunes" a perduré au moins 12 mois après la
signature ? Quel pourcentage d'apprentissages, trouvés
à travers le "Projet Jeunes", n'a pas été abandonné ?
Quels sont les motifs des échecs et des réussites ?
Le projet neuchâtelois est-il comparable à un projet
similaire mené dans un autre canton ?
|05/11/2010 |
|43|
Le modèle de causalité: Le projet jeunes
Information aux
partenaires
Répartition des compétences
public privé
Engagement des
organisations publiques et
privées
Placement des
jeunes
Évaluation des
compétences des jeunes
Outil de gestion
des dossiers
Coaching individuel
des jeunes
|05/11/2010 |
|44|
Méthodes de recherche d’informations
dans le cadre du projet jeunes

Analyse juridique et de contenu des
documents

Entretiens semi-directifs

Sondages par Internet
|05/11/2010 |
|45|
Principaux enseignements de l’évaluation
Ajustement suite à une évaluation
Mise à l’agenda
Un compromis politique peu clair
Théorie d’action
Une hypothèse d’intervention mal posée
Définition du programme politicoadministratif
Une répartition des tâches informelles, nécessité
de lier les acteurs par des mandats de prestations.
Input
Manque d’un accord formel entre l’Etat et les
employeurs
Mise en oeuvre
Des problèmes de validité des informations
récoltées par les partenaires
Output ou prestation
Outcome
Une mise à disposition de places de travail
insuffisante.
Des jeunes placés durablement.
Impact
Des objectifs partiellement atteints
|05/11/2010 |
|46|
Valorisation de l’évaluation du projet
jeunes
La commission de suivi et d’évaluation a validé le rapport
et les recommandations
Conférence de presse et communiqué de presse du
Conseil d’État
2009: Contexte peu favorable à l’utilisation immédiate
des recommandations: changement politique,
renouvellement des chefs de département en charge du
projet
Printemps 2010: reprise de la phase de projet,
proposition d’attribuer la mise en oeuvre à qu’un seul
département (dpt de l’éducation, de la culture et des
sports)
|05/11/2010 |
|47|
Valorisation de l’évaluation du projet
jeunes (suite)
Remaniement du projet sur la base des
recommandations de l’IDHEAP:
Axe prioritaire: formation et « case management en
formation professionnelle » avec soutien et subvention de
la Confédération. Le public cible est élargi.
Deuxième axe (projet): démarchage professionnel financé
par le fonds privé.
Novembre 2010: délibérations au Grand Conseil du projet
de loi portant sur la modification de la loi sur le fonds pour
l'insertion professionnelle des personnes de moins de 30
ans
|05/11/2010 |
|48|
Les spécificités de
l’évaluation
«Discussion de groupe»
|05/11/2010 |
|49|
Institutionnalisation de l’évaluation
en Suisse
Institutionnalisation légale de l’évaluation au
niveau de la Confédération

–
Art. 170 Cst: « L’Assemblée fédérale veille à ce que
l’efficacité des mesures prises par la Confédération fasse
l’objet d’une évaluation ».
–
Loi fédérale sur le principe de la transparence dans
l’administration (Loi sur la transparence, LTrans) du 17
décembre 2004, art. 8, al. 5: «L’accès aux rapports
d’évaluation des prestations fournies par l’administration
fédérale et de l’efficacité des mesures prises par cette
dernière est garanti.»

Tous les cantons sont dotés de dispositions
assimilables à celles de la Confédération
|05/11/2010 |
| 50 |
Les facteurs de l’institutionnalisation de
l’évaluation en Suisse

Des clauses d'évaluation dans les législations
fédérales et cantonales
Des organes parlementaires et extraparlementaires chargés d’évaluation
La société suisse d’évaluation
La commission externe d’évaluation des
politiques publiques du canton de Genève
Le renforcement du reporting
La définition de mandats de prestations
|05/11/2010 |
| 51 |

Le pilotage et l`évaluation des politiques publiques Définition du

Transcription

Documents pareils

FC - Formulaire inscription logo OK

Métro : a partir de la gare principale de lausanne : Métro M2

Perte de mot de passe

Maison à vendre Saint-Germain-lès

Regards croisés sur l`évaluation en Suisse

Katia et le crocodile Paul

ACTIONS-ÉCOLES : 15 ÉCOLES RENCONTRÉES ET

Initiation freestyle ski