Lusage des statistiques et lévaluation des politiques publiques

Des acteurs de l’évaluation
des politiques publiques
L’usage des statistiques :
de l’aide à la décision à l’évaluation
des politiques publiques
Annie Fouquet*
■■ Introduction
L’objectif de la statistique publique est d’éclairer la décision publique par une
description aussi exacte que possible de la réalité économique, politique et
sociale. La statistique, comme son étymologie le souligne, a un lien congénital avec l’État. Alain Desrosières (2000b) a rappelé comment la statistique,
née en Allemagne, fut d’abord l’art de décrire les Länder, États-régions allemands. Ces descriptions prenaient des formes diverses, non homogènes, en
partie littéraires, comme le fut en France la « Statistique des préfets », commandée en 1802 par Napoléon pour décrire les cent départements français
nouvellement créés. Ce furent autant de monographies différentes, avant
qu’une homogénéisation progressive ne conduise à des nomenclatures de
description. Le premier pas de la statistique publique est donc d’organiser
une description de la réalité d’une société, avant même de pouvoir la chiffrer. Elle le fait en construisant des nomenclatures qui réduisent la complexité du réel à de grandes catégories. « Compter, c’est coder » (Desrosières,
2000b ; Fouquet, 1992). Une des missions inscrite dans le décret fondateur
de l’INSEE – Institut national de la statistique et des études économiques –
en 1946 est bien celle de coordonner les nomenclatures.
Décrire la société en construisant des nomenclatures est une activité qui se
nourrit de la recherche en sciences sociales (Bèzes et al., 2005), et ce dans
le but d’éclairer la décision publique. « Bien établir le système de statistiques publiques suppose un partenariat avec deux autres activités : d’une
part la recherche sur les phénomènes économiques, sociaux et environnementaux, d’autre part la préparation des politiques sur ces phénomènes »,
disait Edmond Malinvaud (2004) revenant sur ses quarante années passées
dans la statistique publique.
Pour bien éclairer la décision, l’expert économiste-statisticien doit apporter au Prince des éléments d’information que ce dernier n’a pas, et que le
statisticien lui construit : par ailleurs la statistique oriente la vision des faits
sociaux par la façon même dont elle les décrit. Mais son expertise suffitelle à rendre compte de tous les points de vue des acteurs ? Les critiques
* Inspectrice générale des affaires sociales et présidente de la Société française de l’évaluation.
309
RFAS 1-2 2010
des années 1970 sur les limites des données chiffrées a conduit à dépasser
la seule expertise au profit d’une démarche plus globale : celle de l’évaluation des politiques (jugement de valeur associant divers points de vue).
Aujourd’hui la décentralisation et la diffusion des techniques numériques
enlèvent au système statistique publique son monopole de recueil de données et rendent plus nécessaire que jamais la construction d’un accord sur
la description du monde.
Encadré : Le système statistique public
Une organisation décentralisée
Pour mieux « éclairer » la décision publique, il faut en être proche et en comprendre les enjeux : c’est pourquoi des services statistiques ont été installés au cœur des ministères pour rapprocher l’élaboration des statistiques
des décideurs. Les services statistiques ministériels (SSM), forment avec
l’Institut national de la statistique et des études économiques, le Système
statistique public (SSP). Les plus gros services statistiques sont dans des
directions de plein exercice : la direction de l’Évaluation, de la programmation et de la prospective (DEPP) au ministère de l’Éducation (créée en 1987),
la direction de l’Animation de la recherche, des Études et des Statistiques
(DARES) au ministère chargé du Travail et de l’Emploi (créée en 1993), la
direction de la Recherche, de l’Évaluation, des Études et des Statistiques
(DREES) au ministère chargé des Affaires sociales (créée en 1998).
Une gestion coordonnée des nomenclatures sociales à organiser
Si l’INSEE gère les nomenclatures d’activités économiques, la seule nomenclature sociale qu’elle gère est celle des PCS : professions catégories sociales.
Pour toutes les autres nomenclatures qui relèvent d’un domaine « social »
(formation, éducation, santé, emploi...), c’est aux ministères et à leurs services statistiques de s’en occuper.
Dans le domaine de l’éducation, la DEPP l’a fait en créant dès la fin des
années 1980 le comité des nomenclatures dont elle assure le secrétariat ;
ce dernier a réalisé une base des nomenclatures accessible par extranet à
tous les acteurs des ministères (rectorats, établissements, universités). En
matière de santé (nomenclature des actes médicaux, paramédicaux, hospitaliers, PMSI), la direction de la Santé a repris la main car ces nomenclatures sont étroitement liées à la tarification et à la politique de santé (Service
des systèmes d’information).
Dans les domaines décentralisés en tout ou partie, des lieux partagés entre
acteurs des politiques sont nécessaires. Pour le champ du handicap et
bientôt de la dépendance, la Caisse nationale de solidarité pour l’autonomie (CNSA) créée en 2005 est ce lieu partagé. Dans le domaine de l’emploi
et du travail, la commission des nomenclatures, dite « Comino » créée en
2005 1 comporte en son sein des représentants des régions, de la direction
générale des Collectivités locales (DGCL), des syndicats, etc. Mais beaucoup reste à faire…
1. Arrêté du 12 avril 2005 paru au JO du 27 mai 2005, modifié par arrêté du 10 juillet 2006
(pour inclure le MEN et le CNSA).
310
L’usage des statistiques : de l’aide à la décision
à l’évaluation des politiques publiques
■■ Statistique et expertise
La statistique publique pour répondre aux besoins
de connaissance des acteurs économiques et sociaux
« L’information économique et sociale est un facteur de base de la démocratie ». Cette idée, chère à Claude Gruson, directeur général de l’INSEE
dans les années 1960, a déterminé mon entrée à l’Insee quelques années plus
tard 1. À l’époque les travaux du Plan combinaient toutes les informations
disponibles dans des commissions qui rassemblaient l’ensemble des acteurs
d’un domaine pour débattre des orientations à prendre ; ayant fait des prévisions de consommation détaillées par produits, j’ai participé à diverses
commissions sectorielles (comme celle du Textile-Habillement, ou celle de
l’Automobile) où les acteurs en présence aux intérêts divers sinon divergents se saisissaient volontiers des chiffres pour asseoir leurs arguments.
Le chiffre devenait l’arbitre de leurs différends, et la jeune statisticienne
était prise à témoin pour trancher, passant de la posture de témoin à celle
de juge-arbitre, avec le poids de l’argument chiffré.
Ces commissions orientaient également les travaux statistiques, en signalant les besoins d’information nécessaire pour mieux comprendre le fonctionnement social et éclairer les décisions publiques. Ainsi le programme
d’enquêtes auprès des ménages a-t-il été inclus et financé dans les priorités stratégiques du VIe Plan : structuré autour de deux enquêtes annuelles à
portée générale (emploi, d’une part, budget – conditions de vie, d’autre part),
complété d’enquêtes thématiques périodiques, il avait l’objectif de couvrir
tous les aspects des conditions de vie dans un cycle de dix ans (logement
tous les trois ans puis cinq ans ; santé tous les dix ans, etc.).
Cette fonction d’intermédiation entre la demande d’information des acteurs
sociaux et les programmes statistiques est désormais jouée par le Conseil
national de l’information statistique (CNIS), dans une version plus passive,
en l’absence de l’interaction dynamique des parties prenantes autour d’une
même question sociale à traiter ensemble. Depuis deux ans, quelques controverses (sur la mesure du chômage ou sur la mesure de la discrimination et
les statistiques ethniques) ont réanimé des débats au sein du CNIS, mais
ce débat reste, par nature, focalisé sur l’aspect de la mesure et ne s’inscrit
pas dans la dynamique d’un débat stratégique sur les grandes options économiques et politiques.
1. Cet article s’appuie sur le cheminement personnel de l’auteur, depuis l’aide à la décision
à l’évaluation des politiques publiques : administrateure de l’Insee, Annie Fouquet y a commencé sa carrière par des travaux de prospective sur les conditions de vie des ménages pour le
Commissariat général du Plan ; elle a travaillé sur les indicateurs sociaux, sur les comptes de
patrimoine et la valorisation du non-marchand (travail domestique) ; elle a ensuite été responsable de la revue Données sociales (éditions 1984, 1987, 1990) et de la division Études sociales.
Après avoir participé à la création de la DARES au ministère du Travail, elle a dirigé le Centre
d’études de l’emploi de 1993 à 2000. Elle fut directrice de la DARES au ministère de l’Emploi
et de la Solidarité de 2000 à 2005. Elle est actuellement inspectrice générale des affaires sociales.
311
RFAS 1-2 2010
De l’aide à la décision au jugement public :
la magistrature du chiffre
Quand les chiffres de la statistique publique se manifestent dans l’espace
public, ils deviennent des arguments du débat : la hausse des prix, le chiffre
du chômage, le taux de croissance du PIB ; leur annonce est un moment
où l’action publique est « jugée » par un indicateur conjoncturel. Le chiffre
devient juge de la qualité de la politique menée. Combien d’hommes politiques (ou de femmes plus récemment) n’ont-ils pas craint tous les mois la
publication du taux de croissance du chômage, de l’indice des prix, de l’indicateur trimestriel de croissance du PIB ? La presse et l’opinion publique
utilisant ces indices comme une évaluation de leur politique.
Car évaluer c’est porter une appréciation (un jugement de valeur) sur l’action publique. Or le chiffre en soi n’est pas seul juge de la qualité d’une
politique, contrairement à une idée très répandue qui veut donner à la statistique « officielle » et réputée neutre et impartiale la qualité d’une « magistrature du chiffre ».
Cette omnipotence du chiffre a été dénoncée sur deux registres :
• L’énoncé d’un taux de croissance ne préjuge pas ce que l’on en pense ;
encore faudrait-il être d’accord sur les objectifs de la politique : la croissance économique est-elle une fin en soi ? Mesure-t-elle le bien être de la
population ? Et qui en décide ?
• Le chiffre ne mesure que ce qui est mesurable. Dans la période de croissance de l’après-guerre, le taux de croissance du PIB était devenu le juge
suprême, l’arbitre ultime, en dépit de ses limites. L’opinion publique après
1968 l’a remis en cause, en demandant à la statistique de porter plus d’attention aux phénomènes non mesurés par l’échange marchand, qu’ils soient
de natures économiques, sociaux ou environnementaux.
Comment améliorer l’expertise ?
La complexité des phénomènes sociaux s’accorde mal des seules mesures
monétaires mobilisées dans les comptes économiques. L’analyse des faits
économiques s’est restreinte à ceux des seuls faits mesurables (Malthus,
1820 ; Pigou, 1934). Devant la critique faite au PIB de ne pas être un indicateur de bien-être, au cours des années 1970, les experts ont tenté de la
dépasser dans quatre directions (Blum-Girardeau, 1971) :
– construire et suivre d’autres indicateurs : des indicateurs sociaux qui
s’ajoutent à ceux de la Rationalisation des choix budgétaires (RCB) alors en
vogue – aujourd’hui les indicateurs de développement humains du PNUD
tentent d’y répondre (Meda, 1999 ; Viveret, 2003 ; Gadrey, Jany-Catrice,
2005) ; c’est la commande passée au rapport Stiglitz (2009) ;
312
L’usage des statistiques : de l’aide à la décision
à l’évaluation des politiques publiques
– publier un « état de la société française » : un document de synthèse qui
serait le pendant social et complet des comptes nationaux : ce fut « Données
sociales », complété ensuite par « Portrait social » ;
– enrichir ces comptes nationaux de comptes sectoriels (logement, santé,
culture, tourisme…) qui contiendraient des indicateurs non monétaires :
nombre de lits d’hôpitaux, de logements, mobilité sociale, etc. : ce furent les
comptes dits « satellites » de la protection sociale, du logement, de la santé… ;
et les compléter par des comptes de patrimoine (Benedetti et al., 1981).
– expérimenter diverses façons de valoriser les phénomènes non marchands
(ressources naturelles, travail domestique) (Chadeau, Fouquet, 1981). La
quantification du travail domestique a contribué à changer le regard que
la société portait alors sur les activités domestiques jusque-là cantonnées
dans un univers féminin invisible, et ce, en dépit de revendications fortes
(Fouquet, 2001 ; Fouquet, Measson, 2009).
Toutes ces orientations visent à affiner la capacité de l’expert à intégrer des
phénomènes jusque-là non pris en compte : la pollution, l’émission de gaz à
effets de serre, le travail domestique. Pour éclairer les choix publics, le calcul
économique amène à donner des valeurs monétaires à des choses qui n’en
ont pas. Pour comparer et choisir entre diverses infrastructures, on quantifiera la valeur de la vie humaine, la valeur de la tonne carbone, la valeur du
temps passé (en transports, en taches ménagères), la valeur des nuisances,
sonores, respiratoires, la valeur de la pollution de l’air, etc. (Boiteux, 2008).
Comme dans la quantification du travail domestique, il s’agit de rendre
visibles et calculables des objets et des faits sociaux invisibles, et absents
des grands arbitrages. Le travail des experts est de les objectiver pour leur
donner une place visible et reconnue dans l’espace de décision pour sortir de
l’indécidable. Comme dans la démarche parallèle de la RCB, les experts qui
détiennent le savoir, améliorent leurs outils pour orienter la décision publique.
Ces quatre orientations procèdent toutes d’une même posture : elles visent à
conforter la vision surplombante de la technostructure par le discours « supposé sachant » de l’expert (top down). Or les réflexions sur la gouvernance
de mondes complexes, avec de multiples acteurs, aux intérêts multiples et
imbriqués, amène à reconsidérer la notion d’intérêt général (Rosanvallon,
2006) pour lui préférer celle de bien commun, qui ne se décrète pas du haut,
mais se construit avec les acteurs (bottom up). C’est la posture de l’évaluation des politiques publiques.
■■ De l’expertise à l’évaluation des politiques
Prendre acte de la complexité du réel, notamment dès que la matière humaine
est en jeu, reconnaître l’existence de rapports sociaux, considérer que la diversité des points de vue ne se résume pas à des hypothèses de calcul et que le
313
RFAS 1-2 2010
débat public est un meilleur garant de la prise en compte des ­intérêts 1, c’est,
après l’abandon de la RCB, la position défendue par le ­rapport Viveret (1989),
qui promeut l’idée d’une évaluation démocratique des politiques publiques.
Évaluer une politique publique, c’est porter une appréciation (un jugement)
sur sa valeur, notamment quant à son efficacité (les résultats attendus ont-ils
été atteints ?), son efficience (ont-ils été atteints au moindre coût), sa pertinence (l’impact de cette politique a-t-il répondu aux besoins qui l’avaient
fait naître ?), sa cohérence, etc. Cette appréciation de la valeur d’un dispositif, d’un programme ou d’une politique dépend du point de vue : le jugement
du bénéficiaire, celui du citoyen contribuable, ou encore celui de l’agent de
guichet peuvent être très différents.
Pour constater les écarts entre résultats attendus et résultats atteints, l’usage
est de chiffrer les uns et les autres, par des indicateurs (d’objectifs, de
moyens, de réalisations, de résultats, d’impact). La statistique est requise,
soit pour pallier l’absence d’indicateurs de gestion pour suivre le déroulement de l’activité, soit plus normalement pour observer les impacts sur l’environnement, la société.
La récente « culture du résultat », la Loi organique relative aux lois de
finances (LOLF), donne de la vigueur aux indicateurs de suivi, avec des
risques majeurs : confondre constat statistique et jugement de valeur ; piloter par les indicateurs et non par les résultats, s’en tenir au court terme et
oublier l’étude des impacts (effets attendus ou inattendus sur la société à
moyen-long terme).
Un risque majeur et répandu :
la confusion entre constat et jugement
L’usage d’indicateurs ne suffit pas à apprécier la valeur de la politique
menée. Constater n’est pas évaluer : un même constat peut donner lieu à des
jugements de valeur bien différents selon le point de vue de l’observateur.
Imaginons qu’on observe par exemple 5 % de lits vacants dans un établissement d’hébergement de personnes âgées : est-ce beaucoup ? Trop ? Ou
trop peu ? Pour le directeur financier de l’établissement, soucieux de maximiser les recettes, cela sera toujours trop ; pour les responsables politiques
du développement de l’hébergement temporaire, cela ne sera pas suffisant
pour gérer les aléas de la demande ; pour le personnel surchargé, cela sera
encore trop peu, etc. Chacun porte sur le même constat une appréciation
différente qui dépend du point de vue professionnel de chacun.
1. Dans un univers complexe, la place de la statistique publique change : elle est moins liée à
l’État central et doit se rapprocher des acteurs. À côté de l’expérience innovante et en avance
sur son temps des « réseaux de correspondants locaux » inventés et animés par Pierre Nardin,
l’INSEE créa des « observatoires régionaux » chargés de se rapprocher des acteurs pour leur
fournir les chiffres relevant de leur domaine (géographique notamment). (Cf. Desrosières,
Nardin, 1973.)
314
L’usage des statistiques : de l’aide à la décision
à l’évaluation des politiques publiques
Or il est fréquent d’omettre l’étape qui permet de passer du constat au jugement.
Le rôle de l’expert est de fournir les éléments du constat : le coût du chômeur évité, l’impact des 35 heures sur la croissance et l’emploi, pour citer
des exemples qui font débat. Les hypothèses de calcul de différents experts
peuvent varier, les méthodes d’estimation aussi. Une confusion s’installe
dans le débat d’experts quand certains affirment avoir évalué le dispositif
alors qu’ils ont seulement estimé la valeur d’un paramètre d’un modèle.
« Estimer la valeur », c’est bien « évaluer », mais quelle valeur a-t-on estimé :
le paramètre d’un modèle ? ou la pertinence de la politique ? Or le raccourci
est fréquent : quand ce modèle économétrique cherche à « estimer la valeur
du coût du chômeur évité par un dispositif public », l’économètre va parfois (souvent) dire, par abus de langage, qu’il a « évalué le dispositif ». Or il
n’en a estimé qu’une seule dimension, le coût. Il n’a pas considéré d’autres
aspects qui pourraient être aussi importants selon d’autres points de vue :
le maintien du revenu ou de la dignité pour le bénéficiaire par exemple, ou
le point de vue de l’entreprise qui l’a embauché, ou le point de vue du politique qui a l’œil rivé sur le nombre de chômeurs, etc. Parler alors d’évaluation du dispositif est un abus de langage ; l’évaluation du dispositif devrait
prendre en compte tous ces aspects et les porter au débat, de même que les
hypothèses du modèle.
Avant d’être reconnue comme un constat, l’estimation tirée d’un calcul économétrique à partir d’hypothèses, mérite d’être discutée : le choix des hypothèses, la méthode retenue, influent sur le résultat. Ce débat mérite d’être
organisé, voire public, pour permettre une avancée collective : aucun résultat de calcul n’est faux a priori, par contre son domaine de validité dépend
du choix des hypothèses ; le jugement que chacun en tire ne peut les ignorer, car les hypothèses implicites des uns ne sont pas forcément celles des
autres, et relèvent des préférences (valeurs morales, éthiques, politiques...).
Le débat permet de faire progresser collectivement la connaissance et la justesse du constat. C’est ensuite à partir de ce constat partagé ou nuancé de la
connaissance des hypothèses que chacune des parties prenantes peut porter
un jugement ou apprécier la pertinence du dispositif, selon son propre point
de vue et ses « valeurs ». L’évaluation finale tiendra compte de ces différents
points de vue, laissant au politique le soin de décider en toute connaissance
de cause (Jacot et al., 2007).
Performance et évaluation
La « culture du résultat », portée par la LOLF, ou par le discours gouvernemental récent, amorce un changement culturel profond. Si l’on en suivait
la portée jusqu’au but ultime, il s’agirait de passer des indicateurs de suivi
des réalisations (l’activité des services) à un pilotage de l’action publique
par les résultats (les conséquences de ces réalisations sur la société, à court
terme, ou ses impacts, attendus ou inattendus, à moyen terme). Pour ­l’instant,
315
RFAS 1-2 2010
dans le meilleur des cas, la LOLF se limite à la performance (suivi de l’activité et de ses réalisations, rapportée au coût).
Passer du suivi de l’activité du service à l’étude de ses résultats et impacts,
ce serait passer du contrôle de gestion (pilotage opérationnel) à l’évaluation. L’évaluation analyse ce que ne peut pas produire à lui seul le système
de suivi, notamment les conditions de la mise en œuvre, en particulier celles
qui sont nécessaires à l’atteinte des résultats, et en fournissant à ce propos
des indicateurs d’alerte. Elle complète le travail d’analyse des données
de suivi en fournissant une vision de moyen terme qui intègre le contexte
­socioéconomique et politico-institutionnels (Zucker, 2002).
Un autre écueil, c’est la confusion entre certification et évaluation. La loi
2002-2 du 2 janvier 2002 rénovant l’action sociale et médicosociale a institué l’obligation pour les établissements sociaux et médicosociaux de procéder à une évaluation interne et externe périodique. L’Agence nationale de
l’évaluation et de la qualité des établissements et services sociaux et médicosociaux (ANESM), créée dans le but d’accompagner la mise en œuvre
de ces évaluations par des recommandations et des échanges de pratique,
a bien du mal à dissocier démarche qualité, certification de procédures et
évaluation proprement dite (qui suppose de partir du projet d’établissement
et d’analyser avec les agents tant sa mise en œuvre que sa pertinence et sa
cohérence avec les objectifs de la loi, dans une démarche collective d’amélioration de l’action).
Dépassant la simple mesure de l’efficacité (écart entre objectifs et résultats) et de l’efficience (au meilleur rapport coût/ résultats) à laquelle se
limite souvent l’analyse de la performance d’une organisation, l’évaluation
de l’action publique (organisations, dispositifs, programmes ou politiques
publiques) vise à en apprécier la pertinence (comparaison entre impacts
et besoins sociétaux auxquels l’action voulait répondre) (SFE, 2009). Elle
apporte des éléments de connaissance que ne donnent pas les seuls indicateurs de suivi, en analysant l’enchaînement des causes qui ont amené aux
résultats observés et en appréciant l’imputabilité des résultats.
Le pilotage par les indicateurs : la dictature du chiffre
Bien souvent, des indicateurs mis en place pour suivre l’activité d’un service
deviennent des objectifs en soi ; confondant réalisation du service (son activité quotidienne) et résultats de l’action. Les effets pervers en sont que seul
sera suivi ce qui est dans l’indicateur, au mépris de l’aspect systémique d’un
programme ou d’une politique. On passerait de la magistrature du chiffre, à
la dictature du quantitatif ; le pilotage par les indicateurs a été maintes fois
critiqué (Brunetière, 2006 ; Hood, 2007 ; Perret, 2006 1).
1. Cf. également l’article de R. Salais, « Usages et mésusages de l’argument statistique : le
pilotage des politiques publiques par la performance », dans le présent numéro.
316
L’usage des statistiques : de l’aide à la décision
à l’évaluation des politiques publiques
L’indicateur éclaire une portion de la réalité comme le réverbère son cône
de lumière : le risque est de ne chercher ses clés que sous le réverbère, de
ne suivre que les effets visibles d’un dispositif au mépris des grands effets
cachés dans l’ombre 1. Mesurer la performance d’un hôpital par l’indicateur
du taux de mortalité des patients, illustre l’effet pervers d’une vision simpliste de la réalité qui pourrait se limiter à un chiffre : pour être bien « noté »
sur cet indicateur, il suffit de refuser d’admettre à l’hôpital les patients les
plus malades. Une batterie d’indicateurs est déjà plus raisonnable mais plus
complexe à décrypter.
Évaluer suppose d’analyser l’enchaînement des causes qui font varier les
indicateurs. Il peut y avoir désaccord sur l’interprétation de la variation de
l’indicateur. En matière de sécurité routière, par exemple, une hausse du
nombre de contraventions données pour excès de vitesse, peut être considérée comme positive (la police a bien travaillé), ou comme négative (il y
a encore trop de gens qui font des excès de vitesse). Dans le premier cas,
l’indicateur est considéré du point de vue de l’activité des services ; dans le
second l’indicateur s’intéresse à l’impact sur les comportements.
La construction des indicateurs de la LOLF a été l’occasion de commencer
à quantifier objectifs et résultats par des indicateurs, diffusant un zeste de
culture du chiffre (et du contrôle de gestion, avant celle de l’évaluation) dans
les administrations jusque-là peu concernées par la statistique. Mais on est
encore loin de l’évaluation (Brunetière, 2006 ; Perret, 2006). Comprendre
l’enchaînement des causes dans un apprentissage collectif pour améliorer
l’action publique, ne se résume pas à suivre des indicateurs.
■■ Évaluation des politiques décentralisées
et statistique
Depuis une dizaine d’années, deux facteurs concomitants remettent en cause
l’organisation actuelle du système statistique public : d’une part, les opérateurs de l’action publique se sont multipliés que ce soit par la décentralisation qui confie aux collectivités territoriales des compétences sur certaines
politiques publiques ou par la délégation de la gestion des politiques à des
agences ou des opérateurs ; d’autre part, les innovations techniques avec la
diffusion des outils bureautiques, les logiciels de traitement de l’information et les capacités d’échanges de données numériques permettent de traiter et d’échanger des informations à tous les niveaux de l’action. L’État a
perdu à la fois le monopole du traitement de l’information et le monopole
de la décision publique, notamment en matière sociale (Igas, 2008).
La diffusion des outils bureautiques généralise la gestion numérisée de
­l’activité des services ; il en sort facilement des comptages de toute sorte.
1. Voir les lettres de l’association Pénombre, la vie publique du chiffre (www.penombre.org).
317
RFAS 1-2 2010
Les indicateurs de suivi d’activité fleurissent, stimulés par la « culture du
résultat ». La statistique de base devient accessible à tous ; il ne s’agit pas de
la statistique mathématique probabiliste ou du calcul économique qui restent
l’apanage des experts ou des ingénieurs, mais de la construction d’indicateurs simples tels que des moyennes ou des évolutions. Chacun peut fabriquer sa batterie d’indicateurs de suivi, de façon solitaire et décentralisée.
Avec la décentralisation, les collectivités locales ont investi le champ de
l’évaluation de leurs politiques. Les collectivités territoriales sont les fers de
lance de l’innovation en matière d’évaluation : comme la preuve n’est plus
seulement technique dans un univers complexe, elles inventent et expérimentent divers moyens de construire des jugements tenant compte des parties prenantes.
Décentralisation et évolution technique sont des atouts pour la diffusion de
la culture de l’évaluation, à condition d’en maîtriser les risques.
Les atouts
La collecte d’information est devenue plus facile et plus accessible. Les outils
bureautiques permettent aux opérateurs gestionnaires de construire et suivre
des indicateurs d’activité, et de mesurer les réalisations annuelles de leur
action. Ils n’ont plus besoin de faire appel au service statistique pour savoir
plusieurs mois plus tard, quels ont été leurs réalisations (comme le nombre
de conventions de contrats aidés signées), et leurs résultats (le nombre de
chômeurs embauchés).
Cette reprise en main des données de suivi par les organismes gestionnaires
de dispositifs se généralise avec la LOLF qui oblige à mettre en place un
contrôle de gestion. C’est un atout pour l’évaluation dans la mesure où un
système d’information est déjà en place. C’est une difficulté pour les services statistiques ministériels (SSM) qui doivent se repositionner pour ne
pas apparaître concurrents sur les données de suivi en publiant avec quelques
mois de retard des chiffres différents (car redressés) de ceux plus rapides
donnés par le contrôle de gestion.
La valeur ajoutée du service statistique ministériel (SSM) est d’apporter sa
compétence pour la mesure des résultats, au-delà des réalisations. Par exemple,
au-delà du comptage du nombre de contrats aidés placés par les opérateurs
(mesure de réalisations), il s’agira de repérer qui sont les personnes aidées
réparties selon certains critères (sexe, âge, parcours antérieur), soit par comptage prévu à l’origine (ce qui suppose une bonne collaboration au moment
de la mise en place du dispositif), soit par enquêtes spécifiques sur un échantillon de bénéficiaires. Il est très difficile de faire comprendre aux responsables de dispositifs qu’une statistique redressée est meilleure qu’une donnée
administrative prétendument exhaustive mais aléatoirement incomplète…
Dans ce nouveau contexte, où les données de suivi sont produites par les opérateurs gestionnaires, les enquêtes dites « en population générale » ­nécessaires
318
L’usage des statistiques : de l’aide à la décision
à l’évaluation des politiques publiques
à l’évaluation des impacts restent du ressort du système statistique (enquêtes
panel auprès des bénéficiaires d’emplois aidés, sortants du RMI, santé-­
invalidité-handicap, etc.). Les échantillons de ces enquêtes peuvent être
renforcés sur certaines aires géographiques à la demande de collectivités
locales. Encore faut-il que les échéances des uns et des autres coïncident.
Pour évaluer leurs politiques, certains départements font déjà réaliser des
enquêtes auprès de leurs bénéficiaires pour en apprécier les résultats, voire
même les impacts des dispositifs dont ils sont chargés. Ainsi le conseil
général du Val-d’Oise a-t-il fait réaliser une enquête quantitative et qualitative auprès des bénéficiaires du RMI pour suivre leur parcours et connaître
leur avis sur les offres d’insertion apportées par le conseil général. Dans le
­Val-de-Marne, le conseil général a mis en place une mission d’information
et d’évaluation sur les « actions d’insertion », et une autre sur le logement
d’urgence (Nouailles, 2009) ; la direction de la prévention sociale a également mis en place une recherche – action avec un laboratoire universitaire
pour « objectiver » le travail social de prévention dans les quartiers et pouvoir ensuite en évaluer les résultats, etc. Autre exemple : le conseil général des Bouches-du-Rhône a initié une évaluation du RMI, etc. On pourrait
multiplier les exemples d’initiatives locales qui relèvent, certes, le plus souvent des plus gros départements. Mais ces initiatives restent peu diffusées,
peu connues et peu comparables.
Sortir de la confusion des langues : la coordination
par les nomenclatures et les systèmes d’information
La diffusion des outils bureautiques et le besoin de chaque service de suivre
son activité et de se doter d’indicateurs, génèrent quantité de façons de coder
les faits sociaux. On se retrouve avec la décentralisation dans la situation
de la statistique des préfets de 1802. Hormis les nomenclatures d’activité
économique gérées par l’INSEE, les « remontées d’information » qui permettaient de produire de la statistique nationale deviennent souvent impossibles faute de s’entendre sur les façons de compter.
Mais ne faut-il pas changer de posture ? La décision publique étant décentralisée, les besoins d’information au niveau central ne sont plus les mêmes.
Le rôle imparti à l’Insee – et plus généralement au système statistique
public – dans son décret fondateur, de coordonnateur des nomenclatures,
pourrait devenir un rôle de coordonnateur des systèmes d’information dans
une construction collégiale. C’est le pari réussi de la CNSA pour les maisons départementales du handicap (MDPH) dans une concertation longue
et récurrente assortie d’expérimentations. La statistique publique ne peut
plus méconnaître les systèmes d’information d’où sortent désormais bien
des statistiques.
Le caractère « décentralisé » du Système statistique public avec les services
statistiques ministériels est un atout. Les statisticiens publics ne devraient‑ils
319
RFAS 1-2 2010
pas devenir aussi des spécialistes des systèmes d’information 1, dans le respect de la nouvelle Constitution qui fait de la France non plus une république jacobine, héritière en droite ligne de la souveraineté monarchique,
mais une « république décentralisée », où l’autorité publique est partagée
entre les divers niveaux de collectivités ?
■■ Perspectives
L’information statistique est un outil puissant d’analyse des situations ; elle
s’ancre désormais de plus en plus aux outils de gestion, mais ceux-ci ne peuvent tout suivre ; des enquêtes ad hoc demeurent nécessaires.
L’enjeu actuel est :
– de dépasser l’engouement pour les indicateurs de gestion qui devraient
rendre compte de tout, et mieux sérier ce qui revient au suivi (pilotage) et
ce qui revient à l’évaluation périodique, avec définition des questions évaluatives et la façon d’y répondre par des enquêtes statistiques ou qualitatives (mise en œuvre, rôle des divers acteurs) ;
– nouer un dialogue constructif avec les acteurs des politiques sociales, dans
des lieux ad hoc : le CNIS ou des lieux partenariaux à créer (Buguet et al.,
2009), qui puissent être des lieux de partage et de construction collective
des nomenclatures communes à utiliser pour suivre, puis permettre d’analyser la mise en œuvre et les résultats des politiques sociales.
1. Précision : un système d’information n’est pas un système informatique, mais décrit les
unités de base de collecte de l’information, leur architecture, les nomenclatures et les mécanismes de validation des données.
320
L’usage des statistiques : de l’aide à la décision
à l’évaluation des politiques publiques
Bibliographie
BENEDETTI A., CONSOLO G., FOUQUET A. (1980), Les comptes de patrimoine. Une
première expérience 1971-1972-1976, Collections de l’Insee C 89-90, 300 p.
BEZES P., CHAUDIÈRE M., CHEVALLIER J., de MONTRICHER N.,
OCQUETEAU F. (dir.) (2005), L’État à l’épreuve des sciences sociales. La fonction
recherche dans les administrations sous la Ve République, Paris, La Découverte, 380 p.
BLUM-GIRARDEAU C. (1971), Faut-il changer la comptabilité nationale ?, Rapport du
groupe de travail présidé par P. Dubois, INSEE.
BOITEUX M. (2008), « Entretien » avec M. Perbet, in Calculer pour décider. Les Cahiers
de l’Évaluation no 1 et 2.
BRUNETIÈRE J.-R. (2006), « Les indicateurs de la LOLF : une occasion de débat
démocratique ? », Revue française d’administration publique, no 117.
BUGUET B., BRANCHU C., FOUQUET A. (2009), Outils et systèmes d’information des
politiques sociales décentralisées, Rapport IGAS.
CAUQUIL G., LAFORE R. (dir.) (2006), Évaluer les politiques sociales, Sixièmes
journées de l’évaluation, Bordeaux 2004, L’Harmattan/SFE, 334 p.
CHADEAU A., FOUQUET A. (1981), « Peut-on quantifier le travail domestique ? »,
Économie et Statistiques, no 136.
CNIS (1987), Mieux connaître pour agir, rapport du groupe de travail sur les statistiques
sociales à moyen terme, présidé par M.-T. Join-Lambert, rapporteur A. Fouquet.
DESROSIÈRES A. (2000a), « L’État, le marché et les statistiques. Cinq façons d’agir sur
l’économie », Courrier des Statistiques, no 95-96, p. 3-10. Réédité dans le numéro Hors
série de mai 2005 : « Spécial Alain Desrosières ».
DESROSIÈRES A. (2000b), La politique des grands nombres. Histoire de la raison
statistique, Paris, La Découverte. (Notamment : chapitre 1 : « Le préfet et le géomètre »,
p. 29-59 ; chapitre 8 : « Classer et coder », p. 289-341.)
DESROSIÈRES A., (2009), Statistics and gouvernmentality: an historical approach,
Sixth “Lee lecture”, Alls Souls College, Oxford, march 3th.
DESROSIÈRES A., NARDIN P. (1973), Planification, information économique et
groupes sociaux, Colloque d’Uriage sur la Planification.
FOUQUET A. (1992), « Les statistiques dans le débat social », in Besson J.-L., La Cité
des Chiffres ou l’illusion des statistiques, Éditions Autrement, Série Sciences en sociétés,
no 5.
FOUQUET A. (2001), « Le travail domestique : du travail invisible au gisement
d’emplois », in Laufer J., Marry C. et Maruani M., Masculin-Féminin : questions pour les
sciences de l’homme, Puf, coll. « Sciences sociales et sociétés », p. 99-129.
FOUQUET A. (2007), « L’évaluation des politiques publiques, indispensable outil de
gouvernance dans une société complexe », in Cannac Y. et Trosa S., La Réforme dont
l’État a besoin. Pour un management public par la confiance et la responsabilité, Dunod,
p. 112-124.
FOUQUET A. (2010), « Activités ménagères, travail domestique, emplois familiaux :
trois avatars d’une même réalité ? », European Journal of Economic and Social Sciences,
numéro spécial : « L’offre de travail des femmes : acteurs et systèmes », janvier.
FOUQUET A., MEASSON L. (2009), L’évaluation des politiques publiques en Europe,
L’Harmattan/SFE, 400 p.
321
RFAS 1-2 2010
GADREY J., JANY-CATRICE F. (2005), Les nouveaux indicateurs de richesse, Paris, La
Découverte, coll. « Repères ».
HOOD C. (2007), “Public management by Numbers: Why does it vary ? Where Has it
Come From ? What Are the Gaps and the Puzzles ?”, Public money and management,
April.
IGAS (2008), Les politiques sociales décentralisées, Rapport annuel 2007-2008, La
Documentation française.
JACOT H., FOUQUET A. (dir.) (2007), Le citoyen, l’élu, l’expert, Septièmes journées de
l’évaluation, Lyon 2006, L’Harmattan/ SFE, 241 p.
MALINVAUD E. (2004), Conférence invitée: Au sujet des indicateurs-clés. Commentaire
sur « Developing Key National Indicators for the US », Forum mondial de l’OCDE sur les
statistiques et les indicateurs clés, Palerme, novembre. Document ronéoté, Insee.
MALTHUS T.R. (1820), Principes d’économie politique.
MEDA D. (1999), Qu’est-ce que la richesse ?, Paris, Aubier.
NOUAILLES M. (2009), « Les missions d’information et d’évaluation des collectivités
territoriales », in FOUQUET A. et MÉASSON L., L’évaluation des politiques publiques
en Europe, L’Harmattan/SFE, 400 p.
PERRET B. (2006), « De l’échec de la rationalisation des choix budgétaires (RCB) à la
loi organique relative aux lois de finances (LOLF) », Revue française d’administration
publique, no 117, p. 31-42.
PIGOU A.-C. (1934), The Economics of Welfare, Mac Millan [1932, 1946].
ROSANVALLON P. (2006), Le modèle politique français : La société civile contre le
jacobinisme de 1789 à nos jours, Paris, Le Seuil, coll. « Points Poche ».
SAVIGNAT P. (2009), Évaluer les établissements sociaux et médicosociaux. Des savoirfaire à reconnaître. Dunod, 370 p.
SOCIÉTÉ FRANÇAISE DE L’ÉVALUATION (2007), « Performance et évaluation »,
Cahier de la SFE no 2, site : www.sfe.asso.fr
SOCIÉTÉ FRANÇAISE DE L’ÉVALUATION (2009), « Évaluation et activités voisines :
de la concurrence à la complémentarité. Audit, contrôle de gestion, management de la
qualité », Cahier de la SFE, no 4.
STIGLITZ J.-E., SEN A., FITOUSSI J.-P., (2009), Rapport de la Commission sur la
mesure des performances économiques et du progrès social, La Documentation française.
TROSA S. (2006), « La LOLF : contrôle ou liberté ? », Revue française d’administration
publique, no 117.
VIVERET P. (1989), L’évaluation des politiques et des actions publiques, Rapport au
Premier ministre, coll. « Rapports officiels », La Documentation française, 193 p.
VIVERET P. (2003), Reconsidérer la richesse, La Documentation française, coll.
« Rapports officiels », Dernière édition, Poche 2008.
ZUCKER E. (2002), « L’évaluation : d’où venons-nous, où allons-nous ? », Bulletin de la
DIV, no 8 et 9.
322