Introduction Evaluer les établissements et les services

Supplément de la Gazette
n°91 – mars 2010
Evaluer les établissements et les
services sociaux et médico‐sociaux,
pour redonner du sens à
l’action sociale
Introduction _________________
La question de l’évaluation apparaît dans un contexte structurel de
transformation du cadre général de l’action sociale. Les années 80 ont été le
théâtre d’une remise en cause profonde de l’action publique au sens large,
remise en cause qui s’est traduite par une triple crise : de financement,
d’efficacité et de légitimité.
Pour palier à ces crises, les pouvoirs publics manifestent une volonté plus
accrue de régulation et de rationalisation.
Cette exigence intervient alors que l’action sociale se complexifie :
- de nouvelles questions surgissent (exclusion, dépendance …) ;
- la question de la centralité de l’usager, l’exigence de « qualité » contribuent à
modifier la commande publique et les modes opératoires ;
- les notions de partenariat, de travail en réseau, d’approche territoriale
s’imposent ;
- enfin les réformes de décentralisation bouleversent les modes de
management des politiques sociales.
Evaluer l’action sociale et évaluer les établissements va conduire aux mêmes
finalités : celles de connaître, celles de comprendre, celles de juger de leur valeur
au regard de critères définis. Ainsi l’évaluation des établissements s’inspire des
problématiques et méthodologies issues de l’évaluation des politiques publiques.
L’évaluation est une démarche qui se veut qualitative et participative.
Elle vise à qualifier et à apprécier la qualité de ce que réalise un établissement
mais ne fait sens qu’à travers une forte implication de toutes les parties prenantes
(intervenants sociaux, responsables, usagers, bénévoles, partenaires, …).
 Ce Supplément de la Gazette rédigé à partir de l’ouvrage « Evaluer les
établissements et les services sociaux et médico-sociaux : des
savoir-faire à reconnaître » de Pierre Savignat publiée chez Dunod en
2009, présente de manière synthétique et complète les questions posées
par l’obligation faite aux établissements et services sociaux ou médicosociaux de procéder, à intervalle régulier, à des évaluations internes et
externes, dans le cadre de la loi du 2 janvier 2002.
Un processus en construction (1980‐2002) ____
Ainsi les démarches qualité se sont plus développées que les évaluations qui restent encore
marquées par le « soupçon du contrôle ».
C’est dans ce cadre que la loi du 2 janvier 2002,
dont l’objectif est de rénover les modes de régulation
de l’action sociale (éléments constitutifs des « règles
du jeu »), opère une jonction entre l’évaluation et les
questions liées à la qualité. Elle renforce la nécessité
de rendre effectif la prise en compte de critères
relatifs à la qualité de l’accompagnement. Elle rend
obligatoire l’évaluation des activités et de la qualité
des prestations.
Cette loi vise à une optimisation et à une maîtrise de
l’offre dans une perspective de réponses adaptées
aux besoins et attentes des usagers. Elle donne aux
pouvoirs publics des outils pour peser sur la
structuration du secteur social et médico-social.
La loi prévoit quatre niveaux d’évaluation : apprécier
les besoins sociaux de la population, répondre aux
besoins des usagers, évaluer les politiques
publiques, et évaluer les établissements et services.
Ainsi l’évaluation devient un élément constitutif de la
construction de l’action sociale.
Il y a deux types d’évaluation pour les établissements :
l’une interne dont les résultats doivent être transmis au
moins tous les cinq ans à l’autorité ayant délivré
l’autorisation et l’autre externe qui doit avoir lieu dans
les sept ans suivant l’autorisation par un organisme
habilité par l’Agence nationale de l’évaluation et de la
qualité des établissements et services sociaux et
médico-sociaux (ANESM).
Cette période voit apparaître dans les débats, les
controverses qui ont conduit à la loi du 2 janvier 2002
la notion d’évaluation, mais aussi celle de la qualité.
Dès la fin des années 70 et le début des années
80, puisant ses racines dans les débats relatifs aux
études de rationalisation des choix budgétaires
(RCB), la question de l’évaluation s’inscrit sur
l’agenda des pouvoirs publics comme des acteurs.
Les expérimentations et diverses méthodes
d’évaluation se développent avec leur angle
particulier et leurs limites (méthode PASS,
démarches expérimentales, méthode comparative,
évaluation par la « compétence sociale », méthodes
à caractère « scientifique », méthodologie clinique,
méthodes centrées sur les dynamiques, ...). Guy
Cauquil1 estime que dans cette période, les
controverses s’organisent autour de deux
conceptions : l’une tournée vers la production de
connaissance et l’autre vers l’action. Malheureusement l’ensemble de ces expérimentations ne sera
pas capitaliser et ce mouvement protéiforme sera
suppléé dans l’espace public du champ social et
médico-social par les questions liées aux
démarches qualité.
Les années 90 vont voir émerger de nouvelles
préoccupations des pouvoirs publics à travers la
mobilisation de la notion de « qualité ».
Ce changement va apparaître avec le mouvement de
reconnaissance de l’usager nécessitant un accueil et
un accompagnement individualisé.
La qualité apparaît à la fois comme un instrument
interne, de mise à jour des pratiques, de diagnostic
partagé et de mobilisation des professionnels, et
comme un mode de relation renouvelé entre
établissements et pouvoirs publics.
1
« Evaluation en travail social », Les Cahiers de l’Actif, n°288291, mai-août 2000.
Le dispositif institutionnel d’évaluation ______
Elle va opérer un état des lieux et dégager des
repères à travers un « guide méthodologique »3. Elle
met ainsi en lumière différentes sources qui
concourent à la production de bonnes pratiques
professionnelles.
2 - Le CNESMS va jouer un rôle important dans la
mise en place du dispositif institutionnel et ses
travaux restent d’actualité malgré ses vingt mois
d’existence.
La construction d’un cadre institutionnel est la
condition indispensable du développement de
processus évaluatif sur le terrain.
La loi 2002-2 fixe trois éléments au plan
institutionnel :
 La création du Conseil national de l’évaluation
sociale et médico-sociale (CNESMS)2
 Une procédure d’habilitation d’organismes en
vue de l’évaluation externe.
 Un décret portant cahier des charges relatif aux
évaluations externes.
Il produit des documents qui n’ont pas propension à
avoir une portée réglementaire. Il valide des
recommandations pour chacune des grandes catégories : personnes âgées, personnes handicapées,
enfance-famille, inclusion sociale. En 2006 il élabore un
guide de l’évaluation interne4 qui fait référence.
Une première phase, qui dure de la loi 2002-2 à la
création de l’ANESM, se déroule en trois étapes
bien distinctes qui contribuent à la formation d’une
doctrine et à la consolidation du dispositif
organisationnel :
1 - La Direction générale de l'action sociale
(DGAS), aujourd’hui Direction générale de la
cohésion sociale (DGCS), souhaite que se
développent des démarches qualité.
Supplément de la Gazette - mars 2010
3 - Du CNESMS à l’ANESM : une mission de
préfiguration a réfléchi à l’élaboration de cette
nouvelle agence, à ses missions et son organisation.
L’Agence n’est pas l’équivalent du Conseil à qui l’on
aurait donné des moyens supplémentaires.
2
Agence d’Etat, son directeur est nommé par
décret. Outre les missions fixées par la convention
constitutive, elle inscrit son action dans le cadre
d’un contrat d’objectif et de moyen conclu avec
l’Etat. Les acteurs sociaux n’ont plus qu’un rôle
consultatif. L’Etat souhaite ainsi conserver le
contrôle sur les dispositifs et ne pas être tributaire
des acteurs sociaux.
Le fait que l’Associations des départements de
France (ADF) ne soit pas membre de l’Agence est
également un souci surtout que l’on constate la
nécessité d’un réel travail d’acculturation des
collectivités publiques. Le risque, si l’évaluation reste
aux portes des pouvoirs publics, est de voir ce
traitement n’être qu’une procédure de contrôle.
Un autre souci est que l’on ne sait plus ce qui se
passe sur le terrain puisque que l’Agence n’a pas de
service d’observation et de capitalisation des
différentes pratiques.
Enfin l’année 2007 reste une année charnière dans
la consolidation qualitative du dispositif puisqu’elle
voit la mise en place de l’ANESM et la publication
du décret relatif aux évaluations externes le 15 mai
20075.
2
3
Remplacé par la loi du 23 décembre 2006 par l'ANESM.
DGAS, Démarche qualité - évaluation interne dans les
Etablissements et service social ou médico-social (ESSMS), guide
méthodologique, 2004.
L’Agence va réaliser un certain nombre de
recommandations qui ne sont pas des documents
normatifs et n’ont pas l’ambition de former des
standards6.
4
CNESMS, L’évaluation interne, guide pour les établissements et
services sociaux et médico-sociaux, septembre 2006.
5
Décret n° 2207-975 du 15 mai 2007 fixant le contenu du cahier
des charges pour l’évaluation des activités et de la qualité des
prestations des établissements et des services sociaux et médicosociaux.
L’ANESM a publié, en 2009, une recommandation sur
l’évaluation interne dans les établissements sociaux et
médico-sociaux7. Cette recommandation fait référence
aujourd’hui pour le secteur de l’exclusion.
6
A ce jour l’ANESM a publié 14 recommandations (voir sur le site
de l’Agence www.anesm-sante.gouv.fr).
Néanmoins des problèmes se posent actuellement
tels que le traitement des rapports relatifs aux
évaluations dans les services déconcentrés de
l’Etat ou les collectivités locales8.
7
ANESM, La conduite de l’évaluation interne dans les
établissements et services visés à l’article L312-1 du code de
l’Action sociale et des familles, avril 2009.
8
ANESM, Enquête nationale relative à la mise en œuvre de
l’évaluation interne, Enquête réalisée auprès des ESSMS et des
autorités administratives, 2008.
Les limites de la démarche qualité __________
Les démarches qualité ne sont pas des outils
totalement désincarnés. Leurs logiques sous-jacentes
proviennent du champ industriel ou commercial. La
démarche qualité est une technique managériale qui
vise à l’efficience organisationnelle. Les objectifs se
posent en termes d’optimisation, de maîtrise des
processus et des coûts.
Ces remarques montrent que les démarches qualité
ne peuvent en aucun cas être appréciées
uniquement pour elles-mêmes. Il convient de se
livrer à une relecture critique de l’outil. Même si elles
sont utiles et qu’elles ont contribué à transformer la
qualité dans les réalités et les pratiques, les
démarches qualité restent lacunaires à rendre
compte de façon globale de la qualité des activités et
des prestations d’un établissement.
On constate un développement des démarches
qualité à travers un foisonnement d’initiatives. Par
exemple en 2005, la DGAS a fait paraître le
référentiel
national
« Accueil,
hébergement,
insertion » (AHI) destiné aux CHRS. Un référentiel
Prestations/coûts est à ce titre en cours de
construction (Chantier Refondation).
La loi 2002-2 n’aborde pas la question des
démarches qualité mais créée une obligation en
matière d’évaluation.
Des réflexions renouvelées sur l’évaluation, non
corsetées par les logiques et les méthodes de
démarches qualité, ont commencé à se développer
progressivement (en 2004 un séminaire interne de
l’UNIOPSS suivi en 2006 d’un texte de positionnement
politique relatif à l’évaluation ; en 2006 une charte de
l’évaluation interne des acteurs de l’exclusion en région
PACA9, etc.). Des réseaux comme la FNARS10
l’association PROMOQUALTS11, le RéseauEval12, …
ont su développer des démarches d’évaluation
intéressantes.
De nombreuses expériences utilisent des
« référentiels qualité » sans pouvoir les discuter,
comme des normes, des formes d’injonctions
auxquelles la structure doit se conformer. A travers
un système de cotation, cette méthode ne
s’interroge pas sur ses éventuelles limites au
regard des objectifs affichés et ne permet pas une
réflexion en amont sur les questions de sens, de
stratégie, de vision des finalités. Mais la
conformité ne nous dit rien sur la qualité du
service rendu aux usagers.
9
La FNARS, la DRASS PACA et l’IRTS ont signé cette charte le
er
1 décembre 2006. L’objectif est de créer une culture partagée
pour réussir l’évaluation des activités et de la qualité des
prestations.
La particularité de la relation en travail social est
celle de la subjectivité à travers laquelle se joue et
se rejoue la qualité du service. Par ailleurs l’idée de
labelliser cette relation ne peut-être retenue
comme pertinente pour Pierre Savignat. En effet
l’action sociale n’est pas totalement rationalisable.
10
FNARS, L’Evaluation, des repères pour agir, Recueils et
documents n°34, août 2005.
11
PROMOQUALTS, promotion de la qualité en travail social,
Méthodologie pour l’évaluation interne des établissements sociaux
et médico-sociaux.
12
www.reseaueval.org.
3
Supplément de la Gazette - mars 2010
L’évaluation en actes _____________________
Ainsi l’évaluation a pour finalités de produire de la
connaissance, de former un jugement, d'aider à la
décision.
Les principes d’un questionnement évaluatif font
référence à des thématiques mobilisées dans le
champ des politiques publiques : pertinence, cohérence, efficacité, efficience, impact mais aussi
utilité sociale.
Le questionnement évaluatif va conduire à produire
de la connaissance partagée à travers la
dimension participative du processus.
Cette connaissance va être confrontée à des
critères, des références qui permettront ensuite le
travail d’analyse et de synthèse : c’est la création
de référentiels. Ils résultent de choix, de critères
qui doivent être discutés en amont du processus
évaluatif ; ils sont problématisés et propres à
chaque structure ; ils peuvent être revisités en
permanence et sont donc évolutifs ;
l’amélioration en continue des pratiques.
c’est
Partir avec un référentiel extérieur même adapté
conduit à des pratiques plus proches de l’audit,
voire du contrôle que de l’évaluation. De plus, le
danger avec les référentiels préconstruits c’est
qu’ils opèrent une réduction du réel et sont donc
très lacunaires pour rendre compte de réalités
complexes.
Il est important de faire se compléter les données
quantitatives et qualitatives. Pour cela le processus
évaluatif nécessite une procédure et un dispositif
formalisés et adaptés, qui vont se décliner en un
certain nombre d’étapes : l’engagement, le projet
d’évaluation, le dispositif opérationnel, la collecte
d’information, l’analyse et la finalisation.
Conclusion ________________________
Les démarches qualité, qui regardent la conformité
des procédures et des pratiques, ne disent rien sur
la qualité de ces pratiques et sur leur adaptation
aux besoins des personnes accueillies.
confiance. Il passe essentiellement par des
relations humaines dans un cadre de liberté et de
fraternité citoyenne d’essence associative, et non
par une prestation marchande.
Le processus évaluatif est non seulement utile pour
redonner du sens aux actions en direction des
publics mais indispensable dans un contexte de
mise en question du travail d’action sociale.
A un moment où les politiques de l’Etat dans le
cadre de l’action sociale (voir les arbitrages
budgétaires)
s’annoncent
défavorables
aux
dispositifs de solidarité, les démarches d’évaluation
doivent nous permettre, au niveau de tous les
territoires, établissement par établissement et
collectivement, de garantir la qualité du travail
social et d’objectiver le rôle essentiel de cet
accompagnement auprès des personnes vulnérables pour sauvegarder une cohésion sociale.
Centrée sur les besoins des usagers, l’évaluation
est un levier pour mettre en œuvre un management
par la qualité.
Le travail d’accompagnement auprès de chaque
personne en situation d’exclusion, suivant ses
propres nécessités du moment, est fait dans la
durée, de dialogue, d’échange, de présence et de
Nathalie Nebout
[email protected]
A savoir…
 Actuellement vous pouvez aller sur le site intranet de la FNARS (rubrique Evaluation) pour télécharger l’ensemble des
référentiels réalisés par les adhérents du réseau : CHRS+, 115+, CADA+……
 Vous pouvez télécharger le « Guide d’analyse des pratiques en vue des évaluations internes et externes » sur le site
internet FNARS
 En avril 2010, la FNARS publiera un ouvrage « Fiches pratiques : Evaluation interne et externe » qui sera
envoyé à chaque établissement adhérent.
Cet ouvrage synthétique et pratique a pour objectif d’apporter des éléments méthodologiques pour accompagner les
établissements dans la mise en œuvre des démarches d’évaluations, internes et externes.
FNARS – Fédération nationale des associations d'accueil et de réinsertion sociale
76 rue du Faubourg Saint-Denis 75010 Paris - Tél. 01 48 01 82 00 – Fax 01 47 70 27 02
www.fnars.org - [email protected]