Concevoir et exploiter des enquêtes de satisfaction

Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Concevoir et exploiter des
enquêtes de satisfaction
(en ligne/hors ligne)
avec Gestpoll
Session de formation
6 octobre 2011 (Roanne)
1
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Sommaire
Introduction......................................................................................................................................4
Quels chiffres ?................................................................................................................................4
Les chiffres descriptifs................................................................................................................4
Les chiffres explicatifs................................................................................................................5
Concevoir un questionnaire.............................................................................................................5
A la recherche de l'information pertinente..................................................................................5
Définir l'objet de l'enquête..........................................................................................................5
Avoir des idées.................................................................................................................................6
Des objectifs bien ciblés ........................................................................................................6
Des objectifs opérationnels....................................................................................................6
Les deux parties d'un questionnaire ................................................................................................6
La détermination sociale.............................................................................................................6
L'échantillon................................................................................................................................7
La fabrication d'un questionnaire.....................................................................................................7
Les déterminant sociaux..............................................................................................................7
Les règles du questionnement.....................................................................................................7
Questions ouvertes ou questions fermées ?............................................................................7
Les types de questions.....................................................................................................................8
Le type qualitatif.........................................................................................................................8
Le type numérique......................................................................................................................8
Le type texte................................................................................................................................8
Les autres types...........................................................................................................................9
Éviter les erreurs techniques............................................................................................................9
Une présentation soignée.................................................................................................................9
Le test du questionnaire...................................................................................................................9
Exploitation du questionnaire........................................................................................................10
Quelques définitions.................................................................................................................10
Population ............................................................................................................................10
Individu ...............................................................................................................................10
Variable.................................................................................................................................10
Échelle .................................................................................................................................10
Modalité, classe, effectif.......................................................................................................10
Moyenne, mode, médiane, variance, écart-type...................................................................11
Statistique uni-dimensionnelle, statistique bi-dimensionnelle..................................................11
Les tris.......................................................................................................................................11
Les représentations graphiques.................................................................................................11
Les 10 commandements pour une enquête de qualité :......................................................................13
L'enquête de satisfaction.....................................................................................................................14
Dix recommandations ...................................................................................................................14
Un peu de brain-storming..............................................................................................................15
Références :........................................................................................................................................16
Exercices.............................................................................................................................................17
1 – Questionnaire de satisfaction adressé aux clients d'une société de services (aide à la
personne) concernant l'accueil.......................................................................................................17
2
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
2 -Questionnaire de satisfaction à l'issue d'un séjour à l'hôpital....................................................17
3 – Questionnaire de satisfaction adressé aux clients d'une entreprise de déménagement (après la
prestation)......................................................................................................................................17
3
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Introduction
« On ne pilote bien que ce que l'on mesure ». De plus en plus la représentation de la réalité passe
par des chiffres : degré de maturité, indice de satisfaction, etc.
Il est donc nécessaire de produire ces chiffres.
Dans le cas des questionnaires de satisfaction l'article 2 311-6 de la loi 2002-2 et le décret du 27
mars 2004 en font, pour certaines situations, une obligation. OVE a étendu la dite obligation à
l'ensemble de ses ESMS quel que soit le cas de figure. Tous les ESMS doivent donc satisfaire à
cette obligation et mettre en place des questionnaires dans 3 directions : usagers, familles et
partenaires.
Quels chiffres ?
Deux grandes catégories : les chiffres descriptifs et les chiffres explicatifs.
Les chiffres descriptifs
Leur objectif est d'être le plus précis possible : le recensement, l'audimat, etc. sont porteurs d'enjeux
économiques, sociaux, politiques importants.
Les chiffres descriptifs ne sont pas pour autant faciles à produire, pas plus qu'ils ne sont d'euxmêmes significatifs.
Exemple pour décrire l'activité d'un SESSAD je peux citer 34, 49, 45 :
•
34 places,
•
49 usagers
•
45 actes (sachant qu'un SESSAD dispense 1 acte par jour et par usager).
=> le chiffre descriptif requière une médiation.
Face à une nécessité de production de chiffres deux questions doivent se poser :
•
Pourquoi compter ?
•
À quel usage servira le comptage ?
Une autre catégorie de chiffres descriptifs est constituée par les sondages. Ils visent aux aussi à la
précision mais avec un objectif démonstratif. A ce titre ils appellent des « gros » chiffres (plus de
50%, la majorité, le plus souvent).
ex : Le Monde 9 mai 2011 : « Une majorité de Français (67 %) souhaitent conserver la monnaie
unique, alors que seulement 30 % préfèreraient revenir au franc, selon un sondage publié lundi
par le quotidien Le Parisien-Aujourd'hui en France.
Réalisé à l'occasion de la Journée de l'Europe, le sondage révèle que si 67 % des Français
pensent qu'il faut conserver l'euro, une large majorité (82 %) estime cependant l'euro
responsable de l'augmentation du coût de la vie.
Quand on demande aux Français quelles idées incarnent le mieux l'Union européenne
aujourd'hui, ils citent en premier "l'économie de marché", à égalité avec "la paix" (21 %),
4
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
suivies de loin par la "démocratie" (12 %).
Invités à choisir dans une liste les sentiments qui leur viennent d'abord à l'esprit quand ils
pensent à l'Europe ou à l'UE, les Français sont 30 % à choisir "espoir", et presque autant à
penser à "déception" (29 %). Ils sont 5 % à évoquer le "rejet" et autant la "satisfaction".
Selon le même sondage, le principal reproche fait à l'Europe par les sondés est sa "complexité"
(77 %). De plus, 60 % d'entre eux associent l'UE au "chômage". »
Pour arriver à ces chiffres on amalgame diverses catégories de réponses.
Les chiffres explicatifs
Ils ressortissent à la statistique et tendent à l'objectivation (laquelle ne se confond pas avec
l'objectivité).
Il faut, dit Durkheim (in Règles de la méthode sociologique), « considérer les faits sociaux comme
des choses. ». Cf la célèbre étude de Durkheim sur le suicide dans laquelle il s'appuie sur des études
statistiques policières et judiciaires pour mesurer la réalité quantitative du suicide dans différents
pays et surtout des critères sociaux : situation matrimoniale, religion, âge, etc. Aujourd'hui encore le
taux de suicide est toujours symbolique des indicateurs sociaux.
Ex : si l'on interroge des couples sur les raisons qui les ont fait tomber amoureux on n’obtiendra
certainement pas les mêmes réponses que si l'on se livre à une enquête sur les CSP des conjoints
qui invariablement fera ressortir que 1% seulement de femmes cadres mais 79% de femmes
ouvrières non qualifiées vivent avec des hommes ouvriers.
Il s'agit de rompre avec la démarche individuelle pour tenter de saisir le réel. C'est ce à quoi va
tendre l'enquête.
Ce bref préambule pour donner à penser qu'envisager une enquête ne se résume pas au choix de
telle ou telle technique mais consiste à se demander quels sont les objectifs poursuivis. Ce que nous
cherchons trouve-t-il son explication dans les logiques individuelles ou dans la détermination
d'indicateurs ?
Concevoir un questionnaire
A la recherche de l'information pertinente
Le questionnaire aura pour objet de saisir dans le réel des éléments pertinents et utiles à notre objet
ou à notre action.
Définir l'objet de l'enquête
Cela suppose de faire retour sur les notions (les concepts) qui seront au centre de l'étude. Cette
démarche n'est pas nécessairement compliquée, elle est néanmoins indispensable.
Si l'on veut conduire, par exemple, une enquête sur les loisirs il faut, au préalable définir ce que
l'on nomme ainsi. Le tricot, le bricolage, le jardinage sont-ils des loisirs ? Dans ce cas deux
solutions s'offrent à nous :
•
laisser aux personnes qui pratiquent cette activité le soin de définir si le tricot, le
bricolage, le jardinage sont des loisirs, mais cela présente le risque de créer de la
5
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
confusion,
•
déterminer si ce sont des loisirs en fonction d'options théoriques, ainsi si l'on considère
que le loisir désigne des activités non productives cela conduira à exclure le tricot, le
bricolage, le jardinage du champ de l'enquête.
Il conviendra également de définir la population.
L'enquête s'adresse-t-elle aux parents ? Ensemble ? Séparément ? Aux familles d'accueil ? Aux
partenaires institutionnels ?
Avoir des idées
La première phase du travail ne va pas consister en la rédaction du questionnaire. Il va falloir,
d'abord, rassembler ses idées, élaborer une problématique, un questionnement théorique. On va
ainsi formuler des hypothèses, déterminer des objectifs. Ceux-ci doivent être clairs pour tout le
monde, bien ciblés et opérationnels. Il est donc important que la finalité première et le type de
résultats attendus soient écrits et validés, avant d'aller plus loin. Une simple carte mentale des
questions (quoi, quand, où, pourquoi, comment, qui) peut y aider.
Des objectifs bien ciblés
Comme dans tout projet, il est tentant, lorsqu'on planifie une enquête, de penser à différents
objectifs complémentaires qu'on pourrait atteindre “pendant qu'on y est” et parce que “c'est
dommage qu'on n'en profite pas pour également...”
C'est le plus sûr moyen d'arriver à des questionnaires complexes, qui dispersent l'attention de
l'interlocuteur sur différents sujets. Mieux vaut se concentrer sur le sujet principal, sans digressions
et rattachements artificiels. Si un sujet complémentaire ne semble pas mériter une autre enquête à
lui tout seul, c'est probablement qu'il n'est pas tellement important.
Des objectifs opérationnels
Les objectifs doivent également être opérationnels et susceptibles de déboucher sur des actions
concrètes. Trop souvent, des enquêtes sont réalisées et de nombreuses questions posées “parce que
c'est intéressant”. Il convient à chaque fois de se demander si cet intérêt a un prolongement concret
et peut se traduire ensuite par des décisions et des améliorations effectives. Si tel n’est pas le cas, le
seul fait de soulever la question peut engendrer lui-même des promesses et des insatisfactions
supplémentaires.
A ce stade il va être nécessaire d'émettre des hypothèses vérifiables en vue d'obtenir des résultats
généralisables.
Les deux parties d'un questionnaire
Un questionnaire doit comprendre au moins deux parties : celle sur l'objet de l'enquête et celle sur
les déterminants.
La détermination sociale
Il s'agit, à minima, d'une partie signalétique permettant de caractériser chaque répondant (même
en cas de questionnaire anonyme). Dans la plupart de nos enquêtes nous n'aurons pas à sélectionner
6
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
un échantillon ou à définir des quotas : nous allons, en effet, viser l'exhaustivité. Cependant celle-ci
ne sera que rarement atteinte et il pourra être nécessaire de croiser les réponses obtenus avec la
détermination (sociale, par exemple) des répondants. Il pourra être intéressant aussi de savoir qui
n'a pas répondu et de se demander pourquoi.
L'échantillon
Comme indiqué ci-dessus, nous n'aurons que rarement à nous poser la question d'un échantillon. Si
nous devons le faire, il conviendra d'approfondir les différentes méthodes. Si toute la population de
référence est connue le tirage au sort peut être satisfaisant. Les sondages quant à eux recourent à la
méthode des quotas qui bâtit un modèle réduit de la population. On peut recourir aussi à la méthode
des échantillons stratifiés.
La fabrication d'un questionnaire
Les déterminant sociaux
Ils pourront comprendre le sexe, l'âge, la position sociale, la position familiale, l'origine, la
catégorie socio-professionnelle, etc. Il est conseillé de ne pas les placer au début du questionnaire.
Les règles du questionnement
Questions ouvertes ou questions fermées ?
Les unes et les autres ont des avantages et des inconvénients. Les questions ouvertes peuvent offrir
une meilleure connaissance de la population, leur traitement sera plus long, plus complexe et le
résultat aléatoire.
Dans tous les cas il faudra veiller à ne pas imposer notre propre problématique : nous réalisons une
enquête pour chercher ce que l'on ne connaît pas et non pour avoir confirmation de ce que l'on sait
déjà.
Ainsi il faudra veiller à :
•
inclure, si nécessaire, une option « sans opinion »,
•
utiliser les filtres : « Votre enfant a-t-il bénéficié d'une journée d'accueil ? » Si oui « Pensez
vous que cette journée ait été utile ? » Si non à cette question « Pouvez-vous dire
pourquoi ? »
•
être vigilant à la tonalité des mots : les réponses « oui » à la question « pensez-vous qu'il
faille interdire le téléphone portable à l'IME ? » seront toujours moins nombreuses que les
réponses « non » à la question « pensez-vous qu'il faille autoriser le téléphone portable à
l'IME ? ». Le mot « interdire » déclenche généralement une réaction de rejet.
•
autoriser les doubles ou triples réponses : un cadre en train de lire un roman policier oubliera
moins de le dire si on lui demande « les deux derniers livres lus » il indiquera plus
facilement « roman policier » et « le dernier essai de Jacques Attali ».
•
être attentif aux mots introductifs. Ainsi les questions suivantes ne sont pas équivalentes :
1. Les fonctionnaires sont-ils privilégiés ?
7
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
2. Pensez-vous que les fonctionnaires sont des privilégiés ?
3. Trouvez-vous que les fonctionnaires sont des privilégiés ?
4. Estimez-vous que les fonctionnaires sont des privilégiés ?
5. Diriez-vous que les fonctionnaires sont des privilégiés ?
Autre exemple : « Croyez-vous en Dieu ? » obtient 81 % de oui et « Est-ce que vous croyez
en Dieu ? » seulement 66%.
Éviter absolument d'introduire une question par « croyez-vous que ? » qui a le double sens
de « pensez-vous que ? » (je le juge) et de « voulez-vous que ? » (je le veux). Ex : « croyezvous que l'équipe de France va être championne du monde ? ».
•
garantir la protection des personnes, se poser la question de l'anonymat.
•
veiller à la cohérence dans l'expression du répondant : pas de coq-à-l'âne, les questions sur
les déterminants sociaux, si elles sont approfondies, passent mieux à la fin du questionnaire.
•
la question de la délégation peut aussi avoir son importance : un questionnaire pour chaque
parent ou un questionnaire pour les deux peuvent conduire à des résultats différents.
Les types de questions
Les différents types de questions
Selon l’information à recueillir, nous opterons pour l’un ou l’autre des types de questions ci-après :
Le type qualitatif
Les questions qualitatives sont les plus courantes dans les enquêtes. On propose une liste de
réponses et la personne interrogée doit en choisir une ou plusieurs. Cette notion de réponse unique
ou multiple doit d’ailleurs être précisée dans le questionnaire, pour éviter toute ambiguïté.
Ces questions qualitatives sont faciles à traiter. L’utilisateur obtient en résultat des tableaux de
répartition simples ou croisés des répondants sur les différentes réponses proposées. De nombreux
traitements statistiques sont également applicables facilement.
Toutefois, ce type de questions exige d’avoir prévu à l’avance toutes les réponses possibles à la
questions, ou de recodifier a posteriori les réponses “autres” recueillies.
Le type numérique
Les questions numériques attendent une réponse chiffrée. Il peut s’agir d’une quantité, d’un âge,
d’un prix, d’une note... Il est indispensable, pour obtenir une réponse valable, de bien indiquer
l’unité attendue et, lorsqu’il s’agit d’une note, le sens retenu (1 pouvant être la meilleure note ou la
moins bonne).
Attention : avant de retenir le type numérique pour une question, il faut se demander si la
personne interrogée pourrait ou voudrait bien donner une valeur précise à cette question. S’il
s’agit d’une note, ce sera sans doute le cas. En revanche, pour des questions comme l’âge, le
revenu ou la fréquence d’un comportement, il est préférable de proposer des tranches. Il s’agira
dans ce cas d’une question qualitative et non plus numérique.
Les questions numériques autorisent encore plus de traitements statistiques que les variables
8
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
qualitatives (puisqu’on peut les traiter en numériques et les recodifier en qualitatives).
Le type texte
Les questions de type texte correspondent aux questions complètement ouvertes, qui proposent au
répondant de répondre librement à la question, par une ou plusieurs phrases.
Ces questions sont très souvent employées par les utilisateurs occasionnels d’enquêtes, qui pensent
ainsi capter plus d’éléments en laissant la liberté complète de réponse aux personnes interrogées. Or
on s’aperçoit vite, à l’usage, que des questions fermées bien posées apportent beaucoup plus
d’éléments exploitables que ces questions ouvertes. Nous vous conseillons donc d’en faire un usage
modéré, en les réservant notamment à un commentaire libre en fin de questionnaire.
Les autres types
Il s’agit notamment des questions de type date, heure et calcul qu’il arrive d’utiliser dans les
questionnaires. Si les deux premiers sont d’un usage évident, le type calculé, lui, correspond à une
utilisation plus avancée, utile notamment dans le cas des questionnaires administrés et saisis en
direct (au téléphone par exemple). Il s’agit de questions qui prennent automatiquement des valeurs
en fonctions des réponses données aux questions précédentes et qui peuvent permettre ainsi
d’orienter la suite du questionnaire. Ainsi, on peut demander à une personne qui a donné des
évaluations très mauvaises à une série d’items, plus de détail sur ce qui motive son appréciation très
négative.
Éviter les erreurs techniques
•
Ne mettre qu'une question par question : que signifie le « non » à la question « êtes-vous
pour les ceintures de sécurité à l'arrière ? », personne ne peut le dire.
•
Ménager la mémoire des répondants, penser à l'ordre des listes.
•
Réfléchir à l'impact des réponses « centristes ».
•
éviter les doubles négations : « ne pensez-vous pas qu'il aurait mieux valu que la France ne
participe pas à la Coupe du Monde de Rugby ? ».
•
Maîtriser l'ordre des questions.
•
Attention à la profondeur des filtres.
Une présentation soignée
Si l’organisation et le contenu du questionnaire sont essentiels, sa présentation est également très
importante, qu’il s’agisse de questionnaires auto-administrés ou de questionnaires administrés par
des enquêteurs. Les premiers doivent absolument être clairs et attractifs pour les répondants, afin de
les inciter à répondre. Les seconds doivent faciliter au maximum le travail de l’enquêteur en
comportant toutes les indications utiles sur ce qui doit être dit et sur les différents cheminements
conditionnels dans le questionnaire.
Dans les deux cas, les différentes parties doivent être clairement identifiées. Le questionnaire doit
avoir un encombrement réduit, grâce à une mise en page optimisée qui devra s’attacher, dans le
même temps, à garder la place nécessaire pour l’indication des réponses.
9
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Le test du questionnaire
Malgré toute l'attention portée à sa conception, le questionnaire doit être testé en réel. Il faut le faire
sur un petit échantillon, différent de celui constitué pour l'enquête pour ne pas "gâcher" des contacts
bien identifiés, avant de passer à la phase d'administration. C'est une phase clé car rien ne peut
remplacer la réalité du terrain. La qualité du traitement des données et des résultats en dépendent.
Exploitation du questionnaire
L'exploitation du questionnaire répond à deux finalités :
•
décrire la population que l'on étudie, ses comportements, ses pratiques,
•
expliquer ces mêmes comportements et pratiques, en tirer des enseignements pour notre
propre action.
Cela va conduire à dénombrer, faire des tris, représenter. Toutes opérations qui relèvent des
statistiques.
Quelques définitions
•
Population
On appelle population un ensemble soumis à une étude statistique.
•
Individu
Un individu est une unité statistique. Les individus ne sont pas nécessairement des
individus au sens physique du terme. Un individu est caractérisé.
•
Variable
Les caractéristiques sont mesurées par des variables. Une variable est une
caractéristique susceptible de prendre plusieurs des valeurs d’un ensemble auquel
une mesure numérique peut être appliquée (par ex., revenu, âge, poids).
•
Échelle
Ces mesures sont faites sur 3 échelles différentes :
•
échelle cardinale ou numérique ou quantitative : un nombre, derrière
ce nombre il y a une unité : “l’individu mesure 1,73m”
•
échelle ordinale : chaque individu sera classé selon une valeur
d’ordre. Exemple : dans une classe un élève est 1er, 2eme, 3eme . . ..
Autre exemple : variables de type “échelle” : peu satisfait, très satisfait
•
échelle nominale : l’individu est mesuré sur une échelle nominale.
Exemple : Homme - Femme c’est une mesure, ici une modalité à
choix unique. Les variables peuvent être fermées uniques, fermées
multiples (exemple : sport (vélo, tennis, rugby, autre) : vélo + tennis,
vélo + rugby + autre). Il n’y a pas d’ordre, pas de nombre mais
l’univers est fini. Les caractéristiques cardinales, nominales, ordinales
10
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
peuvent être mélangées.
•
Modalité, classe, effectif
Modalités : les valeurs que prend le caractère étudié. Classe : regroupement opéré
dans le cas d’une variable continue. Effectif : l’effectif d’une modalité est égal au
nombre d’individus qui prennent cette valeur,
•
Moyenne, mode, médiane, variance, écart-type
Variance et écart-type permettent d'observer comment deux variables s'écartent de la
moyenne.
La variance d'une série statistique est la moyenne arithmétique des carrés des écarts
à la moyenne. L'écart-type est la racine carré de la variance. Le mode désigne la
valeur la plus représentée d'une variable quelconque dans une population d'objets, de
personnes, de choses. La médiane est la valeur qui permet de partager une série
numérique en deux parties de même nombre d'éléments.
Statistique uni-dimensionnelle, statistique bi-dimensionnelle
La statistique unidimensionnelle résume, de plusieurs façons, un ensemble de valeurs numériques
d’une variable. Elle ne va pas plus loin. La statistique bi-dimensionnelle permet de découvrir les
liens qui existent entre deux de ces variables.
Les tris
•
Tri à plat Il consiste à décrire pour chaque variable les quantités ou les pourcentages
associés. Le tri à plat ne permet pas de mettre en relation deux variables.
•
Tri croisé Croisement des résultats obtenus sur deux questions (variables) d’un
questionnaire. Les tris croisés permettent de mettre en évidence des différences de
comportement sur les sous-populations étudiées ou l’existence de variables explicatives et
de corrélations entre deux variables. Dans une enquête sur le tabagisme, il peut par exemple
être judicieux de faire un tri croisé entre l’état ou non de fumeur et l’âge ou le sexe. Un tri
croisé correspond à ce qu’en statistiques on appelle un tableau de contingence : c’est un
tableau statistique dans lequel sont confrontées les réponses à deux questions différentes,
l’une étant figurée en lignes et l’autre en colonnes. Un tel tableau permet de tester
l’existence d’une relation statistique entre deux variables, et le cas échéant d'établir la forme
de cette relation.
11
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
Les représentations graphiques
•
Diagramme en barre
•
Histogramme
•
Diagramme circulaire
12
06/10/2011
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
•
Polygone des effectifs cumulés
•
Nuage de points
•
Boîte à moustaches
06/10/2011
Les 10 commandements pour une enquête de qualité :
1.
Établir par écrit des objectifs clairs, précis et opérationnels à l’enquête puis les faire
valider par les personnes concernées,
2.
Identifier précisément la cible de l’enquête (population-mère) et choisir (s'il y a lieu) un
échantillon représentatif,
3.
Choisir un nombre restreint de quotas et avoir recours à des quotas simples plutôt qu’à
des quotas croisés,
4.
Concentrer les questions posées sur le seul objectif de l’enquête et ne pas ajouter des
questions inutiles, même si elles sont intéressantes par ailleurs,
5.
Organiser le questionnaire en parties claires en partant du général au particulier et des
13
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
questions neutres aux questions engageantes,
6.
Ne pas multiplier les questions ouvertes qui apportent beaucoup moins d’informations
que des questions fermées bien posées,
7.
Utiliser un langage clair, simple et compréhensible par tous,
8.
Soigner la présentation du questionnaire et indiquer clairement les consignes et les
informations nécessaires aux enquêteurs et/ou répondants
9.
Insister auprès de tous les intervenants en général et des enquêteurs et du personnel de
saisie en particulier sur la nécessité d’une grande rigueur,
10. Être prudent dans l’interprétation et la restitution des résultats en étant bien conscient
des marges d’erreur.
14
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
L'enquête de satisfaction
Cf article L.312-8 du code de l’action sociale et des familles
« Les établissements et services mentionnés à l'article L. 312-1 procèdent à des évaluations de leurs
activités et de la qualité des prestations qu'ils délivrent, au regard notamment de procédures, de
références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de
carence, élaborées, selon les catégories d'établissements ou de services, par l'Agence nationale de
l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux. Les résultats
des évaluations sont communiqués à l'autorité ayant délivré l'autorisation. »
Recommandations ANESM : « Expression et participation des usagers dans les établissements
relevant du secteur de l’inclusion sociale » mars 2008.
Décret n° 2004-287 du 25 mars 2004 relatif au conseil de la vie sociale et aux autres formes de
participation institués à l'article L. 311-6 du code de l'action sociale et des familles.
« La participation prévue à l'article L. 311-5 du code de l'action sociale et des familles peut
également s'exercer :
•
(…)
•
par la mise en oeuvre d'enquêtes de satisfaction. Ces enquêtes sont obligatoires pour les
services prenant en charge à domicile des personnes dont la situation ne permet pas de
recourir aux autres formes de participation prévues par le présent décret. »
OVE a étendu la dite obligation à l'ensemble de ses ESMS quel que soit le cas de figure. Tous
les ESMS doivent donc satisfaire à cette obligation et mettre en place des questionnaires dans 3
directions : usagers, familles et partenaires.
Recommandation ANESM mars 2008 : Expression et participation des usagers dans les
établissements relevant du secteur de l’inclusion sociale
extrait
« (...)
5. LES DISPOSITIFS DE RECUEIL D’OPINION (ENQUETES DE SATISFACTION ET
AUTRES MODALITES)
Il est recommandé de mettre en place des enquêtes de satisfaction qui permettent réellement aux
résidents de se situer comme « citoyens clients », bénéficiaires d’une prestation de service dont ils
soient en mesure d’en juger la qualité. Il y a lieu de prévoir des modes d’élaboration et de
formalisation de l’opinion de l’usager qui rendent pertinentes et utiles - du point de vue du résident
- les enquêtes proposées.
• 5.1 Dans le cadre des démarches qualité, s’assurer que l’opinion des résidents est prise en
compte. Il s’agit de s’assurer que l’évaluation ou la mesure de la qualité ne court-circuite
pas le point de vue de l’usager - résident.
• 5.2 Cibler les questionnaires sur des questions précises et concrètes. Les professionnels
constatent que les enquêtes de satisfaction portant sur des questions générales ne sont pas
remplies. C’est pourquoi il est recommandé de cibler les questions sur des aspects pratiques
et concrets, liés à des « prestations » identifiables.
• 5.3 Faciliter la lisibilité des questionnaires. Il y a plusieurs manières de faciliter cette
lisibilité et cette compréhension :- en utilisant des mots simples pour formuler les questions-
15
Christian Viallon
•
•
•
•
•
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
en assurant éventuellement une traduction des questions dans les langues usuelles.5.4
Intégrer au questionnaire des questions ouvertes. Malgré la difficulté probable pour
certains à remplir des questions semi-ouvertes, il est préférable de ne pas utiliser de
questionnaires à choix multiples, trop standardisés et fonctionnels. La possibilité de
répondre à des questions ouvertes permet d’instaurer un dialogue quant au sens même de la
démarche de recueil d’opinion. Sur ce dernier point, un groupe de réflexion de la
Fédération nationale des associations d'accueil et de réinsertion sociale a proposé des
formulations de questions ouvertes. Par exemple : décrivez tel ou tel aspect de
l’établissement, qu’auriez-vous aimé voir en arrivant dans l’établissement en matière de…,
quels sont vos désirs ?
5.5 Accompagner la démarche de réponse au questionnaire. Tout en respectant la liberté de
réponse et l’anonymat du questionnaire, il est souhaitable que les personnes soient - à leur
demande - accompagnées dans la compréhension du questionnaire,de ses enjeux, et aidées
dans la formulation adéquate des réponses.
5.6 Garantir l’anonymat des questionnaires. L’anonymat des réponses est garanti, comme
cela se pratique en général dans toute enquête de satisfaction. Expression et participation
des usagers dans les établissements relevant du secteur de l’inclusion sociale.
5.7 Utiliser les moments forts pour demander leur avis aux usagers. Ces moments forts pour
demander leur avis aux usagers peuvent être celui de la rédaction du projet individualisé,
l’entrée, la sortie de l’établissement, etc.
5.8 Assurer le retour des informations recueillies auprès des usagers. Le retour des
informations recueillies auprès des usagers s’effectue soit vers le CVS lorsqu’il existe, soit
vers l’ensemble des résidents.
5.9 Apporter des solutions concrètes aux problèmes évoqués, en y associant les résidents. Il
s’agit d’apporter des solutions concrètes aux problèmes évoqués, soit directement, soit par
l’intermédiaire du CVS lorsqu’il existe. Il importe ensuite de rendre publiques ces réponses.
Il est d’ailleurs souhaitable d’associer les résidents à la recherche des solutions aux
problèmes posés. »
Des indicateurs de qualité aux indicateurs de satisfaction
16
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Dix recommandations
Selon Sylvie Faugeras
•
Définir les objectifs et le champ de l'enquête
•
Définir l'organisation de l'enquête
•
Identifier la population ciblée par l'enquête
•
Effectuer les recherches et les rencontres préalables
•
Choisir une méthode d'investigation
•
Élaborer le questionnaire
•
Tester le questionnaire
•
Mettre en oeuvre la méthode de l'évaluation quantitative
•
Transformer la voix des usagers en attentes et en besoins : la méthode de l'analyse
qualitative
•
Présenter les résultats
Une enquête de satisfaction au sein d'un ESSMS se gère comme un projet : ce projet doit avoir un
responsable, doit être piloté, évalué. La carte heuristique suivante liste quelques unes des questions
à se poser.
17
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
Un peu de brain-storming
18
06/10/2011
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Références :
•
De Singly, François. L'enquête et ses méthodes : le questionnaire. Paris : Armand Colin,
2008. 128p.
•
Couty, Françoise, Debord, Jean, Fredon, Daniel. Mini manuel de probabilités et
statistiques. Paris : Dunod, 2007. 246 p.
•
Laroche, Frédéric. Promenades mathématiques : histoire, fondements, applications.
Paris : Ellipses, 2003. 451 p.
•
Faugeras Sylvie. L'évaluation de la satisfaction dans le secteur social et médico-social :
paroles d'usagers et démarche qualité. Paris : Seli Arslan 2007, 272 p.
•
Marietti-Ros Sandrine. La place de la satisfaction de l'usager dans la démarche
d'amélioration continue de la qualité. Rennes : ENSP (Mémoire Directeur d'EMSP) 2007,
84 p.
•
Lebaron, Frédéric : Les indicateurs sociaux au XXIe siècle. Paris : Dunod, 2011. 119 p.
•
Gestpoll : en ligne [ http://gestpoll.ove.asso.fr/ ]
•
Gestpoll : aide et support en ligne [ http://wiki.ove.asso.fr/wiki_supportdsi/doku.php?
id=gestpoll ]
19
Christian Viallon
Formation Gestpoll – enquêtes de satisfaction
06/10/2011
Exercices
1 – Questionnaire de satisfaction adressé aux clients d'une société de
services (aide à la personne) concernant l'accueil
Ce questionnaire s'adresse aux clients qui ont rendu visite (physiquement) à la société de
services. On cherchera à savoir comment le client a connu la société (on supposera que la société
a été trouvée après des recherches sur Internet).
On testera la satisfaction sur :
•
les renseignements sur Internet,
•
l'accueil téléphonique,
•
l'accueil physique.
Le client peut être un particulier, un professionnel, un partenaire, une association, un étudiant, ou
autre. On cherchera à connaître les raisons de la venue du client.
2 -Questionnaire de satisfaction à l'issue d'un séjour à l'hôpital
Le questionnaire est renseigné par le patient après sa sortie. On s'intéressera plus
particulièrement à :
•
l'arrivée,
•
l'accueil,
•
le séjour (alimentation, distraction, etc.),
•
les soins (médicaux et infirmiers),
•
le confort,
•
le départ.
3 – Questionnaire de satisfaction adressé aux clients d'une entreprise
de déménagement (après la prestation)
On cherchera à connaître :
•
comment l'entreprise a été connue,
•
les raisons du choix,
•
le motif du déménagement,
•
la satisfaction sur la prestation commerciale,
•
la satisfaction sur la prestation technique,
•
les suggestions d'amélioration.
20