Mener une enquête quantitative

Séance d’initiation méthodologique (1)
12 janvier 2012
Mener une enquête quantitative (1)
Julien Le Breton
Objectifs pédagogiques
Penser le schéma global de l’enquête
Concevoir un questionnaire : les grands principes
Anticiper les écueils
• Recueil d’informations biaisées, peu fiables ou inexploitables
Assurer la « représentativité »
• Comment choisir la population ?
Prendre en compte les particularités des données de santé
et du recueil auprès des médecins et des patients
La méthodologie d’enquête
« Science molle »
• Difficulté pour produire et disséminer de la connaissance
absolue en Méthodologie d’enquête
• Peu de choix invalides dans l’absolu et a priori
Choix méthodologiques très contextuels
• à l’objet d’étude
• à la population enquêtée
• au budget/temps disponible
Importance de la littérature et des études antérieures
pour valider un protocole d’enquête
Concevoir son enquête en amont
Qu’est ce qu’une enquête ?
• Quelles sont ses spécificités, ses enjeux et ses modalités ?
• Comment une enquête s’intègre-t-elle dans un processus
de recherche ou d’étude ?
• Quels sont les différents temps d’une enquête ? Quel est le
protocole global d’une enquête ?
Une enquête c’est …
Un recueil d'informations
• ayant des finalités de recueil et d'analyse précises
• articulé autour d'un questionnement structuré (questionnaires...)
• auprès d'une population bien définie et en nombre suffisant
Étude qualitative
Enquête quantitative
Approche
Extensive
Intensive
Structuration
Minimum
Maximum
Questionnement
Entretien ouvert
ou semi-dirigé
Questionnaire
standardisé
Répondant
Libre expression
Questions imposées
Réduit
Important
Nombre de sujets
Une enquête ≠ un questionnaire
Protocole global d’enquête
1. Définir l'objet de recherche/étude
2. Cibler les hypothèses à tester / identifier les mesures à effectuer
3. Définir une population de référence à représenter
4. Choisir un mode d’administration du questionnaire
5. Construire le questionnaire
6. Constituer un échantillon
7. Effectuer la collecte des données
8. Produire une base de données (codage/recodage des données)
9. Réaliser l’analyse statistique
10. Communiquer (écriture de rapport, article… ou thèse)
Une enquête ≠ un questionnaire
Protocole global d’enquête
1. Définir l'objet de recherche/étude
2. Cibler les hypothèses à tester / identifier les mesures à effectuer
3. Définir une population de référence à représenter
4. Choisir un mode d’administration du questionnaire
5. Construire le questionnaire
6. Constituer un échantillon
7. Effectuer la collecte des données
8. Produire une base de données (codage/recodage des données)
9. Réaliser l’analyse statistique
10. Communiquer (écriture de rapport, article… ou thèse)
L’enjeu méthodologique principal
Objectif final d’une enquête
• Ce que je mesure représente le plus fidèlement possible la
« réalité »
Pour cela, on cherche à maximiser chez les enquêtés
• La participation (à l’enquête)
• La compréhension (des questions mais aussi des enjeux
généraux de l’enquête)
• L’exhaustivité et la fiabilité des réponses : réponses à
toutes les questions de manière cohérente, honnête et interprétable
Assurer la fiabilité de l’enquête
Tout dans le protocole doit être guidé par la volonté d’assurer
la fiabilité de l’enquête et de maximiser cette adhésion
• La conception du questionnaire : le fond et la forme
• Le choix du mode d’administration du questionnaire
• La sélection des répondants (mais attention au pur volontariat
des enquêtés…)
• Les à-côtés du questionnaire et du recueil
• Les autres mécanismes cherchant à augmenter l’adhésion
au projet : incitations et contreparties éventuelles
L’adhésion au protocole d'enquête
Dimension cognitive et intellectuelle
• Compréhension des questions
• Autres difficultés pour répondre : nécessité de faire appel à
des connaissances précises, à des souvenirs, etc.
Dimension comportementale et sociale
• Volonté de participer à l’enquête
• Honnêteté des réponses
– questions sensibles, questionnements sur lequel l'enquêté
peut se sentir surveillé ou jugé
– risque de réponse par « désirabilité sociale »
Travail personnel
1. Définir l'objet de recherche / étude
2. Définir les hypothèses à tester / les mesures principales à effectuer
3. Définir une population de référence
Tour de table
Choisir un mode d’administration
Tour de table
Mode d’administration
Différentes modalités d’administration
• Face-à-face
• Téléphone
• Questionnaire « auto-administré » (par courrier ou mail)
• + Spécificités du recueil Internet
Avantages et inconvénients respectifs ?
Comment choisir le mode d’administration le plus adapté ?
Administration en face-à-face
Avantages
• Information plus détaillées : autorise les questions longues et
complexes, interaction visuelle (dessins, images…)
• Moins d’erreurs d’interprétation des questions
• Globalement améliore la participation, l’adhésion globale
Inconvénients
• Coût élevé + difficultés pour joindre les enquêtés
• Favorise les effets d’influence de l’enquêteur et les réponses par
« désirabilité sociale » / ne facilite pas le recueil de données
sensibles
Administration par téléphone
Avantages
• Peu coûteux
• Effet de neutralité par rapport à l'enquêté (questions sensibles)
• Autorise questionnaires moyennement longs : effet de lassitude
mais ne connaît pas à l’avance la longueur du questionnaire !
Inconvénients
• De plus en plus de refus + difficulté de joindre l’enquêté à un
moment propice
• Ne convient qu’aux questions simples (formulation), bien
structurées et avec peu de propositions de réponses
Questionnaire auto-administré
(courrier ou mail)
Avantages
• Faible coût (pas d'enquêteur)
• Renforce le sentiment d'anonymat de l'information transmise
• Liberté de répondre au moment le plus adéquat
• Permet le recueil d’informations plus spécifiques ou un suivi
prospectif
Inconvénients
• Les questionnaires doivent être courts et extrêmement clairs
• Risques d’incompréhension d'une question
• Augmente les risques de non réponse totale (questionnaire non
renvoyé) ou partielle (l'enquêté « saute » des questions)
Administration par Internet
Essor des éditeurs de questionnaires sur Internet
Avantages
• Avantages du recueil auto-administré
• Faible coût, ergonomie/rapidité, possibles relances systématiques
• Facile de toucher un grand nombre de personnes
• Utilisation via des forums / sites spécifiques pour des
professionnels (voire logiciels médicaux pour les médecins)
Inconvénients
• Peu adapté aux questionnaires trop longs
• Beaucoup de non-réponses
• Biais de sélection des répondants notamment en population
générale (professionnalisation des répondants aux enquêtes)
Mode d’administration en santé
Patients / malades
• Face-à-face préférable : captation / améliore la compréhension /
mise en empathie
• Utilisation des visites au cabinet, à l’hôpital, etc.
• Risque de stigmatisation : identité et cadre de l’enquête
Médecins
• Préférentiellement auto-administré : envoie par courrier, mail ou
via Internet
• Population peu disponible et peu adhérente : développer
l’accroche
Construire le questionnaire
Travail personnel
Réalisez une ébauche du questionnaire
• structure globale : contenu et organisation
• informations mesurées
• taille : nombre de questions
Rédiger la première question et les questions sur mesures principales
Construction du questionnaire
Le questionnaire = Objet central de l’enquête
• Contenu
• Organisation
• Ergonomie
Les informations mesurables
Bien différencier ce que l’on veut mesurer dans une question
• Opinions / Croyances / Satisfaction
• Descriptions
• Connaissances
• Comportements / Pratiques
• Projections / Intentions
Conception du questionnaire
Quelques règles
1. Une question = Une idée
2. La formulation de la question : précise et concise
3. La sémantique et le vocabulaire : langage simple et adapté
4. Ne pas influencer : rester neutre dans la formulation
5. Éviter les exemples et les généralisations
6. Utiliser des questions filtres si possible
7. Et surtout limiter l’effort nécessaire pour répondre
Structuration globale du questionnaire
Structure logique et progressive
• Par blocs / thèmes
• Ne pas passer du coq à l’âne fatigue et décrédibilise
Taille et ergonomie
• Attention à la taille (effet « bottin») et à la durée
• Arbitrage : niveau de précision / risque de non réponse
• Cas des médecins : privilégier des formes courtes
Penser à numéroter les questions (voire les items)
Soigner la première question
• Question « brise-glace » qui installe le climat
En cas de questionnaire auto-administré (courrier, internet)
• Utiliser des annotations « explicatives » si nécessaire
S’inspirer de l’existant
Ne pas réinventer la roue
• Se référer à la littérature : études et enquêtes antérieures
• Existence de nomenclatures faisant autorité
• En santé, existence de questionnaires ou modules « validés »
ou « répandus » dans la littérature
Dans les mesures de comportements, d’opinions…
Dans les descriptions et profils socio-démographiques
(professions, CSP, zones géographiques, etc.) INSEE
Dans les pratiques médicales, contenu et organisation DREES
Dans les mesures de état de santé, santé perçue, maladie
chronique, incapacité/invalidité, addiction, risque psychosocial...
Les différents types de questions
Questions fermées ou ouvertes
• Propositions de réponse / pas de proposition, libre expression
Questions catégorielles
• Items proposés exhaustifs et mutuellement exclusifs
Questions à réponse unique ou multiple
Questions ordinales (échelles)
• Échelles de fréquence, notations (de 1 à X) …
• Recueil de valeurs continues par tranches : âge, revenu…
• Échelle de satisfaction ou de jugement (échelle de Lickert)
Questions quantitatives (« Combien de…? »)
Les différents écueils (1)
Privilégiez les questions fermées
• Perte de précision éventuelle MAIS
• Réponses plus faciles/rapides
• Directement comparables entre enquêtés
faciles à traiter
Les questions ouvertes doivent être marginales
• En complément d’une question fermée
• Parfois utiles indépendamment de leur utilisation réelle
Expression enquêté
répondre davantage, plus honnêtement
Les réponses multiples peuvent diluer l’information
• Possibilité aussi de hiérarchiser les réponses effectuées
Les différents écueils (2)
Attention aux réponses « attractives »
• Les premières modalités dans une question avec trop d’items
• La modalité médiane dans une mesure d’échelle
• Les chiffres ronds pour les mesures quantitatives
Choisir le « bon nombre » d’items
• Trop : lassitude, complexité, attraction premières modalités
• Trop peu : on ne mesure pas avec précision le phénomène
Les items ne doivent être trop déséquilibrés
• Si 90% de réponse dans un item et 1 ou 2% dans les autres
• on ne capte pas la variance entre les répondants
Intérêt de la modalité « Autres »
• Regrouper les cas rares, complétée par question ouverte
Les différents écueils (3)
L’« effet de liste »
Pas de comparabilité entre question fermée et ouverte sur un
même thème
Exemple des « maladies »
• Agrégation (liste) vs. atomisation des réponses (pas de liste)
• Pas d’induction des réponses si question ouverte MAIS
nécessité de recodage/reclassement a posteriori
• Problèmes terminologiques cliniques : le « mal de dos »
Échelle : nombre pair ou impair de modalités ?
ça dépend de ce qu’on cherche à mesurer :
• Pair pour « forcer » à se positionner (opinions, satisfaction)
• Modalité médiane plutôt pour comportements ou descriptions
La formulation des questions
Claire et concise
• Éviter les concepts et les termes trop techniques
• Pas de sigles, d’abréviations
• Éviter les mots à double sens, éviter les négations
Rester neutre, ne pas influencer, ne pas juger, ne pas «induire »
Attention à la tendance à l’acquiescement
• Êtes vous en faveur de…? Êtes vous d’accord pour dire que…?
Ne pas laisser apparaître ses propres convictions
Éviter les tournures naïves et consensuelles
• Considérez-vous que la prévention du VIH est importante ?
Utiliser des questions filtres
Une question filtre = une question préliminaire qui
conditionne les questions suivantes
• Utile si l’on veut analyser un phénomène rare ou spécifique
dans une population « plus générale »
• Aère le questionnaire
• Évite à l’enquêté de lire des questions qui ne le concernent pas
Certaines questions sont inutilisables sans filtre !
Biais classiques
Ne pas solliciter et ne pas surestimer
Risque de non réponse ou d’approximations
Recueils de données spécifiques et lourds
• Les recueils prospectifs (Carnet de consommations)
• Précis mais génère une lassitude
Questions complexes
• Nécessitent des connaissances pointues ou de consulter des
informations par ailleurs
• Termes complexes, conceptuels, potentiellement mal maîtrisés
Limiter l’effort de mémoire
Le recueil rétrospectif sur des périodes longues
• Combien de fois avez-vous consulté durant l’année passée ?
Risque de « désirabilité sociale »
Recueil sur des données sensibles
• Argent, santé, comportements illicites, croyances, etc.
• Utiliser des formulations empathiques, déculpabilisantes
• Accepter de perdre de la précision pour des réponses honnêtes
(tranches de revenu par ex.)
• Utiliser des questions ouvertes
Attention aux formulations stigmatisantes
• « Le malade malgré lui »
Mesure des connaissances ou des compétences
• Connaissez-vous l’amendent Bourrier de la Sécurité sociale ?
Constituer un échantillon
Travail personnel
Comment allez-vous constituer votre échantillon ?
• Sélection de la population : critères d'inclusion et d'exclusion
• Méthode d’échantillonnage
• Taille de l'échantillon
Sélection de la population d’enquête
Définir sa « population de référence »
Qui cible-t-on ? Qui notre enquête veut-elle représenter ?
• Les médecins ? Oui, mais lesquels ?
Installés ou remplaçants ? Secteur 1 et 2 ? Plein-temps
seulement ? « Purs » MG ou médecins à exercice particulier ?
• Les patients? Oui, mais lesquels ?
File active ? Patients « médecin traitant » ? Malades chroniques
seulement ? Patients venus consulter un jour donné ?
Détermine profondément le schéma et la finalité de l’enquête
• Conditionne les critères d’inclusion/exclusion dans l’échantillon
• Conditionne les critères de représentativité à mettre en œuvre
La représentativité
Fait que l’échantillon représente un « modèle réduit »
• de la population de référence
• Selon certains critères (âge, sexe, zone géographique…)
La représentativité peut être visée a priori ou a posteriori
• A priori : mode de sélection de l’échantillon
• Elle peut être jugée, voire corrigée a posteriori
Échantillonnage (1)
Pour assurer la participation il faut bien des volontaires
MAIS le volontariat exclusif a ses limites
• Sélectionner uniquement et tous les participants volontaires
danger sur la fiabilité et la représentativité de l’échantillon
• Population trop spécifique et potentiellement trop homogène
on n’observe plus la variance du phénomène
• Phénomène d’usure des « répondants volontaires systématiques »
• Moins d’attention portée aux réponses
• Lassitude et déperdition de cette source d’enquêtés potentielle
Ex. des maîtres de stage en médecine générale…
Échantillonnage (2)
Méthodes alternatives au volontariat exclusif
• Échantillonnage aléatoire (simple ou stratifié) : nécessite base
de sondage (fichier exhaustif, fiable et actualisé de la population de
référence : ordre des médecins, ADELI, CPAM via Ameli…)
• Méthode des quotas : sélection de manière déterministe selon
certains critères (âge, sexe, zone géographique…)
• Méthode du pas systématique : On sélectionne un enquêté selon
un intervalle régulier (une consultation toutes les X fois…)
Alternative simple applicable dans les petites enquêtes
Échantillonnage (3)
Sondage aléatoire
Méthode des quotas
• Nécessite d’avoir la liste
• Plus simple, moins coûteuse !
complète des individus de la
• Évite les risques de non-réponse
population de référence
(on réitère jusqu’à avoir le bon
• Risque de non-réponse
nombre d’indiv dans les quotas)
• Permet une plus grande
• Nécessite de connaître les
souplesse de la sélection
critères de représentativité
(méthodes très diverses)
sur la population de référence
• Fiabilité des estimations • Risque de biaiser l’échantillon si
supérieure
les critères sont mal choisis…
• Plus adapté pour les gros
• Plus adapté pour les petits
échantillons (> 100 indiv)
échantillons (< 100 indiv)
Échantillonnage (4)
Quelle est la taille minimale/optimale d’un échantillon ?
• Réponse : « Ca dépend !»
• Minimum absolu de 30 personnes (significativité statistique)
La taille optimale d’un échantillon dépend :
• de la méthode de sélection de l’échantillon (aléatoire ou quotas)
• de la fréquence du phénomène observé dans la population
• de la précision souhaitée (puissance de l’échantillon)
• de la taille de la population de référence
Peut être calculée à l’aide d’une formule (relativement) simple
Échantillonnage (5)
Corriger son échantillon a posteriori
Souhaitable de « situer » la représentativité de son échantillon
• Comparer l’échantillon à la population de référence
• Critères usuels : âge, sexe, zone géographique, CSP
• Critères usuels médecins : spécialité, secteur (1, 2), temps
plein/partiel, volume d’activité, mode d’exercice (seul, groupe)…
Des méthodes de redressement pas compliquées à découvrir
• Consiste à pondérer les individus de l'échantillon selon qu’ils sont
sur ou sous-représentés par rapport à la population de référence
• Nécessite des données de référence (Pas impossibles à trouver)
Effectuer la collecte des données
La collecte des données
Quand ? Quelle période ?
• Période, durée (prévoir suffisamment de temps si possible)
• Gommer les effets / biais de période : enquêter plusieurs
jours ou plusieurs saisons différent(e)s
Comment ? Quelles modalités ?
• Choix du mode d’administration des questionnaires
• Prévoir une ou des relances systématiques
Qui ? Choix de l’échantillon ?
Mise en œuvre de l’enquête (1)
Anticiper l’analyse statistique
• Que ferai-je de mes données ? Comment vais-je les analyser ?
Les à-côtés du questionnaire
Courrier d’accompagnement : A ne pas négliger !
• Présenter l’objet d’étude et le cadre de réalisation de l’enquête
• Sensibiliser à l’intérêt de la collecte : intérêts de recherche,
enjeux de politique publique, de société, etc.
• Rassurer l’enquêté sur les aspects ergonomiques et légaux :
réponses anonymes, ce questionnaire ne prend que X minutes
• Un peu de formalisme ne nuit pas
Augmente significativement la participation
Mise en œuvre de l’enquête (2)
Connaître son domaine
Avoir ou acquérir une expertise sur la domaine et la population
enquêtée : asseoir sa légitimité / crédibilité
Être identifié dans ses objectifs : se présenter comme neutre et ne
pas être assimilé à un organisme, un pouvoir, etc.
Pré-test du questionnaire en amont (voire enquête pilote)
• Détecter les questions mal conçues, mal rédigées
• Repérer les oublis et les incohérences : modalités de réponses
inadaptées ou oubliées, besoin de questions filtres
• Évaluer la durée de remplissage ou d’administration
• Tester plusieurs formes de questions pour une même mesure
Référence
L'enquête et ses méthodes : le questionnaire
François de Singly, Auteur . - Nathan, 2000 . - 125 p. ; 18 cm. Collection 128
ISBN : 978-2-09-190567-9 : 8,1