The Provincial Centre of Excellence for Child and Youth Mental

The Provincial Centre of Excellence for Child and Youth Mental Health at CHEO
Le Centre d’excellence provincial au CHEO en santé mentale des enfants et des ados
Atelier sur les outils de mesure
Matériel supplémentaire
31 janvier 2009
TABLE DES MATIÈRES
DÉFINITION DES MESURES
QU’EST-CE QUE LA MESURE?
SOURCES, TYPES DE DONNÉES, MÉTHODES DE COLLECTE
CHOIX DES MESURES DE L’ÉVALUATION
RESSOURCES EN LIGNE
RECHERCHE SUR LES QUESTIONNAIRES
SONDAGES AUPRÈS DES CLIENTS
RECHERCHE QUALITATIVE
CHOIX DES MESURES DES PROCESSUS
MESURE DE L’ADAPTATION ET DE LA PSYCHOPATHOLOGIE
OUTILS DE MESURE, SANTÉ MENTALE, ENFANTS ET ADOS
STATISTIQUES EN MATIÈRE DE MESURE
MANUEL D’ÉVALUATION DE PROJET
SÉRIE DE WEBINAIRES, CENTRE D’EXCELLENCE
GLOSSAIRE
GABARIT DE MATRICE D’ÉVALUATION DES RÉSULTATS
GABARIT DE MATRICE D’ÉVALUATION DES PROCESSUS
GABARIT DE PLAN D’ANALYSE DES ÉVALUATIONS
2
3
3
3
6
9
9
9
11
12
13
14
18
18
19
20
23
24
25
DÉFINITION DES MESURES
Qu’est-ce que la mesure?
La mesure se réfère au processus d’opérationnalisation de la question d’évaluation.
L’opérationnalisation se réfère au processus d’élaboration d’une définition tangible et
concrète d’un concept (voir le Glossaire pour des définitions supplémentaires des
termes). Voici ci-dessous une liste d’étapes de la prise de décision qui pourraient vous
aider quand vous voulez choisir une ou des mesures d’évaluation :
1. Décidez de la ou des questions d’évaluation – quels aspects de votre programme
souhaitez-vous évaluer? Souhaitez-vous évaluer des aspects des processus de
votre programme ainsi que ses résultats?
Conseil : Parfois, une étude bibliographique peut révéler des questions d’évaluation
applicables à votre programme auxquelles vous n’aviez pas pensé. Passer en revue
d’autres questions d’évaluation de programme pourrait vous aider à générer des
questions reliées à votre programme. Par exemple, les questions suivantes pourraientelles s’appliquer à votre évaluation?
 « Quelles sont les perceptions de nos services par les clients? »
 « Quels aspects de notre programme les clients aimeraient-ils voir améliorés? »
 « La satisfaction des clients face à notre programme a-t-elle changé au fil du
temps? »
2. Déterminez de quelles informations vous avez besoin – de quelles informations
aurez-vous besoin pour répondre à votre ou vos questions d’évaluation?
 Satisfaction du client?
 Perception des services par le client?
Quels sont les différentes sources, les types de données et les
méthodes de collecte?
3. Recherchez les sources d’information – où serez-vous en mesure de trouver les
sources d’information dont vous avez besoin? Qui sont les sources de ces
informations ou que sont-elles?
Voici une liste des sources possibles d’information pour votre évaluation de programme.
Veuillez noter que cette liste n’est pas exhaustive :
 Données administratives
 Dossiers de santé
 Notes de cas
3





Personnel et fournisseurs de services
Parents/soignants
Enfants et(ou) adolescents
Bibliographie révisée par les pairs
Partenaires
4. Décidez du type de données – Dans quel format voulez-vous collecter ces
informations? Quel type de données voulez-vous collecter?
Voici des exemples de méthodes qui peuvent être utilisées pour collecter les données :
 Questionnaires
 Entrevues
 Groupes de discussion
 Observation
Voici des exemples de types de données que vous pourriez vouloir collecter :
 Données quantitatives (nominales, ordinales, à intervalles, ratio)
o Les exemples incluent l’âge, le poids, le score aux questionnaires et le
temps
 Données qualitatives (verbales, en images, en catégories, étiquettes)
o Les exemples incluent les transcriptions d’entrevue, les réalisations
artistiques, les extraits de journaux intimes et les déclarations concernant
la satisfaction des clients
Vous trouverez ci-dessous un tableau conçu pour vous aider à choisir des méthodes de
mesure qualitative et(ou) quantitative couramment utilisées pour les évaluations de
programme. Ces informations sont mentionnées dans le 2002 User-Friendly Handbook
for Program Evaluation produit par le National Science Foundation Directorate for
Education and Human Resources Division of Research, Evaluation, and
Communication. On peut le trouver pour téléchargement gratuit à l’adresse
http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf.
Méthode
Sondages

Entrevues







Avantages
Données statistiques et
descriptives
Variété de sujets
Prix modique
Facile à analyser
Données riches et
détaillées
Capacité d’envisager les
subtilités contextuelles
grâce à l’interaction face-àface
Résultats en profondeur
Peut clarifier, expliquer et
4








Inconvénients
Risque de biais relié à
l’autorapport
Résultats généraux
Pas de contexte fourni
Coûteuses
Nécessitent beaucoup de
temps
Une formation de haut
niveau est nécessaire
Risque de biais relié à
l’autorapport
Les différences entre les

Groupes de
discussion




Observations




Tests




répéter les questions,
améliorer la compréhension
et les résultats

On peut s’adapter quand
ceci est nécessaire

Les interactions de groupe
pourraient faciliter les
résultats
Les interactions de groupe
pourraient améliorer la
qualité des réponses
Moins de temps nécessaire
pour que pour les
entrevues individuelles
On aura plus tendance à
obtenir un consensus de
groupe (si ceci est le
résultat souhaité)
Information concernant le
comportement
Moins de risque de biais
parce que les données sont
collectées directement
Permet de collecter des
données qualitatives
Peut mesurer le
fonctionnement au sein de
milieux naturels
Évaluation objective du
niveau d’habileté
Permet d’évaluer une
grande variété d’habiletés
Facile à établir le score
Crédible
entrevues peuvent fausser
les résultats
Difficulté de trier une
grande quantité de
données
Prend beaucoup de temps
à analyser
 Nécessitent la formation
poussée du facilitateur de
groupe; c’est exigeant
 Risque de biais relié à
l’autorapport (voir définition
dans le Glossaire)
 Pourraient ne pas obtenir
des opinions individuelles
 Pourraient ne pas être en
mesure d’aborder autant de
sujets
 Fournit une grande quantité
de données
La conversation pourrait être
dominée par quelques
membres enthousiastes et
vocaux
 Très coûteuses
 Demandent beaucoup de
temps
 Nécessitent une formation
poussée, de niveau élevé
 Participer à l’étude pourrait
fausser le comportement
 Risque de biais relié à
l’observateur




Études de
documents

Pourrait être plus
facilement disponible
5

Pourraient être trop
simplistes
Pourraient ne pas tester
également tout le monde
Pourraient être coûteuses à
développer et(ou)
demander beaucoup de
temps pour les administrer
Risque de tricher, ce qui
fausserait les résultats
Risque d’inexactitudes, de
données incomplètes et de
(données
administratives ou
études de tableaux)




Informants clés




Études de cas



Coût faible

Généralement approprié
culturellement à la
population testée
Fournit des données sur les
tendances

Pas besoin de
perturber/affecter la base
des clients
On reçoit l’opinion des
personnes concernées,
possibilité de recevoir des
données nouvelles
Pourrait aider à guider la
direction de la recherche
supplémentaire et des
méthodes de collecte des
données
Pourrait soutenir la notion
que l’étude se dirige dans
la bonne direction
Pourrait aboutir à une
relation améliorée entre les
partenaires clés
Niveau élevé de données
descriptives
Données riches, en
profondeur
Permet de découvrir de
nouvelles explications ou
facteurs concernant les
événements








réponses douteuses
Il pourrait être difficile de
prendre le contexte en
considération quand on
évalue la qualité de
l’ensemble des données
Trier, nettoyer et analyser
les données pourrait
nécessiter beaucoup de
temps
Pourrait demander
beaucoup de temps pour le
recrutement
Le manque d’objectivité
entre l’intervieweur et les
informants pourrait biaiser
les résultats
Les informants clés
pourraient être biaisés
Il pourrait être difficile
d’obtenir un consensus
parmi les informants,
difficulté d’analyser les
résultats
Difficulté d’analyser les
résultats – nécessite un
haut niveau de formation
Pourrait être coûteux
Pourrait nécessiter
beaucoup de temps
Les résultats pourraient ne
pas être capables de
généralisation, au-delà des
études de cas, à des
échantillons plus vastes
et(ou) au reste de la
population étudiée
Comment pouvons-nous choisir des mesures d’évaluation
appropriées?
6
5. Choisissez l’outil ou les outils d’évaluation – Quels instruments de mesure sont
disponibles pour répondre à vos critères de mesure? S’il n’y a pas d’instruments
disponibles convenant bien à la nécessité de fournir une réponse à vos questions
d’évaluation, vous pourriez vouloir élaborer et valider votre propre outil de mesure.
Voici des exemples de critères généraux à appliquer quand on choisit des outils de
mesure :
 Les informations captées par l’outil de mesure de votre question d’évaluation
sont-elles significatives?
 Ces résultats seront-ils applicables à votre évaluation?
 Sera-t-il facile pour votre agence d’utiliser cet outil de mesure?
 Les scores de l’outil de mesure sont-ils standardisés?
 L’outil de mesure a-t-il de bonnes qualités psychométriques?
o A-t-il une bonne validité (référez-vous au Glossaire pour une définition)?
o A-t-il une bonne fiabilité (référez-vous au Glossaire pour une définition)?
o Est-il réalisable?
o Est-il pertinent?
 Si l’outil de mesure correspond bien à votre population cible (c’est-à-dire est à un
niveau de lecture approprié, facile à comprendre et approprié sur le plan
culturel?)
 L’outil de mesure est-il approprié au niveau de développement de votre
population, à son niveau d’éducation et à ses capacités mentales et physiques?
 L’outil de mesure a-t-il été utilisé dans des milieux et pour des populations
semblables à ceux de votre programme?
 Y a-t-il une bibliographie existante soutenant l’utilisation de cet outil de mesure?
 Cet outil de mesure est-il recommandé par les experts dans le domaine?
 Cet outil de mesure est-il fondé sur la preuve?
 Y a-t-il des variables définies aussi clairement que possible? Exemples :
o « Combien de minutes avez-vous passé à faire une activité physique au
cours des sept derniers jours? » est préférable à la question « À quelle
fréquence faites-vous de l’exercice? »
o « Quelle est votre taille en pouces? » est préférable à « Quelle est votre
taille? »
o « Combien de kilogrammes pesez-vous? » est préférable à « Combien
pesez-vous? »
 Les questions sont-elles biaisées?
o Biaisées : « Êtes-vous d’accord pour dire que les gens devraient faire de
l’exercice 30 minutes par jour? »
o Non biaisées : « Pensez-vous que les gens devraient faire de l’exercice
30 minutes par jour? »
Conseil : Quand vous décidez des outils de mesure à utiliser pour votre évaluation de
programme, vous pourriez trouver utile de comparer les outils de mesure que vous
trouvez à une liste de pointage des critères. En conservant une documentation écrite du
degré auquel vos outils de mesure répondent à vos critères, vous pourrez identifier les
outils les plus appropriés à votre évaluation de programme.
7
Un exemple de liste de pointage est fourni ci-dessous. Un exemple plus détaillé de liste
de pointage est disponible à l’adresse
http://www.acf.hhs.gov/programs/opre/ehs/perf_measures/reports/resources_measuring/
res_meas_sec2a.html.
Critères d’évaluation
Beck’s
Depression
Inventory
(BDI)
L’instrument mesure-t-il un aspect du
programme que nous voulons évaluer?
L’instrument est-il approprié à la
population de notre programme (enfants
et adolescents, de 0 à 18 ans)?
Le personnel de notre programme est-il
qualifié et capable d’administrer cet outil
de mesure de manière adéquate?
8
Outils de mesure
Parenting
Youth
Scale (PS)
Services
Survey
(YSS)
Child
Behaviour
Inventory
(CBI)
RESSOURCES EN LIGNE
Sources en ligne pour de plus amples informations
1. Pour des lignes directrices sur les recherches par questionnaire, visitez les
trois (3) liens suivants vers le site Web du British Medical Journal (BMJ) :
http://www.bmj.com/cgi/content/full/328/7451/1312;
http://www.bmj.com/cgi/content/full/328/7452/1372; et
http://www.bmj.com/cgi/content/full/328/7453/1433.
Chacun de ces liens vous amènera à un article en ligne gratuit décrivant les
meilleures pratiques pour les recherches par questionnaire. Les trois (3) articles sont
indiqués et leur contenu est résumé ci-dessous :
a. Boynton, P. M., Greenhalgh, T. (2004). Hands-on guide to questionnaire research:
Administering, analyzing, and reporting your questionnaire. British Medical Journal,
328, 1312-1315.
Il s’agit du premier de trois articles fournissant des lignes directrices sur les
recherches par questionnaire. Cet article est disponible pour téléchargement gratuit
par le BMJ à : http://www.bmj.com/cgi/content/full/328/7451/1312.
L’article porte sur ce qui suit :
 Comment planifier et concevoir des questionnaires afin d’obtenir des données de
haute qualité, généralisables
 Comment décider quelles informations collecter pour un questionnaire
 Comment déterminer si un questionnaire est une méthode de recherche
appropriée
 Des conseils pour choisir des questionnaires existants, par comparaison avec la
création d’un nouveau questionnaire
 Comment présenter et formater les questions dans un questionnaire, ainsi que
les avantages et les inconvénients des différentes approches
 Quoi d’autre inclure dans les questionnaires, en plus des questions
 Comment concevoir un format de questionnaire
 Comment choisir un échantillon d’étude
 Quelles études d’approbation sont nécessaires avant le début d’un projet de
recherche
b. Boynton, P. M. (2004). Hands-on guide to questionnaire research: Administering,
analyzing, and reporting your questionnaire. British Medical Journal, 328, 1372-1375.
C’est le deuxième de trois articles fournissant des lignes directrices pour les
recherches par questionnaire. L’article est disponible pour téléchargement gratuit par
BMJ à : http://www.bmj.com/cgi/reprint/328/7452/1372.
9
L’article porte sur ce qui suit :
 Comment piloter les questionnaires
 Comment planifier la collecte des données
 Comment administrer les questionnaires
 Comment augmenter les taux de réponse au questionnaire
 Comment expliquer les refus de participation
 Comment entrer, vérifier, nettoyer et analyser les données
 Comment présenter votre analyse des données
 Comment expliquer les influences psychologiques et sociales
c. Boynton, P. M., Wood, G. W., & Greenhalgh, T. (2004). Hands-on guide to
questionnaire research: Reaching beyond the white middle classes. British Medical
Journal, 328, 1433-1435.
Il s’agit du troisième de trois articles fournissant des lignes directrices pour les
recherches par questionnaire. L’article est disponible pour téléchargement gratuit par
BMJ à : http://www.bmj.com/cgi/reprint/328/7453/1433.
L’article porte sur ce qui suit :
 Comment rejoindre les populations difficiles à atteindre dans les études par
questionnaire
 Comment éviter de causer des erreurs de compréhension ou d’offenser les
personnes de différents milieux culturels, les populations désavantagées, les
populations minoritaires et les groupes socialement isolés
 Comment surmonter les obstacles culturels, linguistiques, mentaux et physiques
chez les participants qui remplissent des questionnaires
 Comment formuler les questions pour qu’elles soient claires pour les participants
 Comment faciliter les réponses ouvertes et honnêtes par les participants
 Comment collecter des données démographiques générales auprès des
participants
 Comment former et soutenir le personnel de recherche à l’administration
adéquate des questionnaires
2. Pour les lignes directrices sur les sondages, rendez-vous au lien suivant pour
avoir accès à une copie en ligne du The Urban Institute’s Surveying Clients
About Outcomes: Series on Outcome Management for Nonprofit
Organizations:
http://www.urban.org/UploadedPDF/310840_surveying_clients.pdf.
Le rapport inclut ce qui suit :
 Tableau général des sondages auprès des clients : les étapes clés pour le
succès, les aspects fondamentaux des sondages, les limites, les défis, les
questions à envisager et les décisions clés à prendre
 L’identification du matériel à inclure dans les sondages auprès des clients
 Comment formuler un questionnaire, y compris comment poser les questions
10







Comment administrer un sondage – les différentes méthodes et techniques à
choisir, conseils pour maximiser la probabilité de succès du sondage et erreurs à
éviter. Comment les éviter
Comment collecter les données – conseils organisationnels concernant l’entrée
des données
Comment analyser les résultats et diffuser les conclusions – les différentes
méthodes à choisir, comment maximiser l’utilité des résultats
Conseils quand on prend en considération les limites relatives au coût et au
temps – comment envisager ces exigences affecte toutes les étapes du
processus de sondage auprès du client
Fournit des échantillons de sondages (c’est-à-dire sondage sur la satisfaction
des clients et sondage sur la perception par les clients des résultats et des
avantages du programme)
Conseils pour échantillonner votre base de clients
Conseils pour élaborer des questionnaires
3. Pour les lignes directrices sur les recherches qualitatives, veuillez visiter le
lien suivant pour avoir accès à une copie en ligne de Qualitative Research
Methods in Health Technology Assessment: A Review of the Literature:
http://www.hta.ac.uk/fullmono/mon216.pdf (N.B. : vous pourriez devoir copier
et coller ce lien dans votre navigateur Internet pour qu’il fonctionne)
Ce lien vous amènera à une copie en PDF d’un rapport préparé par le programme
NHS R&D Health Technology Assessment (HTA) :
Murphy, E., Dingwall, R., Greatbatch, D., Parker, S., & Watson, P. (1998). Qualitative
research methods in health technology assessment: a review of the literature. Health
Technology Assessment, 2(16).
Ce rapport aborde ce qui suit :
 Il résume l’historique de l’utilisation des méthodes de recherche qualitatives en
évaluation de la technologie de la santé
 Il explique ce que sont les recherches quantitatives et qualitatives et quelles sont
leurs différences
 Comment effectuer des recherches qualitatives, depuis le début jusqu’à la fin
d’une évaluation
 Comment évaluer de manière critique les recherches qualitatives
 Comment les méthodes qualitatives peuvent être utilisées dans le cadre
d’évaluations de programme
 Comment décider quelles informations collecter pour un questionnaire
4. Pour les lignes directrices sur les méthodes d’évaluation de programme,
veuillez visiter le lien suivant vers le document Measurement and Attribution of
Program Results: http://www.tbs-sct.gc.ca/eval/pubs/meth/pem-mepPR_e.asp?printable=True du Secrétariat du Conseil du Trésor du Canada.
Ce rapport a été élaboré par le gouvernement du Canada et décrit ce qui suit :
11






Une explication de l’évaluation de programmes et du processus d’évaluation
Comment aborder les questions de méthodologie reliées à la mesure des
résultats des programmes et comment effectuer une évaluation de programmes
crédible
Les types de structures d’étude d’évaluation
Les méthodes de collecte de données pour votre étude
Les méthodes d’analyse des résultats de votre étude
Glossaire des termes
5. Pour obtenir des conseils sur le choix des outils de mesure des processus en
vue de l’amélioration de la qualité, veuillez vous rendre au lien suivant du
Centre d’évaluation HSRI : http://www.tecathsri.org/search_products.asp.
Vous pourrez y obtenir le document gratuit suivant : Hermann, R. C., Leff, H. S., &
Lagodmos, G. (2002). Selecting process measures for quality improvement in mental
healthcare. Evaluation Center at HSRI, 1-58. Le HSRI vous enverra par courriel une
copie électronique de ce rapport gratuit.
Le rapport décrit ce qui suit :
 Une explication de ce que signifie l’amélioration de la qualité
 Les types d’outils de mesure utilisés pour les évaluations d’amélioration de la
qualité
 Les domaines de processus et les outils de mesure reliés (c’est-à-dire
prévention, accès, évaluation, traitement, continuité, coordination et sécurité)
 Les utilisateurs de la mesure de la qualité (c’est-à-dire employeurs, assureurs,
contribuables, organismes de soins de santé, agences gouvernementales,
responsables de l’agrément, consommateurs, familles, cliniciens, gestionnaires,
chercheurs et évaluateurs)
 La construction et l’élaboration de mesures des processus (c’est-à-dire données
administratives, données pharmaceutiques, dossiers médicaux, gestion des
risques, données de laboratoire, données sur les consommateurs, données sur
les cliniciens, etc.)
 Comment choisir les outils de mesure de la qualité
 Une description du National Inventory of Mental Health Quality Measures et
comment faire des recherches dans cet inventaire
 Comment intégrer la mesure des processus avec d’autres mesures (comme :
résultat, fidélité, perceptions des soins par les consommateurs, coût et utilisation)
 Informations pour le contact avec les développeurs d’outils de mesure et
glossaire des termes
6. Pour une revue des mesures d’ajustement psychosocial et de
psychopathologie de qualité, rendez-vous au site Web du Journal of Pediatric
Psychology : http://jpepsy.oxfordjournals.org/cgi/content/full/jsm059v1#T1
Ce lien vous amènera à un article gratuit en ligne passant en revue les outils de
mesure psychosociale et psychopathologique fondés sur la preuve
12
Holmbeck, G. N., Thill, A. W., Bachanas, P., Garber, J., Miller, K. B., Abad, M.,
Bruno, E. F., et al. (2008). Evidence-based assessment in psychology: Measures of
psychosocial adjustment and psychopathology. Journal of Pediatric Psychology,
33(9), 958-980.
Les mesures passées en revue incluent les suivantes :
 ADHD Rating Scale-IV
 Beck Anxiety Inventory (BAI)
 Beck Depression Inventory (BDI)
 Behavior Assessment System for Children (BASC)
 Brief Symptom Inventory (BSI)
 Center for Epidemiologic Studies Depression Scale (CES-D)
 Child and Adolescent Functional Assessment Scale (CAFAS)
 Child Behavior Checklist (CBCL/4-18, 1991)
 Childhood Anxiety Sensitivity Index (CASI)
 Children’s Depression Inventory (CDI)
 Children’s Global Assessment Scale (CGAS)
 Children’s Somatization Inventory (CSI)
 Conner’s Rating Scales-Revised (CRS-R)
 Coopersmith Self-Esteem Inventory (CSEI)
 Fear Survey Schedule for Children Revised (FSSC-R)
 Hospital Fears Questionnaire (HFQ)
 Minnesota Multiphasic Personality Inventory-Adolescent (MMPI-A)
 The Multidimensional Anxiety Scale for Children (MASC)
 Pediatric Behavior Scale (PBS)
 The Pictorial Scale of Perceived Competence and Social Acceptance for Young
Children (PSPCSAYC)
 Piers-Harris Children’s Self-Concept Scale, Second Edition (Piers-Harris 2)
 Positive and Negative Affect Schedule for Children (PANAS-C)
 Revised Children’s Manifest Anxiety Scale (RCMAS)
 Reynolds Adolescent Depression Scale – 2nd Edition (RADS-2)
 Rosenberg Self-Esteem Scale (SES)
 The Screen for Child Anxiety Related Emotional Disorders (SCARED)
 Self-Perception Profile for Adolescents (SPPA)
 Self-Perception Profile for Children (SPPC)
 Social Adjustment Inventory for Children and Adolescents (SAICA)
 Social Adjustment Scale-Self Report (SAS-SR)
 Social Anxiety Scale for Adolescents (SAS-A)
 Social Anxiety Scale for Children (SASC-R)
 The Social Phobia and Anxiety Inventory for Children (SPAI-C)
 The State-Trait Anxiety Inventory for Children (STAIC)
 Symptom Checklist-90-Revised (SCL-90-R)
 Teacher Report Form (TRF)
 Youth Self-Report (YSR)
13
7. Pour obtenir des informations concernant les outils de mesure en matière de
santé mentale des enfants et des adolescents, veuillez visiter les sites Web
suivants :
http://www.acf.hhs.gov/programs/opre/ehs/perf_measures/reports/resources_
measuring/res_meas_toc.html; http://www.ahrq.gov/chtoolbx/index.htm;
http://www.cqaimh.org/quality.html;
http://www.friendsnrc.org/outcome/toolkit/annotprot.htm; et, http://ceqmacmq.com/ceqm/index.cfm.
Chacun de ces sites Web fournit des informations concernant les outils de mesure
qui pourraient vous être utiles dans le cadre de votre évaluation de programme. Le
contenu de chacun de ces sites Web est résumé ci-dessous :
a. The Office of Planning, Research, & Evaluation (OPRE) du U.S. Department of
Health and Human Services’ Administration for Children and Families (ACF) fournit
du matériel pour la recherche et l’évaluation de programme. Il contient un rapport
gratuit sur les ressources en matière de mesure des services et des résultats du
programme Head Start pour les nourrissons et les trottineurs. Veuillez noter que bien
que ce programme mette l’accent sur la mesure des programmes Head Start, une
partie du matériel pourrait être généralisée à l’évaluation des autres programmes
destinés aux enfants et aux adolescents. Le site Web est :
http://www.acf.hhs.gov/programs/opre/ehs/perf_measures/reports/resources_measur
ing/res_meas_toc.html.
Ce rapport décrit :
 La mesure du rendement
 Les cadres conceptuels des programmes desservant les nourrissons et les
trottineurs
 Comment formuler un plan de mesure du rendement
 Comment identifier les instruments appropriés en matière de dépistage et
d’évaluation
 Comment consigner les informations concernant chaque mesure
 Brèves définitions des termes clés
 Feuille de travail pour aider les fournisseurs de services à élaborer un plan de
collecte et d’analyse des données
 Base de données des mesures reliées au développement de l’enfant, au
parentage, au milieu des foyers pour enfants, au bien-être des parents, à la mise
en vigueur des programmes et aux instruments de qualité
b. Le US Department of Health & Human Services’ Agency for Healthcare Research
and Quality (AHRQ) fournit des outils en ligne reliés aux mesures de la qualité en
santé mentale dans le cadre de sa boîte à outils sur la qualité des soins de santé
aux enfants. Le site Web est : http://www.ahrq.gov/chtoolbx/index.htm.
En fournissant cette boîte à outils, l’AHRQ vise à aider les agences à répondre aux
questions suivantes :
14






Comment déterminer si un programme fournit des soins de qualité et fonctionne
de manière efficace
Comment trouver des outils de mesure existants portant sur ces questions
Comment élaborer des outils de mesure de qualité si aucun outil n’existe déjà
Comment définir les soins de santé de qualité et la mesure de la qualité pour les
enfants
Comment utiliser les outils de mesure de la qualité de manière efficace
Comment choisir les outils de mesure
Ce site Web fournit également une liste des outils de mesure de la qualité existants
et émergents en soins de santé mentale (la liste est disponible à
http://www.ahrq.gov/chtoolbx/measure9.htm) et inclut le lien vers :
 The Experience of Care and Health Outcomes Survey (ECHO) – mesure les
cotes attribuées par les consommateurs à leurs traitements de soins de santé (le
sondage gratuit est disponible à
http://www.hcp.med.harvard.edu/echo/home.html)
 The Young Adult Health Care Survey (YAHCS) – mesure la qualité des soins de
santé préventifs fournis aux adolescents (pour de plus amples informations sur
cette mesure, rendez-vous à http://www.ahrq.gov/chtoolbx/measure7.htm
disponible gratuitement à http://www.cahmi.org)
 Promoting Health Development Survey (PHDS) – mesure la qualité des services
aux jeunes enfants fournis par les professionnels de la santé au moyen d’un
sondage auprès des parents ou aidants naturels (de plus amples informations
sont disponibles à http://www.ahrq.gov/chtoolbx/measure6.htm et sont
disponibles gratuitement à http://www.cahmi.org)
 The Consumer Assessment of Health Plans (CAHPS) – mesure des aspects de
l’expérience des soins de santé (les informations sont disponibles à
http://www.ahrq.gov/chtoolbx/measure2.htm et le document est disponible
gratuitement à https://www.cahps.ahrq.gov/cahpskit/CAHPSKIT_main.asp)
 National Inventory of Mental Health Quality Measures (cette base de données
est disponible à http://www.cqaimh.org/index.html – veuillez noter que ce site
Web est décrit ci-dessous en plus grand détail)
c. Le Center for Quality Assessment and Improvement in Mental Health (CQAIMH)
fournit une base de données en ligne de plus de 300 outils de mesure de la qualité
en santé mentale, pour évaluer et améliorer les services de santé mentale. Chaque
outil de mesure mentionné dans la base de données est indiqué et est accompagné
d’un résumé de la mesure décrivant sa raison clinique, une bibliographie et
caractéristiques, avec des liens vers les auteurs et les utilisateurs de cet outil de
mesure si disponible. Si possible, on inclut également des outils de mesure du
rendement pour l’administration de l’outils de mesure. Le site Web est :
http://www.cqaimh.org/quality.html.
Les utilisateurs de la base de données peuvent effectuer des recherches dans
l’inventaire en utilisant les paramètres de recherche suivants :
15







Diagnostic (dépression, troubles de la personnalité, schizophrénie/psychoses,
abus de substances/dépendance, trouble de stress post-traumatique, autres
diagnostics
Population (adultes, enfants/adolescents, personnes âgées, personnes à faible
revenu, origine ethnique et culturelle, femmes enceintes, diagnostic double)
Milieu clinique (patient hospitalisé, patient externe, réadaptation, unité
psychiatrique ou d’abus de substances, soins infirmiers, soins résidentiels, à
domicile et dans la communauté, centre de soins palliatifs, service des urgences)
Domaine de qualité (prévention/détection, accès, évaluation, traitement,
continuité, coordination, sécurité des patients et erreurs)
Traitement (médicaments, psychothérapie, gestion de cas, counseling pour
l’abus de substances, autres traitements psychosociaux, autres traitements
somatiques)
Sources de données (données administratives, dossiers médicaux, données de
pharmacie, données de laboratoire, données sur les fournisseurs, sondage
auprès des cliniciens, sondage auprès des patients)
Niveau de preuve (niveau A – bonne recherche fondée sur la preuve, niveau B –
assez bonne recherche fondée sur la preuve avec consensus clinique ou opinion
fournissant un soutien, niveau C – peu de preuves pour la recherche,
principalement basée sur le consensus clinique ou l’opinion)
d. FRIENDS National Resource Centre for Community-Based Child Abuse Prevention
fournit un inventaire en ligne d’outils de mesure. Le site Web est :
http://www.friendsnrc.org/outcome/toolkit/annotprot.htm. Son inventaire contient des
outils de mesure reliés aux sujets suivants :
 Soutien concret (aptitudes à la vie quotidienne, adaptation, ajustement, milieu
familial, soutiens, ressources et bien-être, comportements de soutien, réseaux
sociaux et facteurs protectifs)
 Connaissances en parentage des nourrissons, des enfants et des adolescents
(connaissances du parentage, comportement, émotions, tempérament, stress et
cotes de dépression, développement, soutien familial, interaction enfant-parent
et bien-être)
 Réconfort et attachement (développement du nourrisson, de l’enfant et de
l’adolescent, comportement, dépression, interaction et cotes de soutien social,
milieu familial, relations familiales et évaluations de l’enfance maltraitée)
 Résilience parentale (tactiques en cas de conflit, aptitudes à l’adaptation, cotes
d’ajustement, adaptabilité familiale, cohésion, environnement, ressources,
soutien, relations et évaluation, relations avec les pairs, relations conjugales,
bien-être, cotes de stress et facteurs protectifs)
 Connexions sociales (dépression, aptitudes à la vie quotidienne, tactiques en cas
de conflit, en santé et adaptation, circonstances de vie, adaptabilité et cohésion,
bien-être, ajustement conjugal, dépistage des différents problèmes, réseaux,
résilience, relations parent-enfant)
e. Le Continuous Enhancement of Quality Measurement (CEQM), un comité directeur
canadien, fournit un inventaire de plus de 160 outils primaires de mesure de la
qualité des soins de santé mentale sur son site Web. En cliquant sur le lien intitulé
16
« Quality Measures database », l’utilisateur parviendra à une base de données
utilisable. Le site Web est : http://ceqm-acmq.com/ceqm/index.cfm. La base de
données peut être compulsée en utilisant les domaines de navigation suivants :
 Processus (acceptabilité, accessibilité, caractère approprié, compétence,
continuité, efficacité, efficience, sécurité, caractère complet, centré sur le patient
et juridique)
 Résultat (problèmes de santé, fonctionnement humain, bien-être, « sorties » des
services, décès, satisfaction et impact sur la société)
 Structure (infrastructure physique, gestion du personnel, gestion des
informations, gestion financière, qualité et sécurité)
 Les déterminants non médicaux de la santé (comportements en matière de
santé, conditions de vie et de travail, ressources personnelles, facteurs
environnementaux et littératie en matière de santé)
 Équité
 Problèmes spécifiques (patients ayant des problèmes comorbides aigus ou
chroniques, abus de substances, troubles de l’anxiété, troubles somatoformes,
troubles du sommeil, troubles de l’alimentation, troubles de la personnalité,
troubles de l’humeur, psychose, troubles du contrôle de l’impulsion et troubles de
la santé mentale reproductive ainsi que personnes âgées)
 Groupes spéciaux (minorités ethniques/culturelles, personnes vivant en régions
rurales, personnes ayant des antécédents familiaux de problèmes de santé
mentale, récipiendaires de bien-être et de services sociaux, personnes sans abri
ou itinérantes, chômeurs, Autochtones, personnes âgées en établissement,
réfugiés récents, immigrants, résidants d’établissements de correction, résidants
des centres-villes, personnes pour lesquelles l’anglais est une langue seconde)
 Groupes d’âge (personnes âgées, adultes, adolescents et enfants)
 Groupes de genre (femmes, hommes, identités reliées au genre autre que
hommes ou femmes)
 Interventions (médicaments, psychothérapie, soutien par les pairs, prévention,
autres traitements somatiques, détection précoce, promotion de la santé,
participation familiale, traitement de groupe, soutien à l’autogestion, réadaptation
et intervention pour la santé physique)
 Milieu clinique (soins partagés, services d’urgence, services de santé mentale à
l’école ou au travail, services d’approche, praticiens de médecine familiale seuls
ou en groupe, centre de soins de santé communautaire et cliniques sans rendezvous)
On peut aussi faire des recherches dans la base des données selon les cotes de
« niveau de preuve » suivantes :
i. « Études de qualité toujours plus élevée portant spécifiquement sur les soins de
santé mentale primaires »
ii. « Études moins rigoureuses axées spécifiquement sur les soins de santé
mentale primaires ou par extrapolation selon des études de plus haute qualité
sur des soins de santé mentale secondaires »
iii. « Preuve préliminaire de la recherche seulement ou preuve basée sur le
consensus seulement »
iv. « Preuve fondée sur l’opinion experte d’un individu »
17
v. « Échelle validée : des recherches ont été effectuées pour déterminer si elles
présentent au moins certaines des caractéristiques associées à une échelle de
haute qualité »
vi. « Échelle non validée : des recherches concernant la qualité de cette échelle
n’ont pas été effectuées »
On peut aussi effectuer des recherches dans la base de données selon le rang de
l’outil de mesure :
 Rang global
 Rang régional (par province ou territoire)
 Rang par partenaires (universitaires, consommateurs, cliniciens ou décideurs)
 Rang par groupes spéciaux (Premières Nations, régions rurales ou partenaires
fédéraux)
 Rang basé sur la cote (capacité de donner lieu à une action ou importance
globale)
8. Pour obtenir des informations concernant les statistiques reliées aux mesures,
rendez-vous au site Web suivant :
http://www.stat.psu.edu/~resources/bystat.htm.
Le Penn State Statistical Education Resource Kit fournit des notes pour une
conférence universitaire sur les sujets suivants :
 Généralités sur les statistiques
 La collecte des données
 Les types de données
 La description numérique et graphique des données
 Les variables de probabilité et les variables dues au hasard
 Les valeurs attendues
 Les distributions binomiales, normales et d’échantillonnage
 Les intervalles de confiance
 Les tests de l’hypothèse : concepts et moyens
 Les principes de la structure expérimentale
 Les échantillons, les sondages et les questionnaires
9. Pour avoir accès à un manuel d’évaluation de projet, rendez-vous au lien
suivant :
http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf. Vous y trouverez une
version PDF gratuite du document suivant :
The National Science Foundation Directorate for Education & Human Resources
Division of Research, Evaluation, and Communication (2002). The 2002 user friendly
handbook for project evaluation. National Science Foundation, 1-84.
Il s’agit d’un document complet mais facile à utiliser abordant les sujets suivants :
 Explications de la raison pour laquelle on fait des évaluations
 Explications des types d’évaluation (comme formatifs, résumés)
18





Les étapes nécessaires pour commencer, effectuer et terminer une évaluation
L’élaboration de modèles conceptuels, de questions d’évaluation et de structures
d’évaluation
La collecte de données : conseils, questions et approches
Conseils sur la manière de choisir les outils de mesure
Stratégies pour rendre les évaluations plus pertinentes sur le plan culturel et plus
appropriées
10. Pour obtenir des informations sur le Centre d’excellence provinciale et notre
série de webinaires, rendez-vous à notre site Web, au www.onthepoint.ca.
À partir du 31 janvier 2009, un enregistrement du webinaire (avec composantes
visuelles et audio) sera disponible au site Web du Centre. Un exemplaire des
diapositives en PowerPoint et cette trousse de matériel supplémentaire seront
également disponibles à notre site Web pour téléchargement.
19
GLOSSAIRE
Définitions des termes clés
La liste suivante fournit des définitions des termes clés utilisés dans tout le document de
matériel supplémentaire. Un grand nombre des ressources supplémentaires
mentionnées dans ce document contiennent également des glossaires de termes.
Le processus d’opérationnalisation d’une question de recherche
(voir la définition ci-dessous de l’opérationnalisation)
Opérationnalisation Le processus de formuler une définition tangible et concrète d’un
concept. Ces définitions sont alors utilisées pour mesurer
(étiqueter, catégoriser, accorder un rang) aux résultats.
Mesure
Données
quantitatives
Données
qualitatives
Données
nominales
Données ordinales
Données discrètes
Données
rationnelles
Exemple : un score de quotient d’intelligence (QI) est utilisé pour
mesurer le niveau d’intelligence. Les scores de QI transforment
le concept d’intelligence en une valeur concrète mesurable.
Données qui sont numériques – scores de données qui peuvent
être mesurés concrètement, quantifiés, transformés en
pourcentage et manipulés à l’aide de techniques statistiques. Par
exemple : longueur, poids, taille, volume, superficie, âge,
rapidité, température et coût
Données descriptives – scores de données qui sont non
numériques et ne peuvent pas être facilement quantifiées. Elles
sont souvent subjectives et basées sur l’observation. Elles sont
souvent collectées en profondeur par des entrevues et(ou) des
groupes de discussion. Des exemples incluent l’interprétation
des événements, des opinions, des schémas visuels, des
saveurs, des odeurs et des sons
Données qui sont catégoriques et scores de données ne
possédant pas un rang ou un ordre naturel. Les exemples
incluent la couleur des yeux et le sexe.
Données qui sont catégoriques et scores de données ayant un
rang ou un ordre naturel. Les exemples incluent les grades
universitaires (A, B, C, D, F) ou la gravité d’une maladie (faible,
moyenne, élevée).
Données continuelles, ayant un rang ou un ordre naturel et
n’ayant pas de score de données naturelles « zéro ». Les
exemples incluent la température (bien que l’échelle Celsius
inclue 0, ceci n’indique pas une température « zéro ») et les
dates de l’année (bien que le calendrier romain recommence le
1er janvier et qu’il n’y ait donc pas de valeur « zéro »).
Données qui sont continuelles, ont un rang ou un ordre naturel et
ont un score de données naturelles « zéro ». Les exemples
20
Validité
incluent la taille, le poids, la longueur, l’âge et le temps.
La validité évalue dans quelle mesure une variable ou un
instrument mesure le concept censé être mesuré. Par exemple,
un score QI représente-t-il la mesure exacte de l’intelligence
d’une personne? Le temps consacré à la lecture est-il une
mesure exacte de l’intelligence d’une personne? Les notes
scolaires sont-elles une mesure exacte de l’intelligence d’une
personne? Il y a de nombreuses manières de mesurer la validité
incluant :
La validité concurrente : Comment les scores à une mesure se
comparent à des scores à d’autres mesures effectuées en même
temps – les scores de mesures multiples mesurés au même
moment ont-ils un sens quand on les examine en contexte avec
les autres?
Validité convergente : Est-ce que les scores d’un outil de mesure
sont comparables aux scores d’autres outils de mesure pour le
même concept? Par exemple, si un individu est mesuré par deux
outils de mesure de l’anxiété, ces scores présentent-ils une
corrélation étroite ou sont-ils divergents?
Validité prédictive ou reliée aux critères : Est-ce que le score
obtenu à une mesure est prédictif ou relié à un facteur externe
ou un résultat? Par exemple, le score d’un enfant a un outil de
mesure du fonctionnement global est-il relié à la capacité de cet
enfant de fonctionner à la fin du traitement?
Validité du contenu : Le contenu est-il bien appareillé, dans le
cadre d’une mesure, au domaine visé? – les évaluations de ce
type de validité reposent sur les opinions d’experts dans le
domaine
Fiabilité
Validité apparente : S’il semble probable qu’une mesure évalue
ce qu’elle est censée mesurer, ceci étant basé seulement sur la
valeur apparente/opinion initiale. Par exemple, un instrument qui
mesure combien de temps les gens passent à regarder la
télévision mesure-t-il si les gens aiment regarder la télévision?
La fiabilité évalue dans quelle mesure une variable ou un
instrument fournit des résultats cohérents. Par exemple, si une
personne subit deux tests de QI à un jour d’intervalle, cet
individu aura-t-il le même score aux deux tests? Si deux groupes
choisis au hasard passent des tests de QI, le score moyen de QI
pour chaque groupe sera-t-il le même? Il y a de nombreuses
manières d’évaluer la fiabilité comme :
Fiabilité pair-impair/interne : Quel est le degré de stabilité des
21
variables à une mesure? C’est-à-dire si les scores de la moitié
des variables à une mesure sont comparés aux scores de l’autre
moitié d’une mesure, ces scores sont-ils les mêmes?
Biais autosignalé
Signification
statistique
Signification
substantive
Fiabilité test-retest : Quel est le degré de cohérence des scores
à une mesure quand le test est effectué plusieurs fois par des
groupes semblables de participants et quel est le degré de
cohérence des scores à une mesure où le test est effectué à
différents moments?
La distorsion et la mauvaise représentation des données
pouvant se produire quand les participants fournissent des
rapports sur leurs propres comportements et tendances. Ceci
tend à se produire parce que les individus sont subjectifs plutôt
que de se comporter comme observateurs objectifs de leurs
actions, qu’ils pourraient avoir de la difficulté à se souvenir
d’événements de manière exacte et pourraient souhaiter se
décrire de manière plus positive qu’en réalité.
Évalue la probabilité qu’un effet soit dû au hasard plutôt qu’à un
traitement.
Évalue le degré de signification de l’effet d’un traitement sur une
population dans la vie réelle.
22
MATRICE DE L’ÉVALUATION DES RÉSULTATS
Questions
d’évaluation
Résultats à court
terme
Indicateur(s)
Source
des
données
Méthode de
collecte des
données
et fréquence
Qui
collecte
les
données
Quand les
données sont
collectées
(spécifier
mois/année)
Questions
d’évaluation
Résultats
intermédiaires
Indicateur(s)
Source
des
données
Méthode de
collecte des
données
et fréquence
Qui
collecte
les
données
Quand les
données sont
collectées
(spécifier
mois/année)
24
MATRICE D’ÉVALUATION DES PROCESSUS
Questions
d’évaluation
Entrées /
activités /
sorties
Indicateur(s)
Source
des
données
25
Méthode de
collecte des
données et
fréquence
Qui
collecte
les
données
Quand les
données sont
collectées
(spécifier
mois/année)
26
PLAN D’ANALYSE DE L’ÉVALUATION
Question d’évaluation du résultat
Mesures
Collecte des
données
Plan d’analyse
Question d’évaluation du résultat
Mesures
Collecte des
données
Plan d’analyse
27
28