télécharger une version PDF du sommaire.

Lignes directrices pour choisir et utiliser des
indicateurs
Un résumé de
NHS Ins titute for Innovation and Improvement (2008).& nbs p;The good indicators guide:
Unders tanding how to us e and choos e indicators , Coventry, Royaume-Uni : NHS Ins titute for
Innovation and Improvement, r& eacute;cup& eacute;r& eacute; & agrave; la
page& nbs p;http://www.apho.org.uk/res ource/item.as px?RID=44584
Pour citer ce sommaire du CCNMO:
Centre de collaboration nationale des méthodes et outils (2010). Lignes directrices
pour choisir et utiliser des indicateurs. Hamilton, ON : Université McMaster. (mise à
jour 29 April, 2011) Récupéré sur le site http://www.nccmt.ca/resources/search/73.
Catégories:
Tool, Evaluate, KT evaluation
Date d’affichage:
October 27, 2010
Date de mise à
jour:
April 29, 2011
Tool
Relevance For Public Health
La trousse d'outils serait utile aux coordonnateurs d'évaluation de programme, aux épidémiologistes, aux
gestionnaires de programme, aux analystes de la santé et des politiques et aux agents de promotion de la
santé qui s'occupent de mesurer l'efficacité des initiatives de santé publique, comme les programmes
d'autogestion du diabète.
Description
Les lignes directrices représentent une ressource pour quiconque utilise des indicateurs qui a pour but de
surveiller et d'améliorer le rendement, les systèmes ou les résultats. Les indicateurs de la santé sont des
mesures sommaires simples qui constituent une dimension clé de l'état de santé, du système de soins de
santé ou des facteurs connexes. Les indicateurs peuvent servir à la compréhension, au rendement et à la
responsabilisation.
Au Canada, le Cadre des indicateurs de la santé comporte cinq dimensions :
1.
2.
3.
4.
5.
l'état de santé
les déterminants non médicaux de la santé
le rendement du système de santé
les caractéristiques de la collectivité et du système de santé
l'équité
Ces ressources, notamment, sont précieuses lorsqu'il s'agit de trouver des indicateurs pour surveiller le
rendement. Il importe de reconnaître qu'utiliser des indicateurs peut influer sur le comportement du
système mesuré. Voici quelques conséquences imprévues qui pourront nuire au système :
jeu: changement de comportement non voulu qui pousse à présenter des résultats plus
favorables;
phénomène Will Rogers : paradoxe observé lorsque le fait de déplacer un élément d'un ensemble à
un autre fait bouger les valeurs moyennes des deux ensemble dans la même direction;
régression vers la moyenne: mesure donnant une valeur extrême à une occasion qui tend à
produire une valeur plus proche de la moyenne à la prochaine occasion sans que rien d'autre
change.
Implementing the Tool
Who is Involved?
Les analystes de la santé et des politiques, les épidémiologistes, les coordonnateurs d'évaluation de
programme, les spécialistes de projet, les agents de promotion de la santé et les gestionnaires de
programme pourraient se servir de l'outil pour choisir des indicateurs afin de surveiller et d'évaluer les
programmes.
Ces sommaires sont préparés par le CCNMO afin de condenser la matière et offrir un aperçu des ressources figurant dans le Registre des méthodes et outils, et
pour fournir des suggestions quant à leur utilisation dans un contexte de santé publique. Pour plus d’information sur une méthode/un outil mentionné dans le
sommaire, consultez les auteurs/développeurs de la ressource d’origine.
Centre de collaboration nationale des méthodes et outils | www.nccmt.ca
Page 1
Steps for Using Tool
La ressource est divisée comme suit :
A) Renseignements généraux sur les indicateurs
Les indicateurs, et la mesure en général, peuvent servir pour trois raisons :
1.
2.
3.
pour comprendre comment un système fonctionne et comment il pourrait être amélioré;
pour surveiller le rendement afin d'établir si un système fonctionne selon la norme convenue;
pour une question de responsabilité.
Les indicateurs ne font qu'indiquer. Un indicateur ne rendra jamais complètement la richesse et la
complexité d'un système. Ainsi, un indicateur doit être mis en contexte. Les indicateurs favorisent la clarté
des buts des programmes et des systèmes. Ils reposent souvent sur des mesures et des méthodes
quantitatives, lesquelles exigent de posséder une connaissance de base de la statistique. Les indicateurs
ne servent pas à jeter un blâme ou à trouver des défauts à un système, mais ils représentent un
mécanisme d'apprentissage.
Parmi les principales étapes à suivre pour choisir des indicateurs qui conviennent à un programme ou un
système, il faut d'abord formuler clairement des objectifs par consensus. Les créateurs proposent d'utiliser
le modèle d'amélioration par les cycles Planification, Exécution, Étude et Action (PEEA) (p. 7) pour mieux
choisir et utiliser les indicateurs :
1.
orienter les conversations pour qu'elles mènent à l'établissement d'objectifs convenus et
mesurables;
2.
choisir des indicateurs bien conçus qui mesurent les bonnes données, dans les bonnes parties du
système, au bon moment;
3.
utiliser les indicateurs pour comprendre quelle partie du système changera et comment.
B) Éléments d'un indicateur
Un indicateur se compose de deux parties : les métadonnées et les données. Les métadonnées sont le
titre, la définition et le raisonnement qui sous-tend l'indicateur; les données sont les renseignements saisis
dans les métadonnées. Évaluer les métadonnées d'un indicateur permettra d'établir si l'indicateur est
pertinent et peut être alimenté de données fiables. Une liste de 10 questions permet d'évaluer divers
aspects des métadonnées (p. 10). Il est essentiel de considérer s'il existe des données de bonne qualité
pour alimenter l'indicateur.
C) Compréhension de la variation
La mesure de tout système ou processus révèlera une certaine variation. Il importe d'évaluer si cette
variation est assez significative pour justifier une mesure supplémentaire. Le contrôle statistique du
processus (CSP) est un moyen d'analyser la variation. Le CSP permet d'analyser la variation au sein d'un seul
système au fil du temps, ou entre différents systèmes ou institutions. Il exige de faire la distinction entre :
la variation de cause commune, soit la variation normale et quotidienne qui est inévitable et
intrinsèque et naturelle à tout système;
la variation de cause spéciale, soit la variation attribuable à des circonstances spéciales ou
atténuantes qui justifie une étude plus approfondie et une mesure supplémentaire.
Le CSP peut aider les décideurs à déterminer si un système ou un processus est:
un système fonctionnel idéal, où le rendement moyen est acceptable et les aberrations sont
absentes;
un système fonctionnel dont le rendement moyen est acceptable, mais qui présente des
aberrations et où il y a lieu de s'y attaquer; ou
un système dont le rendement moyen est inacceptable, peu importe la variation, et où il faut
s'attaquer à son ensemble plutôt qu'à des éléments précis.
Le CSP peut être exprimé sous forme graphique par des tableaux de contrôle ou des schémas orientés, qui
procurent à la fois la rigueur statistique et un moyen persuasif de présenter des données.
D) Présenter et transmettre les résultats
Les indicateurs et la mesure représentent une première étape du processus de changement. Bien
communiquer permet d'établir un lien entre la mesure et la compréhension des systèmes et les processus
de changement qui sont suivis au sein des organismes. Ce processus est propre à un contexte, de telle
sorte qu'utiliser le bon indicateur au bon moment et dans le bon contexte peut apporter un changement
significatif.
Voici les principes fondamentaux à respecter pour transmettre des résultats et utiliser la mesure dans le
cadre d'un processus de changement plus large :
Ces sommaires sont préparés par le CCNMO afin de condenser la matière et offrir un aperçu des ressources figurant dans le Registre des méthodes et outils, et
pour fournir des suggestions quant à leur utilisation dans un contexte de santé publique. Pour plus d’information sur une méthode/un outil mentionné dans le
sommaire, consultez les auteurs/développeurs de la ressource d’origine.
Centre de collaboration nationale des méthodes et outils | www.nccmt.ca
Page 2
tenir compte de votre public et de son potentiel afin de comprendre vos résultats et y donner
suite;
utiliser la présentation de vos résultats pour capter l'attention de votre public et transmettre votre
message;
mettre votre approche à l'épreuve, surtout si votre public n'est pas familier avec les techniques
employées;
songer à ce que les gens ressentiront et penseront en ce qui touche le processus de
changement, et transmettre votre message sous la forme d'une histoire afin de soutenir les données.
E) Foire aux questions sur les indicateurs
La présente section comprend des renseignements sur les données probantes qualitatives, une carte de
pointage équilibrée, des estimations calculées, la qualité des indicateurs offerts sur le marché et les coûts
de mesure.
F) Critères pour les bons indicateurs et les ensembles de bons indicateurs
La présente section se fonde sur cinq questions clés et fournit une approche systématique pour ce qui est :
d'élaborer, d'évaluer et de choisir les indicateurs,
de prendre des décisions sur les indicateurs et les ensembles d'indicateurs que les gens ne
connaissent peut-être pas,
de songer aux prochaines étapes à franchir pour mesurer et surveiller les systèmes.
Les cinq questions sont les suivantes :
1.
2.
3.
4.
5.
Les indicateurs portent-ils sur les enjeux importants? Clarifiez les principaux aspects et l'objet d'un
système.Mesurez ce qui est le plus pertinent en choisissant des indicateurs axés sur les principaux
aspects du programme ou du système. Si vous utilisez un ensemble d'indicateurs, servez-vous
d'indicateurs de manière équilibrée pour vous assurer que tous les domaines importants sont pris en
compte et mesurés. Utilisez des indicateurs et des ensembles d'indicateurs pour clarifier le
consensus sur les objectifs d'un système, d'un programme ou d'un organisme.
Les indicateurs sont-ils scientifiquement valables? Assurez-vous que l'indicateur a été mis à l'essai
et validé pour qu'il mesure ce qu'il doit mesurer au départ.
Est-il possible d'alimenter l'indicateur de données significatives? Déterminez s'il y a assez de
données fiables. Évaluez les coûts et les avantages que représente l'obtention de données
supplémentaires qui ne sont pas facilement accessibles.
Quelle est la signification? Que vous dit l'indicateur et quel est le degré de précision?Évaluez si
l'indicateur renseigne sur des enjeux importants, et non sur des questions non pertinentes.
Déterminez s'il est possible de le comprendre ou de le déconstruire pour évaluer les enjeux sousjacents qui pourront apporter une valeur particulière. Établissez comment les résultats peuvent être
transmis à votre public et interprétés par lui afin qu'ils mènent au changement.
Quelles sont les répercussions d'un indicateur et les prochaines étapes?Déterminez si le système
est assez bien compris pour que les enjeux relevés puissent être étudiés davantage et réglés. Évaluez
si vos données ont des conséquences imprévues ou négatives. Déterminez si l'indicateur peut servir à
surveiller l'enjeu régulièrement pour qu'il soit possible de favoriser un système adapté aux besoins.
G) Mythes courants sur les indicateurs
H) Glossaire
I ) Lectures recommandées
Caractéristiques de l’évaluation et de la mesure
Évaluation
Has not been evaluated
Validité
Not applicable
Fiabilité
Not applicable
Cote méthodologique
Not applicable
Ces sommaires sont préparés par le CCNMO afin de condenser la matière et offrir un aperçu des ressources figurant dans le Registre des méthodes et outils, et
pour fournir des suggestions quant à leur utilisation dans un contexte de santé publique. Pour plus d’information sur une méthode/un outil mentionné dans le
sommaire, consultez les auteurs/développeurs de la ressource d’origine.
Centre de collaboration nationale des méthodes et outils | www.nccmt.ca
Page 3
Tool Development
Developers
NHS Institute for Innovation and Improvement
Coventry House
University of Warwick Campus
CV4 7AL
Tél. : 0800 555 550
Courriel : [email protected]
www.institute.nhs.uk
Association of Public Health Observatories
www.apho.org.uk
Méthode de développement
Date de sortie
0
Contact Person
Mike Davidge
Responsable de la mesure
Conseiller principal en amélioration
NHS Institute for Innovation and Improvement
Courriel : [email protected]
Site Web : www.institute.nhs.uk/measures
Association of Public Health Observatories
www.apho.org.uk
Ressources
Titre de la ressource
primaire
Fichier joint
Lien Web
The good indicators guide: Understanding how to use and choose indicators.
Aucun
http://www.apho.org.uk/resource/item.aspx?RID=44584
Référence
NHS Institute for Innovation and Improvement (2008). The good indicators guide:
Understanding how to use and choose indicators, Coventry, Royaume-Uni : NHS
Institute for Innovation and Improvement, récupéré à la
page http://www.apho.org.uk/resource/item.aspx?RID=44584
Type de ressource
Format
Coût de l’accès
Langue
Condition d’utilisation
Rapport
Non précisé
None.
Non précisé
Copyright © 2008 NHS Institute of Innovation and Improvement
Ces sommaires sont préparés par le CCNMO afin de condenser la matière et offrir un aperçu des ressources figurant dans le Registre des méthodes et outils, et
pour fournir des suggestions quant à leur utilisation dans un contexte de santé publique. Pour plus d’information sur une méthode/un outil mentionné dans le
sommaire, consultez les auteurs/développeurs de la ressource d’origine.
Centre de collaboration nationale des méthodes et outils | www.nccmt.ca
Page 4
Titre de la ressource
supplémentaire
Fichier joint
Lien Web
Le Projet des indicateurs de la santé : Rapport de la troisième Conférence
consensuelle sur les indicateurs de la santé, 2009.
Aucun
https://secure.cihi.ca/estore/productFamily.htm?
locale=en&pf=PFC1392&lang=FR&mediatype=0
Référence
Institut canadien d'information sur la santé (2009). Le Projet des indicateurs de
la santé : Rapport de la troisième Conférence consensuelle sur les indicateurs de
la santé, 2009, Ottawa ON : ICIS, récupéré à la
page https://secure.cihi.ca/estore/productFamily.htm?
locale=fr&pf=PFC1392&lang=EN&mediatype=0
Type de ressource
Format
Coût de l’accès
Langue
Condition d’utilisation
Rapport
Non précisé
None.
Non précisé
Copyright © 2009 Canadian Institute for Health Information
Titre de la ressource
supplémentaire
Fichier joint
Lien Web
Mini-symposium—public health observatories: Public health indicators.
Aucun
http://www.sciencedirect.com/science/article/pii/S0033350605000053
Référence
Flowers, J., Hall, P. et Pencheon, D. (2005). Mini-symposium-public health
observatories: Public health indicators, Public Health, 119(4), 239-245
Type de ressource
Format
Coût de l’accès
Langue
Condition d’utilisation
Article de revue
Non précisé
Achat d'article de revue
Non précisé
Copyright © 2005 The Royal Institute of Public Health
Titre de la ressource
supplémentaire
Fichier joint
Lien Web
Measuring population health: A review of indicators
Aucun
http://www.ncbi.nlm.nih.gov/pubmed/16533108
Référence
Etches, V., Frank, J., Di Ruggiero, E. et Manuel, D. (2006). Measuring population
health: A review of indicators, Annual Review of Public Health, 27, 29-55
Type de ressource
Format
Coût de l’accès
Langue
Condition d’utilisation
Article de revue
Non précisé
Achat d'article de revue
Non précisé
Copyright © 2006 Annual Reviews
Ces sommaires sont préparés par le CCNMO afin de condenser la matière et offrir un aperçu des ressources figurant dans le Registre des méthodes et outils, et
pour fournir des suggestions quant à leur utilisation dans un contexte de santé publique. Pour plus d’information sur une méthode/un outil mentionné dans le
sommaire, consultez les auteurs/développeurs de la ressource d’origine.
Centre de collaboration nationale des méthodes et outils | www.nccmt.ca
Page 5