L`évaluation des systèmes d`information à base de

L'évaluation des systèmes d'information à base de connaissances: Le cas des systèmes d'information clinique.
Luc MATHIEU et Martin BUTEAU
L'évaluation des
systèmes d'information
à base de
connaissances:
Le cas des systèmes
d'information clinique
(The evaluation of knowledgebased information systems: The
case of clinical information
systems)
Luc Mathieu
❒ Résumé
Ce projet vise à développer un système d'information à
base de connaissances cliniques pour assister les
infirmières dans leur pratique professionnelle. Un des
enjeux réside dans la mesure du succès de
l'implantation de ce système. Cet article présentent
quelques-uns des indicateurs retenus.
Mots clefs :
Système d'information clinique, évaluation, impact,
succès, gestion de la connaissance.
❒ Abstract
This project seeks to develop a clinical knowledgebased information system to assist nurses in their
workplace.
An important challenge is the
measurement of the system's implementation success.
This article introduces some of the indicators to be
used toward this goal.
Key-words:
Clinical information system, evaluation, impact,
success, knowledge management.
Directeur associé au développement
d'expertises
Centre d'expertise en gérontologie et
gériatrie (C.E.G.G. inc.)
Institut universitaire de gériatrie
de Sherbrooke
375, rue Argyll, Sherbrooke,
(Québec) Canada J1J 3H5
Tél.: (819) 821-1170, poste 3472
Télécopieur: (819) 821-5202
[email protected]
Martin Buteau
Professeur, département de systèmes
d'information et méthodes quantitatives
de gestion
Université de Sherbrooke
2500, boul. de l'université, Sherbrooke,
(Québec) Canada JIK 2R1
Tél.: (819) 821-8000, poste 3320
Télécopieur: (819) 821-7312
[email protected]
L'évaluation des systèmes d'information à base de connaissances: Le cas des systèmes d'information clinique.
Luc MATHIEU et Martin BUTEAU
Introduction
Les infirmières œuvrent dans un milieu où l’information
et la connaissance jouent un rôle capital en regard de la
qualité des soins prodigués. Plusieurs auteurs affirment
que les infirmières consacrent 40 à 50% de leur temps à
du travail relié à la saisie, au traitement et au stockage de
l’information (Bowles, 1997; McDaniel, 1997).
Considérant le rôle stratégique de l’information dans la
pratique infirmière, il ne fait pas de doute que les
technologies de l'information peuvent être d’un grand
secours pour gérer les données, l’information et la
connaissance générées par les infirmières dans leur
pratique. Malgré une littérature assez abondante sur le
sujet, il ne semble pas y avoir de système d’information
clinique qui réponde aux besoins des infirmières (AIIC,
1998; McDaniel, 1997; National Institute of Nursing
Research (NINR), 1993). Les systèmes identifiés comme
systèmes cliniques pour les infirmières traitent surtout des
données de nature clinico-administrative. Ils n'appuient
pas les infirmières dans leur processus de décision et ne
leur donnent pas accès à des banques de connaissances
cliniques. Pourtant, Graves et Corcoran (1988) affirment
que l’accès au savoir en soins infirmiers est une nécessité
pour appuyer les infirmières dans leur processus de
décision et pour bonifier l'expertise en soins infirmiers.
de ce type de système d'information. À cet égard, Mirani
et Lederer (1998) affirment que la mesure de l'efficacité
d'un système d'information est subjective et relative.
D'autre part, Garrity et Sanders (1998) stipulent qu'il
existe plusieurs mesures de succès d'un système
d'information ce qui génère une certaine confusion,
d'autant plus qu'il y a peu de critères reconnus pour
choisir les indicateurs de succès. Les mêmes auteurs
ajoutent que les instruments de mesure actuels du succès
d'un système d'information reposent sur des assises
théoriques pauvres. La littérature spécifique à l'évaluation
des systèmes d'information clinique pour les infirmières
démontre que jusqu’à présent, les études ont été centrées
principalement sur l'évaluation de l'impact de ces
systèmes sur le travail des infirmières. Plusieurs auteurs
rapportent toutefois des problèmes méthodologiques
importants concernant ces études (Staggers, 1988; SteMarie, 1998; Zielstroff, 1993), notamment le fait que les
instruments de mesure utilisés sont méconnus, non
validés ou déficients.
Dans le cadre de notre recherche, nous comptons utiliser
le modèle d’évaluation du succès d’un système
d’information de DeLone et McLean (1992). Ces auteurs
proposent un modèle à 6 dimensions pour mesurer le
succès d'un système d'information. Les dimensions du
modèle sont: la qualité du système, la qualité de
l'information, l'utilisation de l'information, la satisfaction
de
l'usager,
l'impact
individuel
et
l'impact
organisationnel.
Les objectifs de recherche
L'objectif principal de la recherche en cours est de
développer un système d'information à base de
connaissances cliniques afin d’assister le travail
d’infirmières œuvrant dans le secteur de la gériatrie. Plus
spécifiquement, cette recherche se propose : 1)
d'identifier la nature des données infirmières essentielles
à inclure dans le système et de normaliser le vocabulaire
utilisé pour désigner les diagnostics infirmiers, les
interventions infirmières et les résultats qui en découlent
2) de valider auprès d'experts en soins infirmiers
gériatriques le choix de ces données infirmières
essentielles normalisées; 3) de développer et d’implanter
le système d'information incorporant ces connaissances
cliniques; 4) d'en évaluer le succès au sein des
établissements ayant vécu l'expérimentation.
L’évaluation du succès d’un
système d’information clinique
pour les infirmières.
Dans cet article, nous nous attardons principalement au
dernier objectif de la recherche, soit la façon par laquelle
nous entendons évaluer le succès du système implanté.
Cet objectif est crucial puisque, comme nous l'avons
mentionné auparavant, il existe très peu de systèmes
d'information clinique pour les infirmières. Il est donc
justifié de s'interroger sur la façon de mesurer le succès
Puisque le système d'information qui nous intéresse gère
essentiellement des connaissances, nous allons nous
concentrer, dans cet article, sur 3 des dimensions du
modèle de DeLone et McLean (1992), soit la qualité de
l'information,
l'impact
individuel
et
l'impact
organisationnel. L'évaluation du succès du système
prendra aussi en considération les 3 autres dimensions du
modèle de DeLone et McLean. L'intérêt du modèle de
DeLone et McLean (1992) réside dans le construit
multidimensionnel proposé. Cependant, les auteurs ne
recommandent pas d'indicateurs spécifiques pour évaluer
chacune des dimensions de leur modèle, même s'ils en
ont répertoriés plusieurs dans la littérature consultée .
Pour choisir les indicateurs retenus pour évaluer le succès
du système d'information qui sera développé dans le
cadre de cette recherche, nous avons consulté les études
répertoriées par DeLone et McLean (1992) et certaines
études plus récentes sur l'évaluation des systèmes
d'information en général. De plus, nous avons consulté
les études qui traitent plus spécifiquement de l'évaluation
des systèmes d'information clinique pour les infirmières.
Finalement, nous avons identifié un certain nombre
d'indicateurs suite à des discussions avec des infirmières
cliniciennes spécialisées en gériatrie. Tous les indicateurs
de la dimension impact organisationnel sont issus de
notre réflexion puisque peu d'études se sont intéressées à
cette dimension . Nous avons utilisé comme référence
l'instrument d'évaluation des bénéfices organisationnels
d'un système d'information de Mirani et Lederer (1998).
Afin d'obtenir un consensus sur le choix des indicateurs
proposés, nous utiliserons la technique de Delphi auprès
d'infirmières cliniciennes et d'infirmières assumant des
L'évaluation des systèmes d'information à base de connaissances: Le cas des systèmes d'information clinique.
Luc MATHIEU et Martin BUTEAU
fonctions de gestion (Ex.: infirmières-chefs, directrices
des soins infirmiers). Pour chacune des 3 dimensions
qualité de l'information, impact individuel et impact
organisationnel, nous présentons les indicateurs proposés
sous forme de tableau en mentionnant la source.
1.
Indicateurs
Exactitude
2.
3.
4.
5.
Disponibilité
Précision
Fiabilité
Mise à jour de
l'information
6. État complet
7. Format de l'extrant
8. Pertinence
9. Volume de
l'information
10. Compréhension
11. Absence de biais
12. Information
apprenante
13. Crédibilité
14. Réputation
Source
Bailey et Pearson,
1983;Wang, Strong et
Guarascio, 1994
Bailey et Pearson, 1983
Bailey et Pearson, 1983
Bailey et Pearson, 1983
Bailey et Pearson, 1983;
Epstein et King, 1982
Bailey et Pearson, 1983
Bailey et Pearson, 1983
Bailey et Pearson, 1983
Bailey et Pearson, 1983;
Epstein et King, 1982
Epstein et King, 1982
Epstein et King, 1982;
Wang, Strong et
Guarascio, 1994
Li, 1997
Wang, Strong et
Guarascio, 1994
Wang, Strong et
Guarascio, 1994
Tableau I
Qualité de l'information
Parmi ces 14 indicateurs, 4 nous semblent
particulièrement
pertinents
pour
les
systèmes
d'information à base de connaissances: la crédibilité,
l'exactitude, l'objectivité et la réputation. Ces 4
indicateurs sont regroupés au sein de la catégorie "qualité
intrinsèque des données" du cadre conceptuel de la
qualité de l'information développé par Wang, Strong et
Guarascio (1998).
La qualité intrinsèque des données est très importante
dans notre recherche compte tenu du fait que le système
développé gérera des données, de l'information et du
savoir clinique. La crédibilité des données est la mesure
en fonction de laquelle les données sont acceptées ou
considérées comme vraies, réelles et crédibles. Dans le
cas des systèmes d'information clinique, on peut penser
que les données seront reconnues crédibles si elles sont
issues des résultats de recherches cliniques reconnues.
L'exactitude des données est la mesure en fonction de
laquelle les données sont correctes, fiables et certifiées
sans erreur. L'objectivité des données est la mesure en
fonction de laquelle les données sont exemptes de biais et
impartiales. Finalement, la réputation des données est la
mesure en fonction de laquelle les données inspirent la
confiance ou sont estimées en termes de leur source ou de
leur contenu. Dans le cadre de notre projet, la réputation
des données sera grandement influencée par la perception
des infirmières quant à la qualité de la source des
connaissances incluses dans le système d'information,
soit les établissements de santé ou les équipes de
recherche ayant développé ces connaissances.
La qualité intrinsèque des données, des informations et
des connaissances cliniques découlera de l’application
des concepts de la pratique clinique infirmière fondée sur
des données) (AIIC,1998; Estabrooks,1998). Cette
approche vise à concilier les apprentissages de la pratique
de soins infirmiers avec les résultats d’études
scientifiques.
Indicateurs
1. Augmentation du temps
consacré aux soins
directs
Source
Hinson et al., 1994;
Axford et Carter, 1996
2. Diminution du temps
consacré à la
documentation
Sinclair, 1991; Zielstroff
et al., 1993
3. Diminution du temps
consacré à la
communication verbale
avec les autres
intervenants
Hinson et al., 1994;
Zielstroff et al., 1993
4. Diminution du temps
requis pour obtenir une
information
Adaptation de Benbasat et
Dexter, 1985
5. Diminution du temps
requis pour établir un
diagnostic
Adaptation de Belarda,
Karwan et Wallace, 1982
6. Diminution du temps de
rédaction d'un plan de
soins
Mehmert, 1987; Walters,
1986
7. Augmentation de la
qualité des plans de soins
produits
Adaptation de Cats-Baril
et Huber, 1987
8. Amélioration du niveau
des connaissances
cliniques des infirmières
Proposé par des
infirmières cliniciennes
spécialisées en gériatrie
9. Amélioration du niveau
de satisfaction au travail
des infirmières
Garrity et Sanders, 1998
10. Élimination de la
redondance de saisie
des données
Gillis et al., 1994
11. Augmentation du
nombre des problèmes
identifiées
Hinson et al., 1994;
Ozbolt et Graves, 1993;
Holzemer et Bakken, 1992
12. Augmentation du
nombre d'interventions
générées
Ozbolt et Graves, 1993;
Holzemer et Bakken, 1992
13. Diminution du temps
requis pour mettre à
jour les collectes de
données
Proposé par des
infirmières cliniciennes
spécialisées en gériatrie
Tableau II
Impact individuel
L'évaluation des systèmes d'information à base de connaissances: Le cas des systèmes d'information clinique.
Luc MATHIEU et Martin BUTEAU
Indicateurs
Bénéfices stratégiques
Meilleure connaissance du
profil des patients de
l'établissement
Évaluation plus facile de
la qualité des soins et
services rendus
Bénéfices transactionnels
Diminution du délai de
prise en charge des
patients
Diminution de la durée
moyenne de séjour des
patients dans les unités de
courte durée ou de moyen
séjour
conference on information systems. 82.
Benbasat, I. & Dexter, A.S. (1985) "An experimental
evaluation of graphical and color-enhanced
information presentation". Management Science31,
1348-1364.
Bowles, K.H. (1997) "The barriers and benefits of
nursing information systems". Computers in Nursing
15, 191-196.
Cats-Baril, W.L. & Huber, G.P. (1987) "Decision support
systems for ill-structured problems: an empirical
study". Decision Sciences 18, 350-372.
DeLone, W.H. & McLean, E.R. (1992) "Information
systems success: The quest for the dependent variable".
Information systems research 3, 60-95.
Tableau III
Impact organisationnel
Globalement, nous anticipons que le système
d'information clinique pour les infirmières améliorera
l'efficacité et l'efficience des établissements de santé.
Nous comptons utiliser différentes méthodes pour évaluer
le succès de l'implantation du système d'information en
fonction des dimensions considérées : questionnaires,
entrevues, mesures métriques, observation.
Conclusion
L'évaluation des systèmes d'information qui gèrent des
connaissances n'a pas été beaucoup étudiée jusqu'à
maintenant. Pourtant, il s’agit d’un enjeu important
considérant l’impact que de tels systèmes peuvent avoir
dans les organisations, particulièrement dans le domaine
de la santé. Cette recherche jette donc les bases d'une
approche permettant de faire une telle évaluation.
Références
Association des infirmières et des infirmiers du Canada
(AIIC) (1998). Énoncé de politique. Les prises de
décisions fondées sur des données probantes dans la
pratique infirmière.
Axford, R.L. & Carter, B.E.L. (1996) "Impact of clinical
information systems on nursing practice. Nurses'
perspectives". Computers in Nursing 14, 156-163.
Bailey, J.E. & Pearson, S.W. (1983) "Development of a
tool for measuring and analyzing computer user
satisfaction". Management Science 29, 530-545.
Belardo, Salvatore, Karwan, Kirk R., and Wallace,
William A. "DSS component design through field
experimentattion: An application to emergency
management". Proceedings of the third international
Epstein, B.J. & King, W.R. (1982) "An experimental
study of the value of information". Omega 10, 249258.
Garrity E.J. & Sanders G.L. (1998) Dimensions of
information systems success. In: Information systems
success measurement, E.J. Garrity and G.L. Sanders
(eds), pp. 13-45. Idea Group Publishing, Hershey.
Gillis, P.A., Booth, H., Graves, J.R., Fehlauer, C.S., &
Soller, J. (1994) "Translating traditional principles of
system developoment into a process for designing
clinical information systems". International Journal of
Technology Assesment in Health Care 10, 235-248.
Graves, J.R. & Corcoran, S. (1988) "Design of nursing
information systems: Conceptual and practice
elements". Journal of Professional Nursing 4, 168177.
Hinson, Deborah K., Huether, Sue E., Blaufuss, Judith
A., Neiswanger, Mig, Tinker, Ann, Meyer, Karen J.,
and Jensen, Robert. (1994) "Measuring the impact of a
clinical nursing information system on one nursing
unit". AMIA. Proceedings-the annual symposium on
computer applications in medical care..
Holzemer, W.L. & Henry, S.B. (1992) "Computersupported versus manually-generated nursing care
plans: A comparaison of patient problems, nursing
interventions, and AIDS patient outcomes". Computers
in Nursing 10, 19-24.
Li, E.Y. (1997) "Perceived importance of information
system success factors: A meta analysis of group
differences". Information and Management 32, 15-28.
McDaniel, A.M. (1997) "Developing and testing a
prototype patient care database". Computers in
Nursing 15, 129-136.
Mehmert, P.A. (1987) "A nursing information system.
The outcome of implementing nursing diagnoses".
Nursing Clinics of North America 22, 943-953.
L'évaluation des systèmes d'information à base de connaissances: Le cas des systèmes d'information clinique.
Luc MATHIEU et Martin BUTEAU
Mirani, R. & Lederer, A. (1998) "An instrument for
assessing the organizational benefits of IS projects".
Decision Sciences 29, 803-838.
National Institute of Nursing Research (1993) Chapter 6.
Integrating systems for better patient care. In: Vol. 4
Nursing Informatics: Enhancing patient care, National
Institute of Nursing Research (ed), pp. 1-6.
Ozbolt, J.G. & Graves, J.R. (1993) Clinical nursing
informatics. Developing tools for knowledge workers.
Advances in Clinical Nursing Research 28, 407-425.
Sinclair, V.G. (1991) "The impact of information systems
on nursing performance and productivity". Journal of
Nursing Administration 21, 46-51.
Staggers, N. (1988) "Using computer in nursing.
Documented benefits and needed studies". Computers
in Nursing 6, 164-170.
Ste-Marie, François. (1998) Identification des besoins de
gestion et de traitement informatisés des données
nécessaires à la pratique infirmière. Montréal,
Université de Montréal.
Walters, S. (1986) "Computerized care plans help nurses
achieve quality patient care". Journal of Nursing
Administration 16, 33-39.
Wang, Richard Y., Strong, Diane, and Guarascio, Lisa M.
(1994) Beyond accuracy: What data quality means to
data consumers
http://web.mit.edu/tdqm/www/papers/94/94-10.html
Zielstorff R.D., Hudgings C.I., Grobe S.J., & The
National Implementation Project (NCNIP) Task Force
on Nursing Information Systems (1993) "Nextgeneration nursing information systems. Essentials
characteristics for professional practice". American
Nurses Publishing, Washington.