Les Critères Ergonomiques (1ère partie) Les méthodes d`évaluation

Les Critères Ergonomiques (1ère partie)
Les méthodes d'évaluation ergonomique des logiciels interactifs
On ne peut présenter les Critères Ergonomiques sans aborder, dans un premier temps, les
méthodes d'évaluation des systèmes interactifs (ex., sites Web, logiciels, applications
nomades, applications vocales, Minitel, etc.).
Les méthodes d'évaluation des systèmes interactifs actuellement disponibles sont nombreuses
et variées. Toutes présentent des avantages et des inconvénients et aucune d'elles ne peut
prétendre à une évaluation complète de l'interface (non seulement la présentation des
informations mais aussi la navigation, le repérage au sein de l'application, ...).
On distingue généralement deux grandes catégories de méthodes :
•
•
les méthodes requérant la participation directe des utilisateurs,
et les méthodes s'appliquant aux caractéristiques de l'interface.
La première catégorie comprend notamment les tests utilisateurs, les outils logiciels, les
questionnaires et les entretiens. La deuxième catégorie comprend pour sa part les modèles,
méthodes et langages formels, le recours à l'expert, les méthodes d'inspection et les outils
d'évaluation automatique.
Les méthodes requérant la participation directe des utilisateurs
Dans cette catégorie de méthodes, l'utilisateur est la source des données de l'évaluation. Deux
sous-classes peuvent être identifiées : une première où l'utilisateur interagit avec le système
(les tests d'utilisation), et une deuxième où l'utilisateur est questionné à propos de l'interface
(questionnaires et entretiens) suite à une interaction avec le système interactif.
Les tests utilisateurs
Lors des tests d'utilisation (user testing) ou tests d'usage, un ou plusieurs utilisateurs
participent à l'exécution de tâches représentatives des tâches réelles (selon des scénarios
définis avant le test) ou encore, à l'exploration libre commentée (voir à ce propos [2] et [6]).
Ces deux approches donnent des résultats différents mais complémentaires. Cette dernière
approche est particulièrement utilisée dans le cas des sites Web (voir [1], pour une
présentation des méthodes d'évaluation des sites Web). Ces tests peuvent être menés sur le
terrain ou dans un environnement qui recrée autant que possible l'environnement réel du
travail quand ce dernier ne permet pas la conduite de tests.
Dans ce type d'évaluation, les sessions de test sont généralement enregistr&eacutees sur
support vidéo. On s'intéresse aux performances et aux comportements des utilisateurs lors
d'interactions avec le système. On mesurera par exemple, selon le contexte de l'étude, le
temps ou le nombre d'actions requis pour l'exécution d'une tâche, l'exactitude du résultat, le
nombre d'erreurs commises, leur type, la position du regard sur l'écran et/ou sur les différents
dispositifs d'entrée/sortie de données (souris, clavier/moniteur,...), etc.
Il s'agit donc ici, à partir des indices comportementaux et de performance, d'identifier les
choix de conception (par exemple la structure des menus, les libellés des options de menus,
les messages d'erreurs, etc.) qui peuvent entraîner des erreurs d'utilisation, susciter des
interrogations ou hésitations, alourdir l'utilisation de l'application, etc. S'il s'agit ici d'évaluer
la qualité d'un système donné, les résultats des tests d'utilisation peuvent aussi permettre de
comparer la qualité ergonomique de systèmes concurrents. On parle alors de « benchmark »
ou d'évaluation comparative.
Les outils logiciels : Les évaluateurs disposent d'outils extrêmement utiles à la fois pour
l'enregistrement des comportements ou des traces du comportement des utilisateurs tout
comme pour le codage et pour l'analyse de ces derniers. Bien que l'enregistrement des
comportements des utilisateurs puisse se faire à l'aide de techniques assez simples comme les
grilles d'observation (sur papier ou en format électronique), cette technique peut, dans certains
contextes s'avérer fort limitée, voire inapplicable. C'est le cas notamment des situations où les
comportements sont très fréquents ou très rapides (par exemple appuis sur les touches du
clavier, prise d'information visuelle furtive, etc.).
Parmi les outils d'usage relativement courants (autres que l'enregistrement vidéo) pour le
recueil et l'analyse des données, on peut noter les mouchards électroniques qui permettent
d'enregistrer tous les événements utilisateurs (lancement d'applications, ouverture de fenêtres,
sélection d'options de menus, etc.). Certains de ces outils sauvegardent les événements, tout
comme leurs moments d'occurrence, dans des fichiers (log files). À partir de ces fichiers, des
données descriptives sont calculées (durées moyennes, fréquences, fréquences relatives, etc.)
pour chaque événement et des données sur l'organisation temporelle de ces événements
peuvent aussi être fournies. C'est le cas notamment d'ErgoLight (www.ergolight-sw.com).
Dans le cas du Web, par exemple, ces log files permettent d'identifier des patterns de
navigation et ce à partir des requêtes adressées aux serveurs (voir l'article sur l'utilisation des
log files).
Lorsque l'interaction entre utilisateurs et systèmes interactifs est enregistrée sur vidéo, se pose
le problème et surtout la difficulté du codage de ces enregistrements. Des logiciels comme
« The Observer » (www.noldus.com) permettent d'assister l'évaluateur. Ce logiciel permet en
effet de définir les comportements à identifier (grille d'analyse) et de piloter le magnétoscope
ou la séquence vidéo numérisée. L'identification du début et de la fin des comportements s'en
trouve facilitée puisque la bande vidéo peut être codée image par image, ce qui permet une
très grande précision. Ce type d'outil est cependant lourd à utiliser (formation, temps
d'analyse, ...) et est généralement réservé à des études plus longues que celles généralement
demandées aux ergonomes en cours de conception ou d'évaluation (elle est plus généralement
utilisée en recherche).
Les questionnaires et les entretiens. Les questionnaires et les entretiens permettent le recueil
de données subjectives relatives aux attitudes, aux opinions des utilisateurs et à leur
satisfaction. Ces données sont généralement utilisées pour compléter les données objectives
recueillies lors des tests d'utilisation. Certains de ces questionnaires sont présentés sous forme
logicielle et peuvent être administrés sur site Web (Le lecteur pourra trouver une version Web
des questionnaires les plus connus sur le site de G. Perlman :
http://www.acm.org/~perlman/question.html). La conception de ce type d'instrument nécessite
des compétences et connaissances particulières (voir à ce propos [3]) pour assurer notamment
la validité et la fiabilité de ces instruments.
La plupart du temps, les utilisateurs sont invités à répondre à toutes les questions ou à
indiquer, pour chacune des affirmations présentées, s'ils sont en désaccord ou en accord sur
une échelle en 5, 7 ou 9 points. Si certains sont relativement simples et faciles à administrer,
d'autres sont par contre plutôt lourds. Le Nielsen's attribute of usability (NAU, [5]) par
exemple, ne comporte que cinq énoncés (par exemple « le système est facile à apprendre ») et
l'utilisateur doit indiquer sur une échelle en sept points si le système est « Mauvais » ou
« Bien » pour chacun des énoncés. À l'opposé, le PUTQ (Purdue Usability Questionnaire,
[4]) comporte 100 questions organisées autour de huit dimensions (Compatibilité, Cohérence,
Flexibilité, Facilité d'apprentissage, Actions minimales, Mémorisation, Limite perceptives,
Guidage). Ici encore les utilisateurs doivent répondre aux questions (par exemple « Les
actions requises sont-elles cohérentes ? ») sur une échelle en 7 points allant de « Mauvais » à
« Bien ».
Si ces questionnaires concernent généralement les applications « standards » certains
questionnaires ont été spécialement adaptés au Web. C'est le cas notamment du WAMMI
(Website Analysis and MeasureMent Inventory) [7]. Il s'agit d'un questionnaire en ligne
permettant aux utilisateurs de « noter » l'utilité et l'utilisabilité du site sur lequel il est
implémenté. Le questionnaire est composé d'affirmations portant sur l'attrait (Attractiveness),
le contrôle (Control), l'efficacité (Efficiency), l'utilité/aide (Helpfulness) et la facilité
d'apprentissage (Learnability).
Dans la suite de cet article nous aborderons les méthodes s'appliquant aux caractéristiques de
l'interface...
Pour en savoir davantage...
Cet article est un extrait de : Bastien, J. M. C., & Scapin, D. L. (2001). Évaluation des
systèmes d'information et Critères Ergonomiques. In C. Kolski (Ed.), Systèmes d'information
et interactions homme-machine. Environnement évolués et évaluation de l'IHM. Interaction
homme-machine pour les SI (Vol. 2, pp. 53-79). Paris : Hermes.
Le lecteur y trouvera de plus amples informations et de nombreuses références.
[1] Bastien, J. M. C., Leulier, C., & Scapin, D. L. (1998). L'ergonomie des sites web. In J.-C.
Le Moal & B. Hidoine (Eds.), Créer et maintenir un service Web (pp. 111-173). Paris :
ADBS. Disponible à l'adresse suivante : http://www.adbs.fr/uploads/ouvrages/inria98/p111173.pdf.
[2] Dumas J.S. & Redish J.C. (1993). A practical guide tu usability testing. Norwood, New
Jersey: Ablex Publishing.
[3] Kirakowski J. (2000). Questionnaires in usability engineering. A list of frequently asked
questions (3rd ed.). Disponible à l'adresse suivante :
http://www.ucc.ie/hfrg/resources/qfaq1.html.
[4] Lin H.X., Choong Y.-Y. & Salvendy G. (1997). A proposed index of usability: a method
for comparing the relative usability of different software systems, Behaviour & Information
Technology, 16, 267-278.
[5] Nielsen J. (1993). Usability engineering. San Diego, CA: Academic Press.
[6] Rubin J. (1994). Handbook of usability testing. How to plan, design, and conduct effective
tests. New York, NY: Wiley & Sons.
[7] WAMMI - Q - 2.3 EN (c) Copyright HFRG Ireland and Nomos Management AB Sweden,
1998. Informations sur l'Internet - http://www.ucc.ie/hfrg/questionnaires/wammi/index.html
Christian Bastien
Haut de page
Les Critères Ergonomiques (2ème partie)
Méthodes s'appliquant aux caractéristiques de l'interface
Cette catégorie de méthodes se distingue essentiellement de la précédente par l'absence
d'interaction directe entre un utilisateur et un système. Dans ces méthodes, les utilisateurs tout
comme leurs tâches sont représentés. Dans cette catégorie seront abordés : les modèles,
méthodes et langages formels ; le recours à l'expert ; et les méthodes d'inspection.
Les méthodes à base de modèles formels
Les évaluations qui s'appuient sur des modèles théoriques et/ou formels (discutés au
chapitre 3 de l'ouvrage de Kolski [4]) permettent de prédire la complexité d'un système (par
exemple, par le nombre de règles de production du type "Pour faire ceci Alors procéder
ainsi ") que doit connaître un utilisateur idéal pour accomplir une tâche avec le système qui lui
est proposé et par conséquent les performances des utilisateurs. L'évaluation à partir de ces
modèles constitue cependant une tâche très longue, très coûteuse et est difficile à mettre en
œuvre par les non spécialistes.
Le recours à l'expert
L'évaluation experte est généralement définie comme une évaluation informelle où l'expert
compare les performances, attributs et caractéristiques d'un système, que ce dernier soit
présenté sous forme de spécifications, sous forme de maquettes ou de prototypes, aux
recommandations ou normes existantes dans le but de détecter des défauts de conception.
Les méthodes d'inspection
Les méthodes d'inspection de l'utilisabilité (usability inspection methods) regroupent un
ensemble d'approches faisant appel au jugement d'évaluateurs, que ces derniers soient experts
ou non en utilisabilité. Bien que toutes ces méthodes aient des objectifs différents, elles visent
généralement la détection des aspects des interfaces pouvant entraîner des difficultés
d'utilisation ou alourdir le travail des utilisateurs. Les méthodes d'inspection se distinguent les
unes des autres par la façon dont les jugements des évaluateurs sont dérivés et par les critères
d'évaluation à la base de leurs jugements.
Parmi les méthodes d'inspection, celles qui nous intéressent plus particulièrement sont :
l'inspection cognitive (Cognitive walkthrough) ; l'analyse de la conformité à un ensemble de
recommandations (guideline reviews) ; et l'analyse de la conformité à des normes (standards
inspection), principes, dimensions, heuristiques. Cet intérêt tient en partie au fait que ces
dernières sont bien documentées et qu'elles ont fait l'objet de tests et de comparaisons.
L'inspection cognitive
L'inspection cognitive (Cognitive walkthrough) est une méthode d'inspection qui consiste à
évaluer la facilité d'apprentissage, par l'exploration d'un système interactif. Cette évaluation
requiert une description détaillée de l'interface (idéalement sous forme de maquette papier,
logiciel ou encore de prototype), une description de la tâche à réaliser, une description des
caractéristiques des utilisateurs potentiels et du contexte d'utilisation, et une description
précise de la séquence des actions que l'utilisateur doit effectuer pour accomplir les tâches
décrites.
Au cours de l'inspection, les évaluateurs passent en revue chacune des actions que l'utilisateur
doit effectuer. Pour chacune de ces actions, ils doivent s'interroger sur ce que l'utilisateur cible
sera tenté de faire, en se basant sur les objectifs d'utilisation et les connaissances de ces
derniers, et doivent comparer ces actions hypothétiques aux actions que permet le système à
cette étape de l'interaction.
Si l'interface est bien conçue, les actions permises ou proposées par le système devraient
correspondre à celles auxquelles l'utilisateur est en droit de s'attendre. En d'autres termes
l'inspection cognitive cherche à identifier les choix de conception qui peuvent entraver
l'apprentissage par l'exploration.
L'évaluation de la conformité à des recommandations
L'évaluation de la conformité à des recommandations (guideline reviews) consiste à juger la
conformité des éléments de l'interface aux recommandations (ergonomiques ou de style)
contenues dans divers types de recueils. On trouve ainsi des guides de style, c'est-à-dire des
recommandations que proposent des constructeurs, des développeurs, ou des consortiums, et
des recueils de recommandations. Les recommandations de style permettent généralement de
distinguer les interfaces des logiciels développés pour des environnements différents (par
exemple pour les environnements Unix, Windows et Macintosh). Le « Macintosh Human
Interface Guidelines » d'Apple, ou encore le « Window interface : An Application Design
Guide » de Microsoft sont des exemples de guides de style.
Les recommandations sont généralement présentées dans des recueils (voir par exemple
Scapin [11], Smith [12] et Vanderdonckt [13]) ou des guides généraux (voir par exemple
Mayhew [9]). Les recueils de recommandations constituent probablement la source la plus
importante des guides de conception.
L'évaluation de la conformité à des dimensions ergonomiques (normes, principes,
heuristiques)
Parallèlement aux recueils de recommandations, les connaissances ergonomiques ont été
rendues disponibles sous différentes formes. On trouve, par exemple, des guides de
conception, des principes, des heuristiques et des normes.
Les nombreux guides de conception disponibles répondent à des objectifs divers. Lorsque l'on
étudie ces guides, on constate clairement une absence d'uniformité dans la présentation des
recommandations et un nombre très variable de recommandations présentées. Ces dernières
sont parfois organisées par critères, principes ou thèmes de plus hauts niveaux qui tentent de
les organiser et de les synthétiser (par exemple l'homogénéité, la compatibilité stimulusréponse, la facilité d'apprentissage, etc.), ou parfois encore par thèmes issus d'un découpage
de l'interface (par exemple langage de commande, sélection de menus, entrée de données,
affichage de données, etc.).
Si certains guides abordent plus spécifiquement la conception des interfaces utilisateurs,
d'autres traitent principalement de l'évaluation. Ces derniers peuvent alors être plus ou moins
complexes et plus ou moins détaillés. On trouve aussi des chapitres de livre, succincts et assez
généraux (tel Marshall, Nelson & Gardiner [8]) ou encore des guides plus détaillés
comportant des check-lists (par exemple Clegg & al. [1]).
La distinction entre les diverses dimensions, du moins entre principes, normes et heuristiques
est parfois ténue. Dans certains cas, la distinction provient de leur caractère officiel (c'est le
cas notamment des normes) ; dans d'autres, elle peut être liée à la précision des définitions
voire au nombre d'exemples de recommandations accompagnant ces dimensions. Les normes
de conception et d'évaluation (design standards) présentent habituellement une série
d'énoncés généraux sur la conception des systèmes interactifs. Ce qui distingue ces documents
d'autres documents présentant aussi des énoncés généraux, comme les principes, est leur
caractère officiel et leur origine ; ces documents sont issus d'organismes de normalisation. On
trouve des normes nationales (par exemple DIN pour l'Allemagne, AFNOR pour la France) et
des normes internationales (par exemple ISO) (voir à ce propos l'article sur les normes).
Les principes sont des énoncés généraux qui s'appuient sur des données issues de recherches
sur la façon avec laquelle les gens apprennent et travaillent. Ainsi, le principe « être cohérent
dans le choix des mots, formats et procédures » est issu des recherches qui ont montré que les
gens apprenaient plus rapidement et transféraient mieux leurs acquis lorsque les informations
qu'on leur présentait et les procédures qu'ils devaient suivre étaient cohérentes. Les principes
constituent donc des objectifs à atteindre, sans que soient précisées les façons de les satisfaire.
Les outils d'évaluation automatique
Divers outils logiciels d'aide à l'évaluation ont déjà été proposés. Certains constituent des
versions logicielles de documents papier, d'autres sont des outils d'accompagnement de
l'évaluation, c'est-à-dire qu'ils aident l'évaluateur à structurer et à organiser l'évaluation,
finalement d'autres permettent de faire de l'évaluation automatique. C'est de cette dernière
catégorie dont il sera question ici. Il s'agit ici de décrire les outils qui permettent de récupérer
des fichiers de description de l'interface sur lesquels sont appliquées des analyses permettant
l'évaluation de la conformité à certaines recommandations ergonomiques, principes, critères
ou recommandations de style (par exemple ERGOVAL, KRI/AG, CHIMES, SYNOP, l'outil
de Mahajan et Shneiderman, etc.). Il ne s'agit donc pas ici des outils de capture d'événements
utilisateurs comme ceux présentés dans la première partie de cet article.
ERGOVAL (Farenc [2]) est un système d'évaluation à base de connaissances. Les règles
ergonomiques intégrées à la base de connaissance sont relatives aux interfaces graphiques et
ne nécessitent pas le recours à des connaissances approfondies sur le travail. Ces règles sont
issues de diverses compilations de recommandations et sont classifiées dans des catégories
qui s'apparentent aux Critères Ergonomiques (que nous verrons dans la 3ème partie de cet
article). En plus des règles ergonomiques, ERGOVAL comporte une décomposition
structurelle des objets de l'interface, établie à partir de la norme CUA (Common User Access).
Cette typologie des objets permet entre autres de rattacher des ensembles de règles à chaque
type d'objet. ERGOVAL fournit, à la fin du diagnostic, le texte justificatif de chacune des
règles non respectées.
KRI/AG (Löwgren & Nordqvist [6]) est un système expert connecté à un UIMS (TeleUse,
sous environnement X-Window) qui évalue les fichiers générés par ce dernier. Ce système
s'appuie sur une base d'environ cent recommandations ergonomiques et de style (Motif)
portant sur les aspects syntaxiques et de présentation de l'interface.
CHIMES (Jiang & al. [3]) est un système capable d'évaluer la conformité de l'interface aux
recommandations de style OSF/Motif et aux recommandations relatives à l'usage de la
couleur. Lors de l'évaluation, CHIMES fait des propositions d'amélioration.
SYNOP (Kolski & Millot [5]) est un système expert d'évaluation automatique de la
présentation statique de synoptiques industriels à partir de recommandations relatives à la
présentation des informations à l'écran. L'évaluation porte sur une description des pagesécrans créées à l'aide du logiciel graphique IMAGIN. Ce système permet aussi d'effectuer des
modifications automatiques et lorsque ces dernières s'avèrent impossibles, des
recommandations sont proposées. Ce système permettrait donc de détecter des erreurs liées à
certaines dimensions ergonomiques (par exemple Groupement/Distinction entre items par la
localisation et le format, Lisibilité, Densité informationnelle, et Cohérence).
Mahajan et Shneiderman [7] ont développé un outil d'évaluation de la cohérence de
l'interface. L'outil convertit l'interface créée à l'aide de Visual Basic sous forme d'un fichier
canonique de description d'objets. L'outil permet ensuite d'évaluer la cohérence de l'interface.
Plus précisément, l'outil évalue : le style et la taille des polices de caractères utilisées dans les
boîtes de dialogue, afin d'y détecter des incohérences ; les couleurs utilisées pour les fonds
d'écran ; l'interface, afin d'y détecter l'utilisation incohérente des majuscules dans les mots
apparaissant dans les boutons, labels, titres, menus, etc., et ce, dans toutes les boîtes de
dialogue ; la cohérence des caractéristiques des boutons de commande, c'est-à-dire leurs titres,
l'emploi des majuscules, leur localisation relative, leurs tailles (hauteur, largeur) ; et
l'orthographe des mots utilisés dans tous les objets, de même qu'une évaluation des
synonymes.
Pour l'instant, les aspects de la Qualité Ergonomique que permettent d'évaluer ces outils sont
relativement restreints, du moins dans l'état actuel. Les outils d'aide à l'évaluation doivent
donc être considérés comme des techniques complémentaires à l'inspection de la Qualité
Ergonomique des logiciels interactifs et aux tests d'utilisation.
Tous ces outils, bien qu'ils ne fassent aucunement référence aux tâches et aux caractéristiques
des utilisateurs n'en demeurent pas moins utiles. Rappelons, par exemple, que la seule
évaluation d'une interface du point de vue de la cohérence, et à plus forte raison si l'interface
est complexe, est une tâche extrêmement difficile à réaliser. Cette évaluation nécessite que la
valeur des paramètres d'un objet ou d'un ensemble d'objets (exemple, le positionnement relatif
des boutons d'annulation et de validation d'une boîte de dialogue) soit cohérente dans toute
l'interface (dans notre exemple, le positionnement relatif des boutons de commande devra être
le même dans toutes les boîtes de dialogue à moins de justifications contraires). De plus, pour
que cette évaluation soit exhaustive, l'évaluateur doit avoir une bonne représentation du
dialogue, ce qui n'est pas non plus une chose simple à obtenir. Ainsi tout outil facilitant ce
type d'évaluation permet à l'évaluateur de consacrer plus de temps aux aspects liés aux tâches.
Ces divers outils montrent que certaines dimensions ergonomiques, certaines
recommandations ou règles se prêtent assez bien à une évaluation automatique. Toutefois ces
outils devront, pour permettre une évaluation sur des aspects plus sémantiques, s'articuler à
des outils de description de tâches et à des outils de description de l'interface. On peut déjà
imaginer l'ampleur de la tâche. En effet, comment par exemple, à partir d'une description de la
tâche, peut-on déterminer automatiquement que le dialogue correspond à sa structure ? Pour
ce faire il faudra disposer d'une bonne description du dialogue de l'interface et articuler cette
dernière à la description de la tâche.
Pour en savoir davantage...
Cet article est un extrait de : Bastien, J. M. C., & Scapin, D. L. (2001). Évaluation des
systèmes d'information et Critères Ergonomiques. In C. Kolski (Ed.), Systèmes d'information
et interactions homme-machine. Environnements évolués et évaluation de l'IHM. Interaction
homme-machine pour les SI (Vol. 2, pp. 53-79). Paris : Hermes.
Le lecteur y trouvera de plus amples informations et de nombreuses références.
[1] Clegg, C. W., Warr, P. B., Green, T. R. G., Monk, A., Kemp, N., Allison, G., & Lansdale,
M. (1988). People and computers - How to evaluate your company's new technology.
Chichester: Ellis Horwood.
[2] Farenc, C. (1997). Ergoval : une méthode de structuration des règles ergonomiques
permettant l'évaluation automatique d'interfaces graphiques. Université de Toulouse I,
Toulouse, France.
[3] Jiang, J., Murphy, E., Bailin, S., Truszkowski, W., & Szczur, M. (1992). Prototyping a
knowledge based compliance checker for user-interface evaluation in Motif development
environments. In MOTIF'92: Second Annual International Motif Users Meeting Bethesda,
MD, Washington, DC: Open Systems, pp. 258-268.
[4] Kolski, C. (Ed.). (2001). Analyse et conception de l'IHM. Interactions homme-machine
pour les SI (Vol. 1). Paris : Hermès.
[5] Kolski, C., & Millot, P. (1991). A rule-based approach to the ergonomic "static"
evaluation of man-machine graphic interface in industrial processes. International Journal of
Man-Machine Studies, 35(5), 657-674.
[6] Löwgren, J., & Nordqvist, T. (1992). Knowledge-based evaluation as design support for
graphical user interfaces. In Proceedings of the Conference on Human Factors in Computing
Systems, CHI'92, New York, NY, USA, ACM Press, pp. 181-188.
[7] Mahajan, R., & Shneiderman, B. (1995). A family of user interface consistency checking
tools (Report CS-TR-3472). College Park: University of Maryland.
[8] Marshall, C., Nelson, C., & Gardiner, M. M. (1987). Design guidelines. In M. M. Gardiner
& B. Christie (Eds.), Applying cognitive psychology to user-interface design (pp. 221-278).
Chichester, UK: Wiley.
[9] Mayhew, D. J. (1992). Principles and guidelines in software user interface design.
Englewood Cliffs: Prentice Hall.
[10] Ravden, S. J., & Johnson, G. I. (1989). Evaluating usability of human-computer
interfaces: a practical method. Chichester, UK: John Wiley & Sons.
[11] Scapin, D. L. (1986). Guide ergonomique de conception des interfaces homme-machine
[Ergonomic guidelines for the design of human-computer interfaces] (Tech. Rep. 77).
Rocquencourt, France : Institut National de Recherche en Informatique et en Automatique.
[12] Smith, S. L. (1986). Standards versus guidelines for designing user interface software.
Behaviour & Information Technology, 5(1), 47-61.
[13] Vanderdonckt, J. (1995). Guide ergonomique des interfaces homme-machine
[Ergonomic guide for user interfaces]. Namur, Belgium : Presses Universitaires de Namur.
Christian Bastien
Haut de page
Les Critères Ergonomiques (3ème partie)
Cette troisième partie vise à préciser la nature des Critères Ergonomiques, à rappeler leur
développement, leur validation et à présenter les travaux en cours. Elle n'a pas pour objectif
de présenter les Critères Ergonomiques dans le détail. Le lecteur intéressé pourra consulter les
publications suivantes : [2] [4] [6] [7] [8] [9].
Développement et validation des Critères Ergonomiques
L'objectif initial des travaux effectués sur les Critères Ergonomiques a été de formaliser et de
structurer les connaissances ergonomiques, notamment telles qu'elles apparaissent dans les
publications scientifiques sous la forme de recommandations. Les Critères Ergonomiques
représentent d'abord un moyen de classification de ces recommandations, mais surtout, ils
représentent les dimensions ergonomiques majeures selon lesquelles un système d'information
peut être spécifié ou évalué.
Un ensemble important de recommandations a été collecté à partir de guides ergonomiques et
de l'examen des résumés d'articles scientifiques publiés dans la revue Ergonomics Abstracts
(http://www.tandf.co.uk/journals/tf/00462446.html). Cette approche a permis de répertorier
environ 800 recommandations. à partir de ces travaux, une première version des critères a été
produite [8]. La construction des Critères Ergonomiques a donc procédé de manière
empirique et a suivi une démarche itérative de classification et d'accord inter-juges. Il a
cependant semblé également nécessaire de valider la qualité et l'utilisabilité de ces critères de
façon expérimentale, ce qui représente une des rares validations de telles dimensions dans la
littérature.
Plus spécifiquement, une partie des études réalisées sur les Critères Ergonomiques a consisté
à valider les Critères Ergonomiques, à apprécier les performances d'évaluation résultant de
leur application par des experts et des novices du domaine de l'ergonomie du logiciel et à
comparer ces performances à celles obtenues par l'application des Principes de Dialogue ISO
9241-10. Ce faisant, la définition des Critères Ergonomiques allait permettre de :
•
•
•
•
Définir le concept de Qualité Ergonomique des systèmes interactifs en identifiant ses
composantes ;
Structurer les résultats du domaine de l'ergonomie des logiciels en proposant des
dimensions autorisant l'organisation de bases de données ou de bases de règles ;
Contribuer aux processus de normalisation (les critères ont été repris en majeure partie
dans la norme AFNOR Z 67-133-1) ;
Enfin, de contribuer à l'amélioration du diagnostic ergonomique, notamment dans son
exhaustivité, sa fiabilité et sa robustesse et ce par des non-spécialistes autant que par
des spécialistes de l'ergonomie des logiciels.
Compte tenu de la méthode utilisée pour leur développement et leur définition, on peut
prétendre que les Critères Ergonomiques sont valides. Les critères ont été développés sur la
base d'un ensemble de recommandations important, ce qui leur assure une certaine
exhaustivité. Parce qu'ils sont directement liés aux recommandations qui leur ont donné
naissance, les Critères Ergonomiques permettent de définir la Qualité Ergonomique des
systèmes interactifs.
La construction des critères a été suivie d'une étude au cours de laquelle des participants
devaient utiliser les Critères Ergonomiques pour classifier des erreurs de conception [2]. Cette
étude visait essentiellement à apprécier la clarté des définitions des critères et à identifier les
confusions pouvant apparaître entre critères élémentaires chez des novices et des experts.
Cette première étude a permis de modifier certaines définitions, d'ajouter des exemples de
recommandations et des commentaires permettant de mieux distinguer certains critères
élémentaires. Dans cette étude, la tâche n'était pas une tâche d'évaluation, mais bien
d'identification de critères à partir d'erreurs de conception. On pouvait donc se demander si,
malgré une certaine facilité d'utilisation pour la classification d'erreurs de conception déjà
détectées, ces critères apportaient une aide réelle à l'évaluation. C'est précisément pour
répondre à cette question qu'a été conçue l'étude suivante.
Une deuxième étude a été conduite afin de tester l'efficacité et l'utilisabilité des Critères
Ergonomiques [4]. Pour réaliser ce projet, deux groupes de spécialistes en ergonomie des
logiciels ont été invités à évaluer l'interface d'un système de gestion d'une base de données
musicales. Dans la première phase de l'étude, tous les participants devaient évaluer l'interface
en ne se basant que sur leur propre expertise. Au cours de la deuxième phase de l'étude, les
participants devaient évaluer l'interface une deuxième fois mais cette fois-ci en visionnant
l'enregistrement de leurs interactions précédentes. Les participants du groupe « Critères »,
contrairement à ceux du groupe « contrôle » devaient utiliser les Critères Ergonomiques. Les
résultats ont montré que les performances des participants du groupe « Critères » étaient
supérieures à celles des participants du groupe « contrôle ». En résumé, les critères
permettaient d'améliorer les performances d'évaluation des experts.
Dans une troisième étude [7], on s'est intéressé à l'utilisation des Critères Ergonomiques par
des non-spécialistes en ergonomie et à la comparaison des Critères Ergonomiques aux
Principes de Dialogue de la norme ISO 9241- Part 10 et ce, du point de vue des performances
de diagnostic. Trois groupes de participants (Contrôle ; Critères, ISO) ont été invités à évaluer
l'interface du prototype utilisé dans l'étude précédente. Au cours de la session expérimentale,
les participants des groupes « Critères » et « ISO » ont été invités à évaluer l'interface de
façon exhaustive. La consigne précisait qu'ils devaient procéder pas à pas : pour chaque pageécran, boîte de dialogue ou fenêtre à l'écran, il leur était demandé de reprendre un à un chacun
des Critères ou principes de dialogue décrits dans le document et d'indiquer les défauts de
conception s'y rapportant. Les participants appartenant au groupe « Contrôle », n'ayant pas de
documents, devaient s'en remettre à leur seul jugement lors de l'évaluation. L'analyse des
résultats a montré que le nombre de défauts détectés en moyenne par les participants du
groupe « Critères » était supérieur à ceux détectés par les participants des groupes
« Contrôle » et « ISO ». Par contre, le nombre de défauts détectés en moyenne par les
participants des groupes « Contrôle » et « ISO » ne différait pas de façon significative.
État actuel des Critères Ergonomiques
Les Critères Ergonomiques ont été développés à partir d'une base de recommandations
importante ; ils ont été testés du point de vue de leur indépendance, de la stabilité de leur
affectation, de leur utilisabilité et de leur rôle comme aide au diagnostic. Dans leur forme
actuelle, les critères apparaissent donc valides, fiables et utilisables. De plus, leur utilisation
augmente la performance d'évaluation. L'ensemble des Critères Ergonomiques est aujourd'hui
utilisé comme grille pour le diagnostic et pour la présentation des rapports d'évaluations
d'interfaces, notamment dans l'industrie.
Les Critères Ergonomiques
1. Guidage
1.1 Incitation*
1.2 Groupement/Distinction entre items
1.2.1 Groupement/Distinction par la
localisation*
1.2.2 Groupement/Distinction par le format*
1.3 Feed-back immédiat*
1.4 Lisibilité*
2. Charge de travail
2.1 Brièveté
2.1.1 Concision*
2.1.2 Actions minimales*
2.2 Densité informationnelle*
4. Adaptabilité
4.1 Flexibilité*
4.2 Prise en compte de l'expérience de
l'utilisateur*
5. Gestion des erreurs
5.1 Protection contre les erreurs*
5.2 Qualité des messages d'erreur*
5.3 Correction des erreurs*
6. Homogénéité/Cohérence*
7. Signifiance des codes et dénominations*
3. Contrôle explicite
3.1 Actions explicites*
3.2 Contrôle utilisateur*
8. Compatibilité*
* Critère élémentaire
Les Critères Ergonomiques sont actuellement au nombre de huit. Certains de ces critères se
subdivisent en sous-critères : on compte 18 critères élémentaires [3]. Chaque critère
élémentaire est accompagné d'une définition, de justifications et d'exemples de
recommandations (Voir un exemple ci-après pour le critère Incitation). Les Critères
Ergonomiques ont récemment été étendus au Web [5] et aux interactions avec des
environnements virtuels [1].
Définition :
Le terme Incitation a ici une définition plus large que celle qu'on lui confère généralement. Ce
critère recouvre les moyens mis en œuvre pour amener les utilisateurs à effectuer des actions
spécifiques, qu'il s'agisse d'entrée de données ou autre. Ce critère englobe aussi tous les
mécanismes ou moyens faisant connaître aux utilisateurs les alternatives, lorsque plusieurs
actions sont possibles, selon les états ou contextes dans lesquels ils se trouvent. L'Incitation
concerne également les informations permettant aux utilisateurs de savoir où ils en sont,
d'identifier l'état ou contexte dans lequel ils se trouvent, de même que les outils d'aide et leur
accessibilité.
Justification(s) :
Une bonne incitation guide les utilisateurs et leur évite par exemple d'avoir à apprendre une
série de commandes. Elle permet aussi aux utilisateurs de savoir quel est le mode ou l'état en
cours, où ils se trouvent dans le dialogue et ce qu'ils ont fait pour s'y trouver. Une bonne
incitation facilite donc la navigation dans une application et permet d'éviter les erreurs.
Exemples de recommandations :
•
•
•
•
•
•
•
Guider les entrées de données en indiquant le format adéquat et les valeurs
acceptables ; par exemple, fournir, au niveau du label, des indices supplémentaires sur
le format d'entrée des données (exemple : date (jj/mm/aa) : _ _ / _ _ / _ _ ).
Afficher les unités de mesure des données à saisir.
Indiquer toutes les informations d'état (exemple : modes, valeurs, etc.).
Pour chaque champ de données, fournir un label
Fournir des indices sur la longueur autorisée des entrées dans un champ.
Donner un titre à chaque fenêtre.
Fournir des aides accessibles en ligne.
Discussion sur les Critères Ergonomiques
Dans leur version actuelle, les Critères Ergonomiques, bien qu'ils apportent une aide avérée à
l'évaluation des systèmes interactifs, posent néanmoins certaines difficultés et présentent
certaines limites.
L'efficacité de l'aide apportée par les Critères Ergonomiques pourrait être améliorée en
définissant plus avant une méthode associée. En effet, dans l'état actuel des choses, l'ébauche
de méthode se résume à l'examen d'une interface en utilisant systématiquement chacun des
critères et sous-critères, selon l'ordre dans lequel ils sont décrits, à partir d'un document
présentant la version actuelle des Critères Ergonomiques.
Il ne s'agit pas encore d'une méthode d'évaluation complètement développée : par exemple, le
document ne précise ni les façons d'explorer systématiquement l'interface, ni ne donne de
méthode d'application détaillée de chaque critère. Il reste donc beaucoup à faire pour définir
une méthode complète et des outils précis d'évaluation.
Conclusion
Dans les trois parties sur les Critères Ergonomiques, les méthodes d'évaluation de la Qualité
Ergonomique des systèmes d'information n'ont été présentées que très brièvement. Il s'agissait
ici de présenter un aperçu des méthodes actuelles et d'introduire les travaux relatifs aux
Critères Ergonomiques.
Les Critères Ergonomiques font partie des « méthodes d'inspection» qui sont définies comme
des méthodes informelles d'analyse de l'utilisabilité consistant en l'examen d'une interface
spécifiée, prototypée ou existante avec l'objectif d'identifier les défauts ergonomiques de
conception. Ces dernières reposent sur l'expertise des évaluateurs (spécialistes des facteurs
humains, concepteurs de système, informaticiens) et/ou sur une certaine connaissance des
facteurs humains telle qu'elle est disponible dans les documents habituels cités plus haut
(guides, check-lists, etc.).
Les Critères Ergonomiques peuvent être considérés comme un moyen de garantir la
conformité des systèmes aux recommandations pour la conception d'interface, comme un
moyen d'évaluer, relativement rapidement les défauts ergonomiques pour les corriger avant de
passer aux tests utilisateurs. Une telle méthode peut être vue également comme un moyen aisé
de faire entrer dans les habitudes des concepteurs/évaluateurs la nécessité de préoccupations
ergonomiques, puis de faire appel à des ergonomes professionnels pour avancer dans la
conception. En effet, il ne s'agit pas de considérer que la totalité de l'approche ergonomique
sera du ressort du non-spécialiste en ergonomie, mais plutôt que certains de ses aspects les
plus flagrants pourront être traités rapidement, sous la forme d'une inspection ergonomique
systématique. Les ergonomes pourraient ainsi se consacrer à des problèmes plus difficiles
requérant les connaissances et les méthodes qu'ils ont à leur disposition. L'approche critères
devrait aussi aider certains d'entre eux à optimiser leur démarche évaluative.
Pour en savoir davantage...
Cet article est un extrait de : Bastien, J. M. C., & Scapin, D. L. (2001). Évaluation des
systèmes d'information et Critères Ergonomiques. In C. Kolski (Ed.), Systèmes d'information
et interactions homme-machine. Environnements évolués et évaluation de l'IHM. Interaction
homme-machine pour les SI (Vol. 2, pp. 53-79). Paris : Hermes.
Le lecteur y trouvera de plus amples informations et de nombreuses références.
Références
[1] Bach, C., & Scapin, D. L. (2003). Adaptation des critères ergonomiques aux interactions
homme-environnements virtuels. IHM'2003 - 15ème Conférences Francophone sur
l'Interaction Homme-Machine (Université de Caen, 25-28 novembre) New York, NY, ACM.
[2] Bastien J.M.C. et Scapin D.L., A validation of ergonomic criteria for the evaluation of
human-computer interfaces, International Journal of Human-Computer Interaction, 4, 183196, 1992.
[3] Bastien J.M.C. et Scapin D.L., Ergonomic criteria for the evaluation of human-computer
interfaces, Rapport Technique n° 156, Institut National de Recherche en Informatique et en
Automatique, Rocquencourt, France, 1993.
[4] Bastien J.M.C. et Scapin D.L., Evaluating a user interface with ergonomic criteria,
International Journal of Human-Computer Interaction, 7, 105-121, 1995.
[5] Bastien J.M.C., Leulier C. et Scapin D.L., L'ergonomie des sites web, In Le Moal J.-C. &
Hidoine B. (Eds.), Créer et maintenir un service Web, Paris : ADBS, p. 111-173, 1998.
http://www.adbs.fr/uploads/ouvrages/inria98/p111-173.pdf
[6] Bastien J.M.C., Scapin D.L. et Leulier C., Une comparaison des Critères Ergonomiques et
des Principes de dialogue ISO 9241-10 dans une tâche d'évaluation d'interface, Revue
d'Interaction Homme-Machine, 1(1), 33-63, 1998.
[7] Bastien J.M.C., Scapin D.L. et Leulier C., The Ergonomic Criteria and the ISO 9241-10
Dialogue Principles: A pilot comparison in an evaluation task, Interacting with Computers,
11, 299-322, 1999.
[8] Scapin D.L., Des critères ergonomiques pour l'évaluation et la conception d'interfaces
utilisateurs, Actes du XXVI Congrès de la SELF (1990), Montréal, Canada.
[9] Scapin D.L. et Bastien J.M.C., Ergonomic criteria for evaluating the ergonomic quality of
interactive systems, Behaviour & Information Technology, 16, 220-231, 1997.
Christian Bastien
Haut de page