Évaluer l`efficacité des documents techniques procéduraux

Transcription

Cet article est disponible en ligne à l’adresse :
http://www.cairn.info/article.php?ID_REVUE=TH&ID_NUMPUBLIE=TH_651&ID_ARTICLE=TH_651_0001
Évaluer l’efficacité des documents techniques procéduraux : un panorama
des méthodes
par F. GANIER
| Presses Universitaires de France | Le travail humain
2002/1 - Volume 65
ISSN 0041-1868 | ISBN 2130526950 | pages 1 à 27
Pour citer cet article :
— Ganier F., Évaluer l’efficacité des documents techniques procéduraux : un panorama des méthodes, Le travail
humain 2002/1, Volume 65, p. 1-27.
Distribution électronique Cairn pour Presses Universitaires de France .
© Presses Universitaires de France . Tous droits réservés pour tous pays.
La reproduction ou représentation de cet article, notamment par photocopie, n'est autorisée que dans les limites des
conditions générales d'utilisation du site ou, le cas échéant, des conditions générales de la licence souscrite par votre
établissement. Toute autre reproduction ou représentation, en tout ou partie, sous quelque forme et de quelque manière
que ce soit, est interdite sauf accord préalable et écrit de l'éditeur, en dehors des cas prévus par la législation en vigueur
en France. Il est précisé que son stockage dans une base de données est également interdit.
THÉORIES ET MÉTHODOLOGIES
THEORIES AND METHODOLOGIES
ÉVALUER L’EFFICACITÉ
DES DOCUMENTS TECHNIQUES
PROCÉDURAUX :
UN PANORAMA DES MÉTHODES
par F. GANIER*
SUMMARY
EVALUATING THE EFFICIENCY OF TECHNICAL DOCUMENTS : A PANORAMIC VIEW
This paper takes a panoramic view of the methods employed in testing the usability of
technical documents. Three different kinds of approach are distinguished that, between them,
embrace the multi-faceted aims of different kinds of evaluation (i.e., usability verification,
choice-support and troubleshooting). These three approaches have been described by Schriver
(1989) as (a) document-focused ; (b) expert-focused ; and (c) user-focused. This paper
outlines the main characteristics and ways of proceeding for each set of approaches, and
discusses their strengths and weaknesses.
Document-focused methods focus on the document itself (and use measures such as
readability formulae). Such measures can be used without recourse to experts or to readers.
This advantage, however, has limitations. Readability formulae, for example, are only
suitable for assessing the text, and they do not consider linguistic factors (e.g., terminology,
syntax, and information organisation), para-linguistic factors (e.g., information layout),
extra-linguistic factors (e.g., information presentation format), contextual factors (e.g., device
affordance) or individual factors (e.g., prior knowledge). However, they can be used to
compare different versions of the same or similar documents.
Expert-focused methods focus on expert readers (and use measures such as technical
review). Such methods are useful for assessing the content of a document, because of the
experts’ knowledge, but experts sometimes lack the ability to assess the suitability of the text for
non-expert readers.
User-focused methods focus on these actual readers. Such methods include both process
and outcome measures. Process measures rely on behavioural tests (such as performance tests,
and analyses of reading behaviour) as well as verbal protocols. Outcome measures include
comprehension and memory tests and users’ judgements. User-focused methods are useful for
revealing misconceptions in the design of a document and in its suitability for the user, but they
are rarely suitable for judging the content of a document.
The review concludes by suggesting that an integrated approach that combines expert- and
reader-focused methods is a precondition for the effective design and evaluation of technical
documents.
Key words : Document-Focused Methods, Evaluation, Expert-Focused Methods,
Reader-Focused Methods, Technical Writing, Usability Testing.
* SUFC, Université de Bretagne occidentale, 20, avenue Le Gorgeu, 29200 Brest, et CRP2C,
Université de Haute-Bretagne - Rennes II, 6, avenue Gaston-Berger, 35000 Rennes. E-mail :
[email protected].
Le Travail Humain, tome 65, no 1/2002, 1-27
2
F. Ganier
I. INTRODUCTION
Depuis quelques années, de nombreuses recherches ont pour objet
l’évaluation de l’utilisabilité de produits destinés au grand public (notamment dans le domaine de l’ergonomie de logiciels). Toutefois, très peu
sont consacrées à l’évaluation de l’utilisabilité des documents les accompagnant. Or, les constats fréquents d’échecs d’utilisation de tels produits
et de retours-clients de produits ne présentant aucun défaut technique
ou fonctionnel renverraient à l’inefficacité de ces documents (Ganier,
1999 ; Ganier & Heurley, sous presse ; Heurley, 1994 ; Heurley
& Ganier, sous presse ; Richard, 1990 ; Sweller & Chandler, 1994).
Pourtant, une conception adaptée de ces documents s’avère essentielle
du fait qu’ils constituent la principale – voire l’unique – source
d’information disponible en termes d’aide à l’apprentissage et d’aide à la
résolution de difficultés (Allwood & Kalen, 1997 ; De Jong & Lentz,
1996).
Dans la pratique, on constate que les industriels qui utilisent systématiquement ce type de document, n’ont pas, en général, dépassé l’intuition
dans le développement d’études ou de techniques visant à en améliorer la
qualité (c’est-à-dire la lisibilité et l’efficacité). De fait, la démarche
d’évaluation de l’utilisabilité des documents techniques est souvent
absente du processus de conception, alors qu’elle devrait naturellement
en faire partie. Au mieux, elle survient au terme du processus de conception du produit que les documents sont destinés à accompagner, au risque
de manquer de temps pour les réviser avant leur lancement sur le marché
(Clegg, 1995 ; Weiss, 1988). Parmi les arguments avancés par les industriels pour marquer leurs réticences à mettre en pratique l’évaluation de
documents, Clegg (1995) cite le coût et la durée de telles études, ainsi que
la non-disponibilité d’un produit fonctionnel au moment de l’évaluation
du document.
Un travail important reste donc à effectuer pour convaincre les industriels de l’avantage qu’ils auraient à disposer de documents pertinents
et clairs, et pour les aider à élaborer et à tester de tels documents. De ce
point de vue, les connaissances accumulées en psychologie et ergonomie
devraient permettre de mettre à la disposition des rédacteurs techniques
et des industriels des indications méthodologiques et techniques quant à
la façon de concevoir et réaliser des tests d’utilisabilité des notices, modes
d’emploi, fiches techniques, etc.
Dans cette perspective, cet article présente une revue des méthodes
consacrées à l’évaluation de l’utilisabilité des documents techniques
procéduraux. Visant d’abord l’application sur le terrain, l’accent est
mis sur l’importance que revêtent les objectifs de l’évaluation dans
le choix de méthodes appropriées et sur la simplicité de mise en œuvre
et la rapidité de recueil de données permises par les méthodes
présentées.
Évaluer l’efficacité des documents techniques
I . 1. SPÉCIFICITÉS
3
DES DOCUMENTS TECHNIQUES
Présentés sur support papier, magnétique (cassettes vidéo) ou numérique (CD-ROM), les documents techniques combinent un volume important d’informations de nature déclarative et procédurale (Ummelen, 1997)
sous forme linguistique (écrite ou sonore), graphique (statique ou animée)
ou audiovisuelle. On peut les diviser en deux catégories : documents procéduraux et non procéduraux, selon qu’ils sont destinés à la réalisation de
tâches ou l’apprentissage du fonctionnement de systèmes, mécanismes ou
processus (Heurley & Ganier, sous presse ; Ummelen, 1997).
Les documents techniques procéduraux (aides en ligne, consignes de
sécurité, instructions de montage, livres de recettes, manuels d’utilisation,
modes d’emploi, etc. : Heurley, 1994, 1997) renvoient à l’utilisation de
produits de consommation (programmer un magnétoscope, utiliser un
logiciel) ou à l’exécution de procédures dans la vie quotidienne (remplir un
formulaire administratif, jouer à un jeu, réaliser une recette de cuisine) ou
en situation de travail (réaliser un montage particulier, résoudre une situation incidentelle). Ces documents contiennent en majeure partie des instructions procédurales qui décrivent des actions à accomplir en vue de la
réalisation d’un but (Heurley, 1994, 1997), mais aussi des définitions et
des descriptions concernant les conditions des actions et les résultats de
celles-ci (Kieras & Bovair, 1984). Ils sont généralement conçus pour
répondre à la question : « Comment faire pour... ? » (Kieras & Bovair,
1984) et leur utilisation vise essentiellement l’exécution immédiate des
procédures décrites. De ce fait, leur lecture ne constitue qu’une tâche
secondaire permettant de réaliser une tâche principale : exécuter une procédure, résoudre un problème, etc. En outre, la réalisation correcte des
actions peut constituer un critère de contrôle de la compréhension des
informations présentées (Ganier & Heurley, sous presse ; Richard, 1994).
Les documents techniques non procéduraux (fiches techniques, encyclopédies techniques, etc.) ont pour objectif d’expliquer la structure et le
fonctionnement d’un dispositif (ex. : moteur, système de freinage) ou le
déroulement d’un processus (ex. : traitement biologique des eaux usées)
en l’absence de ceux-ci (Mayer, 1989). Ces documents explicatifs
contiennent principalement des informations de nature déclarative (définitions et descriptions des composantes d’un système, de leurs relations,
des principes généraux de fonctionnement ainsi que du contexte dans
lequel il est utilisé) et sont conçus pour répondre à la question : « Comment le système fonctionne-t-il ? » (Kieras & Bovair, 1984). Leur objectif
principal est la compréhension et/ou la mémorisation des informations
présentées, éventuellement en vue d’une application ultérieure. En effet,
dans certains cas, les descriptions figurant dans les documents non procéduraux peuvent être transformées en procédures par l’utilisateur1. Par
1. Du fait de la diversité des objectifs de lecture (retrouver l’information nécessaire à la résolution d’un problème, lire pour faire, lire pour apprendre, etc.) et de la variété des activités induites
par le traitement des informations présentées dans les documents techniques (recherche
d’informations, apprentissage, réalisation d’une tâche, etc.), les individus qui interagissent avec ces
documents sont qualifiés d’utilisateurs et non de lecteurs.
4
F. Ganier
exemple, la description de mouvements natatoires particuliers lue dans
une fiche technique peut être transformée en instructions lorsqu’il s’agit
d’enseigner ces mouvements à d’autres individus.
Bien que l’évaluation de l’utilisabilité des documents techniques procéduraux constitue l’objet principal de cet article, les objectifs d’évaluation et les méthodes décrites peuvent s’appliquer dans certains cas aux
documents techniques non procéduraux, du fait qu’ils induisent un certain nombre d’activités similaires : recherche d’informations, résolution
de problèmes, apprentissage, etc.
I . 2. LA
CONCEPTION DES DOCUMENTS PROCÉDURAUX
Lorsqu’on considère les différentes étapes d’élaboration d’un document procédural, depuis sa conception jusqu’à son utilisation, on constate
que l’information initiale livrée sous forme de descriptif technique par le
concepteur du produit subit diverses transformations avant d’aboutir à la
mise en forme du document fourni à l’utilisateur. Ces transformations
d’informations essentiellement descriptives en informations procédurales
semblent poser des difficultés aux rédacteurs qui se trouvent de surcroît
confrontés au problème du choix d’images, de schémas, de tableaux, de
textes pour transmettre ces informations. Pour leur venir en aide, certains
organismes publics ou privés publient des recueils de recommandations
(CEP, 1983 ; ISO/CEI, 1995). Par ailleurs, ils peuvent également s’appuyer
ÉLABORATION DU PRODUIT
ET DU DOCUMENT L’ACCOMPAGNANT
CONCEPTEUR
DU PRODUIT
Descriptif technique

RÉDACTEUR
DU DOCUMENT
TECHNIQUE
COMMERCIALISATION
Document final

UTILISATEUR
DU PRODUIT

Version(s) intermédiaire(s)
RÉVISION
par des experts
internes à l'entreprise
(dont concepteur du produit)
Fig. 1. — Exemple de processus classique d’élaboration d’un document technique
destiné à accompagner un produit de consommation.
Les chiffres indiquent les principales étapes de l’élaboration
ainsi que les états successifs revêtus par le document
Technical document design process traditionally used in industry for consumer products.
Main steps are given in circled numbers
5
sur certaines préconisations particulières issues de recherches expérimentales sur le traitement et la compréhension de textes et/ou de documents
techniques ou sur les conseils d’experts de divers secteurs de l’entreprise
(Services Qualité, Recherche et Développement, Industrialisation, Relations-clients, etc.). Toutefois, ils ne disposent que très rarement
d’éléments les renseignant sur la manière dont les documents produits sont
traités par les utilisateurs. De fait, ceux-ci n’interviennent que très rarement dans le processus de conception d’un document technique (fig. 1).
Considérant que la simple application de recommandations ou le seul
recours à des experts du domaine ne peuvent pas toujours garantir
l’efficacité de tels documents, certains auteurs ont montré l’importance de
vérifier leur utilisabilité, c’est-à-dire leur appropriation par l’utilisateur
(Allwood & Kalen, 1997 ; Clegg, 1995 ; Ganier, 1999 ; Hartley, 1995 ;
McClelland, 1995). Selon ces auteurs, évaluer l’utilisabilité d’un document technique permettrait de s’assurer que des défauts importants de
conception peuvent être interceptés et corrigés avant sa diffusion au grand
public et de réduire les risques de retours-clients de produits liés à une
mauvaise compréhension des informations présentées (Ganier, 1999).
I . 3. OBJECTIF
DE L’ÉVALUATION
Pour être efficace, l’évaluation d’un document technique (procédural
ou non) doit répondre à un objectif précis. De Jong et ses collaborateurs
(De Jong & Van der Poort, 1994 ; De Jong & Schellens, 1997) considèrent qu’elle doit être conduite différemment selon qu’il s’agit de vérifier
l’utilisabilité du document, de choisir une option de conception parmi
plusieurs alternatives ou d’améliorer le document.
L’évaluation de vérification de l’utilisabilité d’un document (usability
verification evaluation) est généralement réalisée à l’issue du processus de
conception (Weiss, 1988). L’objectif de cette démarche n’est pas nécessairement d’améliorer le document, mais plutôt d’en évaluer l’intelligibilité ou l’efficacité en s’appuyant essentiellement sur le recueil de données quantitatives (par exemple, le nombre de participants parvenus à
réaliser une tâche donnée à l’aide du document).
L’évaluation d’aide à la décision (choice-support evaluation) est destinée
à identifier les avantages et inconvénients de formes alternatives de présentation de l’information dans un document. Elle est réalisée lorsqu’un
choix doit être effectué entre plusieurs alternatives de présentation d’une
information ; par exemple, lorsqu’il s’agit de choisir entre différents styles
(impératif contre infinitif) ou différents formats de présentation (texte
contre image). Elle peut être également effectuée lorsqu’il s’agit de comparer la version modifiée d’un document à la version originale. De façon
générale, les évaluations d’aide à la décision peuvent être effectuées tant
au cours du processus de conception du document qu’à l’issue de celui-ci.
Centrées sur une comparaison interdocuments relativement à une tâche
déterminée, elles s’appuient sur le recueil et l’analyse de données quantitatives, éventuellement complétées par des données qualitatives (par
exemple, les protocoles d’utilisation et la technique des choix motivés).
6
F. Ganier
L’évaluation de diagnostic-remédiation (troubleshooting evaluation) est
effectuée dans une perspective de révision. Elle consiste à localiser et
diagnostiquer les problèmes rencontrés par les utilisateurs dans le but
d’améliorer le document. Ce type d’évaluation qui peut être réalisé tout
au long du processus de conception du document, s’appuie essentiellement sur des données de nature qualitative (voir par exemple, les protocoles de lecture). L’intention de révision inhérente à ce type d’évaluation la
rend complexe. En effet, lorsqu’un problème a été détecté, le rédacteur
peut adopter diverses stratégies : par exemple, ignorer le problème ou
essayer de le résoudre en réécrivant ou en modifiant le passage concerné.
À ce niveau, une certaine expertise est nécessaire : a) pour décider que les
problèmes rencontrés par les utilisateurs sont suffisamment importants
pour induire une révision (il est possible d’effectuer des modifications sur
la base de problèmes détectés par un seul utilisateur), et b) pour modifier
efficacement les parties du document ayant induit des difficultés de traitement chez les utilisateurs.
La distinction entre ces trois approches est importante parce que
l’objectif poursuivi sera déterminant dans le choix des méthodes à adopter, le moment d’application et le type de collecte des données qui sera
effectué. Ainsi, une évaluation de diagnostic-remédiation induira une
approche qualitative (revue technique, protocoles d’utilisation, technique
du +/–) réalisée au cours du processus de conception du document. Une
évaluation d’aide à la décision nécessitera de faire appel à des méthodes
permettant de recueillir des données quantitatives et éventuellement qualitatives (formules de lisibilité, enregistrement des comportements de lecture, technique des choix motivés, questionnaires d’évaluation), et sera
réalisée indifféremment au cours du processus de conception ou à l’issue
de celui-ci. Enfin, une évaluation de vérification sera réalisée à l’issue du
processus de conception en ayant recours à des données quantitatives
(tests de réalisation).
II. LES MÉTHODES D’ÉVALUATION
II. DES DOCUMENTS TECHNIQUES
Schriver (1989) définit trois catégories générales de méthodes destinées à évaluer l’efficacité des documents techniques : 1 / les méthodes
centrées sur le document ; 2 / les méthodes centrées sur le jugement
d’experts, et 3 / les méthodes centrées sur l’utilisateur. La distinction
entre ces trois catégories est basée sur la source d’information permettant
d’évaluer le document. Ainsi, l’évaluation centrée sur le document peut
être réalisée directement par le rédacteur lui-même, alors que l’évaluation
centrée sur le jugement d’experts nécessite le recours à des professionnels
possédant des connaissances sur le produit ou le dispositif, la rédaction de
documents, l’évaluation de l’utilisabilité, etc. Enfin, l’évaluation centrée
sur l’utilisateur est réalisée à partir d’un échantillon d’utilisateurs provenant du public-cible.
II . 1. LES
7
MÉTHODES D’ÉVALUATION CENTRÉES SUR LE DOCUMENT
Les méthodes d’évaluation centrées sur le document consistent à évaluer sa qualité à l’aide de listes de recommandations ou d’outils spécifiques, telles les formules de lisibilité (Hartley, 1995, 2000). La simplicité
d’utilisation, le faible coût et la rapidité d’application de ces méthodes,
mais aussi les difficultés éprouvées par les rédacteurs à opérer des autoévaluations de leurs productions (Heurley & Ganier, sous presse), ont
contribué à en répandre très largement l’usage dans les pays anglo-saxons.
Malgré ces atouts, les méthodes centrées sur le document présentent des
limites pour l’évaluation des documents techniques procéduraux.
II . 1 . A. Les listes de recommandations
Utilisées généralement comme aides à la rédaction, les listes de recommandations peuvent également être utilisées comme guides de vérification
(checklists) dans le cas d’évaluation de diagnostic-remédiation. Elles peuvent être publiées par des organismes publics (ISO/CEI, 1995) ou privés
(CEP, 1983), ou issues de recherches expérimentales, et s’étendent de
principes généraux à la formulation de préconisations très précises. Par
exemple : utiliser la voix active plutôt que la voix passive, utiliser la forme
affirmative plutôt que la forme négative, utiliser des phrases courtes, placer les illustrations en regard des textes correspondants (Hartley, 1994 ;
Sweller & Chandler, 1994). Wright (1985) constate que l’évaluation de
documents à partir de telles checklists peut, dans certains cas (notamment
lorsque les listes sont longues), constituer une charge cognitive élevée
pour le rédacteur, au risque d’induire une évaluation peu efficace.
II . 1 . B. Les formules de lisibilité
Les formules de lisibilité (présentées la plupart du temps sous forme
d’un programme informatique intégré à un logiciel de traitement de texte)
constituent les méthodes d’évaluation centrées sur le document les plus
répandues (Duffy, 1985, en dénombre plus d’une centaine). Leur utilisation permet d’estimer la lisibilité d’un texte (c’est-à-dire son niveau de difficulté) en mettant en relation des mesures quantitatives réalisées sur
celui-ci et un niveau scolaire ou un niveau de compétence en lecture donnés. La lisibilité est donc considérée comme une caractéristique textuelle
qui peut être déterminée indépendamment du lecteur.
La plupart des formules de lisibilité (par exemple Flesch, 1948 ; Gunning, 1952) combinent deux aspects d’un texte pour prédire sa difficulté :
la longueur des phrases, estimée par le nombre de mots qu’elles contiennent, et la complexité des mots, estimée par leur nombre de syllabes
(Hartley, 1994 ; Sawyer, 1991 ; Schriver, 1989 ; Schumacher & Waller,
1985). Le principe sous-jacent à leur élaboration est que plus les phrases
sont longues et le vocabulaire complexe, moins le texte est « lisible ». Si
l’on considère qu’elles ont été créées à l’origine pour déterminer le niveau
8
F. Ganier
de lecture correspondant à des textes écrits pour des manuels scolaires, on
peut s’interroger sur la pertinence et la validité de leur usage pour
l’évaluation de documents techniques, a fortiori s’il s’agit de documents
procéduraux.
II . 1 . C. Pertinence des formules de lisibilité
De nombreuses études ont cherché à analyser dans quelle mesure les
formules de lisibilité pouvaient être appliquées à la documentation technique, et notamment aux textes procéduraux. Les revues des recherches
dans ce domaine (Giles, 1990 ; Klare, 1984 ; Redish, 1981 ; Schumacher
& Waller, 1985) montrent que ces formules manquent souvent de validité
prédictive, du fait de la spécificité et de la complexité de ce type de document et des nombreux facteurs qui exercent un effet sur leur utilisation.
En effet, outre les facteurs cognitifs et contextuels connus pour exercer un
effet sur la compréhension et/ou l’utilisation des documents procéduraux
(tels les objectifs de la lecture, la capacité limitée de la mémoire de travail,
l’existence de connaissances préalables, les affordances du dispositif :
Ganier, 1999 ; Ganier, Gombert, & Fayol, 2000 ; Ganier & Heurley, sous
presse), certains facteurs linguistiques, paralinguistiques ou extralinguistiques (Heurley, 1994) ne sont pas pris en compte par les formules de
lisibilité.
Les facteurs linguistiques
Certains facteurs linguistiques – la terminologie, la syntaxe, l’organisation des informations – sont difficiles à intégrer dans le calcul de la lisibilité des documents techniques procéduraux. Dans certains cas, ils peuvent affecter le score de lisibilité obtenu sans toutefois affecter la
compréhension ; dans d’autres cas – les plus fréquents –, ils affectent la
compréhension sans affecter les scores de lisibilité.
Terminologie
Hartley (2000) considère que l’utilisation de termes techniques dans
les documents procéduraux peut induire deux types de difficultés relatifs
au calcul de la lisibilité. Le premier réside dans le fait que certains mots
polysémiques (police, franchise, cavalier) ou certains acronymes (MODEM)
peuvent exercer un effet sur la compréhension du texte sans toutefois
affecter les scores de lisibilité. Inversement, le second tient au fait que certains mots polysyllabiques longs (canalisation, commutateur, imprimante)
peuvent affecter négativement les scores des formules de lisibilité basées
sur le comptage du nombre de syllabes (par exemple, les formules de
Flesch ou de Gunning) sans toutefois perturber la compréhension de
l’utilisateur.
Syntaxe
Redish (1981) a montré que les formules de lisibilité ne tiennent pas
compte de la syntaxe (propositions subordonnées, incises) ou des incor-
9
rections grammaticales qui peuvent perturber la lecture. Par ailleurs, la
rareté des pronoms anaphoriques qui caractérisent les textes procéduraux
(Puglielli, 1990) peut avoir une incidence dans le comptage des syllabes.
Organisation des informations
Les travaux sur les grammaires d’action ont montré l’importance de
la correspondance entre la forme de surface des instructions et l’organisation des plans mentaux. Or, les formules de lisibilité ne prennent pas
en compte ce principe d’ordre de présentation des informations. Par
exemple, à score de lisibilité supposé égal, Dixon (1987) a montré que le
temps de lecture des instructions : « Ce sera le dessin d’un wagon. Dessinez un long rectangle avec deux cercles au-dessous » correspondant à une
organisation hiérarchique du plan mental est plus bref que lorsque ces instructions sont inversées.
Les facteurs paralinguistiques
Des recherches réalisées en linguistique et psycholinguistique ont étudié le rôle des propriétés typographiques et dispositionnelles (la mise en
forme matérielle du texte ; Virbel, 1989) sur le guidage de la lecture
(Schmid & Baccino, 2001) et sur le traitement cognitif d’instructions en
compréhension et en mémorisation (Grandaty, Degeilh, & GarciaDebanc, 1997). Ces recherches montrent que les instructions dans lesquelles les étapes sont présentées sous forme de séquences sont lues plus
rapidement que la même information présentée en paragraphes (or, les
variations de mise en forme matérielle du texte n’affectent pas les scores
de lisibilité).
Les facteurs extralinguistiques
Conjointement aux instructions textuelles, l’utilisation de logigrammes, de tableaux ou de représentations analogiques du dispositif sous
forme de photographies, dessins, schémas exerce un effet facilitateur sur la
compréhension et l’utilisation d’instructions (Ganier, Gombert, & Fayol,
2000 ; Veyrac, Cellier, & Bertrand, 1997). Or, l’utilisation de formules de
lisibilité reste restreinte à la mesure du texte et ne permet pas de prendre en
compte ces formats de présentation alternatifs ou complémentaires.
II . 1 . D. Validité des formules de lisibilité
Hartley (1995) constate que les formules de lisibilité offrent des résultats différents de l’une à l’autre. Elles ne permettent pas de prédire avec
précision le niveau de lecture ou le niveau d’expertise du domaine requis
pour comprendre le texte. Par exemple, l’application de deux formules de
lisibilité (Gunning Fog Index et Flesch Reading Ease Score)1 aux mêmes
1. Les tentatives d’adaptation des formules de lisibilité au français restent rares (voir par
exemple, De Landsheere, 1963). Pour cette raison, les formules présentées ici correspondent à celles développées initialement pour l’anglais (États-Unis). Ainsi, le « Fog Index » (FI) de Gunning est
10
F. Ganier
paragraphes aboutit à un niveau de compétence en lecture équivalent à
l’âge de 18 ans pour la première et 15-17 ans pour la seconde (Hartley,
2000). Par ailleurs, une même formule peut être transcrite sous forme
d’algorithmes de calcul différents selon les programmes informatiques, au
risque d’aboutir à des résultats différents. Sydes et Hartley (1997) et
Mailloux, Johnson, Fisher et Pettibone (1995) ont montré que l’application des mêmes formules (Flesch-Kincaid, Flesch et Gunning) à partir
de logiciels distincts (Corporate Voice, Grammatix IV, Grammatik 5, MS
Word 2 et 6, Read et RightWriter) se traduit par des scores variables,
significativement différents pour certains.
II . 1 . E. Conclusion
Les principales limites des méthodes centrées sur le document sont
liées à l’absence de feedback d’utilisateurs ou d’experts du domaine. Utilisées seules, elles ne peuvent rendre compte de l’utilisabilité d’un texte à
visée pragmatique. Toutefois, elles peuvent être utilisées complémentairement aux évaluations centrées sur les utilisateurs et le jugement d’experts.
Ainsi, dans une démarche d’évaluation de diagnostic-remédiation,
l’utilisation de checklists peut permettre au rédacteur d’effectuer un premier contrôle de sa production. Par ailleurs, dans une démarche
d’évaluation d’aide à la décision, l’utilisation d’une même formule pour
comparer une version originale et une version révisée d’un texte peut procurer une indication de la difficulté relative des deux versions évaluées
(Hartley, 1995 ; Hartley & Ganier, 2000).
II . 2. LES
II . 2. SUR
MÉTHODES D’ÉVALUATION CENTRÉES
LE JUGEMENT D’EXPERTS
Les méthodes d’évaluation centrées sur le jugement d’experts (Schriver, 1989), ou « revues techniques », sont destinées à fournir des informations détaillées sur le contenu du document et doivent notamment permettre de préciser dans quelle mesure il peut être imprécis relativement
au produit décrit et/ou à son utilisation. Ces méthodes consistent à
demander à un ou plusieurs experts du domaine d’analyser le document
dans le but de le réviser. Il s’agit de re-concevoir le document dans son
ensemble (Duffy, Curran, & Sass, 1983) ou d’en réécrire certains paragraphes (Britton, Van Dusen, Gulgöz, & Glynn, 1989), avec possibilité
obtenu en appliquant la formule suivante : FI = 0,4 (ASL + %PW). Dans cette formule, ASL représente la longueur moyenne des phrases d’un texte (exprimée en nombre moyen de mots par
phrase) et %PW, le pourcentage de mots de 3 syllabes ou plus. Le résultat obtenu correspond au
niveau de lecture utilisé aux États-Unis (Grade 1 = 6 ans, Grade 2 = 7 ans, etc.). Plus l’indice FI
est élevé, moins le texte est « lisible ». Pour des documents destinés au grand public américain,
l’indice doit être équivalent à 12. Le « Reading Ease Score » (RES) de Flesch permet d’évaluer
le document selon un barème de 0 à 100. Il consiste à appliquer la formule suivante :
RES = 206,835 – 0,846 wl – 1,015 sl. Dans cette formule, wl représente le nombre de syllabes pour
100 mots et sl, le nombre moyen de mots par phrase. Le document est d’autant plus facile à lire
que le score RES est élevé. Pour la plupart des documents ordinaires, le score obtenu par
l’application de cette formule est d’environ 60 à 70.
11
d’ajouter, retirer ou modifier l’information de façon plus ou moins
systématique. Les techniques utilisées peuvent s’appuyer sur des recommandations, checklists, heuristiques, etc. Elles sont éventuellement
accompagnées :
— d’évaluations concernant différents critères (forme, style, contenu,
compréhensibilité), réalisées à l’aide d’échelles multiples (notes de 0
à 10, échelles en 6 points, etc.), de réponses à des questionnaires à
choix multiples, ou de techniques inspirées de la technique du +/– (De
Jong & Lentz, 1996 ; Wright, 1985) ;
— de prédictions concernant les problèmes de compréhension que pourraient rencontrer les utilisateurs (De Jong & Lentz, 1996 ; Wright,
1985) ;
— d’estimation de l’efficacité des révisions apportées sur la compréhension ou la rétention de l’information (Britton et al., 1989).
Parmi les techniques les plus systématiques, on peut citer celle proposée par De Jong et Lentz (1996), qui demandent à des rédacteurs techniques experts d’inscrire dans un tableau : a) la localisation des problèmes
détectés (en y associant les numéros des lignes correspondantes), b) la
description des problèmes, et c) des propositions de modifications ; et
celle utilisée par De Jong et Lentz (1996) et Wright (1985), qui demandent aux évaluateurs d’inscrire le signe + à côté de chaque phrase estimée
correcte et le signe – à côté de chaque phrase estimée incorrecte, puis de
suggérer une alternative à chaque phrase jugée incorrecte.
II . 2 . A. Efficacité des méthodes centrées sur le jugement d’experts
L’évaluation ou la révision d’un document, même par un expert, constitue une activité difficile et ne se traduit pas toujours par une amélioration de son efficacité. Par exemple, Duffy et Kabance (1982) ont montré
que la révision de documents techniques procéduraux par des experts,
même si elle permettait d’améliorer considérablement le score obtenu par
l’application de formules de lisibilité, n’induisait pas d’amélioration des
performances des utilisateurs. À la suite de ces travaux, Duffy, Curran et
Sass (1983) ont demandé à trois experts de réviser un document technique de neuf pages concernant le fonctionnement d’un amplificateur de
fréquence radio. Une évaluation des documents modifiés réalisée avec
379 techniciens en électronique ne possédant aucune connaissance sur ce
type d’amplificateur a montré qu’aucun des trois documents révisés
n’améliorait la rétention des informations (à des épreuves de rappel
indicé) ou les performances des participants en termes de précision ou de
vitesse à des tâches de résolution de problème. L’un des documents révisés a même abouti à de plus mauvais scores que le document original à ce
dernier type d’épreuve. Poursuivant le même objectif de vérification de
l’efficacité des révisions apportées par des experts, Britton et al. (1989)
ont demandé à cinq experts de réviser 52 textes de nature diverse (instructions d’utilisation, textes explicatifs, textes scientifiques, etc.). Une évaluation de l’efficacité de ces révisions réalisée avec 700 étudiants de
12
F. Ganier
Licence (Undergraduates) à l’aide d’épreuves de reconnaissance (Questionnaires à choix multiples) et de rappel (Questionnaires à réponses
courtes et épreuves de rappel libre) administrées soit immédiatement, soit
après un délai de vingt-quatre heures, montre que seulement trois experts
sur cinq ont effectué des révisions permettant d’améliorer la mémorisation des informations contenues dans les documents. Outre l’inefficacité
des révisions apportées par certains experts, ces travaux conduisent au
constat d’un manque de cohérence entre les experts qui se manifeste par
un très faible taux de recouvrement entre les révisions apportées aux
documents (voir également les travaux de Nielsen (1992) et Pollier
(1992) dans le domaine de l’évaluation d’interfaces). Ce manque de cohérence a été observé par Wright (1985), qui a demandé à des rédacteurs
techniques experts d’évaluer et/ou de réviser différents documents techniques (règles de jeux, formulaires administratifs) à l’aide de méthodes
variées (tâches de jugement, technique du +/–, réponses à des QCM, etc.).
L’ensemble des résultats indique des différences interindividuelles très
importantes en ce qui concerne la quantité et la qualité des révisions effectuées par les experts.
II . 2 . B. Les techniques utilisées pour améliorer la cohérence interjuges
Dans une expérience, Wright (1985) montre que le manque de cohérence entre les juges peut être réduit grâce à une technique qui consiste à
diviser les documents à évaluer en sections numérotées (une section = un
paragraphe, un titre, une colonne d’un tableau, etc.). Les évaluateurs doivent lire l’intégralité du document avec attention et estimer les difficultés
de compréhension d’utilisateurs pour chacune des sections par une note
comprise entre 1 et 6 (1 = très facile à comprendre ; 6 = très difficile à
comprendre). Les résultats indiquent non seulement que cette technique
permet d’obtenir une grande cohérence entre les juges, mais aussi qu’elle
aboutit à déterminer assez précisément les éléments sur lesquels la révision doit porter.
Constatant le manque de cohérence interjuges dans le domaine de
l’évaluation d’interfaces homme-machine, Nielsen (1992) a demandé à
trois groupes d’individus (des étudiants en informatique ne possédant pas
de connaissances formelles dans le domaine de l’utilisabilité, des spécialistes de l’utilisabilité et des évaluateurs possédant une double compétence :
à la fois spécialistes de l’utilisabilité et experts du type d’interface
évaluée), d’évaluer des interfaces à l’aide d’une dizaine d’heuristiques
(Nielsen, 1993). Outre le manque de cohérence inter- et intra-groupes
observé, les résultats, en accord avec ceux obtenus par Nielsen et Molich
(1990), montrent que s’ils possèdent une double compétence, deux ou
trois évaluateurs suffisent pour repérer entre 81 % et 90 % des problèmes
d’utilisabilité de l’interface, alors que s’ils n’en possèdent qu’une seule,
trois à cinq évaluateurs sont nécessaires pour découvrir entre 74 % et
87 % des problèmes. En revanche, lorsque l’évaluation est réalisée par des
non-spécialistes, 14 individus sont nécessaires pour mettre en évidence au
moins 75 % des problèmes.
13
II . 2 . C. Conclusion
Bien que les évaluations centrées sur les jugements d’experts soient
utiles pour la révision du document et qu’elles permettent d’obtenir une
grande quantité d’informations, elles souffrent souvent du fait que
l’évaluateur est trop proche du produit décrit dans celui-ci. Dans de nombreux contextes, les seuls « utilisateurs » qui participent à l’évaluation sont
des experts possédant un niveau élevé de connaissances sur le produit.
Ainsi, en contexte industriel, les revues techniques sont souvent réalisées
par des ingénieurs qui évaluent la correspondance entre le contenu du
document et la fonctionnalité d’un produit ou d’une machine, souvent en
leur absence. Au cours de cette évaluation, ils doivent, d’une part, élaborer une représentation du fonctionnement et de l’utilisation de l’appareil à
partir de leur expérience propre et, d’autre part, se constituer un modèle
plus ou moins précis des connaissances dont dispose l’utilisateur. Une
partie des difficultés peut provenir du fait que des connaissances postulées
comme existantes sont dans la réalité absentes (Veyrac, Bertrand, & Cellier, 1997). Il en résulte que le document peut s’avérer très efficace du
point de vue des personnes qui ont développé ou influencé la création du
produit (ingénieurs, informaticiens, spécialistes du marketing) mais peu
efficace pour l’utilisateur débutant (Duffy & Kabance, 1982). Schriver
(1989, 1997) montre que des experts (rédacteurs ou experts techniques)
possédant un niveau élevé de connaissance de leur domaine se représentent difficilement les besoins d’utilisateurs possédant peu de connaissances dans ce domaine. Par conséquent, cet auteur propose que les méthodes d’évaluation centrées sur les jugements d’experts ne soient pas
utilisées isolément, mais qu’elles soient complétées par d’autres méthodes
d’évaluation de documents et plus particulièrement des méthodes centrées sur l’utilisateur.
II . 3. LES
MÉTHODES D’ÉVALUATION CENTRÉES SUR L’UTILISATEUR
Une troisième catégorie de méthodes d’évaluation de documents techniques est basée sur l’implication d’utilisateurs dans l’évaluation. Ces
méthodes sont destinées à vérifier si les caractéristiques du document sont
suffisamment adaptées aux caractéristiques perceptives et cognitives des
utilisateurs impliqués dans la recherche ou la compréhension des informations en vue de leur mémorisation ou leur application. Très diversifiées,
les méthodes utilisées peuvent s’appuyer sur des feedback aussi bien quantitatifs que qualitatifs du public-cible pour recueillir des données relatives
à l’un ou l’autre des aspects étudiés (adaptation des informations à la
localisation, la compréhension, la mémorisation ou l’application). Par ailleurs, elles peuvent reposer sur le recueil de données objectives (mesures
de comportement) ou subjectives (échelles d’évaluation). Enfin, selon
l’objectif visé (évaluer l’efficacité du document en regard des activités de
lecture ou de recherche d’information ou des activités relatives à
l’application des informations), les mesures réalisées pourront être focali-
14
F. Ganier
sées soit sur le document, soit sur la réalisation de la tâche ou l’exécution
d’actions.
McClelland (1995), Schriver (1989), et Schumacher et Waller (1985)
classent les méthodes ayant recours au feedback des utilisateurs en deux
catégories :
— les méthodes de recueil du feedback en temps réel, nommées également « mesures concurrentes » (concurrent testing, Schriver, 1989) ou
« mesures en cours de traitement » (process measures, Schumacher
& Waller, 1985), qui consistent à recueillir en temps réel des données
relatives aux comportements des utilisateurs impliqués dans la lecture
et l’application des informations présentées dans le document ;
— les méthodes de recueil du feedback différé, nommées également
« mesures en sortie » (outcome measures, Schumacher & Waller, 1985)
ou « mesures rétrospectives » (retrospective testing, Schriver, 1989), qui
sont destinées à recueillir un feedback après que l’utilisateur a fini de
lire et d’utiliser le document.
II . 3 . A. Les méthodes de recueil de feedback en temps réel
Les méthodes de recueil de feedback en temps réel permettent
d’enregistrer les actions, comportements et verbalisations des utilisateurs
au cours de l’utilisation de documents. Elles reposent sur l’analyse séparée
de données comportementales (tests de réalisation, enregistrement des
comportements de lecture) et verbales (protocoles de lecture) ou sur leur
analyse conjointe (protocoles d’utilisation).
Les méthodes basées sur le recueil
de données comportementales
La caractéristique principale des méthodes basées sur le recueil de
données comportementales est que les participants exécutent simplement
une tâche alors que leurs actions sont observées et/ou enregistrées à l’aide
d’un dispositif vidéo ou informatique. L’évaluation de documents par
l’observation d’utilisateurs conduit à identifier les déterminants textuels,
graphiques (et éventuellement cognitifs et contextuels) qui ont induit les
comportements et/ou événements observés. Pour cela, l’utilisation efficace de techniques de mesure appropriées nécessite de déterminer clairement l’objectif de l’observation. Selon les objectifs fixés, les mesures effectuées peuvent se focaliser sur la lecture ou la manipulation du document,
la réalisation de la tâche, ou l’ensemble de ces activités. L’évaluation peut
concerner des caractéristiques générales du document (son contenu et sa
présentation générale, etc.) ou des caractéristiques plus spécifiques, en
rapport avec le contenu et la présentation de plus petites unités (chapitres,
sections, paragraphes, phrases, mots, tableaux, graphiques, etc.).
Les tests de réalisation
Issus de la recherche expérimentale, les tests de réalisation consistent à
demander à des individus de réaliser une tâche ou une série de tâches à
15
l’aide de documents dont on a fait varier et/ou dont on contrôle une ou
plusieurs caractéristique(s). Ces tests reposent sur le postulat que la
mesure d’indicateurs tels que les temps de recherche et de localisation de
l’information, de lecture ou de réalisation d’une tâche devrait permettre
de révéler les problèmes de conception, dans la mesure où une dégradation des performances serait due au traitement d’un matériel inadéquat1
(dans l’hypothèse d’une surcharge cognitive induite par de l’information
inadaptée ; Ganier, Gombert, & Fayol, 2000 ; Sweller & Chandler,
1994). Les données recueillies peuvent recouvrir plusieurs formes. Elles
peuvent être temporelles (durée des prises d’information, durée d’exécution de la tâche, etc.) ou basées sur des scores de précision ou d’erreur
(nombre d’erreurs, exécution correcte ou non de la procédure, etc.).
L’avantage des tests de réalisation réside dans le fait que les résultats
obtenus reposent sur des données quantitatives recueillies en temps réel
dans des situations d’utilisation contrôlées (Ganier et al., 2000). Ce type
de test constitue un outil très approprié à des évaluations de vérification
ou d’aide à la décision.
L’enregistrement des comportements de lecture
Les recherches réalisées en psycholinguistique depuis une trentaine
d’années ont conduit à l’élaboration de dispositifs permettant d’enregistrer des comportements de lecture de plus en plus fins. Parmi ceux-ci,
l’enregistrement des mouvements oculaires a été utilisé notamment pour
étudier comment des individus lisent des documents techniques incluant
du texte et des images (Hegarty, Carpenter, & Just, 1996). Bien qu’il
subsiste certaines incertitudes concernant l’interprétation de ce que les
mouvements oculaires reflètent, la plupart des recherches ont validé
l’hypothèse que la position de l’œil correspond à ce qui est traité (Just
& Carpenter, 1987). Restreint la plupart du temps à des mesures centrées
sur le document, l’enregistrement des mouvements oculaires peut s’avérer
utile pour aider à déterminer les principes de conception qui influencent
les comportements de lecture et/ou de recherche-localisation de l’information (par exemple, la mise en page). Il a été utilisé par Schmid et Baccino (2001) pour montrer le rôle de la mise en forme matérielle du texte
(Virbel, 1989) sur le guidage de la prise d’information dans des textes
procéduraux du type règles de jeu. L’utilisation de cette technique offre
des avantages certains dans une démarche d’évaluation d’aide à la décision ou de vérification : les mouvements enregistrés sont ceux que
l’utilisateur accomplit de façon naturelle pendant son activité. Par ailleurs,
de nombreuses recherches montrent que les indicateurs analysés (nombre
et durée des fixations oculaires, des saccades de progression, des saccades
de régression) sont sensibles à de nombreux facteurs linguistiques : lexicaux, syntaxiques, etc. (Coirier, Gaonac’h, & Passerault, 1996). Toute1. Dans le cadre de l’étude des documents procéduraux, la réalisation correcte des actions
constitue un critère de contrôle de la compréhension des informations présentées. Toutefois,
d’autres facteurs (tels les affordances du dispositif et les connaissances de l’utilisateur) exercent un
effet sur la réalisation des actions : il est nécessaire de les neutraliser lorsqu’on souhaite étudier
l’efficacité des instructions seules.
16
F. Ganier
fois, cette méthode nécessite un appareillage coûteux et parfois contraignant pour l’utilisateur. Pour remédier à ces inconvénients, d’autres
techniques d’enregistrement des comportements de lecture ont été développées. Portant plus sur des directions de regards que sur l’analyse des
mouvements fins des yeux, ces techniques permettent toutefois d’appréhender la localisation de la source d’information de façon relativement
précise. Par exemple, Ummelen (1997) a développé la méthode click-andread qui consiste à rendre lisibles les parties floues d’instructions présentées sur écran d’ordinateur en cliquant sur la partie désirée.
Les méthodes basées sur le recueil
de protocoles verbaux
Les techniques décrites précédemment sont particulièrement adaptées
à des évaluations d’aide à la décision ou de vérification. Elles peuvent
aider les rédacteurs techniques et/ou les industriels à examiner l’effet
exercé par certains choix de conception du document ou à en vérifier
l’utilisabilité. Elles se révèlent toutefois d’un intérêt limité lorsqu’il s’agit
d’indiquer précisément où et comment réviser un document pour le
rendre plus efficace. En conséquence, le rédacteur a également besoin
d’informations qualitatives complètes et explicites qui l’aideront dans ses
décisions de révision.
Pour répondre à ces besoins, la technique de recueil des verbalisations
provoquées utilisée dans les recherches sur la résolution de problème par
Newell et Simon (1972) a été adaptée à la lecture et à l’utilisation de
documents (Flower, Hayes, & Swarts, 1983 ; Swaney, Janik, Bond,
& Hayes, 1991). Cette technique, exposée et discutée de façon approfondie par Ericsson et Simon (1993), a pour principe de demander aux
participants de verbaliser tout ce qui leur vient à l’esprit alors qu’ils tentent de résoudre un problème donné. Dans cette perspective, l’analyse des
protocoles verbaux devrait permettre de révéler la localisation et la nature
des difficultés rencontrées, fournissant ainsi des informations utiles pour
la révision du document.
Les protocoles de lecture
Le recueil de protocoles de lecture est destiné à obtenir des données
permettant la révision d’un document grâce à l’identification des aspects
qui engendrent des difficultés de lecture ou de compréhension. Cette
technique consiste à demander aux participants de lire à voix haute les
parties du texte traitées et de verbaliser leurs pensées ( « penser à voix
haute » ou « dire toutes les idées qui viennent à l’esprit » ) lorsqu’une
partie induit des commentaires. Utilisant cette méthode, Allwood et
Kalen (1993) ont demandé à un groupe d’aides-soignantes de lire le texte
d’un manuel d’utilisation de logiciel à voix haute et de verbaliser leurs
commentaires. Ils ont observé que certaines participantes commençaient
à lire le texte en silence puis s’arrêtaient et recommençaient à le lire à voix
haute. Une explication avancée par ces auteurs est que la lecture à voix
haute et la verbalisation des pensées constituent des activités langagières
fortement interférentes. Ainsi, la difficulté à gérer parallèlement ces deux
17
activités conduirait les participantes à donner la priorité à l’une des
tâches, reléguant l’autre au second plan. Dans une nouvelle étude, cet
effet d’interférence a été réduit en demandant aux participants de lire
d’abord le texte en silence puis de verbaliser leurs commentaires à voix
haute (Allwood & Kalen, 1997). Pour éviter les effets liés à la gestion
simultanée de deux types de tâches par les participants, certains auteurs
ont recours à des techniques de recueil différé des protocoles de lecture.
Ces techniques consistent à demander aux utilisateurs de repérer chaque
élément du document à commenter au cours d’une première lecture, puis
à les interroger afin d’obtenir une explicitation des difficultés rencontrées
ou des interruptions survenues au cours de la lecture (voir plus loin la
technique du +/– et la technique de l’interruption signalée).
Les méthodes basées sur l’association
de données comportementales et verbales
La technique précédente, essentiellement centrée sur la lecture du
document, a été associée à des indicateurs relatifs à son utilisation (Swaney et al., 1991). Très proche d’une situation réelle, cette approche se
focalise sur ce qui survient lorsque le document est effectivement utilisé
pour réaliser une tâche.
Les protocoles d’utilisation
La technique de recueil des protocoles d’utilisation consiste à observer
en temps réel des utilisateurs (généralement inexpérimentés) qui interagissent avec un appareil ou un système technique uniquement à l’aide du
document. Les participants ont pour consigne de verbaliser leurs pensées
relatives à la lecture du document et/ou à la réalisation de la tâche
(Allwood & Kalen, 1997, préconisent que les utilisateurs lisent en silence
les parties du document qu’ils traitent pour éviter les effets d’interférence
entre les activités de lecture et de verbalisation à voix haute). Les protocoles d’utilisation recueillis sont constitués des données comportementales
de lecture (prises d’information sur le document) et de réalisation de la
tâche associées aux verbalisations des participants. Les avantages de cette
méthode résident dans le fait qu’elle se déroule dans une situation quasi
écologique et qu’elle permet de recueillir une grande quantité de données,
aussi bien qualitatives que quantitatives. Toutefois, la richesse des données obtenues constitue un inconvénient qui réside dans le temps nécessaire à leur dépouillement et leur analyse (verbalisations, comportements,
états du dispositif, etc.). Les effets bénéfiques de l’usage des protocoles
d’utilisation pour l’amélioration de documents ont été mis en évidence sur
la compréhension et l’application d’informations présentées dans des
manuels d’utilisation (Schriver, 1997), des formulaires administratifs
(Steehouder & Jansen, 1992) et des polices d’assurance (Swaney et al.,
1991). Cependant, certains auteurs ont suggéré que, du fait que les utilisateurs sont limités dans la somme des activités qu’ils peuvent effectuer à
un moment donné, leur demander d’effectuer une activité de verbalisation (dans ce cas, commenter leur lecture et/ou leurs actions) simultanément à la lecture du document peut altérer le traitement de celui-ci. Pour
18
F. Ganier
remédier à ce problème, Miyake (1986) demande aux utilisateurs de travailler par paires et de discuter ensemble des difficultés qu’ils rencontrent.
D’autres auteurs demandent aux participants de verbaliser après exécution de la tâche. Par exemple, Vermersch (1990) utilise la méthode des
protocoles verbaux différés qui consiste à enregistrer la procédure par
vidéo et demander aux utilisateurs de commenter le film obtenu. Cette
procédure est supposée permettre d’obtenir des observables dont la validité et la richesse seraient similaires à ceux obtenus avec les verbalisations
simultanées, tout en évitant les risques d’interférence entre la verbalisation et le déroulement des activités cognitives impliquées dans l’exécution
de la tâche. Hoc et Leplat (1983) ont comparé l’efficacité de ces différentes conditions de verbalisation (verbalisations simultanées ; verbalisations
différées avec indices de récupération obtenus par autoconfrontation aux
traces comportementales ; verbalisations différées sans indice de récupération) lors de la réalisation d’une tâche de tri. Ils ont montré que les verbalisations simultanées ralentissaient le déroulement de l’activité et induisaient des erreurs et que les verbalisations différées avec indices de
récupération permettaient d’obtenir des protocoles verbaux plus riches et
plus précis que les verbalisations différées sans indice de récupération et
presque aussi riches que les verbalisations simultanées.
II . 3 . B. Les méthodes de recueil de feedback différé
Selon Schriver (1989), les méthodes centrées sur l’utilisateur les plus
fréquemment utilisées sont celles qui consistent à recueillir un feedback
après la lecture ou l’utilisation du document. Ces méthodes de recueil de
feedback différé comprennent une grande diversité d’épreuves de compréhension et de mémorisation et de techniques de recueil de jugement.
Les tests de compréhension et de mémorisation
Issus des recherches sur la compréhension de texte et la mémoire, les
tests de compréhension et de mémorisation ont été largement utilisés
comme mesures d’évaluation de la qualité de documents techniques
explicatifs (Hartley, 1995 ; Mayer, 1989) et – dans une moindre mesure –
de documents procéduraux (Britton et al., 1989). Parce qu’ils ne sollicitent pas les mêmes processus cognitifs, ces tests (qui consistent à demander aux utilisateurs de rappeler, reconnaître, résumer ou inférer) ne sont
pas tous adaptés aux mêmes types de documents techniques. Ainsi, les
tâches de rappel et de résumé sont particulièrement adaptées aux documents techniques non procéduraux (notamment pour évaluer l’apprentissage et la compréhension ; Mayer, 1989), les tâches de reconnaissance
et de rappel s’avèrent mieux adaptées aux documents techniques procéduraux à exécution différée (Britton et al., 1989), et les tâches de réalisation d’inférences sont mieux adaptées aux documents destinés à la maintenance de systèmes (du fait que ceux-ci impliquent des activités de
diagnostic et de résolution de problème : Duffy, Curran, & Sass, 1983).
Pour vérifier l’efficacité des révisions de manuels de formation de l’armée
19
effectuées par des experts, Britton et al. (1989) ont utilisé des épreuves de
reconnaissance (questionnaires à choix multiples : QCM) et de rappel
(questionnaires à réponse courte : QRC)1. Ils ont montré qu’en situation
de test immédiat, les scores aux QCM et QCR étaient identiques pour les
deux types de document (original contre révisé). Toutefois, même si une
diminution des performances était observée en situation de test différé
(après 24 heures), les scores aux QCM et QRC étaient meilleurs pour les
documents révisés. Ces résultats ont été interprétés par Britton et al.
(1989) comme rendant compte de l’amélioration de la qualité d’encodage
des informations due aux révisions effectuées par les experts.
Les techniques de recueil de jugement d’utilisateurs
McClelland (1995) considère que lorsqu’un document est complexe,
l’information relative à l’interaction entre l’utilisateur et celui-ci peut être
efficacement obtenue à partir d’entretiens et/ou d’enquêtes. Ces techniques permettent à l’évaluateur d’obtenir, d’une part, des réponses individuelles détaillées (dans le cas d’entretiens) et, d’autre part, un nombre de
réponses suffisamment important pour permettre une généralisation des
résultats (dans le cas d’enquêtes réalisées sur de grands échantillons).
Pour ces raisons, les méthodes d’enquêtes sont très communément utilisées pour évaluer la qualité d’un document (évaluation de vérification),
alors que les entretiens sont utilisés dans le cas d’évaluations de diagnostic-remédiation ou d’aide à la décision, éventuellement en complément
d’autres tests (par exemple, test de réalisation). Quatre techniques utilisées pour l’évaluation de documents seront présentées : la première peut
être utilisée indifféremment au cours d’enquêtes ou d’entretiens (le questionnaire d’évaluation du document) et les trois autres sont destinées plus
spécifiquement aux situations d’entretien (la technique des choix motivés,
la technique du plus-moins et la technique de l’interruption signalée).
Le questionnaire d’évaluation du document
Le questionnaire d’évaluation du document est couramment utilisé au
cours d’enquêtes (évaluation de vérification) et d’entretiens (évaluation
d’aide à la décision). Après avoir lu le document, les participants doivent
répondre à un questionnaire (oral ou écrit) pour en évaluer les caractéristiques. Ce questionnaire peut permettre de recueillir :
— une estimation du niveau de satisfaction concernant certains attributs
du document (utilisation de termes tels que « Très bien », « Bien »,
« Assez bien », etc.). Les échelles d’estimation sont habituellement utilisées pour accéder aux niveaux de confort, praticité et/ou facilité
d’utilisation du document (Ganier, 1999) ;
— un jugement de préférence, utilisé pour indiquer l’ordre relatif d’une
série de caractéristiques ou de documents selon un/des attribut(s) précis (Hartley & Ganier, 2000) ;
1. Le choix de ces épreuves était justifié par le fait que ce type de document contient des
informations déclaratives et procédurales et vise une exécution différée.
20
F. Ganier
— des réponses à des questions factuelles, ouvertes ou fermées, concernant certains aspects généraux ou particuliers du document (perception de certaines caractéristiques, interprétation d’images, etc.).
En situation d’entretien, le questionnaire d’évaluation du document
peut être utilisé pour l’évaluation de documents techniques procéduraux
et non procéduraux. Par exemple, la technique utilisée par Wright (1985)
pour augmenter la cohérence interjuges dans le cas d’évaluations centrées
sur le jugement d’experts (voir plus haut) peut être utilisée pour réaliser
des évaluations de vérification et d’aide à la décision centrées sur
l’utilisateur. En outre, le recueil des commentaires des participants peut
permettre d’étendre cette technique à la réalisation d’évaluations de diagnostic-remédiation.
Une technique d’enquête utilisée pour évaluer la qualité de documents
non procéduraux a été décrite par McClelland (1995) et Schriver (1989).
Cette technique consiste à insérer dans le document une « carte-réponse »
comportant le questionnaire d’évaluation et à demander aux utilisateurs
de la renvoyer. Malgré les risques de biais d’échantillonnage (les utilisateurs qui renvoient la carte-réponse ne sont pas forcément représentatifs
du public-cible), cette technique permettrait de recueillir un nombre
important de données.
La technique des choix motivés
Utilisée par De Jong et Schellens (1994) pour évaluer les effets de la
révision d’un document administratif destiné au grand public, la technique des choix motivés consiste à présenter différentes versions d’un
document aux participants qui sont invités à en évaluer certaines parties
ou certaines caractéristiques (par exemple, à l’aide d’une échelle en
5 points) puis à justifier les notes attribuées. Cette technique d’évaluation
d’aide à la décision permet de recueillir, d’une part, des données quantitatives permettant de comparer les documents sur la base des préférences
des utilisateurs et, d’autre part, des données qualitatives indiquant les raisons de leurs choix. Peu coûteuse et nécessitant peu de temps
d’administration et de traitement des données, cette technique s’avère très
efficace pour choisir entre deux versions d’un même document ou pour
déterminer quelles caractéristiques d’un manuel d’utilisation révisé sont
préférées à celles du manuel original, et pourquoi (Ganier, 1999).
La technique du plus-moins (+/–)
La technique du +/– (De Jong & Van der Poort, 1994 ; Wright, 1985)
constitue une méthode d’évaluation de diagnostic-remédiation peu coûteuse et facile à mettre en œuvre. Au cours de la lecture, les participants
indiquent par le signe + ou – les éléments (mots, paragraphes, chapitres,
images) présentant des aspects positifs ou négatifs. Lors d’un entretien
individuel, ils sont ensuite invités à expliciter les signes + et – apposés
dans le document. L’évaluateur propose une révision du document sur la
base des commentaires recueillis. Cette méthode offre l’avantage de ne
pas affecter le cours de la lecture (le marquage des éléments positifs et
négatifs du document constitue un indice de récupération) et permet de
21
recueillir des remarques utiles pour la révision du document. Schellens et
De Jong (1997) préconisent de l’utiliser pour la révision de documents
relativement courts. En effet, selon ces auteurs, la somme importante de
commentaires recueillis et leur diversité peut compliquer la phase de révision qui suivra la collecte des données. Par ailleurs, il semblerait que cette
technique ne permet pas de recueillir de données relatives aux aspects globaux et macrostructuraux du document (les utilisateurs ne se focaliseraient que sur des problèmes locaux, microstructuraux). Des documents
administratifs révisés grâce à cette méthode se sont révélés plus efficaces
et mieux appréciés par le public-cible que les originaux (Schellens & De
Jong, 1997).
La technique de l’interruption signalée
La technique de l’interruption signalée consiste à demander au participant de lire un texte et d’indiquer par une barre oblique l’endroit où il
interrompt le cours de sa lecture (un code peut être utilisé pour indiquer la
cause des interruptions). Il est ensuite interrogé pour expliciter les problèmes rencontrés aux points indiqués. Cette technique, utilisée pour détecter
et comprendre les déterminants des interruptions de lecture (Jackson,
1974) a fait l’objet de peu de recherches. De ce fait, son utilisabilité et son
efficacité restent à vérifier. Toutefois, elle peut s’avérer une méthode de
diagnostic-remédiation intéressante si l’on considère qu’elle peut contribuer à la définition des unités textuelles correspondant aux séquences
d’actions à réaliser dans le cadre de l’utilisation de documents procéduraux
(voir le phénomène d’atomisation de l’action, Vermersch, 1985).
II . 3 . C. Conclusion
La complexité des documents techniques et la diversité des activités
induites par leur utilisation ont contribué au développement d’une grande
variété de méthodes d’évaluation centrées sur les utilisateurs. Pour aider
les rédacteurs ou les industriels à opérer des choix adaptés à leurs besoins,
il est nécessaire de déterminer préalablement à la réalisation de
l’évaluation :
— le type de document à évaluer (s’agit-il d’un document procédural ou
non ?) ;
— l’objectif de l’évaluation (s’agit-il de vérifier l’utilisabilité du document, de comparer deux versions ou d’améliorer le document ?) ;
— le type d’activité induite par l’utilisation du document (les utilisateurs
ont-ils à réaliser des activités de recherche d’information, de lecture/compréhension, de mémorisation ou d’application des informations présentées ?) ;
— les caractéristiques du document à évaluer : s’agit-il d’évaluer son
contenu (l’adéquation du texte au public-cible et au produit décrit), sa
structure (la présentation de l’information : chronologie, disposition,
mise en forme matérielle du texte), certains dispositifs spécifiques
(titres, typographie) ou l’utilisation de matériel illustratif (diagrammes, schémas, tableaux, exemples) ?
22
F. Ganier
À ces indications pourraient s’ajouter des indications concernant
l’échantillon requis, la durée de réalisation, ou encore des indications relatives à l’efficacité des différentes techniques existantes. Toutefois, à
l’instar des recherches concernant les méthodes d’évaluation centrées sur
le document et sur le jugement d’experts, des recherches visant à évaluer
la pertinence et la validité des méthodes centrées sur l’utilisateur ou à
comparer l’efficacité de ces méthodes entre elles sont encore à réaliser (les
travaux effectués jusqu’à présent consistent à comparer l’efficacité d’un
document révisé à l’aide d’une de ces méthodes contre le document
original).
III. CONCLUSION : VERS UNE PROCÉDURE
III. D’ÉVALUATION DES DOCUMENTS TECHNIQUES
Schriver (1989) considère qu’une méthode optimale d’évaluation d’un
document technique doit fournir aux rédacteurs deux sortes d’informations : 1 / des informations concernant la qualité du document et son
adéquation au produit, et 2 / des informations concernant la façon dont le
public interagit avec celui-ci. Toutefois, Hartley (1994), constate qu’il
n’existe aucun outil d’évaluation standard des documents techniques permettant d’obtenir ces types d’informations. La complexité des documents, due au volume d’informations ou à la combinaison d’informations
de nature différente qu’ils renferment, la diversité des objectifs d’utiliÉLABORATION DU PRODUIT
ET DU DOCUMENT L’ACCOMPAGNANT
COMMERCIALISATION
Révisions
Experts
Maquette
« test »
Modifications
Guide
d’utilisation
final
Évaluations
Utilisateurs
Éventuellement : Réitération du cycle
Fig. 2. — Étapes de conception / évaluation / révision de documents techniques
Technical documents design / evaluation / revision process
23
sation, des situations d’utilisation, voire des documents eux-mêmes, contribuent à rendre leur évaluation difficile. De ce fait, il apparaît nécessaire
de prendre en compte différents constituants de ces documents. Dans
cette perspective, une évaluation appropriée implique nécessairement
l’utilisation d’une combinaison de certaines des techniques disponibles,
qui devrait s’avérer plus utile et fournir des résultats plus complets que
l’utilisation d’une seule méthode. En conséquence, nous proposons une
démarche de conception/évaluation/révision de documents techniques
combinant méthodes d’évaluation centrées sur le jugement d’experts et
sur l’utilisateur. Ce type d’approche consiste à tester la première version
du document (maquette) auprès d’un groupe d’utilisateurs puis à effectuer des révisions sur la base des résultats obtenus, conjointement aux
révisions apportées par les experts (fig. 2).
L’adoption d’une telle démarche permettrait à la fois de respecter
l’adéquation du document au produit (grâce aux propositions de révisions
émises par les experts) et de corriger certains défauts de conception du
document mis en évidence par une approche centrée sur les utilisateurs.
Des exemples d’application de démarches similaires sont décrits par Clegg
(1995), Hartley (1995, 2000) et Waller (1984), qui proposent qu’une ou
plusieurs réitérations du cycle permettent une plus grande efficacité.
REMERCIEMENTS
L’auteur tient à remercier Mme C. Mariné, dont les commentaires ont
permis d’améliorer notablement la qualité de cet article et M. J. Hartley,
pour l’aide amicale apportée lors de la révision du summary.
BIBLIOGRAPHIE
Allwood, C. M., & Kalen, T. (1993). User-competence and other usability
aspects when introducing a patient administrative system : A case study. Interacting with Computers, 2, 167-191.
Allwood, C. M., & Kalen, T. (1997). Evaluating and improving the usability of a
user manual. Behaviour & Information Technology, 16, 43-57.
Britton, B. K., Van Dusen, L., Gulgöz, S., & Glynn, S. M. (1989). Instructional
texts rewritten by five expert teams : Revisions and retention improvements.
Journal of Educational Psychology, 81, 226-239.
CEP (1983). Guide pratique à l’usage des fabricants et fournisseurs pour la rédaction des
notices destinées aux acheteurs et utilisateurs. Saint-Étienne : Le Hénaff.
Clegg, J. M. (1995). What if you cannot test all documents for usability ? Journal
of Technical Writing and Communication, 25, 43-56.
Coirier, P., Gaonac’h, D., & Passerault, J.-M. (1996). Psycholinguistique textuelle.
Paris : Armand Colin.
De Jong, M., & Lentz, L. (1996). Expert judgements versus reader feedback : A
comparison of text evaluation techniques. Journal of Technical Writing and
Communication, 26, 507-519.
De Jong, M., & Schellens, P. J. (1994). Towards a valid design for pretesting and
revising leaflets. In L. van Waes, E. Woudstra, & P. Van den Hoven (Eds.),
Functional Communication Quality (pp. 104-114). Atlanta, GA : Rodopi.
24
F. Ganier
De Jong, M., & Schellens, P. J. (1997). Reader-focused text evaluation : An overview of goals and methods. Journal of Business and Technical Communication,
11, 402-432.
De Jong, M., & Van der Poort, P. (1994). Towards a usability test procedure for
technical documents. In M. Steehouder, C. Jansen, P. Van der Poort,
& R. Verheijen (Eds.), Quality of technical documentation (pp. 229-238).
Amsterdam : Rodopi.
De Landsheere, G. (1963). Pour une application des tests de lisibilité de Flesch à
la langue française. Le Travail Humain, 26, 141-154.
Dixon, P. (1987). The processing of organizational and component step information in written directions. Journal of Memory and Language, 26, 24-35.
Duffy, T. M. (1985). Readability formulas : What’s the use ? In T. M. Duffy
& R. Waller (Eds.), Designing usable texts (pp. 113-143). London : Academic
Press.
Duffy, T. M., Curran, T. E., & Sass, D. (1983). Document design for technical
job tasks : An evaluation. Human Factors, 25, 143-160.
Duffy, T. M., & Kabance, P. (1982). Testing a readable writing approach to text
revision. Journal of Educational Psychology, 74, 733-748.
Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis. Verbal reports as data.
Cambridge, MA : MIT Press (Édition originale, 1984).
Flesch, R. (1948). A new readability yardstick. Journal of Applied Psychology, 32,
221-233.
Flower, L., Hayes, J. R., & Swarts, H. (1983). Revising functional documents :
The scenario principle. In P. V. Anderson, R. J. Brockman, & C. R. Miller
(Eds.), New essays in technical and scientific communication (pp. 41-58). New
York : Baywood Press.
Ganier, F. (1999). Le traitement cognitif : déterminant de la conception de documents
procéduraux. Thèse, Université de Bourgogne, Dijon, France.
Ganier, F., Gombert, J.-E., & Fayol, M. (2000). Effets du format de présentation
des instructions sur l’apprentissage de procédures à l’aide de documents techniques. Le Travail Humain, 63, 121-152.
Ganier, F., & Heurley, L. (sous presse). La compréhension de consignes écrites.
In D. Gaonac’h & M. Fayol (Eds.), La compréhension. Paris : Hachette.
Giles, T. D. (1990). The readability controversy : A technical writing review.
Journal of Technical Writing and Communication, 20, 131-138.
Grandaty, M., Degeilh, S., & Garcia-Debanc, C. (1997). Rôle de la mise en forme
matérielle dans la constitution du sens des textes à consignes : analyse psycholinguistique et premiers résultats expérimentaux. In J. Virbel, J.-M. Cellier,
& J.-L. Nespoulous (Eds.), Cognition, Discours procédural, Action (pp. 55-74).
Toulouse : Prescot.
Gunning, R. (1952). The technique of clear writing. New York : McGraw Hill.
Hartley, J. (1994). Designing instructional text (3rd ed.). London : Kogan Page.
Hartley, J. (1995). Is this chapter any use ? Methods for evaluating text. In
J. R. Wilson & E. N. Corlett (Eds.), Evaluation of human work (pp. 285-309).
London : Taylor & Francis.
Hartley, J. (2000). Can you read this ? Tools for evaluating text. In J. Hartley
& A. Branthwaite (Eds.), The Applied Psychologist (pp. 113-125). Buckingham : Open University Press.
Hartley, J., & Ganier, F. (2000). Which do you prefer ? Some observations on preference measures in studies of structured abstracts. European Science Editing,
26, 4-7.
Hegarty, M., Carpenter, P., & Just, M. A. (1996). Diagrams in the comprehension of scientific texts. In R. Barr, M. L. Kamil, P. B. Mosenthal,
& P. D. Pearson (Eds.), Handbook of reading research (Vol. 2) (pp. 641-668).
Mahwah, NJ : Lawrence Erlbaum Associates.
25
Heurley, L. (1994). Traitement de textes procéduraux : étude de psycholinguistique
cognitive des processus de production et de compréhension chez des adultes non
experts. Thèse, Université de Bourgogne, Dijon, France.
Heurley, L. (1997). Vers une définition du concept de texte procédural : le point
de vue de la psycholinguistique. Cahiers du Français contemporain, 4, 109-133.
Heurley, L., & Ganier, F. (sous presse). La production de textes techniques. In
M. Fayol (Éd.), Traité des sciences cognitives. Production du langage. Paris :
Hermès.
Hoc, J. M., & Leplat, J. (1983). Evaluation of different modalities of verbalization
in a sorting task. International Journal of Man-Machine Studies, 18, 283-306.
ISO/CEI (1995). Guide ISO/CEI 37 : Instructions d’emploi pour les produits présentant un
intérêt pour les consommateurs. Genève, Suisse : Organisation Internationale de
Normalisation et Commission Électrotechnique Internationale.
Jackson, K. M. (1974). Monitoring communication activity : New techniques of
observation. Journalism Quaterly, 51, 47-55.
Just, M. A., & Carpenter, P. A. (1987). The psychology of reading and language comprehension. Boston : Ally and Bacon.
Kieras, D. E., & Bovair, S. (1984). The role of a mental model in learning to operate a device. Cognitive Science, 8, 255-273.
Klare, G. R. (1984). Readability. In P. D. Pearson (Ed.), Handbook of Reading
Research (pp. 681-744). New York : Longman.
Mailloux, S. L., Johnson, M. E., Fisher, D. G., & Pettibone, T. J. (1995). How
reliable is computer assessment of readability ? Computers in Nursing, 13, 221225.
Mayer, R. E. (1989). Models for understanding. Review of Educational Research,
59, 43-64.
McClelland, I. (1995). Product assessment and user trials. In J. R. Wilson
& E. N. Corlett (Eds.), Evaluation of human work (pp. 249-284). London :
Taylor & Francis.
Miyake, N. (1986). Constructive interaction and the iterative process of understanding. Cognitive Science, 10, 151-177.
Newell, A., & Simon, H. A. (1972). Human problem solving. Englewood Cliffs, NJ :
Prentice Hall.
Nielsen, J. (1992). Finding usability problems through heuristic evaluation.
CHI’92 Conference Proceedings (pp. 373-380). New York : Addison-Wesley.
Nielsen, J. (1993). Usability engineering. Boston : Academic Press.
Nielsen, J., & Molich, R. (1990). Heuristic evaluation of user interfaces. CHI’90
Conference Proceedings (pp. 249-256). New York : Addison-Wesley.
Puglielli, A. (1990). Instructions for use : From macro to micro linguistic analysis.
In M. A. K. Halliday, J. Gibbons, & H. Nicholas (Eds.), Learning, keeping and
using language (Vol. 2) (pp. 315-332). Amsterdam : John Benjamins Publishing Company.
Pollier, A. (1992). Évaluation d’une interface par des ergonomes : diagnostics et
stratégies. Le Travail Humain, 55, 71-96.
Redish, J.-C. (1981). Understanding the limitations of readability formulas. IEEE
Transactions on Professional Communication, 24, 46-48.
Richard, J. F. (1990). Compréhension de textes à visée pragmatique. In
J..F. Richard, C. Bonnet, & R. Ghiglione (Eds.), Traité de psychologie cognitive. Tome 2. Le traitement de l’information symbolique (pp. 80-92). Paris :
Dunod.
Richard, J.-F. (1994). Compréhension de textes de consignes d’action. In R. Ghiglione & J.-F. Richard (Eds.), Cours de psychologie. (Vol. 3). Champs et théories
(pp. 23-33). Paris : Dunod.
Sawyer, M. H. (1991). A review of research in revising instructional text. Journal
of Reading Behavior, 23, 307-333.
26
F. Ganier
Schellens, P. J., & De Jong, M. T. (1997). Revision of public information brochures on the basis of reader feedback. Journal of Business and Technical Communication, 11, 483-501.
Schmid, S., & Baccino, T. (2001). Stratégies de lecture pour les textes à consigne.
Langages, 141, 105-127.
Schriver, K. A. (1989). Evaluating text quality : The continuum from text-focused
to reader-focused methods. IEEE Transactions on Professional Communication,
32, 238-255.
Schriver, K. A. (1997). Dynamics in document design. New York : John Wiley
& Sons.
Schumacher, G. M., & Waller, R. (1985). Testing design alternatives : A comparison of procedures. In T. M. Duffy & R. Waller (Eds.), Designing usable texts
(pp. 377-403). London : Academic Press.
Steehouder, M., & Jansen, C. (1992). Optimizing the quality of forms. In H. Pander Maat & M. Steehouder (Eds.), Studies of functional text quality (pp. 159172). Amsterdam : Rodopi.
Swaney, J. H., Janik, C. J., Bond, S. J., & Hayes, J. R. (1991). Editing for comprehension : Improving the process through reading protocols. In E. R. Steinberg
(Ed.), Plain language : Principle and practice (pp. 173-203). Detroit, MI :
Wayne State University Press.
Sweller, J., & Chandler, P. (1994). Why some material is difficult to learn. Cognition and Instruction, 12, 185-233.
Sydes, M., & Hartley, J. (1997). A thorn in the Flesch : Observations on the unreliability of computer-based readability formulae. British Journal of Educational
Technology, 28, 143-145.
Ummelen, N. (1997). Procedural and declarative information in software manuals.
Amsterdam : Rodopi.
Vermersch, P. (1985). Données d’observation sur l’utilisation d’une consigne
écrite : L’atomisation de l’action. Le Travail Humain, 48, 161-172.
Vermersch, P. (1990). Questionner l’action : l’entretien d’explicitation. Psychologie française, 35, 227-235.
Veyrac, H., Bertrand, A., & Cellier, J.-M. (1997). Utilisation de consignes et compatibilité entre modèle de l’opérateur et modèle du prescripteur. In E. Pascual, J.-L. Nespoulous, & J. Virbel (Eds.), Le texte procédural : langage, action et
cognition (pp. 265-284). Toulouse : Prescot.
Veyrac, H., Cellier, J.-M., & Bertrand, A. (1997). Modèle de l’opérateur et
modèle du prescripteur. Le cas des consignes de résolution de situations incidentelles pour les conducteurs de trains. Le Travail Humain, 60, 387-407.
Virbel, J. (1989). The contribution of linguistic knowledge to the interpretation of
text structure. In J. André, V. Quint, & R. Furuta (Eds.), Structured document
(pp. 161-180). Cambridge, UK : Cambridge University Press.
Waller, R. (1984). Designing a government form : A case history. Information
Design Journal, 4, 36-57.
Weiss, E. H. (1988). Usability : Stereotypes and traps. In E. Barrett (Ed.), Text,
context and hypertext (pp. 175-185). Cambridge, MA : MIT Press.
Wright, P. (1985). Editing : Policies and processes. In T. M. Duffy & R. Waller
(Eds.), Designing usable texts (pp. 63-96). London : Academic Press.
RÉSUMÉ
L’évaluation de la qualité et/ou de l’utilisabilité des documents techniques procéduraux
(guides d’utilisation, modes d’emploi, etc.) reste souvent absente du processus de conception,
au risque de produire des documents inadaptés aux utilisateurs, voire inutiles. L’objectif de cet
27
article est de présenter les principales méthodes d’évaluation centrées sur le document, les jugements d’experts et les utilisateurs en regard de différents objectifs de l’évaluation (diagnosticremédiation, aide à la décision et vérification de l’utilisabilité). Il est conclu que la combinaison
de plusieurs types d’approches intégrés dans une démarche itérative constitue une condition
d’évaluation efficace de l’utilisabilité de ces documents complexes et d’amélioration de leur
conception. Ainsi, l’approche centrée sur le jugement d’experts devrait permettre de respecter
l’adéquation du document au produit qu’il accompagne et celle centrée sur l’utilisateur devrait
permettre de mettre en évidence et corriger certains défauts de conception du document.
Mots-clés : Écrits techniques, Évaluation, Documents procéduraux, Utilisabilité.
Manuscrit reçu : juillet 2000.
Accepté par J.-M. Hoc après révision : août 2001.