dispositif d`evaluation

1
DISPOSITIF D’EVALUATION
Michel ARNAUD
CRIS Paris Ouest
I-
Evaluation dans le cas de l’audit, du cahier des
charges ou du prototype
Dans les trois cas (audit, cahier des charges pour un projet et prototype), il est nécessaire de
mettre au point un dispositif d’évaluation. Les étapes en vue de produire le document
demandé dans le cadre de cet EC concernent :
• le choix des critères d’évaluation et la rédaction d’une batterie d’indicateurs,
• l’organisation du test du prototype ou dans les deux premiers cas, une compilation de
données recueillies à des fins d’évaluation (à partir d’études antérieures ou au moyen d’un
questionnaire spécifique),
• l’analyse des résultats,
• les propositions d’amélioration du dispositif au vu des résultats de l’évaluation.
II 1)
Définition des indicateurs pour réaliser l’évaluation
Définition des critères d’évaluation
Définition des critères d’évaluation par rapport :
- au public cible,
- à la problématique,
- aux objectifs,
- aux contenus proposés,
- aux services proposés,
- à la structure d’accompagnement.
Le public cible tel qu’il a été défini dans l’étude de besoins permet de préciser les aspects
spécifiques de la demande qui sont à prendre en compte. Il se peut qu’il y ait des besoins non
exprimés et qui doivent être mis à jour et pris en considération, au-delà de ceux dont le projet
a tenu compte. Cet aspect fait partie de la problématique. Celle-ci peut également concerner
de manière plus large la manière dont les moyens sont mobilisés pour atteindre les objectifs
du projet. L’équipe projet a interprété les enjeux à sa manière et peut être évaluée en fonction
des services, contenus et structure d’accompagnement qu’elle a mis en place pour répondre à
la demande. Les objectifs étant définis dans les spécifications fonctionnelles et repris dans le
cahier des charges, peuvent donc être évalués en fonction de ce qu’on connaît du projet, à
savoir s’ils ont été bien définis en fonction de la demande ou d’autres considérations. Les
contenus aussi sont à évaluer en fonction des objectifs fixés (pertinence, accessibilité, etc..) et
aussi de la manière aussi dont ils sont présentés. L’évaluation des services d’accompagnement
peut s’effectuer à partir de l’analyse de leur adéquation à la demande d’aide de la part des
publics concernés.
2
La structure du projet est à évaluer en fonction de critères liés à sa nature (robuste, facile à
utiliser, efficacité des fonctions proposées, etc.), et à sa construction (rigueur du cahier des
charges, développement ayant suivi à la lettre ce dernier). Il est évident que la personne qui a
conçu le projet ne peut pas l’évaluer, si vous êtes dans le cas du prototype que vous avez
développé. Il convient alors que vous trouviez des collègues ou d’autres personnes qualifiées
pouvant évaluer votre projet.
2)
Mise au point des indicateurs
Dans le cas du prototype, après avoir sélectionné les sites de test, il s’agit de déterminer le
public cible, les animateurs et évaluateurs à mobiliser, les contenus à rendre accessibles aux
moments demandés, d’établir le calendrier de l’évaluation. Dans les trois cas, c’est-à-dire y
compris pour l’audit et le cahier des charges, il convient d’identifier les variables
significatives relatives aux points mentionnés dans l’étude de faisabilité, l’étude de besoins,
les spécifications portant sur :
1) le contenu du projet : respect de la définition du public cible, adéquation aux objectifs,
validité du contenu, efficacité de l’approche multimédia.
2) le mode de développement du projet : cohérence du projet, conduite rigoureuse,
motivation des personnes concernées par sa conception.
De nombreux indicateurs peuvent être conçus en guise de tableau de bord des activités d’un
dispositif que vous auditez ou dont vous faites partie (cahier des charges) ou enfin que vous
expérimentez (prototype), afin de mesurer autant que faire se peut l’adéquation des réponses
apportées aux besoins de la population cible.
Au stade où vous en êtes rendus pour l'instant dans le développement de votre projet, sauf s’il
s’agit d’un audit, il est prématuré d'entrer trop avant dans les différentes problématiques
qualité. Toutefois, nous vous recommandons de le planifier, dès à présent, dans une optique
de management de la qualité avec, au minimum, une volonté de mise sous contrôle en suivant,
dès le départ, les recommandations suivantes :
Gérer la qualité
1. Définissez vos processus en élaborant un tableau de bord pour sa réalisation : les
processus définissent les activités développées dans le cadre du dispositif étudié. Dans le
cas d’un audit ou d’un cahier des charges, ces procédures sont à évaluer au moyen
d’indicateurs à définir avec le plus de précision possible sans pour autant que vous soyez
en mesure de les utiliser complètement par manque d’information pertinente. Dans le cas
d’un prototype, ces indicateurs vous permettront de contrôler la bonne marche de votre
projet et de suivre les actions de préparation et de sa mise en place dans un EPN ou un
réseau d’EPN. L’efficacité de votre action dépend largement de la qualité de sa
conception. Prévoyez plusieurs indicateurs pour mesurer l’écart entre vos prévisions et
vos réalisations. Veillez à la pertinence de ces indicateurs : rendent-ils compte du suivi
général de l’action ? De l’atteinte des objectifs ? De l’efficacité des ressources mises en
œuvre ?
2. Déterminez 5 types d’indicateurs :
• des indicateurs de conformité : ce que j’observe est-il conforme à ce qui était
3
•
•
•
•
prévu ?
des indicateurs de cohérence : ce qui est mis en place est-il cohérent ou
contradictoire avec d’autres procédures de l’institution, l’entreprise ou l’organisation ?
des indicateurs de pertinence : ce qui a été mis en place est-il adapté à l’objectif
visé ?
des indicateurs d’efficience : ce qui a été mis en place produit-il les effets escomptés
en respectant les coûts, la qualité, la quantité et les délais ?
des indicateurs de satisfaction qui seront surtout pertinents lors de la réalisation de la
prestation.
3. Définissez les indicateurs relatifs à une politique d’entreprise, en fonction des priorités
d’action : existe-t-il un suivi pertinent des objectifs à court, moyen et long terme ? La
réduction de la fracture numérique, le développement du lien social par les TIC ou autre
thème choisi doivent être au centre de votre analyse.
4. Collectez les informations d’évaluation de la qualité à partir de diverses méthodes
qualitatives et quantitatives. Etablissez des questionnaires concernant :
• les utilisateurs : la population des utilisateurs est-elle bien ciblée ? Ont-ils les prérequis nécessaires (compétences procédurales) pour mener à bien leur projet personnel
ou collectif? Sont-ils satisfaits ?
• les ateliers d’animation et de formation : le programme est-il pertinent ?
Correspond-il à l’attente des utilisateurs et des commanditaires ? La formation
pratique est-elle suffisamment développée ? Les moyens techniques, organisationnels
et humains mis à disposition sont-ils adaptés ?
• la pertinence du programme par rapport au projet de l’organisation : le programme
est-il cohérent avec la politique de l’organisation ? La planification ? Le nombre et la
répartition des utilisateurs sont-ils raisonnables ? La durée prévue pour les ateliers estelle adaptée ?
• les résultats attendus : ont-ils été atteints ? La partie exercices et travaux pratiques
est-elle suffisante ? L’efficacité et la performance sont-elles prises en considération
dans la grille de résultats ? Comment s’est fait le transfert en situation
professionnelle ?
Veillez à ce que chacun s’accorde sur l’importance des résultats. Si les avis diffèrent,
réexaminez en conséquence la mise en œuvre du plan de formation et de développement.
5. Analyser les informations recueillies pour évaluer et améliorer les programmes.
Observez attentivement la réalité par rapport au programme initial : ce qui est observé estil conforme à ce qui était prévu ? Si tel n’est pas le cas, quels sont les risques encourus ?
Comment s’expliquent-ils ? Le budget et les délais sont-ils respectés ?
6. Réfléchissez aux moyens d’améliorer la situation pour éviter de répéter les erreurs
passées. Repérez les points forts et les points faibles de chacune des actions par rapport
aux différents critères des questionnaires. Etablissez des recommandations pour traiter les
causes de dysfonctionnement.
7. Mettez en œuvre un dispositif de suivi et de régulation : rédigez une synthèse des
évaluations et communiquez-la aux décisionnaires pour obtenir leur feed-back. Visez
toujours la qualité optimale.
4
III - Organisation de l’évaluation du projet
Il y a deux formes d’évaluation à envisager : dans le cas d’un audit de dispositifs existants ou
d’un cahier des charges pour un projet en cours ou en gestation, il s’agit de réaliser une
évaluation globale sous forme d’interprétation des données disponibles à compléter par des
entretiens pour vérifier les interprétations tirées de l’analyse des données. Tandis que dans le
cas d’un prototype, il est possible d’envisager un questionnaire à faire remplir par les
utilisateurs cobayes et une grille d’évaluation remplie par les évaluateurs qui auront observé
en présentiel (dans le même lieu que les utilisateurs cobayes) ce qui se sera passé, afin de
pouvoir analyser des données recueillies selon une méthodologie la mieux adaptée aux buts
poursuivis.
1)
Cas particulier de l’évaluation du prototype
a)
Sélectionner les sites de tests, déterminer le public cible, les animateurs
et évaluateurs à mobiliser, les contenus à rendre accessibles aux
moments demandés, établir un calendrier
Pour les sites à sélectionner, il s’agit de définir les lieux où vont se dérouler les
expérimentations du projet, que ce soit une salle de cours équipée d’ordinateurs, une salle de
ressources informatiques, un télécentre communautaire, des locaux privés, etc…
Les caractéristiques des utilisateurs cobayes doivent correspondre à celles du public cible. On
veillera à avoir un échantillon le plus représentatif possible. Les contenus à mettre à
disposition seront en ligne et accessibles aux utilisateurs et aux animateurs/tuteurs, ce qui
signifie que les droits d’accès correspondants leur aient été accordés.
Le calendrier est à fixer en fonction des disponibilités à la fois du public cible, des
animateurs, des évaluateurs et des locaux où vont se dérouler les expérimentations. Le temps
à consacrer avant l’expérimentation proprement dite comprend celui passé à la mise en ligne
des contenus y compris l’ouverture des droits, la préparation des lieux de réception, la
convocation des utilisateurs, animateurs/tuteurs et évaluateurs.
Dans le cas d’un audit, il serait souhaitable de trouver des résultats recensés correspondant à
des configurations équivalentes à celle précédemment décrite.
b)
Mise au point des modalités de l’évaluation : constitution de l’équipe
d’évaluateurs de votre prototype
L’évaluation se déroule à deux niveaux. D’abord, il est souhaitable que vous soyiez en mesure
de recueillir les performances des utilisateurs cobayes de telle sorte que vous puissiez mesurer
leur degré de réussite et leur degré de compréhension des contenus proposés. Si votre panel
d’utilisateurs cobayes est bien constitué, vous devriez avoir un éventail assez large de
résultats permettant de repérer qui a obtenu quel résultat et pour quelles raisons.
5
L’autre niveau de l’évaluation se déroule sous la forme du recueil et de l’analyse des réponses
aux questionnaires donnés aux utilisateurs cobayes après que les séquences d’initiation à
Internet, au suivi de projets individuels et collectifs (apprentissage en ligne par exemple) aient
été complétées ainsi qu’aux évaluateurs ayant observé le déroulement de ces mêmes
séquences à la fois pour la partie se déroulant sur place et pour celle se déroulant à distance.
Cette équipe d’évaluateurs doit être la plus impartiale possible, ni pour ni contre le projet en
question, mais capable de faire des observations fondées. Il serait souhaitable de vérifier que
ces évaluateurs ont bien compris ce qu’il leur est demandé en parcourant avec eux les
questionnaires de telle sorte qu’ils sachent aider éventuellement les utilisateurs s’ils ne
saisissaient pas les termes d’une question et puissent la reformuler.
Il serait souhaitable de pouvoir croiser les résultats effectifs obtenus par tel et tel type
d’utilisateurs et leurs réponses aux questionnaires d’évaluation de telle sorte qu’on puisse
discerner une éventuelle corrélation entre profils spécifiques d’utilisateurs, résultats obtenus et
appréciations portées sur le projet lui-même.
Le rapport réalisé par l’équipe d’évaluateurs à partir de l’analyse des résultats tirés des
questionnaires doit être adressé à l’animateur référent dans le cadre de votre projet dans les
délais fixés d’un commun accord et en tout cas respectant les dates limites de remise des
travaux.
c)
Estimation et programmation du temps nécessaire pour tester le
prototype, en activant l’équipe d’animateurs et d’évaluateurs.
Le temps consacré à l’expérimentation proprement dite comprend celui nécessaire à la
complétion des séquences d’initiation à Internet, au suivi des projets individuels et collectifs,
entrant dans l’évaluation ainsi que celui passé à remplir ensuite les questionnaires
d’évaluation.
IV - Exploitation des résultats de l’évaluation
1)
Compilation des résultats par indicateurs.
Des calculs statistiques sont à effectuer éventuellement pour vérifier la validité des résultats
(calculs de la variance, du Khi 2, etc..). On veut utiliser des résultats quantifiés tirés des
questions relatives aux contenus, aux démarches d’interactions, à la réalité et au sentiment
d’avoir appris quelque chose, enfin aux rapports aux tuteurs et aux autres apprenants.
Les indicateurs sont à bâtir en fonction de certaines variables de base relatives à l’appréciation
de l’utilisateur vis-à-vis du dispositif, telles que la mesure de :
- l’accessibilité (du local, des machines),
- la facilité d’usage des outils disponibles («chat », forum, etc…),
- l’ergonomie du dispositif (système d’identification, présentation générale, etc..),
- la lisibilité des icônes sur l’écran (pour le « browsing », la navigation, etc…),
- la présentation des contenus (clarté, concision, etc..),
6
-
l’intérêt des exercices proposés
etc...
NB : le même questionnaire doit être rempli par les animateurs/tuteurs donnant ainsi son avis
sur ces mêmes aspects du projet présenté.
2) l’évaluation de l’utilisateur par l’animateur/tuteur, telles que la mesure de :
- sa facilité d’accès au logiciel,
- son mode d’usage des outils de communication (intuitif, raisonné, etc..),
- sa manière de naviguer dans la séquence (séquentielle, décousue, etc..),
- son mode de communication avec les autres utilisateurs (très, peu ou pas du tout
communicatif),
- ses réactions devant une difficulté (fait appel plutôt à un autre utilisateur ou à
l’animateur/tuteur présent ou à distance, etc..).
A rapprocher des résultats obtenus aux tests finaux de la séquence (ce qui suppose
évidemment que les utilisateurs soient identifiés à la fois pour les tests finaux et leurs
réponses aux questionnaires). Les indices à formuler à partir de l’analyse des résultats tirés de
ces indicateurs tourneraient autour de l’identification du comportement des utilisateurs en
fonction de leurs attitudes personnelles et des possibilités d’interactions offertes par le projet.
Ceci entrerait dans une démarche d’optimisation de la valeur sociale du projet.
2) Présentation et interprétation des résultats
Les principaux objectifs de ce rapport sont de pouvoir mesurer à partir de l’analyse de
l’ensemble des indicateurs tirés des résultats des questionnaires. La présentation des résultats
doit prouver la bonne qualité de certains aspects du projet et déterminer les autres aspects
nécessitant une amélioration ou une remise en ordre.
V - Amélioration du projet et élaboration d’une charte de
conception en fonction des résultats de l’évaluation
Cette étape est difficile à implémenter dans le cadre d’un projet durant seulement quelques
mois. Néanmoins, il nous a paru utile de l’inclure de telle sorte que vous ayez une idée de la
manière de procéder si d’aventure vous étiez en position de pouvoir continuer votre projet et
de l’améliorer dans une phase ultérieure.
1)
Modification de la conception en fonction des résultats de
l’évaluation
Modification de la conception en fonction des résultats de l’évaluation dont les conséquences
se font sentir sur :
- les choix les plus adaptés aux besoins et capacités des utilisateurs, avec indication des
seuils de progression,
7
-
les options technologiques en fonction des données techniques : capacités des réseaux,
équipement disponible pour les utilisateurs,
et les scénarios combinant les choix et les capacités des utilisateurs en fonction du
matériel disponible (y compris les conditions de connexion).
Le modèle idéal serait un projet qui offrirait la possibilité de modifier les scénarios d’usages
en fonction des souhaits des utilisateurs. Il y aurait donc une adaptabilité du projet en fonction
du degré d’autonomie des utilisateurs, de leur possibilité de se prendre en charge seuls et en
groupe, de leur besoin de communiquer entre eux et avec les animateurs/tuteurs.
2)
Nouvelle expérimentation comprenant également une nouvelle
évaluation sur les points améliorés
Dans le cadre de votre projet, si les modifications envisagées ne remettent pas en question les
fondements de votre approche conceptuelle et de votre développement, vous pouvez
envisager de modifier certains aspects afin de le rendre plus performant et plus proche des
besoins des utilisateurs. Il est toujours souhaitable de se donner les moyens de modifier un
modèle, une approche à condition d’en avoir les moyens matériels et humains.
3)
Elaboration d’une charte de conception de telle sorte que cette
démarche soit à la fois la plus flexible et la plus formalisée
possible.
Au vu de toutes ces considérations relatives à l’évaluation de votre projet et des résultats
obtenus, il serait souhaitable que vous envisagiez de rédiger en annexe de votre projet une
charte de conception décrivant très précisément ce qui s’est passé depuis les phases initiales
de l’étude de besoins, des spécifications fonctionnelles et du cahier des charges jusqu’à
l ‘évaluation de votre projet complètement développé. Cette charte expliquerait les conseils
que vous donneriez à un concepteur de telle sorte qu’il/elle évite les pièges où vous pensez
être tombé ou que vous avez justement réussi à éviter.
Bibliographie :
Manuel d’évaluation des projets du 5ème PCRD de l’Union Européenne
http://www.cordis.lu/fp5/src/evalman.htm