Version PDF de cet article - OCE

 Bulletin de l’Observatoire compétences-emplois vol. 5 no 2 (2014)
Nouvelle approche d’évaluation de la formation :
le retour sur les attentes
Yves Chochard
Université du Québec à Montréal, QC, Canada
Résumé
En 1959, Donald L. Kirkpatrick présentait son modèle d’évaluation des résultats de la formation dans une série d’articles,
désormais célèbres, de la revue Training and Development. Un demi- siècle plus tard, son fils et sa belle-fille publient, dans la même
revue, une méthode d’évaluation basée, non pas sur les investissements, mais sur les attentes des clients de la formation, le ROE
pour Return on Expectation. Yves Chochard, professeur à l’UQAM et spécialiste de l’évaluation de la formation, présente cette
méthode, ce qu’elle a de prometteur, mais aussi ses limites.
Mots-clés : Évaluation des impacts, États-Unis, outils
En 1959, Donald L. Kirkpatrick présentait
son modèle d’évaluation des résultats de la
formation dans une série d’articles de la
revue Training and Development (figure 1).
Un demi-siècle plus tard, son fils James D.
Kirkpatrick et sa belle-fille Wendy Kayser
Kirkpatrick publient, dans la même revue,
une méthode d’évaluation basée sur les
attentes des clients de la formation, le ROE
(pour Return on Expectation). Comme le
modèle de Donald, la méthode proposée par
James et Wendy facilite le travail des
professionnels de la formation. Nous
présentons ici la méthode et en discutons les
apports et limites.
1. L’originalité de la méthode
Comparativement aux méthodes d’évaluation existantes, la méthode ROE présente
deux particularités. La première est de se
dérouler avant même le début de la
formation (figure 2). En effet, l’essentiel de
la méthode ROE est de définir des objectifs
d’évaluation clairs, précis, mesurables et
réalistes à partir des attentes floues et
implicites des clients de la formation. La
deuxième originalité est de suivre le célèbre
modèle à 4 niveaux de Kirkpatrick, - comme
le font les autres méthodes -, mais à
l’envers : plutôt que de suivre la chaine de
causes à effets en partant du niveau 1 (la
satisfaction) pour arriver au niveau 4 (les
résultats organisationnels), la méthode ROE
part des résultats organisationnels (niveau 4)
pour définir des modifications de
comportements attendues (niveau 3) puis des
objectifs d’apprentissage (niveau 2). Ainsi,
d’une certaine manière, la nouvelle méthode
est le reflet du modèle historique.
2
Y. Chochard / Bulletin de l’Observatoire compétences-emploi vol. 5 no 2 (2014)
Utilité de l’information
Figure 1 : Modèle d’évaluation des effets de la formation de D. Kirkpatrick (1959)
Niveau 4
Résultats
organisationnels
Niveau 3
Comportements
Niveau 2
Apprentissages
Niveau 1
Réactions
Complexité de l’évaluation
2. Les étapes de la méthode
Sept étapes composent la méthode ROE
(figure 2).
2.1. Analyser le besoin organisationnel
(niveau 4)
Comme l’expliquent James et Wendy
Kirkpatrick, « pour démontrer la valeur
d’une formation, la première étape consiste à
créer une formation qui a de la valeur » 1 .
Cela signifie que la première étape de
l’évaluation est d’identifier l’impact attendu
de la formation sur le fonctionnement et les
résultats de l’organisation. L’évaluateur ne
définit pas seul cet impact. Il le définit en
collaboration avec les clients de la formation
(p. ex. la direction de l’organisation, la
direction de ressources humaines, la
direction de l’unité) qu’il doit convaincre de
1
Tiré de Creating ROE, the End is the Beginning,
s’impliquer dans le processus d’évaluation.
Une tâche importante est d’expliciter le plus
possible les attentes des clients afin qu’elles
deviennent mesurables. Par exemple, les
clients attendent souvent un effet de la
formation sur la qualité des services vendus
ou sur les quantités produites. L’évaluateur
doit également veiller à ce que les attentes
restent réalistes au regard des moyens de
formation à disposition (budget, temps,
ressources humaines) (Pottiez, 2011).
2.2. Identifier des indicateurs de court-terme
(passage du niveau 4 au niveau 3)
Le résultat attendu de la formation défini
à l’étape 1 ne pourra s’observer qu’à moyen
terme, plusieurs mois après la fin de la
formation. Dans la plupart des cas,
l’évaluateur ne peut attendre si longtemps. Il
a rapidement besoin d’informations pour
voir si les effets produits vont dans la bonne
direction. Cette étape consiste donc à définir
3
Y. Chochard / Bulletin de l’Observatoire compétences-emploi vol. 5 no 2 (2014)
des indicateurs de court-terme correspondant
à des effets ou à des comportements
rapidement visibles. Prenons l’exemple
d’une formation à la gestion d’appels
téléphoniques. Un indicateur de court-terme
pourrait être le temps de traitement moyen
d’un appel. Autrement dit, si la formation est
efficace, on s’attend à ce que cette durée
diminue dès la fin de la formation. Si tel est
le cas, la formation infuencera, à moyen
terme, les coûts de l’organisation liés à la
gestion des appels, la principale attente des
clients. Cet impact pourra être vérifié
quelques mois plus tard. Mais l’avantage de
l’indicateur de court-terme est qu’il donne
les moyens d’agir rapidement en cas de
problème. Dans notre exemple, si la durée de
traitement moyen d’un appel ne diminue pas,
on peut agir immédiatement en organisant
une nouvelle formation ou en mettant en
place des mesures de soutien complémentaires.
2.3. Définir les comportements critiques
(niveau 3)
L’étape suivante consiste à définir les
nouveaux comportements qui devront être
adoptés par les personnes formées. Dans
notre exemple de formation à la gestion
d’appels téléphoniques, les personnes
formées devront oublier leur ancienne
manière de faire et prendre l’habitude de
poser au client les questions permettant de
définir précisément sa demande.
Figure 2 : Méthode ROE de James D. et Wendy Kirkpatrick (2011)
1. Analyser
le besoin
organisationnel
2. Identifier
les indicateurs
de court-terme
3. Définir les
comportements
critiques
4. Déterminer
les leviers
du changement
2.4. Déterminer les leviers du changement
(entre le niveau 2 et le niveau 3)
Les leviers du changement sont les
processus et les systèmes qui contrôlent,
renforcent, encouragent et récompensent les
nouveaux comportements. Dans notre
exemple de formation, on peut imaginer les
leviers suivants :
-­ A la fin de la journée de travail, les
personnes formées calculent le temps
moyen des appels traités.
5. Concevoir
la formation
6. Contrôler et
ajuster
7. Evaluer
le retour sur les
attentes (ROE)
-­ Le superviseur discute des temps d’appels
moyens de la veille avec ses
collaborateurs.
-­ Des réunions sont organisées où les
personnes formées partagent leurs idées
pour gagner davantage de temps.
-­ Le superviseur félicite les personnes
formées après chaque gain de temps.
Les leviers correspondent donc à toutes
les mesures que l’on peut mettre en place, à
côté de la formation, pour s’assurer d’un bon
transfert des apprentissages de l’environnement de formation à l’environnement de
travail.
4
Y. Chochard / Bulletin de l’Observatoire compétences-emploi vol. 5 no 2 (2014)
2.5. Concevoir la formation (niveau 2)
Arrivé à cette étape, on peut commencer à
concevoir la formation : établir la liste des
objectifs d’apprentissage, rédiger un
contenu, penser à des exercices, sélectionner
une méthode d’enseignement, etc. Wendy
Kirkpatrick insiste sur le fait que, sans les
quatre étapes préalables, il y a peu de chance
que la formation développée à ce niveau
réponde a un besoin organisationnel
(Kirkpatrick et Kirkpatrick, 2011).
2.6. Contrôler et ajuster
Cette étape est importante mais simple à
réaliser. Elle consiste à contrôler que (1) les
comportements critiques sont adoptés par les
personnes formées, (2) que les leviers du
changement sont en place et (3) qu’ils
agissent pour stimuler ces comportements. Si
tel est le cas, les indicateurs de court-terme
indiquent une évolution positive. L’étape
consiste également à réaliser les ajustements
nécessaires.
Dans
notre
exemple,
l’évaluateur peut remarquer que le temps de
traitement d’un appel varie durant la journée
et qu’il faut en tenir compte pour ne pas
pénaliser injustement certaines personnes
formées.
2.7. Evaluer le retour sur les attentes
Finalement, quelques mois après la
formation, son effet sur les résultats
organisationnels
peut
être
mesuré.
L’évaluateur est en mesure de donner un
feed-back aux clients de la formation. Dans
notre exemple, l’analyse du ROE met en
lumière une baisse de 15 % du coût moyen
de traitement d’un appel, ce qu’attendaient
principalement les clients. La formation peut
donc être considérée comme un succès au
regard des attentes et des objectifs exprimés.
La méthode ROE permet aussi d’aller plus
loin en répondant à la question « pourquoi ce
coût a-t-il baissé ? ». En effet, elle aura
permis de récolter de l’information sur les
effets intermédiaires de la formation, au
niveau des indicateurs de court-terme et au
niveau des comportements.
3. Les apports de la méthode
La méthode ROE permet un changement
de vision de l’activité d’évaluation de la
formation à deux niveaux.
1. Les cinq premières étapes de la méthode
ROE mettent en évidence l’importance de
la conception de la formation, pour un
impact positif sur les résultats
organisationnels. L’évaluation n’est plus
vue comme une activité post-formation
mais comme une activité qui se passe
essentiellement avant la formation. Elle
n’est plus pensée de manière isolée mais
fait intégralement partie du processus
d’ingénierie de la formation.
2. L’évaluation n’est plus vraiment « un
projet RH », mené par le formateur, le
gestionnaire de la formation ou le
gestionnaire RH. Elle devient un projet
impliquant toute l’organisation, des
clients de la formation (qui définissent
des attentes concrètes et des indicateurs
de court-terme) aux participants et
superviseurs (qui réfléchissent aux
comportements critiques et aux leviers du
changement).
5
Y. Chochard / Bulletin de l’Observatoire compétences-emploi vol. 5 no 2 (2014)
4. Les limites de la méthode
On peut toutefois exprimer trois limites
par rapport à la méthode.
1. Comme le soulignent Jack J. Phillips et
Patti P. Phillips (2011), l’expres-sion
utilisée pour qualifier la méthode, - le
ROE -, peut faire croire au calcul
systématique d’un indicateur économique
ou financier, tel que le ROI (pour Return
on Investment), ce qui n’est pas forcément
toujours le cas. Une attente exprimée par
un client vis-à-vis d’une formation peut
se limiter à la satisfaction des personnes
formées, sans qu’un indicateur de résultat
organisationnel en soit nécessairement
calculé. En outre, le ROE en tant
qu’indicateur est une information « qui ne
parle
pas »
aux
dirigeants
des
organisations, plus habitués à raisonner
en termes de ROI.
2. Les articles présentant l’approche ROE
ont tendance à l’opposer au processus
ROI, la méthode d’évaluation développée
par Jack J. Phillips en 1997. Cela
explique notamment la vive réaction de ce
dernier face au ROE (Phillips et Phillips,
2011). Toutefois, le processus ROI
s’adapte bien à différents contextes
d’évaluation, comme le témoignent les
études de cas disponibles en ligne (citons
notamment l’étude de Nathan de 2009
portant sur le calcul du ROI d’une
formation à l’anglais comme langue
seconde). A notre avis, les deux méthodes
sont complé-mentaires : la méthode ROE
permet de repenser les activités préformation alors que le processus ROI
facilite les activités d’analyse postformation.
3. Les documents décrivant la méthode ROE
sont encore peu nombreux. Elle est
brièvement décrite dans deux articles de
la revue Training + Dévelopment ainsi
que dans le chapitre d’un ouvrage paru en
2010 (Krikpatrick et Kirkpatrick, 2010 et
2011). Or des questions demeurent sur sa
mise en application. Par exemple,
« comment faire lorsque les clients de la
formation sont nombreux ? », « comment
gagner l’implication de tous les clients au
processus d’évaluation ? », « existe-il des
situations où la méthode s’applique mal,
ou certaines étapes ne peuvent être
réalisées ? ». La publication d’études de
cas donnerait des pistes de réponse à ces
questions.
5. Pour conclure
La méthode ROE change notre manière
d’aborder l’évaluation de la formation.
Autrefois pensée comme une mesure de fin
de processus, réalisée par un évaluateur
isolé, elle devient une des premières étapes
de conception d’une formation à laquelle
participe toute l’organisation. En ce sens,
comme le modèle proposé il y a 50 ans par
Donald Kirkpatrick, la méthode d’évaluation
de James et Wendy Kirkpatrick nous fait
changer notre manière de concevoir une
formation en milieu de travail et stimule le
développement de la pratique évaluative
dans les organisations.
Références
Kirkpatrick, J. D. et Kirkpatrick, W. (2011). Creating ROE,
the end is the beginning, T+D, November 2011, 60-64.
Kirkpatrick, J. D. et Kirkpatrick, W. (2010). ROE Rising
Stars, Why return on expectations is getting so much
attention, T+D, August 2010, 34-38.
6
Y. Chochard / Bulletin de l’Observatoire compétences-emploi vol. 5 no 2 (2014)
Kirkpatrick, J. D. et Kirkpatrick, W. (2010). Training on
Trial, How Workplace Learning Must Reinvent Itself to
Remain Relevant, AMACOM, New-York, 239 p.
Kirkpatrick, D. (1959). Techniques for Evaluating Training
Programs, Journal of the American Society of Training
Directors, vol. 13, no 12, 21-26.
Nathan, E. P. (2009). Determining the ROI of an online
English as a second language program, Performance
Improvement, vol. 40 no 6, 39–48.
Pottiez, J. (2012). Pour évaluer les formations, stop au
R.O.I, vive le R.O.E, Personnel, no 530, juin 2012, 7274.
Phillips, J. J. (1997). Return On Investment in training and
performance improvement programs, Gulf, Houston
(Texas, Etats-Unis).
Phillips, J. J. et Phillips, P. (2011). The Myths of Return on
Expectation, Training, Nov/Dec 2011, vol. 48 no 6,
p. 14-16.