QCM - CRAME

Les Questions à Choix Multiples (QCM):
outils d'investigation des connaissances et du raisonnement
André Quinton
Lorsque plusieurs centaines ou milliers de candidats se présentent à un examen ou un concours
les épreuves par QCM sont incontournables. L'automatisation de leurs corrections et de leurs
notations, d'une part rend ces épreuves objectives et fiables, d'autre part génère une considérable
économie de temps, de moyens humains et matériels par rapport à des corrections d'épreuves
rédactionnelles.
Le caractère artificiel des QCM a été dénoncé par leur concepteur même. 0n estime volontiers
que le raisonnement est inexplorable par les QCM du fait que la plupart portent sur les connaissances
en mémoire et leur compréhension ; il est cependant possible de rédiger des QCM qui évaluent, non
seulement le résultat d'un raisonnement, mais aussi son processus.
Le plan de ce texte est le suivant
1 - Définition et historique
2 – Les différentes structures de base de Questions à Choix Multiples
3 - Variations dans les structures des QCM
4 - QCM outils d'investigation du raisonnement
5 - Probabilités de répondre juste au hasard
6 - Notation des QCM et notation d'une épreuve par Q.C.M.
7 - Correction des Q.C.M.
8 - Rédiger des Q.C.M.
9 - Evaluation de la qualité de Q.C.M.
10 - Quand et dans quelles conditions utiliser des QCM?
1 – Définition et historique
Une QCM est une question dont on choisit la réponse dans une liste de propositions.
Q_1 - Qui est le créateur des Q.C.M.?
A - Watson
B - Skinner
C - Kelly
D - Thorndike
E - Binet
Dans leur usage actuel la plupart des QCM ont la structure imaginée par leur concepteur
F.J. KELLY:
- un énoncé (ou libellé), le plus souvent sous forme de question, accompagné d'une
consigne de réponse
- et une liste de cinq propositions de réponses, dites compléments, dont une au
moins est juste alors que les autres sont fausses (alors souvent désignées comme
leurres ou distracteurs).
Depuis un siècle de nombreuses variantes de QCM ont été conçues.
DU de Pédagogie – Février 2013
-1-
Quelques mots sur l'histoire des QCM.
FJ. Kelly, professeur puis doyen de l'Ecole Normale du Kansas, inventa en 1915 le Kansas
Silent Reading Test, utilisé comme test de connaissances "élémentaires" pour recruter massivement
parmi les immigrants la main d'œuvre nécessaire au développement industriel indispensable à l'effort
de guerre des USA lors de la Première Guerre Mondiale (1).
Ultérieurement ce test est devenu le Multiple Choices Questions.
Très tôt KELLY avait perçu le faible niveau cognitif des QCM écrivant “This is a test of lower
order thinking for the lower orders.”, et avait été jusqu'à les renier !
Deux difficultés dans la correction des épreuves ont ouvert la voie aux QCM dans le domaine
des examens scolaires et universitaires. La première fut l'augmentation du nombre d'élèves et
d'étudiants rendant très lourdes les charges de correction des épreuves, alors rédactionnelles. La
seconde est le manque d'objectivité des correcteurs dans la notation des ces épreuves ; on avait en effet
constaté les notables différences de notation, non seulement entre correcteurs, mais aussi chez un
même correcteur à quelques semaines d'intervalles. Les QCM pallient d'autant mieux ces deux
difficultés si leur correction est automatisée.
Les QCM représentent depuis 1926 le mode de questionnement quantitativement le plus
important dans le SAT américain, acronyme qui a successivement signifié Scholastic Aptitude Test
puis Scholastic Admission Test ; il est utilisé pour l'admission dans les collèges américains ; de
nombreux avatars en ont été produits pour les admissions dans les universités (2).
Un siècle après leur création les QCM sont très utilisées comme modalités d'épreuve d'examen,
de questionnaires d'enquêtes, dans des jeux télévisés.
Dans le domaine de l'enseignement les problèmes restent les mêmes qu'il y a plusieurs
décennies: dans de nombreuses formations les grands nombres d'étudiants rendent impossible la
réalisation d'épreuves qu'on puisse soumettre à la "correction humaine" de professeurs et dans nombre
de concours l'objectivité la plus stricte ne peut être obtenue que par les QCM.
Alors ? Face aux difficultés liées au nombre des étudiants et contraints à une rigoureuse
objectivité les enseignants doivent maîtriser la rédaction de QCM en s'efforçant de recourir à des
techniques permettant d'atteindre chez les étudiants le niveau cognitif de l'exploration du raisonnement
et de pallier des écueils encore récemment décrits avec humour (3).
2 - Les différentes structures de base de Questions à Choix Multiples.
Par opposition aux questions ouvertes auxquelles on répond en exprimant librement sa
pensée, les QCM sont des questions fermées dont les réponses doivent être choisies dans des
listes imposées. L'avantage est qu'on ne peut "rester sec" et qu'une réponse choisie au hasard
peut s'avérer juste.
Mais il arrive qu'on enrage de
cette contrainte. C'est le cas pour cette
QCM ci-contre:
N'aimerait-on
pas
mieux
répondre librement en se justifiant au
lieu de devoir deviner quelles sont les
deux "bonnes réponses" attendues du
correcteur.
Q_2 - Quels sont les deux caractères
principaux d'une bonne question d'examen
A - la simplicité de rédaction
B - elle explore bien la mémoire
C - elle explore bien le raisonnement
D - la correction est objective
E - elle est facile à corriger
------
DU de Pédagogie – Février 2013
-2-
Les QCM sont de trois types:
- à compléments
- à association
- de relation
2.1 – QCM à complément(s) ou proposition(s)
On distingue les QCM à complément simple, les QCM à compléments multiples, enfin les
QCM aux compléments multiples groupés.
►QCM à complément simple
Dans une QCM à complément simple il est annoncé que parmi les cinq propositions il
faut en choisir une seule, celle qui juste dans une QCM à complément simple juste, celle qui est
fausse dans une QCM à complément simple faux,
• QCM à complément simple juste
Parmi 5 propositions il faut choisir celle qui est juste
Q_3 - Laquelle de ces villes est la capitale du Bénin ?
A - Lomé
B - Saint-Louis
C - Cotonou
D - Bamako
E – Puerto Novo
Réponse : E
• QCM à complément simple faux
Parmi les 5 propositions il faut choisir celle qui est fausse. En voici deux exemples.
Q_4 - Parmi ces poissons lequel n'est
Q_5 - Dans cette liste des ingrédients pour
pas un poisson de mer. ?
faire une mayonnaise, quel est l'intrus ?
A - jaune d'œuf
B - sel
C - moutarde
D - farine
E - huile
A - sardine
B - maquereau
C - merlan
D - lamproie
E - hareng
Réponse : D.
Réponse : D.
Un candidat connaissant la bonne réponse risque de faire une erreur d'inattention sur la
forme de la question, surtout si l'épreuve présente une répartition aléatoire de QCM à
complément simple vrai et de QCM à complément simple faux. En pratique ce type de QCM
est déconseillé et doit être remplacé par une QCM à compléments multiples avec ou sans patron
de réponse (voir plus loin).
Toutefois une variante attire mieux l'attention de l'étudiant en recourant à l'expression
"quel est l'intrus ?" (QCM_5 ci-dessus).
DU de Pédagogie – Février 2013
-3-
• QCM où la seule proposition juste est la
dernière, ainsi formulée:
"Aucune des réponses précédentes n'est
juste"
ou
"Toutes les propositions précédentes sont
fausses".
Cette modalité de QCM, qui
dissimule mal la difficulté de rédiger 5
propositions, est à éviter
Q_6 - Parmi les caractères suivants, indiquer
CELUI qui s'applique à tous les nids:
A - ils sont fabriqués par des oiseaux
B - ils sont construits dans les arbres
C - ils protègent des prédateurs
D - ils protègent des intempéries
E - aucune des réponses précédentes n'est
exacte".
Réponse : E.
►QCM à compléments (ou propositions) multiples
Plusieurs choix de réponses doivent être retenus, de 1 à 5.
On distingue les QCM avec patron de réponse (le nombre de propositions attendues est
indiqué) des QCM sans patron de réponses (le nombre de réponses attendues n'est pas
indiqué).
• QCM à compléments multiples justes avec patron de réponses
Q_7 - Parmi les films suivants quels sont les 3 qui ont été tournés par Hitchcock
A - Le train sifflera trois fois
B - La loi du silence
C - L'Inconnu du Nord-Express
D - Fenêtre sur cour
E - L'homme qui tua Liberty Valance
Réponse
: B C D.
•
• QCM à compléments multiples justes sans patron de réponses
Le nombre de propositions attendues n'est pas indiqué,
Q_8 - Dans l'épreuve d'un examen important (car le rang de classement est important)
et préparé avec sérieux par les candidats, une question corrigée pour tous les candidats
par le même correcteur n'a été réussie que par 8 % des étudiants.
Quelles sont les explications possibles à ce faible taux de réussite ?
ABCDE-
question difficile très sélective
question mal rédigée
question sur un sujet hors programme
question sur un sujet sur lequel les étudiants ont convenu de faire l'impasse
correcteur sadique
Réponse : A et B
Nous avons présenté des exemples de QCM à compléments multiples justes car bien
entendu il faut exclure le recours aux QCM à compléments multiples faux au même titre que
ceux à complément simple faux.
DU de Pédagogie – Février 2013
-4-
► QCM à compléments groupés
Q_9 - Les caractères suivants s'appliquent aux romans policiers écrits par Michael Connely:
I
1 - ils se déroulent à Los Angeles
2 - le monde du cinéma est particulièrement visé
3 - un des héros récurrent est l'inspecteur Harry Bosch
4 - ils témoignent d'un grand respect de la justice américaine
Répondre
A - si seulement les compléments 1, 2 et 3 sont corrects
B - si seulement 1 et 3 sont corrects
C - si seulement 2 et 4 sont corrects
D - si seulement 4 est correct
E - Si tous les compléments sont justes
Réponse : B
Il y a une question et des propositions de réponses comme dans les précédentes QCM,
mais ici s'ajoute la contrainte d'un choix de réponses dans un cadre défini, généralement le
même pour une suite de QCM.
A - si seulement les compléments 1, 2 et 3 sont corrects
B - si seulement 1 et 3 sont corrects
C - si seulement 2 et 4 sont corrects
D - si seulement 4 est correct
E - Si tous les compléments sont justes
Ce type de QCM est déconseillé car l'attention à apporter à la forme de la réponse
l'emporte sur la réflexion de fond.
2.2 – QCM à associations
► QCM à "Association simple"
Ici il faut établir des liens logiques entre les propositions de deux listes.
Q_10 - Reconstituer les couples du bestiaire des fables de La fontaine.
1 – lièvre
2 – renard
3 – fourmi
4 – lion
5 – agneau
A – cigale
B – loup
C – corbeau
D – tortue
E - rat
Cette QCM est équivalente à 5 QCM à complément simple juste utilisant la même liste de
propositions (la première question serait dans le bestiaire des fables de La Fontaine quel animal
de la liste suivante est associé au lièvre, la deuxième question dans le bestiaire des fables (…)
est associé au renard, etc) ; pour l'étudiant l'avantage des QCM à association simple est de
pouvoir procéder par déduction s'il ne connait pas d'emblée toutes les bonnes réponses .
DU de Pédagogie – Février 2013
-5-
Une variante moins intuitive apparait dans la présentation de la QCM suivante où les
questions reviennent en fait à compléter chaque phrase par une des "propositions".
Q_11 – Attribuez à chacun des tableaux A – B – C – D la proposition qui s'y rapporte:
A – le tableau La Joconde
B – le tableau Guernica...
C – le tableau Tres de Mayo.
D – le tableau Le Cri d'Edward Munch (une des versions)
Proposition 1 : … a été peint par Picasso
Proposition 2 :… est exposé au Louvre
Proposition 3 : …fut volé il y a quelques années au musée d'Oslo…puis retrouvé
Proposition 4 :… est un tableau de Goya illustrant un épisode sanglant de la guerre d'Espagne
entre français et espagnol en 1808
► QCM à "Association composée"
On présente deux entités X et
Y, ici "exposé oral" et "exposé écrit",
et des caractéristiques.
Voici les deux grands modes d'exposé
X – exposé oral
Y – exposé écrit
Et quelques préconisations
Question 12: il vaut mieux un dessin qu'un texte
Question 13 : un plan est nécessaire
Question 14: bien choisir la police de caractères
Le questionnement demande
de rattacher chaque caractéristique
à l'une ou l'autre des entités, aux deux
ou à aucune de la façon suivante
A - …est associée seulement X
B - …est associée seulement avec Y
C - …est associée à la fois avec X et Y
D - …n'est associée ni à X ni à Y.
Question 15: changer de ton pour "réveiller"
Question 16: tenir compte du fait que la
communication extra-verbale l'emporte
sur la verbale
Pour chacune de ces préconisations répondre
A - si elle est associée seulement avec X
B - si elle est associée seulement avec Y
C - si elle est associée à la fois avec X et Y
D - si elle n'est associée ni à X ni à Y.
Cette QCM pourrait être remplacée par les deux QCM suivantes sans patron de réponse et
ayant des listes de propositions identiques:
Pour un exposé oral quelles préconisations peuvent être faites ?
Pour un exposé écrit quelles préconisations peuvent être faites ?
L'intérêt des QCM à "association composée" est donc discutable.
DU de Pédagogie – Février 2013
-6-
2.3 – QCM de relations
On présente deux assertions reliées par un lien logique ; la question porte sur la véracité
de chacune des assertions et de celle du lien logique.
Q_17 - Le coq chante ce qui provoque la levée du soleil
Répondre
A - si les deux assertions sont vraies et ont une relation de cause à effet
B - si les deux assertions sont vraies, mais n'ont pas de relation de cause à effet
C - si la première assertion est vraie, mais la deuxième est fausse
D - si la première assertion est fausse, mais la deuxième vraie
E - si les deux assertions sont fausses.
Réponse B
Q_18 - Darwin attendit 20 ans pour publier sa théorie sur l'Evolution des Espèces
parce qu'il redoutait les réactions qu'elle allait provoquer
Répondre
A - si les deux assertions sont vraies et ont une relation de cause à effet
B - si les deux assertions sont vraies, mais n'ont pas de relation de cause à effet
C - si la première assertion est vraie, mais la deuxième est fausse
D - si la première assertion est fausse, mais la deuxième vraie
E - si les deux assertions sont fausses.
Réponse A
Répondre à ce type de question portant sur la relation de cause à effet implique une
compréhension des principes de base dans le problème et un raisonnement correct.
______
Au terme de cette présentation des différentes structures de QCM on ne doit en retenir
que deux pour l'usage
- les QCM à compléments simples ou multiples, avec ou sans patron de réponses (en
revanche il est déconseillé d'utiliser les QCM à compléments groupés),
- les QCM de relation,
Dans ces deux types de QCM les questions font appel à une modalité de réponse naturelle, ne
passant pas par un formatage intermédiaire susceptible de dérouter l'étudiant et d'axer voire dévier sa
réflexion plus sur la forme de la question que sur son fond (cas des QCM à compléments groupés et
des QCM d'association).
DU de Pédagogie – Février 2013
-7-
3 – Variations dans les structures des QCM
Tant les énoncés que les compléments peuvent être présentés sous formes de schémas, de
photos, d'images, de graphiques, ce qui élargit les possibilités de rédaction.
• Le libellé a comme support une image
Q_19 - Ce chat des Schtroumpfs s'appelle
A - LAROUSSE
B - AZRAËL
C - MUSTAFA
D - CALIGULA
E - SACAPUCE
• Les compléments sont des images
Q_20 - Lequel de ces cinq personnages est le propriétaire du chat ?
A
B
C
D
E
• Une même image peut être le support d'une série de questions
L'image ci-dessous, où la flèche pointe sur CETAUTOMATIX, le forgeron livreur
occasionnel de menhirs, pourrait être utilisée dix fois comme libellé (autant qu'il y a de
personnages représentés) mais en veillant à modifier les listes offertes au choix pour qu'il ne soit
pas procédé par déduction entre les dix QCM (la QCM étudierait ici plus un raisonnement
qu'une connaissance, pour une fois !).
Q_21 - Cette image montre de fortes
personnalités du village Gaulois
Donnez le nom de personnage désigné
par la flèche
A – ALLEGORIX
B – CETAUTOMATIX
C – ASSURANCETOURIX
D – ABRARACOURCIX
E - KESKONRIX
Dans ces QCM où libellés ou compléments sont des images ce sont une reconnaissance
globale et une identification qui sont recherchées.
DU de Pédagogie – Février 2013
-8-
• Un cycle peut être le support de plusieurs questions
Q._22 - Dans ce cycle actualisé de
son rêve de croissance économique
où est survenue la chute de Perette?
EAA
multinational
E
Cotation en Bourse
D
EAA national
C
Entreprise agro-alimentaire (EAA)
régional
1er élevage régional
B
Production
et ventes
de 300 poulets
A
Achat 1 vache+veau
Constitution d'un troupeau
Vente de lait et de veaux
Achat 1 cochon
engraissement
et vente
Achat
Vente 100 œufs
Pot de laitPot de
Q_23 - Cette chute a été le fait
A - d'un krach boursier
B - de la maladie de la vache folle
C - d'une O.P.A. hostile
D - d'une erreur de gestion dans la marche de l'entreprise
E – de la maladie de Newcastle (pseudo peste aviaire)
Q_24 - Souvent dans un libellé une notion, implicite pour
l'auteur, n'est pas explicite pour l'étudiant. Ainsi, pour le
lait, "bien" de départ, s'agissait-il
A - de lait de chèvre
B - de lait de brebis
C - de lait d'ânesse
D - de lait de poule
E – de lait de vache
DU de Pédagogie – Février 2013
-9-
• QCM en cascade, portant sur un enchaînement logique.
► Une image (un graphique etc. peut être le support de plusieurs questions sans
liens directs entre elles.
Cette carte de l'Amérique du sud permet de rédiger de multiples questions
1
2
Quel est le nom du pays désigné par la flèche n° 1 ?
A - Guatémala
B - Colombie
C - Pérou
D - Equateur
E - Paraguay
Quel est le nom du pays désigné par la flèche n° 2 ?
A - Guatémala
B - Colombie
C - Pérou
D - Equateur
E - Paraguay
Quels pays sont frontaliers à celui désigné par la flèche n° 2 ?
A - Equateur
B – Bolivie
C - Pérou
D - Argentine
E - Brésil
► Une image (un graphique etc. ) peut être le support de plusieurs questions
ayant des liens directs entre elles.
Ce navire est…
A - grec
B - égyptien
C - arabe
Son capitaine se nomme…
D - viking
A - Xephoras
E - chinois
B - Olaf
Il vient de…
C - Li Tang
A - Aden
D - Omar
B - Alexandrie
E - Taïpeh
C - Pylos
D - Vikna
E - Quing Dao
Lors de la rédaction de QCM en cascade le piège est de fournir, par inattention, dans
une question la réponse à une question qui la précède.
DU de Pédagogie – Février 2013
- 10 -
4 – Les QCM outils d'investigation du raisonnement.
Les QCM explorent uniquement le domaine du savoir théorique (ou domaine
cognitif). En effet le domaine psychomoteur ne peut être évalué que par l'observation de la
réalisation d'actes techniques et celui des attitudes que par des mises en situations.
Dans ce domaine des connaissances théoriques BLOOM a identifié divers niveaux
cognitifs, de la mémoire au raisonnement sur les situations complexes (4). Pour simplifier on
peut distinguer les niveaux "mémoire – compréhension" et "raisonnement". La mémoire et la
compréhension sont bien explorées par les QCM. Les vingt quatre QCM présentées jusqu'ici
portent sur la mémoire, la "reconnaissance" (tout particulièrement lorsque les données sont des
"images").
Le raisonnement peut être exploré par des QCM.
On peut recourir aux QCM pour évaluer le raisonnement à condition:
- de prendre le temps de les rédiger
- et de donner aux étudiants le temps d'y répondre.
Il faut distinguer:
- les questions évaluant le résultat d'un raisonnement mais pas le raisonnement luimême :
- les questions évaluant le raisonnement lui-même
4.1 – QCM évaluant le résultat d'un raisonnement (mais pas le raisonnement lui-même)
Il est aisé de poser des questions dont la réponse implique un raisonnement. Il suffit de
rédiger un libellé exposant un problème, des faits ou une histoire complexe, d'offrir un choix de
réponses, et de laisser du temps pour répondre. Imaginons que près de la fin d'un roman policier
ou d'espionnage on pose une QCM sur l'identité de l'assassin ou du traitre: il aura fallu plusieurs
heures pour lire le bouquin et du temps pour réfléchir à la réponse. Le jeu de Cluedo revient à
une suite de QCM dont les réponses doivent être cohérentes entre elles (5).
• QCM sur l'évolution du tonus du professeur et de l'attention des étudiants
Tonus de l'enseignant
Attention des étudiants
cours
Q_21 - Sur ce graphique représentant sur
une heure les taux du tonus de l'enseignant
et de l'attention des étudiants, on observe
un pic d'attention des étudiants.
A quoi pourrait-on attribuer ce pic ?
30
60
mn
A - à un à-coup d'intérêt du cours,
B - à une plaisanterie volontaire du prof
C - à un gag technique
D - à une erreur du prof
E – à un gag d'étudiant
Il faut quelques secondes pour répondre à cette QCM.
DU de Pédagogie – Février 2013
- 11 -
• QCM portant sur la famille Simpson (S) et plus précisément sur les liens de parenté de
Happy Dinsdale avec d'autres membres de cette famille1.
Q_22 - Hugo S. a deux frères et deux sœurs dont Old Tut. Homer S. a trois enfants dont l'ainé est
Bart. Old Tut, dernier fils de Gabby Crouse et Howland S. a épousé Happy Dinsdale et ils ont
quatre enfants dont Orville, frère de Twitta, Elrita et Bonita qui sont restées célibataires.
Abraham S., fils d'Orville, n'a qu'un fils et est le grand père de Bart. Margie Bouvier, belle-fille
d'Abraham S. a deux filles Lisa et Maggie
Parmi les liens de parenté suivants concernant Happy Dinsdale lesquels sont justes
A – elle est la grand-mère paternelle d'Abraham
B – elle est la sœur d'Old Tut
C – elle est arrière grand-mère maternelle de Homer S.
D – elle est belle-sœur d'Hugo S.
E – elle est la cousine de Howland S.
Ici il faut le temps d'ébaucher un arbre généalogique pour répondre à la question.
Ces deux QCM explorent le résultat d'un raisonnement: on peut penser
- que l'étudiant qui répond correctement à la première, a su relever sur le graphique que le
pic d'attention des étudiants est survenu dans la phase descendante d'une oscillation du
tonus du prof,
- que celui qui répond bien à la seconde a construit partiellement un arbre généalogique.
Mais ces QCM n'explorent pas le raisonnement lui-même.
4.2 - QCM évaluant le raisonnement lui-même: QCM évaluatrices de données
Ce type de QCM est connu de longue date. A titre d'exemple voici la QCM figurant à la
page 136 de l'ouvrage de BLOOM (4) dont l'édition originale en anglais est de 1956.
Un graphique est présenté
Le mode de réponses est exposé:
Sur votre feuille de réponses, inscrivez
dans l'espace prévu à cet effet, la lettre :
A - si les renseignements fournis par le
graphique suffisent pour vérifier que
l'énoncé est rigoureusement vrai;
B - si les renseignements fournis par le
graphique suffisent seulement à juger que
l'énoncé est probablement vrai;
C - si les renseignements fournis par le
graphique ne suffisent pas à indiquer le
degré d'exactitude ou d'erreur dans
l'énoncé;
D - si les renseignements fournis par le
graphique suffisent pour juger que
l'énoncé est probablement faux;
E - si les renseignements fournis par le
graphique suffisent pour juger que l'énoncé est rigoureusement faux.
1
Pour ceux passionnés par la généalogie des Simpson elle est donnée en annexe (sans garantie de véracité…)
DU de Pédagogie – Février 2013
- 12 -
Les huit propositions suivantes sont les énoncés de huit QCM
- On consacra moins d'argent pour le bien-être et l'enseignement en 1930 qu'en 1929.
- En 1931 et en 1932, il fut évident que dépenser de l'argent pour les autoroutes était
un moyen de combattre la crise.
- On aurait dépensé plus d'argent pour le bien-être en 1942 qu'en 1940 si notre pays
n'était pas entré en guerre en 1941.
- La proportion des dépenses totales consacrées au bien-être fut plus importante en
1940 qu'en 1942.
- Les sommes de plus en plus importantes dépensées par l'Etat à toutes sortes de fins
entre 1929 et 1940 provenaient d'autres sources que de l'emprunt.
- Si l'Etat dépensa moins en 1930 qu'en 1929, ce fut presque entièrement dû à la
diminution des dépenses relatives aux autoroutes.
- On dépensa moins d'argent pour les autoroutes en 1931 qu'en 1932.
- Le chômage s'accrut dans l'Etat en 1937 et en 1939.
De façon récente ce type de QCM a été repris comme mode de réponses des Tests de
Concordance de Scripts (TCS) pour explorer le raisonnement médical du clinicien (6-7). Dans
un TCS une situation clinique est exposée et différentes hypothèses sont proposées ; à propos de
chaque hypothèse sont présentées des données ; le questionnement porte sur la qualité informative de
ces données, jugeant ainsi le raisonnement. L'originalité des TCS tient à ce que les réponses des
étudiants sont comparées aux différentes modalités de réponses d'experts et non à une norme.
Pour sa réponse l'étudiant reçoit une note entre 0 et 1 ; la note est 1 s'il répond comme la majorité des
experts ; en revanche s'il répond comme d'autres experts non majoritaires la note est inférieure à 1 et
proportionnelle au nombre d'experts qui ont donné la même réponse que lui.
___
Sous la dénomination de QCM le même principe de questionnement peut être utilisé à un
niveau d'études où l'étudiant doit acquérir des repères avant de manier l'incertitude ; dans ce
cadre alors que les situations présentées dans l'énoncé de ces QCM sont problématiques pour les
étudiants elles ne le sont pas pour des experts ; il est donc pertinent que les réponses des étudiants
soient comparées à des normes et non à un improbable éventail de réponses d'experts.
De façon générale dans ce type de QCM
- un problème est exposé
- une ou plusieurs hypothèses sont exposées portant sur sa cause, son mécanisme, les
solutions possibles.
- pour faire raisonner sur chaque hypothèse on présente une ou plusieurs données
qualitatives dont le poids doit être estimé en répondant à une QCM ainsi rédigée:
A – la donnée est très fortement en faveur de l'hypothèse
B – la donnée est plutôt en faveur de l'hypothèse
C – la donnée est neutre (ni pour ni contre l'hypothèse)
D – la donnée est plutôt contre l'hypothèse
E – la donnée est fortement contre l'hypothèse, voire l'exclut
Il n'y a pas de leurre.
Une variante moins nuancée est:
A – la donnée est en faveur de l'hypothèse
B – la donnée est neutre (ni pour ni contre l'hypothèse)
C – la donnée est fortement contre l'hypothèse
DU de Pédagogie – Février 2013
- 13 -
Passons à quelques exemples.
• Voici une affaire policière ayant trait à une affaire de kidnapping dans le but d'obtenir
une rançon.
Elle donne lieu à six questions:
M. R… Mathious, âgé 58 ans, a été enlevé à son domicile le lundi 12 novembre.
Quinze mille dollars ont été versés aux ravisseurs qui avaient contacté l’épouse de la
victime à partir du numéro de téléphone de celle-ci, figurant dans le répertoire de la victime.
La police soupçonne un individu interpellé pour excès de vitesse à bord d’une
motocyclette le mercredi 14 novembre. Cet homme de 43 ans dit s'appeler Baptiste G….
Les soupçons sont basés sur certaines données dont vous allez évaluer le poids dans
l'hypothèse que Baptiste G ait participé à l'enlèvement de M. Mathious R….
Q_1 - il est en possession d’un revolver de calibre 9 mm sans détenir de permis:
Q_2 - il a le portable de M. G… qu'il dit avoir acheté 20 centimes d'euro,
Q_3 – Un de ses amis, indicateur de la police, affirme qu'ils étaient ensemble dans une
boite de nuit le soir où M. R… a été enlevé,
Q_4 – Baptiste G… possède de nombreux CD de musique classique
Q_5 – comme gage de probité Baptiste G… rappelle qu'il fut auxiliaire de police
Q_6 – Sportif accompli Baptiste G… adore nager en eaux troubles
Pour chacune de ces données dire si elle est
A – très fortement en faveur de l'hypothèse
B – compatible ou plutôt en faveur de l'hypothèse
C – neutre (ni pour ni contre l'hypothèse)
D – plutôt contre l'hypothèse
E – fortement contre l'hypothèse, voire l'exclut
Les six données de cette histoire ont été rédigées encore dans l'esprit des TCS, c'est-à-dire
que la valeur de chaque information peut se discuter et que toutes les personnes averties
auxquelles on présenterait ce questionnement pourraient donner une valeur différente à chaque
donnée, tout particulièrement sur l'information ayant des connotations Sportif accompli Baptiste
G… adore nager en eaux troubles.
Mais dans l'esprit d'une correction objective on doit concevoir un questionnement où la
valeur qui devra être donnée à chaque information est indiscutable.
DU de Pédagogie – Février 2013
- 14 -
• Voici comme autre exemple, un déplacement dans Pédagoville.
Vous travaillez à Pédagoville où les avenues d'axe E-O portent des
noms de pédagogues et les avenues d'axe N-S sont appelées Méridiennes,
numérotées de 1 à 9 (on a la M1, la M2 etc). Le quartier présenté sur le plan
est desservi par un tram (ligne rouge) qui suit l'avenue Montessori (ici sur 7
km) et un autobus (ligne verte - parcours sur le plan de 8 km), l'un et l'autre
circulant à 50 km/h, passant en moyenne toutes les 5 minutes et ayant des
arrêts à chaque croisement.
Av. Freinet
Av Montessori
Av Kergomard
Av Korczac
Av Neill
Les Méridiennes
1
2
3
4
5
6
7
8
9
N
1 km
E
0
S
DU de Pédagogie – Février 2013
- 15 -
Vous travaillez dans votre bureau situé au coin de l'avenue Kergomard et de la M2.
Il est 14 h et vous recevez un appel urgent pour participer à une réunion à 15 h à la
Jacasserie au coin de l'avenue Neill et de la M7.
Vous pouvez vous y rendre à pied, utiliser votre voiture, prendre le tram ou l'autobus.
Vous allez analyser les moyens de déplacements (voiture, tram, bus, marche). A
propos de chacun vous allez tenir compte d'informations dont vous devez estimer le
poids en répondant pour chacune si elle :
A - est tout à fait favorable à l'utilisation de ce mode de transport
B - est partiellement favorable à l'utilisation de ce mode de transport
C - n'a aucune incidence sur l'utilisation de ce mode de transport
D - va plutôt contre l'utilisation de ce mode de transport
E - est totalement contre l'utilisation de ce mode de transport
Le 1er moyen étudié est la voiture. Voici les données à "peser":
1 - le triangle de la Culture, formé par la M7 et les avenues Neill et Korcsac, est
piétonnier pour toute la semaine pour la Fête du Livre
2 - avant de se garer dans le quartier à moins d'un km on peut passer une demiheure.
3 - Vous êtes prês d'être à court d'essence et il faut que vous alliez faire le plein à
la plus proche station située à l'intersection de la M2 et de l'avenue Freinet
Le 2ème moyen étudié est le tram. Voici les données à "peser":
4 - De 13 h 30 à 16 h seuls les piétons peuvent accéder à la Place Centrale où se
tient à 14 h un meeting de soutien pour la liberté de presse en Barbarie qui sera
suivi par un défilé vers l'Hôtel de Ville. La circulation du tram sur cette portion
de l'avenue Montessori sera donc bloquée entre la M4 et la M6
5 - A 17 h il y a une cérémonie du souvenir à la place du Naufrage des Réformes
au croisement de l'avenue Kergomard et de la M2
Le 3ème moyen étudié est l'autobus. Voici la donnée à "peser":
6 - Par précaution les forces de sécurité bloqueront la circulation des véhicules à
partir de 14 h 30 sur l'avenue Freinet entre les M4 et M6. La circulation du bus
sur cette portion de l'avenue Montessori sera donc bloquée entre la M4 et la M6
Le 4ème moyen étudié est la marche. Voici la donnée à "peser":
7 - Vous êtes habituellement un bon marcheur mais vous vous êtes fait une
entorse de cheville il y a un mois et après 200 m de marche vous souffrez et
boitez.
Et on peut terminer par une QCM à complément simple
Pour finir, compte tenu de ces contraintes, quelle combinaison de moyens allez-vous choisir ?
A - marche à pied et voiture
B - marche à pied et tram
C - marche à pied et autobus
D - marche à pied, voiture et tram,
E - marche à pied, voiture, tram et bus
DU de Pédagogie – Février 2013
- 16 -
• Exemple d'un cas clinique
M. T… Jérôme, 72 ans, vendeur de pizza sur la plage d'Arcachon, consulte pour un
ictère et un prurit. Le prurit a commencé il y a deux semaines ; c'est hier en se rasant qu'il a
constaté que son teint est jaune.
Le questionnement porte sur l'intérêt diagnostique de données cliniques dans chacune
des hypothèses suivantes: cancer de la tête du pancréas, cancer du hile hépatique (ou de la
convergence des canaux hépatiques), lithiase du cholédoque, hépatite chronique C.
Le tableau présente les 4 hypothèses diagnostiques et les 9 données cliniques. Pour
chaque hypothèse exprimez votre avis sur l'intérêt de chaque donnée en répondant :
A – si elle est fortement en faveur de l'hypothèse
B – si elle est compatible ou plutôt en faveur de l'hypothèse
C – si elle est neutre (ni pour ni contre l'hypothèse)
D – si elle est plutôt contre l'hypothèse
E – si elle est fortement contre l'hypothèse
Cancer de la
tête du
pancréas
Cancer du Lithiase du
hile
cholédoque
Hépatite
chronique C
Q 10
Q 28
Le patient n'a pas présenté et ne présente pas de douleur
abdominale
Q 01
Il dit être un peu fatigué depuis quelques jours et a moins
d'appétit. Il ne pense pas avoir maigri.
Q 02
Q 11
Q 20
Q 29
Dans ses antécédents on relève un sévère accident de moto
quand il avait 22 ans, accident qui avait provoqué une
rupture de rate ayant nécessité une splénectomie.
Q 03
Q 12
Q 21
Q 30
C'est un patient athéromateux qui a fait des crises
angineuses il y a 5 ans ce qui a nécessité la pose d'un stent.
Q 04
Q 13
Q 22
Q 31
A l'examen clinique on constate un bon état général, un
poids de 74 kg pour 1,68 m
Q 05
Q 14
Q 23
Q 32
Le patient se souvient avoir eu des frissons avec
tremblement il y a quatre jours
Q 06
Q 15
Q 24
Q 33
Le patient n'a pas de fièvre
Q 07
Q 16
Q 25
Q 34
Le foie est perceptible débordant de deux travers de doigt.
Q 08
Q 17
Q 26
Q 35
La vésicule n'est pas perçue
Q 09
Q 18
Q 27
Q 36
B
B
Q 19
D
Le tableau comporte 36 QCM. L'étudiant conduira son raisonnement "en colonnes" ou "en
lignes". Le tableau sert de brouillon à l'étudiant (à titre d'exemple la première ligne est remplie) mais
les réponses seront reportées sur un bordereau de QCM classique (voir p 21).
D'autres présentations sont envisageables, tel un bordereau qui serait directement lu par un
lecteur optique, auquel cas sous chaque hypothèses figureraient les lettres A – B – C – D – E.
DU de Pédagogie – Février 2013
- 17 -
C
Les QCM évaluatrices de données permettent d'appréhender le raisonnement tout au long
de la résolution d'un problème.
On peut évaluer:
- l'importance relative de données dans la discussion d'hypothèses diagnostiques,
- l'intérêt relatif de procédures diagnostiques recourant à diverses techniques,
- l'intérêt relatif de différentes solutions,
- l'intérêt relatif de différentes modalités d'évaluation de la solution retenue.
A chaque étape il faut établir l'échelle la plus appropriée. Voici quelques échelles possibles:
pour l'importance relative de données dans la
discussion d'hypothèses diagnostiques,
pour l'intérêt relatif de procédures
diagnostiques recourant à diverses techniques,
- la donnée est très fortement en faveur de
l'hypothèse
- la donnée est plutôt en faveur de l'hypothèse
- la donnée est neutre
- la donnée est plutôt contre l'hypothèse
- la donnée est contre l'hypothèse
- la procédure est nécessaire, indispensable
- la procédure est utile mais pas nécessaire
- la procédure est sans intérêt
- la procédure a un ou des inconvénients
rédhibitoires
pour l'intérêt relatif de différentes solutions
pour résoudre le problème,
pour l'intérêt relatif de différentes modalités
d'évaluation de la solution retenue.
- la solution est tout à fait appropriée
- c'est une solution possible mais ce n'est pas
la plus appropriée
- la solution n'est pas appropriée
- la solution proposée aggravera le problème
- la modalité d'évaluation est tout à fait
appropriée
- la modalité d'évaluation est incomplète
- la modalité d'évaluation est sans intérêt
- la modalité d'évaluation aggravera le problème
5 - Probabilités de répondre juste au hasard
Un des points faibles des QCM est la probabilité de répondre juste au hasard ; elle est
fonction de trois facteurs:
- le nombre de propositions (justes et leurres) présentées dans la QCM
- le nombre de réponses justes attendues,
- l'existence d'un patron de réponse (le nombre de réponses justes attendues est
indiqué), ou au contraire son absence.
Les QCM à deux propositions ne sont quasiment jamais utilisées
Qu'utilise-t-on dans un œuf pour faire une omelette
A – le blanc
B – le jaune
Sans patron de réponse il y a trois réponses possibles (A – B – AB), donc 1 chance sur 3
de répondre juste au hasard. Si la formulation rend les propositions exclusives Quelle partie de
l'œuf utilise-t-on…la probabilité de répondre juste au hasard est de 1 sur 2. On peut en
rapprocher les questions dites vrai/faux, particulièrement peu intéressantes où les deux
propositions s'excluent.
DU de Pédagogie – Février 2013
- 18 -
Le tableau ci-dessous présente les probabilités de donner "par chance" une
réponse correcte, en fonction des trois facteurs, dans les QCM comportant 2 - 3 – 4
ou 5 propositions.
Probabilité de répondre juste au hasard
Nombre de propositions
de réponses
Nombre de réponses
attendues
QCM avec
QCM
sans
patron de réponses
patron de réponses
1
1 sur 2
1 sur 3
1
1 sur 3
QCM à 2 propositions
QCM à 3 propositions
2
1 sur 3
1
1 sur 4
2
1 sur 8
3
1 sur 4
1
1 sur 5
2
1 sur 10
3
1 sur 10
4
1 sur 5
1 sur 7
QCM à 4 propositions
1 sur 15
(6,6 %)
QCM à 5 propositions
1 sur 31
(3,2 %)
Les QCM avec plus de deux propositions
Dans le tableau nous avons exclu les questionnements stupides où il serait indiqué aux
étudiants qu'il faut cocher toutes les propositions.
Lorsqu'il y a un patron de réponse il faut recourir à une QCM à 5 propositions dont 2
ou 3 sont justes pour que l'étudiant ait seulement une chance sur dix de répondre juste au hasard.
Dans les QCM sans patron de réponse la probabilité de réponse au hasard est donnée
par la formule 2n-1 où n est le nombre de compléments offerts pour la réponse. Les QCM à
quatre propositions n'offrent qu'une chance sur 15 (6,6 %) de réponse juste au hasard, et que les
QCM à cinq propositions réduisent à 3 % la chance d'une réponse au hasard.
Nous verrons la nécessité de tenir compte de la difficulté de ce type de QCM dans la
notation.
DU de Pédagogie – Février 2013
- 19 -
6 – Notation d'une QCM. Notation d'une épreuve par Q.C.M.
6.1 - Notation des Q.C.M.
Pour une QCM à complément simple où une seule réponse est attendue, le mode de
notation est binaire: réponse juste 1 point, réponse fausse 0 point.
Pour une Q.CM. à compléments multiples sans patron de réponse le mode de
notation binaire est rapidement mis en défaut dans les situation suivantes:
- dans une QCM où on attend que plusieurs propositions soient retenues, la notation
binaire conduit à donner 0 point aussi bien à l'étudiant qui aura retenu des propositions
justes mais en aura omis une, qu'aux étudiants qui n'auront retenu que des leurres, voire
n'auront pas répondu à la question.
- dans une QCM où on attend qu'une seule proposition soit retenue, l'étudiant qui aura
bien retenu cette proposition mais aussi une autre aura 0 point, comme les étudiants
n'ayant pas répondu ou retenu que des leurres.
Ceci conduit donc à faire une notation plus nuancée en fonction du nombre de
propositions justes retenues par exemples, 0 point, 0,5 point, 1 point, voire 0 point, 0,25 point,
0,50 point, 0,75 point et 1 point.
6.2 - Notation d'une épreuve par Q.C.M.
Si la note d'une épreuve par QCM est simplement la somme des notes obtenues à chacune
des QCM on en arrive à donner la moyenne aux étudiants qui n'ont répondu correctement qu'à
une question sur deux, ce qui n'est pas satisfaisant.
Pour éviter cela trois solutions sont possibles.
• Exiger un taux (arbitraire) de réponses justes pour l'obtention de la moyenne
Imaginons qu'il soit exigé que 80 % des réponses soient justes pour obtenir la
moyenne ; les notes sont données en fonction du nombre de réponses justes par simple
lecture sur un abaque.
Dans l'exemple ci-dessous une épreuve notée sur 20 comporte 50 questions.
Il faut répondre juste à 40 questions pour avoir la moyenne ; au dessous de 40
réponses justes le gain de points est faible, au-dessus il monte fortement.
Notes
20
15
10
5
Questions
0
10
20
30
40
50
• Distinguer dans une épreuve trois groupes de questions :
- le groupe des questions majeures (ou "tueuses") où il faut répondre à toutes sinon la
note globale est zéro,
- le groupe des questions d’intérêt moyen, où il faut donner 75 % (ou 50 %) de réponses
justes,
- le groupe des questions de "culture" où il faut donner 20 % de réponses justes
DU de Pédagogie – Février 2013
- 20 -
• Notation pondérée par les taux de réussite aux questions
A chaque question est attribuée une note, comprise entre 0 et 1, qui correspond à son taux
de réussite (taux d'étudiants ayant réussi la question) ; elle n'est donc pas définie a priori. Une
question connue de tous les étudiants sera notée 1, des questions mal réussies auront des notes
faibles ; ces questions mal réussies sont soit difficiles et discriminantes, soit des questions mal
construites, ambigües ou incompréhensibles
Le tableau suivant illustre cette notation.
- dix étudiants ont passé une épreuve faite de 10 questions
- Notation habituelle : chaque réponse est notée 0 ou 1. Ainsi au total Alice a 9 points,
Jean en a 8, Sophie 4, etc.
- Notation pondérée :
- dans un 1er temps on calcule le taux de réussite de chaque question : 0,7 pour la
question 1, 1 pour la question 2 (tous les étudiants ont réussi cette question), 0,20 et
,30 pour les deux dernières questions, etc.,
- dans un second temps au lieu de donner la valeur 0 ou 1 à chaque réponse, on lui
donne sa valeur pondérée (c'est-à-dire la valeur du taux de réussite) ; le total pondéré
peut ensuite être calculé par l'ordinateur.
Questions
Noms
1
2
3
4
5
6
7
8
9
10
1
1
1
1
1
0
1
1
1
1
Alice
1
1
1
1
1
1
1
0
1
0
Jean
1
1
1
1
1
1
1
1
1
0
Lise
1
1
0
1
0
1
1
0
0
0
Luc
1
1
0
0
0
1
1
1
0
0
Marc
0
1
1
0
1
1
1
1
0
0
Margot
1
1
0
1
0
0
0
1
0
1
Marie
0
1
0
0
1
0
0
1
0
0
Paul
1
1
1
1
1
1
0
1
0
0
Pierre
0
1
1
0
1
0
0
1
0
0
Sophie
taux de
0,70 1,00 0,60 0,60 0,70 0,60 0,60 0,80 0,30 0,20
réussite
Les tableaux ci-contre montrent les
différences de notes et de classements
Lise
obtenus selon les deux notations.
Alice
Il y a une diminution de l'étendue
des notes. Comme l'exprimait un fan de Jean
docimologie "Les meilleurs, qui savent ce Pierre
que tout le monde sait et un peu plus Margot
restent les meilleurs". D'autres étudiants Luc
ont leurs classements légèrement modifiés.
Marc
Cette modalité de notation en est Marie
restée au niveau d'expériences.
Sophie
Paul
total
9
9
8
7
6
5
5
5
4
3
total
9
8
9
5
5
6
5
3
7
4
total
pondéré
5,5
5,1
5,9
3,5
3,7
4,3
3,1
2,5
5
3,1
total
pondéré
5,9
Lise
5,5
Alice
5,1
Jean
5
Pierre
4,3
Margot
3,7
Marc
3,5
Luc
3,1
Marie
3,1
Sophie
2,5
Paul
DU de Pédagogie – Février 2013
- 21 -
6.3 – Introduction dans la notation du degré de certitude.
L'introduction de degré de certitude vise à ajouter une dimension psychologique à une
réponse. Ce procédé a fait l'objet d'un mémoire (8).
Il consiste à faire préciser à l'étudiant:
- s'il est sûr de sa réponse,
- s'il n'est pas sûr de sa réponse
- s'il a répondu au hasard
En recourant à des coefficients adéquats il est possible de
- valoriser la réponse juste de l'étudiant qui se dit sûr de sa réponse,
- pénaliser la réponse fausse de l'étudiant qui se déclare pourtant sûr de sa réponse.
7 – Correction des Q.C.M.
Dans l'idéal la correction des QCM est faite à la machine… encore faut-il en disposer.
Nous dirons donc quelques mots sur la correction manuelle et la correction par lecteur optique.
7.1 – Correction manuelle
La correction manuelle devient d'autant plus rapide que le correcteur est résolu à entrer
dans la peau d'un robot et a anticipé la correction dans la présentation des questions faisant en
sorte que le repérage des réponses des étudiants soit aisé.
Deux façons de corriger:
- copie par copie en ayant noté sur une fiche les réponses attendues ; l'intérêt de
procéder ainsi est de "se détendre" en faisant le dénombrement des points après
lecture de chaque copie;
- question par question si la manipulation des copies n'est pas un frein ; c'est la façon
de procéder la plus rapide.
7.2 – Correction à l'aide d'un lecteur optique
Les réponses sont saisies sur des fiches qui sont lues par
un lecteur optique.
- La fiche de réponses ci-contre est représentative de celles
les plus souvent utilisées. Avec 4 colonnes de 24
questions elle permet de recueillir les réponses à 120
questions à cinq choix.
- A chaque ligne il y a 5 zones correspondant aux choix
A – B – C – D – E.
- L'étudiant répond en noircissant (crayon noir ou stylobille
noir) les zones correspondants aux réponses qu'il veut
donner.
Pour la correction les fiches sont introduites dans
un lecteur optique dont un modèle récent (2009) est
présenté ci-dessous.
En une heure l'appareil lit 11 000 fiches.
DU de Pédagogie – Février 2013
- 22 -
Lecteur optique de Q.C.M.
Les paquets de fiches sont déposés sur le bac
supérieur.
Après passage dans le lecteur les fiches lues ou
non lues du fait d'erreur (pas d'identification,
cochage ambigu) se répartissent dans les deux bacs
inférieurs.
8 –Rédiger des Q.C.M.
La rédaction de QCM est d'autant plus difficile qu'on souhaite que les étudiants raisonnent et ne
se limitent pas à restituer des données mémorisées sans avoir nécessairement été comprises.
La décision de fond est d'abord celle de recourir aux QCM en place d'épreuves rédactionnelle,
ensuite de s'imposer la contrainte d'une rédaction vigilante des énoncés et propositions.
8.1 - La décision de fond est celle de recourir aux Q.C.M
Les deux défauts majeurs des QCM sont de porter sur des points de détail et de conduire
à l'apprentissage de banques de QCM "par cœur", dénué de compréhension et de réflexion.
Eviter de poser des questions portant sur des détails est aisé pour peu qu'on soit
attentif à ce qu'on rédige. Les modalités des épreuves conditionnant les stratégies
d'apprentissage, il faut avoir en tête les objectifs d'enseignement lorsqu'on rédige une épreuve
par QCM.
Eviter le "par-cœur" est plus difficile, voire impossible. Dure et réaliste la réflexion
des tuteurs des étudiants de 1ère année de médecine affirmant "il est inutile d'expliquer des
choses difficiles, cela prendrait trop de temps, avec les QCM il faut apprendre par cœur".
Il faut arriver à composer et à utiliser cette stratégie du par-cœur. Face au libellé des
QCM l'étudiant "qui sait" reconnait la ou les bonnes propositions, ce qui témoigne de
représentations mentales justes. Si les efforts de mémoire demandés ne portent pas sur des
notions futiles il n'y a pas à mépriser ce niveau de reconnaissance. Il est illusoire d'espérer
maintenir secrètes des banques de QCM ; en revanche il faut veiller lors des examens à varier
les libellés d'un thème et à ne pas présenter dans le même ordre les propositions en sorte que les
automatismes acquis par les étudiants impliquent une compréhension.
8.2 – Il faut rédiger des QCM correctes dans la forme et explorant le raisonnement
Des "règles de rédaction" de QCM sont accessibles dans des ouvrages de pédagogie (8) et
sur le web en tapant "qcm règles de rédaction". Si on peut adhérer sans réserves à certaines
règles, d'autres sont contestables apparaissant comme des fossiles du behaviorisme le plus étroit
se cantonnant à juger la réponse à un stimulus sans se préoccuper de ce qui se passe dans la
"boite noire" (9).
Nous présentons la liste des règles les plus courantes en prenant la liberté d'en contester
quelques unes. Cette partie est reprise en annexe avec des exemples.
DU de Pédagogie – Février 2013
- 23 -
L'énoncé doit
- être rédigé aux modes affirmatif ou interrogatif et jamais au mode négatif
- être sans ambigüité
- être le plus concis possible
Mais plus l'énoncé est concis plus on suit le modèle stimulus réponse
automatique, modèle béhavioriste contestable si on veut que les étudiants apprennent à
distinguer les données pertinentes de celles constituant un bruit de fond.
- soumettre une seule notion à la réflexion de l'étudiant
- ne pas comporter d'adverbes "sans appel" tels toujours, invariablement, jamais,
systématiquement, etc...
- ne doit pas renseigner sur le nombre de propositions à cocher pour répondre juste Dans les
QCM sans patron de réponse (un pluriel dans l'énoncé suggère qu'il y a au moins 2 bonnes
réponses).
Les propositions (ou compléments)
- sont en général au nombre de 5.
Le risque de répondre juste en faisant un choix au hasard est d'autant plus grand
que le nombre de propositions est inférieur à 5. Par contre faire plus de 5 propositions est
correct si les leurres sont plausibles.
- elles doivent êtres claires et précises, ne pas comporter d'ambiguïté
- elles doivent être homogènes quant à leur forme, leur structure grammaticale et leur
contenu
- elles doivent ne contenir qu'une notion ;
Des rédacteurs chevronnés ne tiennent pas compte de cette préconisation. En fait
tout est affaire de "règle de jeu" en cas de proposition contenant deux assertions ou plus
(voir annexe).
- Deux propositions ne doivent pas être exclusives l'une de l'autre
- Les propositions ne doivent pas être interdépendantes
- Les propositions exprimées en chiffres doivent être présentées dans un ordre croissant ou
décroissant.
- Le mot ou l'expression de l'énoncé ayant une importance particulière ne doivent pas être
souligné ou mis en gras ou en italique.
Lorsqu'une question est clairement rédigée et courte il est inutile de signaler
l'importance d'une donnée ; en revanche si le libellé est long, complexe (question de
réflexion) il revient au rédacteur de décider ou nom de mettre en exergue en avant les
points importants.
- Tous les leurres doivent être plausibles.
DU de Pédagogie – Février 2013
- 24 -
9 - Evaluation de la qualité de Q.C.M.
Les QCM se prêtent bien aux analyses docimologiques. Voici une grille utilisée dans l'étude des
questions posées aux concours de 1ère année de médecine entre 1993 et 1998 (10).
Q1
Q2
Q…
Q…
Q…
Pertinence
Dans la matière
Au plan général pour la formation
Structure
Absence d'ambiguïté
Absence d'erreur
Présentation d'une seule notion
Pas de notions interdépendantes
Rédaction de l'énoncé sur un mode
affirmatif ou interrogatif
Pas d'adverbe sans appel
Pas d'info sur le nombre de réponses
attendues (QCM sans patron de réponse)
Tous les leurres sont plausibles
Niveau cognitif
mémoire
compréhension
Raisonnement simple
Raisonnement complexe
On peut évaluer les QCM sur leur fond, leur forme, le niveau cognitif exploré.
L'évaluation de fond porte sur la pertinence de la question dans la matière et en général.
La pertinence d'une question dans une matière est de porter, soit sur un sujet
fondamental pour la connaissance et la compréhension de la matière.
La pertinence vis-à-vis des finalités de formation est judicieuse mais d'autant plus
subjective que la formation est longue ; il faut donc savoir se satisfaire de la pertinence
dan la matière.
L'Evaluation de la forme porte sur les points présentés au chapitre précédent.
L'évaluation du niveau cognitif vise à déterminer si la question teste simplement la
mémoire et la compréhension ou vise un raisonnement simple ou complexe. Sur ce dernier point
les étudiants sont les plus aptes à juger de la simplicité ou de la complexité d'une question tant
ces notions sont liées à la qualité de l'entrainement auquel ils sont soumis ; les enseignants ont
tendance à surestimer les difficultés des questions qu'ils posent.
DU de Pédagogie – Février 2013
- 25 -
10 - Quand et dans quelles conditions utiliser des QCM?
Ce dernier chapitre donne un aperçu sur différentes utilisations des Q.C.M.
• Durée des épreuves et nombre de Q.C.M.
Ce point est crucial. Dans la plupart des épreuves par QCM on en reste au niveau
béhavioriste "stimulus – réponse" imposant des temps de réponses brefs, d'où la routine de 40 à
60 QCM à l'heure.
Dès qu'on veut explorer un raisonnement il faut poser des questions dont la
compréhension n'est pas nécessairement immédiate et surtout dont la réponse nécessite un
temps de réflexion. Il est concevable qu'une épreuve d'une heure ne comporte qu'une dizaine de
QCM.
• Les QCM sont les épreuves de choix dans les concours ou examens où le nombre de
candidats rendrait insupportable la charge de corrections de sujets à réponse
rédactionnelle.
C'est à chaque enseignant, ou groupes d'enseignants, de décider quand il faut préférer les
QCM, épreuves objectives et de correction aisée aux épreuves rédactionnelles dont la correction
est longue et toujours empreinte d'une certaine subjectivité malgré la précaution d'utiliser des
grilles de correction et de faire une double correction (cas en France des Epreuves Classantes
Nationales à la fin du deuxième cycle des études de médecine).
La décision de recourir aux QCM peut être institutionnelle, et donc revêtir un caractère
obligatoire pour assurer des corrections automatisées rapides et dénuées de toute subjectivité.
En l'absence d'obligation institutionnelle certains enseignants résistent à l'attrait des QCM
et restent adeptes des épreuves rédactionnelles (avec exécution de schémas en anatomie) dont ils
assurent seuls la correction… mais cette tâche peut prendre plusieurs semaines.
• Les QCM permettent de faire des épreuves "formatives".
Les épreuves formatives sont celles qui, organisées dans le cours d'un enseignement,
permettent aux étudiants de se situer par rapport à la compréhension de l'enseignement et, dans
une préparation de concours, de se situer par rapport aux autres. Elles donnent à l'enseignant le
moyen de s'assurer que l'enseignement est compris, ou encore, lorsque cet enseignement
comporte une escalade dans la difficulté, que les étudiants ont acquis assez de connaissances
pour suivre la progression.
Dans des épreuves formatives (qu'elles donnent lieu ou non à une notation) il est possible
d'être moins rigoureux dans la qualité des QCM, ce d'autant qu'ambiguïtés et erreurs peuvent
être des supports intéressants pour les commentaires faits en "séances de corrections".
• Les QCM peuvent être utilisées de façon quasi ludique dans le cadre du vote
électronique dans des formations de tous niveaux.
Les QCM sont utilisées dont le vote électronique dans de nombreuses formations initiales
et en formation continue.
Le système de vote électronique est effectué avec un ordinateur qui
- peut être relié à un nombre plus ou moins grand de boitiers de vote comportant les 5
touches des propositions A, B, C, D,E et, les touches validation et annuler
- comporte un logiciel permettant de construire des QCM,
- comporte un logiciel d'exploitation permettant de dénombrer les réponses et
d'afficher les résultats
Ce questionnement en direct, immédiatement suivi de la présentation des résultats, crée
une dynamique pour n'importe quel enseignement… à condition d'une bonne préparation tant au
plan technique que du questionnement.
DU de Pédagogie – Février 2013
- 26 -
L'interactivité recherchée est souvent plus rapidement obtenue avec des questions de
connaissances qu'avec celles nécessitant une réflexion ; néanmoins des questions ne nécessitant
qu'une ou deux minutes de réflexion gardent une dynamique.
• Les QCM dans les enquêtes
Beaucoup d'enseignants n'ont pas la pratique des logiciels de réalisation d'enquêtes
permettant de créer et exploiter des questionnaires. S'ils disposent de lecteurs optiques de fiches
de QCM ils peuvent créer des questionnaires en se pliant à la contrainte que pour toute question
on ne dispose que d'un choix de cinq réponses.
11 – Conclusions
Les QCM peuvent être utilisées dans de nombreuses conditions, au terme de formations
pour des concours ou des examens, mais aussi en cours d'enseignement initial ou continu, pour
des enquêtes.
La fâcheuse réputation des QCM de ne tester qu'un niveau cognitif bas constitue un défi à
relever lorsqu'on ambitionne d'explorer, non seulement le résultat d'un raisonnement, mais ce
raisonnement lui-même.
On n'en est plus à l'époque du "Kansas Silent Reading Test" et il est actuellement possible
de bâtir des QCM testant la réflexion.
____
DU de Pédagogie – Février 2013
- 27 -
Références
1 - Davidson Cathy N. - Standardized tests for everyone? In the Internet age, that’s the wrong
answer. http://www.washingtonpost.com/opinions/standardized-tests-for-everyone-in-theinternet-age-thats-the-wrong-answer/2011/09/21/gIQA7SZwqK_story.html - lu le 3
septembre 12
2 - Wikipedia. Multiple choice -. http://en.wikipedia.org/wiki/Multiple_choice - lu en
septembre 2012
3 - BOWER J -The Folly of Multiple Choice. http://www.joebower.org/2012/05/follymultiple-choice.html
4 - BLOOM BS. Taxonomie des objectifs pédagogiques. Tome 1 domaine cognitif. Québec.
Les presses de l'université du Québec, 1975.
5 - VAUTHEROT A. – Le Cuedo. http://www.gralon.net/articles/sports-etloisirs/loisirs/article-le-cluedo---presentation-et-histoire-1584.htm - lu en février 2013
6 - CHARLIN B, COGNON R, SIBERT L, Van der VLEUTEN C. Le Test de Concordance
de Script, un instrument d'évaluation du raisonnement clinique. Pédagogie Médicale 2002;3:
135-144
7 – CAIRE F, SOL JC, CHARLIN B, ISIDORI P, MOREAU JJ. Le Test de Concordance de
Script comme outil d'évaluation de la formation des internes en neurochirurgie: implantation
du test sur internet à l'échelle nationale. Pédagogie Médicale 2004;5:87-94
8 - VACHEY Eric.- Pénalité et métacognition dans l'évaluation des Q.C.M. Mémoire du D.U.
de Pédagogie. Bordeaux 1997.
9 - MAZER A. – Les Q.C.M. dans les examens de médecine. Tours, La Simarre, 1974.
9 – Wikipedia. Boite noire - http://fr.wikipedia.org/wiki/Bo%C3%AEte_noire
10 - QUINTON A - Synthèses des acquis de l’étude des concours de PCEM1 de 1993 à 1998
à l'Université Victor Segalen Bordeaux 2
http://www.crame.u-bordeaux2.fr/pdf/P1_Synthese_Concours_93_98.pdf
DU de Pédagogie – Février 2013
- 28 -
Annexe 1: Règles de rédaction des QCM
1 - Rédaction de l'énoncé
L'énoncé précise l'objet de la question. Son contenu peut être un mot, une phrase, une histoire,
un document (schéma, photo, graphique, tableau, cycle, etc.).Le "classicisme" en QCM énonce que :
- L'énoncé ne doit pas comporter d'ambiguïté
Le but est pertinent mais les conseils donnés pour éliminer toute ambigüité à la lecture
d'un énoncé de QCM conduisent à restreindre la réflexion.
- L'énoncé doit être le plus concis possible
Mais plus l'énoncé est concis plus on suit le modèle stimulus réponse automatique,
modèle béhavioriste contestable si on veut que les étudiants apprennent à distinguer les données
pertinentes de celles constituant un bruit de fond.
- Une seule notion est soumise à la réflexion de l'étudiant
Dans ce QCM le fait que l'énoncé porte sur deux
"la richesse et la célébrité sont des
notions expose au risque de voir l'étudiant s'interroger
indicateurs sociaux de …
sur le fait de savoir s'il doit répondre en fonction de la
richesse, de la célébrité, ou des deux. Si on veut
A - de travail
néanmoins maintenir les deux notions il faut utiliser une
B - de vertu
formulation qui les associe, par exemple Etre à la fois
C - de chance
riche et célèbre est un indicateur…
etc. - "
- L'énoncé ne comporte pas les adverbes "sans appel" toujours, invariablement, jamais,
systématiquement, etc...
Dans certains domaines (sciences humaines) le sens donné à une question comportant un
de ces adverbes ne recouvre qu'exceptionnellement une réalité. En revanche en mathématiques,
physique, biologie, leur emploi peut être justifié.
- L'énoncé est rédigé aux modes affirmatif ou interrogatif et jamais au mode négatif
Ce conseil très pertinent a déjà été donné dans la critique des QCM à compléments de
réponses faux (voir p. 3).
- Dans les QCM sans patron de réponse l'énoncé ne doit pas renseigner sur le nombre de
propositions à cocher pour répondre juste (ainsi un pluriel dans l'énoncé suggère qu'il y a
au moins 2 bonnes réponses).
2 - Rédaction des propositions (ou compléments) qui suivent l'énoncé
• Les propositions sont en général au nombre de 5.
La probabilité de répondre juste en faisant un choix au hasard est d'autant plus grande que
le nombre de propositions est inférieur à 5.
Faire plus de 5 propositions est correct si les leurres sont plausibles.
• Les compléments ne doivent pas comporter d'ambiguïté
Les recommandations suivantes sont généralement faites pour prévenir des anomalies de
rédaction des propositions conduisant à des ambigüités perturbant le raisonnement de l'étudiant.
- Il faut veiller à ce que les propositions
soient homogènes quant à la forme, la
structure grammaticale et le contenu
comme dans cette QCM;
Pour faire une omelette à la russe il faut :
- des œufs
- des œufs de lumps
- de la vodka
- du saumon fumé
- de la crème fraîche
DU de Pédagogie – Février 2013
- 29 -
- En revanche dans cette QCM les propositions ne sont pas homogènes dans leur
forme, la 2ème étant beaucoup plus développée que les quatre autres ; en outre dans de
tels cas, la proposition "hypertrophiée" est souvent une bonne réponse.
Pour faire des macarons il faut:
A - de la poudre d'amande
B - des blancs d'œufs très soigneusement séparés des jaunes
sans cela il serait impossible de les battre en neige
C - du sucre glace
D - 1 cuillerée à soupe de farine
E - 1 colorant alimentaire
- Cette autre n'est pas homogène dans son contenu, la
proposition D mêlant un outil à des ingrédients de recette
Pour faire gaufres il faut
A - des œufs
B - du sucre
C - de la farine
D - un gaufrier
E - du lait
- Cette dernière n'est pas homogène au plan grammatical, la proposition D
commençant par "si" est incorrecte par rapport à l'énoncé.
Pour réussir une mayonnaise il faut
A - du jaune d'œuf
B - du sel
C - de la moutarde
D – si on prend soin d'ajouter l'huile en filet
E - du citron
• Chaque proposition (ou complément) ne doit contenir qu'une notion ;
Des rédacteurs chevronnés de QCM ne tiennent pas compte de cette préconisation. En fait
tout est affaire de "règle de jeu" en cas de proposition contenant deux assertions ou plus :
- soit il est convenu que toutes les assertions sont justes:
"Les épidémies de gastro-entérites qu'on observe dans toutes les régions du
monde, sont en partie liées au non respect de mesures simples d'hygiène";
- soit il est convenu qu'il puisse y avoir un piège, c'est-à-dire que toutes les assertions
d'une proposition ne soient pas justes :
"la lèpre, qui sévit encore dans toutes les régions du monde, pourrait être
aisément éradiquée"
DU de Pédagogie – Février 2013
- 30 -
• Les propositions ne doivent pas être interdépendantes
"En voiture avant de doubler un autre véhicule il faut s'assurer
A - que ce véhicule roule à une vitesse inférieure à la vitesse autorisée
B - d'une bonne visibilité de la route en aval du véhicule qu'on veut doubler
C - regarder dans sans rétroviseur
D – mettre son clignotant
E - avoir vérifié dans son rétroviseur qu'un autre véhicule n'est pas en train de vous doubler
Ici C et E sont dépendantes, répondre E implique de cocher également C.
• Deux propositions ne doivent pas être exclusives l'une de l'autre
"La justification de consommer quotidiennement 5 fruits et/ou légumes est qu'ils sont
A - riches en vitamines
B - riches en minéraux
C - pauvres en fibre
D - des protecteurs des parois vasculaires
E - riches en fibres
C et E s'excluent mutuellement, ce qui réduit les possibilités de réponses de 5 à 4.
• Les compléments exprimés en chiffres doivent être présentés dans un ordre croissant ou
décroissant.
Il faut éviter une présentation désordonnée des
propositions comme dans cette Q.C.M.:
"Le seuil du taux d'alcoolémie
autorisé au volant est
A - 0,5 g/l
B - 50 g/l
C - 0 g/l
D-1g
E- 0,8 g/l
• Le mot ou l'expression de l'énoncé ayant une importance particulière ne doivent pas être
souligné ou mis en gras ou en italique.
Lorsqu'une question est clairement rédigée et courte il est inutile de signaler l'importance
d'une donnée ; en revanche si le libellé est long, complexe (s'il s'agit donc d'une question de
réflexion) il revient au rédacteur de décider ou nom de mettre en exergue en avant les points
importants.
• Tous les leurres doivent être plausibles
Cette préconisation est une des principales difficultés de rédaction des QCM et justifie
bien la réputation de "pièges" des QCM ; les leurres doivent reposer sur le fond des
propositions et non dans leurs formulations. La valeur "leurrante" d'une proposition est
d'autant plus forte qu'elle exige pour être exclue par l'étudiant plus un raisonnement qu'une
simple reconnaissance de représentation mentale.
Les leurres grossiers ne trompent que les ignares et réduisent le champ de réponses des
étudiants sérieux. Mieux vaut restreindre une QCM à quatre ou trois propositions que recourir à
un leurre grossier ou à l'artifice des formules "Aucune des propositions ci-dessus est juste" ou
"toutes les propositions ci-dessus sont fausses", qui sont des cache-misère à la difficulté de
trouver de bons leurres et comportent plus d'inconvénients que d'avantages.
DU de Pédagogie – Février 2013
- 31 -
Annexe 2 - Généalogie des Simpson (les-simpsons.over-blog.com)
DU de Pédagogie – Février 2013
- 32 -