QCM - Sciences Po Bordeaux

Transcription

Guide de conception d’une
épreuve écrite sous la forme d’un
questionnaire à choix multiples
 Aspects pratiques
 Aspects pédagogiques
 Conseils de conception
Conception d'un examen sous forme de QCM
9 mars 2015
www.sciencespobordeaux.fr
1
Introduction
 Terminologie spécifique à l’IEP :
► QCM est le terme générique pour parler de
questionnaires à choix multiples lors d’un examen de fin
de semestre.
► Ce questionnaire peut prendre deux formes selon le type
de questions qu’il contient :
• QRM = Questions à Réponses Multiples
• QRU = Questions à Réponse Unique
 De manière générale :
► La conception d’un QCM est chronophage.
► Un QCM se doit d’être bien construit pour :
• Éviter les fraudes et l’effet de hasard,
• Évaluer l’acquisition des objectifs pédagogiques visés
par l’enseignement.
9 mars 2015
2
LES ASPECTS PRATIQUES
9 mars 2015
3
Où, quand, comment rendre son QCM ? (1/2)
 Il doit être donné au moins un mois à l’avance au service de scolarité
concerné :
► Il est possible de rendre le QCM au format numérique ou papier.
► Deux versions du document sont à fournir :
• Le sujet : qui sera copié et distribué aux étudiants,
• Le corrigé : qui servira lors de la correction automatique des copies.
 Au niveau du contenu :
► Choisir l’un des deux types de questions :
• Questions à Réponse Unique (QRU)
• ou Questions à Réponses Multiples (QRM).
► Dans le cas d’un QRM, des contraintes techniques nous obligent à suivre trois
règles lors de la rédaction des questions :
– le nombre de propositions de réponses par question doit être constant (3, 4 ou
5 propositions),
– chaque question doit offrir au moins une bonne réponse,
– chaque question doit offrir au moins une mauvaise réponse.
► Ne pas dépasser 60 questions : valable pour les QRU et QRM.
9 mars 2015
4
Où, quand, comment rendre son QCM ? (2/2)
Le sujet
Nom du cours
Nom de l’enseignant
Pas plus de 60 questions
La consigne type (QRM ou QRU)
(voir diapositives suivantes)
Le nombre de questions
Le corrigé
Nom du cours
Nom de l’enseignant
Pas plus de 60 questions
La consigne type (QRM ou QRU)
(voir diapositives suivantes)
Le nombre de questions
Les bonnes réponses sont
identifiables sur le corrigé
(couleur, gras, ou autre).
9 mars 2015
5
Consigne pour des Questions à Réponse Unique
 Consigne à insérer sur le sujet si QRU
Barème avec points négatifs
Barème sans points négatifs
Consignes à lire très attentivement avant de
commencer l’épreuve
Consignes à lire très attentivement avant de
commencer l’épreuve
Ceci est un Questionnaire à Réponse Unique.
Pour chacune des questions, vous devez noircir la case
correspondant à votre réponse sur la copie d’examen
fournie avec le questionnaire.
Ceci est un Questionnaire à Réponse Unique.
Pour chacune des questions, vous devez noircir la case
correspondant à votre réponse sur la copie d’examen
fournie avec le questionnaire.
Le barème est le suivant :
►+1 point pour une réponse exacte
►-0,5 de point pour une réponse fausse ou multiple
(plusieurs cases noircies)
►0 point pour absence de réponse
Le barème est le suivant :
►+1 point pour une réponse exacte
►0 point pour une réponse fausse, une réponse
multiple ou une absence de réponse.
Corriger sa réponse : Si vous utilisez la deuxième ligne de cases
pour corriger votre réponse, seule cette deuxième ligne sera prise
en compte au moment de la correction, quel que soit le marquage
de la première ligne.
Annuler sa réponse : En cas d’annulation de votre réponse, veuillez
cocher la case se trouvant sous le numéro de la question : ceci équivaut à
une absence complète de réponse.
Corriger sa réponse : Si vous utilisez la deuxième ligne de cases
pour corriger votre réponse, seule cette deuxième ligne sera prise
en compte au moment de la correction, quel que soit le marquage
Annuler sa réponse : En cas d’annulation de votre réponse, veuillez
cocher la case se trouvant sous le numéro de la question : ceci
équivaut à une absence complète de réponse.
9 mars 2015
6
Consigne pour des Questions à Réponses Multiples
Rappel à l’enseignant : pour un QRM, le nombre de propositions de réponses par question doit être constant.
Toute question doit avoir au moins une bonne réponse et une mauvaise réponse.
 Consigne à insérer sur le sujet si QRM de 5 propositions
Consignes à lire très attentivement avant de commencer l’épreuve
Ceci est un Questionnaire à Réponses Multiples.
Chacune des questions numérotées de 1 à n peut admettre de façon variable, entre une et 4
réponses exactes. Exprimez les réponses exactes en noircissant la ou les cases correspondantes.
Le calcul s’opère en fonction de la correspondance entre vos réponses et les réponses attendues.
Chaque réponse attendant à minima une bonne réponse à cocher, une absence complète de réponse
est comptée 0 point.
Par question, le barème est le suivant :
► Pour chaque correspondance vous obtenez 1/5 du point (dans la limite de deux erreurs),
► Vous obtenez donc 1 point pour une réponse entièrement exacte,
► Au-delà de deux erreurs, vous n’obtenez aucun point à la question.
Corriger sa réponse : Si vous utilisez la deuxième ligne de cases pour corriger votre réponse, seule
cette deuxième ligne sera prise en compte au moment de la correction, quel que soit le marquage
Annuler sa réponse : En cas d’annulation de votre réponse, veuillez cocher la case se trouvant sous
le numéro de la question : ceci équivaut à une absence complète de réponse.
9 mars 2015
7
► Pour chaque correspondance vous obtenez 1/4 du point (dans la limite d’une erreur),
► Au-delà d’une erreur, vous n’obtenez aucun point à la question.
9 mars 2015
8
► Pour chaque correspondance vous obtenez 1/3 du point (dans la limite d’une erreur),
► Au-delà d’une erreur, vous n’obtenez aucun point à la question.
9 mars 2015
9
Possibilité de demander un retour sur les résultats.
 Si la demande est exprimée auprès de la scolarité : une fois
l’examen passé et les copies scannées, deux types de statistiques
peuvent être envoyées à l’enseignant :
► les statistiques sommaires (analyse générale des résultats),
► les statistiques spécifiques (analyse par question).
Statistiques sommaires :
Écart type
Moyenne
Variance
…
Statistiques spécifiques :
Analyse pour chaque
question.
9 mars 2015
10
SAVOIR CE QUE L’ON VEUT
ÉVALUER
9 mars 2015
11
Évaluer l’acquisition des objectifs pédagogiques
► Un QCM a l’avantage de permettre de balayer une grande partie
d’un enseignement.
► Selon la complexité des questions, il est possible d’évaluer
différentes compétences :
•
•
•
•
La mémorisation
La compréhension
L’application
L’analyse
► Conserver les objectifs pédagogiques en tête lors de la conception
d’un QCM est primordial. Il est possible de poser des questions :
concernant directement la rétention du contenu,
ou mettant l’étudiant face à des situations qui demandent une analyse de
la part de l’étudiant.
► Alignement pédagogique :
• Objectifs pédagogiques > Activités d’apprentissage > Évaluation
•
•
9 mars 2015
12
Préparer ses étudiants à ce mode d’évaluation
 Communiquer sur les modalités d’évaluation amène
l’étudiant à comprendre ce que l’on attend de lui.
 Il est possible de proposer des exemples de
questions pour les préparer :
►Montrer des exemples de questions peut permettre
aux étudiants de ne pas être surpris le jour de
l’examen.
►Nous souhaitons évaluer leurs acquis et non leur
capacité d’adaptation face à un QCM.
9 mars 2015
13
ÉVITER LES FRAUDES OU
L’EFFET DE HASARD
9 mars 2015
14
Un barème juste mais strict
 Dans le barème QRU (réponse unique) de l’IEP :
► Une absence de réponse n’enlève pas de point.
► Une erreur enlève un quart de point.
 Dans le barème QRM (réponses multiples) de l’IEP :
► Le fait de devoir trouver une solution multiple complique la tâche de
l’étudiant, il est plus difficile d’obtenir la totalité du point de la question.
Le barème est donc moins contraignant que pour le QRU.
► L’étudiant obtient un pourcentage du total du point de la question pour
chaque item similaire à la réponse attendue (coché / coché ; non-coché /
non-coché).
Réponses attendues
Réponses de l’étudiant
3/5 correspondances
Score à la question = 0,6/1
► Il ne perd pas de point lorsqu’il se trompe, mais n’en gagne pas non plus.
► Au-delà de deux erreurs pour un QCM avec 5 propositions de réponses
par question, et d’une erreur pour un QCM avec 3 ou 4 propositions de
réponses par question, l’étudiant n’obtient aucun point à la question.
9 mars 2015
15
Bien rédiger les questions (1/2)
 La syntaxe
► L’énoncé d’une question doit être clair et compréhensible. Si
possible, faire une phrase en privilégiant la forme affirmative ou
interrogative.
► Il est préférable de regrouper dans l’énoncé les éléments communs
aux solutions proposées.
► L’information (la situation exposée) et la question doivent être bien
distincts. La question est mieux identifiée lorsqu’elle est placée au plus
proche des solutions proposées.
• Exemple : exposer la situation puis poser la question.
• Exemple : Pour une phrase à compléter, il est préférable que le
blanc se situe à la fin de la phrase.
9 mars 2015
16
Bien rédiger les questions (2/2)
 Le contenu
► L’énoncé doit être compatible avec la consigne de départ (consigne
générale du questionnaire).
► Une unique notion est soumise à la réflexion de l’apprenant :
• un item particulier du cours,
• une situation précise à analyser.
► Ne pas demander de jugement de valeur.
► Éviter les expressions ambigües :
• Exemple : en demandant un chiffre sur la « France », préciser s’il
s’agit de la « France métropolitaine».
 Pour permettre la correction automatique d’un QRM (réponses
multiples) avec le logiciel IRIS :
► il est nécessaire d’avoir au moins une bonne réponse par question,
► il est nécessaire d’avoir au moins une mauvaise réponse par question,
► et l’ensemble des questions doit avoir le même nombre de
propositions de réponses (exemple : un questionnaire de 40 questions qui offre
chacune 4 propositions de réponses).
9 mars 2015
17
Bien rédiger les solutions proposées (1/2)
 Harmonisation entre les solutions proposées :
► Les bonnes réponses varient de place au fur et à mesure des
questions.
► Les solutions proposées sont homogènes dans leur forme, leur
longueur, leur structure grammaticale.
► Elles sont présentées dans un ordre logique : alphabétique,
numérique, chronologique,…
► Elles ont le même degré de technicité.
► Elles sont indépendantes les unes des autres :
• Si deux solutions se contredisent mutuellement, cela diminue le
nombre de leurre,
• Il est préférable d’éviter que deux solutions soient synonymes ou
imbriquées (par exemple en ce qui concerne des périodes
historiques).
9 mars 2015
18
Bien rédiger les solutions proposées (2/2)
 Rédaction de chaque solution proposée :
► La (les) bonne(s) réponse(s) sont incontestablement exactes.
► Les leurres sont plausibles mais faux.
► Mieux vaut éviter de reprendre des termes de l’énoncé dans la
bonne réponse.
► Attention aux adverbes pouvant fournir des indices sur la réponse
correcte :
• Un adverbe trop extrême (toujours, jamais,…) a moins de chance
d’indiquer la bonne réponse.
• Un adverbe plus mesuré (souvent, généralement, la plupart,…)
sera probablement plus vrai.
9 mars 2015
19
Éviter la triche
 Renouveler chaque année vos questions :
► Les étudiants sortent de l’amphi avec le sujet dans les
mains, d’une année sur l’autre les étudiants peuvent se
diffuser les sujets.
9 mars 2015
20
Pour aller plus loin

Bouvy T., Warnier L. « Document de synthèse sur les QCM ». In
Université Catholique de Louvain. Institut Pédagogie Multimédia. Site
du service IPM de l’Université Catholique de Louvain, [En ligne]
http://www.uclouvain.be/cps/ucl/doc/ipm/documents/vademecumQ
CM-V2.pdf (Page consultée le 26 mai 2014)

Bravard S. Usages pédagogique des QCM (Mémoire – Université de
Poitiers),
2005
[En
ligne].
http://fle.ustrasbg.fr/evaluation_fle/Bravard_qcm.pdf (Page consultée le 26 mai
2014)
9 mars 2015
21

QCM - Sciences Po Bordeaux

Transcription

Documents pareils

Télécharger le programme HTML/CSS complet en PDF

CETII Formation - Formation DPE sans mention

Samedi 20 Septembre - Ligue Régionale d`Escrime de Haute

Nos QCM PPL Théorique Avion

E-Learning théorique ULM

QCM Cours 7 : Informatique - corporation des carabins nicois

renseignements sur le format des questions à choix multiples

3 QCMS – 3 MIN (TOP^^)

annales concours d`orthophonie rouen sujet 2013

Correction Finale - carabinsnicois.fr