Guide d`élaboration de questionnaires d`évaluation des

Guide d’élaboration
de questionnaires d’évaluation
des connaissances
Vous voulez élaborer un questionnaire permettant l’évaluation des connaissances des étudiants. Nous vous proposons de parcourir les 9 points suivants en guise d’introduction à ce
travail.
1. Connaître les avantages et les limites de ce type d’évaluation
Avantages
Limites
La correction est rapide, beaucoup plus que La conception d’un bon questionnaire demandans le cas d’une évaluation classique
de du temps
La correction est objective et fidèle
Une réponse exacte peut être due au hasard
La constitution progressive d’une banque de Un questionnaire ne permet pas de tester la
questions permet de faciliter l’élaboration capacité à rédiger, à créer, ou à produire des
ultérieure de nouveaux questionnaires
raisonnements complexes
2. Maîtriser le vocabulaire
Questionnaire : ensemble d’items.
Item : un énoncé (ou libellé) + plusieurs propositions parmi lesquelles l’étudiant doit faire un
choix.
Propositions : il y a celles qui sont exactes et celles qui sont erronées, appelées distracteurs.
Évaluation diagnostique : elle est effectuée au début de la formation pour faire le point sur les
connaissances de départ.
Évaluation formative : elle permet de vérifier la progression des acquisitions pendant la formation ; elle peut prendre la forme d’une autoévaluation, les questions peuvent aussi être
corrigées et commentées afin d’aider l’étudiant à progresser.
Évaluation sommative : elle est effectuée à la fin d’une formation, pour évaluer la somme des
connaissances acquises. Elle est généralement accompagnée d’une note et a une fonction de
classement.
3. Connaître les principaux types de questions
 Question Vrai/faux
En réponse à un énoncé, les seuls choix possibles pour l’étudiant sont Vrai ou Faux.
Exemple
Pionnière en France, l'université Paul Sabatier met en ligne les résultats d'évaluation des
formations par les étudiants.
 Vrai  Faux
 Question à choix multiples
Structure Universitaire de Pédagogie - Université Paul Sabatier Toulouse 3
page 1
Il s’agit du traditionnel QCM qui demande à l’étudiant de choisir, en réponse à un énoncé,
entre plusieurs propositions.
Il faut que l’étudiant ait été informé sur le nombre de propositions qui peuvent être justes
(une ou plusieurs).
Exemple
Quelle est la couleur du logo de la SUP ? (une seule réponse juste)
 Bleu
 Orange
 Rouge
 Aucune de ces réponses
 Question à appariement
L’étudiant doit trouver les bonnes paires en associant deux informations.
Exemple
Trouver les bonnes associations et relier les mots deux à deux.
SCD
multimédia
SUP
documentation
SCOM
orientation
SCUIO
pédagogie
 Question à réponse courte
Un espace est prévu pour recevoir la réponse de l’étudiant. Dans le cas de correction automatique (questionnaire en ligne par exemple), l’analyse de la réponse de l’étudiant est
comparée à des réponses prévues par l’enseignant.
Exemple
Dans quel bâtiment du campus de l’université Paul Sabatier est localisée la SUP ?
.........................
 Question à réponse numérique
Il s’agit d’une question à réponse courte dont le contenu est numérique. Dans le cas de correction automatique, on pourra éventuellement paramétrer une marge d’erreur (±n).
Exemple
Le premier comité de pilotage de la SUP s’est réuni le 20 mai 2005.
Quel est le nombre de membres de ce comité ?
.........................
Remarque générale :
quel que soit le type de question, il est possible d’insérer des
schémas, des images, des photographies ou encore des équations
mathématiques dans les énoncés.
4. S’organiser
 Travailler en équipe. La rédaction d’un questionnaire satisfaisant demande beaucoup de
temps et d’imagination, le texte doit être parfaitement compréhensible et dénué de toute
ambigüité ; il est donc plus efficace de travailler en équipe.
Structure Universitaire de Pédagogie - Université Paul Sabatier Toulouse 3
page 2
 Dissocier la phase de conception du questionnaire de celle de sa réalisation technique, afin
d’éviter une « surcharge cognitive » : il est souvent difficile de réfléchir simultanément au
sens de la question et à la façon de la présenter.
 S’entendre d’abord sur l’ensemble des éléments à évaluer, puis sur les moyens d’évaluer
chacun d’entre eux (en variant les stratégies et éventuellement le niveau de difficulté) et
enfin sur la formulation et la présentation.
5. Soigner particulièrement la rédaction
 Un item doit cibler une seule notion.
 L’énoncé doit être bref, non ambigu, précis et complet.
 Le travail de lecture de l’étudiant peut être allégé en posant plusieurs questions successives
à partir d’un énoncé unique.
 Éviter les propositions sous la forme négative.
 Alterner des questions visant différents types de compétences (restitution de connaissances,
compréhension, analyse, logique, observation, etc.).
 Les propositions doivent avoir le même degré de vraisemblance.
 Au sein d’un même item, les propositions doivent avoir des longueurs comparables.
 Pour diminuer l’effet du hasard on peut proposer des réponses du type Aucune réponse
n’est correcte ou encore L’énoncé est incomplet.
 Éviter de donner dans un item la réponse à un autre item du questionnaire.
 Varier la position de la(des) bonne(s) réponse(s).
 Éviter les situations où l’étudiant peut être tenté de s’en remettre au hasard.
 Plusieurs items de difficulté variée permettent d’évaluer le degré d’acquisition d’une notion.
 Pour rédiger des distracteurs crédibles, on peut s’aider des mauvaises réponses les plus
fréquemment observées chez les étudiants.
 Éviter une différence entre deux distracteurs fondée sur une infime nuance.
6. Définir un système de notation
 Pour cela il faut s’interroger sur les points suivants afin de fixer des règles qui devront être
précisées clairement au début du questionnaire :
- Peut-il y avoir une ou plusieurs bonnes réponses par item ? (dans le cas de choix
multiples)
- Comment valorise-t-on les réponses exactes ?
- Attribue-t-on une pénalité en cas de réponse erronée ?
- L’absence de réponse entraîne-t-elle une pénalité ? (pour inciter l’étudiant à se prononcer)
 Toutes les réponses exactes peuvent être valorisées de manière identique, ou bien leur
valeur peut être pondérée suivant l’importance relative des éléments évalués.
 Les réponses erronées tout comme les réponses absentes peuvent être ignorées ou bien
générer des pénalités, qui peuvent être fixes ou variables selon les questions. Certaines
réponses erronées peuvent même dans certaines évaluations sommatives être éliminatoires.
Structure Universitaire de Pédagogie - Université Paul Sabatier Toulouse 3
page 3
Cependant, dans le cas des évaluations diagnostiques ou formatives, les pénalités ne sont
pas utiles pour situer les acquis de l’étudiant.
7. Choisir un support : papier ou en ligne
La réalisation d’un questionnaire en ligne peut faire appel à un logiciel spécifique (par exemple
hot potatoes ou netquizz) ou bien à un module particulier d’une plateforme de formation. Dans
ce cas il sera possible d’exploiter automatiquement les résultats du questionnaire, et d’intégrer
le questionnaire à un ensemble de ressources d’aide à l’apprentissage.
8. Tester le questionnaire
Le questionnaire peut être testé par des collègues ou par des étudiants, pour affiner la rédaction, la notation et estimer le temps nécessaire pour y répondre.
9. Bénéficier d’une aide complémentaire
 Vous voulez vous perfectionner dans la réalisation de questionnaires, voici des références
pour en découvrir toutes les finesses et en particulier celles de leur notation :
-
le document "TICE et QCM" du GreCO
http://sup.ups-tlse.fr/documentation/docs/fich_271.pdf
-
la page " Designing and Managing Multiple Choice Questions" du site de l'Université du
Cap (Afrique du Sud)
http://web.uct.ac.za/projects/cbe/mcqman/mcqman01.html
 Vous êtes intéressé par un projet pédagogique utilisant des questionnaires et vous
souhaiteriez un accompagnement pour leur conception et leur réalisation, contactez la SUP :
>> [email protected]
Février
2006/v3
Structure Universitaire de Pédagogie - Université Paul Sabatier Toulouse 3
page 4