Comment interpréter le feedback - Smart

Système Méthodologique
d’Aide à la Réalisation de Tests
Comment interpréter le feedback ?
Une unité de soutien de l’IFRES • Université de Liège
Feedback personnalisé pour chaque étudiant après une évaluation standardisée
Informations de votre feedback
Lorsque les questions
sont mélangées lors du test (dispositif anti-fraude),
Informations
générales
alors, dans ce feedback, elles sont remises dans l'ordre du questionnaire de
référence (la forme A).
• Réponses : indique la réponse que vous avez donnée à cha-
La première partie du feedback reprend les informations géné-
cune des questions. Un 0 signifie que vous avez omis de
rales concernant le test passé : l’intitulé, la date et le code du
répondre.
test,
leprof.
groupe
Nom du
: NOMd’étudiants
ENSEIGNANTqui l’a passé ainsi que vos nom, préCode du
: A1512345
nom
ettest
numéro
de matricule.
• Certitudes : donne les degrés de certitude que vous avez
Date du test : 20/08/2015 choisis
Groupe d'étudiants : 1er Bac
Intitulé du test : Exemple de cours
colonne n’est pas d’application lorsque le test n’est pas un
Tarif
des
Nom : Étudiant
01 réponses
Matricule : 10001
Il s’agit ici de vous rappeler le barème de correction qui a été
Barème utilisé : Certitude échelle « classique »
chacune des questions.
Tarifs des réponses :
Certitudes
0
1
2
3
Probabilités (en %)
12,5 37,5
60
77,5
Rep. Corr. (RC)
+13 +16 +17 +18
Ce
Rep.tableau
Inc. (RI) reprend
+4 l’ensemble
+3
+2 des
+0
Données de base
4
5
90
97,5
+19 +20
informations
-6
-20
• Poids : indique la pondération utilisée pour chacune des
questions.
relatives aux
• NSP : indique le nombre de solutions proposées pour chacune
questions composant le test que vous avez réalisé :
des questions.
Données de bases :
Q1
Q2
Q3
Q4
Q5
Q6
Q7
Q8
Q9
Q10
Q11
Q12
Q13
Q14
Q15
2
Q16
Q17
2
2
2
4
1
3
1
6
4
1
1
3
1
3
2
4
1
Certitudes
1
4
2
1
3
1
3
3
1
4
5
4
4
4
5
3
4
(25% - 50%)
(85% - 95%)
(50% - 70%)
(25% - 50%)
(70% - 85%)
(25% - 50%)
(70% - 85%)
(70% - 85%)
(25% - 50%)
(85% - 95%)
(95% - 100%)
(85% - 95%)
(85% - 95%)
(85% - 95%)
(95% - 100%)
(70% - 85%)
(85% - 95%)
Réponses
correctes
3
2
2
4
3
3
3
6
2
1
1
3
1
3
2
4
1
QCM avec degré de certitude.
• Réponses correctes : indique la bonne réponse associée à
appliqué aux réponses.
Réponses
pour accompagner vos réponses. Évidemment, cette
• N° CP* : informe de la catégorie de performance associée à
Poids
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
NSP
6
6
6
6
6
6
6
6
6
6
6
6
6
6
6
6
6
N° CP
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
Sc/Q/20
3
19
17
16
0
16
0
18
3
19
20
19
19
19
20
18
19
chacune des questions par l’enseignant.
Exemple : la CP n°1 pourrait recouvrir toutes les questions de connaissance, la CP n°2 toutes les questions de compréhension…
• N° PE* : informe du point à évaluer (ou point de matière) associé à chacune des questions par l’enseignant.
• Sc/Q/20 : indique les scores sur 20 que vous avez obtenus
pour chaque question.
*
Ces informations sont facultatives. Elles seront présentes uniquement
si l’enseignant a configuré son test de la sorte.
Les lignes coloriées en rouge vous indiquent les questions pour
lesquelles vous avez donné une réponse incorrecte, les lignes
blanches étant, à l’opposé, celles pour lesquelles vous avez
donné une réponse correcte.
Tableau de résultats (uniquement pour
les
tests
avec
degrés de certitude) :
Tableau
des résultats
:
0
0 - 25
17
6
11
35,3
12,5
1
25 - 50
10
6
4
60,0
37,5
2
50 - 70
6
5
1
83,3
60
3
70 - 85
14
10
4
71,4
77,5
4
5
SOMMES
85 - 95 95 - 100
10
3
60 (NTR)
10
3 40 (NTRC)
0
0
20
100,0
100,0
90
97,5
d'Exactitude (TE)
(% indique
moyen de réponses
NTRC/NTR
= 66,7 %
•TauxCertitudes
(c) :
les 6 correctes)
degrés: de
certitude
(de 0 à 5).
• Probabilités (en %) :
les bornes inférieure et supéNRc)
∑5c = 0 (VCc *indique
Certitude Moyenne (CM) :
NTR
rectes données pour chaque degré de certitude.
Exemple : la zone de certitude « 2 » a été associée
à 5 réponses correctes données.
• NTRC correspond au nombre total de réponses correctes.
Système Méthodologique d'Aide à la Réalisation de Tests
Certitudes (c)
Probabilités (en %)
Nombre Rep. (NR)
Nbr. Rep. Corr. (NRC)
Nbr. Rep. Inc. (NRI)
% Rep. Corr.
Val. Centrales (VC)
• Nbr. Rep. Corr. (NRC) : informe du nombre de réponses cor-
• Nbr. Rep. Inc. (NRI) : indique le nombre de réponses incor
rectes et le nombre total de réponses pour chaque certitude.
Cette donnée est indiquée en pourcentage de réponses correctes pour chaque degré de certitude.
• Val. Centrales (VC) : indique les valeurs centrales des diverses
Exemple : la zone de certitude 1 indique Scores
bruts
une: certitude située entre 25 et 50 %.
Exemple : la zone de certitude « 3 » a été associée
à 4 réponses incorrectes données.
• % Rep. Corr. : fait le rapport entre le nombre de réponses cor-
= 53,8 %
rieure associées à chaque zone de certitude.
rectes données pour chaque degré de certitude.
zones de degrés de certitude.
Exemple : la valeur centrale de la zone de certitude « 1 »
est 37,5 % (valeur située au milieu de 25 et 50 %).
(c)
0
1
2
3
4
5
SOMMES
•Certitudes
Nombre
Probabilités
(en %)Rep. (NR) :
0 - 25 stipule
25 - 50 50le
- 70nombre
70 - 85 de
85 - réponses
95 95 - 100 données
Scores pour Rep. Corr.
78
pour chaque degré de
Scores pour Rep. Inc.
44
96
certitude.
12
85
2
180
0
Exemple : la zone de certitude 1 a été associée
à 10 réponses données.
190
0
60
0
689
58
747/1200
•Score
NTR correspond
avec degré de certitude au nombre total de réponses.
(747/1200) * 20 = 12,45
Sévérité retenue : 20
Score final : 12,45 * 20 / 20 = 12,45
Résultat satisfaisant (S)
Résultats par Catégories de Performance (CP) :
1) Orthographe
2) Syntaxe
13,87/20
13,73/20
15 question(s)
15 question(s)
3
Taux d'Exactitude (TE) (% moyen de réponses correctes) : NTRC/NTR = 66,7 %
Certitude Moyenne (CM) :
Taux d’exactitude et certitude
moyenne (uniquement pour les
tests avec degrés de certitude) :
Le Taux d’Exactitude (TE) correspond au pourcentage moyen
∑5c = 0 (VCc * NRc) = 53,8 %
NTR
Scores
Scores bruts : bruts DC
Certitudes (c)
Probabilités (en %)
Scores pour Rep. Corr.
Scores pour Rep. Inc.
0
0 - 25
78
44
1
25 - 50
96
12
2
50 - 70
85
2
3
70 - 85
180
0
4
5
SOMMES
85 - 95 95 - 100
190
60
689
0
0
58
747/1200
de réponses correctes et se calcule en divisant le Nombre Total
Ce tableau est analysé de la même manière que le précédent,
de Réponses Correctes (NTRC) par le Nombre Total de
à la différence qu’à la place du nombre de réponses correctes
Réponses (NTR).
et incorrectes, vous avez les scores totaux des réponses cor-
Score avec degré de certitude
(747/1200) * 20 = 12,45
Sévérité retenue : 20
rectes et incorrectes pour chaque degré de certitude.
La Certitude Moyenne (CM) correspond à la moyenne des certitudes pour l’ensemble du test. Avec ces chiffres, on peut déjà en
déduire que :
Score final : 12,45 * 20 / 20 = 12,45
Exemple : pour la zone de certitude « 1 » vous aviez
Résultats
par Catégories
de Performance
(CP)
:
6 réponses
correctes
données (cf.
tableau
précédent).
Le score pour les réponses correctes en certitude 1 est donc
13,87/20 correcte
15 question(s)
61)× Orthographe
16 (tarif d’une réponse
avec degré de certitude 1) = 96.
2) Syntaxe
• si le taux d’exactitude est supérieur au pourcentage de
certitude moyenne, alors l’étudiant sous-estime ses connaissances pour ce test.
Résultat satisfaisant (S)
13,73/20
15 question(s)
3) Vocabulaire
13,33/20
15 question(s)
Sévérité
(uniquement
pour les
4) Compréhension
8,87/20
15 question(s)
tests avec degrés de certitude) :
La sévérité est fixée par l’enseignant en fonction de divers para-
• à l’inverse, si le taux d’exactitude est inférieur au pourcen-
mètres : exigence de la matière, familiarité des étudiants avec le
tage de certitude moyenne, alors l’étudiant surestime ses
système d’évaluation, options de questionnement choisies (livre
connaissances pour ce test.
ouvert, livre fermé…). Elle peut être de 16, 17, 18, 19 ou 20.
Page 3/6
Exemple : un étudiant ayant obtenu la note de 12/20
avec une sévérité 20 obtiendrait la note de 15/20
avec une sévérité 16 car : 12/20 deviendrait 12/16 (en sévérité 16)
ce qui, remis sur 20 donnerait : 12/16 = 0, 75 × 20 = 15.
4
Résultats par catégorie
de performance (CP)
Plus la centration est proche de zéro et moins vous vous sur-
Cette partie de votre feedback personnalisé vous indique la
surestimation tandis qu’un score négatif montre une sous-
moyenne sur 20 des scores que vous avez obtenus par Catégorie
estimation. Attention qu’une bonne centration (c’est-à-dire une
de Performance ainsi que le nombre total de questions posées
centration proche de 0) peut être le résultat de compensations
par Catégorie de Performance.
de surestimations par des sous-estimations. La centration est
Exemple : pour la Catégorie de Performance 1 (« Orthographe »),
vous avez obtenu un score moyen de 13,7/20 sur un total de 15 questions.
ou sous-estimez. Un score de centration positif révèle une
calculée grâce à la formule suivante :
Centration (C) = Certitude Moyenne (CM) - Taux d’Exactitude (TE)
Résultats par point à évaluer (PE)
Le réalisme est la proximité des taux d’exactitude aux valeurs
Cette partie de votre feedback personnalisé vous indique la
centrales, donc de la réalité des taux d’exactitude à ceux qui
moyenne sur 20 des scores que vous avez obtenus par point à
avaient été estimés. Il varie entre 0 et 1. Cet indice s’interprète
évaluer (ou point de matière) ainsi que le nombre total de ques-
de la manière suivante : plus l’indice de réalisme est proche de 1 et
tions posées par point à évaluer.
plus vous utilisez les degrés de certitude de façon judicieuse.
Auto-évaluation (uniquement pour
les tests avec degrés de certitude) :
Le réalisme parfait se produit quand tous les taux d’exactitude
(TE) se trouvent sur la diagonale du graphique.
L’indice de centration est un indice calculé qui renseigne sur
la tendance qu’a le test à amener les étudiants à surestimer ou
La situation idéale serait que toutes les réponses correctes (RC)
sous-estimer leur résultat. Exprimé en pourcents, il varie entre
soient associées à un degré de certitude 5 (C5) et que toutes les
-100 et 100.
réponses incorrectes (RI) soient associées à un degré de certitude 0 (C0).
5
Le graphique de réalisme
Le réalisme est donc indiqué grâce aux distances entre les
L’axe Y représente les taux d’exactitude et l’axe X représente les
d'Aide
à la Réalisation
de Tests
cés au Système
dessus Méthodologique
de la diagonale
montrent
une sous-estimation
probabilités de réussite pour les 6 zones de certitude.
tandis que les losanges placés sous la diagonale montrent
Le graphique reprend les données commentées précédemment.
losanges (taux d’exactitude) et la diagonale : les losanges pla-
une sur-estimation. Le réalisme parfait serait illustré par un ali-
Autoévaluation :
Les losanges vous indiquent les taux d’exactitude (c’est-à-dire
le pourcentage de réponses correctes) pour chaque zone de
certitude.
Exemple : le troisième losange mis en évidence par une flèche et
situé à environ 83 sur l’axe Y (taux d’exactitude de 83, 3 % — cf.
tableau de résultats) et entre 50 et 70 % sur l’axe X (valeur centrale
60 % pour la zone de certitude 2), vous signale qu’environ 83 % des
réponses fournies avec un degré de certitude 2 sont correctes.
Dans un test où beaucoup de réponses sont fournies, le losange
représentant le taux d’exactitude de la zone de certitude 2
devrait idéalement se situer à 60 % sur l’axe des Y.
Dans notre exemple, la personne se sous-estime pour la zone de
certitude 2 car en choisissant le degré de certitude 2, la personne
prédit 60 % de réponses correctes or, ici, elle en récolte plus puisqu’elle
obtient 83, 3 % de réponses correctes pour ce degré de certitude.
Les traits encadrant les losanges, vous indiquent les intervalles
de confiance des taux de réussite calculés pour chaque degré de
certitude.
6
gnement exact sur la diagonale. Cela correspondrait à une équiva-
Centration (C) : (CM - TE) -12,9
lence
parfaite entre les taux
d’exactitude et les prédictions faites.
Réalisme (R) :
0,9
Les barres d’auto-évaluation
Il sont calculés selon la formule suivante : nombre de réponses
Tous les graphiques de pourcentages suivants vous permettent
(in)correctes pour les degrés de certitude mentionnés × 100
de visualiser votre profil et de voir si vous vous auto-estimez
÷ par le nombre total de réponses.
correctement.
Terme
Ignorance ignorée
(je ne sais pas que je ne sais pas)
Ignorance partielle
Définition
Association d’une réponse incorrecte
avec un degré de certitude élevé (4 ou 5)
Association d’une réponse incorrecte
avec un degré de certitude moyen (2 ou 3)
Ignorance reconnue
(je sais que je ne sais pas)
Association d’une réponse incorrecte
avec un degré de certitude faible (0 ou 1)
Compétence ignorée
(je ne sais pas que je sais)
Compétence partielle
Association d’une réponse correcte
avec un degré de certitude faible (0 ou 1)
Association d’une réponse correcte
avec un degré de certitude moyen (2 ou 3)
Compétence Assurée
(je sais que je sais)
Association d’une réponse correcte
avec un degré de certitude élevé (4 ou 5)
Formule
Exemple
NRI DC 4 et 5 × 100
(0 + 0) × 100
60
=0%
NTR
NRI DC 2 et 3 × 100
NTR
NRI DC 0 et 1 × 100
NTR
NRC DC 0 et 1 × 100
NTR
NRC DC 2 et 3 × 100
NTR
NRC DC 4 et 5 × 100
NTR
(1 + 4) × 100
60
= 8,3 %
(11 + 4) × 100
60
= 25 %
(6 + 6) × 100
60
= 20 %
(1 + 4) × 100
60
= 8,3 %
(10 + 3) × 100
60
= 21,7 %
7
version : 2015-09-25
© 2015 SMART – IFRES – Université de Liège
SMART — Système Méthodologique d’Aide à la Réalisation de Tests
Quartier Urbanistes 1
Traverse des Architectes, 5B
B-4000 Liège (Sart Tilman)
smart.ulg.ac.be
+32 4 366 2078
[email protected]
Une unité de soutien de l’IFRES • Université de Liège