La théorie de la réponse à l`item multidimensionnelle (TRIM)

Collectif pour le développement et les
applications en mesure et évaluation
Cdame
La Théorie de la Réponse à
l’Item multidimensionnelle
(TRIm)
Initiation aux concepts
et aux paramètres
Plan de la présentation
• Qu’est-ce que la Théorie de la réponse aux
items? (TRI)
• Paramètres et concepts de la TRI
• Acceptons la multidimensionnalité et étudions
le modèle multidimensionnel de base
• Questionnons la multidimensionnalité et
explorons son utilisation
Qu’est-ce que la TRI?
• La TRI est un modèle mathématique
probabiliste qui tente de décrire l’interaction
entre une personne et des items
• Le but est de quantifier les paramètres des
items et, éventuellement, les traits latents des
répondants pour ensuite estimer l’interaction
entre une personne j et un item i
4 caractéristiques des modèles de TRI
• Type de réponse à l’item (dichotomique,
polychotomique, crédit partiel, graded response)
• Nombre de paramètres utilisés pour décrire les
items (normalement de 1 à 3)
• Unidimensionnel ou Multidimensionnel
• Fonction mathématique utilisée pour modéliser
(logistique, courbe normale, polynomiale)
3 Conditions d’application de la TRI*
• Monotonicité
• Indépendance locale
• 1 ou plusieurs dimensions selon le modèle de
TRI utilisé (uni- ou multidimensionnel)
Modèle dichotomique à 3 paramètres
unidimensionnel
𝑃 𝑈𝑖𝑗 = 1 𝑗 , 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ) = 𝑐𝑖 + 1 − 𝑐𝑖
𝑒𝑎𝑖
𝜃 𝑗 −𝑏 𝑖
1 + 𝑒𝑎𝑖
𝜃 𝑗 −𝑏 𝑖
•  : trait latent mesuré
• b : difficulté de l’item. Si b = , probabilité de
réponse = 0,5
• a : discrimination de l’item : pente maximale de la
courbe de l’item = a / 4 * (1 – c)
• c : « Pseudo-chance » : asymptote inférieure
Courbes des caractéristiques d’items ayant un paramètre a de 0,5, 1 et 2
Kreiner, S. (2007). Validity and objectivity: Reflections on the role and nature of Rasch models. Nordic Psychology, 59(3), 268-298.
© 2007 The authors & Nordic Psychology
Échelle de mesure des paramètres
• La valeur des différents paramètres est
arbitraire et dépend de la méthode de
calibration utilisée
• Souvent, les paramètres sont standardisés et
correspondent donc à un score z
Les difficultés du modèle TRIm
• Comment concevoir la difficulté et la
discrimination d’un item s’il y a plusieurs
dimensions qui sont mesurées?
• Comment choisir le nombre de dimensions et
à quoi correspondent-elles?
Modèle multidimensionnel
dichotomique à 3 paramètres
𝑃 𝑈𝑖𝑗 = 1 𝒋 , 𝒂𝒊 , 𝑑𝑖 , 𝑐𝑖 ) = 𝑐𝑖 + 1 − 𝑐𝑖
𝑒
𝒂𝒊 𝜽′𝒋 + 𝑑 𝑖
1+ 𝑒
𝒂𝒊 𝜽′𝒋 + 𝑑 𝑖
•  et a: sont des vecteurs 1 * k où k = nombre de
dimensions. Il y a donc plusieurs valeurs de  et a, une
pour chaque dimension
• L’exposant n’a pas la même forme que dans le modèle
unidimensionnel
• Pourquoi ce changement et où est passé le paramètre b?
b  d : L’exposant
• Dans le modèle unidimensionnel, l’exposant a la
forme : ai (j - bi). Si nous multiplions la
parenthèse par ai, nous obtenons : ai j - ai bi
Remplaçons – ab par + d et nous avons la
forme finale : a + d, qui a l’avantage d’être sous
la forme « pente plus ordonnée à l’origine »
• De plus, le scalaire d est très utile pour calculer
certaines caractéristiques que nous verrons
bientôt
Modèle pleinement compensatoire ou
partiellement compensatoire?
Pleinement
Partiellement
• La contribution des  est
calculée au sein de
l’exposant de e, ce qui fait
qu’une infinité de
combinaisons de  offre la
même probabilité de
réponse
• Un  très élevé peut
compenser totalement pour
un  faible
•  des probabilités de réponse
de tous les , calculées
séparément
• Essentiellement, la probabilité
finale est le produit de k
équations unidimensionnelles
• Compensation partielle, car un
 très élevé ne donne pas une
probabilité de 1. Donc, le
produit est nécessairement
inférieur aux probabilités
individuelles
Représentation à l’aide d’un plan
cartésien
• Axe x = 1
• Axe y = 2
• 1 = angle
• Le théorème de
Pythagore nous
permet de calculer la
distance à partir
de (0,0)
1
MDISC, MVDISC ou A :
la discrimination
• Les formules de la trigonométrie nous
permettent aussi de calculer l’angle entre l’axe
1 ou 2 et l’hypoténuse du triangle rectangle
• C’est le 1 du graphique précédent
• Cet angle donne une information importante.
Plus l’angle est proche de 0, plus l’item
discrimine fortement 1
MDISC
• Ces calculs permettent, à l’aide du cosinus,
d’arriver à la valeur suivante : MDISC =
• Cette valeur divisée par 4 indique la valeur
maximale de la pente de la surface de réponse
de l’item dans la direction de l’origine (0,0) du
plan 1 et 2
MDIFF, MVINT ou B : la difficulté
• La difficulté multidimensionnelle représente la
distance entre l’origine du plan et le point qui
correspond aux valeurs de  requises pour avoir
une probabilité de « bonne réponse » de 0,5
• Cette difficulté se calcule de la manière suivante :
- d / MDISC
• Comme le paramètre b de la TRIu, une valeur
négative indique un item facile et une valeur
positive un item difficile
Représentation vectorielle de deux items
2 items : MDIFF = 1,15 et -0,77 et MDISC = 1,17 et 1,30
Hoijtink, H., Rooks, G., & Wilmink, F. W. (1999). Confirmatory factor analysis of items with a dichotomous response format using the
multidimensional Rasch model. Psychological Methods, 4(3), 300-314.
© 1999 American Psychological Association
6 items du TCALS, 1999
Item
a1
a2
c
d
MDISC
MDIFF
1
0,91
0,19
0,11
1,00
0,93
-1,09
2
0,75
0,19
0,12
0,69
0,77
-0,90
3
1,12
0,24
0,24
-0,31
1,15
0,27
4
2,18
0,01
0,06
-2,33
2,18
1,07
5
1,23
0,38
0,06
-1,43
1,29
1,11
6
0,55
0,24
0,12
0,91
0,60
-1,51
85 items, n = 1 709. QCM, 4 choix de réponses, réponses
dichotomiques
6 items, test de mathématiques
secondaire 3, Alberta, 1996
Item
a1
a2
1
d
MDISC
MDIFF
1
2,01
0,63
18
0,45
2,11
-0,21
2
1,01
0,64
33
2,03
1,20
-1,70
3
0,55
0,30
29
-0,87
0,63
1,39
4
0,42
0,16
21
-0,32
0,45
0,71
5
0,44
1,15
71
0,07
1,23
-0,05
6
0,91
0,25
15
0,47
0,94
-0,50
35 items, n = 6 000. QCM, réponses dichotomiques
2 types de multidimensionnalité
• Interitems : Les items ont un seul ak qui diffère
de façon importante de 0
• Intra-items : Les items ont plus d’un ak qui
diffère de façon importante de 0
Liens entre TRIm et Analyse factorielle
• A. F. : Réduire les données en groupant les
items en facteurs communs
• TRIm : Quantifier les paramètres d’items et de
personne afin de calculer l’interaction
• Il y a cependant équivalence mathématique
entre les saturations factorielles et les
paramètres de la a et b de la TRI
La question qui tue : k dimensions?
• k=?
• Items doivent être sensibles à plus d’une dimension et
les sujets doivent différer quant à plus d’une dimension
•
•
•
•
Jugement de spécialistes du contenu
Analyse factorielle
Analyse parallèle
Utilisation d’un logiciel spécialisé comme Detect ou
Dimtest
• Analyse confirmatoire utilisant différents indices
d’ajustement : AIC, BIC, ²…
Exemple de comparaison de deux
modèles par la différence de ²
Modèle
²
dl
² / dl
Modèle 1
1 400,02
627
2,23
Modèle 2
846,74
438
1,93
Modèle 3
1 310,97
621
2,11
Comparaison
Différence ²
Différence dl
p  0,05 ?
Modèle 1 v. 2
553,28
189
Oui
Modèle 2 v. 3
(-464,23)
(-183)
Non
Hypothèse nulle = le nouveau modèle n’améliore pas l’ajustement
Logiciels
• TESTFACT : commercial
• NOHARM : gratuit
• ConQuest : commercial, modèles Rasch
• R : bibliothèque « MIRT » : gratuit
Références
• Reckase, M. D. (2009). Multidimensional Item Response
Theory.
• « Multidimensional Item Response Theory Models » dans
Wiley Encyclopedia of Statistical Sciences.
• Ackerman, T. A. (1992). A Didactic Explanation of Item Bias,
Item Impact and Item Validity from a Multidimensional
Perspective.
• Ackerman, T. A., Gierl, M. J. et Walker, C. M. (2003). Using
Multidimensional Item Response Theory to Evaluate
Educational and Psychological Tests.